lib/libc/x86/sys/__vdso_gettc.c

   1 /*-
   2  * Copyright (c) 2012 Konstantin Belousov <kib@FreeBSD.org>
   3  * Copyright (c) 2016, 2017, 2019 The FreeBSD Foundation
   4  * All rights reserved.
   5  *
   6  * Portions of this software were developed by Konstantin Belousov
   7  * under sponsorship from the FreeBSD Foundation.
   8  *
   9  * Redistribution and use in source and binary forms, with or without
  10  * modification, are permitted provided that the following conditions
  11  * are met:
  12  * 1. Redistributions of source code must retain the above copyright
  13  *    notice, this list of conditions and the following disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  19  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  20  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  21  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  22  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  23  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  24  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  25  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  26  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  27  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  28  * SUCH DAMAGE.
  29  */
  30
  31 #include <sys/cdefs.h>
  32 __FBSDID("$FreeBSD$");
  33
  34 #include <sys/param.h>
  35 #include "namespace.h"
  36 #include <sys/capsicum.h>
  37 #include <sys/elf.h>
  38 #include <sys/fcntl.h>
  39 #include <sys/mman.h>
  40 #include <sys/time.h>
  41 #include <sys/vdso.h>
  42 #include <errno.h>
  43 #include <string.h>
  44 #include <unistd.h>
  45 #include "un-namespace.h"
  46 #include <machine/atomic.h>
  47 #include <machine/cpufunc.h>
  48 #include <machine/specialreg.h>
  49 #include <dev/acpica/acpi_hpet.h>
  50 #ifdef WANT_HYPERV
  51 #include <dev/hyperv/hyperv.h>
  52 #endif
  53 #include <x86/ifunc.h>
  54 #include "libc_private.h"
  55
  56 static inline u_int
  57 rdtsc_low(const struct vdso_timehands *th)
  58 {
  59         u_int rv;
  60
  61         __asm __volatile("rdtsc; shrd %%cl, %%edx, %0"
  62             : "=a" (rv) : "c" (th->th_x86_shift) : "edx");
  63         return (rv);
  64 }
  65
  66 static inline u_int
  67 rdtscp_low(const struct vdso_timehands *th)
  68 {
  69         u_int rv;
  70
  71         __asm __volatile("rdtscp; movl %%edi,%%ecx; shrd %%cl, %%edx, %0"
  72             : "=a" (rv) : "D" (th->th_x86_shift) : "ecx", "edx");
  73         return (rv);
  74 }
  75
  76 static u_int
  77 rdtsc_low_mb_lfence(const struct vdso_timehands *th)
  78 {
  79         lfence();
  80         return (rdtsc_low(th));
  81 }
  82
  83 static u_int
  84 rdtsc_low_mb_mfence(const struct vdso_timehands *th)
  85 {
  86         mfence();
  87         return (rdtsc_low(th));
  88 }
  89
  90 static u_int
  91 rdtsc_low_mb_none(const struct vdso_timehands *th)
  92 {
  93         return (rdtsc_low(th));
  94 }
  95
  96 static u_int
  97 rdtsc32_mb_lfence(void)
  98 {
  99         lfence();
 100         return (rdtsc32());
 101 }
 102
 103 static u_int
 104 rdtsc32_mb_mfence(void)
 105 {
 106         mfence();
 107         return (rdtsc32());
 108 }
 109
 110 static u_int
 111 rdtsc32_mb_none(void)
 112 {
 113         return (rdtsc32());
 114 }
 115
 116 static u_int
 117 rdtscp32_(void)
 118 {
 119         return (rdtscp32());
 120 }
 121
 122 struct tsc_selector_tag {
 123         u_int (*ts_rdtsc32)(void);
 124         u_int (*ts_rdtsc_low)(const struct vdso_timehands *);
 125 };
 126
 127 static const struct tsc_selector_tag tsc_selector[] = {
 128         [0] = {                         /* Intel or AMD Zen+, LFENCE */
 129                 .ts_rdtsc32 =   rdtsc32_mb_lfence,
 130                 .ts_rdtsc_low = rdtsc_low_mb_lfence,
 131         },
 132         [1] = {                         /* AMD, MFENCE */
 133                 .ts_rdtsc32 =   rdtsc32_mb_mfence,
 134                 .ts_rdtsc_low = rdtsc_low_mb_mfence,
 135         },
 136         [2] = {                         /* No SSE2 */
 137                 .ts_rdtsc32 = rdtsc32_mb_none,
 138                 .ts_rdtsc_low = rdtsc_low_mb_none,
 139         },
 140         [3] = {                         /* RDTSCP */
 141                 .ts_rdtsc32 =   rdtscp32_,
 142                 .ts_rdtsc_low = rdtscp_low,
 143         },
 144 };
 145
 146 static int
 147 tsc_selector_idx(u_int cpu_feature)
 148 {
 149         u_int amd_feature, cpu_exthigh, cpu_id, p[4], v[3];
 150         static const char amd_id[] = "AuthenticAMD";
 151         static const char hygon_id[] = "HygonGenuine";
 152         bool amd_cpu;
 153
 154         if (cpu_feature == 0)
 155                 return (2);     /* should not happen due to RDTSC */
 156
 157         do_cpuid(0, p);
 158         v[0] = p[1];
 159         v[1] = p[3];
 160         v[2] = p[2];
 161         amd_cpu = memcmp(v, amd_id, sizeof(amd_id) - 1) == 0 ||
 162             memcmp(v, hygon_id, sizeof(hygon_id) - 1) == 0;
 163
 164         do_cpuid(1, p);
 165         cpu_id = p[0];
 166
 167         if (amd_cpu && CPUID_TO_FAMILY(cpu_id) >= 0x17)
 168                 return (0);
 169
 170         if (cpu_feature != 0) {
 171                 do_cpuid(0x80000000, p);
 172                 cpu_exthigh = p[0];
 173         } else {
 174                 cpu_exthigh = 0;
 175         }
 176         if (cpu_exthigh >= 0x80000001) {
 177                 do_cpuid(0x80000001, p);
 178                 amd_feature = p[3];
 179         } else {
 180                 amd_feature = 0;
 181         }
 182
 183         if ((amd_feature & AMDID_RDTSCP) != 0)
 184                 return (3);
 185         if ((cpu_feature & CPUID_SSE2) == 0)
 186                 return (2);
 187         return (amd_cpu ? 1 : 0);
 188 }
 189
 190 DEFINE_UIFUNC(static, u_int, __vdso_gettc_rdtsc_low,
 191     (const struct vdso_timehands *th))
 192 {
 193         return (tsc_selector[tsc_selector_idx(cpu_feature)].ts_rdtsc_low);
 194 }
 195
 196 DEFINE_UIFUNC(static, u_int, __vdso_gettc_rdtsc32, (void))
 197 {
 198         return (tsc_selector[tsc_selector_idx(cpu_feature)].ts_rdtsc32);
 199 }
 200
 201 #define HPET_DEV_MAP_MAX        10
 202 static volatile char *hpet_dev_map[HPET_DEV_MAP_MAX];
 203
 204 static void
 205 __vdso_init_hpet(uint32_t u)
 206 {
 207         static const char devprefix[] = "/dev/hpet";
 208         char devname[64], *c, *c1, t;
 209         volatile char *new_map, *old_map;
 210         unsigned int mode;
 211         uint32_t u1;
 212         int fd;
 213
 214         c1 = c = stpcpy(devname, devprefix);
 215         u1 = u;
 216         do {
 217                 *c++ = u1 % 10 + '0';
 218                 u1 /= 10;
 219         } while (u1 != 0);
 220         *c = '\0';
 221         for (c--; c1 != c; c1++, c--) {
 222                 t = *c1;
 223                 *c1 = *c;
 224                 *c = t;
 225         }
 226
 227         old_map = hpet_dev_map[u];
 228         if (old_map != NULL)
 229                 return;
 230
 231         /*
 232          * Explicitely check for the capability mode to avoid
 233          * triggering trap_enocap on the device open by absolute path.
 234          */
 235         if ((cap_getmode(&mode) == 0 && mode != 0) ||
 236             (fd = _open(devname, O_RDONLY)) == -1) {
 237                 /* Prevent the caller from re-entering. */
 238                 atomic_cmpset_rel_ptr((volatile uintptr_t *)&hpet_dev_map[u],
 239                     (uintptr_t)old_map, (uintptr_t)MAP_FAILED);
 240                 return;
 241         }
 242
 243         new_map = mmap(NULL, PAGE_SIZE, PROT_READ, MAP_SHARED, fd, 0);
 244         _close(fd);
 245         if (atomic_cmpset_rel_ptr((volatile uintptr_t *)&hpet_dev_map[u],
 246             (uintptr_t)old_map, (uintptr_t)new_map) == 0 &&
 247             new_map != MAP_FAILED)
 248                 munmap((void *)new_map, PAGE_SIZE);
 249 }
 250
 251 #ifdef WANT_HYPERV
 252
 253 #define HYPERV_REFTSC_DEVPATH   "/dev/" HYPERV_REFTSC_DEVNAME
 254
 255 /*
 256  * NOTE:
 257  * We use 'NULL' for this variable to indicate that initialization
 258  * is required.  And if this variable is 'MAP_FAILED', then Hyper-V
 259  * reference TSC can not be used, e.g. in misconfigured jail.
 260  */
 261 static struct hyperv_reftsc *hyperv_ref_tsc;
 262
 263 static void
 264 __vdso_init_hyperv_tsc(void)
 265 {
 266         int fd;
 267         unsigned int mode;
 268
 269         if (cap_getmode(&mode) == 0 && mode != 0)
 270                 goto fail;
 271
 272         fd = _open(HYPERV_REFTSC_DEVPATH, O_RDONLY);
 273         if (fd < 0)
 274                 goto fail;
 275         hyperv_ref_tsc = mmap(NULL, sizeof(*hyperv_ref_tsc), PROT_READ,
 276             MAP_SHARED, fd, 0);
 277         _close(fd);
 278
 279         return;
 280 fail:
 281         /* Prevent the caller from re-entering. */
 282         hyperv_ref_tsc = MAP_FAILED;
 283 }
 284
 285 static int
 286 __vdso_hyperv_tsc(struct hyperv_reftsc *tsc_ref, u_int *tc)
 287 {
 288         uint64_t disc, ret, tsc, scale;
 289         uint32_t seq;
 290         int64_t ofs;
 291
 292         while ((seq = atomic_load_acq_int(&tsc_ref->tsc_seq)) != 0) {
 293                 scale = tsc_ref->tsc_scale;
 294                 ofs = tsc_ref->tsc_ofs;
 295
 296                 mfence();       /* XXXKIB */
 297                 tsc = rdtsc();
 298
 299                 /* ret = ((tsc * scale) >> 64) + ofs */
 300                 __asm__ __volatile__ ("mulq %3" :
 301                     "=d" (ret), "=a" (disc) :
 302                     "a" (tsc), "r" (scale));
 303                 ret += ofs;
 304
 305                 atomic_thread_fence_acq();
 306                 if (tsc_ref->tsc_seq == seq) {
 307                         *tc = ret;
 308                         return (0);
 309                 }
 310
 311                 /* Sequence changed; re-sync. */
 312         }
 313         return (ENOSYS);
 314 }
 315
 316 #endif  /* WANT_HYPERV */
 317
 318 #pragma weak __vdso_gettc
 319 int
 320 __vdso_gettc(const struct vdso_timehands *th, u_int *tc)
 321 {
 322         volatile char *map;
 323         uint32_t idx;
 324
 325         switch (th->th_algo) {
 326         case VDSO_TH_ALGO_X86_TSC:
 327                 *tc = th->th_x86_shift > 0 ? __vdso_gettc_rdtsc_low(th) :
 328                     __vdso_gettc_rdtsc32();
 329                 return (0);
 330         case VDSO_TH_ALGO_X86_HPET:
 331                 idx = th->th_x86_hpet_idx;
 332                 if (idx >= HPET_DEV_MAP_MAX)
 333                         return (ENOSYS);
 334                 map = (volatile char *)atomic_load_acq_ptr(
 335                     (volatile uintptr_t *)&hpet_dev_map[idx]);
 336                 if (map == NULL) {
 337                         __vdso_init_hpet(idx);
 338                         map = (volatile char *)atomic_load_acq_ptr(
 339                             (volatile uintptr_t *)&hpet_dev_map[idx]);
 340                 }
 341                 if (map == MAP_FAILED)
 342                         return (ENOSYS);
 343                 *tc = *(volatile uint32_t *)(map + HPET_MAIN_COUNTER);
 344                 return (0);
 345 #ifdef WANT_HYPERV
 346         case VDSO_TH_ALGO_X86_HVTSC:
 347                 if (hyperv_ref_tsc == NULL)
 348                         __vdso_init_hyperv_tsc();
 349                 if (hyperv_ref_tsc == MAP_FAILED)
 350                         return (ENOSYS);
 351                 return (__vdso_hyperv_tsc(hyperv_ref_tsc, tc));
 352 #endif
 353         default:
 354                 return (ENOSYS);
 355         }
 356 }
 357
 358 #pragma weak __vdso_gettimekeep
 359 int
 360 __vdso_gettimekeep(struct vdso_timekeep **tk)
 361 {
 362
 363         return (_elf_aux_info(AT_TIMEKEEP, tk, sizeof(*tk)));
 364 }