lib/libc/i386/sys/__vdso_gettc.c

   1 /*-
   2  * Copyright (c) 2012 Konstantin Belousov <kib@FreeBSD.org>
   3  *
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions
   6  * are met:
   7  * 1. Redistributions of source code must retain the above copyright
   8  *    notice, this list of conditions and the following disclaimer.
   9  * 2. Redistributions in binary form must reproduce the above copyright
  10  *    notice, this list of conditions and the following disclaimer in the
  11  *    documentation and/or other materials provided with the distribution.
  12  *
  13  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  14  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  16  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  17  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  18  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  19  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  20  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  21  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  22  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  23  * SUCH DAMAGE.
  24  */
  25
  26 #include <sys/cdefs.h>
  27 __FBSDID("$FreeBSD$");
  28
  29 #include <sys/types.h>
  30 #include <sys/elf.h>
  31 #include <sys/time.h>
  32 #include <sys/vdso.h>
  33 #include <machine/cpufunc.h>
  34 #include <machine/specialreg.h>
  35 #include "libc_private.h"
  36
  37 static int lfence_works = -1;
  38
  39 static int
  40 get_lfence_usage(void)
  41 {
  42         u_int cpuid_supported, p[4];
  43
  44         if (lfence_works == -1) {
  45                 __asm __volatile(
  46                     "   pushfl\n"
  47                     "   popl    %%eax\n"
  48                     "   movl    %%eax,%%ecx\n"
  49                     "   xorl    $0x200000,%%eax\n"
  50                     "   pushl   %%eax\n"
  51                     "   popfl\n"
  52                     "   pushfl\n"
  53                     "   popl    %%eax\n"
  54                     "   xorl    %%eax,%%ecx\n"
  55                     "   je      1f\n"
  56                     "   movl    $1,%0\n"
  57                     "   jmp     2f\n"
  58                     "1: movl    $0,%0\n"
  59                     "2:\n"
  60                     : "=r" (cpuid_supported) : : "eax", "ecx");
  61                 if (cpuid_supported) {
  62                         __asm __volatile(
  63                             "   pushl   %%ebx\n"
  64                             "   cpuid\n"
  65                             "   movl    %%ebx,%1\n"
  66                             "   popl    %%ebx\n"
  67                             : "=a" (p[0]), "=r" (p[1]), "=c" (p[2]), "=d" (p[3])
  68                             :  "0" (0x1));
  69                         lfence_works = (p[3] & CPUID_SSE2) != 0;
  70                 } else
  71                         lfence_works = 0;
  72         }
  73         return (lfence_works);
  74 }
  75
  76 static u_int
  77 __vdso_gettc_low(const struct vdso_timehands *th)
  78 {
  79         u_int rv;
  80
  81         if (get_lfence_usage() == 1)
  82                 lfence();
  83         __asm __volatile("rdtsc; shrd %%cl, %%edx, %0"
  84             : "=a" (rv) : "c" (th->th_x86_shift) : "edx");
  85         return (rv);
  86 }
  87
  88 static u_int
  89 __vdso_rdtsc32(void)
  90 {
  91         u_int rv;
  92
  93         if (get_lfence_usage() == 1)
  94                 lfence();
  95         rv = rdtsc32();
  96         return (rv);
  97 }
  98
  99 #pragma weak __vdso_gettc
 100 u_int
 101 __vdso_gettc(const struct vdso_timehands *th)
 102 {
 103
 104         return (th->th_x86_shift > 0 ? __vdso_gettc_low(th) :
 105             __vdso_rdtsc32());
 106 }
 107
 108 #pragma weak __vdso_gettimekeep
 109 int
 110 __vdso_gettimekeep(struct vdso_timekeep **tk)
 111 {
 112
 113         return (_elf_aux_info(AT_TIMEKEEP, tk, sizeof(*tk)));
 114 }