sys/x86/x86/delay.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1990 The Regents of the University of California.
   5  * Copyright (c) 2010 Alexander Motin <mav@FreeBSD.org>
   6  * All rights reserved.
   7  *
   8  * This code is derived from software contributed to Berkeley by
   9  * William Jolitz and Don Ahn.
  10  *
  11  * Redistribution and use in source and binary forms, with or without
  12  * modification, are permitted provided that the following conditions
  13  * are met:
  14  * 1. Redistributions of source code must retain the above copyright
  15  *    notice, this list of conditions and the following disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  * 3. Neither the name of the University nor the names of its contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  *
  35  *      from: @(#)clock.c       7.2 (Berkeley) 5/12/91
  36  */
  37
  38 #include <sys/cdefs.h>
  39 __FBSDID("$FreeBSD$");
  40
  41 /* Generic x86 routines to handle delay */
  42
  43 #include <sys/param.h>
  44 #include <sys/systm.h>
  45 #include <sys/timetc.h>
  46 #include <sys/proc.h>
  47 #include <sys/kernel.h>
  48 #include <sys/sched.h>
  49
  50 #include <machine/clock.h>
  51 #include <machine/cpu.h>
  52 #include <x86/init.h>
  53
  54 static void
  55 delay_tsc(int n)
  56 {
  57         uint64_t end, now;
  58
  59         /*
  60          * Pin the current thread ensure correct behavior if the TSCs
  61          * on different CPUs are not in sync.
  62          */
  63         sched_pin();
  64         now = rdtsc();
  65         end = now + tsc_freq * n / 1000000;
  66         do {
  67                 cpu_spinwait();
  68                 now = rdtsc();
  69         } while (now < end);
  70         sched_unpin();
  71 }
  72
  73 static int
  74 delay_tc(int n)
  75 {
  76         struct timecounter *tc;
  77         timecounter_get_t *func;
  78         uint64_t end, freq, now;
  79         u_int last, mask, u;
  80
  81         /*
  82          * Only use the TSC if it is P-state invariant.  If the TSC is
  83          * not P-state invariant and the CPU is not running at the
  84          * "full" P-state, then the TSC will increment at some rate
  85          * less than tsc_freq and delay_tsc() will wait too long.
  86          */
  87         if (tsc_is_invariant && tsc_freq != 0) {
  88                 delay_tsc(n);
  89                 return (1);
  90         }
  91         tc = timecounter;
  92         if (tc->tc_quality <= 0)
  93                 return (0);
  94         func = tc->tc_get_timecount;
  95         mask = tc->tc_counter_mask;
  96         freq = tc->tc_frequency;
  97         now = 0;
  98         end = freq * n / 1000000;
  99         last = func(tc) & mask;
 100         do {
 101                 cpu_spinwait();
 102                 u = func(tc) & mask;
 103                 if (u < last)
 104                         now += mask - last + u + 1;
 105                 else
 106                         now += u - last;
 107                 last = u;
 108         } while (now < end);
 109         return (1);
 110 }
 111
 112 void
 113 DELAY(int n)
 114 {
 115
 116         TSENTER();
 117         if (delay_tc(n)) {
 118                 TSEXIT();
 119                 return;
 120         }
 121
 122         init_ops.early_delay(n);
 123         TSEXIT();
 124 }
 125
 126 void
 127 cpu_lock_delay(void)
 128 {
 129
 130         /*
 131          * Use TSC to wait for a usec if present, otherwise fall back
 132          * to reading from port 0x84.  We can't call into timecounters
 133          * for this delay since timecounters might use spin locks.
 134          *
 135          * Note that unlike delay_tc(), this uses the TSC even if it
 136          * is not P-state invariant.  For this function it is ok to
 137          * wait even a few usecs.
 138          */
 139         if (tsc_freq != 0)
 140                 delay_tsc(1);
 141         else
 142                 inb(0x84);
 143 }