sys/x86/x86/delay.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1990 The Regents of the University of California.
   5  * Copyright (c) 2010 Alexander Motin <mav@FreeBSD.org>
   6  * All rights reserved.
   7  *
   8  * This code is derived from software contributed to Berkeley by
   9  * William Jolitz and Don Ahn.
  10  *
  11  * Redistribution and use in source and binary forms, with or without
  12  * modification, are permitted provided that the following conditions
  13  * are met:
  14  * 1. Redistributions of source code must retain the above copyright
  15  *    notice, this list of conditions and the following disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  * 3. Neither the name of the University nor the names of its contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  */
  35
  36 #include <sys/cdefs.h>
  37 /* Generic x86 routines to handle delay */
  38
  39 #include <sys/param.h>
  40 #include <sys/systm.h>
  41 #include <sys/timetc.h>
  42 #include <sys/proc.h>
  43 #include <sys/kernel.h>
  44 #include <sys/sched.h>
  45
  46 #include <machine/clock.h>
  47 #include <machine/cpu.h>
  48 #include <x86/init.h>
  49
  50 static void
  51 delay_tsc(int n)
  52 {
  53         uint64_t end, now;
  54
  55         /*
  56          * Pin the current thread ensure correct behavior if the TSCs
  57          * on different CPUs are not in sync.
  58          */
  59         sched_pin();
  60         now = rdtsc();
  61         end = now + tsc_freq * n / 1000000;
  62         do {
  63                 cpu_spinwait();
  64                 now = rdtsc();
  65         } while (now < end);
  66         sched_unpin();
  67 }
  68
  69 static int
  70 delay_tc(int n)
  71 {
  72         struct timecounter *tc;
  73         timecounter_get_t *func;
  74         uint64_t end, freq, now;
  75         u_int last, mask, u;
  76
  77         /*
  78          * Only use the TSC if it is P-state invariant.  If the TSC is
  79          * not P-state invariant and the CPU is not running at the
  80          * "full" P-state, then the TSC will increment at some rate
  81          * less than tsc_freq and delay_tsc() will wait too long.
  82          */
  83         if (tsc_is_invariant && tsc_freq != 0) {
  84                 delay_tsc(n);
  85                 return (1);
  86         }
  87         tc = timecounter;
  88         if (tc->tc_quality <= 0)
  89                 return (0);
  90         func = tc->tc_get_timecount;
  91         mask = tc->tc_counter_mask;
  92         freq = tc->tc_frequency;
  93         now = 0;
  94         end = freq * n / 1000000;
  95         last = func(tc) & mask;
  96         do {
  97                 cpu_spinwait();
  98                 u = func(tc) & mask;
  99                 if (u < last)
 100                         now += mask - last + u + 1;
 101                 else
 102                         now += u - last;
 103                 last = u;
 104         } while (now < end);
 105         return (1);
 106 }
 107
 108 void
 109 DELAY(int n)
 110 {
 111
 112         TSENTER();
 113         if (delay_tc(n)) {
 114                 TSEXIT();
 115                 return;
 116         }
 117
 118         init_ops.early_delay(n);
 119         TSEXIT();
 120 }
 121
 122 void
 123 cpu_lock_delay(void)
 124 {
 125
 126         /*
 127          * Use TSC to wait for a usec if present, otherwise fall back
 128          * to reading from port 0x84.  We can't call into timecounters
 129          * for this delay since timecounters might use spin locks.
 130          *
 131          * Note that unlike delay_tc(), this uses the TSC even if it
 132          * is not P-state invariant.  For this function it is ok to
 133          * wait even a few usecs.
 134          */
 135         if (tsc_freq != 0)
 136                 delay_tsc(1);
 137         else
 138                 inb(0x84);
 139 }