sys/sys/sched.h

   1 /*-
   2  * SPDX-License-Identifier: (BSD-4-Clause AND BSD-2-Clause-FreeBSD)
   3  *
   4  * Copyright (c) 1996, 1997
   5  *      HD Associates, Inc.  All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  * 3. All advertising materials mentioning features or use of this software
  16  *    must display the following acknowledgement:
  17  *      This product includes software developed by HD Associates, Inc
  18  *      and Jukka Antero Ukkonen.
  19  * 4. Neither the name of the author nor the names of any co-contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY HD ASSOCIATES AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL HD ASSOCIATES OR CONTRIBUTORS BE LIABLE
  27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  */
  35
  36 /*-
  37  * Copyright (c) 2002-2008, Jeffrey Roberson <jeff@freebsd.org>
  38  * All rights reserved.
  39  *
  40  * Redistribution and use in source and binary forms, with or without
  41  * modification, are permitted provided that the following conditions
  42  * are met:
  43  * 1. Redistributions of source code must retain the above copyright
  44  *    notice unmodified, this list of conditions, and the following
  45  *    disclaimer.
  46  * 2. Redistributions in binary form must reproduce the above copyright
  47  *    notice, this list of conditions and the following disclaimer in the
  48  *    documentation and/or other materials provided with the distribution.
  49  *
  50  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  51  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  52  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  53  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  54  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  55  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  56  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  57  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  58  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  59  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  60  *
  61  * $FreeBSD$
  62  */
  63
  64 #ifndef _SCHED_H_
  65 #define _SCHED_H_
  66
  67 #ifdef _KERNEL
  68 /*
  69  * General scheduling info.
  70  *
  71  * sched_load:
  72  *      Total runnable non-ithread threads in the system.
  73  *
  74  * sched_runnable:
  75  *      Runnable threads for this processor.
  76  */
  77 int     sched_load(void);
  78 int     sched_rr_interval(void);
  79 int     sched_runnable(void);
  80
  81 /*
  82  * Proc related scheduling hooks.
  83  */
  84 void    sched_exit(struct proc *p, struct thread *childtd);
  85 void    sched_fork(struct thread *td, struct thread *childtd);
  86 void    sched_fork_exit(struct thread *td);
  87 void    sched_class(struct thread *td, int class);
  88 void    sched_nice(struct proc *p, int nice);
  89
  90 /*
  91  * Threads are switched in and out, block on resources, have temporary
  92  * priorities inherited from their procs, and use up cpu time.
  93  */
  94 void    sched_ap_entry(void);
  95 void    sched_exit_thread(struct thread *td, struct thread *child);
  96 u_int   sched_estcpu(struct thread *td);
  97 void    sched_fork_thread(struct thread *td, struct thread *child);
  98 void    sched_lend_prio(struct thread *td, u_char prio);
  99 void    sched_lend_user_prio(struct thread *td, u_char pri);
 100 void    sched_lend_user_prio_cond(struct thread *td, u_char pri);
 101 fixpt_t sched_pctcpu(struct thread *td);
 102 void    sched_prio(struct thread *td, u_char prio);
 103 void    sched_sleep(struct thread *td, int prio);
 104 void    sched_switch(struct thread *td, int flags);
 105 void    sched_throw(struct thread *td);
 106 void    sched_unlend_prio(struct thread *td, u_char prio);
 107 void    sched_user_prio(struct thread *td, u_char prio);
 108 void    sched_userret_slowpath(struct thread *td);
 109 #ifdef  RACCT
 110 #ifdef  SCHED_4BSD
 111 fixpt_t sched_pctcpu_delta(struct thread *td);
 112 #endif
 113 #endif
 114
 115 static inline void
 116 sched_userret(struct thread *td)
 117 {
 118
 119         /*
 120          * XXX we cheat slightly on the locking here to avoid locking in
 121          * the usual case.  Setting td_priority here is essentially an
 122          * incomplete workaround for not setting it properly elsewhere.
 123          * Now that some interrupt handlers are threads, not setting it
 124          * properly elsewhere can clobber it in the window between setting
 125          * it here and returning to user mode, so don't waste time setting
 126          * it perfectly here.
 127          */
 128         KASSERT((td->td_flags & TDF_BORROWING) == 0,
 129             ("thread with borrowed priority returning to userland"));
 130         if (__predict_false(td->td_priority != td->td_user_pri))
 131                 sched_userret_slowpath(td);
 132 }
 133
 134 /*
 135  * Threads are moved on and off of run queues
 136  */
 137 void    sched_add(struct thread *td, int flags);
 138 struct thread *sched_choose(void);
 139 void    sched_clock(struct thread *td, int cnt);
 140 void    sched_idletd(void *);
 141 void    sched_preempt(struct thread *td);
 142 void    sched_relinquish(struct thread *td);
 143 void    sched_rem(struct thread *td);
 144 void    sched_wakeup(struct thread *td, int srqflags);
 145
 146 /*
 147  * Binding makes cpu affinity permanent while pinning is used to temporarily
 148  * hold a thread on a particular CPU.
 149  */
 150 void    sched_bind(struct thread *td, int cpu);
 151 static __inline void sched_pin(void);
 152 void    sched_unbind(struct thread *td);
 153 static __inline void sched_unpin(void);
 154 int     sched_is_bound(struct thread *td);
 155 void    sched_affinity(struct thread *td);
 156
 157 /*
 158  * These procedures tell the process data structure allocation code how
 159  * many bytes to actually allocate.
 160  */
 161 int     sched_sizeof_proc(void);
 162 int     sched_sizeof_thread(void);
 163
 164 /*
 165  * This routine provides a consistent thread name for use with KTR graphing
 166  * functions.
 167  */
 168 char    *sched_tdname(struct thread *td);
 169 #ifdef KTR
 170 void    sched_clear_tdname(struct thread *td);
 171 #endif
 172
 173 static __inline void
 174 sched_pin(void)
 175 {
 176         curthread->td_pinned++;
 177         atomic_interrupt_fence();
 178 }
 179
 180 static __inline void
 181 sched_unpin(void)
 182 {
 183         atomic_interrupt_fence();
 184         curthread->td_pinned--;
 185 }
 186
 187 /* sched_add arguments (formerly setrunqueue) */
 188 #define SRQ_BORING      0x0000          /* No special circumstances. */
 189 #define SRQ_YIELDING    0x0001          /* We are yielding (from mi_switch). */
 190 #define SRQ_OURSELF     0x0002          /* It is ourself (from mi_switch). */
 191 #define SRQ_INTR        0x0004          /* It is probably urgent. */
 192 #define SRQ_PREEMPTED   0x0008          /* has been preempted.. be kind */
 193 #define SRQ_BORROWING   0x0010          /* Priority updated due to prio_lend */
 194 #define SRQ_HOLD        0x0020          /* Return holding original td lock */
 195 #define SRQ_HOLDTD      0x0040          /* Return holding td lock */
 196
 197 /* Scheduler stats. */
 198 #ifdef SCHED_STATS
 199 DPCPU_DECLARE(long, sched_switch_stats[SWT_COUNT]);
 200
 201 #define SCHED_STAT_DEFINE_VAR(name, ptr, descr)                         \
 202 static void name ## _add_proc(void *dummy __unused)                     \
 203 {                                                                       \
 204                                                                         \
 205         SYSCTL_ADD_PROC(NULL,                                           \
 206             SYSCTL_STATIC_CHILDREN(_kern_sched_stats), OID_AUTO,        \
 207             #name, CTLTYPE_LONG|CTLFLAG_RD|CTLFLAG_MPSAFE,              \
 208             ptr, 0, sysctl_dpcpu_long, "LU", descr);                    \
 209 }                                                                       \
 210 SYSINIT(name, SI_SUB_LAST, SI_ORDER_MIDDLE, name ## _add_proc, NULL);
 211
 212 #define SCHED_STAT_DEFINE(name, descr)                                  \
 213     DPCPU_DEFINE(unsigned long, name);                                  \
 214     SCHED_STAT_DEFINE_VAR(name, &DPCPU_NAME(name), descr)
 215 /*
 216  * Sched stats are always incremented in critical sections so no atomic
 217  * is necesssary to increment them.
 218  */
 219 #define SCHED_STAT_INC(var)     DPCPU_GET(var)++;
 220 #else
 221 #define SCHED_STAT_DEFINE_VAR(name, descr, ptr)
 222 #define SCHED_STAT_DEFINE(name, descr)
 223 #define SCHED_STAT_INC(var)                     (void)0
 224 #endif
 225
 226 /*
 227  * Fixup scheduler state for proc0 and thread0
 228  */
 229 void schedinit(void);
 230
 231 /*
 232  * Fixup scheduler state for secondary APs
 233  */
 234 void schedinit_ap(void);
 235 #endif /* _KERNEL */
 236
 237 /* POSIX 1003.1b Process Scheduling */
 238
 239 /*
 240  * POSIX scheduling policies
 241  */
 242 #define SCHED_FIFO      1
 243 #define SCHED_OTHER     2
 244 #define SCHED_RR        3
 245
 246 struct sched_param {
 247         int     sched_priority;
 248 };
 249
 250 /*
 251  * POSIX scheduling declarations for userland.
 252  */
 253 #ifndef _KERNEL
 254 #include <sys/cdefs.h>
 255 #include <sys/_timespec.h>
 256 #include <sys/_types.h>
 257
 258 #ifndef _PID_T_DECLARED
 259 typedef __pid_t         pid_t;
 260 #define _PID_T_DECLARED
 261 #endif
 262
 263 __BEGIN_DECLS
 264 int     sched_get_priority_max(int);
 265 int     sched_get_priority_min(int);
 266 int     sched_getparam(pid_t, struct sched_param *);
 267 int     sched_getscheduler(pid_t);
 268 int     sched_rr_get_interval(pid_t, struct timespec *);
 269 int     sched_setparam(pid_t, const struct sched_param *);
 270 int     sched_setscheduler(pid_t, int, const struct sched_param *);
 271 int     sched_yield(void);
 272 __END_DECLS
 273
 274 #endif
 275 #endif /* !_SCHED_H_ */