sys/kern/kern_thr.c

   1 /*
   2  * Copyright (c) 2003, Jeffrey Roberson <jeff@freebsd.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice unmodified, this list of conditions, and the following
  10  *    disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  16  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  17  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  18  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  19  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  20  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  21  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  22  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  24  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  25  */
  26
  27 #include <sys/cdefs.h>
  28 __FBSDID("$FreeBSD$");
  29
  30 #include <sys/param.h>
  31 #include <sys/kernel.h>
  32 #include <sys/lock.h>
  33 #include <sys/mutex.h>
  34 #include <sys/proc.h>
  35 #include <sys/resourcevar.h>
  36 #include <sys/sched.h>
  37 #include <sys/sysctl.h>
  38 #include <sys/smp.h>
  39 #include <sys/sysent.h>
  40 #include <sys/systm.h>
  41 #include <sys/sysproto.h>
  42 #include <sys/signalvar.h>
  43 #include <sys/ucontext.h>
  44 #include <sys/thr.h>
  45
  46 #include <machine/frame.h>
  47
  48 extern int max_threads_per_proc;
  49 extern int max_groups_per_proc;
  50
  51 SYSCTL_DECL(_kern_threads);
  52 static int thr_scope_sys = 0;
  53 SYSCTL_INT(_kern_threads, OID_AUTO, thr_scope_sys, CTLFLAG_RW,
  54         &thr_scope_sys, 0, "sys or proc scope scheduling");
  55
  56 static int thr_concurrency = 0;
  57 SYSCTL_INT(_kern_threads, OID_AUTO, thr_concurrency, CTLFLAG_RW,
  58         &thr_concurrency, 0, "a concurrency value if not default");
  59
  60 /*
  61  * Back end support functions.
  62  */
  63
  64 #define RANGEOF(type, start, end) (offsetof(type, end) - offsetof(type, start))
  65
  66 /*
  67  * System call interface.
  68  */
  69 int
  70 thr_create(struct thread *td, struct thr_create_args *uap)
  71     /* ucontext_t *ctx, long *id, int flags */
  72 {
  73         struct thread *newtd;
  74         ucontext_t ctx;
  75         long id;
  76         int error;
  77         struct ksegrp *kg, *newkg;
  78         struct proc *p;
  79         int scope_sys;
  80
  81         p = td->td_proc;
  82         kg = td->td_ksegrp;
  83         if ((error = copyin(uap->ctx, &ctx, sizeof(ctx))))
  84                 return (error);
  85
  86         /* Have race condition but it is cheap */
  87         if ((p->p_numksegrps >= max_groups_per_proc) ||
  88             (p->p_numthreads >= max_threads_per_proc)) {
  89                 return (EPROCLIM);
  90         }
  91
  92         scope_sys = thr_scope_sys;
  93         /* Initialize our td and new ksegrp.. */
  94         newtd = thread_alloc();
  95         if (scope_sys)
  96                 newkg = ksegrp_alloc();
  97         else
  98                 newkg = kg;
  99         /*
 100          * Try the copyout as soon as we allocate the td so we don't have to
 101          * tear things down in a failure case below.
 102          */
 103         id = newtd->td_tid;
 104         if ((error = copyout(&id, uap->id, sizeof(long)))) {
 105                 if (scope_sys)
 106                         ksegrp_free(newkg);
 107                 thread_free(newtd);
 108                 return (error);
 109         }
 110
 111         bzero(&newtd->td_startzero,
 112             (unsigned) RANGEOF(struct thread, td_startzero, td_endzero));
 113         bcopy(&td->td_startcopy, &newtd->td_startcopy,
 114             (unsigned) RANGEOF(struct thread, td_startcopy, td_endcopy));
 115
 116         if (scope_sys) {
 117                 bzero(&newkg->kg_startzero,
 118                     (unsigned)RANGEOF(struct ksegrp, kg_startzero, kg_endzero));
 119                 bcopy(&kg->kg_startcopy, &newkg->kg_startcopy,
 120                     (unsigned)RANGEOF(struct ksegrp, kg_startcopy, kg_endcopy));
 121         }
 122
 123         newtd->td_proc = td->td_proc;
 124         newtd->td_ucred = crhold(td->td_ucred);
 125
 126         /* Set up our machine context. */
 127         cpu_set_upcall(newtd, td);
 128         error = set_mcontext(newtd, &ctx.uc_mcontext);
 129         if (error != 0) {
 130                 if (scope_sys)
 131                         ksegrp_free(newkg);
 132                 thread_free(newtd);
 133                 crfree(td->td_ucred);
 134                 goto out;
 135         }
 136
 137         /* Link the thread and kse into the ksegrp and make it runnable. */
 138         PROC_LOCK(td->td_proc);
 139         if (scope_sys) {
 140                         sched_init_concurrency(newkg);
 141         } else {
 142                 if ((td->td_proc->p_flag & P_HADTHREADS) == 0) {
 143                         sched_set_concurrency(kg,
 144                             thr_concurrency ? thr_concurrency : (2*mp_ncpus));
 145                 }
 146         }
 147
 148         td->td_proc->p_flag |= P_HADTHREADS;
 149         newtd->td_sigmask = td->td_sigmask;
 150         mtx_lock_spin(&sched_lock);
 151         if (scope_sys)
 152                 ksegrp_link(newkg, p);
 153         thread_link(newtd, newkg);
 154         mtx_unlock_spin(&sched_lock);
 155         PROC_UNLOCK(p);
 156
 157         /* let the scheduler know about these things. */
 158         mtx_lock_spin(&sched_lock);
 159         if (scope_sys)
 160                 sched_fork_ksegrp(td, newkg);
 161         sched_fork_thread(td, newtd);
 162
 163         TD_SET_CAN_RUN(newtd);
 164         if ((uap->flags & THR_SUSPENDED) == 0)
 165                 setrunqueue(newtd, SRQ_BORING);
 166
 167         mtx_unlock_spin(&sched_lock);
 168
 169 out:
 170         return (error);
 171 }
 172
 173 int
 174 thr_self(struct thread *td, struct thr_self_args *uap)
 175     /* long *id */
 176 {
 177         long id;
 178         int error;
 179
 180         id = td->td_tid;
 181         if ((error = copyout(&id, uap->id, sizeof(long))))
 182                 return (error);
 183
 184         return (0);
 185 }
 186
 187 int
 188 thr_exit(struct thread *td, struct thr_exit_args *uap)
 189     /* NULL */
 190 {
 191         struct proc *p;
 192
 193         p = td->td_proc;
 194
 195         PROC_LOCK(p);
 196         mtx_lock_spin(&sched_lock);
 197
 198         /*
 199          * Shutting down last thread in the proc.  This will actually
 200          * call exit() in the trampoline when it returns.
 201          */
 202         if (p->p_numthreads != 1) {
 203                 thread_exit();
 204                 /* NOTREACHED */
 205         }
 206         mtx_unlock_spin(&sched_lock);
 207         PROC_UNLOCK(p);
 208         return (0);
 209 }
 210
 211 int
 212 thr_kill(struct thread *td, struct thr_kill_args *uap)
 213     /* long id, int sig */
 214 {
 215         struct thread *ttd;
 216         struct proc *p;
 217         int error;
 218
 219         p = td->td_proc;
 220         error = 0;
 221         PROC_LOCK(p);
 222         FOREACH_THREAD_IN_PROC(p, ttd) {
 223                 if (ttd->td_tid == uap->id)
 224                         break;
 225         }
 226         if (ttd == NULL) {
 227                 error = ESRCH;
 228                 goto out;
 229         }
 230         if (uap->sig == 0)
 231                 goto out;
 232         if (!_SIG_VALID(uap->sig)) {
 233                 error = EINVAL;
 234                 goto out;
 235         }
 236         tdsignal(ttd, uap->sig, SIGTARGET_TD);
 237 out:
 238         PROC_UNLOCK(p);
 239         return (error);
 240 }
 241
 242 int
 243 thr_suspend(struct thread *td, struct thr_suspend_args *uap)
 244         /* const struct timespec *timeout */
 245 {
 246         struct timespec ts;
 247         struct timeval  tv;
 248         int error;
 249         int hz;
 250
 251         hz = 0;
 252         error = 0;
 253         if (uap->timeout != NULL) {
 254                 error = copyin((const void *)uap->timeout, (void *)&ts,
 255                     sizeof(struct timespec));
 256                 if (error != 0)
 257                         return (error);
 258                 if (ts.tv_nsec < 0 || ts.tv_nsec > 1000000000)
 259                         return (EINVAL);
 260                 if (ts.tv_sec == 0 && ts.tv_nsec == 0)
 261                         return (ETIMEDOUT);
 262                 TIMESPEC_TO_TIMEVAL(&tv, &ts);
 263                 hz = tvtohz(&tv);
 264         }
 265         PROC_LOCK(td->td_proc);
 266         if ((td->td_flags & TDF_THRWAKEUP) == 0)
 267                 error = msleep((void *)td, &td->td_proc->p_mtx,
 268                     td->td_priority | PCATCH, "lthr", hz);
 269         mtx_lock_spin(&sched_lock);
 270         td->td_flags &= ~TDF_THRWAKEUP;
 271         mtx_unlock_spin(&sched_lock);
 272         PROC_UNLOCK(td->td_proc);
 273         return (error == EWOULDBLOCK ? ETIMEDOUT : error);
 274 }
 275
 276 int
 277 thr_wake(struct thread *td, struct thr_wake_args *uap)
 278         /* long id */
 279 {
 280         struct thread *ttd;
 281
 282         PROC_LOCK(td->td_proc);
 283         FOREACH_THREAD_IN_PROC(td->td_proc, ttd) {
 284                 if (ttd->td_tid == uap->id)
 285                         break;
 286         }
 287         if (ttd == NULL) {
 288                 PROC_UNLOCK(td->td_proc);
 289                 return (ESRCH);
 290         }
 291         mtx_lock_spin(&sched_lock);
 292         ttd->td_flags |= TDF_THRWAKEUP;
 293         mtx_unlock_spin(&sched_lock);
 294         wakeup_one((void *)ttd);
 295         PROC_UNLOCK(td->td_proc);
 296         return (0);
 297 }