lib/libkse/thread/thr_private.h

   1 /*
   2  * Copyright (c) 1995-1998 John Birrell <jb@cimlogic.com.au>.
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  * 3. All advertising materials mentioning features or use of this software
  14  *    must display the following acknowledgement:
  15  *      This product includes software developed by John Birrell.
  16  * 4. Neither the name of the author nor the names of any co-contributors
  17  *    may be used to endorse or promote products derived from this software
  18  *    without specific prior written permission.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY JOHN BIRRELL AND CONTRIBUTORS ``AS IS'' AND
  21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  23  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  24  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  30  * SUCH DAMAGE.
  31  *
  32  * Private thread definitions for the uthread kernel.
  33  *
  34  * $FreeBSD$
  35  */
  36
  37 #ifndef _THR_PRIVATE_H
  38 #define _THR_PRIVATE_H
  39
  40 /*
  41  * Include files.
  42  */
  43 #include <setjmp.h>
  44 #include <signal.h>
  45 #include <stdio.h>
  46 #include <sys/queue.h>
  47 #include <sys/types.h>
  48 #include <sys/time.h>
  49 #include <sys/cdefs.h>
  50 #include <sys/kse.h>
  51 #include <sched.h>
  52 #include <ucontext.h>
  53 #include <unistd.h>
  54 #include <pthread.h>
  55 #include <pthread_np.h>
  56
  57 #ifndef LIBTHREAD_DB
  58 #include "lock.h"
  59 #include "pthread_md.h"
  60 #endif
  61
  62 /*
  63  * Evaluate the storage class specifier.
  64  */
  65 #ifdef GLOBAL_PTHREAD_PRIVATE
  66 #define SCLASS
  67 #define SCLASS_PRESET(x...)     = x
  68 #else
  69 #define SCLASS                  extern
  70 #define SCLASS_PRESET(x...)
  71 #endif
  72
  73 /*
  74  * Kernel fatal error handler macro.
  75  */
  76 #define PANIC(string)   _thr_exit(__FILE__,__LINE__,string)
  77
  78
  79 /* Output debug messages like this: */
  80 #define stdout_debug(args...)   _thread_printf(STDOUT_FILENO, ##args)
  81 #define stderr_debug(args...)   _thread_printf(STDOUT_FILENO, ##args)
  82
  83 #define DBG_MUTEX       0x0001
  84 #define DBG_SIG         0x0002
  85
  86 #ifdef _PTHREADS_INVARIANTS
  87 #define THR_ASSERT(cond, msg) do {      \
  88         if (!(cond))                    \
  89                 PANIC(msg);             \
  90 } while (0)
  91 #else
  92 #define THR_ASSERT(cond, msg)
  93 #endif
  94
  95 /*
  96  * State change macro without scheduling queue change:
  97  */
  98 #define THR_SET_STATE(thrd, newstate) do {                              \
  99         (thrd)->state = newstate;                                       \
 100         (thrd)->fname = __FILE__;                                       \
 101         (thrd)->lineno = __LINE__;                                      \
 102 } while (0)
 103
 104
 105 #define TIMESPEC_ADD(dst, src, val)                             \
 106         do {                                                    \
 107                 (dst)->tv_sec = (src)->tv_sec + (val)->tv_sec;  \
 108                 (dst)->tv_nsec = (src)->tv_nsec + (val)->tv_nsec; \
 109                 if ((dst)->tv_nsec > 1000000000) {              \
 110                         (dst)->tv_sec++;                        \
 111                         (dst)->tv_nsec -= 1000000000;           \
 112                 }                                               \
 113         } while (0)
 114
 115 #define TIMESPEC_SUB(dst, src, val)                             \
 116         do {                                                    \
 117                 (dst)->tv_sec = (src)->tv_sec - (val)->tv_sec;  \
 118                 (dst)->tv_nsec = (src)->tv_nsec - (val)->tv_nsec; \
 119                 if ((dst)->tv_nsec < 0) {                       \
 120                         (dst)->tv_sec--;                        \
 121                         (dst)->tv_nsec += 1000000000;           \
 122                 }                                               \
 123         } while (0)
 124
 125 /*
 126  * Priority queues.
 127  *
 128  * XXX It'd be nice if these were contained in uthread_priority_queue.[ch].
 129  */
 130 typedef struct pq_list {
 131         TAILQ_HEAD(, pthread)   pl_head; /* list of threads at this priority */
 132         TAILQ_ENTRY(pq_list)    pl_link; /* link for queue of priority lists */
 133         int                     pl_prio; /* the priority of this list */
 134         int                     pl_queued; /* is this in the priority queue */
 135 } pq_list_t;
 136
 137 typedef struct pq_queue {
 138         TAILQ_HEAD(, pq_list)    pq_queue; /* queue of priority lists */
 139         pq_list_t               *pq_lists; /* array of all priority lists */
 140         int                      pq_size;  /* number of priority lists */
 141 #define PQF_ACTIVE      0x0001
 142         int                      pq_flags;
 143         int                      pq_threads;
 144 } pq_queue_t;
 145
 146 /*
 147  * Each KSEG has a scheduling queue.  For now, threads that exist in their
 148  * own KSEG (system scope) will get a full priority queue.  In the future
 149  * this can be optimized for the single thread per KSEG case.
 150  */
 151 struct sched_queue {
 152         pq_queue_t              sq_runq;
 153         TAILQ_HEAD(, pthread)   sq_waitq;       /* waiting in userland */
 154 };
 155
 156 typedef struct kse_thr_mailbox *kse_critical_t;
 157
 158 struct kse_group;
 159
 160 #define MAX_KSE_LOCKLEVEL       5
 161 struct kse {
 162         /* -- location and order specific items for gdb -- */
 163         struct kcb              *k_kcb;
 164         struct pthread          *k_curthread;   /* current thread */
 165         struct kse_group        *k_kseg;        /* parent KSEG */
 166         struct sched_queue      *k_schedq;      /* scheduling queue */
 167         /* -- end of location and order specific items -- */
 168         TAILQ_ENTRY(kse)        k_qe;           /* KSE list link entry */
 169         TAILQ_ENTRY(kse)        k_kgqe;         /* KSEG's KSE list entry */
 170         /*
 171          * Items that are only modified by the kse, or that otherwise
 172          * don't need to be locked when accessed
 173          */
 174         struct lock             k_lock;
 175         struct lockuser         k_lockusers[MAX_KSE_LOCKLEVEL];
 176         int                     k_locklevel;
 177         stack_t                 k_stack;
 178         int                     k_flags;
 179 #define KF_STARTED                      0x0001  /* kernel kse created */
 180 #define KF_INITIALIZED                  0x0002  /* initialized on 1st upcall */
 181 #define KF_TERMINATED                   0x0004  /* kse is terminated */
 182 #define KF_IDLE                         0x0008  /* kse is idle */
 183 #define KF_SWITCH                       0x0010  /* thread switch in UTS */
 184         int                     k_error;        /* syscall errno in critical */
 185         int                     k_cpu;          /* CPU ID when bound */
 186         int                     k_sigseqno;     /* signal buffered count */
 187 };
 188
 189 #define KSE_SET_IDLE(kse)       ((kse)->k_flags |= KF_IDLE)
 190 #define KSE_CLEAR_IDLE(kse)     ((kse)->k_flags &= ~KF_IDLE)
 191 #define KSE_IS_IDLE(kse)        (((kse)->k_flags & KF_IDLE) != 0)
 192 #define KSE_SET_SWITCH(kse)     ((kse)->k_flags |= KF_SWITCH)
 193 #define KSE_CLEAR_SWITCH(kse)   ((kse)->k_flags &= ~KF_SWITCH)
 194 #define KSE_IS_SWITCH(kse)      (((kse)->k_flags & KF_SWITCH) != 0)
 195
 196 /*
 197  * Each KSE group contains one or more KSEs in which threads can run.
 198  * At least for now, there is one scheduling queue per KSE group; KSEs
 199  * within the same KSE group compete for threads from the same scheduling
 200  * queue.  A scope system thread has one KSE in one KSE group; the group
 201  * does not use its scheduling queue.
 202  */
 203 struct kse_group {
 204         TAILQ_HEAD(, kse)       kg_kseq;        /* list of KSEs in group */
 205         TAILQ_HEAD(, pthread)   kg_threadq;     /* list of threads in group */
 206         TAILQ_ENTRY(kse_group)  kg_qe;          /* link entry */
 207         struct sched_queue      kg_schedq;      /* scheduling queue */
 208         struct lock             kg_lock;
 209         int                     kg_threadcount; /* # of assigned threads */
 210         int                     kg_ksecount;    /* # of assigned KSEs */
 211         int                     kg_idle_kses;
 212         int                     kg_flags;
 213 #define KGF_SINGLE_THREAD               0x0001  /* scope system kse group */
 214 #define KGF_SCHEDQ_INITED               0x0002  /* has an initialized schedq */
 215 };
 216
 217 /*
 218  * Add/remove threads from a KSE's scheduling queue.
 219  * For now the scheduling queue is hung off the KSEG.
 220  */
 221 #define KSEG_THRQ_ADD(kseg, thr)                        \
 222 do {                                                    \
 223         TAILQ_INSERT_TAIL(&(kseg)->kg_threadq, thr, kle);\
 224         (kseg)->kg_threadcount++;                       \
 225 } while (0)
 226
 227 #define KSEG_THRQ_REMOVE(kseg, thr)                     \
 228 do {                                                    \
 229         TAILQ_REMOVE(&(kseg)->kg_threadq, thr, kle);    \
 230         (kseg)->kg_threadcount--;                       \
 231 } while (0)
 232
 233
 234 /*
 235  * Lock acquire and release for KSEs.
 236  */
 237 #define KSE_LOCK_ACQUIRE(kse, lck)                                      \
 238 do {                                                                    \
 239         if ((kse)->k_locklevel < MAX_KSE_LOCKLEVEL) {                   \
 240                 (kse)->k_locklevel++;                                   \
 241                 _lock_acquire((lck),                                    \
 242                     &(kse)->k_lockusers[(kse)->k_locklevel - 1], 0);    \
 243         }                                                               \
 244         else                                                            \
 245                 PANIC("Exceeded maximum lock level");                   \
 246 } while (0)
 247
 248 #define KSE_LOCK_RELEASE(kse, lck)                                      \
 249 do {                                                                    \
 250         if ((kse)->k_locklevel > 0) {                                   \
 251                 _lock_release((lck),                                    \
 252                     &(kse)->k_lockusers[(kse)->k_locklevel - 1]);       \
 253                 (kse)->k_locklevel--;                                   \
 254         }                                                               \
 255 } while (0)
 256
 257 /*
 258  * Lock our own KSEG.
 259  */
 260 #define KSE_LOCK(curkse)                \
 261         KSE_LOCK_ACQUIRE(curkse, &(curkse)->k_kseg->kg_lock)
 262 #define KSE_UNLOCK(curkse)              \
 263         KSE_LOCK_RELEASE(curkse, &(curkse)->k_kseg->kg_lock)
 264
 265 /*
 266  * Lock a potentially different KSEG.
 267  */
 268 #define KSE_SCHED_LOCK(curkse, kseg)    \
 269         KSE_LOCK_ACQUIRE(curkse, &(kseg)->kg_lock)
 270 #define KSE_SCHED_UNLOCK(curkse, kseg)  \
 271         KSE_LOCK_RELEASE(curkse, &(kseg)->kg_lock)
 272
 273 /*
 274  * Waiting queue manipulation macros (using pqe link):
 275  */
 276 #define KSE_WAITQ_REMOVE(kse, thrd) \
 277 do { \
 278         if (((thrd)->flags & THR_FLAGS_IN_WAITQ) != 0) { \
 279                 TAILQ_REMOVE(&(kse)->k_schedq->sq_waitq, thrd, pqe); \
 280                 (thrd)->flags &= ~THR_FLAGS_IN_WAITQ; \
 281         } \
 282 } while (0)
 283 #define KSE_WAITQ_INSERT(kse, thrd)     kse_waitq_insert(thrd)
 284 #define KSE_WAITQ_FIRST(kse)            TAILQ_FIRST(&(kse)->k_schedq->sq_waitq)
 285
 286 #define KSE_WAKEUP(kse)         kse_wakeup(&(kse)->k_kcb->kcb_kmbx)
 287
 288 /*
 289  * TailQ initialization values.
 290  */
 291 #define TAILQ_INITIALIZER       { NULL, NULL }
 292
 293 /*
 294  * lock initialization values.
 295  */
 296 #define LCK_INITIALIZER         { NULL, NULL, LCK_DEFAULT }
 297
 298 struct pthread_mutex {
 299         /*
 300          * Lock for accesses to this structure.
 301          */
 302         struct lock                     m_lock;
 303         enum pthread_mutextype          m_type;
 304         int                             m_protocol;
 305         TAILQ_HEAD(mutex_head, pthread) m_queue;
 306         struct pthread                  *m_owner;
 307         long                            m_flags;
 308         int                             m_count;
 309         int                             m_refcount;
 310
 311         /*
 312          * Used for priority inheritence and protection.
 313          *
 314          *   m_prio       - For priority inheritence, the highest active
 315          *                  priority (threads locking the mutex inherit
 316          *                  this priority).  For priority protection, the
 317          *                  ceiling priority of this mutex.
 318          *   m_saved_prio - mutex owners inherited priority before
 319          *                  taking the mutex, restored when the owner
 320          *                  unlocks the mutex.
 321          */
 322         int                             m_prio;
 323         int                             m_saved_prio;
 324
 325         /*
 326          * Link for list of all mutexes a thread currently owns.
 327          */
 328         TAILQ_ENTRY(pthread_mutex)      m_qe;
 329 };
 330
 331 /*
 332  * Flags for mutexes.
 333  */
 334 #define MUTEX_FLAGS_PRIVATE     0x01
 335 #define MUTEX_FLAGS_INITED      0x02
 336 #define MUTEX_FLAGS_BUSY        0x04
 337
 338 /*
 339  * Static mutex initialization values.
 340  */
 341 #define PTHREAD_MUTEX_STATIC_INITIALIZER                                \
 342         { LCK_INITIALIZER, PTHREAD_MUTEX_DEFAULT, PTHREAD_PRIO_NONE,    \
 343         TAILQ_INITIALIZER, NULL, MUTEX_FLAGS_PRIVATE, 0, 0, 0, 0,       \
 344         TAILQ_INITIALIZER }
 345
 346 struct pthread_mutex_attr {
 347         enum pthread_mutextype  m_type;
 348         int                     m_protocol;
 349         int                     m_ceiling;
 350         long                    m_flags;
 351 };
 352
 353 #define PTHREAD_MUTEXATTR_STATIC_INITIALIZER \
 354         { PTHREAD_MUTEX_DEFAULT, PTHREAD_PRIO_NONE, 0, MUTEX_FLAGS_PRIVATE }
 355
 356 /*
 357  * Condition variable definitions.
 358  */
 359 enum pthread_cond_type {
 360         COND_TYPE_FAST,
 361         COND_TYPE_MAX
 362 };
 363
 364 struct pthread_cond {
 365         /*
 366          * Lock for accesses to this structure.
 367          */
 368         struct lock                     c_lock;
 369         enum pthread_cond_type          c_type;
 370         TAILQ_HEAD(cond_head, pthread)  c_queue;
 371         struct pthread_mutex            *c_mutex;
 372         long                            c_flags;
 373         long                            c_seqno;
 374 };
 375
 376 struct pthread_cond_attr {
 377         enum pthread_cond_type  c_type;
 378         long                    c_flags;
 379 };
 380
 381 struct pthread_barrier {
 382         pthread_mutex_t b_lock;
 383         pthread_cond_t  b_cond;
 384         int             b_count;
 385         int             b_waiters;
 386         int             b_generation;
 387 };
 388
 389 struct pthread_barrierattr {
 390         int             pshared;
 391 };
 392
 393 struct pthread_spinlock {
 394         volatile int    s_lock;
 395         pthread_t       s_owner;
 396 };
 397
 398 /*
 399  * Flags for condition variables.
 400  */
 401 #define COND_FLAGS_PRIVATE      0x01
 402 #define COND_FLAGS_INITED       0x02
 403 #define COND_FLAGS_BUSY         0x04
 404
 405 /*
 406  * Static cond initialization values.
 407  */
 408 #define PTHREAD_COND_STATIC_INITIALIZER                         \
 409         { LCK_INITIALIZER, COND_TYPE_FAST, TAILQ_INITIALIZER,   \
 410         NULL, NULL, 0, 0 }
 411
 412 /*
 413  * Cleanup definitions.
 414  */
 415 struct pthread_cleanup {
 416         struct pthread_cleanup  *next;
 417         void                    (*routine) ();
 418         void                    *routine_arg;
 419 };
 420
 421 struct pthread_atfork {
 422         TAILQ_ENTRY(pthread_atfork) qe;
 423         void (*prepare)(void);
 424         void (*parent)(void);
 425         void (*child)(void);
 426 };
 427
 428 struct pthread_attr {
 429         int     sched_policy;
 430         int     sched_inherit;
 431         int     sched_interval;
 432         int     prio;
 433         int     suspend;
 434 #define THR_STACK_USER          0x100   /* 0xFF reserved for <pthread.h> */
 435 #define THR_SIGNAL_THREAD       0x200   /* This is a signal thread */
 436         int     flags;
 437         void    *arg_attr;
 438         void    (*cleanup_attr) ();
 439         void    *stackaddr_attr;
 440         size_t  stacksize_attr;
 441         size_t  guardsize_attr;
 442 };
 443
 444 /*
 445  * Thread creation state attributes.
 446  */
 447 #define THR_CREATE_RUNNING              0
 448 #define THR_CREATE_SUSPENDED            1
 449
 450 /*
 451  * Miscellaneous definitions.
 452  */
 453 #define THR_STACK_DEFAULT                       65536
 454
 455 /*
 456  * Maximum size of initial thread's stack.  This perhaps deserves to be larger
 457  * than the stacks of other threads, since many applications are likely to run
 458  * almost entirely on this stack.
 459  */
 460 #define THR_STACK_INITIAL                       0x100000
 461
 462 /*
 463  * Define the different priority ranges.  All applications have thread
 464  * priorities constrained within 0-31.  The threads library raises the
 465  * priority when delivering signals in order to ensure that signal
 466  * delivery happens (from the POSIX spec) "as soon as possible".
 467  * In the future, the threads library will also be able to map specific
 468  * threads into real-time (cooperating) processes or kernel threads.
 469  * The RT and SIGNAL priorities will be used internally and added to
 470  * thread base priorities so that the scheduling queue can handle both
 471  * normal and RT priority threads with and without signal handling.
 472  *
 473  * The approach taken is that, within each class, signal delivery
 474  * always has priority over thread execution.
 475  */
 476 #define THR_DEFAULT_PRIORITY                    15
 477 #define THR_MIN_PRIORITY                        0
 478 #define THR_MAX_PRIORITY                        31      /* 0x1F */
 479 #define THR_SIGNAL_PRIORITY                     32      /* 0x20 */
 480 #define THR_RT_PRIORITY                         64      /* 0x40 */
 481 #define THR_FIRST_PRIORITY                      THR_MIN_PRIORITY
 482 #define THR_LAST_PRIORITY       \
 483         (THR_MAX_PRIORITY + THR_SIGNAL_PRIORITY + THR_RT_PRIORITY)
 484 #define THR_BASE_PRIORITY(prio) ((prio) & THR_MAX_PRIORITY)
 485
 486 /*
 487  * Clock resolution in microseconds.
 488  */
 489 #define CLOCK_RES_USEC                          10000
 490
 491 /*
 492  * Time slice period in microseconds.
 493  */
 494 #define TIMESLICE_USEC                          20000
 495
 496 /*
 497  * XXX - Define a thread-safe macro to get the current time of day
 498  *       which is updated at regular intervals by something.
 499  *
 500  * For now, we just make the system call to get the time.
 501  */
 502 #define KSE_GET_TOD(curkse, tsp) \
 503 do {                                                    \
 504         *tsp = (curkse)->k_kcb->kcb_kmbx.km_timeofday;  \
 505         if ((tsp)->tv_sec == 0)                         \
 506                 clock_gettime(CLOCK_REALTIME, tsp);     \
 507 } while (0)
 508
 509 struct pthread_rwlockattr {
 510         int             pshared;
 511 };
 512
 513 struct pthread_rwlock {
 514         pthread_mutex_t lock;   /* monitor lock */
 515         pthread_cond_t  read_signal;
 516         pthread_cond_t  write_signal;
 517         int             state;  /* 0 = idle  >0 = # of readers  -1 = writer */
 518         int             blocked_writers;
 519 };
 520
 521 /*
 522  * Thread states.
 523  */
 524 enum pthread_state {
 525         PS_RUNNING,
 526         PS_LOCKWAIT,
 527         PS_MUTEX_WAIT,
 528         PS_COND_WAIT,
 529         PS_SLEEP_WAIT,
 530         PS_SIGSUSPEND,
 531         PS_SIGWAIT,
 532         PS_JOIN,
 533         PS_SUSPENDED,
 534         PS_DEAD,
 535         PS_DEADLOCK,
 536         PS_STATE_MAX
 537 };
 538
 539 struct sigwait_data {
 540         sigset_t        *waitset;
 541         siginfo_t       *siginfo;       /* used to save siginfo for sigwaitinfo() */
 542 };
 543
 544 union pthread_wait_data {
 545         pthread_mutex_t mutex;
 546         pthread_cond_t  cond;
 547         struct lock     *lock;
 548         struct sigwait_data *sigwait;
 549 };
 550
 551 /*
 552  * Define a continuation routine that can be used to perform a
 553  * transfer of control:
 554  */
 555 typedef void    (*thread_continuation_t) (void *);
 556
 557 /*
 558  * This stores a thread's state prior to running a signal handler.
 559  * It is used when a signal is delivered to a thread blocked in
 560  * userland.  If the signal handler returns normally, the thread's
 561  * state is restored from here.
 562  */
 563 struct pthread_sigframe {
 564         int                     psf_valid;
 565         int                     psf_flags;
 566         int                     psf_cancelflags;
 567         int                     psf_interrupted;
 568         int                     psf_timeout;
 569         int                     psf_signo;
 570         enum pthread_state      psf_state;
 571         union pthread_wait_data psf_wait_data;
 572         struct timespec         psf_wakeup_time;
 573         sigset_t                psf_sigset;
 574         sigset_t                psf_sigmask;
 575         int                     psf_seqno;
 576 };
 577
 578 struct join_status {
 579         struct pthread  *thread;
 580         void            *ret;
 581         int             error;
 582 };
 583
 584 struct pthread_specific_elem {
 585         const void      *data;
 586         int             seqno;
 587 };
 588
 589 struct pthread_key {
 590         volatile int    allocated;
 591         volatile int    count;
 592         int             seqno;
 593         void            (*destructor) (void *);
 594 };
 595
 596 #define MAX_THR_LOCKLEVEL       5
 597 /*
 598  * Thread structure.
 599  */
 600 struct pthread {
 601         /* Thread control block */
 602         struct tcb              *tcb;
 603
 604         /*
 605          * Magic value to help recognize a valid thread structure
 606          * from an invalid one:
 607          */
 608 #define THR_MAGIC               ((u_int32_t) 0xd09ba115)
 609         u_int32_t               magic;
 610         char                    *name;
 611         u_int64_t               uniqueid; /* for gdb */
 612
 613         /* Queue entry for list of all threads: */
 614         TAILQ_ENTRY(pthread)    tle;    /* link for all threads in process */
 615         TAILQ_ENTRY(pthread)    kle;    /* link for all threads in KSE/KSEG */
 616
 617         /* Queue entry for GC lists: */
 618         TAILQ_ENTRY(pthread)    gcle;
 619
 620         /* Hash queue entry */
 621         LIST_ENTRY(pthread)     hle;
 622
 623         /*
 624          * Lock for accesses to this thread structure.
 625          */
 626         struct lock             lock;
 627         struct lockuser         lockusers[MAX_THR_LOCKLEVEL];
 628         int                     locklevel;
 629         kse_critical_t          critical[MAX_KSE_LOCKLEVEL];
 630         struct kse              *kse;
 631         struct kse_group        *kseg;
 632
 633         /*
 634          * Thread start routine, argument, stack pointer and thread
 635          * attributes.
 636          */
 637         void                    *(*start_routine)(void *);
 638         void                    *arg;
 639         struct pthread_attr     attr;
 640
 641         int                     active;         /* thread running */
 642         int                     blocked;        /* thread blocked in kernel */
 643         int                     need_switchout;
 644
 645         /*
 646          * Used for tracking delivery of signal handlers.
 647          */
 648         struct pthread_sigframe *curframe;
 649         siginfo_t               *siginfo;
 650
 651         /*
 652          * Cancelability flags - the lower 2 bits are used by cancel
 653          * definitions in pthread.h
 654          */
 655 #define THR_AT_CANCEL_POINT             0x0004
 656 #define THR_CANCELLING                  0x0008
 657 #define THR_CANCEL_NEEDED               0x0010
 658         int                     cancelflags;
 659
 660         thread_continuation_t   continuation;
 661
 662         /*
 663          * The thread's base and pending signal masks.  The active
 664          * signal mask is stored in the thread's context (in mailbox).
 665          */
 666         sigset_t                sigmask;
 667         sigset_t                sigpend;
 668         sigset_t                *oldsigmask;
 669         volatile int            check_pending;
 670         int                     refcount;
 671
 672         /* Thread state: */
 673         enum pthread_state      state;
 674         volatile int            lock_switch;
 675
 676         /*
 677          * Number of microseconds accumulated by this thread when
 678          * time slicing is active.
 679          */
 680         long                    slice_usec;
 681
 682         /*
 683          * Time to wake up thread. This is used for sleeping threads and
 684          * for any operation which may time out (such as select).
 685          */
 686         struct timespec         wakeup_time;
 687
 688         /* TRUE if operation has timed out. */
 689         int                     timeout;
 690
 691         /*
 692          * Error variable used instead of errno. The function __error()
 693          * returns a pointer to this.
 694          */
 695         int                     error;
 696
 697         /*
 698          * The joiner is the thread that is joining to this thread.  The
 699          * join status keeps track of a join operation to another thread.
 700          */
 701         struct pthread          *joiner;
 702         struct join_status      join_status;
 703
 704         /*
 705          * The current thread can belong to only one scheduling queue at
 706          * a time (ready or waiting queue).  It can also belong to:
 707          *
 708          *   o A queue of threads waiting for a mutex
 709          *   o A queue of threads waiting for a condition variable
 710          *
 711          * It is possible for a thread to belong to more than one of the
 712          * above queues if it is handling a signal.  A thread may only
 713          * enter a mutex or condition variable queue when it is not
 714          * being called from a signal handler.  If a thread is a member
 715          * of one of these queues when a signal handler is invoked, it
 716          * must be removed from the queue before invoking the handler
 717          * and then added back to the queue after return from the handler.
 718          *
 719          * Use pqe for the scheduling queue link (both ready and waiting),
 720          * sqe for synchronization (mutex, condition variable, and join)
 721          * queue links, and qe for all other links.
 722          */
 723         TAILQ_ENTRY(pthread)    pqe;    /* priority, wait queues link */
 724         TAILQ_ENTRY(pthread)    sqe;    /* synchronization queue link */
 725
 726         /* Wait data. */
 727         union pthread_wait_data data;
 728
 729         /*
 730          * Set to TRUE if a blocking operation was
 731          * interrupted by a signal:
 732          */
 733         int                     interrupted;
 734
 735         /*
 736          * Set to non-zero when this thread has entered a critical
 737          * region.  We allow for recursive entries into critical regions.
 738          */
 739         int                     critical_count;
 740
 741         /*
 742          * Set to TRUE if this thread should yield after leaving a
 743          * critical region to check for signals, messages, etc.
 744          */
 745         int                     critical_yield;
 746
 747         int                     sflags;
 748 #define THR_FLAGS_IN_SYNCQ      0x0001
 749
 750         /* Miscellaneous flags; only set with scheduling lock held. */
 751         int                     flags;
 752 #define THR_FLAGS_PRIVATE       0x0001
 753 #define THR_FLAGS_IN_WAITQ      0x0002  /* in waiting queue using pqe link */
 754 #define THR_FLAGS_IN_RUNQ       0x0004  /* in run queue using pqe link */
 755 #define THR_FLAGS_EXITING       0x0008  /* thread is exiting */
 756 #define THR_FLAGS_SUSPENDED     0x0010  /* thread is suspended */
 757
 758         /* Thread list flags; only set with thread list lock held. */
 759 #define TLFLAGS_GC_SAFE         0x0001  /* thread safe for cleaning */
 760 #define TLFLAGS_IN_TDLIST       0x0002  /* thread in all thread list */
 761 #define TLFLAGS_IN_GCLIST       0x0004  /* thread in gc list */
 762         int                     tlflags;
 763
 764         /*
 765          * Base priority is the user setable and retrievable priority
 766          * of the thread.  It is only affected by explicit calls to
 767          * set thread priority and upon thread creation via a thread
 768          * attribute or default priority.
 769          */
 770         char                    base_priority;
 771
 772         /*
 773          * Inherited priority is the priority a thread inherits by
 774          * taking a priority inheritence or protection mutex.  It
 775          * is not affected by base priority changes.  Inherited
 776          * priority defaults to and remains 0 until a mutex is taken
 777          * that is being waited on by any other thread whose priority
 778          * is non-zero.
 779          */
 780         char                    inherited_priority;
 781
 782         /*
 783          * Active priority is always the maximum of the threads base
 784          * priority and inherited priority.  When there is a change
 785          * in either the base or inherited priority, the active
 786          * priority must be recalculated.
 787          */
 788         char                    active_priority;
 789
 790         /* Number of priority ceiling or protection mutexes owned. */
 791         int                     priority_mutex_count;
 792
 793         /* Number rwlocks rdlocks held. */
 794         int                     rdlock_count;
 795
 796         /*
 797          * Queue of currently owned mutexes.
 798          */
 799         TAILQ_HEAD(, pthread_mutex)     mutexq;
 800
 801         void                            *ret;
 802         struct pthread_specific_elem    *specific;
 803         int                             specific_data_count;
 804
 805         /* Alternative stack for sigaltstack() */
 806         stack_t                         sigstk;
 807
 808         /*
 809          * Current locks bitmap for rtld.
 810          */
 811         int     rtld_bits;
 812
 813         /* Cleanup handlers Link List */
 814         struct pthread_cleanup *cleanup;
 815         char                    *fname; /* Ptr to source file name  */
 816         int                     lineno; /* Source line number.      */
 817 };
 818
 819 /*
 820  * Critical regions can also be detected by looking at the threads
 821  * current lock level.  Ensure these macros increment and decrement
 822  * the lock levels such that locks can not be held with a lock level
 823  * of 0.
 824  */
 825 #define THR_IN_CRITICAL(thrd)                                   \
 826         (((thrd)->locklevel > 0) ||                             \
 827         ((thrd)->critical_count > 0))
 828
 829 #define THR_YIELD_CHECK(thrd)                                   \
 830 do {                                                            \
 831         if (!THR_IN_CRITICAL(thrd)) {                           \
 832                 if (__predict_false(_libkse_debug))             \
 833                         _thr_debug_check_yield(thrd);           \
 834                 if ((thrd)->critical_yield != 0)                \
 835                         _thr_sched_switch(thrd);                \
 836                 if ((thrd)->check_pending != 0)                 \
 837                         _thr_sig_check_pending(thrd);           \
 838         }                                                       \
 839 } while (0)
 840
 841 #define THR_LOCK_ACQUIRE(thrd, lck)                             \
 842 do {                                                            \
 843         if ((thrd)->locklevel < MAX_THR_LOCKLEVEL) {            \
 844                 THR_DEACTIVATE_LAST_LOCK(thrd);                 \
 845                 (thrd)->locklevel++;                            \
 846                 _lock_acquire((lck),                            \
 847                     &(thrd)->lockusers[(thrd)->locklevel - 1],  \
 848                     (thrd)->active_priority);                   \
 849         } else                                                  \
 850                 PANIC("Exceeded maximum lock level");           \
 851 } while (0)
 852
 853 #define THR_LOCK_RELEASE(thrd, lck)                             \
 854 do {                                                            \
 855         if ((thrd)->locklevel > 0) {                            \
 856                 _lock_release((lck),                            \
 857                     &(thrd)->lockusers[(thrd)->locklevel - 1]); \
 858                 (thrd)->locklevel--;                            \
 859                 THR_ACTIVATE_LAST_LOCK(thrd);                   \
 860                 if ((thrd)->locklevel == 0)                     \
 861                         THR_YIELD_CHECK(thrd);                  \
 862         }                                                       \
 863 } while (0)
 864
 865 #define THR_ACTIVATE_LAST_LOCK(thrd)                                    \
 866 do {                                                                    \
 867         if ((thrd)->locklevel > 0)                                      \
 868                 _lockuser_setactive(                                    \
 869                     &(thrd)->lockusers[(thrd)->locklevel - 1], 1);      \
 870 } while (0)
 871
 872 #define THR_DEACTIVATE_LAST_LOCK(thrd)                                  \
 873 do {                                                                    \
 874         if ((thrd)->locklevel > 0)                                      \
 875                 _lockuser_setactive(                                    \
 876                     &(thrd)->lockusers[(thrd)->locklevel - 1], 0);      \
 877 } while (0)
 878
 879 /*
 880  * For now, threads will have their own lock separate from their
 881  * KSE scheduling lock.
 882  */
 883 #define THR_LOCK(thr)                   THR_LOCK_ACQUIRE(thr, &(thr)->lock)
 884 #define THR_UNLOCK(thr)                 THR_LOCK_RELEASE(thr, &(thr)->lock)
 885 #define THR_THREAD_LOCK(curthrd, thr)   THR_LOCK_ACQUIRE(curthrd, &(thr)->lock)
 886 #define THR_THREAD_UNLOCK(curthrd, thr) THR_LOCK_RELEASE(curthrd, &(thr)->lock)
 887
 888 /*
 889  * Priority queue manipulation macros (using pqe link).  We use
 890  * the thread's kseg link instead of the kse link because a thread
 891  * does not (currently) have a statically assigned kse.
 892  */
 893 #define THR_RUNQ_INSERT_HEAD(thrd)      \
 894         _pq_insert_head(&(thrd)->kseg->kg_schedq.sq_runq, thrd)
 895 #define THR_RUNQ_INSERT_TAIL(thrd)      \
 896         _pq_insert_tail(&(thrd)->kseg->kg_schedq.sq_runq, thrd)
 897 #define THR_RUNQ_REMOVE(thrd)           \
 898         _pq_remove(&(thrd)->kseg->kg_schedq.sq_runq, thrd)
 899
 900 /*
 901  * Macros to insert/remove threads to the all thread list and
 902  * the gc list.
 903  */
 904 #define THR_LIST_ADD(thrd) do {                                 \
 905         if (((thrd)->tlflags & TLFLAGS_IN_TDLIST) == 0) {       \
 906                 TAILQ_INSERT_HEAD(&_thread_list, thrd, tle);    \
 907                 _thr_hash_add(thrd);                            \
 908                 (thrd)->tlflags |= TLFLAGS_IN_TDLIST;           \
 909         }                                                       \
 910 } while (0)
 911 #define THR_LIST_REMOVE(thrd) do {                              \
 912         if (((thrd)->tlflags & TLFLAGS_IN_TDLIST) != 0) {       \
 913                 TAILQ_REMOVE(&_thread_list, thrd, tle);         \
 914                 _thr_hash_remove(thrd);                         \
 915                 (thrd)->tlflags &= ~TLFLAGS_IN_TDLIST;          \
 916         }                                                       \
 917 } while (0)
 918 #define THR_GCLIST_ADD(thrd) do {                               \
 919         if (((thrd)->tlflags & TLFLAGS_IN_GCLIST) == 0) {       \
 920                 TAILQ_INSERT_HEAD(&_thread_gc_list, thrd, gcle);\
 921                 (thrd)->tlflags |= TLFLAGS_IN_GCLIST;           \
 922                 _gc_count++;                                    \
 923         }                                                       \
 924 } while (0)
 925 #define THR_GCLIST_REMOVE(thrd) do {                            \
 926         if (((thrd)->tlflags & TLFLAGS_IN_GCLIST) != 0) {       \
 927                 TAILQ_REMOVE(&_thread_gc_list, thrd, gcle);     \
 928                 (thrd)->tlflags &= ~TLFLAGS_IN_GCLIST;          \
 929                 _gc_count--;                                    \
 930         }                                                       \
 931 } while (0)
 932
 933 #define GC_NEEDED()     (atomic_load_acq_int(&_gc_count) >= 5)
 934
 935 /*
 936  * Locking the scheduling queue for another thread uses that thread's
 937  * KSEG lock.
 938  */
 939 #define THR_SCHED_LOCK(curthr, thr) do {                \
 940         (curthr)->critical[(curthr)->locklevel] = _kse_critical_enter(); \
 941         (curthr)->locklevel++;                          \
 942         KSE_SCHED_LOCK((curthr)->kse, (thr)->kseg);     \
 943 } while (0)
 944
 945 #define THR_SCHED_UNLOCK(curthr, thr) do {              \
 946         KSE_SCHED_UNLOCK((curthr)->kse, (thr)->kseg);   \
 947         (curthr)->locklevel--;                          \
 948         _kse_critical_leave((curthr)->critical[(curthr)->locklevel]); \
 949 } while (0)
 950
 951 /* Take the scheduling lock with the intent to call the scheduler. */
 952 #define THR_LOCK_SWITCH(curthr) do {                    \
 953         (void)_kse_critical_enter();                    \
 954         KSE_SCHED_LOCK((curthr)->kse, (curthr)->kseg);  \
 955 } while (0)
 956 #define THR_UNLOCK_SWITCH(curthr) do {                  \
 957         KSE_SCHED_UNLOCK((curthr)->kse, (curthr)->kseg);\
 958 } while (0)
 959
 960 #define THR_CRITICAL_ENTER(thr)         (thr)->critical_count++
 961 #define THR_CRITICAL_LEAVE(thr) do {            \
 962         (thr)->critical_count--;                \
 963         if (((thr)->critical_yield != 0) &&     \
 964             ((thr)->critical_count == 0)) {     \
 965                 (thr)->critical_yield = 0;      \
 966                 _thr_sched_switch(thr);         \
 967         }                                       \
 968 } while (0)
 969
 970 #define THR_IS_ACTIVE(thrd) \
 971         ((thrd)->kse != NULL) && ((thrd)->kse->k_curthread == (thrd))
 972
 973 #define THR_IN_SYNCQ(thrd)      (((thrd)->sflags & THR_FLAGS_IN_SYNCQ) != 0)
 974
 975 #define THR_IS_SUSPENDED(thrd) \
 976         (((thrd)->state == PS_SUSPENDED) || \
 977         (((thrd)->flags & THR_FLAGS_SUSPENDED) != 0))
 978 #define THR_IS_EXITING(thrd)    (((thrd)->flags & THR_FLAGS_EXITING) != 0)
 979 #define DBG_CAN_RUN(thrd) (((thrd)->tcb->tcb_tmbx.tm_dflags & \
 980         TMDF_SUSPEND) == 0)
 981
 982 extern int __isthreaded;
 983
 984 static inline int
 985 _kse_isthreaded(void)
 986 {
 987         return (__isthreaded != 0);
 988 }
 989
 990 /*
 991  * Global variables for the pthread kernel.
 992  */
 993
 994 SCLASS void             *_usrstack      SCLASS_PRESET(NULL);
 995 SCLASS struct kse       *_kse_initial   SCLASS_PRESET(NULL);
 996 SCLASS struct pthread   *_thr_initial   SCLASS_PRESET(NULL);
 997 /* For debugger */
 998 SCLASS int              _libkse_debug           SCLASS_PRESET(0);
 999 SCLASS int              _thread_activated       SCLASS_PRESET(0);
1000 SCLASS int              _thread_scope_system    SCLASS_PRESET(0);
1001
1002 /* List of all threads: */
1003 SCLASS TAILQ_HEAD(, pthread)    _thread_list
1004     SCLASS_PRESET(TAILQ_HEAD_INITIALIZER(_thread_list));
1005
1006 /* List of threads needing GC: */
1007 SCLASS TAILQ_HEAD(, pthread)    _thread_gc_list
1008     SCLASS_PRESET(TAILQ_HEAD_INITIALIZER(_thread_gc_list));
1009
1010 SCLASS int      _thread_active_threads  SCLASS_PRESET(1);
1011
1012 SCLASS TAILQ_HEAD(atfork_head, pthread_atfork) _thr_atfork_list;
1013 SCLASS pthread_mutex_t          _thr_atfork_mutex;
1014
1015 /* Default thread attributes: */
1016 SCLASS struct pthread_attr _pthread_attr_default
1017     SCLASS_PRESET({
1018         SCHED_RR, 0, TIMESLICE_USEC, THR_DEFAULT_PRIORITY,
1019         THR_CREATE_RUNNING,     PTHREAD_CREATE_JOINABLE, NULL,
1020         NULL, NULL, THR_STACK_DEFAULT, /* guardsize */0
1021     });
1022
1023 /* Default mutex attributes: */
1024 SCLASS struct pthread_mutex_attr _pthread_mutexattr_default
1025     SCLASS_PRESET({PTHREAD_MUTEX_DEFAULT, PTHREAD_PRIO_NONE, 0, 0 });
1026
1027 /* Default condition variable attributes: */
1028 SCLASS struct pthread_cond_attr _pthread_condattr_default
1029     SCLASS_PRESET({COND_TYPE_FAST, 0});
1030
1031 /* Clock resolution in usec.    */
1032 SCLASS int              _clock_res_usec         SCLASS_PRESET(CLOCK_RES_USEC);
1033
1034 /* Array of signal actions for this process: */
1035 SCLASS struct sigaction _thread_sigact[_SIG_MAXSIG];
1036
1037 /*
1038  * Lock for above count of dummy handlers and for the process signal
1039  * mask and pending signal sets.
1040  */
1041 SCLASS struct lock      _thread_signal_lock;
1042
1043 /* Pending signals and mask for this process: */
1044 SCLASS sigset_t         _thr_proc_sigpending;
1045 SCLASS siginfo_t        _thr_proc_siginfo[_SIG_MAXSIG];
1046
1047 SCLASS pid_t            _thr_pid                SCLASS_PRESET(0);
1048
1049 /* Garbage collector lock. */
1050 SCLASS struct lock      _gc_lock;
1051 SCLASS int              _gc_check               SCLASS_PRESET(0);
1052 SCLASS int              _gc_count               SCLASS_PRESET(0);
1053
1054 SCLASS struct lock      _mutex_static_lock;
1055 SCLASS struct lock      _rwlock_static_lock;
1056 SCLASS struct lock      _keytable_lock;
1057 SCLASS struct lock      _thread_list_lock;
1058 SCLASS int              _thr_guard_default;
1059 SCLASS int              _thr_page_size;
1060 SCLASS pthread_t        _thr_sig_daemon;
1061 SCLASS int              _thr_debug_flags        SCLASS_PRESET(0);
1062
1063 /* Undefine the storage class and preset specifiers: */
1064 #undef  SCLASS
1065 #undef  SCLASS_PRESET
1066
1067
1068 /*
1069  * Function prototype definitions.
1070  */
1071 __BEGIN_DECLS
1072 int     _cond_reinit(pthread_cond_t *);
1073 void    _cond_wait_backout(struct pthread *);
1074 struct kse *_kse_alloc(struct pthread *, int sys_scope);
1075 kse_critical_t _kse_critical_enter(void);
1076 void    _kse_critical_leave(kse_critical_t);
1077 int     _kse_in_critical(void);
1078 void    _kse_free(struct pthread *, struct kse *);
1079 void    _kse_init();
1080 struct kse_group *_kseg_alloc(struct pthread *);
1081 void    _kse_lock_wait(struct lock *, struct lockuser *lu);
1082 void    _kse_lock_wakeup(struct lock *, struct lockuser *lu);
1083 void    _kse_single_thread(struct pthread *);
1084 int     _kse_setthreaded(int);
1085 void    _kseg_free(struct kse_group *);
1086 int     _mutex_cv_lock(pthread_mutex_t *);
1087 int     _mutex_cv_unlock(pthread_mutex_t *);
1088 void    _mutex_lock_backout(struct pthread *);
1089 void    _mutex_notify_priochange(struct pthread *, struct pthread *, int);
1090 int     _mutex_reinit(struct pthread_mutex *);
1091 void    _mutex_unlock_private(struct pthread *);
1092 void    _libpthread_init(struct pthread *);
1093 int     _pq_alloc(struct pq_queue *, int, int);
1094 void    _pq_free(struct pq_queue *);
1095 int     _pq_init(struct pq_queue *);
1096 void    _pq_remove(struct pq_queue *pq, struct pthread *);
1097 void    _pq_insert_head(struct pq_queue *pq, struct pthread *);
1098 void    _pq_insert_tail(struct pq_queue *pq, struct pthread *);
1099 struct pthread *_pq_first(struct pq_queue *pq);
1100 struct pthread *_pq_first_debug(struct pq_queue *pq);
1101 void    *_pthread_getspecific(pthread_key_t);
1102 int     _pthread_key_create(pthread_key_t *, void (*) (void *));
1103 int     _pthread_key_delete(pthread_key_t);
1104 int     _pthread_mutex_destroy(pthread_mutex_t *);
1105 int     _pthread_mutex_init(pthread_mutex_t *, const pthread_mutexattr_t *);
1106 int     _pthread_mutex_lock(pthread_mutex_t *);
1107 int     _pthread_mutex_trylock(pthread_mutex_t *);
1108 int     _pthread_mutex_unlock(pthread_mutex_t *);
1109 int     _pthread_mutexattr_init(pthread_mutexattr_t *);
1110 int     _pthread_mutexattr_destroy(pthread_mutexattr_t *);
1111 int     _pthread_mutexattr_settype(pthread_mutexattr_t *, int);
1112 int     _pthread_once(pthread_once_t *, void (*) (void));
1113 int     _pthread_rwlock_init(pthread_rwlock_t *, const pthread_rwlockattr_t *);
1114 int     _pthread_rwlock_destroy (pthread_rwlock_t *);
1115 struct pthread *_pthread_self(void);
1116 int     _pthread_setspecific(pthread_key_t, const void *);
1117 void    _pthread_yield(void);
1118 void    _pthread_cleanup_push(void (*routine) (void *), void *routine_arg);
1119 void    _pthread_cleanup_pop(int execute);
1120 struct pthread *_thr_alloc(struct pthread *);
1121 void    _thr_exit(char *, int, char *);
1122 void    _thr_exit_cleanup(void);
1123 void    _thr_lock_wait(struct lock *lock, struct lockuser *lu);
1124 void    _thr_lock_wakeup(struct lock *lock, struct lockuser *lu);
1125 void    _thr_mutex_reinit(pthread_mutex_t *);
1126 int     _thr_ref_add(struct pthread *, struct pthread *, int);
1127 void    _thr_ref_delete(struct pthread *, struct pthread *);
1128 void    _thr_rtld_init(void);
1129 void    _thr_rtld_fini(void);
1130 int     _thr_schedule_add(struct pthread *, struct pthread *);
1131 void    _thr_schedule_remove(struct pthread *, struct pthread *);
1132 void    _thr_setrunnable(struct pthread *curthread, struct pthread *thread);
1133 struct kse_mailbox *_thr_setrunnable_unlocked(struct pthread *thread);
1134 struct kse_mailbox *_thr_sig_add(struct pthread *, int, siginfo_t *);
1135 void    _thr_sig_dispatch(struct kse *, int, siginfo_t *);
1136 int     _thr_stack_alloc(struct pthread_attr *);
1137 void    _thr_stack_free(struct pthread_attr *);
1138 void    _thr_exit_cleanup(void);
1139 void    _thr_free(struct pthread *, struct pthread *);
1140 void    _thr_gc(struct pthread *);
1141 void    _thr_panic_exit(char *, int, char *);
1142 void    _thread_cleanupspecific(void);
1143 void    _thread_dump_info(void);
1144 void    _thread_printf(int, const char *, ...);
1145 void    _thr_sched_switch(struct pthread *);
1146 void    _thr_sched_switch_unlocked(struct pthread *);
1147 void    _thr_set_timeout(const struct timespec *);
1148 void    _thr_seterrno(struct pthread *, int);
1149 void    _thr_sig_handler(int, siginfo_t *, ucontext_t *);
1150 void    _thr_sig_check_pending(struct pthread *);
1151 void    _thr_sig_rundown(struct pthread *, ucontext_t *,
1152             struct pthread_sigframe *);
1153 void    _thr_sig_send(struct pthread *pthread, int sig);
1154 void    _thr_sigframe_restore(struct pthread *thread, struct pthread_sigframe *psf);
1155 void    _thr_spinlock_init(void);
1156 void    _thr_cancel_enter(struct pthread *);
1157 void    _thr_cancel_leave(struct pthread *, int);
1158 int     _thr_setconcurrency(int new_level);
1159 int     _thr_setmaxconcurrency(void);
1160 void    _thr_critical_enter(struct pthread *);
1161 void    _thr_critical_leave(struct pthread *);
1162 int     _thr_start_sig_daemon(void);
1163 int     _thr_getprocsig(int sig, siginfo_t *siginfo);
1164 int     _thr_getprocsig_unlocked(int sig, siginfo_t *siginfo);
1165 void    _thr_signal_init(void);
1166 void    _thr_signal_deinit(void);
1167 void    _thr_hash_add(struct pthread *);
1168 void    _thr_hash_remove(struct pthread *);
1169 struct pthread *_thr_hash_find(struct pthread *);
1170 void    _thr_finish_cancellation(void *arg);
1171 int     _thr_sigonstack(void *sp);
1172 void    _thr_debug_check_yield(struct pthread *);
1173
1174 /*
1175  * Aliases for _pthread functions. Should be called instead of
1176  * originals if PLT replocation is unwanted at runtme.
1177  */
1178 int     _thr_cond_broadcast(pthread_cond_t *);
1179 int     _thr_cond_signal(pthread_cond_t *);
1180 int     _thr_cond_wait(pthread_cond_t *, pthread_mutex_t *);
1181 int     _thr_mutex_lock(pthread_mutex_t *);
1182 int     _thr_mutex_unlock(pthread_mutex_t *);
1183 int     _thr_rwlock_rdlock (pthread_rwlock_t *);
1184 int     _thr_rwlock_wrlock (pthread_rwlock_t *);
1185 int     _thr_rwlock_unlock (pthread_rwlock_t *);
1186
1187 /* #include <sys/aio.h> */
1188 #ifdef _SYS_AIO_H_
1189 int     __sys_aio_suspend(const struct aiocb * const[], int, const struct timespec *);
1190 #endif
1191
1192 /* #include <fcntl.h> */
1193 #ifdef  _SYS_FCNTL_H_
1194 int     __sys_fcntl(int, int, ...);
1195 int     __sys_open(const char *, int, ...);
1196 #endif
1197
1198 /* #include <sys/ioctl.h> */
1199 #ifdef _SYS_IOCTL_H_
1200 int     __sys_ioctl(int, unsigned long, ...);
1201 #endif
1202
1203 /* #inclde <sched.h> */
1204 #ifdef  _SCHED_H_
1205 int     __sys_sched_yield(void);
1206 #endif
1207
1208 /* #include <signal.h> */
1209 #ifdef _SIGNAL_H_
1210 int     __sys_kill(pid_t, int);
1211 int     __sys_sigaction(int, const struct sigaction *, struct sigaction *);
1212 int     __sys_sigpending(sigset_t *);
1213 int     __sys_sigprocmask(int, const sigset_t *, sigset_t *);
1214 int     __sys_sigsuspend(const sigset_t *);
1215 int     __sys_sigreturn(ucontext_t *);
1216 int     __sys_sigaltstack(const struct sigaltstack *, struct sigaltstack *);
1217 #endif
1218
1219 /* #include <sys/socket.h> */
1220 #ifdef _SYS_SOCKET_H_
1221 int     __sys_accept(int, struct sockaddr *, socklen_t *);
1222 int     __sys_connect(int, const struct sockaddr *, socklen_t);
1223 int     __sys_sendfile(int, int, off_t, size_t, struct sf_hdtr *,
1224             off_t *, int);
1225 #endif
1226
1227 /* #include <sys/uio.h> */
1228 #ifdef  _SYS_UIO_H_
1229 ssize_t __sys_readv(int, const struct iovec *, int);
1230 ssize_t __sys_writev(int, const struct iovec *, int);
1231 #endif
1232
1233 /* #include <time.h> */
1234 #ifdef  _TIME_H_
1235 int     __sys_nanosleep(const struct timespec *, struct timespec *);
1236 #endif
1237
1238 /* #include <unistd.h> */
1239 #ifdef  _UNISTD_H_
1240 int     __sys_close(int);
1241 int     __sys_execve(const char *, char * const *, char * const *);
1242 int     __sys_fork(void);
1243 int     __sys_fsync(int);
1244 pid_t   __sys_getpid(void);
1245 int     __sys_select(int, fd_set *, fd_set *, fd_set *, struct timeval *);
1246 ssize_t __sys_read(int, void *, size_t);
1247 ssize_t __sys_write(int, const void *, size_t);
1248 void    __sys_exit(int);
1249 int     __sys_sigwait(const sigset_t *, int *);
1250 int     __sys_sigtimedwait(sigset_t *, siginfo_t *, struct timespec *);
1251 #endif
1252
1253 /* #include <poll.h> */
1254 #ifdef _SYS_POLL_H_
1255 int     __sys_poll(struct pollfd *, unsigned, int);
1256 #endif
1257
1258 /* #include <sys/mman.h> */
1259 #ifdef _SYS_MMAN_H_
1260 int     __sys_msync(void *, size_t, int);
1261 #endif
1262
1263 #endif  /* !_THR_PRIVATE_H */