sys/sys/umtx.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2002, Jeffrey Roberson <jeff@freebsd.org>
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice unmodified, this list of conditions, and the following
  12  *    disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  22  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  26  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27  *
  28  * $FreeBSD$
  29  *
  30  */
  31
  32 #ifndef _SYS_UMTX_H_
  33 #define _SYS_UMTX_H_
  34
  35 #include <sys/_umtx.h>
  36
  37 #define UMTX_UNOWNED            0x0
  38 #define UMTX_CONTESTED          LONG_MIN
  39
  40 /* Common lock flags */
  41 #define USYNC_PROCESS_SHARED    0x0001  /* Process shared sync objs */
  42
  43 /* umutex flags */
  44 #define UMUTEX_PRIO_INHERIT     0x0004  /* Priority inherited mutex */
  45 #define UMUTEX_PRIO_PROTECT     0x0008  /* Priority protect mutex */
  46 #define UMUTEX_ROBUST           0x0010  /* Robust mutex */
  47 #define UMUTEX_NONCONSISTENT    0x0020  /* Robust locked but not consistent */
  48
  49 /*
  50  * The umutex.m_lock values and bits.  The m_owner is the word which
  51  * serves as the lock.  Its high bit is the contention indicator and
  52  * rest of bits records the owner TID.  TIDs values start with PID_MAX
  53  * + 2 and end by INT32_MAX.  The low range [1..PID_MAX] is guaranteed
  54  * to be useable as the special markers.
  55  */
  56 #define UMUTEX_UNOWNED          0x0
  57 #define UMUTEX_CONTESTED        0x80000000U
  58 #define UMUTEX_RB_OWNERDEAD     (UMUTEX_CONTESTED | 0x10)
  59 #define UMUTEX_RB_NOTRECOV      (UMUTEX_CONTESTED | 0x11)
  60
  61 /* urwlock flags */
  62 #define URWLOCK_PREFER_READER   0x0002
  63
  64 #define URWLOCK_WRITE_OWNER     0x80000000U
  65 #define URWLOCK_WRITE_WAITERS   0x40000000U
  66 #define URWLOCK_READ_WAITERS    0x20000000U
  67 #define URWLOCK_MAX_READERS     0x1fffffffU
  68 #define URWLOCK_READER_COUNT(c) ((c) & URWLOCK_MAX_READERS)
  69
  70 /* _usem flags */
  71 #define SEM_NAMED       0x0002
  72
  73 /* _usem2 count field */
  74 #define USEM_HAS_WAITERS        0x80000000U
  75 #define USEM_MAX_COUNT          0x7fffffffU
  76 #define USEM_COUNT(c)           ((c) & USEM_MAX_COUNT)
  77
  78 /* op code for _umtx_op */
  79 #define UMTX_OP_LOCK            0       /* COMPAT10 */
  80 #define UMTX_OP_UNLOCK          1       /* COMPAT10 */
  81 #define UMTX_OP_WAIT            2
  82 #define UMTX_OP_WAKE            3
  83 #define UMTX_OP_MUTEX_TRYLOCK   4
  84 #define UMTX_OP_MUTEX_LOCK      5
  85 #define UMTX_OP_MUTEX_UNLOCK    6
  86 #define UMTX_OP_SET_CEILING     7
  87 #define UMTX_OP_CV_WAIT         8
  88 #define UMTX_OP_CV_SIGNAL       9
  89 #define UMTX_OP_CV_BROADCAST    10
  90 #define UMTX_OP_WAIT_UINT       11
  91 #define UMTX_OP_RW_RDLOCK       12
  92 #define UMTX_OP_RW_WRLOCK       13
  93 #define UMTX_OP_RW_UNLOCK       14
  94 #define UMTX_OP_WAIT_UINT_PRIVATE       15
  95 #define UMTX_OP_WAKE_PRIVATE    16
  96 #define UMTX_OP_MUTEX_WAIT      17
  97 #define UMTX_OP_MUTEX_WAKE      18      /* deprecated */
  98 #define UMTX_OP_SEM_WAIT        19      /* deprecated */
  99 #define UMTX_OP_SEM_WAKE        20      /* deprecated */
 100 #define UMTX_OP_NWAKE_PRIVATE   21
 101 #define UMTX_OP_MUTEX_WAKE2     22
 102 #define UMTX_OP_SEM2_WAIT       23
 103 #define UMTX_OP_SEM2_WAKE       24
 104 #define UMTX_OP_SHM             25
 105 #define UMTX_OP_ROBUST_LISTS    26
 106
 107 /*
 108  * Flags for ops; the double-underbar convention must be maintained for future
 109  * additions for the sake of libsysdecode.
 110  */
 111 #define UMTX_OP__I386           0x40000000
 112 #define UMTX_OP__32BIT          0x80000000
 113
 114 /* Flags for UMTX_OP_CV_WAIT */
 115 #define CVWAIT_CHECK_UNPARKING  0x01
 116 #define CVWAIT_ABSTIME          0x02
 117 #define CVWAIT_CLOCKID          0x04
 118
 119 #define UMTX_ABSTIME            0x01
 120
 121 #define UMTX_CHECK_UNPARKING    CVWAIT_CHECK_UNPARKING
 122
 123 /* Flags for UMTX_OP_SHM */
 124 #define UMTX_SHM_CREAT          0x0001
 125 #define UMTX_SHM_LOOKUP         0x0002
 126 #define UMTX_SHM_DESTROY        0x0004
 127 #define UMTX_SHM_ALIVE          0x0008
 128
 129 struct umtx_robust_lists_params {
 130         uintptr_t       robust_list_offset;
 131         uintptr_t       robust_priv_list_offset;
 132         uintptr_t       robust_inact_offset;
 133 };
 134
 135 #ifndef _KERNEL
 136
 137 __BEGIN_DECLS
 138
 139 int _umtx_op(void *obj, int op, u_long val, void *uaddr, void *uaddr2);
 140
 141 __END_DECLS
 142
 143 #else
 144
 145 /*
 146  * The umtx_key structure is used by both the Linux futex code and the
 147  * umtx implementation to map userland addresses to unique keys.
 148  */
 149
 150 enum {
 151         TYPE_SIMPLE_WAIT,
 152         TYPE_CV,
 153         TYPE_SEM,
 154         TYPE_SIMPLE_LOCK,
 155         TYPE_NORMAL_UMUTEX,
 156         TYPE_PI_UMUTEX,
 157         TYPE_PP_UMUTEX,
 158         TYPE_RWLOCK,
 159         TYPE_FUTEX,
 160         TYPE_SHM,
 161         TYPE_PI_ROBUST_UMUTEX,
 162         TYPE_PP_ROBUST_UMUTEX,
 163 };
 164
 165 /* Key to represent a unique userland synchronous object */
 166 struct umtx_key {
 167         int     hash;
 168         int     type;
 169         int     shared;
 170         union {
 171                 struct {
 172                         struct vm_object *object;
 173                         uintptr_t       offset;
 174                 } shared;
 175                 struct {
 176                         struct vmspace  *vs;
 177                         uintptr_t       addr;
 178                 } private;
 179                 struct {
 180                         void            *a;
 181                         uintptr_t       b;
 182                 } both;
 183         } info;
 184 };
 185
 186 #define THREAD_SHARE            0
 187 #define PROCESS_SHARE           1
 188 #define AUTO_SHARE              2
 189
 190 struct thread;
 191
 192 static inline int
 193 umtx_key_match(const struct umtx_key *k1, const struct umtx_key *k2)
 194 {
 195         return (k1->type == k2->type &&
 196                 k1->info.both.a == k2->info.both.a &&
 197                 k1->info.both.b == k2->info.both.b);
 198 }
 199
 200 int umtx_copyin_timeout(const void *, struct timespec *);
 201 void umtx_exec(struct proc *p);
 202 int umtx_key_get(const void *, int, int, struct umtx_key *);
 203 void umtx_key_release(struct umtx_key *);
 204 struct umtx_q *umtxq_alloc(void);
 205 void umtxq_free(struct umtx_q *);
 206 int kern_umtx_wake(struct thread *, void *, int, int);
 207 void umtx_pi_adjust(struct thread *, u_char);
 208 void umtx_thread_init(struct thread *);
 209 void umtx_thread_fini(struct thread *);
 210 void umtx_thread_alloc(struct thread *);
 211 void umtx_thread_exit(struct thread *);
 212
 213 #endif /* !_KERNEL */
 214 #endif /* !_SYS_UMTX_H_ */