sys/sys/umtx.h

   1 /*-
   2  * Copyright (c) 2002, Jeffrey Roberson <jeff@freebsd.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice unmodified, this list of conditions, and the following
  10  *    disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  16  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  17  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  18  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  19  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  20  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  21  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  22  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  24  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  25  *
  26  * $FreeBSD$
  27  *
  28  */
  29
  30 #ifndef _SYS_UMTX_H_
  31 #define _SYS_UMTX_H_
  32
  33 #include <sys/_types.h>
  34 #include <sys/limits.h>
  35
  36 /*
  37  * See pthread_*
  38  */
  39
  40 #define UMTX_UNOWNED    0x0
  41 #define UMTX_CONTESTED  LONG_MIN
  42
  43 struct umtx {
  44         volatile u_long u_owner;        /* Owner of the mutex. */
  45 };
  46
  47 #define USYNC_PROCESS_SHARED    0x0001  /* Process shared sync objs */
  48
  49 #define UMUTEX_UNOWNED          0x0
  50 #define UMUTEX_CONTESTED        0x80000000U
  51
  52 #define UMUTEX_ERROR_CHECK      0x0002  /* Error-checking mutex */
  53 #define UMUTEX_PRIO_INHERIT     0x0004  /* Priority inherited mutex */
  54 #define UMUTEX_PRIO_PROTECT     0x0008  /* Priority protect mutex */
  55
  56 struct umutex {
  57         volatile __lwpid_t      m_owner;        /* Owner of the mutex */
  58         uint32_t                m_flags;        /* Flags of the mutex */
  59         uint32_t                m_ceilings[2];  /* Priority protect ceiling */
  60         uint32_t                m_spare[4];
  61 };
  62
  63 struct ucond {
  64         volatile uint32_t       c_has_waiters;  /* Has waiters in kernel */
  65         uint32_t                c_flags;        /* Flags of the condition variable */
  66         uint32_t                c_spare[2];     /* Spare space */
  67 };
  68
  69 struct urwlock {
  70         volatile int32_t        rw_state;
  71         uint32_t                rw_flags;
  72         uint32_t                rw_blocked_readers;
  73         uint32_t                rw_blocked_writers;
  74         uint32_t                rw_spare[4];
  75 };
  76
  77 /* urwlock flags */
  78 #define URWLOCK_PREFER_READER   0x0002
  79
  80 #define URWLOCK_WRITE_OWNER     0x80000000U
  81 #define URWLOCK_WRITE_WAITERS   0x40000000U
  82 #define URWLOCK_READ_WAITERS    0x20000000U
  83 #define URWLOCK_MAX_READERS     0x1fffffffU
  84 #define URWLOCK_READER_COUNT(c) ((c) & URWLOCK_MAX_READERS)
  85
  86 /* op code for _umtx_op */
  87 #define UMTX_OP_LOCK            0
  88 #define UMTX_OP_UNLOCK          1
  89 #define UMTX_OP_WAIT            2
  90 #define UMTX_OP_WAKE            3
  91 #define UMTX_OP_MUTEX_TRYLOCK   4
  92 #define UMTX_OP_MUTEX_LOCK      5
  93 #define UMTX_OP_MUTEX_UNLOCK    6
  94 #define UMTX_OP_SET_CEILING     7
  95 #define UMTX_OP_CV_WAIT         8
  96 #define UMTX_OP_CV_SIGNAL       9
  97 #define UMTX_OP_CV_BROADCAST    10
  98 #define UMTX_OP_WAIT_UINT       11
  99 #define UMTX_OP_RW_RDLOCK       12
 100 #define UMTX_OP_RW_WRLOCK       13
 101 #define UMTX_OP_RW_UNLOCK       14
 102 #define UMTX_OP_WAIT_UINT_PRIVATE       15
 103 #define UMTX_OP_WAKE_PRIVATE    16
 104 #define UMTX_OP_MUTEX_WAIT      17
 105 #define UMTX_OP_MUTEX_WAKE      18
 106 #define UMTX_OP_MUTEX_WAKE2     22
 107 #define UMTX_OP_MAX             23
 108
 109 /* flags for UMTX_OP_CV_WAIT */
 110 #define UMTX_CHECK_UNPARKING    0x01
 111
 112 #ifndef _KERNEL
 113
 114 int _umtx_op(void *obj, int op, u_long val, void *uaddr, void *uaddr2);
 115
 116 /*
 117  * Old (deprecated) userland mutex system calls.
 118  */
 119 int _umtx_lock(struct umtx *mtx);
 120 int _umtx_unlock(struct umtx *mtx);
 121
 122 /*
 123  * Standard api.  Try uncontested acquire/release and asks the
 124  * kernel to resolve failures.
 125  */
 126 static __inline void
 127 umtx_init(struct umtx *umtx)
 128 {
 129         umtx->u_owner = UMTX_UNOWNED;
 130 }
 131
 132 static __inline u_long
 133 umtx_owner(struct umtx *umtx)
 134 {
 135         return (umtx->u_owner & ~LONG_MIN);
 136 }
 137
 138 static __inline int
 139 umtx_lock(struct umtx *umtx, u_long id)
 140 {
 141         if (atomic_cmpset_acq_long(&umtx->u_owner, UMTX_UNOWNED, id) == 0)
 142                 if (_umtx_lock(umtx) == -1)
 143                         return (errno);
 144         return (0);
 145 }
 146
 147 static __inline int
 148 umtx_trylock(struct umtx *umtx, u_long id)
 149 {
 150         if (atomic_cmpset_acq_long(&umtx->u_owner, UMTX_UNOWNED, id) == 0)
 151                 return (EBUSY);
 152         return (0);
 153 }
 154
 155 static __inline int
 156 umtx_timedlock(struct umtx *umtx, u_long id, const struct timespec *timeout)
 157 {
 158         if (atomic_cmpset_acq_long(&umtx->u_owner, UMTX_UNOWNED, id) == 0)
 159                 if (_umtx_op(umtx, UMTX_OP_LOCK, id, 0,
 160                     __DECONST(void *, timeout)) == -1)
 161                         return (errno);
 162         return (0);
 163 }
 164
 165 static __inline int
 166 umtx_unlock(struct umtx *umtx, u_long id)
 167 {
 168         if (atomic_cmpset_rel_long(&umtx->u_owner, id, UMTX_UNOWNED) == 0)
 169                 if (_umtx_unlock(umtx) == -1)
 170                         return (errno);
 171         return (0);
 172 }
 173
 174 static __inline int
 175 umtx_wait(u_long *p, long val, const struct timespec *timeout)
 176 {
 177         if (_umtx_op(p, UMTX_OP_WAIT, val, 0,
 178             __DECONST(void *, timeout)) == -1)
 179                 return (errno);
 180         return (0);
 181 }
 182
 183 /* Wake threads waiting on a user address. */
 184 static __inline int
 185 umtx_wake(u_long *p, int nr_wakeup)
 186 {
 187         if (_umtx_op(p, UMTX_OP_WAKE, nr_wakeup, 0, 0) == -1)
 188                 return (errno);
 189         return (0);
 190 }
 191
 192 #else
 193
 194 /*
 195  * The umtx_key structure is used by both the Linux futex code and the
 196  * umtx implementation to map userland addresses to unique keys.
 197  */
 198
 199 enum {
 200         TYPE_SIMPLE_WAIT,
 201         TYPE_CV,
 202         TYPE_SIMPLE_LOCK,
 203         TYPE_NORMAL_UMUTEX,
 204         TYPE_PI_UMUTEX,
 205         TYPE_PP_UMUTEX,
 206         TYPE_RWLOCK,
 207         TYPE_FUTEX
 208 };
 209
 210 /* Key to represent a unique userland synchronous object */
 211 struct umtx_key {
 212         int     hash;
 213         int     type;
 214         int     shared;
 215         union {
 216                 struct {
 217                         struct vm_object *object;
 218                         uintptr_t       offset;
 219                 } shared;
 220                 struct {
 221                         struct vmspace  *vs;
 222                         uintptr_t       addr;
 223                 } private;
 224                 struct {
 225                         void            *a;
 226                         uintptr_t       b;
 227                 } both;
 228         } info;
 229 };
 230
 231 #define THREAD_SHARE            0
 232 #define PROCESS_SHARE           1
 233 #define AUTO_SHARE              2
 234
 235 struct thread;
 236
 237 static inline int
 238 umtx_key_match(const struct umtx_key *k1, const struct umtx_key *k2)
 239 {
 240         return (k1->type == k2->type &&
 241                 k1->info.both.a == k2->info.both.a &&
 242                 k1->info.both.b == k2->info.both.b);
 243 }
 244
 245 int umtx_copyin_timeout(const void *, struct timespec *);
 246 int umtx_key_get(void *, int, int, struct umtx_key *);
 247 void umtx_key_release(struct umtx_key *);
 248 struct umtx_q *umtxq_alloc(void);
 249 void umtxq_free(struct umtx_q *);
 250 int kern_umtx_wake(struct thread *, void *, int, int);
 251 void umtx_pi_adjust(struct thread *, u_char);
 252 void umtx_thread_init(struct thread *);
 253 void umtx_thread_fini(struct thread *);
 254 void umtx_thread_alloc(struct thread *);
 255 void umtx_thread_exit(struct thread *);
 256 #endif /* !_KERNEL */
 257 #endif /* !_SYS_UMTX_H_ */