sys/sys/umtx.h

   1 /*-
   2  * Copyright (c) 2002, Jeffrey Roberson <jeff@freebsd.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice unmodified, this list of conditions, and the following
  10  *    disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  16  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  17  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  18  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  19  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  20  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  21  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  22  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  24  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  25  *
  26  * $FreeBSD$
  27  *
  28  */
  29
  30 #ifndef _SYS_UMTX_H_
  31 #define _SYS_UMTX_H_
  32
  33 #include <sys/_umtx.h>
  34 #include <sys/limits.h>
  35
  36 #define UMTX_UNOWNED            0x0
  37 #define UMTX_CONTESTED          LONG_MIN
  38
  39 #define USYNC_PROCESS_SHARED    0x0001  /* Process shared sync objs */
  40
  41 #define UMUTEX_UNOWNED          0x0
  42 #define UMUTEX_CONTESTED        0x80000000U
  43
  44 #define UMUTEX_ERROR_CHECK      0x0002  /* Error-checking mutex */
  45 #define UMUTEX_PRIO_INHERIT     0x0004  /* Priority inherited mutex */
  46 #define UMUTEX_PRIO_PROTECT     0x0008  /* Priority protect mutex */
  47
  48 /* urwlock flags */
  49 #define URWLOCK_PREFER_READER   0x0002
  50
  51 #define URWLOCK_WRITE_OWNER     0x80000000U
  52 #define URWLOCK_WRITE_WAITERS   0x40000000U
  53 #define URWLOCK_READ_WAITERS    0x20000000U
  54 #define URWLOCK_MAX_READERS     0x1fffffffU
  55 #define URWLOCK_READER_COUNT(c) ((c) & URWLOCK_MAX_READERS)
  56
  57 /* _usem flags */
  58 #define SEM_NAMED       0x0002
  59
  60 /* op code for _umtx_op */
  61 #define UMTX_OP_LOCK            0
  62 #define UMTX_OP_UNLOCK          1
  63 #define UMTX_OP_WAIT            2
  64 #define UMTX_OP_WAKE            3
  65 #define UMTX_OP_MUTEX_TRYLOCK   4
  66 #define UMTX_OP_MUTEX_LOCK      5
  67 #define UMTX_OP_MUTEX_UNLOCK    6
  68 #define UMTX_OP_SET_CEILING     7
  69 #define UMTX_OP_CV_WAIT         8
  70 #define UMTX_OP_CV_SIGNAL       9
  71 #define UMTX_OP_CV_BROADCAST    10
  72 #define UMTX_OP_WAIT_UINT       11
  73 #define UMTX_OP_RW_RDLOCK       12
  74 #define UMTX_OP_RW_WRLOCK       13
  75 #define UMTX_OP_RW_UNLOCK       14
  76 #define UMTX_OP_WAIT_UINT_PRIVATE       15
  77 #define UMTX_OP_WAKE_PRIVATE    16
  78 #define UMTX_OP_MUTEX_WAIT      17
  79 #define UMTX_OP_MUTEX_WAKE      18      /* deprecated */
  80 #define UMTX_OP_SEM_WAIT        19
  81 #define UMTX_OP_SEM_WAKE        20
  82 #define UMTX_OP_NWAKE_PRIVATE   21
  83 #define UMTX_OP_MUTEX_WAKE2     22
  84 #define UMTX_OP_MAX             23
  85
  86 /* Flags for UMTX_OP_CV_WAIT */
  87 #define CVWAIT_CHECK_UNPARKING  0x01
  88 #define CVWAIT_ABSTIME          0x02
  89 #define CVWAIT_CLOCKID          0x04
  90
  91 #define UMTX_ABSTIME            0x01
  92
  93 #define UMTX_CHECK_UNPARKING    CVWAIT_CHECK_UNPARKING
  94
  95 #ifndef _KERNEL
  96
  97 int _umtx_op(void *obj, int op, u_long val, void *uaddr, void *uaddr2);
  98
  99 /*
 100  * Old (deprecated) userland mutex system calls.
 101  */
 102 int _umtx_lock(struct umtx *mtx);
 103 int _umtx_unlock(struct umtx *mtx);
 104
 105 /*
 106  * Standard api.  Try uncontested acquire/release and asks the
 107  * kernel to resolve failures.
 108  */
 109 static __inline void
 110 umtx_init(struct umtx *umtx)
 111 {
 112         umtx->u_owner = UMTX_UNOWNED;
 113 }
 114
 115 static __inline u_long
 116 umtx_owner(struct umtx *umtx)
 117 {
 118         return (umtx->u_owner & ~LONG_MIN);
 119 }
 120
 121 static __inline int
 122 umtx_lock(struct umtx *umtx, u_long id)
 123 {
 124         if (atomic_cmpset_acq_long(&umtx->u_owner, UMTX_UNOWNED, id) == 0)
 125                 if (_umtx_lock(umtx) == -1)
 126                         return (errno);
 127         return (0);
 128 }
 129
 130 static __inline int
 131 umtx_trylock(struct umtx *umtx, u_long id)
 132 {
 133         if (atomic_cmpset_acq_long(&umtx->u_owner, UMTX_UNOWNED, id) == 0)
 134                 return (EBUSY);
 135         return (0);
 136 }
 137
 138 static __inline int
 139 umtx_timedlock(struct umtx *umtx, u_long id, const struct timespec *timeout)
 140 {
 141         if (atomic_cmpset_acq_long(&umtx->u_owner, UMTX_UNOWNED, id) == 0)
 142                 if (_umtx_op(umtx, UMTX_OP_LOCK, id, 0,
 143                     __DECONST(void *, timeout)) == -1)
 144                         return (errno);
 145         return (0);
 146 }
 147
 148 static __inline int
 149 umtx_unlock(struct umtx *umtx, u_long id)
 150 {
 151         if (atomic_cmpset_rel_long(&umtx->u_owner, id, UMTX_UNOWNED) == 0)
 152                 if (_umtx_unlock(umtx) == -1)
 153                         return (errno);
 154         return (0);
 155 }
 156
 157 static __inline int
 158 umtx_wait(u_long *p, long val, const struct timespec *timeout)
 159 {
 160         if (_umtx_op(p, UMTX_OP_WAIT, val, 0,
 161             __DECONST(void *, timeout)) == -1)
 162                 return (errno);
 163         return (0);
 164 }
 165
 166 /* Wake threads waiting on a user address. */
 167 static __inline int
 168 umtx_wake(u_long *p, int nr_wakeup)
 169 {
 170         if (_umtx_op(p, UMTX_OP_WAKE, nr_wakeup, 0, 0) == -1)
 171                 return (errno);
 172         return (0);
 173 }
 174
 175 #else
 176
 177 /*
 178  * The umtx_key structure is used by both the Linux futex code and the
 179  * umtx implementation to map userland addresses to unique keys.
 180  */
 181
 182 enum {
 183         TYPE_SIMPLE_WAIT,
 184         TYPE_CV,
 185         TYPE_SEM,
 186         TYPE_SIMPLE_LOCK,
 187         TYPE_NORMAL_UMUTEX,
 188         TYPE_PI_UMUTEX,
 189         TYPE_PP_UMUTEX,
 190         TYPE_RWLOCK,
 191         TYPE_FUTEX
 192 };
 193
 194 /* Key to represent a unique userland synchronous object */
 195 struct umtx_key {
 196         int     hash;
 197         int     type;
 198         int     shared;
 199         union {
 200                 struct {
 201                         struct vm_object *object;
 202                         uintptr_t       offset;
 203                 } shared;
 204                 struct {
 205                         struct vmspace  *vs;
 206                         uintptr_t       addr;
 207                 } private;
 208                 struct {
 209                         void            *a;
 210                         uintptr_t       b;
 211                 } both;
 212         } info;
 213 };
 214
 215 #define THREAD_SHARE            0
 216 #define PROCESS_SHARE           1
 217 #define AUTO_SHARE              2
 218
 219 struct thread;
 220
 221 static inline int
 222 umtx_key_match(const struct umtx_key *k1, const struct umtx_key *k2)
 223 {
 224         return (k1->type == k2->type &&
 225                 k1->info.both.a == k2->info.both.a &&
 226                 k1->info.both.b == k2->info.both.b);
 227 }
 228
 229 int umtx_copyin_timeout(const void *, struct timespec *);
 230 int umtx_key_get(void *, int, int, struct umtx_key *);
 231 void umtx_key_release(struct umtx_key *);
 232 struct umtx_q *umtxq_alloc(void);
 233 void umtxq_free(struct umtx_q *);
 234 int kern_umtx_wake(struct thread *, void *, int, int);
 235 void umtx_pi_adjust(struct thread *, u_char);
 236 void umtx_thread_init(struct thread *);
 237 void umtx_thread_fini(struct thread *);
 238 void umtx_thread_alloc(struct thread *);
 239 void umtx_thread_exit(struct thread *);
 240 #endif /* !_KERNEL */
 241 #endif /* !_SYS_UMTX_H_ */