sys/sys/umtx.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2002, Jeffrey Roberson <jeff@freebsd.org>
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice unmodified, this list of conditions, and the following
  12  *    disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  22  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  26  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27  *
  28  * $FreeBSD$
  29  *
  30  */
  31
  32 #ifndef _SYS_UMTX_H_
  33 #define _SYS_UMTX_H_
  34
  35 #include <sys/_umtx.h>
  36
  37 /* Common lock flags */
  38 #define USYNC_PROCESS_SHARED    0x0001  /* Process shared sync objs */
  39
  40 /* umutex flags */
  41 #define UMUTEX_PRIO_INHERIT     0x0004  /* Priority inherited mutex */
  42 #define UMUTEX_PRIO_PROTECT     0x0008  /* Priority protect mutex */
  43 #define UMUTEX_ROBUST           0x0010  /* Robust mutex */
  44 #define UMUTEX_NONCONSISTENT    0x0020  /* Robust locked but not consistent */
  45
  46 /*
  47  * The umutex.m_lock values and bits.  The m_owner is the word which
  48  * serves as the lock.  Its high bit is the contention indicator and
  49  * rest of bits records the owner TID.  TIDs values start with PID_MAX
  50  * + 2 and end by INT32_MAX.  The low range [1..PID_MAX] is guaranteed
  51  * to be useable as the special markers.
  52  */
  53 #define UMUTEX_UNOWNED          0x0
  54 #define UMUTEX_CONTESTED        0x80000000U
  55 #define UMUTEX_RB_OWNERDEAD     (UMUTEX_CONTESTED | 0x10)
  56 #define UMUTEX_RB_NOTRECOV      (UMUTEX_CONTESTED | 0x11)
  57
  58 /* urwlock flags */
  59 #define URWLOCK_PREFER_READER   0x0002
  60
  61 #define URWLOCK_WRITE_OWNER     0x80000000U
  62 #define URWLOCK_WRITE_WAITERS   0x40000000U
  63 #define URWLOCK_READ_WAITERS    0x20000000U
  64 #define URWLOCK_MAX_READERS     0x1fffffffU
  65 #define URWLOCK_READER_COUNT(c) ((c) & URWLOCK_MAX_READERS)
  66
  67 /* _usem flags */
  68 #define SEM_NAMED       0x0002
  69
  70 /* _usem2 count field */
  71 #define USEM_HAS_WAITERS        0x80000000U
  72 #define USEM_MAX_COUNT          0x7fffffffU
  73 #define USEM_COUNT(c)           ((c) & USEM_MAX_COUNT)
  74
  75 /* op code for _umtx_op */
  76 #define UMTX_OP_RESERVED0       0
  77 #define UMTX_OP_RESERVED1       1
  78 #define UMTX_OP_WAIT            2
  79 #define UMTX_OP_WAKE            3
  80 #define UMTX_OP_MUTEX_TRYLOCK   4
  81 #define UMTX_OP_MUTEX_LOCK      5
  82 #define UMTX_OP_MUTEX_UNLOCK    6
  83 #define UMTX_OP_SET_CEILING     7
  84 #define UMTX_OP_CV_WAIT         8
  85 #define UMTX_OP_CV_SIGNAL       9
  86 #define UMTX_OP_CV_BROADCAST    10
  87 #define UMTX_OP_WAIT_UINT       11
  88 #define UMTX_OP_RW_RDLOCK       12
  89 #define UMTX_OP_RW_WRLOCK       13
  90 #define UMTX_OP_RW_UNLOCK       14
  91 #define UMTX_OP_WAIT_UINT_PRIVATE       15
  92 #define UMTX_OP_WAKE_PRIVATE    16
  93 #define UMTX_OP_MUTEX_WAIT      17
  94 #define UMTX_OP_MUTEX_WAKE      18      /* deprecated */
  95 #define UMTX_OP_SEM_WAIT        19      /* deprecated */
  96 #define UMTX_OP_SEM_WAKE        20      /* deprecated */
  97 #define UMTX_OP_NWAKE_PRIVATE   21
  98 #define UMTX_OP_MUTEX_WAKE2     22
  99 #define UMTX_OP_SEM2_WAIT       23
 100 #define UMTX_OP_SEM2_WAKE       24
 101 #define UMTX_OP_SHM             25
 102 #define UMTX_OP_ROBUST_LISTS    26
 103
 104 /*
 105  * Flags for ops; the double-underbar convention must be maintained for future
 106  * additions for the sake of libsysdecode.
 107  */
 108 #define UMTX_OP__I386           0x40000000
 109 #define UMTX_OP__32BIT          0x80000000
 110
 111 /* Flags for UMTX_OP_CV_WAIT */
 112 #define CVWAIT_CHECK_UNPARKING  0x01
 113 #define CVWAIT_ABSTIME          0x02
 114 #define CVWAIT_CLOCKID          0x04
 115
 116 #define UMTX_ABSTIME            0x01
 117
 118 #define UMTX_CHECK_UNPARKING    CVWAIT_CHECK_UNPARKING
 119
 120 /* Flags for UMTX_OP_SHM */
 121 #define UMTX_SHM_CREAT          0x0001
 122 #define UMTX_SHM_LOOKUP         0x0002
 123 #define UMTX_SHM_DESTROY        0x0004
 124 #define UMTX_SHM_ALIVE          0x0008
 125
 126 struct umtx_robust_lists_params {
 127         uintptr_t       robust_list_offset;
 128         uintptr_t       robust_priv_list_offset;
 129         uintptr_t       robust_inact_offset;
 130 };
 131
 132 #ifndef _KERNEL
 133
 134 __BEGIN_DECLS
 135
 136 int _umtx_op(void *obj, int op, u_long val, void *uaddr, void *uaddr2);
 137
 138 __END_DECLS
 139
 140 #else
 141
 142 /*
 143  * The umtx_key structure is used by both the Linux futex code and the
 144  * umtx implementation to map userland addresses to unique keys.
 145  */
 146
 147 enum {
 148         TYPE_SIMPLE_WAIT,
 149         TYPE_CV,
 150         TYPE_SEM,
 151         TYPE_SIMPLE_LOCK,
 152         TYPE_NORMAL_UMUTEX,
 153         TYPE_PI_UMUTEX,
 154         TYPE_PP_UMUTEX,
 155         TYPE_RWLOCK,
 156         TYPE_FUTEX,
 157         TYPE_SHM,
 158         TYPE_PI_ROBUST_UMUTEX,
 159         TYPE_PP_ROBUST_UMUTEX,
 160 };
 161
 162 /* Key to represent a unique userland synchronous object */
 163 struct umtx_key {
 164         int     hash;
 165         int     type;
 166         int     shared;
 167         union {
 168                 struct {
 169                         struct vm_object *object;
 170                         uintptr_t       offset;
 171                 } shared;
 172                 struct {
 173                         struct vmspace  *vs;
 174                         uintptr_t       addr;
 175                 } private;
 176                 struct {
 177                         void            *a;
 178                         uintptr_t       b;
 179                 } both;
 180         } info;
 181 };
 182
 183 #define THREAD_SHARE            0
 184 #define PROCESS_SHARE           1
 185 #define AUTO_SHARE              2
 186
 187 struct thread;
 188
 189 static inline int
 190 umtx_key_match(const struct umtx_key *k1, const struct umtx_key *k2)
 191 {
 192         return (k1->type == k2->type &&
 193                 k1->info.both.a == k2->info.both.a &&
 194                 k1->info.both.b == k2->info.both.b);
 195 }
 196
 197 int umtx_copyin_timeout(const void *, struct timespec *);
 198 void umtx_exec(struct proc *p);
 199 int umtx_key_get(const void *, int, int, struct umtx_key *);
 200 void umtx_key_release(struct umtx_key *);
 201 struct umtx_q *umtxq_alloc(void);
 202 void umtxq_free(struct umtx_q *);
 203 int kern_umtx_wake(struct thread *, void *, int, int);
 204 void umtx_pi_adjust(struct thread *, u_char);
 205 void umtx_thread_init(struct thread *);
 206 void umtx_thread_fini(struct thread *);
 207 void umtx_thread_alloc(struct thread *);
 208 void umtx_thread_exit(struct thread *);
 209
 210 #endif /* !_KERNEL */
 211 #endif /* !_SYS_UMTX_H_ */