lib/libthr/thread/thr_umtx.h

   1 /*-
   2  * Copyright (c) 2005 David Xu <davidxu@freebsd.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  *
  26  * $FreeBSD$
  27  */
  28
  29 #ifndef _THR_FBSD_UMTX_H_
  30 #define _THR_FBSD_UMTX_H_
  31
  32 #include <strings.h>
  33 #include <sys/umtx.h>
  34
  35 #define DEFAULT_UMUTEX  {0,0,{0,0},{0,0,0,0}}
  36 #define DEFAULT_URWLOCK {0,0,0,0,{0,0,0,0}}
  37
  38 int __thr_umutex_lock(struct umutex *mtx, uint32_t id) __hidden;
  39 int __thr_umutex_lock_spin(struct umutex *mtx, uint32_t id) __hidden;
  40 int __thr_umutex_timedlock(struct umutex *mtx, uint32_t id,
  41         const struct timespec *timeout) __hidden;
  42 int __thr_umutex_unlock(struct umutex *mtx, uint32_t id) __hidden;
  43 int __thr_umutex_trylock(struct umutex *mtx) __hidden;
  44 int __thr_umutex_set_ceiling(struct umutex *mtx, uint32_t ceiling,
  45         uint32_t *oldceiling) __hidden;
  46
  47 void _thr_umutex_init(struct umutex *mtx) __hidden;
  48 void _thr_urwlock_init(struct urwlock *rwl) __hidden;
  49
  50 int _thr_umtx_wait(volatile long *mtx, long exp,
  51         const struct timespec *timeout) __hidden;
  52 int _thr_umtx_wait_uint(volatile u_int *mtx, u_int exp,
  53         const struct timespec *timeout, int shared) __hidden;
  54 int _thr_umtx_timedwait_uint(volatile u_int *mtx, u_int exp, int clockid,
  55         const struct timespec *timeout, int shared) __hidden;
  56 int _thr_umtx_wake(volatile void *mtx, int count, int shared) __hidden;
  57 int _thr_ucond_wait(struct ucond *cv, struct umutex *m,
  58         const struct timespec *timeout, int check_unpaking) __hidden;
  59 void _thr_ucond_init(struct ucond *cv) __hidden;
  60 int _thr_ucond_signal(struct ucond *cv) __hidden;
  61 int _thr_ucond_broadcast(struct ucond *cv) __hidden;
  62
  63 int __thr_rwlock_rdlock(struct urwlock *rwlock, int flags, struct timespec *tsp) __hidden;
  64 int __thr_rwlock_wrlock(struct urwlock *rwlock, struct timespec *tsp) __hidden;
  65 int __thr_rwlock_unlock(struct urwlock *rwlock) __hidden;
  66
  67 /* Internal used only */
  68 void _thr_rwl_rdlock(struct urwlock *rwlock) __hidden;
  69 void _thr_rwl_wrlock(struct urwlock *rwlock) __hidden;
  70 void _thr_rwl_unlock(struct urwlock *rwlock) __hidden;
  71
  72 static inline int
  73 _thr_umutex_trylock(struct umutex *mtx, uint32_t id)
  74 {
  75     if (atomic_cmpset_acq_32(&mtx->m_owner, UMUTEX_UNOWNED, id))
  76         return (0);
  77     if ((mtx->m_flags & UMUTEX_PRIO_PROTECT) == 0)
  78         return (EBUSY);
  79     return (__thr_umutex_trylock(mtx));
  80 }
  81
  82 static inline int
  83 _thr_umutex_trylock2(struct umutex *mtx, uint32_t id)
  84 {
  85     if (atomic_cmpset_acq_32(&mtx->m_owner, UMUTEX_UNOWNED, id) != 0)
  86         return (0);
  87     if ((uint32_t)mtx->m_owner == UMUTEX_CONTESTED &&
  88         __predict_true((mtx->m_flags & (UMUTEX_PRIO_PROTECT | UMUTEX_PRIO_INHERIT)) == 0))
  89         if (atomic_cmpset_acq_32(&mtx->m_owner, UMUTEX_CONTESTED, id | UMUTEX_CONTESTED))
  90                 return (0);
  91     return (EBUSY);
  92 }
  93
  94 static inline int
  95 _thr_umutex_lock(struct umutex *mtx, uint32_t id)
  96 {
  97     if (_thr_umutex_trylock2(mtx, id) == 0)
  98         return (0);
  99     return (__thr_umutex_lock(mtx, id));
 100 }
 101
 102 static inline int
 103 _thr_umutex_lock_spin(struct umutex *mtx, uint32_t id)
 104 {
 105     if (_thr_umutex_trylock2(mtx, id) == 0)
 106         return (0);
 107     return (__thr_umutex_lock_spin(mtx, id));
 108 }
 109
 110 static inline int
 111 _thr_umutex_timedlock(struct umutex *mtx, uint32_t id,
 112         const struct timespec *timeout)
 113 {
 114     if (_thr_umutex_trylock2(mtx, id) == 0)
 115         return (0);
 116     return (__thr_umutex_timedlock(mtx, id, timeout));
 117 }
 118
 119 static inline int
 120 _thr_umutex_unlock(struct umutex *mtx, uint32_t id)
 121 {
 122     if (atomic_cmpset_rel_32(&mtx->m_owner, id, UMUTEX_UNOWNED))
 123         return (0);
 124     return (__thr_umutex_unlock(mtx, id));
 125 }
 126
 127 static inline int
 128 _thr_rwlock_tryrdlock(struct urwlock *rwlock, int flags)
 129 {
 130         int32_t state;
 131         int32_t wrflags;
 132
 133         if (flags & URWLOCK_PREFER_READER || rwlock->rw_flags & URWLOCK_PREFER_READER)
 134                 wrflags = URWLOCK_WRITE_OWNER;
 135         else
 136                 wrflags = URWLOCK_WRITE_OWNER | URWLOCK_WRITE_WAITERS;
 137         state = rwlock->rw_state;
 138         while (!(state & wrflags)) {
 139                 if (__predict_false(URWLOCK_READER_COUNT(state) == URWLOCK_MAX_READERS))
 140                         return (EAGAIN);
 141                 if (atomic_cmpset_acq_32(&rwlock->rw_state, state, state + 1))
 142                         return (0);
 143                 state = rwlock->rw_state;
 144         }
 145
 146         return (EBUSY);
 147 }
 148
 149 static inline int
 150 _thr_rwlock_trywrlock(struct urwlock *rwlock)
 151 {
 152         int32_t state;
 153
 154         state = rwlock->rw_state;
 155         while (!(state & URWLOCK_WRITE_OWNER) && URWLOCK_READER_COUNT(state) == 0) {
 156                 if (atomic_cmpset_acq_32(&rwlock->rw_state, state, state | URWLOCK_WRITE_OWNER))
 157                         return (0);
 158                 state = rwlock->rw_state;
 159         }
 160
 161         return (EBUSY);
 162 }
 163
 164 static inline int
 165 _thr_rwlock_rdlock(struct urwlock *rwlock, int flags, struct timespec *tsp)
 166 {
 167         if (_thr_rwlock_tryrdlock(rwlock, flags) == 0)
 168                 return (0);
 169         return (__thr_rwlock_rdlock(rwlock, flags, tsp));
 170 }
 171
 172 static inline int
 173 _thr_rwlock_wrlock(struct urwlock *rwlock, struct timespec *tsp)
 174 {
 175         if (_thr_rwlock_trywrlock(rwlock) == 0)
 176                 return (0);
 177         return (__thr_rwlock_wrlock(rwlock, tsp));
 178 }
 179
 180 static inline int
 181 _thr_rwlock_unlock(struct urwlock *rwlock)
 182 {
 183         int32_t state;
 184
 185         state = rwlock->rw_state;
 186         if (state & URWLOCK_WRITE_OWNER) {
 187                 if (atomic_cmpset_rel_32(&rwlock->rw_state, URWLOCK_WRITE_OWNER, 0))
 188                         return (0);
 189         } else {
 190                 for (;;) {
 191                         if (__predict_false(URWLOCK_READER_COUNT(state) == 0))
 192                                 return (EPERM);
 193                         if (!((state & (URWLOCK_WRITE_WAITERS |
 194                             URWLOCK_READ_WAITERS)) &&
 195                             URWLOCK_READER_COUNT(state) == 1)) {
 196                                 if (atomic_cmpset_rel_32(&rwlock->rw_state,
 197                                     state, state-1))
 198                                         return (0);
 199                                 state = rwlock->rw_state;
 200                         } else {
 201                                 break;
 202                         }
 203                 }
 204         }
 205         return (__thr_rwlock_unlock(rwlock));
 206 }
 207 #endif