include/os/freebsd/spl/sys/atomic.h

   1 /*
   2  * Copyright (c) 2007 Pawel Jakub Dawidek <pjd@FreeBSD.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHORS AND CONTRIBUTORS ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHORS OR CONTRIBUTORS BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  *
  26  * $FreeBSD$
  27  */
  28
  29 #ifndef _OPENSOLARIS_SYS_ATOMIC_H_
  30 #define _OPENSOLARIS_SYS_ATOMIC_H_
  31
  32 #include <sys/types.h>
  33 #include <machine/atomic.h>
  34
  35 #define atomic_sub_64   atomic_subtract_64
  36
  37 #if defined(__i386__) && (defined(_KERNEL) || defined(KLD_MODULE))
  38 #define I386_HAVE_ATOMIC64
  39 #endif
  40
  41 #if defined(__i386__) || defined(__amd64__) || defined(__arm__)
  42 /* No spurious failures from fcmpset. */
  43 #define STRONG_FCMPSET
  44 #endif
  45
  46 #if !defined(__LP64__) && !defined(__mips_n32) && \
  47         !defined(ARM_HAVE_ATOMIC64) && !defined(I386_HAVE_ATOMIC64) && \
  48         !defined(HAS_EMULATED_ATOMIC64)
  49 extern void atomic_add_64(volatile uint64_t *target, int64_t delta);
  50 extern void atomic_dec_64(volatile uint64_t *target);
  51 extern uint64_t atomic_swap_64(volatile uint64_t *a, uint64_t value);
  52 extern uint64_t atomic_load_64(volatile uint64_t *a);
  53 extern uint64_t atomic_add_64_nv(volatile uint64_t *target, int64_t delta);
  54 extern uint64_t atomic_cas_64(volatile uint64_t *target, uint64_t cmp,
  55     uint64_t newval);
  56 #endif
  57
  58 #define membar_producer atomic_thread_fence_rel
  59
  60 static __inline uint32_t
  61 atomic_add_32_nv(volatile uint32_t *target, int32_t delta)
  62 {
  63         return (atomic_fetchadd_32(target, delta) + delta);
  64 }
  65
  66 static __inline uint_t
  67 atomic_add_int_nv(volatile uint_t *target, int delta)
  68 {
  69         return (atomic_add_32_nv(target, delta));
  70 }
  71
  72 static __inline void
  73 atomic_inc_32(volatile uint32_t *target)
  74 {
  75         atomic_add_32(target, 1);
  76 }
  77
  78 static __inline uint32_t
  79 atomic_inc_32_nv(volatile uint32_t *target)
  80 {
  81         return (atomic_add_32_nv(target, 1));
  82 }
  83
  84 static __inline void
  85 atomic_dec_32(volatile uint32_t *target)
  86 {
  87         atomic_subtract_32(target, 1);
  88 }
  89
  90 static __inline uint32_t
  91 atomic_dec_32_nv(volatile uint32_t *target)
  92 {
  93         return (atomic_add_32_nv(target, -1));
  94 }
  95
  96 #ifndef __sparc64__
  97 static inline uint32_t
  98 atomic_cas_32(volatile uint32_t *target, uint32_t cmp, uint32_t newval)
  99 {
 100 #ifdef STRONG_FCMPSET
 101         (void) atomic_fcmpset_32(target, &cmp, newval);
 102 #else
 103         uint32_t expected = cmp;
 104
 105         do {
 106                 if (atomic_fcmpset_32(target, &cmp, newval))
 107                         break;
 108         } while (cmp == expected);
 109 #endif
 110         return (cmp);
 111 }
 112 #endif
 113
 114 #if defined(__LP64__) || defined(__mips_n32) || \
 115         defined(ARM_HAVE_ATOMIC64) || defined(I386_HAVE_ATOMIC64) || \
 116         defined(HAS_EMULATED_ATOMIC64)
 117 static __inline void
 118 atomic_dec_64(volatile uint64_t *target)
 119 {
 120         atomic_subtract_64(target, 1);
 121 }
 122
 123 static inline uint64_t
 124 atomic_add_64_nv(volatile uint64_t *target, int64_t delta)
 125 {
 126         return (atomic_fetchadd_64(target, delta) + delta);
 127 }
 128
 129 #ifndef __sparc64__
 130 static inline uint64_t
 131 atomic_cas_64(volatile uint64_t *target, uint64_t cmp, uint64_t newval)
 132 {
 133 #ifdef STRONG_FCMPSET
 134         (void) atomic_fcmpset_64(target, &cmp, newval);
 135 #else
 136         uint64_t expected = cmp;
 137
 138         do {
 139                 if (atomic_fcmpset_64(target, &cmp, newval))
 140                         break;
 141         } while (cmp == expected);
 142 #endif
 143         return (cmp);
 144 }
 145 #endif
 146 #endif
 147
 148 static __inline void
 149 atomic_inc_64(volatile uint64_t *target)
 150 {
 151         atomic_add_64(target, 1);
 152 }
 153
 154 static __inline uint64_t
 155 atomic_inc_64_nv(volatile uint64_t *target)
 156 {
 157         return (atomic_add_64_nv(target, 1));
 158 }
 159
 160 static __inline uint64_t
 161 atomic_dec_64_nv(volatile uint64_t *target)
 162 {
 163         return (atomic_add_64_nv(target, -1));
 164 }
 165
 166 #if !defined(COMPAT_32BIT) && defined(__LP64__)
 167 static __inline void *
 168 atomic_cas_ptr(volatile void *target, void *cmp,  void *newval)
 169 {
 170         return ((void *)atomic_cas_64((volatile uint64_t *)target,
 171             (uint64_t)cmp, (uint64_t)newval));
 172 }
 173 #else
 174 static __inline void *
 175 atomic_cas_ptr(volatile void *target, void *cmp,  void *newval)
 176 {
 177         return ((void *)atomic_cas_32((volatile uint32_t *)target,
 178             (uint32_t)cmp, (uint32_t)newval));
 179 }
 180 #endif  /* !defined(COMPAT_32BIT) && defined(__LP64__) */
 181
 182 #endif  /* !_OPENSOLARIS_SYS_ATOMIC_H_ */