sys/sys/atomic_common.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2017 The FreeBSD Foundation
   5  *
   6  * This software was developed by Konstantin Belousov <kib@FreeBSD.org>
   7  * under sponsorship from the FreeBSD Foundation.
   8  *
   9  * Redistribution and use in source and binary forms, with or without
  10  * modification, are permitted provided that the following conditions
  11  * are met:
  12  * 1. Redistributions of source code must retain the above copyright
  13  *    notice, this list of conditions and the following disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  19  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  20  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  21  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  22  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  23  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  24  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  25  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  26  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  27  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  28  * SUCH DAMAGE.
  29  *
  30  * $FreeBSD$
  31  */
  32 #ifndef _SYS_ATOMIC_COMMON_H_
  33 #define _SYS_ATOMIC_COMMON_H_
  34
  35 #ifndef _MACHINE_ATOMIC_H_
  36 #error do not include this header, use machine/atomic.h
  37 #endif
  38
  39 #include <sys/cdefs.h>
  40 #include <sys/types.h>
  41
  42 #define __atomic_load_char_relaxed(p)   (*(volatile u_char *)(p))
  43 #define __atomic_load_short_relaxed(p)  (*(volatile u_short *)(p))
  44 #define __atomic_load_int_relaxed(p)    (*(volatile u_int *)(p))
  45 #define __atomic_load_long_relaxed(p)   (*(volatile u_long *)(p))
  46 #define __atomic_load_8_relaxed(p)      (*(volatile uint8_t *)(p))
  47 #define __atomic_load_16_relaxed(p)     (*(volatile uint16_t *)(p))
  48 #define __atomic_load_32_relaxed(p)     (*(volatile uint32_t *)(p))
  49 #define __atomic_load_64_relaxed(p)     (*(volatile uint64_t *)(p))
  50
  51 #define __atomic_store_char_relaxed(p, v)       \
  52     (*(volatile u_char *)(p) = (u_char)(v))
  53 #define __atomic_store_short_relaxed(p, v)      \
  54     (*(volatile u_short *)(p) = (u_short)(v))
  55 #define __atomic_store_int_relaxed(p, v)        \
  56     (*(volatile u_int *)(p) = (u_int)(v))
  57 #define __atomic_store_long_relaxed(p, v)       \
  58     (*(volatile u_long *)(p) = (u_long)(v))
  59 #define __atomic_store_8_relaxed(p, v)          \
  60     (*(volatile uint8_t *)(p) = (uint8_t)(v))
  61 #define __atomic_store_16_relaxed(p, v)         \
  62     (*(volatile uint16_t *)(p) = (uint16_t)(v))
  63 #define __atomic_store_32_relaxed(p, v)         \
  64     (*(volatile uint32_t *)(p) = (uint32_t)(v))
  65 #define __atomic_store_64_relaxed(p, v)         \
  66     (*(volatile uint64_t *)(p) = (uint64_t)(v))
  67
  68 /*
  69  * When _Generic is available, try to provide some type checking.
  70  */
  71 #if (defined(__STDC_VERSION__) && __STDC_VERSION__ >= 201112L) || \
  72     __has_extension(c_generic_selections)
  73 #define __atomic_load_generic(p, t, ut, n)      \
  74         _Generic(*(p),                          \
  75             t: __atomic_load_ ## n ## _relaxed(p), ut: __atomic_load_ ## n ## _relaxed(p))
  76 #define __atomic_store_generic(p, v, t, ut, n)  \
  77         _Generic(*(p),                          \
  78             t: __atomic_store_ ## n ## _relaxed(p, v), ut: __atomic_store_ ## n ## _relaxed(p, v))
  79 #else
  80 #define __atomic_load_generic(p, t, ut, n)      __atomic_load_ ## n ## _relaxed(p)
  81 #define __atomic_store_generic(p, v, t, ut, n)  __atomic_store_ ## n ## _relaxed(p, v)
  82 #endif
  83
  84 #define atomic_load_char(p)     __atomic_load_generic(p, char, u_char, char)
  85 #define atomic_load_short(p)    __atomic_load_generic(p, short, u_short, short)
  86 #define atomic_load_int(p)      __atomic_load_generic(p, int, u_int, int)
  87 #define atomic_load_long(p)     __atomic_load_generic(p, long, u_long, long)
  88 #define atomic_load_8(p)        __atomic_load_generic(p, int8_t, uint8_t, 8)
  89 #define atomic_load_16(p)       __atomic_load_generic(p, int16_t, uint16_t, 16)
  90 #define atomic_load_32(p)       __atomic_load_generic(p, int32_t, uint32_t, 32)
  91 #ifdef __LP64__
  92 #define atomic_load_64(p)       __atomic_load_generic(p, int64_t, uint64_t, 64)
  93 #endif
  94 #define atomic_store_char(p, v)                 \
  95         __atomic_store_generic(p, v, char, u_char, char)
  96 #define atomic_store_short(p, v)                \
  97         __atomic_store_generic(p, v, short, u_short, short)
  98 #define atomic_store_int(p, v)                  \
  99         __atomic_store_generic(p, v, int, u_int, int)
 100 #define atomic_store_long(p, v)                 \
 101         __atomic_store_generic(p, v, long, u_long, long)
 102 #define atomic_store_8(p, v)                    \
 103         __atomic_store_generic(p, v, int8_t, uint8_t, 8)
 104 #define atomic_store_16(p, v)                   \
 105         __atomic_store_generic(p, v, int16_t, uint16_t, 16)
 106 #define atomic_store_32(p, v)                   \
 107         __atomic_store_generic(p, v, int32_t, uint32_t, 32)
 108 #ifdef __LP64__
 109 #define atomic_store_64(p, v)                   \
 110         __atomic_store_generic(p, v, int64_t, uint64_t, 64)
 111 #endif
 112
 113 #define atomic_load_ptr(p)      (*(volatile __typeof(*p) *)(p))
 114 #define atomic_store_ptr(p, v)  (*(volatile __typeof(*p) *)(p) = (v))
 115
 116 /*
 117  * Currently all architectures provide acquire and release fences on their own,
 118  * but they don't provide consume. Kludge below allows relevant code to stop
 119  * openly resorting to the stronger acquire fence, to be sorted out.
 120  */
 121 #define atomic_load_consume_ptr(p)      \
 122     ((__typeof(*p)) atomic_load_acq_ptr((uintptr_t *)p))
 123
 124 #define atomic_interrupt_fence()        __compiler_membar()
 125
 126 #endif