sys/arm64/include/bus.h

   1 /*      $NetBSD: bus.h,v 1.11 2003/07/28 17:35:54 thorpej Exp $ */
   2
   3 /*-
   4  * Copyright (c) 1996, 1997, 1998, 2001 The NetBSD Foundation, Inc.
   5  * All rights reserved.
   6  *
   7  * This code is derived from software contributed to The NetBSD Foundation
   8  * by Jason R. Thorpe of the Numerical Aerospace Simulation Facility,
   9  * NASA Ames Research Center.
  10  *
  11  * Redistribution and use in source and binary forms, with or without
  12  * modification, are permitted provided that the following conditions
  13  * are met:
  14  * 1. Redistributions of source code must retain the above copyright
  15  *    notice, this list of conditions and the following disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
  21  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
  22  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  23  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
  24  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  25  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  26  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  27  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  28  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  29  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  30  * POSSIBILITY OF SUCH DAMAGE.
  31  */
  32
  33 /*-
  34  * Copyright (c) 1996 Charles M. Hannum.  All rights reserved.
  35  * Copyright (c) 1996 Christopher G. Demetriou.  All rights reserved.
  36  *
  37  * Redistribution and use in source and binary forms, with or without
  38  * modification, are permitted provided that the following conditions
  39  * are met:
  40  * 1. Redistributions of source code must retain the above copyright
  41  *    notice, this list of conditions and the following disclaimer.
  42  * 2. Redistributions in binary form must reproduce the above copyright
  43  *    notice, this list of conditions and the following disclaimer in the
  44  *    documentation and/or other materials provided with the distribution.
  45  * 3. All advertising materials mentioning features or use of this software
  46  *    must display the following acknowledgement:
  47  *      This product includes software developed by Christopher G. Demetriou
  48  *      for the NetBSD Project.
  49  * 4. The name of the author may not be used to endorse or promote products
  50  *    derived from this software without specific prior written permission
  51  *
  52  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  53  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  54  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  55  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  56  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  57  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  58  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  59  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  60  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  61  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  62  *
  63  * From: sys/arm/include/bus.h
  64  */
  65
  66 #ifdef __arm__
  67 #include <arm/bus.h>
  68 #else /* !__arm__ */
  69
  70 #ifndef _MACHINE_BUS_H_
  71 #define _MACHINE_BUS_H_
  72
  73 #include <machine/_bus.h>
  74
  75 #define BUS_SPACE_ALIGNED_POINTER(p, t) ALIGNED_POINTER(p, t)
  76
  77 #define BUS_SPACE_MAXADDR_24BIT 0xFFFFFFUL
  78 #define BUS_SPACE_MAXADDR_32BIT 0xFFFFFFFFUL
  79 #define BUS_SPACE_MAXADDR_40BIT 0xFFFFFFFFFFUL
  80 #define BUS_SPACE_MAXSIZE_24BIT 0xFFFFFFUL
  81 #define BUS_SPACE_MAXSIZE_32BIT 0xFFFFFFFFUL
  82 #define BUS_SPACE_MAXSIZE_40BIT 0xFFFFFFFFFFUL
  83
  84 #define BUS_SPACE_MAXADDR       0xFFFFFFFFFFFFFFFFUL
  85 #define BUS_SPACE_MAXSIZE       0xFFFFFFFFFFFFFFFFUL
  86
  87 #define BUS_SPACE_MAP_CACHEABLE         0x01
  88 #define BUS_SPACE_MAP_LINEAR            0x02
  89 #define BUS_SPACE_MAP_PREFETCHABLE      0x04
  90 #define BUS_SPACE_MAP_NONPOSTED         0x08
  91
  92 #define BUS_SPACE_UNRESTRICTED  (~0)
  93
  94 #define BUS_SPACE_BARRIER_READ  0x01
  95 #define BUS_SPACE_BARRIER_WRITE 0x02
  96
  97 struct bus_space {
  98         /* cookie */
  99         void            *bs_cookie;
 100
 101         /* mapping/unmapping */
 102         int             (*bs_map) (void *, bus_addr_t, bus_size_t,
 103                             int, bus_space_handle_t *);
 104         void            (*bs_unmap) (void *, bus_space_handle_t, bus_size_t);
 105         int             (*bs_subregion) (void *, bus_space_handle_t,
 106                             bus_size_t, bus_size_t, bus_space_handle_t *);
 107
 108         /* allocation/deallocation */
 109         int             (*bs_alloc) (void *, bus_addr_t, bus_addr_t,
 110                             bus_size_t, bus_size_t, bus_size_t, int,
 111                             bus_addr_t *, bus_space_handle_t *);
 112         void            (*bs_free) (void *, bus_space_handle_t,
 113                             bus_size_t);
 114
 115         /* get kernel virtual address */
 116         /* barrier */
 117         void            (*bs_barrier) (void *, bus_space_handle_t,
 118                             bus_size_t, bus_size_t, int);
 119
 120         /* read single */
 121         u_int8_t        (*bs_r_1) (void *, bus_space_handle_t, bus_size_t);
 122         u_int16_t       (*bs_r_2) (void *, bus_space_handle_t, bus_size_t);
 123         u_int32_t       (*bs_r_4) (void *, bus_space_handle_t, bus_size_t);
 124         u_int64_t       (*bs_r_8) (void *, bus_space_handle_t, bus_size_t);
 125
 126         /* read multiple */
 127         void            (*bs_rm_1) (void *, bus_space_handle_t, bus_size_t,
 128             u_int8_t *, bus_size_t);
 129         void            (*bs_rm_2) (void *, bus_space_handle_t, bus_size_t,
 130             u_int16_t *, bus_size_t);
 131         void            (*bs_rm_4) (void *, bus_space_handle_t,
 132                             bus_size_t, u_int32_t *, bus_size_t);
 133         void            (*bs_rm_8) (void *, bus_space_handle_t,
 134                             bus_size_t, u_int64_t *, bus_size_t);
 135
 136         /* read region */
 137         void            (*bs_rr_1) (void *, bus_space_handle_t,
 138                             bus_size_t, u_int8_t *, bus_size_t);
 139         void            (*bs_rr_2) (void *, bus_space_handle_t,
 140                             bus_size_t, u_int16_t *, bus_size_t);
 141         void            (*bs_rr_4) (void *, bus_space_handle_t,
 142                             bus_size_t, u_int32_t *, bus_size_t);
 143         void            (*bs_rr_8) (void *, bus_space_handle_t,
 144                             bus_size_t, u_int64_t *, bus_size_t);
 145
 146         /* write single */
 147         void            (*bs_w_1) (void *, bus_space_handle_t,
 148                             bus_size_t, u_int8_t);
 149         void            (*bs_w_2) (void *, bus_space_handle_t,
 150                             bus_size_t, u_int16_t);
 151         void            (*bs_w_4) (void *, bus_space_handle_t,
 152                             bus_size_t, u_int32_t);
 153         void            (*bs_w_8) (void *, bus_space_handle_t,
 154                             bus_size_t, u_int64_t);
 155
 156         /* write multiple */
 157         void            (*bs_wm_1) (void *, bus_space_handle_t,
 158                             bus_size_t, const u_int8_t *, bus_size_t);
 159         void            (*bs_wm_2) (void *, bus_space_handle_t,
 160                             bus_size_t, const u_int16_t *, bus_size_t);
 161         void            (*bs_wm_4) (void *, bus_space_handle_t,
 162                             bus_size_t, const u_int32_t *, bus_size_t);
 163         void            (*bs_wm_8) (void *, bus_space_handle_t,
 164                             bus_size_t, const u_int64_t *, bus_size_t);
 165
 166         /* write region */
 167         void            (*bs_wr_1) (void *, bus_space_handle_t,
 168                             bus_size_t, const u_int8_t *, bus_size_t);
 169         void            (*bs_wr_2) (void *, bus_space_handle_t,
 170                             bus_size_t, const u_int16_t *, bus_size_t);
 171         void            (*bs_wr_4) (void *, bus_space_handle_t,
 172                             bus_size_t, const u_int32_t *, bus_size_t);
 173         void            (*bs_wr_8) (void *, bus_space_handle_t,
 174                             bus_size_t, const u_int64_t *, bus_size_t);
 175
 176         /* set multiple */
 177         void            (*bs_sm_1) (void *, bus_space_handle_t,
 178                             bus_size_t, u_int8_t, bus_size_t);
 179         void            (*bs_sm_2) (void *, bus_space_handle_t,
 180                             bus_size_t, u_int16_t, bus_size_t);
 181         void            (*bs_sm_4) (void *, bus_space_handle_t,
 182                             bus_size_t, u_int32_t, bus_size_t);
 183         void            (*bs_sm_8) (void *, bus_space_handle_t,
 184                             bus_size_t, u_int64_t, bus_size_t);
 185
 186         /* set region */
 187         void            (*bs_sr_1) (void *, bus_space_handle_t,
 188                             bus_size_t, u_int8_t, bus_size_t);
 189         void            (*bs_sr_2) (void *, bus_space_handle_t,
 190                             bus_size_t, u_int16_t, bus_size_t);
 191         void            (*bs_sr_4) (void *, bus_space_handle_t,
 192                             bus_size_t, u_int32_t, bus_size_t);
 193         void            (*bs_sr_8) (void *, bus_space_handle_t,
 194                             bus_size_t, u_int64_t, bus_size_t);
 195
 196         /* copy */
 197         void            (*bs_c_1) (void *, bus_space_handle_t, bus_size_t,
 198                             bus_space_handle_t, bus_size_t, bus_size_t);
 199         void            (*bs_c_2) (void *, bus_space_handle_t, bus_size_t,
 200                             bus_space_handle_t, bus_size_t, bus_size_t);
 201         void            (*bs_c_4) (void *, bus_space_handle_t, bus_size_t,
 202                             bus_space_handle_t, bus_size_t, bus_size_t);
 203         void            (*bs_c_8) (void *, bus_space_handle_t, bus_size_t,
 204                             bus_space_handle_t, bus_size_t, bus_size_t);
 205
 206         /* read single stream */
 207         u_int8_t        (*bs_r_1_s) (void *, bus_space_handle_t, bus_size_t);
 208         u_int16_t       (*bs_r_2_s) (void *, bus_space_handle_t, bus_size_t);
 209         u_int32_t       (*bs_r_4_s) (void *, bus_space_handle_t, bus_size_t);
 210         u_int64_t       (*bs_r_8_s) (void *, bus_space_handle_t, bus_size_t);
 211
 212         /* read multiple stream */
 213         void            (*bs_rm_1_s) (void *, bus_space_handle_t, bus_size_t,
 214             u_int8_t *, bus_size_t);
 215         void            (*bs_rm_2_s) (void *, bus_space_handle_t, bus_size_t,
 216             u_int16_t *, bus_size_t);
 217         void            (*bs_rm_4_s) (void *, bus_space_handle_t,
 218                             bus_size_t, u_int32_t *, bus_size_t);
 219         void            (*bs_rm_8_s) (void *, bus_space_handle_t,
 220                             bus_size_t, u_int64_t *, bus_size_t);
 221
 222         /* read region stream */
 223         void            (*bs_rr_1_s) (void *, bus_space_handle_t,
 224                             bus_size_t, u_int8_t *, bus_size_t);
 225         void            (*bs_rr_2_s) (void *, bus_space_handle_t,
 226                             bus_size_t, u_int16_t *, bus_size_t);
 227         void            (*bs_rr_4_s) (void *, bus_space_handle_t,
 228                             bus_size_t, u_int32_t *, bus_size_t);
 229         void            (*bs_rr_8_s) (void *, bus_space_handle_t,
 230                             bus_size_t, u_int64_t *, bus_size_t);
 231
 232         /* write single stream */
 233         void            (*bs_w_1_s) (void *, bus_space_handle_t,
 234                             bus_size_t, u_int8_t);
 235         void            (*bs_w_2_s) (void *, bus_space_handle_t,
 236                             bus_size_t, u_int16_t);
 237         void            (*bs_w_4_s) (void *, bus_space_handle_t,
 238                             bus_size_t, u_int32_t);
 239         void            (*bs_w_8_s) (void *, bus_space_handle_t,
 240                             bus_size_t, u_int64_t);
 241
 242         /* write multiple stream */
 243         void            (*bs_wm_1_s) (void *, bus_space_handle_t,
 244                             bus_size_t, const u_int8_t *, bus_size_t);
 245         void            (*bs_wm_2_s) (void *, bus_space_handle_t,
 246                             bus_size_t, const u_int16_t *, bus_size_t);
 247         void            (*bs_wm_4_s) (void *, bus_space_handle_t,
 248                             bus_size_t, const u_int32_t *, bus_size_t);
 249         void            (*bs_wm_8_s) (void *, bus_space_handle_t,
 250                             bus_size_t, const u_int64_t *, bus_size_t);
 251
 252         /* write region stream */
 253         void            (*bs_wr_1_s) (void *, bus_space_handle_t,
 254                             bus_size_t, const u_int8_t *, bus_size_t);
 255         void            (*bs_wr_2_s) (void *, bus_space_handle_t,
 256                             bus_size_t, const u_int16_t *, bus_size_t);
 257         void            (*bs_wr_4_s) (void *, bus_space_handle_t,
 258                             bus_size_t, const u_int32_t *, bus_size_t);
 259         void            (*bs_wr_8_s) (void *, bus_space_handle_t,
 260                             bus_size_t, const u_int64_t *, bus_size_t);
 261
 262         /* peek */
 263         int             (*bs_peek_1)(void *, bus_space_handle_t,
 264                             bus_size_t , uint8_t *);
 265         int             (*bs_peek_2)(void *, bus_space_handle_t,
 266                             bus_size_t , uint16_t *);
 267         int             (*bs_peek_4)(void *, bus_space_handle_t,
 268                             bus_size_t , uint32_t *);
 269         int             (*bs_peek_8)(void *, bus_space_handle_t,
 270                             bus_size_t , uint64_t *);
 271
 272         /* poke */
 273         int             (*bs_poke_1)(void *, bus_space_handle_t,
 274                            bus_size_t, uint8_t);
 275         int             (*bs_poke_2)(void *, bus_space_handle_t,
 276                            bus_size_t, uint16_t);
 277         int             (*bs_poke_4)(void *, bus_space_handle_t,
 278                            bus_size_t, uint32_t);
 279         int             (*bs_poke_8)(void *, bus_space_handle_t,
 280                            bus_size_t, uint64_t);
 281 };
 282
 283 #if defined(SAN_NEEDS_INTERCEPTORS) && !defined(SAN_RUNTIME)
 284 #include <sys/bus_san.h>
 285 #else
 286
 287 /*
 288  * Utility macros; INTERNAL USE ONLY.
 289  */
 290 #define __bs_c(a,b)             __CONCAT(a,b)
 291 #define __bs_opname(op,size)    __bs_c(__bs_c(__bs_c(bs_,op),_),size)
 292
 293 #define __bs_rs(sz, t, h, o)                                            \
 294         (*(t)->__bs_opname(r,sz))((t)->bs_cookie, h, o)
 295 #define __bs_ws(sz, t, h, o, v)                                         \
 296         (*(t)->__bs_opname(w,sz))((t)->bs_cookie, h, o, v)
 297 #define __bs_nonsingle(type, sz, t, h, o, a, c)                         \
 298         (*(t)->__bs_opname(type,sz))((t)->bs_cookie, h, o, a, c)
 299 #define __bs_set(type, sz, t, h, o, v, c)                               \
 300         (*(t)->__bs_opname(type,sz))((t)->bs_cookie, h, o, v, c)
 301 #define __bs_copy(sz, t, h1, o1, h2, o2, cnt)                           \
 302         (*(t)->__bs_opname(c,sz))((t)->bs_cookie, h1, o1, h2, o2, cnt)
 303
 304 #define __bs_opname_s(op,size)  __bs_c(__bs_c(__bs_c(__bs_c(bs_,op),_),size),_s)
 305 #define __bs_rs_s(sz, t, h, o)                                          \
 306         (*(t)->__bs_opname_s(r,sz))((t)->bs_cookie, h, o)
 307 #define __bs_ws_s(sz, t, h, o, v)                                       \
 308         (*(t)->__bs_opname_s(w,sz))((t)->bs_cookie, h, o, v)
 309 #define __bs_peek(sz, t, h, o, vp)                                      \
 310         (*(t)->__bs_opname(peek, sz))((t)->bs_cookie, h, o, vp)
 311 #define __bs_poke(sz, t, h, o, v)                                       \
 312         (*(t)->__bs_opname(poke, sz))((t)->bs_cookie, h, o, v)
 313 #define __bs_nonsingle_s(type, sz, t, h, o, a, c)                       \
 314         (*(t)->__bs_opname_s(type,sz))((t)->bs_cookie, h, o, a, c)
 315
 316 /*
 317  * Mapping and unmapping operations.
 318  */
 319 #define bus_space_map(t, a, s, c, hp)                                   \
 320         (*(t)->bs_map)((t)->bs_cookie, (a), (s), (c), (hp))
 321 #define bus_space_unmap(t, h, s)                                        \
 322         (*(t)->bs_unmap)((t)->bs_cookie, (h), (s))
 323 #define bus_space_subregion(t, h, o, s, hp)                             \
 324         (*(t)->bs_subregion)((t)->bs_cookie, (h), (o), (s), (hp))
 325
 326 /*
 327  * Allocation and deallocation operations.
 328  */
 329 #define bus_space_alloc(t, rs, re, s, a, b, c, ap, hp)                  \
 330         (*(t)->bs_alloc)((t)->bs_cookie, (rs), (re), (s), (a), (b),     \
 331             (c), (ap), (hp))
 332 #define bus_space_free(t, h, s)                                         \
 333         (*(t)->bs_free)((t)->bs_cookie, (h), (s))
 334
 335 /*
 336  * Bus barrier operations.
 337  */
 338 #define bus_space_barrier(t, h, o, l, f)                                \
 339         (*(t)->bs_barrier)((t)->bs_cookie, (h), (o), (l), (f))
 340
 341 /*
 342  * Bus read (single) operations.
 343  */
 344 #define bus_space_read_1(t, h, o)       __bs_rs(1,(t),(h),(o))
 345 #define bus_space_read_2(t, h, o)       __bs_rs(2,(t),(h),(o))
 346 #define bus_space_read_4(t, h, o)       __bs_rs(4,(t),(h),(o))
 347 #define bus_space_read_8(t, h, o)       __bs_rs(8,(t),(h),(o))
 348
 349 #define bus_space_read_stream_1(t, h, o)        __bs_rs_s(1,(t), (h), (o))
 350 #define bus_space_read_stream_2(t, h, o)        __bs_rs_s(2,(t), (h), (o))
 351 #define bus_space_read_stream_4(t, h, o)        __bs_rs_s(4,(t), (h), (o))
 352 #define bus_space_read_stream_8(t, h, o)        __bs_rs_s(8,(t), (h), (o))
 353
 354 /*
 355  * Bus read multiple operations.
 356  */
 357 #define bus_space_read_multi_1(t, h, o, a, c)                           \
 358         __bs_nonsingle(rm,1,(t),(h),(o),(a),(c))
 359 #define bus_space_read_multi_2(t, h, o, a, c)                           \
 360         __bs_nonsingle(rm,2,(t),(h),(o),(a),(c))
 361 #define bus_space_read_multi_4(t, h, o, a, c)                           \
 362         __bs_nonsingle(rm,4,(t),(h),(o),(a),(c))
 363 #define bus_space_read_multi_8(t, h, o, a, c)                           \
 364         __bs_nonsingle(rm,8,(t),(h),(o),(a),(c))
 365
 366 #define bus_space_read_multi_stream_1(t, h, o, a, c)                    \
 367         __bs_nonsingle_s(rm,1,(t),(h),(o),(a),(c))
 368 #define bus_space_read_multi_stream_2(t, h, o, a, c)                    \
 369         __bs_nonsingle_s(rm,2,(t),(h),(o),(a),(c))
 370 #define bus_space_read_multi_stream_4(t, h, o, a, c)                    \
 371         __bs_nonsingle_s(rm,4,(t),(h),(o),(a),(c))
 372 #define bus_space_read_multi_stream_8(t, h, o, a, c)                    \
 373         __bs_nonsingle_s(rm,8,(t),(h),(o),(a),(c))
 374
 375 /*
 376  * Bus read region operations.
 377  */
 378 #define bus_space_read_region_1(t, h, o, a, c)                          \
 379         __bs_nonsingle(rr,1,(t),(h),(o),(a),(c))
 380 #define bus_space_read_region_2(t, h, o, a, c)                          \
 381         __bs_nonsingle(rr,2,(t),(h),(o),(a),(c))
 382 #define bus_space_read_region_4(t, h, o, a, c)                          \
 383         __bs_nonsingle(rr,4,(t),(h),(o),(a),(c))
 384 #define bus_space_read_region_8(t, h, o, a, c)                          \
 385         __bs_nonsingle(rr,8,(t),(h),(o),(a),(c))
 386
 387 #define bus_space_read_region_stream_1(t, h, o, a, c)                   \
 388         __bs_nonsingle_s(rr,1,(t),(h),(o),(a),(c))
 389 #define bus_space_read_region_stream_2(t, h, o, a, c)                   \
 390         __bs_nonsingle_s(rr,2,(t),(h),(o),(a),(c))
 391 #define bus_space_read_region_stream_4(t, h, o, a, c)                   \
 392         __bs_nonsingle_s(rr,4,(t),(h),(o),(a),(c))
 393 #define bus_space_read_region_stream_8(t, h, o, a, c)                   \
 394         __bs_nonsingle_s(rr,8,(t),(h),(o),(a),(c))
 395
 396 /*
 397  * Bus write (single) operations.
 398  */
 399 #define bus_space_write_1(t, h, o, v)   __bs_ws(1,(t),(h),(o),(v))
 400 #define bus_space_write_2(t, h, o, v)   __bs_ws(2,(t),(h),(o),(v))
 401 #define bus_space_write_4(t, h, o, v)   __bs_ws(4,(t),(h),(o),(v))
 402 #define bus_space_write_8(t, h, o, v)   __bs_ws(8,(t),(h),(o),(v))
 403
 404 #define bus_space_write_stream_1(t, h, o, v)    __bs_ws_s(1,(t),(h),(o),(v))
 405 #define bus_space_write_stream_2(t, h, o, v)    __bs_ws_s(2,(t),(h),(o),(v))
 406 #define bus_space_write_stream_4(t, h, o, v)    __bs_ws_s(4,(t),(h),(o),(v))
 407 #define bus_space_write_stream_8(t, h, o, v)    __bs_ws_s(8,(t),(h),(o),(v))
 408
 409 /*
 410  * Bus write multiple operations.
 411  */
 412 #define bus_space_write_multi_1(t, h, o, a, c)                          \
 413         __bs_nonsingle(wm,1,(t),(h),(o),(a),(c))
 414 #define bus_space_write_multi_2(t, h, o, a, c)                          \
 415         __bs_nonsingle(wm,2,(t),(h),(o),(a),(c))
 416 #define bus_space_write_multi_4(t, h, o, a, c)                          \
 417         __bs_nonsingle(wm,4,(t),(h),(o),(a),(c))
 418 #define bus_space_write_multi_8(t, h, o, a, c)                          \
 419         __bs_nonsingle(wm,8,(t),(h),(o),(a),(c))
 420
 421 #define bus_space_write_multi_stream_1(t, h, o, a, c)                   \
 422         __bs_nonsingle_s(wm,1,(t),(h),(o),(a),(c))
 423 #define bus_space_write_multi_stream_2(t, h, o, a, c)                   \
 424         __bs_nonsingle_s(wm,2,(t),(h),(o),(a),(c))
 425 #define bus_space_write_multi_stream_4(t, h, o, a, c)                   \
 426         __bs_nonsingle_s(wm,4,(t),(h),(o),(a),(c))
 427 #define bus_space_write_multi_stream_8(t, h, o, a, c)                   \
 428         __bs_nonsingle_s(wm,8,(t),(h),(o),(a),(c))
 429
 430 /*
 431  * Bus write region operations.
 432  */
 433 #define bus_space_write_region_1(t, h, o, a, c)                         \
 434         __bs_nonsingle(wr,1,(t),(h),(o),(a),(c))
 435 #define bus_space_write_region_2(t, h, o, a, c)                         \
 436         __bs_nonsingle(wr,2,(t),(h),(o),(a),(c))
 437 #define bus_space_write_region_4(t, h, o, a, c)                         \
 438         __bs_nonsingle(wr,4,(t),(h),(o),(a),(c))
 439 #define bus_space_write_region_8(t, h, o, a, c)                         \
 440         __bs_nonsingle(wr,8,(t),(h),(o),(a),(c))
 441
 442 #define bus_space_write_region_stream_1(t, h, o, a, c)                  \
 443         __bs_nonsingle_s(wr,1,(t),(h),(o),(a),(c))
 444 #define bus_space_write_region_stream_2(t, h, o, a, c)                  \
 445         __bs_nonsingle_s(wr,2,(t),(h),(o),(a),(c))
 446 #define bus_space_write_region_stream_4(t, h, o, a, c)                  \
 447         __bs_nonsingle_s(wr,4,(t),(h),(o),(a),(c))
 448 #define bus_space_write_region_stream_8(t, h, o, a, c)                  \
 449         __bs_nonsingle_s(wr,8,(t),(h),(o),(a),(c))
 450
 451 /*
 452  * Set multiple operations.
 453  */
 454 #define bus_space_set_multi_1(t, h, o, v, c)                            \
 455         __bs_set(sm,1,(t),(h),(o),(v),(c))
 456 #define bus_space_set_multi_2(t, h, o, v, c)                            \
 457         __bs_set(sm,2,(t),(h),(o),(v),(c))
 458 #define bus_space_set_multi_4(t, h, o, v, c)                            \
 459         __bs_set(sm,4,(t),(h),(o),(v),(c))
 460 #define bus_space_set_multi_8(t, h, o, v, c)                            \
 461         __bs_set(sm,8,(t),(h),(o),(v),(c))
 462
 463 #define bus_space_set_multi_stream_1(t, h, o, v, c)                     \
 464         bus_space_set_multi_1((t), (h), (o), (v), (c))
 465 #define bus_space_set_multi_stream_2(t, h, o, v, c)                     \
 466         bus_space_set_multi_2((t), (h), (o), (v), (c))
 467 #define bus_space_set_multi_stream_4(t, h, o, v, c)                     \
 468         bus_space_set_multi_4((t), (h), (o), (v), (c))
 469 #define bus_space_set_multi_stream_8(t, h, o, v, c)                     \
 470         bus_space_set_multi_8((t), (h), (o), (v), (c))
 471
 472 /*
 473  * Set region operations.
 474  */
 475 #define bus_space_set_region_1(t, h, o, v, c)                           \
 476         __bs_set(sr,1,(t),(h),(o),(v),(c))
 477 #define bus_space_set_region_2(t, h, o, v, c)                           \
 478         __bs_set(sr,2,(t),(h),(o),(v),(c))
 479 #define bus_space_set_region_4(t, h, o, v, c)                           \
 480         __bs_set(sr,4,(t),(h),(o),(v),(c))
 481 #define bus_space_set_region_8(t, h, o, v, c)                           \
 482         __bs_set(sr,8,(t),(h),(o),(v),(c))
 483
 484 #define bus_space_set_region_stream_1(t, h, o, v, c)                    \
 485         bus_space_set_region_1((t), (h), (o), (v), (c))
 486 #define bus_space_set_region_stream_2(t, h, o, v, c)                    \
 487         bus_space_set_region_2((t), (h), (o), (v), (c))
 488 #define bus_space_set_region_stream_4(t, h, o, v, c)                    \
 489         bus_space_set_region_4((t), (h), (o), (v), (c))
 490 #define bus_space_set_region_stream_8(t, h, o, v, c)                    \
 491         bus_space_set_region_8((t), (h), (o), (v), (c))
 492
 493 /*
 494  * Copy operations.
 495  */
 496 #define bus_space_copy_region_1(t, h1, o1, h2, o2, c)                           \
 497         __bs_copy(1, t, h1, o1, h2, o2, c)
 498 #define bus_space_copy_region_2(t, h1, o1, h2, o2, c)                           \
 499         __bs_copy(2, t, h1, o1, h2, o2, c)
 500 #define bus_space_copy_region_4(t, h1, o1, h2, o2, c)                           \
 501         __bs_copy(4, t, h1, o1, h2, o2, c)
 502 #define bus_space_copy_region_8(t, h1, o1, h2, o2, c)                           \
 503         __bs_copy(8, t, h1, o1, h2, o2, c)
 504
 505 /*
 506  * Poke (checked write) operations.
 507  */
 508 #define bus_space_poke_1(t, h, o, v)    __bs_poke(1, (t), (h), (o), (v))
 509 #define bus_space_poke_2(t, h, o, v)    __bs_poke(2, (t), (h), (o), (v))
 510 #define bus_space_poke_4(t, h, o, v)    __bs_poke(4, (t), (h), (o), (v))
 511 #define bus_space_poke_8(t, h, o, v)    __bs_poke(8, (t), (h), (o), (v))
 512
 513 /*
 514  * Peek (checked read) operations.
 515  */
 516 #define bus_space_peek_1(t, h, o, vp)   __bs_peek(1, (t), (h), (o), (vp))
 517 #define bus_space_peek_2(t, h, o, vp)   __bs_peek(2, (t), (h), (o), (vp))
 518 #define bus_space_peek_4(t, h, o, vp)   __bs_peek(4, (t), (h), (o), (vp))
 519 #define bus_space_peek_8(t, h, o, vp)   __bs_peek(8, (t), (h), (o), (vp))
 520
 521 #endif /* !SAN_NEEDS_INTERCEPTORS */
 522
 523 #include <machine/bus_dma.h>
 524
 525 #endif /* _MACHINE_BUS_H_ */
 526
 527 #endif /* !__arm__ */