share/man/man9/bus_dma.9

   1 .\" Copyright (c) 2002, 2003 Hiten M. Pandya.
   2 .\" All rights reserved.
   3 .\"
   4 .\" Redistribution and use in source and binary forms, with or without
   5 .\" modification, are permitted provided that the following conditions
   6 .\" are met:
   7 .\" 1. Redistributions of source code must retain the above copyright
   8 .\"    notice, this list of conditions, and the following disclaimer,
   9 .\"    without modification, immediately at the beginning of the file.
  10 .\" 2. The name of the author may not be used to endorse or promote products
  11 .\"    derived from this software without specific prior written permission.
  12 .\"
  13 .\" THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  14 .\" ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15 .\" IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  16 .\" ARE DISCLAIMED. IN NO EVENT SHALL THE AUTHOR, CONTRIBUTORS OR THE
  17 .\" VOICES IN HITEN PANDYA'S HEAD BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  18 .\" SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED
  19 .\" TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  20 .\" PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  21 .\" LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  22 .\" NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  23 .\" SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  24 .\"
  25 .\" Copyright (c) 1996, 1997, 1998, 2001 The NetBSD Foundation, Inc.
  26 .\" All rights reserved.
  27 .\"
  28 .\" This code is derived from software contributed to The NetBSD Foundation
  29 .\" by Jason R. Thorpe of the Numerical Aerospace Simulation Facility,
  30 .\" NASA Ames Research Center.
  31 .\"
  32 .\" Redistribution and use in source and binary forms, with or without
  33 .\" modification, are permitted provided that the following conditions
  34 .\" are met:
  35 .\" 1. Redistributions of source code must retain the above copyright
  36 .\"    notice, this list of conditions and the following disclaimer.
  37 .\" 2. Redistributions in binary form must reproduce the above copyright
  38 .\"    notice, this list of conditions and the following disclaimer in the
  39 .\"    documentation and/or other materials provided with the distribution.
  40 .\" 3. All advertising materials mentioning features or use of this software
  41 .\"    must display the following acknowledgment:
  42 .\"     This product includes software developed by the NetBSD
  43 .\"     Foundation, Inc. and its contributors.
  44 .\" 4. Neither the name of The NetBSD Foundation nor the names of its
  45 .\"    contributors may be used to endorse or promote products derived
  46 .\"    from this software without specific prior written permission.
  47 .\"
  48 .\" THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
  49 .\" ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
  50 .\" TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  51 .\" PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
  52 .\" BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  53 .\" CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  54 .\" SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  55 .\" INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  56 .\" CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  57 .\" ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  58 .\" POSSIBILITY OF SUCH DAMAGE.
  59 .\"
  60 .\" $FreeBSD$
  61 .\" $NetBSD: bus_dma.9,v 1.25 2002/10/14 13:43:16 wiz Exp $
  62 .\"
  63 .Dd March 6, 2007
  64 .Dt BUS_DMA 9
  65 .Os
  66 .Sh NAME
  67 .Nm bus_dma ,
  68 .Nm bus_dma_tag_create ,
  69 .Nm bus_dma_tag_destroy ,
  70 .Nm bus_dmamap_create ,
  71 .Nm bus_dmamap_destroy ,
  72 .Nm bus_dmamap_load ,
  73 .Nm bus_dmamap_load_mbuf ,
  74 .Nm bus_dmamap_load_mbuf_sg ,
  75 .Nm bus_dmamap_load_uio ,
  76 .Nm bus_dmamap_unload ,
  77 .Nm bus_dmamap_sync ,
  78 .Nm bus_dmamem_alloc ,
  79 .Nm bus_dmamem_free
  80 .Nd Bus and Machine Independent DMA Mapping Interface
  81 .Sh SYNOPSIS
  82 .In machine/bus.h
  83 .Ft int
  84 .Fn bus_dma_tag_create "bus_dma_tag_t parent" "bus_size_t alignment" \
  85 "bus_size_t boundary" "bus_addr_t lowaddr" "bus_addr_t highaddr" \
  86 "bus_dma_filter_t *filtfunc" "void *filtfuncarg" "bus_size_t maxsize" \
  87 "int nsegments" "bus_size_t maxsegsz" "int flags" "bus_dma_lock_t *lockfunc" \
  88 "void *lockfuncarg" "bus_dma_tag_t *dmat"
  89 .Ft int
  90 .Fn bus_dma_tag_destroy "bus_dma_tag_t dmat"
  91 .Ft int
  92 .Fn bus_dmamap_create "bus_dma_tag_t dmat" "int flags" "bus_dmamap_t *mapp"
  93 .Ft int
  94 .Fn bus_dmamap_destroy "bus_dma_tag_t dmat" "bus_dmamap_t map"
  95 .Ft int
  96 .Fn bus_dmamap_load "bus_dma_tag_t dmat" "bus_dmamap_t map" "void *buf" \
  97 "bus_size_t buflen" "bus_dmamap_callback_t *callback" "void *callback_arg" \
  98 "int flags"
  99 .Ft int
 100 .Fn bus_dmamap_load_mbuf "bus_dma_tag_t dmat" "bus_dmamap_t map" \
 101 "struct mbuf *mbuf" "bus_dmamap_callback2_t *callback" "void *callback_arg" \
 102 "int flags"
 103 .Ft int
 104 .Fn bus_dmamap_load_mbuf_sg "bus_dma_tag_t dmat" "bus_dmamap_t map" \
 105 "struct mbuf *mbuf" "bus_dma_segment_t *segs" "int *nsegs" "int flags"
 106 .Ft int
 107 .Fn bus_dmamap_load_uio "bus_dma_tag_t dmat" "bus_dmamap_t map" \
 108 "struct uio *uio" "bus_dmamap_callback2_t *callback" "void *callback_arg" \
 109 "int flags"
 110 .Ft void
 111 .Fn bus_dmamap_unload "bus_dma_tag_t dmat" "bus_dmamap_t map"
 112 .Ft void
 113 .Fn bus_dmamap_sync "bus_dma_tag_t dmat" "bus_dmamap_t map" \
 114 "op"
 115 .Ft int
 116 .Fn bus_dmamem_alloc "bus_dma_tag_t dmat" "void **vaddr" \
 117 "int flags" "bus_dmamap_t *mapp"
 118 .Ft void
 119 .Fn bus_dmamem_free "bus_dma_tag_t dmat" "void *vaddr" \
 120 "bus_dmamap_t map"
 121 .Sh DESCRIPTION
 122 Direct Memory Access (DMA) is a method of transferring data
 123 without involving the CPU, thus providing higher performance.
 124 A DMA transaction can be achieved between device to memory,
 125 device to device, or memory to memory.
 126 .Pp
 127 The
 128 .Nm
 129 API is a bus, device, and machine-independent (MI) interface to
 130 DMA mechanisms.
 131 It provides the client with flexibility and simplicity by
 132 abstracting machine dependent issues like setting up
 133 DMA mappings, handling cache issues, bus specific features
 134 and limitations.
 135 .Sh STRUCTURES AND TYPES
 136 .Bl -tag -width indent
 137 .It Vt bus_dma_tag_t
 138 A machine-dependent (MD) opaque type that describes the
 139 characteristics of DMA transactions.
 140 DMA tags are organized into a hierarchy, with each child
 141 tag inheriting the restrictions of its parent.
 142 This allows all devices along the path of DMA transactions
 143 to contribute to the constraints of those transactions.
 144 .It Vt bus_dma_filter_t
 145 Client specified address filter having the format:
 146 .Bl -tag -width indent
 147 .It Ft int
 148 .Fn "client_filter" "void *filtarg" "bus_addr_t testaddr"
 149 .El
 150 .Pp
 151 Address filters can be specified during tag creation to allow
 152 for devices whose DMA address restrictions cannot be specified
 153 by a single window.
 154 The
 155 .Fa filtarg
 156 argument is specified by the client during tag creation to be passed to all
 157 invocations of the callback.
 158 The
 159 .Fa testaddr
 160 argument contains a potential starting address of a DMA mapping.
 161 The filter function operates on the set of addresses from
 162 .Fa testaddr
 163 to
 164 .Ql trunc_page(testaddr) + PAGE_SIZE - 1 ,
 165 inclusive.
 166 The filter function should return zero if any mapping in this range
 167 can be accommodated by the device and non-zero otherwise.
 168 .It Vt bus_dma_segment_t
 169 A machine-dependent type that describes individual
 170 DMA segments.
 171 It contains the following fields:
 172 .Bd -literal
 173         bus_addr_t      ds_addr;
 174         bus_size_t      ds_len;
 175 .Ed
 176 .Pp
 177 The
 178 .Fa ds_addr
 179 field contains the device visible address of the DMA segment, and
 180 .Fa ds_len
 181 contains the length of the DMA segment.
 182 Although the DMA segments returned by a mapping call will adhere to
 183 all restrictions necessary for a successful DMA operation, some conversion
 184 (e.g.\& a conversion from host byte order to the device's byte order) is
 185 almost always required when presenting segment information to the device.
 186 .It Vt bus_dmamap_t
 187 A machine-dependent opaque type describing an individual mapping.
 188 One map is used for each memory allocation that will be loaded.
 189 Maps can be reused once they have been unloaded.
 190 Multiple maps can be associated with one DMA tag.
 191 While the value of the map may evaluate to
 192 .Dv NULL
 193 on some platforms under certain conditions,
 194 it should never be assumed that it will be
 195 .Dv NULL
 196 in all cases.
 197 .It Vt bus_dmamap_callback_t
 198 Client specified callback for receiving mapping information resulting from
 199 the load of a
 200 .Vt bus_dmamap_t
 201 via
 202 .Fn bus_dmamap_load .
 203 Callbacks are of the format:
 204 .Bl -tag -width indent
 205 .It Ft void
 206 .Fn "client_callback" "void *callback_arg" "bus_dma_segment_t *segs" \
 207 "int nseg" "int error"
 208 .El
 209 .Pp
 210 The
 211 .Fa callback_arg
 212 is the callback argument passed to dmamap load functions.
 213 The
 214 .Fa segs
 215 and
 216 .Fa nseg
 217 arguments describe an array of
 218 .Vt bus_dma_segment_t
 219 structures that represent the mapping.
 220 This array is only valid within the scope of the callback function.
 221 The success or failure of the mapping is indicated by the
 222 .Fa error
 223 argument.
 224 More information on the use of callbacks can be found in the
 225 description of the individual dmamap load functions.
 226 .It Vt bus_dmamap_callback2_t
 227 Client specified callback for receiving mapping information resulting from
 228 the load of a
 229 .Vt bus_dmamap_t
 230 via
 231 .Fn bus_dmamap_load_uio
 232 or
 233 .Fn bus_dmamap_load_mbuf .
 234 .Pp
 235 Callback2s are of the format:
 236 .Bl -tag -width indent
 237 .It Ft void
 238 .Fn "client_callback2" "void *callback_arg" "bus_dma_segment_t *segs" \
 239 "int nseg" "bus_size_t mapsize" "int error"
 240 .El
 241 .Pp
 242 Callback2's behavior is the same as
 243 .Vt bus_dmamap_callback_t
 244 with the addition that the length of the data mapped is provided via
 245 .Fa mapsize .
 246 .It Vt bus_dmasync_op_t
 247 Memory synchronization operation specifier.
 248 Bus DMA requires explicit synchronization of memory with its device
 249 visible mapping in order to guarantee memory coherency.
 250 The
 251 .Vt bus_dmasync_op_t
 252 allows the type of DMA operation that will be or has been performed
 253 to be communicated to the system so that the correct coherency measures
 254 are taken.
 255 The operations are represented as bitfield flags that can be combined together,
 256 though it only makes sense to combine PRE flags or POST flags, not both.
 257 See the
 258 .Fn bus_dmamap_sync
 259 description below for more details on how to use these operations.
 260 .Pp
 261 All operations specified below are performed from the host memory point of view,
 262 where a read implies data coming from the device to the host memory, and a write
 263 implies data going from the host memory to the device.
 264 Alternatively, the operations can be thought of in terms of driver operations,
 265 where reading a network packet or storage sector corresponds to a read operation
 266 in
 267 .Nm .
 268 .Bl -tag -width ".Dv BUS_DMASYNC_POSTWRITE"
 269 .It Dv BUS_DMASYNC_PREREAD
 270 Perform any synchronization required prior to an update of host memory by the
 271 device.
 272 .It Dv BUS_DMASYNC_PREWRITE
 273 Perform any synchronization required after an update of host memory by the CPU
 274 and prior to device access to host memory.
 275 .It Dv BUS_DMASYNC_POSTREAD
 276 Perform any synchronization required after an update of host memory by the
 277 device and prior to CPU access to host memory.
 278 .It Dv BUS_DMASYNC_POSTWRITE
 279 Perform any synchronization required after device access to host memory.
 280 .El
 281 .It Vt bus_dma_lock_t
 282 Client specified lock/mutex manipulation method.
 283 This will be called from
 284 within busdma whenever a client lock needs to be manipulated.
 285 In its current form, the function will be called immediately before
 286 the callback for a dma load operation that has been deferred with
 287 .Dv BUS_DMA_LOCK
 288 and immediately after with
 289 .Dv BUS_DMA_UNLOCK .
 290 If the load operation does not need to be deferred, then it
 291 will not be called since the function loading the map should
 292 be holding the appropriate locks.
 293 This method is of the format:
 294 .Bl -tag -width indent
 295 .It Ft void
 296 .Fn "lockfunc" "void *lockfunc_arg" "bus_dma_lock_op_t op"
 297 .El
 298 .Pp
 299 The
 300 .Fa lockfuncarg
 301 argument is specified by the client during tag creation to be passed to all
 302 invocations of the callback.
 303 The
 304 .Fa op
 305 argument specifies the lock operation to perform.
 306 .Pp
 307 Two
 308 .Vt lockfunc
 309 implementations are provided for convenience.
 310 .Fn busdma_lock_mutex
 311 performs standard mutex operations on the sleep mutex provided via
 312 .Fa lockfuncarg .
 313 .Fn dflt_lock
 314 will generate a system panic if it is called.
 315 It is substituted into the tag when
 316 .Fa lockfunc
 317 is passed as
 318 .Dv NULL
 319 to
 320 .Fn bus_dma_tag_create
 321 and is useful for tags that should not be used with deferred load operations.
 322 .It Vt bus_dma_lock_op_t
 323 Operations to be performed by the client-specified
 324 .Fn lockfunc .
 325 .Bl -tag -width ".Dv BUS_DMA_UNLOCK"
 326 .It Dv BUS_DMA_LOCK
 327 Acquires and/or locks the client locking primitive.
 328 .It Dv BUS_DMA_UNLOCK
 329 Releases and/or unlocks the client locking primitive.
 330 .El
 331 .El
 332 .Sh FUNCTIONS
 333 .Bl -tag -width indent
 334 .It Fn bus_dma_tag_create "parent" "alignment" "boundary" "lowaddr" \
 335 "highaddr" "*filtfunc" "*filtfuncarg" "maxsize" "nsegments" "maxsegsz" \
 336 "flags" "lockfunc" "lockfuncarg" "*dmat"
 337 Allocates a device specific DMA tag, and initializes it according to
 338 the arguments provided:
 339 .Bl -tag -width ".Fa filtfuncarg"
 340 .It Fa parent
 341 Indicates restrictions between the parent bridge, CPU memory, and the
 342 device.
 343 Each device must use a master parent tag by calling
 344 .Fn bus_get_dma_tag .
 345 .It Fa alignment
 346 Alignment constraint, in bytes, of any mappings created using this tag.
 347 The alignment must be a power of 2.
 348 Hardware that can DMA starting at any address would specify
 349 .Em 1
 350 for byte alignment.
 351 Hardware requiring DMA transfers to start on a multiple of 4K
 352 would specify
 353 .Em 4096 .
 354 .It Fa boundary
 355 Boundary constraint, in bytes, of the target DMA memory region.
 356 The boundary indicates the set of addresses, all multiples of the
 357 boundary argument, that cannot be crossed by a single
 358 .Vt bus_dma_segment_t .
 359 The boundary must be a power of 2 and must be no smaller than the
 360 maximum segment size.
 361 .Ql 0
 362 indicates that there are no boundary restrictions.
 363 .It Fa lowaddr , highaddr
 364 Bounds of the window of bus address space that
 365 .Em cannot
 366 be directly accessed by the device.
 367 The window contains all addresses greater than lowaddr and
 368 less than or equal to highaddr.
 369 For example, a device incapable of DMA above 4GB, would specify
 370 a highaddr of
 371 .Dv BUS_SPACE_MAXADDR
 372 and a lowaddr of
 373 .Dv BUS_SPACE_MAXADDR_32BIT .
 374 Similarly a device that can only dma to addresses bellow 16MB would
 375 specify a highaddr of
 376 .Dv BUS_SPACE_MAXADDR
 377 and a lowaddr of
 378 .Dv BUS_SPACE_MAXADDR_24BIT .
 379 Some implementations requires that some region of device visible
 380 address space, overlapping available host memory, be outside the
 381 window.
 382 This area of
 383 .Ql safe memory
 384 is used to bounce requests that would otherwise conflict with
 385 the exclusion window.
 386 .It Fa filtfunc
 387 Optional filter function (may be
 388 .Dv NULL )
 389 to be called for any attempt to
 390 map memory into the window described by
 391 .Fa lowaddr
 392 and
 393 .Fa highaddr .
 394 A filter function is only required when the single window described
 395 by
 396 .Fa lowaddr
 397 and
 398 .Fa highaddr
 399 cannot adequately describe the constraints of the device.
 400 The filter function will be called for every machine page
 401 that overlaps the exclusion window.
 402 .It Fa filtfuncarg
 403 Argument passed to all calls to the filter function for this tag.
 404 May be
 405 .Dv NULL .
 406 .It Fa maxsize
 407 Maximum size, in bytes, of the sum of all segment lengths in a given
 408 DMA mapping associated with this tag.
 409 .It Fa nsegments
 410 Number of discontinuities (scatter/gather segments) allowed
 411 in a DMA mapped region.
 412 If there is no restriction,
 413 .Dv BUS_SPACE_UNRESTRICTED
 414 may be specified.
 415 .It Fa maxsegsz
 416 Maximum size, in bytes, of a segment in any DMA mapped region associated
 417 with
 418 .Fa dmat .
 419 .It Fa flags
 420 Are as follows:
 421 .Bl -tag -width ".Dv BUS_DMA_ALLOCNOW"
 422 .It Dv BUS_DMA_ALLOCNOW
 423 Pre-allocate enough resources to handle at least one map load operation on
 424 this tag.
 425 If sufficient resources are not available,
 426 .Er ENOMEM
 427 is returned.
 428 This should not be used for tags that only describe buffers that will be
 429 allocated with
 430 .Fn bus_dmamem_alloc .
 431 Also, due to resource sharing with other tags, this flag does not guarantee
 432 that resources will be allocated or reserved exclusively for this tag.
 433 It should be treated only as a minor optimization.
 434 .El
 435 .It Fa lockfunc
 436 Optional lock manipulation function (may be
 437 .Dv NULL )
 438 to be called when busdma
 439 needs to manipulate a lock on behalf of the client.
 440 If
 441 .Dv NULL
 442 is specified,
 443 .Fn dflt_lock
 444 is used.
 445 .It Fa lockfuncarg
 446 Optional argument to be passed to the function specified by
 447 .Fa lockfunc .
 448 .It Fa dmat
 449 Pointer to a bus_dma_tag_t where the resulting DMA tag will
 450 be stored.
 451 .El
 452 .Pp
 453 Returns
 454 .Er ENOMEM
 455 if sufficient memory is not available for tag creation
 456 or allocating mapping resources.
 457 .It Fn bus_dma_tag_destroy "dmat"
 458 Deallocate the DMA tag
 459 .Fa dmat
 460 that was created by
 461 .Fn bus_dma_tag_create .
 462 .Pp
 463 Returns
 464 .Er EBUSY
 465 if any DMA maps remain associated with
 466 .Fa dmat
 467 or
 468 .Ql 0
 469 on success.
 470 .It Fn bus_dmamap_create "dmat" "flags" "*mapp"
 471 Allocates and initializes a DMA map.
 472 Arguments are as follows:
 473 .Bl -tag -width ".Fa nsegments"
 474 .It Fa dmat
 475 DMA tag.
 476 .It Fa flags
 477 The value of this argument is currently undefined and should be
 478 specified as
 479 .Ql 0 .
 480 .It Fa mapp
 481 Pointer to a
 482 .Vt bus_dmamap_t
 483 where the resulting DMA map will be stored.
 484 .El
 485 .Pp
 486 Returns
 487 .Er ENOMEM
 488 if sufficient memory is not available for creating the
 489 map or allocating mapping resources.
 490 .It Fn bus_dmamap_destroy "dmat" "map"
 491 Frees all resources associated with a given DMA map.
 492 Arguments are as follows:
 493 .Bl -tag -width ".Fa dmat"
 494 .It Fa dmat
 495 DMA tag used to allocate
 496 .Fa map .
 497 .It Fa map
 498 The DMA map to destroy.
 499 .El
 500 .Pp
 501 Returns
 502 .Er EBUSY
 503 if a mapping is still active for
 504 .Fa map .
 505 .It Fn bus_dmamap_load "dmat" "map" "buf" "buflen" "*callback" \
 506 "callback_arg" "flags"
 507 Creates a mapping in device visible address space of
 508 .Fa buflen
 509 bytes of
 510 .Fa buf ,
 511 associated with the DMA map
 512 .Fa map .
 513 This call will always return immediately and will not block for any reason.
 514 Arguments are as follows:
 515 .Bl -tag -width ".Fa buflen"
 516 .It Fa dmat
 517 DMA tag used to allocate
 518 .Fa map .
 519 .It Fa map
 520 A DMA map without a currently active mapping.
 521 .It Fa buf
 522 A kernel virtual address pointer to a contiguous (in KVA) buffer, to be
 523 mapped into device visible address space.
 524 .It Fa buflen
 525 The size of the buffer.
 526 .It Fa callback Fa callback_arg
 527 The callback function, and its argument.
 528 This function is called once sufficient mapping resources are available for
 529 the DMA operation.
 530 If resources are temporarily unavailable, this function will be deferred until
 531 later, but the load operation will still return immediately to the caller.
 532 Thus, callers should not assume that the callback will be called before the
 533 load returns, and code should be structured appropriately to handle this.
 534 See below for specific flags and error codes that control this behavior.
 535 .It Fa flags
 536 Are as follows:
 537 .Bl -tag -width ".Dv BUS_DMA_NOWAIT"
 538 .It Dv BUS_DMA_NOWAIT
 539 The load should not be deferred in case of insufficient mapping resources,
 540 and instead should return immediately with an appropriate error.
 541 .El
 542 .El
 543 .Pp
 544 Return values to the caller are as follows:
 545 .Bl -tag -width ".Er EINPROGRESS"
 546 .It 0
 547 The callback has been called and completed.
 548 The status of the mapping has been delivered to the callback.
 549 .It Er EINPROGRESS
 550 The mapping has been deferred for lack of resources.
 551 The callback will be called as soon as resources are available.
 552 Callbacks are serviced in FIFO order.
 553 To ensure that ordering is guaranteed, all subsequent load requests will also
 554 be deferred until all callbacks have been processed.
 555 .It Er ENOMEM
 556 The load request has failed due to insufficient resources, and the caller
 557 specifically used the
 558 .Dv BUS_DMA_NOWAIT
 559 flag.
 560 .It Er EINVAL
 561 The load request was invalid.
 562 The callback has been called and has been provided the same error.
 563 This error value may indicate that
 564 .Fa dmat ,
 565 .Fa map ,
 566 .Fa buf ,
 567 or
 568 .Fa callback
 569 were invalid, or
 570 .Fa buflen
 571 was larger than the
 572 .Fa maxsize
 573 argument used to create the dma tag
 574 .Fa dmat .
 575 .El
 576 .Pp
 577 When the callback is called, it is presented with an error value
 578 indicating the disposition of the mapping.
 579 Error may be one of the following:
 580 .Bl -tag -width ".Er EINPROGRESS"
 581 .It 0
 582 The mapping was successful and the
 583 .Fa dm_segs
 584 callback argument contains an array of
 585 .Vt bus_dma_segment_t
 586 elements describing the mapping.
 587 This array is only valid during the scope of the callback function.
 588 .It Er EFBIG
 589 A mapping could not be achieved within the segment constraints provided
 590 in the tag even though the requested allocation size was less than maxsize.
 591 .El
 592 .It Fn bus_dmamap_load_mbuf "dmat" "map" "mbuf" "callback2" "callback_arg" \
 593 "flags"
 594 This is a variation of
 595 .Fn bus_dmamap_load
 596 which maps mbuf chains
 597 for DMA transfers.
 598 A
 599 .Vt bus_size_t
 600 argument is also passed to the callback routine, which
 601 contains the mbuf chain's packet header length.
 602 The
 603 .Dv BUS_DMA_NOWAIT
 604 flag is implied, thus no callback deferral will happen.
 605 .Pp
 606 Mbuf chains are assumed to be in kernel virtual address space.
 607 .Pp
 608 Beside the error values listed for
 609 .Fn bus_dmamap_load ,
 610 .Er EINVAL
 611 will be returned if the size of the mbuf chain exceeds the maximum limit of the
 612 DMA tag.
 613 .It Fn bus_dmamap_load_mbuf_sg "dmat" "map" "mbuf" "segs" "nsegs" "flags"
 614 This is just like
 615 .Fn bus_dmamap_load_mbuf
 616 except that it returns immediately without calling a callback function.
 617 It is provided for efficiency.
 618 The scatter/gather segment array
 619 .Va segs
 620 is provided by the caller and filled in directly by the function.
 621 The
 622 .Va nsegs
 623 argument is returned with the number of segments filled in.
 624 Returns the same errors as
 625 .Fn bus_dmamap_load_mbuf .
 626 .It Fn bus_dmamap_load_uio "dmat" "map" "uio" "callback2" "callback_arg" "flags"
 627 This is a variation of
 628 .Fn bus_dmamap_load
 629 which maps buffers pointed to by
 630 .Fa uio
 631 for DMA transfers.
 632 A
 633 .Vt bus_size_t
 634 argument is also passed to the callback routine, which contains the size of
 635 .Fa uio ,
 636 i.e.
 637 .Fa uio->uio_resid .
 638 The
 639 .Dv BUS_DMA_NOWAIT
 640 flag is implied, thus no callback deferral will happen.
 641 Returns the same errors as
 642 .Fn bus_dmamap_load .
 643 .Pp
 644 If
 645 .Fa uio->uio_segflg
 646 is
 647 .Dv UIO_USERSPACE ,
 648 then it is assumed that the buffer,
 649 .Fa uio
 650 is in
 651 .Fa "uio->uio_td->td_proc" Ns 's
 652 address space.
 653 User space memory must be in-core and wired prior to attempting a map
 654 load operation.
 655 Pages may be locked using
 656 .Xr vslock 9 .
 657 .It Fn bus_dmamap_unload "dmat" "map"
 658 Unloads a DMA map.
 659 Arguments are as follows:
 660 .Bl -tag -width ".Fa dmam"
 661 .It Fa dmat
 662 DMA tag used to allocate
 663 .Fa map .
 664 .It Fa map
 665 The DMA map that is to be unloaded.
 666 .El
 667 .Pp
 668 .Fn bus_dmamap_unload
 669 will not perform any implicit synchronization of DMA buffers.
 670 This must be done explicitly by a call to
 671 .Fn bus_dmamap_sync
 672 prior to unloading the map.
 673 .It Fn bus_dmamap_sync "dmat" "map" "op"
 674 Performs synchronization of a device visible mapping with the CPU visible
 675 memory referenced by that mapping.
 676 Arguments are as follows:
 677 .Bl -tag -width ".Fa dmat"
 678 .It Fa dmat
 679 DMA tag used to allocate
 680 .Fa map .
 681 .It Fa map
 682 The DMA mapping to be synchronized.
 683 .It Fa op
 684 Type of synchronization operation to perform.
 685 See the definition of
 686 .Vt bus_dmasync_op_t
 687 for a description of the acceptable values for
 688 .Fa op .
 689 .El
 690 .Pp
 691 The
 692 .Fn bus_dmamap_sync
 693 function
 694 is the method used to ensure that CPU's and device's direct
 695 memory access (DMA) to shared
 696 memory is coherent.
 697 For example, the CPU might be used to set up the contents of a buffer
 698 that is to be made available to a device.
 699 To ensure that the data are visible via the device's mapping of that
 700 memory, the buffer must be loaded and a DMA sync operation of
 701 .Dv BUS_DMASYNC_PREWRITE
 702 must be performed after the CPU has updated the buffer and before the device
 703 access is initiated.
 704 If the CPU modifies this buffer again later, another
 705 .Dv BUS_DMASYNC_PREWRITE
 706 sync operation must be performed before an additional device
 707 access.
 708 Conversely, suppose a device updates memory that is to be read by a CPU.
 709 In this case, the buffer must be loaded, and a DMA sync operation of
 710 .Dv BUS_DMASYNC_PREREAD
 711 must be performed before the device access is initiated.
 712 The CPU will only be able to see the results of this memory update
 713 once the DMA operation has completed and a
 714 .Dv BUS_DMASYNC_POSTREAD
 715 sync operation has been performed.
 716 .Pp
 717 If read and write operations are not preceded and followed by the
 718 appropriate synchronization operations, behavior is undefined.
 719 .It Fn bus_dmamem_alloc "dmat" "**vaddr" "flags" "*mapp"
 720 Allocates memory that is mapped into KVA at the address returned
 721 in
 722 .Fa vaddr
 723 and that is permanently loaded into the newly created
 724 .Vt bus_dmamap_t
 725 returned via
 726 .Fa mapp .
 727 Arguments are as follows:
 728 .Bl -tag -width ".Fa alignment"
 729 .It Fa dmat
 730 DMA tag describing the constraints of the DMA mapping.
 731 .It Fa vaddr
 732 Pointer to a pointer that will hold the returned KVA mapping of
 733 the allocated region.
 734 .It Fa flags
 735 Flags are defined as follows:
 736 .Bl -tag -width ".Dv BUS_DMA_NOWAIT"
 737 .It Dv BUS_DMA_WAITOK
 738 The routine can safely wait (sleep) for resources.
 739 .It Dv BUS_DMA_NOWAIT
 740 The routine is not allowed to wait for resources.
 741 If resources are not available,
 742 .Dv ENOMEM
 743 is returned.
 744 .It Dv BUS_DMA_COHERENT
 745 Attempt to map this memory such that cache sync operations are
 746 as cheap as possible.
 747 This flag is typically set on memory that will be accessed by both
 748 a CPU and a DMA engine, frequently.
 749 Use of this flag does not remove the requirement of using
 750 bus_dmamap_sync, but it may reduce the cost of performing
 751 these operations.
 752 The
 753 .Dv BUS_DMA_COHERENT
 754 flag is currently implemented on sparc64 and arm.
 755 .It Dv BUS_DMA_ZERO
 756 Causes the allocated memory to be set to all zeros.
 757 .El
 758 .It Fa mapp
 759 Pointer to a
 760 .Vt bus_dmamap_t
 761 where the resulting DMA map will be stored.
 762 .El
 763 .Pp
 764 The size of memory to be allocated is
 765 .Fa maxsize
 766 as specified in the call to
 767 .Fn bus_dma_tag_create
 768 for
 769 .Fa dmat .
 770 .Pp
 771 The current implementation of
 772 .Fn bus_dmamem_alloc
 773 will allocate all requests as a single segment.
 774 .Pp
 775 An initial load operation is required to obtain the bus address of the allocated
 776 memory, and an unload operation is required before freeing the memory, as
 777 described below in
 778 .Fn bus_dmamem_free .
 779 Maps are automatically handled by this function and should not be explicitly
 780 allocated or destroyed.
 781 .Pp
 782 Although an explicit load is not required for each access to the memory
 783 referenced by the returned map, the synchronization requirements
 784 as described in the
 785 .Fn bus_dmamap_sync
 786 section still apply and should be used to achieve portability on architectures
 787 without coherent buses.
 788 .Pp
 789 Returns
 790 .Er ENOMEM
 791 if sufficient memory is not available for completing
 792 the operation.
 793 .It Fn bus_dmamem_free "dmat" "*vaddr" "map"
 794 Frees memory previously allocated by
 795 .Fn bus_dmamem_alloc .
 796 Any mappings
 797 will be invalidated.
 798 Arguments are as follows:
 799 .Bl -tag -width ".Fa vaddr"
 800 .It Fa dmat
 801 DMA tag.
 802 .It Fa vaddr
 803 Kernel virtual address of the memory.
 804 .It Fa map
 805 DMA map to be invalidated.
 806 .El
 807 .El
 808 .Sh RETURN VALUES
 809 Behavior is undefined if invalid arguments are passed to
 810 any of the above functions.
 811 If sufficient resources cannot be allocated for a given
 812 transaction,
 813 .Er ENOMEM
 814 is returned.
 815 All
 816 routines that are not of type
 817 .Vt void
 818 will return 0 on success or an error
 819 code on failure as discussed above.
 820 .Pp
 821 All
 822 .Vt void
 823 routines will succeed if provided with valid arguments.
 824 .Sh LOCKING
 825 Two locking protocols are used by
 826 .Nm .
 827 The first is a private global lock that is used to synchronize access to the
 828 bounce buffer pool on the architectures that make use of them.
 829 This lock is strictly a leaf lock that is only used internally to
 830 .Nm
 831 and is not exposed to clients of the API.
 832 .Pp
 833 The second protocol involves protecting various resources stored in the tag.
 834 Since almost all
 835 .Nm
 836 operations are done through requests from the driver that created the tag,
 837 the most efficient way to protect the tag resources is through the lock that
 838 the driver uses.
 839 In cases where
 840 .Nm
 841 acts on its own without being called by the driver, the lock primitive
 842 specified in the tag is acquired and released automatically.
 843 An example of this is when the
 844 .Fn bus_dmamap_load
 845 callback function is called from a deferred context instead of the driver
 846 context.
 847 This means that certain
 848 .Nm
 849 functions must always be called with the same lock held that is specified in the
 850 tag.
 851 These functions include:
 852 .Pp
 853 .Bl -item -offset indent -compact
 854 .It
 855 .Fn bus_dmamap_load
 856 .It
 857 .Fn bus_dmamap_load_uio
 858 .It
 859 .Fn bus_dmamap_load_mbuf
 860 .It
 861 .Fn bus_dmamap_load_mbuf_sg
 862 .It
 863 .Fn bus_dmamap_unload
 864 .It
 865 .Fn bus_dmamap_sync
 866 .El
 867 .Pp
 868 There is one exception to this rule.
 869 It is common practice to call some of these functions during driver start-up
 870 without any locks held.
 871 So long as there is a guarantee of no possible concurrent use of the tag by
 872 different threads during this operation, it is safe to not hold a lock for
 873 these functions.
 874 .Pp
 875 Certain
 876 .Nm
 877 operations should not be called with the driver lock held, either because
 878 they are already protected by an internal lock, or because they might sleep
 879 due to memory or resource allocation.
 880 The following functions must not be
 881 called with any non-sleepable locks held:
 882 .Pp
 883 .Bl -item -offset indent -compact
 884 .It
 885 .Fn bus_dma_tag_create
 886 .It
 887 .Fn bus_dmamap_create
 888 .It
 889 .Fn bus_dmamem_alloc
 890 .El
 891 .Pp
 892 All other functions do not have a locking protocol and can thus be
 893 called with or without any system or driver locks held.
 894 .Sh SEE ALSO
 895 .Xr devclass 9 ,
 896 .Xr device 9 ,
 897 .Xr driver 9 ,
 898 .Xr rman 9 ,
 899 .Xr vslock 9
 900 .Pp
 901 .Rs
 902 .%A "Jason R. Thorpe"
 903 .%T "A Machine-Independent DMA Framework for NetBSD"
 904 .%J "Proceedings of the Summer 1998 USENIX Technical Conference"
 905 .%Q "USENIX Association"
 906 .%D "June 1998"
 907 .Re
 908 .Sh HISTORY
 909 The
 910 .Nm
 911 interface first appeared in
 912 .Nx 1.3 .
 913 .Pp
 914 The
 915 .Nm
 916 API was adopted from
 917 .Nx
 918 for use in the CAM SCSI subsystem.
 919 The alterations to the original API were aimed to remove the need for
 920 a
 921 .Vt bus_dma_segment_t
 922 array stored in each
 923 .Vt bus_dmamap_t
 924 while allowing callers to queue up on scarce resources.
 925 .Sh AUTHORS
 926 The
 927 .Nm
 928 interface was designed and implemented by
 929 .An Jason R. Thorpe
 930 of the Numerical Aerospace Simulation Facility, NASA Ames Research Center.
 931 Additional input on the
 932 .Nm
 933 design was provided by
 934 .An -nosplit
 935 .An Chris Demetriou ,
 936 .An Charles Hannum ,
 937 .An Ross Harvey ,
 938 .An Matthew Jacob ,
 939 .An Jonathan Stone ,
 940 and
 941 .An Matt Thomas .
 942 .Pp
 943 The
 944 .Nm
 945 interface in
 946 .Fx
 947 benefits from the contributions of
 948 .An Justin T. Gibbs ,
 949 .An Peter Wemm ,
 950 .An Doug Rabson ,
 951 .An Matthew N. Dodd ,
 952 .An Sam Leffler ,
 953 .An Maxime Henrion ,
 954 .An Jake Burkholder ,
 955 .An Takahashi Yoshihiro ,
 956 .An Scott Long
 957 and many others.
 958 .Pp
 959 This manual page was written by
 960 .An Hiten M. Pandya
 961 and
 962 .An Justin T. Gibbs .