sys/dev/cxgb/sys/uipc_mvec.c

   1 /*-
   2  * Copyright (c) 2007-2008 Kip Macy <kmacy@freebsd.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  */
  26
  27 #include <sys/cdefs.h>
  28 __FBSDID("$FreeBSD$");
  29
  30 #include <sys/param.h>
  31 #include <sys/systm.h>
  32 #include <sys/kernel.h>
  33 #include <sys/lock.h>
  34 #include <sys/malloc.h>
  35 #include <sys/mbuf.h>
  36 #include <sys/ktr.h>
  37 #include <sys/sf_buf.h>
  38
  39 #include <vm/vm.h>
  40 #include <vm/pmap.h>
  41
  42 #include <machine/bus.h>
  43
  44 #include <cxgb_include.h>
  45 #include <sys/mvec.h>
  46
  47 #include <vm/vm.h>
  48 #include <vm/vm_page.h>
  49 #include <vm/pmap.h>
  50
  51 #ifdef INVARIANTS
  52 #define M_SANITY m_sanity
  53 #else
  54 #define M_SANITY(a, b)
  55 #endif
  56
  57 int
  58 busdma_map_sg_collapse(bus_dma_tag_t tag, bus_dmamap_t map,
  59         struct mbuf **m, bus_dma_segment_t *segs, int *nsegs)
  60 {
  61         struct mbuf *n = *m;
  62         int seg_count, defragged = 0, err = 0;
  63         bus_dma_segment_t *psegs;
  64
  65         KASSERT(n->m_pkthdr.len, ("packet has zero header len"));
  66         if (n->m_pkthdr.len <= PIO_LEN)
  67                 return (0);
  68 retry:
  69         psegs = segs;
  70         seg_count = 0;
  71         if (n->m_next == NULL) {
  72                 busdma_map_mbuf_fast(tag, map, n, segs);
  73                 *nsegs = 1;
  74                 return (0);
  75         }
  76 #if defined(__i386__) || defined(__amd64__)
  77         while (n && seg_count < TX_MAX_SEGS) {
  78                 /*
  79                  * firmware doesn't like empty segments
  80                  */
  81                 if (__predict_true(n->m_len != 0)) {
  82                         seg_count++;
  83                         busdma_map_mbuf_fast(tag, map, n, psegs);
  84                         psegs++;
  85                 }
  86                 n = n->m_next;
  87         }
  88 #else
  89         err = bus_dmamap_load_mbuf_sg(tag, map, *m, segs, &seg_count, 0);
  90 #endif
  91         if (seg_count == 0) {
  92                 if (cxgb_debug)
  93                         printf("empty segment chain\n");
  94                 err = EFBIG;
  95                 goto err_out;
  96         }  else if (err == EFBIG || seg_count >= TX_MAX_SEGS) {
  97                 if (cxgb_debug)
  98                         printf("mbuf chain too long: %d max allowed %d\n",
  99                             seg_count, TX_MAX_SEGS);
 100                 if (!defragged) {
 101                         n = m_defrag(*m, M_NOWAIT);
 102                         if (n == NULL) {
 103                                 err = ENOBUFS;
 104                                 goto err_out;
 105                         }
 106                         *m = n;
 107                         defragged = 1;
 108                         goto retry;
 109                 }
 110                 err = EFBIG;
 111                 goto err_out;
 112         }
 113
 114         *nsegs = seg_count;
 115 err_out:
 116         return (err);
 117 }
 118
 119 void
 120 busdma_map_sg_vec(bus_dma_tag_t tag, bus_dmamap_t map,
 121     struct mbuf *m, bus_dma_segment_t *segs, int *nsegs)
 122 {
 123
 124         for (*nsegs = 0; m != NULL ; segs++, *nsegs += 1, m = m->m_nextpkt)
 125                 busdma_map_mbuf_fast(tag, map, m, segs);
 126 }
 127