sys/dev/cxgb/sys/uipc_mvec.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2007-2008 Kip Macy <kmacy@freebsd.org>
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  */
  28
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include <sys/param.h>
  33 #include <sys/systm.h>
  34 #include <sys/kernel.h>
  35 #include <sys/lock.h>
  36 #include <sys/malloc.h>
  37 #include <sys/mbuf.h>
  38 #include <sys/ktr.h>
  39
  40 #include <vm/vm.h>
  41 #include <vm/pmap.h>
  42
  43 #include <machine/bus.h>
  44
  45 #include <cxgb_include.h>
  46 #include <sys/mvec.h>
  47
  48 #ifdef INVARIANTS
  49 #define M_SANITY m_sanity
  50 #else
  51 #define M_SANITY(a, b)
  52 #endif
  53
  54 int
  55 busdma_map_sg_collapse(bus_dma_tag_t tag, bus_dmamap_t map,
  56         struct mbuf **m, bus_dma_segment_t *segs, int *nsegs)
  57 {
  58         struct mbuf *n = *m;
  59         int seg_count, defragged = 0, err = 0;
  60         bus_dma_segment_t *psegs;
  61
  62         KASSERT(n->m_pkthdr.len, ("packet has zero header len"));
  63         if (n->m_pkthdr.len <= PIO_LEN)
  64                 return (0);
  65 retry:
  66         psegs = segs;
  67         seg_count = 0;
  68         if (n->m_next == NULL) {
  69                 busdma_map_mbuf_fast(tag, map, n, segs);
  70                 *nsegs = 1;
  71                 return (0);
  72         }
  73 #if defined(__i386__) || defined(__amd64__)
  74         while (n && seg_count < TX_MAX_SEGS) {
  75                 /*
  76                  * firmware doesn't like empty segments
  77                  */
  78                 if (__predict_true(n->m_len != 0)) {
  79                         seg_count++;
  80                         busdma_map_mbuf_fast(tag, map, n, psegs);
  81                         psegs++;
  82                 }
  83                 n = n->m_next;
  84         }
  85 #else
  86         err = bus_dmamap_load_mbuf_sg(tag, map, *m, segs, &seg_count, 0);
  87 #endif
  88         if (seg_count == 0) {
  89                 if (cxgb_debug)
  90                         printf("empty segment chain\n");
  91                 err = EFBIG;
  92                 goto err_out;
  93         }  else if (err == EFBIG || seg_count >= TX_MAX_SEGS) {
  94                 if (cxgb_debug)
  95                         printf("mbuf chain too long: %d max allowed %d\n",
  96                             seg_count, TX_MAX_SEGS);
  97                 if (!defragged) {
  98                         n = m_defrag(*m, M_NOWAIT);
  99                         if (n == NULL) {
 100                                 err = ENOBUFS;
 101                                 goto err_out;
 102                         }
 103                         *m = n;
 104                         defragged = 1;
 105                         goto retry;
 106                 }
 107                 err = EFBIG;
 108                 goto err_out;
 109         }
 110
 111         *nsegs = seg_count;
 112 err_out:
 113         return (err);
 114 }
 115
 116 void
 117 busdma_map_sg_vec(bus_dma_tag_t tag, bus_dmamap_t map,
 118     struct mbuf *m, bus_dma_segment_t *segs, int *nsegs)
 119 {
 120
 121         for (*nsegs = 0; m != NULL ; segs++, *nsegs += 1, m = m->m_nextpkt)
 122                 busdma_map_mbuf_fast(tag, map, m, segs);
 123 }
 124