sys/netinet/tcp_lro.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2006, Myricom Inc.
   5  * Copyright (c) 2008, Intel Corporation.
   6  * Copyright (c) 2016 Mellanox Technologies.
   7  * All rights reserved.
   8  *
   9  * Redistribution and use in source and binary forms, with or without
  10  * modification, are permitted provided that the following conditions
  11  * are met:
  12  * 1. Redistributions of source code must retain the above copyright
  13  *    notice, this list of conditions and the following disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  19  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  20  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  21  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  22  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  23  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  24  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  25  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  26  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  27  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  28  * SUCH DAMAGE.
  29  *
  30  * $FreeBSD$
  31  */
  32
  33 #ifndef _TCP_LRO_H_
  34 #define _TCP_LRO_H_
  35
  36 #include <sys/time.h>
  37
  38 #ifndef TCP_LRO_ENTRIES
  39 /* Define default number of LRO entries per RX queue */
  40 #define TCP_LRO_ENTRIES 8
  41 #endif
  42
  43 struct lro_entry {
  44         LIST_ENTRY(lro_entry)   next;
  45         LIST_ENTRY(lro_entry)   hash_next;
  46         struct mbuf             *m_head;
  47         struct mbuf             *m_tail;
  48         struct mbuf             *m_last_mbuf;
  49         struct mbuf             *m_prev_last;
  50         union {
  51                 struct ip       *ip4;
  52                 struct ip6_hdr  *ip6;
  53         } leip;
  54         union {
  55                 in_addr_t       s_ip4;
  56                 struct in6_addr s_ip6;
  57         } lesource;
  58         union {
  59                 in_addr_t       d_ip4;
  60                 struct in6_addr d_ip6;
  61         } ledest;
  62         uint16_t                source_port;
  63         uint16_t                dest_port;
  64         uint16_t                eh_type;        /* EthernetHeader type. */
  65         uint16_t                append_cnt;
  66         uint32_t                p_len;          /* IP header payload length. */
  67         uint32_t                ulp_csum;       /* TCP, etc. checksum. */
  68         uint32_t                next_seq;       /* tcp_seq */
  69         uint32_t                ack_seq;        /* tcp_seq */
  70         uint32_t                tsval;
  71         uint32_t                tsecr;
  72         uint32_t                tcp_tot_p_len;  /* TCP payload length of chain */
  73         uint16_t                window;
  74         uint16_t                timestamp;      /* flag, not a TCP hdr field. */
  75         uint16_t                need_wakeup;
  76         uint16_t                mbuf_cnt;       /* Count of mbufs collected see note */
  77         uint16_t                mbuf_appended;
  78         struct timeval          mtime;
  79 };
  80 /*
  81  * Note: The mbuf_cnt field tracks our number of mbufs added to the m_next
  82  *       list. Each mbuf counted can have data and of course it will
  83  *       have an ack as well (by defintion any inbound tcp segment will
  84  *       have an ack value. We use this count to tell us how many ACK's
  85  *       are present for our ack-count threshold. If we exceed that or
  86  *       the data threshold we will wake up the endpoint.
  87  */
  88 LIST_HEAD(lro_head, lro_entry);
  89
  90 #define le_ip4                  leip.ip4
  91 #define le_ip6                  leip.ip6
  92 #define source_ip4              lesource.s_ip4
  93 #define dest_ip4                ledest.d_ip4
  94 #define source_ip6              lesource.s_ip6
  95 #define dest_ip6                ledest.d_ip6
  96
  97 struct lro_mbuf_sort {
  98         uint64_t seq;
  99         struct mbuf *mb;
 100 };
 101
 102 /* NB: This is part of driver structs. */
 103 struct lro_ctrl {
 104         struct ifnet    *ifp;
 105         struct lro_mbuf_sort *lro_mbuf_data;
 106         uint64_t        lro_queued;
 107         uint64_t        lro_flushed;
 108         uint64_t        lro_bad_csum;
 109         unsigned        lro_cnt;
 110         unsigned        lro_mbuf_count;
 111         unsigned        lro_mbuf_max;
 112         unsigned short  lro_ackcnt_lim;         /* max # of aggregated ACKs */
 113         unsigned        lro_length_lim;         /* max len of aggregated data */
 114
 115         u_long          lro_hashsz;
 116         struct lro_head *lro_hash;
 117         struct lro_head lro_active;
 118         struct lro_head lro_free;
 119 };
 120
 121 #define TCP_LRO_LENGTH_MAX      65535
 122 #define TCP_LRO_ACKCNT_MAX      65535           /* unlimited */
 123
 124 int tcp_lro_init(struct lro_ctrl *);
 125 int tcp_lro_init_args(struct lro_ctrl *, struct ifnet *, unsigned, unsigned);
 126 void tcp_lro_free(struct lro_ctrl *);
 127 void tcp_lro_flush_inactive(struct lro_ctrl *, const struct timeval *);
 128 void tcp_lro_flush(struct lro_ctrl *, struct lro_entry *);
 129 void tcp_lro_flush_all(struct lro_ctrl *);
 130 int tcp_lro_rx(struct lro_ctrl *, struct mbuf *, uint32_t);
 131 void tcp_lro_queue_mbuf(struct lro_ctrl *, struct mbuf *);
 132 void tcp_lro_reg_mbufq(void);
 133 void tcp_lro_dereg_mbufq(void);
 134
 135 #define TCP_LRO_NO_ENTRIES      -2
 136 #define TCP_LRO_CANNOT          -1
 137 #define TCP_LRO_NOT_SUPPORTED   1
 138
 139 #endif /* _TCP_LRO_H_ */