sys/netinet/tcp_lro.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2006, Myricom Inc.
   5  * Copyright (c) 2008, Intel Corporation.
   6  * Copyright (c) 2016-2021 Mellanox Technologies.
   7  * All rights reserved.
   8  *
   9  * Redistribution and use in source and binary forms, with or without
  10  * modification, are permitted provided that the following conditions
  11  * are met:
  12  * 1. Redistributions of source code must retain the above copyright
  13  *    notice, this list of conditions and the following disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  19  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  20  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  21  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  22  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  23  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  24  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  25  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  26  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  27  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  28  * SUCH DAMAGE.
  29  *
  30  * $FreeBSD$
  31  */
  32
  33 #ifndef _TCP_LRO_H_
  34 #define _TCP_LRO_H_
  35
  36 #include <sys/time.h>
  37
  38 #ifndef TCP_LRO_ENTRIES
  39 /* Define default number of LRO entries per RX queue */
  40 #define TCP_LRO_ENTRIES 8
  41 #endif
  42
  43 /*
  44  * Flags for ACK entry for compression
  45  * the bottom 12 bits has the th_x2|th_flags.
  46  * LRO itself adds only the TSTMP flags
  47  * to indicate if either of the types
  48  * of timestamps are filled and the
  49  * HAS_TSTMP option to indicate if the
  50  * TCP timestamp option is valid.
  51  *
  52  * The other 1 flag bits are for processing
  53  * by a stack.
  54  *
  55  */
  56 #define TSTMP_LRO               0x1000
  57 #define TSTMP_HDWR              0x2000
  58 #define HAS_TSTMP               0x4000
  59 /*
  60  * Default number of interrupts on the same cpu in a row
  61  * that will cause us to declare a "affinity cpu".
  62  */
  63 #define TCP_LRO_CPU_DECLARATION_THRESH 50
  64
  65 struct inpcb;
  66
  67 union lro_address {
  68         u_long raw[1];
  69         struct {
  70                 uint8_t lro_type;       /* internal */
  71 #define LRO_TYPE_NONE     0
  72 #define LRO_TYPE_IPV4_TCP 1
  73 #define LRO_TYPE_IPV6_TCP 2
  74 #define LRO_TYPE_IPV4_UDP 3
  75 #define LRO_TYPE_IPV6_UDP 4
  76                 uint8_t lro_flags;
  77 #define LRO_FLAG_DECRYPTED 1
  78                 uint16_t vlan_id;       /* VLAN identifier */
  79                 uint16_t s_port;        /* source TCP/UDP port */
  80                 uint16_t d_port;        /* destination TCP/UDP port */
  81                 uint32_t vxlan_vni;     /* VXLAN virtual network identifier */
  82                 union {
  83 #ifdef INET
  84                         struct in_addr v4;
  85 #endif
  86 #ifdef INET6
  87                         struct in6_addr v6;
  88 #endif
  89                 } s_addr;       /* source IPv4/IPv6 address */
  90                 union {
  91 #ifdef INET
  92                         struct in_addr v4;
  93 #endif
  94 #ifdef INET6
  95                         struct in6_addr v6;
  96 #endif
  97                 } d_addr;       /* destination IPv4/IPv6 address */
  98         };
  99 } __aligned(sizeof(u_long));
 100
 101 #define LRO_RAW_ADDRESS_MAX \
 102     (sizeof(union lro_address) / sizeof(u_long))
 103
 104 /* Optimize address comparison by comparing one unsigned long at a time: */
 105
 106 static inline bool
 107 lro_address_compare(const union lro_address *pa, const union lro_address *pb)
 108 {
 109         if (pa->lro_type == LRO_TYPE_NONE && pb->lro_type == LRO_TYPE_NONE) {
 110                 return (true);
 111         } else for (unsigned i = 0; i < LRO_RAW_ADDRESS_MAX; i++) {
 112                 if (pa->raw[i] != pb->raw[i])
 113                         return (false);
 114         }
 115         return (true);
 116 }
 117
 118 struct lro_parser {
 119         union lro_address data;
 120         union {
 121                 uint8_t *l3;
 122                 struct ip *ip4;
 123                 struct ip6_hdr *ip6;
 124         };
 125         union {
 126                 uint8_t *l4;
 127                 struct tcphdr *tcp;
 128                 struct udphdr *udp;
 129         };
 130         uint16_t total_hdr_len;
 131 };
 132
 133 /* This structure is zeroed frequently, try to keep it small. */
 134 struct lro_entry {
 135         LIST_ENTRY(lro_entry)   next;
 136         LIST_ENTRY(lro_entry)   hash_next;
 137         struct mbuf             *m_head;
 138         struct mbuf             *m_tail;
 139         struct mbuf             *m_last_mbuf;
 140         struct lro_parser       outer;
 141         struct lro_parser       inner;
 142         uint32_t                next_seq;       /* tcp_seq */
 143         uint32_t                ack_seq;        /* tcp_seq */
 144         uint32_t                tsval;
 145         uint32_t                tsecr;
 146         uint16_t                compressed;
 147         uint16_t                uncompressed;
 148         uint16_t                window;
 149         uint16_t                flags : 12,     /* 12 TCP header bits */
 150                                 timestamp : 1,
 151                                 needs_merge : 1,
 152                                 reserved : 2;   /* unused */
 153         struct bintime          alloc_time;     /* time when entry was allocated */
 154 };
 155
 156 LIST_HEAD(lro_head, lro_entry);
 157
 158 struct lro_mbuf_sort {
 159         uint64_t seq;
 160         struct mbuf *mb;
 161 };
 162
 163 /* NB: This is part of driver structs. */
 164 struct lro_ctrl {
 165         struct ifnet    *ifp;
 166         struct lro_mbuf_sort *lro_mbuf_data;
 167         struct bintime  lro_last_queue_time;    /* last time data was queued */
 168         uint64_t        lro_queued;
 169         uint64_t        lro_flushed;
 170         uint64_t        lro_bad_csum;
 171         unsigned        lro_cnt;
 172         unsigned        lro_mbuf_count;
 173         unsigned        lro_mbuf_max;
 174         unsigned short  lro_ackcnt_lim;         /* max # of aggregated ACKs */
 175         unsigned short  lro_cpu;                /* Guess at the cpu we have affinity too */
 176         unsigned        lro_length_lim;         /* max len of aggregated data */
 177         u_long          lro_hashsz;
 178         uint32_t        lro_last_cpu;
 179         uint32_t        lro_cnt_of_same_cpu;
 180         struct lro_head *lro_hash;
 181         struct lro_head lro_active;
 182         struct lro_head lro_free;
 183         uint8_t         lro_cpu_is_set;         /* Flag to say its ok to set the CPU on the inp */
 184 };
 185
 186 struct tcp_ackent {
 187         uint64_t timestamp;     /* hardware or sofware timestamp, valid if TSTMP_LRO or TSTMP_HDRW set */
 188         uint32_t seq;           /* th_seq value */
 189         uint32_t ack;           /* th_ack value */
 190         uint32_t ts_value;      /* If ts option value, valid if HAS_TSTMP is set */
 191         uint32_t ts_echo;       /* If ts option echo, valid if HAS_TSTMP is set */
 192         uint16_t win;           /* TCP window */
 193         uint16_t flags;         /* Flags to say if TS is present and type of timestamp and th_flags */
 194         uint8_t  codepoint;     /* IP level codepoint including ECN bits */
 195         uint8_t  ack_val_set;   /* Classification of ack used by the stack */
 196         uint8_t  pad[2];        /* To 32 byte boundary */
 197 };
 198
 199 /* We use two M_PROTO on the mbuf */
 200 #define M_ACKCMP        M_PROTO4   /* Indicates LRO is sending in a  Ack-compression mbuf */
 201 #define M_LRO_EHDRSTRP  M_PROTO6   /* Indicates that LRO has stripped the etherenet header */
 202
 203 #define TCP_LRO_LENGTH_MAX      (65535 - 255)   /* safe value with room for outer headers */
 204 #define TCP_LRO_ACKCNT_MAX      65535           /* unlimited */
 205
 206 int tcp_lro_init(struct lro_ctrl *);
 207 int tcp_lro_init_args(struct lro_ctrl *, struct ifnet *, unsigned, unsigned);
 208 void tcp_lro_free(struct lro_ctrl *);
 209 void tcp_lro_flush_inactive(struct lro_ctrl *, const struct timeval *);
 210 void tcp_lro_flush(struct lro_ctrl *, struct lro_entry *);
 211 void tcp_lro_flush_all(struct lro_ctrl *);
 212 int tcp_lro_rx(struct lro_ctrl *, struct mbuf *, uint32_t);
 213 void tcp_lro_queue_mbuf(struct lro_ctrl *, struct mbuf *);
 214 void tcp_lro_reg_mbufq(void);
 215 void tcp_lro_dereg_mbufq(void);
 216
 217 #define TCP_LRO_NO_ENTRIES      -2
 218 #define TCP_LRO_CANNOT          -1
 219 #define TCP_LRO_NOT_SUPPORTED   1
 220
 221 #endif /* _TCP_LRO_H_ */