]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/dev/cxgbe/offload.h
Clear TLS offload mode if a TLS socket hangs without receiving data.
[FreeBSD/FreeBSD.git] / sys / dev / cxgbe / offload.h
1 /*-
2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
3  *
4  * Copyright (c) 2010 Chelsio Communications, Inc.
5  * All rights reserved.
6  * Written by: Navdeep Parhar <np@FreeBSD.org>
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted provided that the following conditions
10  * are met:
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in the
15  *    documentation and/or other materials provided with the distribution.
16  *
17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
27  * SUCH DAMAGE.
28  *
29  * $FreeBSD$
30  *
31  */
32
33 #ifndef __T4_OFFLOAD_H__
34 #define __T4_OFFLOAD_H__
35 #include <sys/param.h>
36 #include <sys/proc.h>
37 #include <sys/condvar.h>
38
39 #define INIT_ULPTX_WRH(w, wrlen, atomic, tid) do { \
40         (w)->wr_hi = htonl(V_FW_WR_OP(FW_ULPTX_WR) | V_FW_WR_ATOMIC(atomic)); \
41         (w)->wr_mid = htonl(V_FW_WR_LEN16(DIV_ROUND_UP(wrlen, 16)) | \
42                                V_FW_WR_FLOWID(tid)); \
43         (w)->wr_lo = cpu_to_be64(0); \
44 } while (0)
45
46 #define INIT_ULPTX_WR(w, wrlen, atomic, tid) \
47     INIT_ULPTX_WRH(&((w)->wr), wrlen, atomic, tid)
48
49 #define INIT_TP_WR(w, tid) do { \
50         (w)->wr.wr_hi = htonl(V_FW_WR_OP(FW_TP_WR) | \
51                               V_FW_WR_IMMDLEN(sizeof(*w) - sizeof(w->wr))); \
52         (w)->wr.wr_mid = htonl(V_FW_WR_LEN16(DIV_ROUND_UP(sizeof(*w), 16)) | \
53                                V_FW_WR_FLOWID(tid)); \
54         (w)->wr.wr_lo = cpu_to_be64(0); \
55 } while (0)
56
57 #define INIT_TP_WR_MIT_CPL(w, cpl, tid) do { \
58         INIT_TP_WR(w, tid); \
59         OPCODE_TID(w) = htonl(MK_OPCODE_TID(cpl, tid)); \
60 } while (0)
61
62 TAILQ_HEAD(stid_head, stid_region);
63 struct listen_ctx;
64
65 struct stid_region {
66         TAILQ_ENTRY(stid_region) link;
67         u_int used;     /* # of stids used by this region */
68         u_int free;     /* # of contiguous stids free right after this region */
69 };
70
71 /*
72  * Max # of ATIDs.  The absolute HW max is 14b (enough for 16K) but we reserve
73  * the upper 3b for use as a cookie to demux the reply.
74  */
75 #define MAX_ATIDS 2048U
76
77 union aopen_entry {
78         void *data;
79         union aopen_entry *next;
80 };
81
82 /* cxgbe_rate_tag flags */
83 enum {
84         EO_FLOWC_PENDING        = (1 << 0),     /* flowc needs to be sent */
85         EO_FLOWC_RPL_PENDING    = (1 << 1),     /* flowc credits due back */
86         EO_SND_TAG_REF          = (1 << 2),     /* kernel has a ref on us */
87         EO_FLUSH_RPL_PENDING    = (1 << 3),     /* credit flush rpl due back */
88 };
89
90 struct cxgbe_rate_tag {
91         struct m_snd_tag com;
92         struct adapter *adapter;
93         u_int flags;
94         struct mtx lock;
95         int port_id;
96         int etid;
97         struct mbufq pending_tx, pending_fwack;
98         int plen;
99         struct sge_wrq *eo_txq;
100         uint32_t ctrl0;
101         uint16_t iqid;
102         int8_t schedcl;
103         uint64_t max_rate;      /* in bytes/s */
104         uint8_t tx_total;       /* total tx WR credits (in 16B units) */
105         uint8_t tx_credits;     /* tx WR credits (in 16B units) available */
106         uint8_t tx_nocompl;     /* tx WR credits since last compl request */
107         uint8_t ncompl;         /* # of completions outstanding. */
108 };
109
110 static inline struct cxgbe_rate_tag *
111 mst_to_crt(struct m_snd_tag *t)
112 {
113         return (__containerof(t, struct cxgbe_rate_tag, com));
114 }
115
116 union etid_entry {
117         struct cxgbe_rate_tag *cst;
118         union etid_entry *next;
119 };
120
121 /*
122  * Holds the size, base address, start, end, etc. of various types of TIDs.  The
123  * tables themselves are allocated dynamically.
124  */
125 struct tid_info {
126         u_int nstids;
127         u_int stid_base;
128
129         u_int natids;
130
131         u_int nftids;
132         u_int ftid_base;
133         u_int ftid_end;
134
135         u_int nhpftids;
136         u_int hpftid_base;
137         u_int hpftid_end;
138
139         u_int ntids;
140         u_int tid_base;
141
142         u_int netids;
143         u_int etid_base;
144         u_int etid_end;
145
146         struct mtx stid_lock __aligned(CACHE_LINE_SIZE);
147         struct listen_ctx **stid_tab;
148         u_int stids_in_use;
149         u_int nstids_free_head; /* # of available stids at the beginning */
150         struct stid_head stids;
151
152         struct mtx atid_lock __aligned(CACHE_LINE_SIZE);
153         union aopen_entry *atid_tab;
154         union aopen_entry *afree;
155         u_int atids_in_use;
156
157         /* High priority filters and normal filters share the lock and cv. */
158         struct mtx ftid_lock __aligned(CACHE_LINE_SIZE);
159         struct cv ftid_cv;
160         struct filter_entry *ftid_tab;
161         struct filter_entry *hpftid_tab;
162         u_int ftids_in_use;
163         u_int hpftids_in_use;
164
165         /*
166          * hashfilter and TOE are mutually exclusive and both use ntids and
167          * tids_in_use.  The lock and cv are used only by hashfilter.
168          */
169         struct mtx hftid_lock __aligned(CACHE_LINE_SIZE);
170         struct cv hftid_cv;
171         void **tid_tab;
172         u_int tids_in_use;
173
174         void *hftid_hash_4t;    /* LIST_HEAD(, filter_entry) *hftid_hash_4t; */
175         u_long hftid_4t_mask;
176         void *hftid_hash_tid;   /* LIST_HEAD(, filter_entry) *hftid_hash_tid; */
177         u_long hftid_tid_mask;
178
179         struct mtx etid_lock __aligned(CACHE_LINE_SIZE);
180         union etid_entry *etid_tab;
181         union etid_entry *efree;
182         u_int etids_in_use;
183 };
184
185 struct t4_range {
186         u_int start;
187         u_int size;
188 };
189
190 struct t4_virt_res {                      /* virtualized HW resources */
191         struct t4_range ddp;
192         struct t4_range iscsi;
193         struct t4_range stag;
194         struct t4_range rq;
195         struct t4_range pbl;
196         struct t4_range qp;
197         struct t4_range cq;
198         struct t4_range srq;
199         struct t4_range ocq;
200         struct t4_range l2t;
201         struct t4_range key;
202 };
203
204 enum {
205         ULD_TOM = 0,
206         ULD_IWARP,
207         ULD_ISCSI,
208         ULD_MAX = ULD_ISCSI
209 };
210
211 struct adapter;
212 struct port_info;
213 struct uld_info {
214         SLIST_ENTRY(uld_info) link;
215         int refcount;
216         int uld_id;
217         int (*activate)(struct adapter *);
218         int (*deactivate)(struct adapter *);
219         void (*async_event)(struct adapter *);
220 };
221
222 struct tom_tunables {
223         int cong_algorithm;
224         int sndbuf;
225         int ddp;
226         int rx_coalesce;
227         int tls;
228         int tls_rx_timeout;
229         int *tls_rx_ports;
230         int num_tls_rx_ports;
231         int tx_align;
232         int tx_zcopy;
233         int cop_managed_offloading;
234         int autorcvbuf_inc;
235 };
236
237 /* iWARP driver tunables */
238 struct iw_tunables {
239         int wc_en;
240 };
241
242 struct tls_tunables {
243         int inline_keys;
244         int combo_wrs;
245 };
246
247 #ifdef TCP_OFFLOAD
248 int t4_register_uld(struct uld_info *);
249 int t4_unregister_uld(struct uld_info *);
250 int t4_activate_uld(struct adapter *, int);
251 int t4_deactivate_uld(struct adapter *, int);
252 int uld_active(struct adapter *, int);
253 #endif
254 #endif