sys/dev/cxgbe/offload.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2010 Chelsio Communications, Inc.
   5  * All rights reserved.
   6  * Written by: Navdeep Parhar <np@FreeBSD.org>
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  *
  29  * $FreeBSD$
  30  *
  31  */
  32
  33 #ifndef __T4_OFFLOAD_H__
  34 #define __T4_OFFLOAD_H__
  35 #include <sys/param.h>
  36 #include <sys/proc.h>
  37 #include <sys/condvar.h>
  38
  39 #define INIT_ULPTX_WRH(w, wrlen, atomic, tid) do { \
  40         (w)->wr_hi = htonl(V_FW_WR_OP(FW_ULPTX_WR) | V_FW_WR_ATOMIC(atomic)); \
  41         (w)->wr_mid = htonl(V_FW_WR_LEN16(DIV_ROUND_UP(wrlen, 16)) | \
  42                                V_FW_WR_FLOWID(tid)); \
  43         (w)->wr_lo = cpu_to_be64(0); \
  44 } while (0)
  45
  46 #define INIT_ULPTX_WR(w, wrlen, atomic, tid) \
  47     INIT_ULPTX_WRH(&((w)->wr), wrlen, atomic, tid)
  48
  49 #define INIT_TP_WR(w, tid) do { \
  50         (w)->wr.wr_hi = htonl(V_FW_WR_OP(FW_TP_WR) | \
  51                               V_FW_WR_IMMDLEN(sizeof(*w) - sizeof(w->wr))); \
  52         (w)->wr.wr_mid = htonl(V_FW_WR_LEN16(DIV_ROUND_UP(sizeof(*w), 16)) | \
  53                                V_FW_WR_FLOWID(tid)); \
  54         (w)->wr.wr_lo = cpu_to_be64(0); \
  55 } while (0)
  56
  57 #define INIT_TP_WR_MIT_CPL(w, cpl, tid) do { \
  58         INIT_TP_WR(w, tid); \
  59         OPCODE_TID(w) = htonl(MK_OPCODE_TID(cpl, tid)); \
  60 } while (0)
  61
  62 TAILQ_HEAD(stid_head, stid_region);
  63 struct listen_ctx;
  64
  65 struct stid_region {
  66         TAILQ_ENTRY(stid_region) link;
  67         u_int used;     /* # of stids used by this region */
  68         u_int free;     /* # of contiguous stids free right after this region */
  69 };
  70
  71 /*
  72  * Max # of ATIDs.  The absolute HW max is 14b (enough for 16K) but we reserve
  73  * the upper 3b for use as a cookie to demux the reply.
  74  */
  75 #define MAX_ATIDS 2048U
  76
  77 union aopen_entry {
  78         void *data;
  79         union aopen_entry *next;
  80 };
  81
  82 /* cxgbe_rate_tag flags */
  83 enum {
  84         EO_FLOWC_PENDING        = (1 << 0),     /* flowc needs to be sent */
  85         EO_FLOWC_RPL_PENDING    = (1 << 1),     /* flowc credits due back */
  86         EO_SND_TAG_REF          = (1 << 2),     /* kernel has a ref on us */
  87         EO_FLUSH_RPL_PENDING    = (1 << 3),     /* credit flush rpl due back */
  88 };
  89
  90 struct cxgbe_snd_tag {
  91         struct m_snd_tag com;
  92         int type;
  93 };
  94
  95 struct cxgbe_rate_tag {
  96         struct cxgbe_snd_tag com;
  97         struct adapter *adapter;
  98         u_int flags;
  99         struct mtx lock;
 100         int port_id;
 101         int etid;
 102         struct mbufq pending_tx, pending_fwack;
 103         int plen;
 104         struct sge_wrq *eo_txq;
 105         uint32_t ctrl0;
 106         uint16_t iqid;
 107         int8_t schedcl;
 108         uint64_t max_rate;      /* in bytes/s */
 109         uint8_t tx_total;       /* total tx WR credits (in 16B units) */
 110         uint8_t tx_credits;     /* tx WR credits (in 16B units) available */
 111         uint8_t tx_nocompl;     /* tx WR credits since last compl request */
 112         uint8_t ncompl;         /* # of completions outstanding. */
 113 };
 114
 115 static inline struct cxgbe_snd_tag *
 116 mst_to_cst(struct m_snd_tag *t)
 117 {
 118
 119         return (__containerof(t, struct cxgbe_snd_tag, com));
 120 }
 121
 122 static inline struct cxgbe_rate_tag *
 123 mst_to_crt(struct m_snd_tag *t)
 124 {
 125         return ((struct cxgbe_rate_tag *)mst_to_cst(t));
 126 }
 127
 128 union etid_entry {
 129         struct cxgbe_rate_tag *cst;
 130         union etid_entry *next;
 131 };
 132
 133 /*
 134  * Holds the size, base address, start, end, etc. of various types of TIDs.  The
 135  * tables themselves are allocated dynamically.
 136  */
 137 struct tid_info {
 138         u_int nstids;
 139         u_int stid_base;
 140
 141         u_int natids;
 142
 143         u_int nftids;
 144         u_int ftid_base;
 145         u_int ftid_end;
 146
 147         u_int nhpftids;
 148         u_int hpftid_base;
 149         u_int hpftid_end;
 150
 151         u_int ntids;
 152         u_int tid_base;
 153
 154         u_int netids;
 155         u_int etid_base;
 156         u_int etid_end;
 157
 158         struct mtx stid_lock __aligned(CACHE_LINE_SIZE);
 159         struct listen_ctx **stid_tab;
 160         u_int stids_in_use;
 161         u_int nstids_free_head; /* # of available stids at the beginning */
 162         struct stid_head stids;
 163
 164         struct mtx atid_lock __aligned(CACHE_LINE_SIZE);
 165         union aopen_entry *atid_tab;
 166         union aopen_entry *afree;
 167         u_int atids_in_use;
 168
 169         /* High priority filters and normal filters share the lock and cv. */
 170         struct mtx ftid_lock __aligned(CACHE_LINE_SIZE);
 171         struct cv ftid_cv;
 172         struct filter_entry *ftid_tab;
 173         struct filter_entry *hpftid_tab;
 174         u_int ftids_in_use;
 175         u_int hpftids_in_use;
 176
 177         /*
 178          * hashfilter and TOE are mutually exclusive and both use ntids and
 179          * tids_in_use.  The lock and cv are used only by hashfilter.
 180          */
 181         struct mtx hftid_lock __aligned(CACHE_LINE_SIZE);
 182         struct cv hftid_cv;
 183         void **tid_tab;
 184         u_int tids_in_use;
 185
 186         void *hftid_hash_4t;    /* LIST_HEAD(, filter_entry) *hftid_hash_4t; */
 187         u_long hftid_4t_mask;
 188         void *hftid_hash_tid;   /* LIST_HEAD(, filter_entry) *hftid_hash_tid; */
 189         u_long hftid_tid_mask;
 190
 191         struct mtx etid_lock __aligned(CACHE_LINE_SIZE);
 192         union etid_entry *etid_tab;
 193         union etid_entry *efree;
 194         u_int etids_in_use;
 195 };
 196
 197 struct t4_range {
 198         u_int start;
 199         u_int size;
 200 };
 201
 202 struct t4_virt_res {                      /* virtualized HW resources */
 203         struct t4_range ddp;
 204         struct t4_range iscsi;
 205         struct t4_range stag;
 206         struct t4_range rq;
 207         struct t4_range pbl;
 208         struct t4_range qp;
 209         struct t4_range cq;
 210         struct t4_range srq;
 211         struct t4_range ocq;
 212         struct t4_range l2t;
 213         struct t4_range key;
 214 };
 215
 216 enum {
 217         ULD_TOM = 0,
 218         ULD_IWARP,
 219         ULD_ISCSI,
 220         ULD_MAX = ULD_ISCSI
 221 };
 222
 223 struct adapter;
 224 struct port_info;
 225 struct uld_info {
 226         SLIST_ENTRY(uld_info) link;
 227         int refcount;
 228         int uld_id;
 229         int (*activate)(struct adapter *);
 230         int (*deactivate)(struct adapter *);
 231         void (*async_event)(struct adapter *);
 232 };
 233
 234 struct tom_tunables {
 235         int cong_algorithm;
 236         int sndbuf;
 237         int ddp;
 238         int rx_coalesce;
 239         int tls;
 240         int *tls_rx_ports;
 241         int num_tls_rx_ports;
 242         int tx_align;
 243         int tx_zcopy;
 244         int cop_managed_offloading;
 245         int autorcvbuf_inc;
 246 };
 247
 248 /* iWARP driver tunables */
 249 struct iw_tunables {
 250         int wc_en;
 251 };
 252
 253 struct tls_tunables {
 254         int inline_keys;
 255         int combo_wrs;
 256 };
 257
 258 #ifdef TCP_OFFLOAD
 259 int t4_register_uld(struct uld_info *);
 260 int t4_unregister_uld(struct uld_info *);
 261 int t4_activate_uld(struct adapter *, int);
 262 int t4_deactivate_uld(struct adapter *, int);
 263 int uld_active(struct adapter *, int);
 264 #endif
 265 #endif