sys/dev/ena/ena_datapath.c

   1 /*-
   2  * BSD LICENSE
   3  *
   4  * Copyright (c) 2015-2020 Amazon.com, Inc. or its affiliates.
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  *
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  29  */
  30 #include <sys/cdefs.h>
  31 __FBSDID("$FreeBSD$");
  32
  33 #include "opt_rss.h"
  34 #include "ena.h"
  35 #include "ena_datapath.h"
  36 #ifdef DEV_NETMAP
  37 #include "ena_netmap.h"
  38 #endif /* DEV_NETMAP */
  39
  40 /*********************************************************************
  41  *  Static functions prototypes
  42  *********************************************************************/
  43
  44 static int      ena_tx_cleanup(struct ena_ring *);
  45 static int      ena_rx_cleanup(struct ena_ring *);
  46 static inline int validate_tx_req_id(struct ena_ring *, uint16_t);
  47 static void     ena_rx_hash_mbuf(struct ena_ring *, struct ena_com_rx_ctx *,
  48     struct mbuf *);
  49 static struct mbuf* ena_rx_mbuf(struct ena_ring *, struct ena_com_rx_buf_info *,
  50     struct ena_com_rx_ctx *, uint16_t *);
  51 static inline void ena_rx_checksum(struct ena_ring *, struct ena_com_rx_ctx *,
  52     struct mbuf *);
  53 static void     ena_tx_csum(struct ena_com_tx_ctx *, struct mbuf *, bool);
  54 static int      ena_check_and_collapse_mbuf(struct ena_ring *tx_ring,
  55     struct mbuf **mbuf);
  56 static int      ena_xmit_mbuf(struct ena_ring *, struct mbuf **);
  57 static void     ena_start_xmit(struct ena_ring *);
  58
  59 /*********************************************************************
  60  *  Global functions
  61  *********************************************************************/
  62
  63 void
  64 ena_cleanup(void *arg, int pending)
  65 {
  66         struct ena_que  *que = arg;
  67         struct ena_adapter *adapter = que->adapter;
  68         if_t ifp = adapter->ifp;
  69         struct ena_ring *tx_ring;
  70         struct ena_ring *rx_ring;
  71         struct ena_com_io_cq* io_cq;
  72         struct ena_eth_io_intr_reg intr_reg;
  73         int qid, ena_qid;
  74         int txc, rxc, i;
  75
  76         if (unlikely((if_getdrvflags(ifp) & IFF_DRV_RUNNING) == 0))
  77                 return;
  78
  79         ena_trace(NULL, ENA_DBG, "MSI-X TX/RX routine\n");
  80
  81         tx_ring = que->tx_ring;
  82         rx_ring = que->rx_ring;
  83         qid = que->id;
  84         ena_qid = ENA_IO_TXQ_IDX(qid);
  85         io_cq = &adapter->ena_dev->io_cq_queues[ena_qid];
  86
  87         tx_ring->first_interrupt = true;
  88         rx_ring->first_interrupt = true;
  89
  90         for (i = 0; i < CLEAN_BUDGET; ++i) {
  91                 rxc = ena_rx_cleanup(rx_ring);
  92                 txc = ena_tx_cleanup(tx_ring);
  93
  94                 if (unlikely((if_getdrvflags(ifp) & IFF_DRV_RUNNING) == 0))
  95                         return;
  96
  97                 if ((txc != TX_BUDGET) && (rxc != RX_BUDGET))
  98                        break;
  99         }
 100
 101         /* Signal that work is done and unmask interrupt */
 102         ena_com_update_intr_reg(&intr_reg,
 103             RX_IRQ_INTERVAL,
 104             TX_IRQ_INTERVAL,
 105             true);
 106         ena_com_unmask_intr(io_cq, &intr_reg);
 107 }
 108
 109 void
 110 ena_deferred_mq_start(void *arg, int pending)
 111 {
 112         struct ena_ring *tx_ring = (struct ena_ring *)arg;
 113         struct ifnet *ifp = tx_ring->adapter->ifp;
 114
 115         while (!drbr_empty(ifp, tx_ring->br) &&
 116             tx_ring->running &&
 117             (if_getdrvflags(ifp) & IFF_DRV_RUNNING) != 0) {
 118                 ENA_RING_MTX_LOCK(tx_ring);
 119                 ena_start_xmit(tx_ring);
 120                 ENA_RING_MTX_UNLOCK(tx_ring);
 121         }
 122 }
 123
 124 int
 125 ena_mq_start(if_t ifp, struct mbuf *m)
 126 {
 127         struct ena_adapter *adapter = ifp->if_softc;
 128         struct ena_ring *tx_ring;
 129         int ret, is_drbr_empty;
 130         uint32_t i;
 131
 132         if (unlikely((if_getdrvflags(adapter->ifp) & IFF_DRV_RUNNING) == 0))
 133                 return (ENODEV);
 134
 135         /* Which queue to use */
 136         /*
 137          * If everything is setup correctly, it should be the
 138          * same bucket that the current CPU we're on is.
 139          * It should improve performance.
 140          */
 141         if (M_HASHTYPE_GET(m) != M_HASHTYPE_NONE) {
 142                 i = m->m_pkthdr.flowid % adapter->num_io_queues;
 143         } else {
 144                 i = curcpu % adapter->num_io_queues;
 145         }
 146         tx_ring = &adapter->tx_ring[i];
 147
 148         /* Check if drbr is empty before putting packet */
 149         is_drbr_empty = drbr_empty(ifp, tx_ring->br);
 150         ret = drbr_enqueue(ifp, tx_ring->br, m);
 151         if (unlikely(ret != 0)) {
 152                 taskqueue_enqueue(tx_ring->enqueue_tq, &tx_ring->enqueue_task);
 153                 return (ret);
 154         }
 155
 156         if (is_drbr_empty && (ENA_RING_MTX_TRYLOCK(tx_ring) != 0)) {
 157                 ena_start_xmit(tx_ring);
 158                 ENA_RING_MTX_UNLOCK(tx_ring);
 159         } else {
 160                 taskqueue_enqueue(tx_ring->enqueue_tq, &tx_ring->enqueue_task);
 161         }
 162
 163         return (0);
 164 }
 165
 166 void
 167 ena_qflush(if_t ifp)
 168 {
 169         struct ena_adapter *adapter = ifp->if_softc;
 170         struct ena_ring *tx_ring = adapter->tx_ring;
 171         int i;
 172
 173         for(i = 0; i < adapter->num_io_queues; ++i, ++tx_ring)
 174                 if (!drbr_empty(ifp, tx_ring->br)) {
 175                         ENA_RING_MTX_LOCK(tx_ring);
 176                         drbr_flush(ifp, tx_ring->br);
 177                         ENA_RING_MTX_UNLOCK(tx_ring);
 178                 }
 179
 180         if_qflush(ifp);
 181 }
 182
 183 /*********************************************************************
 184  *  Static functions
 185  *********************************************************************/
 186
 187 static inline int
 188 validate_tx_req_id(struct ena_ring *tx_ring, uint16_t req_id)
 189 {
 190         struct ena_adapter *adapter = tx_ring->adapter;
 191         struct ena_tx_buffer *tx_info = NULL;
 192
 193         if (likely(req_id < tx_ring->ring_size)) {
 194                 tx_info = &tx_ring->tx_buffer_info[req_id];
 195                 if (tx_info->mbuf != NULL)
 196                         return (0);
 197                 device_printf(adapter->pdev,
 198                     "tx_info doesn't have valid mbuf\n");
 199         }
 200
 201         device_printf(adapter->pdev, "Invalid req_id: %hu\n", req_id);
 202         counter_u64_add(tx_ring->tx_stats.bad_req_id, 1);
 203
 204         /* Trigger device reset */
 205         ena_trigger_reset(adapter, ENA_REGS_RESET_INV_TX_REQ_ID);
 206
 207         return (EFAULT);
 208 }
 209
 210 /**
 211  * ena_tx_cleanup - clear sent packets and corresponding descriptors
 212  * @tx_ring: ring for which we want to clean packets
 213  *
 214  * Once packets are sent, we ask the device in a loop for no longer used
 215  * descriptors. We find the related mbuf chain in a map (index in an array)
 216  * and free it, then update ring state.
 217  * This is performed in "endless" loop, updating ring pointers every
 218  * TX_COMMIT. The first check of free descriptor is performed before the actual
 219  * loop, then repeated at the loop end.
 220  **/
 221 static int
 222 ena_tx_cleanup(struct ena_ring *tx_ring)
 223 {
 224         struct ena_adapter *adapter;
 225         struct ena_com_io_cq* io_cq;
 226         uint16_t next_to_clean;
 227         uint16_t req_id;
 228         uint16_t ena_qid;
 229         unsigned int total_done = 0;
 230         int rc;
 231         int commit = TX_COMMIT;
 232         int budget = TX_BUDGET;
 233         int work_done;
 234         bool above_thresh;
 235
 236         adapter = tx_ring->que->adapter;
 237         ena_qid = ENA_IO_TXQ_IDX(tx_ring->que->id);
 238         io_cq = &adapter->ena_dev->io_cq_queues[ena_qid];
 239         next_to_clean = tx_ring->next_to_clean;
 240
 241 #ifdef DEV_NETMAP
 242         if (netmap_tx_irq(adapter->ifp, tx_ring->qid) != NM_IRQ_PASS)
 243                 return (0);
 244 #endif /* DEV_NETMAP */
 245
 246         do {
 247                 struct ena_tx_buffer *tx_info;
 248                 struct mbuf *mbuf;
 249
 250                 rc = ena_com_tx_comp_req_id_get(io_cq, &req_id);
 251                 if (unlikely(rc != 0))
 252                         break;
 253
 254                 rc = validate_tx_req_id(tx_ring, req_id);
 255                 if (unlikely(rc != 0))
 256                         break;
 257
 258                 tx_info = &tx_ring->tx_buffer_info[req_id];
 259
 260                 mbuf = tx_info->mbuf;
 261
 262                 tx_info->mbuf = NULL;
 263                 bintime_clear(&tx_info->timestamp);
 264
 265                 bus_dmamap_sync(adapter->tx_buf_tag, tx_info->dmamap,
 266                     BUS_DMASYNC_POSTWRITE);
 267                 bus_dmamap_unload(adapter->tx_buf_tag,
 268                     tx_info->dmamap);
 269
 270                 ena_trace(NULL, ENA_DBG | ENA_TXPTH, "tx: q %d mbuf %p completed\n",
 271                     tx_ring->qid, mbuf);
 272
 273                 m_freem(mbuf);
 274
 275                 total_done += tx_info->tx_descs;
 276
 277                 tx_ring->free_tx_ids[next_to_clean] = req_id;
 278                 next_to_clean = ENA_TX_RING_IDX_NEXT(next_to_clean,
 279                     tx_ring->ring_size);
 280
 281                 if (unlikely(--commit == 0)) {
 282                         commit = TX_COMMIT;
 283                         /* update ring state every TX_COMMIT descriptor */
 284                         tx_ring->next_to_clean = next_to_clean;
 285                         ena_com_comp_ack(
 286                             &adapter->ena_dev->io_sq_queues[ena_qid],
 287                             total_done);
 288                         ena_com_update_dev_comp_head(io_cq);
 289                         total_done = 0;
 290                 }
 291         } while (likely(--budget));
 292
 293         work_done = TX_BUDGET - budget;
 294
 295         ena_trace(NULL, ENA_DBG | ENA_TXPTH, "tx: q %d done. total pkts: %d\n",
 296         tx_ring->qid, work_done);
 297
 298         /* If there is still something to commit update ring state */
 299         if (likely(commit != TX_COMMIT)) {
 300                 tx_ring->next_to_clean = next_to_clean;
 301                 ena_com_comp_ack(&adapter->ena_dev->io_sq_queues[ena_qid],
 302                     total_done);
 303                 ena_com_update_dev_comp_head(io_cq);
 304         }
 305
 306         /*
 307          * Need to make the rings circular update visible to
 308          * ena_xmit_mbuf() before checking for tx_ring->running.
 309          */
 310         mb();
 311
 312         above_thresh = ena_com_sq_have_enough_space(tx_ring->ena_com_io_sq,
 313             ENA_TX_RESUME_THRESH);
 314         if (unlikely(!tx_ring->running && above_thresh)) {
 315                 ENA_RING_MTX_LOCK(tx_ring);
 316                 above_thresh =
 317                     ena_com_sq_have_enough_space(tx_ring->ena_com_io_sq,
 318                     ENA_TX_RESUME_THRESH);
 319                 if (!tx_ring->running && above_thresh) {
 320                         tx_ring->running = true;
 321                         counter_u64_add(tx_ring->tx_stats.queue_wakeup, 1);
 322                         taskqueue_enqueue(tx_ring->enqueue_tq,
 323                             &tx_ring->enqueue_task);
 324                 }
 325                 ENA_RING_MTX_UNLOCK(tx_ring);
 326         }
 327
 328         return (work_done);
 329 }
 330
 331 static void
 332 ena_rx_hash_mbuf(struct ena_ring *rx_ring, struct ena_com_rx_ctx *ena_rx_ctx,
 333     struct mbuf *mbuf)
 334 {
 335         struct ena_adapter *adapter = rx_ring->adapter;
 336
 337         if (likely(ENA_FLAG_ISSET(ENA_FLAG_RSS_ACTIVE, adapter))) {
 338                 mbuf->m_pkthdr.flowid = ena_rx_ctx->hash;
 339
 340 #ifdef RSS
 341                 /*
 342                  * Hardware and software RSS are in agreement only when both are
 343                  * configured to Toeplitz algorithm.  This driver configures
 344                  * that algorithm only when software RSS is enabled and uses it.
 345                  */
 346                 if (adapter->ena_dev->rss.hash_func != ENA_ADMIN_TOEPLITZ &&
 347                     ena_rx_ctx->l3_proto != ENA_ETH_IO_L3_PROTO_UNKNOWN) {
 348                         M_HASHTYPE_SET(mbuf, M_HASHTYPE_OPAQUE_HASH);
 349                         return;
 350                 }
 351 #endif
 352
 353                 if (ena_rx_ctx->frag &&
 354                     (ena_rx_ctx->l3_proto != ENA_ETH_IO_L3_PROTO_UNKNOWN)) {
 355                         M_HASHTYPE_SET(mbuf, M_HASHTYPE_OPAQUE_HASH);
 356                         return;
 357                 }
 358
 359                 switch (ena_rx_ctx->l3_proto) {
 360                 case ENA_ETH_IO_L3_PROTO_IPV4:
 361                         switch (ena_rx_ctx->l4_proto) {
 362                         case ENA_ETH_IO_L4_PROTO_TCP:
 363                                 M_HASHTYPE_SET(mbuf, M_HASHTYPE_RSS_TCP_IPV4);
 364                                 break;
 365                         case ENA_ETH_IO_L4_PROTO_UDP:
 366                                 M_HASHTYPE_SET(mbuf, M_HASHTYPE_RSS_UDP_IPV4);
 367                                 break;
 368                         default:
 369                                 M_HASHTYPE_SET(mbuf, M_HASHTYPE_RSS_IPV4);
 370                         }
 371                         break;
 372                 case ENA_ETH_IO_L3_PROTO_IPV6:
 373                         switch (ena_rx_ctx->l4_proto) {
 374                         case ENA_ETH_IO_L4_PROTO_TCP:
 375                                 M_HASHTYPE_SET(mbuf, M_HASHTYPE_RSS_TCP_IPV6);
 376                                 break;
 377                         case ENA_ETH_IO_L4_PROTO_UDP:
 378                                 M_HASHTYPE_SET(mbuf, M_HASHTYPE_RSS_UDP_IPV6);
 379                                 break;
 380                         default:
 381                                 M_HASHTYPE_SET(mbuf, M_HASHTYPE_RSS_IPV6);
 382                         }
 383                         break;
 384                 case ENA_ETH_IO_L3_PROTO_UNKNOWN:
 385                         M_HASHTYPE_SET(mbuf, M_HASHTYPE_NONE);
 386                         break;
 387                 default:
 388                         M_HASHTYPE_SET(mbuf, M_HASHTYPE_OPAQUE_HASH);
 389                 }
 390         } else {
 391                 mbuf->m_pkthdr.flowid = rx_ring->qid;
 392                 M_HASHTYPE_SET(mbuf, M_HASHTYPE_NONE);
 393         }
 394 }
 395
 396 /**
 397  * ena_rx_mbuf - assemble mbuf from descriptors
 398  * @rx_ring: ring for which we want to clean packets
 399  * @ena_bufs: buffer info
 400  * @ena_rx_ctx: metadata for this packet(s)
 401  * @next_to_clean: ring pointer, will be updated only upon success
 402  *
 403  **/
 404 static struct mbuf*
 405 ena_rx_mbuf(struct ena_ring *rx_ring, struct ena_com_rx_buf_info *ena_bufs,
 406     struct ena_com_rx_ctx *ena_rx_ctx, uint16_t *next_to_clean)
 407 {
 408         struct mbuf *mbuf;
 409         struct ena_rx_buffer *rx_info;
 410         struct ena_adapter *adapter;
 411         unsigned int descs = ena_rx_ctx->descs;
 412         uint16_t ntc, len, req_id, buf = 0;
 413
 414         ntc = *next_to_clean;
 415         adapter = rx_ring->adapter;
 416
 417         len = ena_bufs[buf].len;
 418         req_id = ena_bufs[buf].req_id;
 419         rx_info = &rx_ring->rx_buffer_info[req_id];
 420         if (unlikely(rx_info->mbuf == NULL)) {
 421                 device_printf(adapter->pdev, "NULL mbuf in rx_info");
 422                 return (NULL);
 423         }
 424
 425         ena_trace(NULL, ENA_DBG | ENA_RXPTH, "rx_info %p, mbuf %p, paddr %jx\n",
 426             rx_info, rx_info->mbuf, (uintmax_t)rx_info->ena_buf.paddr);
 427
 428         bus_dmamap_sync(adapter->rx_buf_tag, rx_info->map,
 429             BUS_DMASYNC_POSTREAD);
 430         mbuf = rx_info->mbuf;
 431         mbuf->m_flags |= M_PKTHDR;
 432         mbuf->m_pkthdr.len = len;
 433         mbuf->m_len = len;
 434         mbuf->m_pkthdr.rcvif = rx_ring->que->adapter->ifp;
 435
 436         /* Fill mbuf with hash key and it's interpretation for optimization */
 437         ena_rx_hash_mbuf(rx_ring, ena_rx_ctx, mbuf);
 438
 439         ena_trace(NULL, ENA_DBG | ENA_RXPTH, "rx mbuf 0x%p, flags=0x%x, len: %d\n",
 440             mbuf, mbuf->m_flags, mbuf->m_pkthdr.len);
 441
 442         /* DMA address is not needed anymore, unmap it */
 443         bus_dmamap_unload(rx_ring->adapter->rx_buf_tag, rx_info->map);
 444
 445         rx_info->mbuf = NULL;
 446         rx_ring->free_rx_ids[ntc] = req_id;
 447         ntc = ENA_RX_RING_IDX_NEXT(ntc, rx_ring->ring_size);
 448
 449         /*
 450          * While we have more than 1 descriptors for one rcvd packet, append
 451          * other mbufs to the main one
 452          */
 453         while (--descs) {
 454                 ++buf;
 455                 len = ena_bufs[buf].len;
 456                 req_id = ena_bufs[buf].req_id;
 457                 rx_info = &rx_ring->rx_buffer_info[req_id];
 458
 459                 if (unlikely(rx_info->mbuf == NULL)) {
 460                         device_printf(adapter->pdev, "NULL mbuf in rx_info");
 461                         /*
 462                          * If one of the required mbufs was not allocated yet,
 463                          * we can break there.
 464                          * All earlier used descriptors will be reallocated
 465                          * later and not used mbufs can be reused.
 466                          * The next_to_clean pointer will not be updated in case
 467                          * of an error, so caller should advance it manually
 468                          * in error handling routine to keep it up to date
 469                          * with hw ring.
 470                          */
 471                         m_freem(mbuf);
 472                         return (NULL);
 473                 }
 474
 475                 bus_dmamap_sync(adapter->rx_buf_tag, rx_info->map,
 476                     BUS_DMASYNC_POSTREAD);
 477                 if (unlikely(m_append(mbuf, len, rx_info->mbuf->m_data) == 0)) {
 478                         counter_u64_add(rx_ring->rx_stats.mbuf_alloc_fail, 1);
 479                         ena_trace(NULL, ENA_WARNING, "Failed to append Rx mbuf %p\n",
 480                             mbuf);
 481                 }
 482
 483                 ena_trace(NULL, ENA_DBG | ENA_RXPTH,
 484                     "rx mbuf updated. len %d\n", mbuf->m_pkthdr.len);
 485
 486                 /* Free already appended mbuf, it won't be useful anymore */
 487                 bus_dmamap_unload(rx_ring->adapter->rx_buf_tag, rx_info->map);
 488                 m_freem(rx_info->mbuf);
 489                 rx_info->mbuf = NULL;
 490
 491                 rx_ring->free_rx_ids[ntc] = req_id;
 492                 ntc = ENA_RX_RING_IDX_NEXT(ntc, rx_ring->ring_size);
 493         }
 494
 495         *next_to_clean = ntc;
 496
 497         return (mbuf);
 498 }
 499
 500 /**
 501  * ena_rx_checksum - indicate in mbuf if hw indicated a good cksum
 502  **/
 503 static inline void
 504 ena_rx_checksum(struct ena_ring *rx_ring, struct ena_com_rx_ctx *ena_rx_ctx,
 505     struct mbuf *mbuf)
 506 {
 507
 508         /* if IP and error */
 509         if (unlikely((ena_rx_ctx->l3_proto == ENA_ETH_IO_L3_PROTO_IPV4) &&
 510             ena_rx_ctx->l3_csum_err)) {
 511                 /* ipv4 checksum error */
 512                 mbuf->m_pkthdr.csum_flags = 0;
 513                 counter_u64_add(rx_ring->rx_stats.bad_csum, 1);
 514                 ena_trace(NULL, ENA_DBG, "RX IPv4 header checksum error\n");
 515                 return;
 516         }
 517
 518         /* if TCP/UDP */
 519         if ((ena_rx_ctx->l4_proto == ENA_ETH_IO_L4_PROTO_TCP) ||
 520             (ena_rx_ctx->l4_proto == ENA_ETH_IO_L4_PROTO_UDP)) {
 521                 if (ena_rx_ctx->l4_csum_err) {
 522                         /* TCP/UDP checksum error */
 523                         mbuf->m_pkthdr.csum_flags = 0;
 524                         counter_u64_add(rx_ring->rx_stats.bad_csum, 1);
 525                         ena_trace(NULL, ENA_DBG, "RX L4 checksum error\n");
 526                 } else {
 527                         mbuf->m_pkthdr.csum_flags = CSUM_IP_CHECKED;
 528                         mbuf->m_pkthdr.csum_flags |= CSUM_IP_VALID;
 529                 }
 530         }
 531 }
 532
 533 /**
 534  * ena_rx_cleanup - handle rx irq
 535  * @arg: ring for which irq is being handled
 536  **/
 537 static int
 538 ena_rx_cleanup(struct ena_ring *rx_ring)
 539 {
 540         struct ena_adapter *adapter;
 541         struct mbuf *mbuf;
 542         struct ena_com_rx_ctx ena_rx_ctx;
 543         struct ena_com_io_cq* io_cq;
 544         struct ena_com_io_sq* io_sq;
 545         enum ena_regs_reset_reason_types reset_reason;
 546         if_t ifp;
 547         uint16_t ena_qid;
 548         uint16_t next_to_clean;
 549         uint32_t refill_required;
 550         uint32_t refill_threshold;
 551         uint32_t do_if_input = 0;
 552         unsigned int qid;
 553         int rc, i;
 554         int budget = RX_BUDGET;
 555 #ifdef DEV_NETMAP
 556         int done;
 557 #endif /* DEV_NETMAP */
 558
 559         adapter = rx_ring->que->adapter;
 560         ifp = adapter->ifp;
 561         qid = rx_ring->que->id;
 562         ena_qid = ENA_IO_RXQ_IDX(qid);
 563         io_cq = &adapter->ena_dev->io_cq_queues[ena_qid];
 564         io_sq = &adapter->ena_dev->io_sq_queues[ena_qid];
 565         next_to_clean = rx_ring->next_to_clean;
 566
 567 #ifdef DEV_NETMAP
 568         if (netmap_rx_irq(adapter->ifp, rx_ring->qid, &done) != NM_IRQ_PASS)
 569                 return (0);
 570 #endif /* DEV_NETMAP */
 571
 572         ena_trace(NULL, ENA_DBG, "rx: qid %d\n", qid);
 573
 574         do {
 575                 ena_rx_ctx.ena_bufs = rx_ring->ena_bufs;
 576                 ena_rx_ctx.max_bufs = adapter->max_rx_sgl_size;
 577                 ena_rx_ctx.descs = 0;
 578                 bus_dmamap_sync(io_cq->cdesc_addr.mem_handle.tag,
 579                     io_cq->cdesc_addr.mem_handle.map, BUS_DMASYNC_POSTREAD);
 580                 rc = ena_com_rx_pkt(io_cq, io_sq, &ena_rx_ctx);
 581                 if (unlikely(rc != 0)) {
 582                         if (rc == ENA_COM_NO_SPACE) {
 583                                 counter_u64_add(rx_ring->rx_stats.bad_desc_num,
 584                                     1);
 585                                 reset_reason = ENA_REGS_RESET_TOO_MANY_RX_DESCS;
 586                         } else {
 587                                 counter_u64_add(rx_ring->rx_stats.bad_req_id,
 588                                     1);
 589                                 reset_reason = ENA_REGS_RESET_INV_RX_REQ_ID;
 590                         }
 591                         ena_trigger_reset(adapter, reset_reason);
 592                         return (0);
 593                 }
 594
 595                 if (unlikely(ena_rx_ctx.descs == 0))
 596                         break;
 597
 598                 ena_trace(NULL, ENA_DBG | ENA_RXPTH, "rx: q %d got packet from ena. "
 599                     "descs #: %d l3 proto %d l4 proto %d hash: %x\n",
 600                     rx_ring->qid, ena_rx_ctx.descs, ena_rx_ctx.l3_proto,
 601                     ena_rx_ctx.l4_proto, ena_rx_ctx.hash);
 602
 603                 /* Receive mbuf from the ring */
 604                 mbuf = ena_rx_mbuf(rx_ring, rx_ring->ena_bufs,
 605                     &ena_rx_ctx, &next_to_clean);
 606                 bus_dmamap_sync(io_cq->cdesc_addr.mem_handle.tag,
 607                     io_cq->cdesc_addr.mem_handle.map, BUS_DMASYNC_PREREAD);
 608                 /* Exit if we failed to retrieve a buffer */
 609                 if (unlikely(mbuf == NULL)) {
 610                         for (i = 0; i < ena_rx_ctx.descs; ++i) {
 611                                 rx_ring->free_rx_ids[next_to_clean] =
 612                                     rx_ring->ena_bufs[i].req_id;
 613                                 next_to_clean =
 614                                     ENA_RX_RING_IDX_NEXT(next_to_clean,
 615                                     rx_ring->ring_size);
 616
 617                         }
 618                         break;
 619                 }
 620
 621                 if (((ifp->if_capenable & IFCAP_RXCSUM) != 0) ||
 622                     ((ifp->if_capenable & IFCAP_RXCSUM_IPV6) != 0)) {
 623                         ena_rx_checksum(rx_ring, &ena_rx_ctx, mbuf);
 624                 }
 625
 626                 counter_enter();
 627                 counter_u64_add_protected(rx_ring->rx_stats.bytes,
 628                     mbuf->m_pkthdr.len);
 629                 counter_u64_add_protected(adapter->hw_stats.rx_bytes,
 630                     mbuf->m_pkthdr.len);
 631                 counter_exit();
 632                 /*
 633                  * LRO is only for IP/TCP packets and TCP checksum of the packet
 634                  * should be computed by hardware.
 635                  */
 636                 do_if_input = 1;
 637                 if (((ifp->if_capenable & IFCAP_LRO) != 0)  &&
 638                     ((mbuf->m_pkthdr.csum_flags & CSUM_IP_VALID) != 0) &&
 639                     (ena_rx_ctx.l4_proto == ENA_ETH_IO_L4_PROTO_TCP)) {
 640                         /*
 641                          * Send to the stack if:
 642                          *  - LRO not enabled, or
 643                          *  - no LRO resources, or
 644                          *  - lro enqueue fails
 645                          */
 646                         if ((rx_ring->lro.lro_cnt != 0) &&
 647                             (tcp_lro_rx(&rx_ring->lro, mbuf, 0) == 0))
 648                                         do_if_input = 0;
 649                 }
 650                 if (do_if_input != 0) {
 651                         ena_trace(NULL, ENA_DBG | ENA_RXPTH,
 652                             "calling if_input() with mbuf %p\n", mbuf);
 653                         (*ifp->if_input)(ifp, mbuf);
 654                 }
 655
 656                 counter_enter();
 657                 counter_u64_add_protected(rx_ring->rx_stats.cnt, 1);
 658                 counter_u64_add_protected(adapter->hw_stats.rx_packets, 1);
 659                 counter_exit();
 660         } while (--budget);
 661
 662         rx_ring->next_to_clean = next_to_clean;
 663
 664         refill_required = ena_com_free_q_entries(io_sq);
 665         refill_threshold = min_t(int,
 666             rx_ring->ring_size / ENA_RX_REFILL_THRESH_DIVIDER,
 667             ENA_RX_REFILL_THRESH_PACKET);
 668
 669         if (refill_required > refill_threshold) {
 670                 ena_com_update_dev_comp_head(rx_ring->ena_com_io_cq);
 671                 ena_refill_rx_bufs(rx_ring, refill_required);
 672         }
 673
 674         tcp_lro_flush_all(&rx_ring->lro);
 675
 676         return (RX_BUDGET - budget);
 677 }
 678
 679 static void
 680 ena_tx_csum(struct ena_com_tx_ctx *ena_tx_ctx, struct mbuf *mbuf,
 681     bool disable_meta_caching)
 682 {
 683         struct ena_com_tx_meta *ena_meta;
 684         struct ether_vlan_header *eh;
 685         struct mbuf *mbuf_next;
 686         u32 mss;
 687         bool offload;
 688         uint16_t etype;
 689         int ehdrlen;
 690         struct ip *ip;
 691         int iphlen;
 692         struct tcphdr *th;
 693         int offset;
 694
 695         offload = false;
 696         ena_meta = &ena_tx_ctx->ena_meta;
 697         mss = mbuf->m_pkthdr.tso_segsz;
 698
 699         if (mss != 0)
 700                 offload = true;
 701
 702         if ((mbuf->m_pkthdr.csum_flags & CSUM_TSO) != 0)
 703                 offload = true;
 704
 705         if ((mbuf->m_pkthdr.csum_flags & CSUM_OFFLOAD) != 0)
 706                 offload = true;
 707
 708         if (!offload) {
 709                 if (disable_meta_caching) {
 710                         memset(ena_meta, 0, sizeof(*ena_meta));
 711                         ena_tx_ctx->meta_valid = 1;
 712                 } else {
 713                         ena_tx_ctx->meta_valid = 0;
 714                 }
 715                 return;
 716         }
 717
 718         /* Determine where frame payload starts. */
 719         eh = mtod(mbuf, struct ether_vlan_header *);
 720         if (eh->evl_encap_proto == htons(ETHERTYPE_VLAN)) {
 721                 etype = ntohs(eh->evl_proto);
 722                 ehdrlen = ETHER_HDR_LEN + ETHER_VLAN_ENCAP_LEN;
 723         } else {
 724                 etype = ntohs(eh->evl_encap_proto);
 725                 ehdrlen = ETHER_HDR_LEN;
 726         }
 727
 728         mbuf_next = m_getptr(mbuf, ehdrlen, &offset);
 729         ip = (struct ip *)(mtodo(mbuf_next, offset));
 730         iphlen = ip->ip_hl << 2;
 731
 732         mbuf_next = m_getptr(mbuf, iphlen + ehdrlen, &offset);
 733         th = (struct tcphdr *)(mtodo(mbuf_next, offset));
 734
 735         if ((mbuf->m_pkthdr.csum_flags & CSUM_IP) != 0) {
 736                 ena_tx_ctx->l3_csum_enable = 1;
 737         }
 738         if ((mbuf->m_pkthdr.csum_flags & CSUM_TSO) != 0) {
 739                 ena_tx_ctx->tso_enable = 1;
 740                 ena_meta->l4_hdr_len = (th->th_off);
 741         }
 742
 743         switch (etype) {
 744         case ETHERTYPE_IP:
 745                 ena_tx_ctx->l3_proto = ENA_ETH_IO_L3_PROTO_IPV4;
 746                 if ((ip->ip_off & htons(IP_DF)) != 0)
 747                         ena_tx_ctx->df = 1;
 748                 break;
 749         case ETHERTYPE_IPV6:
 750                 ena_tx_ctx->l3_proto = ENA_ETH_IO_L3_PROTO_IPV6;
 751
 752         default:
 753                 break;
 754         }
 755
 756         if (ip->ip_p == IPPROTO_TCP) {
 757                 ena_tx_ctx->l4_proto = ENA_ETH_IO_L4_PROTO_TCP;
 758                 if ((mbuf->m_pkthdr.csum_flags &
 759                     (CSUM_IP_TCP | CSUM_IP6_TCP)) != 0)
 760                         ena_tx_ctx->l4_csum_enable = 1;
 761                 else
 762                         ena_tx_ctx->l4_csum_enable = 0;
 763         } else if (ip->ip_p == IPPROTO_UDP) {
 764                 ena_tx_ctx->l4_proto = ENA_ETH_IO_L4_PROTO_UDP;
 765                 if ((mbuf->m_pkthdr.csum_flags &
 766                     (CSUM_IP_UDP | CSUM_IP6_UDP)) != 0)
 767                         ena_tx_ctx->l4_csum_enable = 1;
 768                 else
 769                         ena_tx_ctx->l4_csum_enable = 0;
 770         } else {
 771                 ena_tx_ctx->l4_proto = ENA_ETH_IO_L4_PROTO_UNKNOWN;
 772                 ena_tx_ctx->l4_csum_enable = 0;
 773         }
 774
 775         ena_meta->mss = mss;
 776         ena_meta->l3_hdr_len = iphlen;
 777         ena_meta->l3_hdr_offset = ehdrlen;
 778         ena_tx_ctx->meta_valid = 1;
 779 }
 780
 781 static int
 782 ena_check_and_collapse_mbuf(struct ena_ring *tx_ring, struct mbuf **mbuf)
 783 {
 784         struct ena_adapter *adapter;
 785         struct mbuf *collapsed_mbuf;
 786         int num_frags;
 787
 788         adapter = tx_ring->adapter;
 789         num_frags = ena_mbuf_count(*mbuf);
 790
 791         /* One segment must be reserved for configuration descriptor. */
 792         if (num_frags < adapter->max_tx_sgl_size)
 793                 return (0);
 794         counter_u64_add(tx_ring->tx_stats.collapse, 1);
 795
 796         collapsed_mbuf = m_collapse(*mbuf, M_NOWAIT,
 797             adapter->max_tx_sgl_size - 1);
 798         if (unlikely(collapsed_mbuf == NULL)) {
 799                 counter_u64_add(tx_ring->tx_stats.collapse_err, 1);
 800                 return (ENOMEM);
 801         }
 802
 803         /* If mbuf was collapsed succesfully, original mbuf is released. */
 804         *mbuf = collapsed_mbuf;
 805
 806         return (0);
 807 }
 808
 809 static int
 810 ena_tx_map_mbuf(struct ena_ring *tx_ring, struct ena_tx_buffer *tx_info,
 811     struct mbuf *mbuf, void **push_hdr, u16 *header_len)
 812 {
 813         struct ena_adapter *adapter = tx_ring->adapter;
 814         struct ena_com_buf *ena_buf;
 815         bus_dma_segment_t segs[ENA_BUS_DMA_SEGS];
 816         size_t iseg = 0;
 817         uint32_t mbuf_head_len;
 818         uint16_t offset;
 819         int rc, nsegs;
 820
 821         mbuf_head_len = mbuf->m_len;
 822         tx_info->mbuf = mbuf;
 823         ena_buf = tx_info->bufs;
 824
 825         /*
 826          * For easier maintaining of the DMA map, map the whole mbuf even if
 827          * the LLQ is used. The descriptors will be filled using the segments.
 828          */
 829         rc = bus_dmamap_load_mbuf_sg(adapter->tx_buf_tag, tx_info->dmamap, mbuf,
 830             segs, &nsegs, BUS_DMA_NOWAIT);
 831         if (unlikely((rc != 0) || (nsegs == 0))) {
 832                 ena_trace(NULL, ENA_WARNING,
 833                     "dmamap load failed! err: %d nsegs: %d\n", rc, nsegs);
 834                 goto dma_error;
 835         }
 836
 837         if (tx_ring->tx_mem_queue_type == ENA_ADMIN_PLACEMENT_POLICY_DEV) {
 838                 /*
 839                  * When the device is LLQ mode, the driver will copy
 840                  * the header into the device memory space.
 841                  * the ena_com layer assumes the header is in a linear
 842                  * memory space.
 843                  * This assumption might be wrong since part of the header
 844                  * can be in the fragmented buffers.
 845                  * First check if header fits in the mbuf. If not, copy it to
 846                  * separate buffer that will be holding linearized data.
 847                  */
 848                 *header_len = min_t(uint32_t, mbuf->m_pkthdr.len, tx_ring->tx_max_header_size);
 849
 850                 /* If header is in linear space, just point into mbuf's data. */
 851                 if (likely(*header_len <= mbuf_head_len)) {
 852                         *push_hdr = mbuf->m_data;
 853                 /*
 854                  * Otherwise, copy whole portion of header from multiple mbufs
 855                  * to intermediate buffer.
 856                  */
 857                 } else {
 858                         m_copydata(mbuf, 0, *header_len, tx_ring->push_buf_intermediate_buf);
 859                         *push_hdr = tx_ring->push_buf_intermediate_buf;
 860
 861                         counter_u64_add(tx_ring->tx_stats.llq_buffer_copy, 1);
 862                 }
 863
 864                 ena_trace(NULL, ENA_DBG | ENA_TXPTH,
 865                     "mbuf: %p header_buf->vaddr: %p push_len: %d\n",
 866                     mbuf, *push_hdr, *header_len);
 867
 868                 /* If packet is fitted in LLQ header, no need for DMA segments. */
 869                 if (mbuf->m_pkthdr.len <= tx_ring->tx_max_header_size) {
 870                         return (0);
 871                 } else {
 872                         offset = tx_ring->tx_max_header_size;
 873                         /*
 874                          * As Header part is mapped to LLQ header, we can skip it and just
 875                          * map the residuum of the mbuf to DMA Segments.
 876                          */
 877                         while (offset > 0) {
 878                                 if (offset >= segs[iseg].ds_len) {
 879                                         offset -= segs[iseg].ds_len;
 880                                 } else {
 881                                         ena_buf->paddr = segs[iseg].ds_addr + offset;
 882                                         ena_buf->len = segs[iseg].ds_len - offset;
 883                                         ena_buf++;
 884                                         tx_info->num_of_bufs++;
 885                                         offset = 0;
 886                                 }
 887                                 iseg++;
 888                         }
 889                 }
 890         } else {
 891                 *push_hdr = NULL;
 892                 /*
 893                 * header_len is just a hint for the device. Because FreeBSD is not
 894                 * giving us information about packet header length and it is not
 895                 * guaranteed that all packet headers will be in the 1st mbuf, setting
 896                 * header_len to 0 is making the device ignore this value and resolve
 897                 * header on it's own.
 898                 */
 899                 *header_len = 0;
 900         }
 901
 902         /* Map rest of the mbuf */
 903         while (iseg < nsegs) {
 904                 ena_buf->paddr = segs[iseg].ds_addr;
 905                 ena_buf->len = segs[iseg].ds_len;
 906                 ena_buf++;
 907                 iseg++;
 908                 tx_info->num_of_bufs++;
 909         }
 910
 911         return (0);
 912
 913 dma_error:
 914         counter_u64_add(tx_ring->tx_stats.dma_mapping_err, 1);
 915         tx_info->mbuf = NULL;
 916         return (rc);
 917 }
 918
 919 static int
 920 ena_xmit_mbuf(struct ena_ring *tx_ring, struct mbuf **mbuf)
 921 {
 922         struct ena_adapter *adapter;
 923         struct ena_tx_buffer *tx_info;
 924         struct ena_com_tx_ctx ena_tx_ctx;
 925         struct ena_com_dev *ena_dev;
 926         struct ena_com_io_sq* io_sq;
 927         void *push_hdr;
 928         uint16_t next_to_use;
 929         uint16_t req_id;
 930         uint16_t ena_qid;
 931         uint16_t header_len;
 932         int rc;
 933         int nb_hw_desc;
 934
 935         ena_qid = ENA_IO_TXQ_IDX(tx_ring->que->id);
 936         adapter = tx_ring->que->adapter;
 937         ena_dev = adapter->ena_dev;
 938         io_sq = &ena_dev->io_sq_queues[ena_qid];
 939
 940         rc = ena_check_and_collapse_mbuf(tx_ring, mbuf);
 941         if (unlikely(rc != 0)) {
 942                 ena_trace(NULL, ENA_WARNING,
 943                     "Failed to collapse mbuf! err: %d\n", rc);
 944                 return (rc);
 945         }
 946
 947         ena_trace(NULL, ENA_DBG | ENA_TXPTH, "Tx: %d bytes\n", (*mbuf)->m_pkthdr.len);
 948
 949         next_to_use = tx_ring->next_to_use;
 950         req_id = tx_ring->free_tx_ids[next_to_use];
 951         tx_info = &tx_ring->tx_buffer_info[req_id];
 952         tx_info->num_of_bufs = 0;
 953
 954         rc = ena_tx_map_mbuf(tx_ring, tx_info, *mbuf, &push_hdr, &header_len);
 955         if (unlikely(rc != 0)) {
 956                 ena_trace(NULL, ENA_WARNING, "Failed to map TX mbuf\n");
 957                 return (rc);
 958         }
 959         memset(&ena_tx_ctx, 0x0, sizeof(struct ena_com_tx_ctx));
 960         ena_tx_ctx.ena_bufs = tx_info->bufs;
 961         ena_tx_ctx.push_header = push_hdr;
 962         ena_tx_ctx.num_bufs = tx_info->num_of_bufs;
 963         ena_tx_ctx.req_id = req_id;
 964         ena_tx_ctx.header_len = header_len;
 965
 966         /* Set flags and meta data */
 967         ena_tx_csum(&ena_tx_ctx, *mbuf, adapter->disable_meta_caching);
 968
 969         if (tx_ring->acum_pkts == DB_THRESHOLD ||
 970             ena_com_is_doorbell_needed(tx_ring->ena_com_io_sq, &ena_tx_ctx)) {
 971                 ena_trace(NULL, ENA_DBG | ENA_TXPTH,
 972                     "llq tx max burst size of queue %d achieved, writing doorbell to send burst\n",
 973                     tx_ring->que->id);
 974                 ena_com_write_sq_doorbell(tx_ring->ena_com_io_sq);
 975                 counter_u64_add(tx_ring->tx_stats.doorbells, 1);
 976                 tx_ring->acum_pkts = 0;
 977         }
 978
 979         /* Prepare the packet's descriptors and send them to device */
 980         rc = ena_com_prepare_tx(io_sq, &ena_tx_ctx, &nb_hw_desc);
 981         if (unlikely(rc != 0)) {
 982                 if (likely(rc == ENA_COM_NO_MEM)) {
 983                         ena_trace(NULL, ENA_DBG | ENA_TXPTH,
 984                             "tx ring[%d] if out of space\n", tx_ring->que->id);
 985                 } else {
 986                         device_printf(adapter->pdev,
 987                             "failed to prepare tx bufs\n");
 988                 }
 989                 counter_u64_add(tx_ring->tx_stats.prepare_ctx_err, 1);
 990                 goto dma_error;
 991         }
 992
 993         counter_enter();
 994         counter_u64_add_protected(tx_ring->tx_stats.cnt, 1);
 995         counter_u64_add_protected(tx_ring->tx_stats.bytes,
 996             (*mbuf)->m_pkthdr.len);
 997
 998         counter_u64_add_protected(adapter->hw_stats.tx_packets, 1);
 999         counter_u64_add_protected(adapter->hw_stats.tx_bytes,
1000             (*mbuf)->m_pkthdr.len);
1001         counter_exit();
1002
1003         tx_info->tx_descs = nb_hw_desc;
1004         getbinuptime(&tx_info->timestamp);
1005         tx_info->print_once = true;
1006
1007         tx_ring->next_to_use = ENA_TX_RING_IDX_NEXT(next_to_use,
1008             tx_ring->ring_size);
1009
1010         /* stop the queue when no more space available, the packet can have up
1011          * to sgl_size + 2. one for the meta descriptor and one for header
1012          * (if the header is larger than tx_max_header_size).
1013          */
1014         if (unlikely(!ena_com_sq_have_enough_space(tx_ring->ena_com_io_sq,
1015             adapter->max_tx_sgl_size + 2))) {
1016                 ena_trace(NULL, ENA_DBG | ENA_TXPTH, "Stop queue %d\n",
1017                     tx_ring->que->id);
1018
1019                 tx_ring->running = false;
1020                 counter_u64_add(tx_ring->tx_stats.queue_stop, 1);
1021
1022                 /* There is a rare condition where this function decides to
1023                  * stop the queue but meanwhile tx_cleanup() updates
1024                  * next_to_completion and terminates.
1025                  * The queue will remain stopped forever.
1026                  * To solve this issue this function performs mb(), checks
1027                  * the wakeup condition and wakes up the queue if needed.
1028                  */
1029                 mb();
1030
1031                 if (ena_com_sq_have_enough_space(tx_ring->ena_com_io_sq,
1032                     ENA_TX_RESUME_THRESH)) {
1033                         tx_ring->running = true;
1034                         counter_u64_add(tx_ring->tx_stats.queue_wakeup, 1);
1035                 }
1036         }
1037
1038         bus_dmamap_sync(adapter->tx_buf_tag, tx_info->dmamap,
1039             BUS_DMASYNC_PREWRITE);
1040
1041         return (0);
1042
1043 dma_error:
1044         tx_info->mbuf = NULL;
1045         bus_dmamap_unload(adapter->tx_buf_tag, tx_info->dmamap);
1046
1047         return (rc);
1048 }
1049
1050 static void
1051 ena_start_xmit(struct ena_ring *tx_ring)
1052 {
1053         struct mbuf *mbuf;
1054         struct ena_adapter *adapter = tx_ring->adapter;
1055         struct ena_com_io_sq* io_sq;
1056         int ena_qid;
1057         int ret = 0;
1058
1059         if (unlikely((if_getdrvflags(adapter->ifp) & IFF_DRV_RUNNING) == 0))
1060                 return;
1061
1062         if (unlikely(!ENA_FLAG_ISSET(ENA_FLAG_LINK_UP, adapter)))
1063                 return;
1064
1065         ena_qid = ENA_IO_TXQ_IDX(tx_ring->que->id);
1066         io_sq = &adapter->ena_dev->io_sq_queues[ena_qid];
1067
1068         while ((mbuf = drbr_peek(adapter->ifp, tx_ring->br)) != NULL) {
1069                 ena_trace(NULL, ENA_DBG | ENA_TXPTH, "\ndequeued mbuf %p with flags %#x and"
1070                     " header csum flags %#jx\n",
1071                     mbuf, mbuf->m_flags, (uint64_t)mbuf->m_pkthdr.csum_flags);
1072
1073                 if (unlikely(!tx_ring->running)) {
1074                         drbr_putback(adapter->ifp, tx_ring->br, mbuf);
1075                         break;
1076                 }
1077
1078                 if (unlikely((ret = ena_xmit_mbuf(tx_ring, &mbuf)) != 0)) {
1079                         if (ret == ENA_COM_NO_MEM) {
1080                                 drbr_putback(adapter->ifp, tx_ring->br, mbuf);
1081                         } else if (ret == ENA_COM_NO_SPACE) {
1082                                 drbr_putback(adapter->ifp, tx_ring->br, mbuf);
1083                         } else {
1084                                 m_freem(mbuf);
1085                                 drbr_advance(adapter->ifp, tx_ring->br);
1086                         }
1087
1088                         break;
1089                 }
1090
1091                 drbr_advance(adapter->ifp, tx_ring->br);
1092
1093                 if (unlikely((if_getdrvflags(adapter->ifp) &
1094                     IFF_DRV_RUNNING) == 0))
1095                         return;
1096
1097                 tx_ring->acum_pkts++;
1098
1099                 BPF_MTAP(adapter->ifp, mbuf);
1100         }
1101
1102         if (likely(tx_ring->acum_pkts != 0)) {
1103                 /* Trigger the dma engine */
1104                 ena_com_write_sq_doorbell(io_sq);
1105                 counter_u64_add(tx_ring->tx_stats.doorbells, 1);
1106                 tx_ring->acum_pkts = 0;
1107         }
1108
1109         if (unlikely(!tx_ring->running))
1110                 taskqueue_enqueue(tx_ring->que->cleanup_tq,
1111                     &tx_ring->que->cleanup_task);
1112 }