sys/dev/ena/ena_sysctl.c

   1 /*-
   2  * BSD LICENSE
   3  *
   4  * Copyright (c) 2015-2019 Amazon.com, Inc. or its affiliates.
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  *
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  22  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  23  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  24  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  25  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  26  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  27  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  28  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  29  */
  30 #include <sys/cdefs.h>
  31 __FBSDID("$FreeBSD$");
  32
  33 #include "ena_sysctl.h"
  34
  35 static void     ena_sysctl_add_wd(struct ena_adapter *);
  36 static void     ena_sysctl_add_stats(struct ena_adapter *);
  37 static void     ena_sysctl_add_tuneables(struct ena_adapter *);
  38 static int      ena_sysctl_buf_ring_size(SYSCTL_HANDLER_ARGS);
  39 static int      ena_sysctl_rx_queue_size(SYSCTL_HANDLER_ARGS);
  40
  41 static SYSCTL_NODE(_hw, OID_AUTO, ena, CTLFLAG_RD | CTLFLAG_MPSAFE, 0,
  42     "ENA driver parameters");
  43
  44 /*
  45  * Logging level for changing verbosity of the output
  46  */
  47 int ena_log_level = ENA_ALERT | ENA_WARNING;
  48 SYSCTL_INT(_hw_ena, OID_AUTO, log_level, CTLFLAG_RWTUN,
  49     &ena_log_level, 0, "Logging level indicating verbosity of the logs");
  50
  51 /*
  52  * Use 9k mbufs for the Rx buffers. Default to 0 (use page size mbufs instead).
  53  * Using 9k mbufs in low memory conditions might cause allocation to take a lot
  54  * of time and lead to the OS instability as it needs to look for the contiguous
  55  * pages.
  56  * However, page size mbufs has a bit smaller throughput than 9k mbufs, so if
  57  * the network performance is the priority, the 9k mbufs can be used.
  58  */
  59 int ena_enable_9k_mbufs = 0;
  60 SYSCTL_INT(_hw_ena, OID_AUTO, enable_9k_mbufs, CTLFLAG_RDTUN,
  61     &ena_enable_9k_mbufs, 0, "Use 9 kB mbufs for Rx descriptors");
  62
  63 void
  64 ena_sysctl_add_nodes(struct ena_adapter *adapter)
  65 {
  66         ena_sysctl_add_wd(adapter);
  67         ena_sysctl_add_stats(adapter);
  68         ena_sysctl_add_tuneables(adapter);
  69 }
  70
  71 static void
  72 ena_sysctl_add_wd(struct ena_adapter *adapter)
  73 {
  74         device_t dev;
  75
  76         struct sysctl_ctx_list *ctx;
  77         struct sysctl_oid *tree;
  78         struct sysctl_oid_list *child;
  79
  80         dev = adapter->pdev;
  81
  82         ctx = device_get_sysctl_ctx(dev);
  83         tree = device_get_sysctl_tree(dev);
  84         child = SYSCTL_CHILDREN(tree);
  85
  86         /* Sysctl calls for Watchdog service */
  87         SYSCTL_ADD_INT(ctx, child, OID_AUTO, "wd_active",
  88             CTLFLAG_RWTUN, &adapter->wd_active, 0,
  89             "Watchdog is active");
  90
  91         SYSCTL_ADD_QUAD(ctx, child, OID_AUTO, "keep_alive_timeout",
  92             CTLFLAG_RWTUN, &adapter->keep_alive_timeout,
  93             "Timeout for Keep Alive messages");
  94
  95         SYSCTL_ADD_QUAD(ctx, child, OID_AUTO, "missing_tx_timeout",
  96             CTLFLAG_RWTUN, &adapter->missing_tx_timeout,
  97             "Timeout for TX completion");
  98
  99         SYSCTL_ADD_U32(ctx, child, OID_AUTO, "missing_tx_max_queues",
 100             CTLFLAG_RWTUN, &adapter->missing_tx_max_queues, 0,
 101             "Number of TX queues to check per run");
 102
 103         SYSCTL_ADD_U32(ctx, child, OID_AUTO, "missing_tx_threshold",
 104             CTLFLAG_RWTUN, &adapter->missing_tx_threshold, 0,
 105             "Max number of timeouted packets");
 106 }
 107
 108 static void
 109 ena_sysctl_add_stats(struct ena_adapter *adapter)
 110 {
 111         device_t dev;
 112
 113         struct ena_ring *tx_ring;
 114         struct ena_ring *rx_ring;
 115
 116         struct ena_hw_stats *hw_stats;
 117         struct ena_stats_dev *dev_stats;
 118         struct ena_stats_tx *tx_stats;
 119         struct ena_stats_rx *rx_stats;
 120         struct ena_com_stats_admin *admin_stats;
 121
 122         struct sysctl_ctx_list *ctx;
 123         struct sysctl_oid *tree;
 124         struct sysctl_oid_list *child;
 125
 126         struct sysctl_oid *queue_node, *tx_node, *rx_node, *hw_node;
 127         struct sysctl_oid *admin_node;
 128         struct sysctl_oid_list *queue_list, *tx_list, *rx_list, *hw_list;
 129         struct sysctl_oid_list *admin_list;
 130
 131 #define QUEUE_NAME_LEN 32
 132         char namebuf[QUEUE_NAME_LEN];
 133         int i;
 134
 135         dev = adapter->pdev;
 136
 137         ctx = device_get_sysctl_ctx(dev);
 138         tree = device_get_sysctl_tree(dev);
 139         child = SYSCTL_CHILDREN(tree);
 140
 141         tx_ring = adapter->tx_ring;
 142         rx_ring = adapter->rx_ring;
 143
 144         hw_stats = &adapter->hw_stats;
 145         dev_stats = &adapter->dev_stats;
 146         admin_stats = &adapter->ena_dev->admin_queue.stats;
 147
 148         SYSCTL_ADD_COUNTER_U64(ctx, child, OID_AUTO, "wd_expired",
 149             CTLFLAG_RD, &dev_stats->wd_expired,
 150             "Watchdog expiry count");
 151         SYSCTL_ADD_COUNTER_U64(ctx, child, OID_AUTO, "interface_up",
 152             CTLFLAG_RD, &dev_stats->interface_up,
 153             "Network interface up count");
 154         SYSCTL_ADD_COUNTER_U64(ctx, child, OID_AUTO, "interface_down",
 155             CTLFLAG_RD, &dev_stats->interface_down,
 156             "Network interface down count");
 157         SYSCTL_ADD_COUNTER_U64(ctx, child, OID_AUTO, "admin_q_pause",
 158             CTLFLAG_RD, &dev_stats->admin_q_pause,
 159             "Admin queue pauses");
 160
 161         for (i = 0; i < adapter->num_queues; ++i, ++tx_ring, ++rx_ring) {
 162                 snprintf(namebuf, QUEUE_NAME_LEN, "queue%d", i);
 163
 164                 queue_node = SYSCTL_ADD_NODE(ctx, child, OID_AUTO,
 165                     namebuf, CTLFLAG_RD | CTLFLAG_MPSAFE, NULL, "Queue Name");
 166                 queue_list = SYSCTL_CHILDREN(queue_node);
 167
 168                 /* TX specific stats */
 169                 tx_node = SYSCTL_ADD_NODE(ctx, queue_list, OID_AUTO,
 170                     "tx_ring", CTLFLAG_RD | CTLFLAG_MPSAFE, NULL, "TX ring");
 171                 tx_list = SYSCTL_CHILDREN(tx_node);
 172
 173                 tx_stats = &tx_ring->tx_stats;
 174
 175                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 176                     "count", CTLFLAG_RD,
 177                     &tx_stats->cnt, "Packets sent");
 178                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 179                     "bytes", CTLFLAG_RD,
 180                     &tx_stats->bytes, "Bytes sent");
 181                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 182                     "prepare_ctx_err", CTLFLAG_RD,
 183                     &tx_stats->prepare_ctx_err,
 184                     "TX buffer preparation failures");
 185                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 186                     "dma_mapping_err", CTLFLAG_RD,
 187                     &tx_stats->dma_mapping_err, "DMA mapping failures");
 188                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 189                     "doorbells", CTLFLAG_RD,
 190                     &tx_stats->doorbells, "Queue doorbells");
 191                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 192                     "missing_tx_comp", CTLFLAG_RD,
 193                     &tx_stats->missing_tx_comp, "TX completions missed");
 194                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 195                     "bad_req_id", CTLFLAG_RD,
 196                     &tx_stats->bad_req_id, "Bad request id count");
 197                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 198                         "mbuf_collapses", CTLFLAG_RD,
 199                         &tx_stats->collapse,
 200                         "Mbuf collapse count");
 201                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 202                         "mbuf_collapse_err", CTLFLAG_RD,
 203                         &tx_stats->collapse_err,
 204                         "Mbuf collapse failures");
 205                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 206                     "queue_wakeups", CTLFLAG_RD,
 207                     &tx_stats->queue_wakeup, "Queue wakeups");
 208                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 209                     "queue_stops", CTLFLAG_RD,
 210                     &tx_stats->queue_stop, "Queue stops");
 211                 SYSCTL_ADD_COUNTER_U64(ctx, tx_list, OID_AUTO,
 212                     "llq_buffer_copy", CTLFLAG_RD,
 213                     &tx_stats->llq_buffer_copy,
 214                     "Header copies for llq transaction");
 215
 216                 /* RX specific stats */
 217                 rx_node = SYSCTL_ADD_NODE(ctx, queue_list, OID_AUTO,
 218                     "rx_ring", CTLFLAG_RD | CTLFLAG_MPSAFE, NULL, "RX ring");
 219                 rx_list = SYSCTL_CHILDREN(rx_node);
 220
 221                 rx_stats = &rx_ring->rx_stats;
 222
 223                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 224                     "count", CTLFLAG_RD,
 225                     &rx_stats->cnt, "Packets received");
 226                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 227                     "bytes", CTLFLAG_RD,
 228                     &rx_stats->bytes, "Bytes received");
 229                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 230                     "refil_partial", CTLFLAG_RD,
 231                     &rx_stats->refil_partial, "Partial refilled mbufs");
 232                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 233                     "bad_csum", CTLFLAG_RD,
 234                     &rx_stats->bad_csum, "Bad RX checksum");
 235                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 236                     "mbuf_alloc_fail", CTLFLAG_RD,
 237                     &rx_stats->mbuf_alloc_fail, "Failed mbuf allocs");
 238                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 239                     "mjum_alloc_fail", CTLFLAG_RD,
 240                     &rx_stats->mjum_alloc_fail, "Failed jumbo mbuf allocs");
 241                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 242                     "dma_mapping_err", CTLFLAG_RD,
 243                     &rx_stats->dma_mapping_err, "DMA mapping errors");
 244                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 245                     "bad_desc_num", CTLFLAG_RD,
 246                     &rx_stats->bad_desc_num, "Bad descriptor count");
 247                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 248                     "bad_req_id", CTLFLAG_RD,
 249                     &rx_stats->bad_req_id, "Bad request id count");
 250                 SYSCTL_ADD_COUNTER_U64(ctx, rx_list, OID_AUTO,
 251                     "empty_rx_ring", CTLFLAG_RD,
 252                     &rx_stats->empty_rx_ring, "RX descriptors depletion count");
 253         }
 254
 255         /* Stats read from device */
 256         hw_node = SYSCTL_ADD_NODE(ctx, child, OID_AUTO, "hw_stats",
 257             CTLFLAG_RD | CTLFLAG_MPSAFE, NULL, "Statistics from hardware");
 258         hw_list = SYSCTL_CHILDREN(hw_node);
 259
 260         SYSCTL_ADD_COUNTER_U64(ctx, hw_list, OID_AUTO, "rx_packets", CTLFLAG_RD,
 261             &hw_stats->rx_packets, "Packets received");
 262         SYSCTL_ADD_COUNTER_U64(ctx, hw_list, OID_AUTO, "tx_packets", CTLFLAG_RD,
 263             &hw_stats->tx_packets, "Packets transmitted");
 264         SYSCTL_ADD_COUNTER_U64(ctx, hw_list, OID_AUTO, "rx_bytes", CTLFLAG_RD,
 265             &hw_stats->rx_bytes, "Bytes received");
 266         SYSCTL_ADD_COUNTER_U64(ctx, hw_list, OID_AUTO, "tx_bytes", CTLFLAG_RD,
 267             &hw_stats->tx_bytes, "Bytes transmitted");
 268         SYSCTL_ADD_COUNTER_U64(ctx, hw_list, OID_AUTO, "rx_drops", CTLFLAG_RD,
 269             &hw_stats->rx_drops, "Receive packet drops");
 270
 271         /* ENA Admin queue stats */
 272         admin_node = SYSCTL_ADD_NODE(ctx, child, OID_AUTO, "admin_stats",
 273             CTLFLAG_RD | CTLFLAG_MPSAFE, NULL, "ENA Admin Queue statistics");
 274         admin_list = SYSCTL_CHILDREN(admin_node);
 275
 276         SYSCTL_ADD_U32(ctx, admin_list, OID_AUTO, "aborted_cmd", CTLFLAG_RD,
 277             &admin_stats->aborted_cmd, 0, "Aborted commands");
 278         SYSCTL_ADD_U32(ctx, admin_list, OID_AUTO, "sumbitted_cmd", CTLFLAG_RD,
 279             &admin_stats->submitted_cmd, 0, "Submitted commands");
 280         SYSCTL_ADD_U32(ctx, admin_list, OID_AUTO, "completed_cmd", CTLFLAG_RD,
 281             &admin_stats->completed_cmd, 0, "Completed commands");
 282         SYSCTL_ADD_U32(ctx, admin_list, OID_AUTO, "out_of_space", CTLFLAG_RD,
 283             &admin_stats->out_of_space, 0, "Queue out of space");
 284         SYSCTL_ADD_U32(ctx, admin_list, OID_AUTO, "no_completion", CTLFLAG_RD,
 285             &admin_stats->no_completion, 0, "Commands not completed");
 286 }
 287
 288 static void
 289 ena_sysctl_add_tuneables(struct ena_adapter *adapter)
 290 {
 291         device_t dev;
 292
 293         struct sysctl_ctx_list *ctx;
 294         struct sysctl_oid *tree;
 295         struct sysctl_oid_list *child;
 296
 297         dev = adapter->pdev;
 298
 299         ctx = device_get_sysctl_ctx(dev);
 300         tree = device_get_sysctl_tree(dev);
 301         child = SYSCTL_CHILDREN(tree);
 302
 303         /* Tuneable number of buffers in the buf-ring (drbr) */
 304         SYSCTL_ADD_PROC(ctx, child, OID_AUTO, "buf_ring_size",
 305             CTLTYPE_INT | CTLFLAG_RW | CTLFLAG_NEEDGIANT, adapter, 0,
 306             ena_sysctl_buf_ring_size, "I", "Size of the bufring");
 307
 308         /* Tuneable number of Rx ring size */
 309         SYSCTL_ADD_PROC(ctx, child, OID_AUTO, "rx_queue_size",
 310             CTLTYPE_INT | CTLFLAG_RW | CTLFLAG_NEEDGIANT, adapter, 0,
 311             ena_sysctl_rx_queue_size, "I", "Size of the Rx ring. "
 312             "The size should be a power of 2. Max value is 8K");
 313 }
 314
 315
 316 static int
 317 ena_sysctl_buf_ring_size(SYSCTL_HANDLER_ARGS)
 318 {
 319         struct ena_adapter *adapter = arg1;
 320         int val;
 321         int error;
 322
 323         val = 0;
 324         error = sysctl_wire_old_buffer(req, sizeof(int));
 325         if (error == 0) {
 326                 val = adapter->buf_ring_size;
 327                 error = sysctl_handle_int(oidp, &val, 0, req);
 328         }
 329         if (error != 0 || req->newptr == NULL)
 330                 return (error);
 331         if (val < 0)
 332                 return (EINVAL);
 333
 334         device_printf(adapter->pdev,
 335             "Requested new buf ring size: %d. Old size: %d\n",
 336             val, adapter->buf_ring_size);
 337
 338         if (val != adapter->buf_ring_size) {
 339                 adapter->buf_ring_size = val;
 340                 adapter->reset_reason = ENA_REGS_RESET_OS_TRIGGER;
 341                 ENA_FLAG_SET_ATOMIC(ENA_FLAG_TRIGGER_RESET, adapter);
 342         }
 343
 344         return (0);
 345 }
 346
 347 static int
 348 ena_sysctl_rx_queue_size(SYSCTL_HANDLER_ARGS)
 349 {
 350         struct ena_adapter *adapter = arg1;
 351         int val;
 352         int error;
 353
 354         val = 0;
 355         error = sysctl_wire_old_buffer(req, sizeof(int));
 356         if (error == 0) {
 357                 val = adapter->rx_ring_size;
 358                 error = sysctl_handle_int(oidp, &val, 0, req);
 359         }
 360         if (error != 0 || req->newptr == NULL)
 361                 return (error);
 362         if  (val < 16)
 363                 return (EINVAL);
 364
 365         device_printf(adapter->pdev,
 366             "Requested new rx queue size: %d. Old size: %d\n",
 367             val, adapter->rx_ring_size);
 368
 369         if (val != adapter->rx_ring_size) {
 370                 adapter->rx_ring_size = val;
 371                 adapter->reset_reason = ENA_REGS_RESET_OS_TRIGGER;
 372                 ENA_FLAG_SET_ATOMIC(ENA_FLAG_TRIGGER_RESET, adapter);
 373         }
 374
 375         return (0);
 376 }