sys/net/netisr.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2007-2009 Robert N. M. Watson
   5  * Copyright (c) 2010-2011 Juniper Networks, Inc.
   6  * All rights reserved.
   7  *
   8  * This software was developed by Robert N. M. Watson under contract
   9  * to Juniper Networks, Inc.
  10  *
  11  * Redistribution and use in source and binary forms, with or without
  12  * modification, are permitted provided that the following conditions
  13  * are met:
  14  * 1. Redistributions of source code must retain the above copyright
  15  *    notice, this list of conditions and the following disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  23  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  24  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  30  * SUCH DAMAGE.
  31  *
  32  * $FreeBSD$
  33  */
  34
  35 #ifndef _NET_NETISR_H_
  36 #define _NET_NETISR_H_
  37
  38 /*
  39  * The netisr (network interrupt service routine) provides a deferred
  40  * execution evironment in which (generally inbound) network processing can
  41  * take place.  Protocols register handlers which will be executed directly,
  42  * or via deferred dispatch, depending on the circumstances.
  43  *
  44  * Historically, this was implemented by the BSD software ISR facility; it is
  45  * now implemented via a software ithread (SWI).
  46  */
  47
  48 /*
  49  * Protocol numbers, which are encoded in monitoring applications and kernel
  50  * modules.  Internally, these are used in bit shift operations so must have
  51  * a value 0 < proto < 32; we currently further limit at compile-time to 16
  52  * for array-sizing purposes.
  53  */
  54 #define NETISR_IP       1
  55 #define NETISR_IGMP     2               /* IGMPv3 output queue */
  56 #define NETISR_ROUTE    3               /* routing socket */
  57 #define NETISR_ARP      4               /* same as AF_LINK */
  58 #define NETISR_ETHER    5               /* ethernet input */
  59 #define NETISR_IPV6     6
  60 #define NETISR_EPAIR    8               /* if_epair(4) */
  61 #define NETISR_IP_DIRECT        9       /* direct-dispatch IPv4 */
  62 #define NETISR_IPV6_DIRECT      10      /* direct-dispatch IPv6 */
  63
  64 /*
  65  * Protocol ordering and affinity policy constants.  See the detailed
  66  * discussion of policies later in the file.
  67  */
  68 #define NETISR_POLICY_SOURCE    1       /* Maintain source ordering. */
  69 #define NETISR_POLICY_FLOW      2       /* Maintain flow ordering. */
  70 #define NETISR_POLICY_CPU       3       /* Protocol determines CPU placement. */
  71
  72 /*
  73  * Protocol dispatch policy constants; selects whether and when direct
  74  * dispatch is permitted.
  75  */
  76 #define NETISR_DISPATCH_DEFAULT         0       /* Use global default. */
  77 #define NETISR_DISPATCH_DEFERRED        1       /* Always defer dispatch. */
  78 #define NETISR_DISPATCH_HYBRID          2       /* Allow hybrid dispatch. */
  79 #define NETISR_DISPATCH_DIRECT          3       /* Always direct dispatch. */
  80
  81 /*
  82  * Monitoring data structures, exported by sysctl(2).
  83  *
  84  * Three sysctls are defined.  First, a per-protocol structure exported by
  85  * net.isr.proto.
  86  */
  87 #define NETISR_NAMEMAXLEN       32
  88 struct sysctl_netisr_proto {
  89         u_int   snp_version;                    /* Length of struct. */
  90         char    snp_name[NETISR_NAMEMAXLEN];    /* nh_name */
  91         u_int   snp_proto;                      /* nh_proto */
  92         u_int   snp_qlimit;                     /* nh_qlimit */
  93         u_int   snp_policy;                     /* nh_policy */
  94         u_int   snp_flags;                      /* Various flags. */
  95         u_int   snp_dispatch;                   /* Dispatch policy. */
  96         u_int   _snp_ispare[6];
  97 };
  98
  99 /*
 100  * Flags for sysctl_netisr_proto.snp_flags.
 101  */
 102 #define NETISR_SNP_FLAGS_M2FLOW         0x00000001      /* nh_m2flow */
 103 #define NETISR_SNP_FLAGS_M2CPUID        0x00000002      /* nh_m2cpuid */
 104 #define NETISR_SNP_FLAGS_DRAINEDCPU     0x00000004      /* nh_drainedcpu */
 105
 106 /*
 107  * Next, a structure per-workstream, with per-protocol data, exported as
 108  * net.isr.workstream.
 109  */
 110 struct sysctl_netisr_workstream {
 111         u_int   snws_version;                   /* Length of struct. */
 112         u_int   snws_flags;                     /* Various flags. */
 113         u_int   snws_wsid;                      /* Workstream ID. */
 114         u_int   snws_cpu;                       /* nws_cpu */
 115         u_int   _snws_ispare[12];
 116 };
 117
 118 /*
 119  * Flags for sysctl_netisr_workstream.snws_flags
 120  */
 121 #define NETISR_SNWS_FLAGS_INTR          0x00000001      /* nws_intr_event */
 122
 123 /*
 124  * Finally, a per-workstream-per-protocol structure, exported as
 125  * net.isr.work.
 126  */
 127 struct sysctl_netisr_work {
 128         u_int   snw_version;                    /* Length of struct. */
 129         u_int   snw_wsid;                       /* Workstream ID. */
 130         u_int   snw_proto;                      /* Protocol number. */
 131         u_int   snw_len;                        /* nw_len */
 132         u_int   snw_watermark;                  /* nw_watermark */
 133         u_int   _snw_ispare[3];
 134
 135         uint64_t        snw_dispatched;         /* nw_dispatched */
 136         uint64_t        snw_hybrid_dispatched;  /* nw_hybrid_dispatched */
 137         uint64_t        snw_qdrops;             /* nw_qdrops */
 138         uint64_t        snw_queued;             /* nw_queued */
 139         uint64_t        snw_handled;            /* nw_handled */
 140
 141         uint64_t        _snw_llspare[7];
 142 };
 143
 144 #ifdef _KERNEL
 145
 146 /*-
 147  * Protocols express ordering constraints and affinity preferences by
 148  * implementing one or neither of nh_m2flow and nh_m2cpuid, which are used by
 149  * netisr to determine which per-CPU workstream to assign mbufs to.
 150  *
 151  * The following policies may be used by protocols:
 152  *
 153  * NETISR_POLICY_SOURCE - netisr should maintain source ordering without
 154  *                        advice from the protocol.  netisr will ignore any
 155  *                        flow IDs present on the mbuf for the purposes of
 156  *                        work placement.
 157  *
 158  * NETISR_POLICY_FLOW - netisr should maintain flow ordering as defined by
 159  *                      the mbuf header flow ID field.  If the protocol
 160  *                      implements nh_m2flow, then netisr will query the
 161  *                      protocol in the event that the mbuf doesn't have a
 162  *                      flow ID, falling back on source ordering.
 163  *
 164  * NETISR_POLICY_CPU - netisr will delegate all work placement decisions to
 165  *                     the protocol, querying nh_m2cpuid for each packet.
 166  *
 167  * Protocols might make decisions about work placement based on an existing
 168  * calculated flow ID on the mbuf, such as one provided in hardware, the
 169  * receive interface pointed to by the mbuf (if any), the optional source
 170  * identifier passed at some dispatch points, or even parse packet headers to
 171  * calculate a flow.  Both protocol handlers may return a new mbuf pointer
 172  * for the chain, or NULL if the packet proves invalid or m_pullup() fails.
 173  *
 174  * XXXRW: If we eventually support dynamic reconfiguration, there should be
 175  * protocol handlers to notify them of CPU configuration changes so that they
 176  * can rebalance work.
 177  */
 178 struct mbuf;
 179 typedef void             netisr_handler_t(struct mbuf *m);
 180 typedef struct mbuf     *netisr_m2cpuid_t(struct mbuf *m, uintptr_t source,
 181                          u_int *cpuid);
 182 typedef struct mbuf     *netisr_m2flow_t(struct mbuf *m, uintptr_t source);
 183 typedef void             netisr_drainedcpu_t(u_int cpuid);
 184
 185 #define NETISR_CPUID_NONE       ((u_int)-1)     /* No affinity returned. */
 186
 187 /*
 188  * Data structure describing a protocol handler.
 189  */
 190 struct netisr_handler {
 191         const char      *nh_name;       /* Character string protocol name. */
 192         netisr_handler_t *nh_handler;   /* Protocol handler. */
 193         netisr_m2flow_t *nh_m2flow;     /* Query flow for untagged packet. */
 194         netisr_m2cpuid_t *nh_m2cpuid;   /* Query CPU to process mbuf on. */
 195         netisr_drainedcpu_t *nh_drainedcpu; /* Callback when drained a queue. */
 196         u_int            nh_proto;      /* Integer protocol ID. */
 197         u_int            nh_qlimit;     /* Maximum per-CPU queue depth. */
 198         u_int            nh_policy;     /* Work placement policy. */
 199         u_int            nh_dispatch;   /* Dispatch policy. */
 200         u_int            nh_ispare[4];  /* For future use. */
 201         void            *nh_pspare[4];  /* For future use. */
 202 };
 203
 204 /*
 205  * Register, unregister, and other netisr handler management functions.
 206  */
 207 void    netisr_clearqdrops(const struct netisr_handler *nhp);
 208 void    netisr_getqdrops(const struct netisr_handler *nhp,
 209             u_int64_t *qdropsp);
 210 void    netisr_getqlimit(const struct netisr_handler *nhp, u_int *qlimitp);
 211 void    netisr_register(const struct netisr_handler *nhp);
 212 int     netisr_setqlimit(const struct netisr_handler *nhp, u_int qlimit);
 213 void    netisr_unregister(const struct netisr_handler *nhp);
 214 #ifdef VIMAGE
 215 void    netisr_register_vnet(const struct netisr_handler *nhp);
 216 void    netisr_unregister_vnet(const struct netisr_handler *nhp);
 217 #endif
 218
 219 /*
 220  * Process a packet destined for a protocol, and attempt direct dispatch.
 221  * Supplemental source ordering information can be passed using the _src
 222  * variant.
 223  */
 224 int     netisr_dispatch(u_int proto, struct mbuf *m);
 225 int     netisr_dispatch_src(u_int proto, uintptr_t source, struct mbuf *m);
 226 int     netisr_queue(u_int proto, struct mbuf *m);
 227 int     netisr_queue_src(u_int proto, uintptr_t source, struct mbuf *m);
 228
 229 /*
 230  * Provide a default implementation of "map an ID to a CPU ID".
 231  */
 232 u_int   netisr_default_flow2cpu(u_int flowid);
 233
 234 /*
 235  * Utility routines to return the number of CPUs participting in netisr, and
 236  * to return a mapping from a number to a CPU ID that can be used with the
 237  * scheduler.
 238  */
 239 u_int   netisr_get_cpucount(void);
 240 u_int   netisr_get_cpuid(u_int cpunumber);
 241
 242 /*
 243  * Interfaces between DEVICE_POLLING and netisr.
 244  */
 245 void    netisr_sched_poll(void);
 246 void    netisr_poll(void);
 247 void    netisr_pollmore(void);
 248
 249 #endif /* !_KERNEL */
 250 #endif /* !_NET_NETISR_H_ */