sys/net/route/route_var.h

   1 /*-
   2  * Copyright (c) 2015-2016
   3  *      Alexander V. Chernikov <melifaro@FreeBSD.org>
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  * 3. Neither the name of the University nor the names of its contributors
  14  *    may be used to endorse or promote products derived from this software
  15  *    without specific prior written permission.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  *
  29  * $FreeBSD$
  30  */
  31
  32 #ifndef _NET_ROUTE_VAR_H_
  33 #define _NET_ROUTE_VAR_H_
  34
  35 #ifndef RNF_NORMAL
  36 #include <net/radix.h>
  37 #endif
  38 #include <sys/epoch.h>
  39 #include <netinet/in.h>         /* struct sockaddr_in */
  40 #include <sys/counter.h>
  41
  42 struct nh_control;
  43 typedef int rnh_preadd_entry_f_t(u_int fibnum, const struct sockaddr *addr,
  44         const struct sockaddr *mask, struct nhop_object *nh);
  45
  46 struct rib_head {
  47         struct radix_head       head;
  48         rn_matchaddr_f_t        *rnh_matchaddr; /* longest match for sockaddr */
  49         rn_addaddr_f_t          *rnh_addaddr;   /* add based on sockaddr*/
  50         rn_deladdr_f_t          *rnh_deladdr;   /* remove based on sockaddr */
  51         rn_lookup_f_t           *rnh_lookup;    /* exact match for sockaddr */
  52         rn_walktree_t           *rnh_walktree;  /* traverse tree */
  53         rn_walktree_from_t      *rnh_walktree_from; /* traverse tree below a */
  54         rnh_preadd_entry_f_t    *rnh_preadd;    /* hook to alter record prior to insertion */
  55         rt_gen_t                rnh_gen;        /* generation counter */
  56         int                     rnh_multipath;  /* multipath capable ? */
  57         struct radix_node       rnh_nodes[3];   /* empty tree for common case */
  58         struct rmlock           rib_lock;       /* config/data path lock */
  59         struct radix_mask_head  rmhead;         /* masks radix head */
  60         struct vnet             *rib_vnet;      /* vnet pointer */
  61         int                     rib_family;     /* AF of the rtable */
  62         u_int                   rib_fibnum;     /* fib number */
  63         struct callout          expire_callout; /* Callout for expiring dynamic routes */
  64         time_t                  next_expire;    /* Next expire run ts */
  65         struct nh_control       *nh_control;    /* nexthop subsystem data */
  66 };
  67
  68 #define RIB_RLOCK_TRACKER       struct rm_priotracker _rib_tracker
  69 #define RIB_LOCK_INIT(rh)       rm_init(&(rh)->rib_lock, "rib head lock")
  70 #define RIB_LOCK_DESTROY(rh)    rm_destroy(&(rh)->rib_lock)
  71 #define RIB_RLOCK(rh)           rm_rlock(&(rh)->rib_lock, &_rib_tracker)
  72 #define RIB_RUNLOCK(rh)         rm_runlock(&(rh)->rib_lock, &_rib_tracker)
  73 #define RIB_WLOCK(rh)           rm_wlock(&(rh)->rib_lock)
  74 #define RIB_WUNLOCK(rh)         rm_wunlock(&(rh)->rib_lock)
  75 #define RIB_LOCK_ASSERT(rh)     rm_assert(&(rh)->rib_lock, RA_LOCKED)
  76 #define RIB_WLOCK_ASSERT(rh)    rm_assert(&(rh)->rib_lock, RA_WLOCKED)
  77
  78 /* Constants */
  79 #define RIB_MAX_RETRIES 3
  80
  81 /* Macro for verifying fields in af-specific 'struct route' structures */
  82 #define CHK_STRUCT_FIELD_GENERIC(_s1, _f1, _s2, _f2)                    \
  83 _Static_assert(sizeof(((_s1 *)0)->_f1) == sizeof(((_s2 *)0)->_f2),      \
  84                 "Fields " #_f1 " and " #_f2 " size differs");           \
  85 _Static_assert(__offsetof(_s1, _f1) == __offsetof(_s2, _f2),            \
  86                 "Fields " #_f1 " and " #_f2 " offset differs");
  87
  88 #define _CHK_ROUTE_FIELD(_route_new, _field) \
  89         CHK_STRUCT_FIELD_GENERIC(struct route, _field, _route_new, _field)
  90
  91 #define CHK_STRUCT_ROUTE_FIELDS(_route_new)     \
  92         _CHK_ROUTE_FIELD(_route_new, ro_nh)     \
  93         _CHK_ROUTE_FIELD(_route_new, ro_lle)    \
  94         _CHK_ROUTE_FIELD(_route_new, ro_prepend)\
  95         _CHK_ROUTE_FIELD(_route_new, ro_plen)   \
  96         _CHK_ROUTE_FIELD(_route_new, ro_flags)  \
  97         _CHK_ROUTE_FIELD(_route_new, ro_mtu)    \
  98         _CHK_ROUTE_FIELD(_route_new, spare)
  99
 100 #define CHK_STRUCT_ROUTE_COMPAT(_ro_new, _dst_new)                              \
 101 CHK_STRUCT_ROUTE_FIELDS(_ro_new);                                               \
 102 _Static_assert(__offsetof(struct route, ro_dst) == __offsetof(_ro_new, _dst_new),\
 103                 "ro_dst and " #_dst_new " are at different offset")
 104
 105 struct rib_head *rt_tables_get_rnh(int fib, int family);
 106 void rt_mpath_init_rnh(struct rib_head *rnh);
 107
 108 VNET_PCPUSTAT_DECLARE(struct rtstat, rtstat);
 109 #define RTSTAT_ADD(name, val)   \
 110         VNET_PCPUSTAT_ADD(struct rtstat, rtstat, name, (val))
 111 #define RTSTAT_INC(name)        RTSTAT_ADD(name, 1)
 112
 113 struct rtentry {
 114         struct  radix_node rt_nodes[2]; /* tree glue, and other values */
 115         /*
 116          * XXX struct rtentry must begin with a struct radix_node (or two!)
 117          * because the code does some casts of a 'struct radix_node *'
 118          * to a 'struct rtentry *'
 119          */
 120 #define rt_key(r)       (*((struct sockaddr **)(&(r)->rt_nodes->rn_key)))
 121 #define rt_mask(r)      (*((struct sockaddr **)(&(r)->rt_nodes->rn_mask)))
 122 #define rt_key_const(r)         (*((const struct sockaddr * const *)(&(r)->rt_nodes->rn_key)))
 123 #define rt_mask_const(r)        (*((const struct sockaddr * const *)(&(r)->rt_nodes->rn_mask)))
 124
 125         /*
 126          * 2 radix_node structurs above consists of 2x6 pointers, leaving
 127          * 4 pointers (32 bytes) of the second cache line on amd64.
 128          *
 129          */
 130         struct nhop_object      *rt_nhop;       /* nexthop data */
 131         union {
 132                 /*
 133                  * Destination address storage.
 134                  * sizeof(struct sockaddr_in6) == 28, however
 135                  * the dataplane-relevant part (e.g. address) lies
 136                  * at offset 8..24, making the address not crossing
 137                  * cacheline boundary.
 138                  */
 139                 struct sockaddr_in      rt_dst4;
 140                 struct sockaddr_in6     rt_dst6;
 141                 struct sockaddr         rt_dst;
 142                 char                    rt_dstb[28];
 143         };
 144
 145         int             rt_flags;       /* up/down?, host/net */
 146         int             rt_refcnt;      /* # held references */
 147         u_long          rt_weight;      /* absolute weight */
 148         u_long          rt_expire;      /* lifetime for route, e.g. redirect */
 149 #define rt_endzero      rt_mtx
 150         struct mtx      rt_mtx;         /* mutex for routing entry */
 151         struct rtentry  *rt_chain;      /* pointer to next rtentry to delete */
 152         struct epoch_context    rt_epoch_ctx;   /* net epoch tracker */
 153 };
 154
 155 #define RT_LOCK_INIT(_rt) \
 156         mtx_init(&(_rt)->rt_mtx, "rtentry", NULL, MTX_DEF | MTX_DUPOK | MTX_NEW)
 157 #define RT_LOCK(_rt)            mtx_lock(&(_rt)->rt_mtx)
 158 #define RT_UNLOCK(_rt)          mtx_unlock(&(_rt)->rt_mtx)
 159 #define RT_LOCK_DESTROY(_rt)    mtx_destroy(&(_rt)->rt_mtx)
 160 #define RT_LOCK_ASSERT(_rt)     mtx_assert(&(_rt)->rt_mtx, MA_OWNED)
 161 #define RT_UNLOCK_COND(_rt)     do {                            \
 162         if (mtx_owned(&(_rt)->rt_mtx))                          \
 163                 mtx_unlock(&(_rt)->rt_mtx);                     \
 164 } while (0)
 165
 166 #define RT_ADDREF(_rt)  do {                                    \
 167         RT_LOCK_ASSERT(_rt);                                    \
 168         KASSERT((_rt)->rt_refcnt >= 0,                          \
 169                 ("negative refcnt %d", (_rt)->rt_refcnt));      \
 170         (_rt)->rt_refcnt++;                                     \
 171 } while (0)
 172
 173 #define RT_REMREF(_rt)  do {                                    \
 174         RT_LOCK_ASSERT(_rt);                                    \
 175         KASSERT((_rt)->rt_refcnt > 0,                           \
 176                 ("bogus refcnt %d", (_rt)->rt_refcnt)); \
 177         (_rt)->rt_refcnt--;                                     \
 178 } while (0)
 179
 180 #define RTFREE_LOCKED(_rt) do {                                 \
 181         if ((_rt)->rt_refcnt <= 1)                              \
 182                 rtfree(_rt);                                    \
 183         else {                                                  \
 184                 RT_REMREF(_rt);                                 \
 185                 RT_UNLOCK(_rt);                                 \
 186         }                                                       \
 187         /* guard against invalid refs */                        \
 188         _rt = 0;                                                \
 189 } while (0)
 190
 191 #define RTFREE(_rt) do {                                        \
 192         RT_LOCK(_rt);                                           \
 193         RTFREE_LOCKED(_rt);                                     \
 194 } while (0)
 195
 196 /*
 197  * With the split between the routing entry and the nexthop,
 198  *  rt_flags has to be split between these 2 entries. As rtentry
 199  *  mostly contains prefix data and is thought to be generic enough
 200  *  so one can transparently change the nexthop pointer w/o requiring
 201  *  any other rtentry changes, most of rt_flags shifts to the particular nexthop.
 202  * /
 203  *
 204  * RTF_UP: rtentry, as an indication that it is linked.
 205  * RTF_HOST: rtentry, nhop. The latter indication is needed for the datapath
 206  * RTF_DYNAMIC: nhop, to make rtentry generic.
 207  * RTF_MODIFIED: nhop, to make rtentry generic. (legacy)
 208  * -- "native" path (nhop) properties:
 209  * RTF_GATEWAY, RTF_STATIC, RTF_PROTO1, RTF_PROTO2, RTF_PROTO3, RTF_FIXEDMTU,
 210  *  RTF_PINNED, RTF_REJECT, RTF_BLACKHOLE, RTF_BROADCAST
 211  */
 212
 213 /* Nexthop rt flags mask */
 214 #define NHOP_RT_FLAG_MASK       (RTF_GATEWAY | RTF_HOST | RTF_REJECT | RTF_DYNAMIC | \
 215     RTF_MODIFIED | RTF_STATIC | RTF_BLACKHOLE | RTF_PROTO1 | RTF_PROTO2 | \
 216     RTF_PROTO3 | RTF_FIXEDMTU | RTF_PINNED | RTF_BROADCAST)
 217
 218 /* rtentry rt flag mask */
 219 #define RTE_RT_FLAG_MASK        (RTF_UP | RTF_HOST)
 220
 221 /* Nexthop selection */
 222 #define _NH2MP(_nh)     ((struct nhgrp_object *)(_nh))
 223 #define _SELECT_NHOP(_nh, _flowid)      \
 224         (_NH2MP(_nh))->nhops[(_flowid) % (_NH2MP(_nh))->mp_size]
 225 #define _RT_SELECT_NHOP(_nh, _flowid)   \
 226         ((!NH_IS_MULTIPATH(_nh)) ? (_nh) : _SELECT_NHOP(_nh, _flowid))
 227 #define RT_SELECT_NHOP(_rt, _flowid)    _RT_SELECT_NHOP((_rt)->rt_nhop, _flowid)
 228
 229 /* rte<>nhop translation */
 230 static inline uint16_t
 231 fib_rte_to_nh_flags(int rt_flags)
 232 {
 233         uint16_t res;
 234
 235         res = (rt_flags & RTF_REJECT) ? NHF_REJECT : 0;
 236         res |= (rt_flags & RTF_HOST) ? NHF_HOST : 0;
 237         res |= (rt_flags & RTF_BLACKHOLE) ? NHF_BLACKHOLE : 0;
 238         res |= (rt_flags & (RTF_DYNAMIC|RTF_MODIFIED)) ? NHF_REDIRECT : 0;
 239         res |= (rt_flags & RTF_BROADCAST) ? NHF_BROADCAST : 0;
 240         res |= (rt_flags & RTF_GATEWAY) ? NHF_GATEWAY : 0;
 241
 242         return (res);
 243 }
 244
 245 void tmproutes_update(struct rib_head *rnh, struct rtentry *rt);
 246 void tmproutes_init(struct rib_head *rh);
 247 void tmproutes_destroy(struct rib_head *rh);
 248
 249 #endif