sys/net/route/route_var.h

   1 /*-
   2  * Copyright (c) 2015-2016
   3  *      Alexander V. Chernikov <melifaro@FreeBSD.org>
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  * 3. Neither the name of the University nor the names of its contributors
  14  *    may be used to endorse or promote products derived from this software
  15  *    without specific prior written permission.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  *
  29  * $FreeBSD$
  30  */
  31
  32 #ifndef _NET_ROUTE_VAR_H_
  33 #define _NET_ROUTE_VAR_H_
  34
  35 #ifndef RNF_NORMAL
  36 #include <net/radix.h>
  37 #endif
  38 #include <sys/ck.h>
  39 #include <sys/epoch.h>
  40 #include <netinet/in.h>         /* struct sockaddr_in */
  41 #include <sys/counter.h>
  42 #include <net/route/nhop.h>
  43
  44 #ifdef  RTDEBUG
  45 #define DPRINTF(_fmt, ...)      printf("%s: " _fmt "\n", __func__ , ## __VA_ARGS__)
  46 #else
  47 #define DPRINTF(_fmt, ...)
  48 #endif
  49
  50 struct nh_control;
  51 typedef int rnh_preadd_entry_f_t(u_int fibnum, const struct sockaddr *addr,
  52         const struct sockaddr *mask, struct nhop_object *nh);
  53
  54 struct rib_head {
  55         struct radix_head       head;
  56         rn_matchaddr_f_t        *rnh_matchaddr; /* longest match for sockaddr */
  57         rn_addaddr_f_t          *rnh_addaddr;   /* add based on sockaddr*/
  58         rn_deladdr_f_t          *rnh_deladdr;   /* remove based on sockaddr */
  59         rn_lookup_f_t           *rnh_lookup;    /* exact match for sockaddr */
  60         rn_walktree_t           *rnh_walktree;  /* traverse tree */
  61         rn_walktree_from_t      *rnh_walktree_from; /* traverse tree below a */
  62         rnh_preadd_entry_f_t    *rnh_preadd;    /* hook to alter record prior to insertion */
  63         rt_gen_t                rnh_gen;        /* datapath generation counter */
  64         int                     rnh_multipath;  /* multipath capable ? */
  65         struct radix_node       rnh_nodes[3];   /* empty tree for common case */
  66         struct rmlock           rib_lock;       /* config/data path lock */
  67         struct radix_mask_head  rmhead;         /* masks radix head */
  68         struct vnet             *rib_vnet;      /* vnet pointer */
  69         int                     rib_family;     /* AF of the rtable */
  70         u_int                   rib_fibnum;     /* fib number */
  71         struct callout          expire_callout; /* Callout for expiring dynamic routes */
  72         time_t                  next_expire;    /* Next expire run ts */
  73         uint32_t                rnh_prefixes;   /* Number of prefixes */
  74         rt_gen_t                rnh_gen_rib;    /* fib algo: rib generation counter */
  75         uint32_t                rib_dying:1;    /* rib is detaching */
  76         uint32_t                rib_algo_fixed:1;/* fixed algorithm */
  77         uint32_t                rib_algo_init:1;/* algo init done */
  78         struct nh_control       *nh_control;    /* nexthop subsystem data */
  79         CK_STAILQ_HEAD(, rib_subscription)      rnh_subscribers;/* notification subscribers */
  80 };
  81
  82 #define RIB_RLOCK_TRACKER       struct rm_priotracker _rib_tracker
  83 #define RIB_LOCK_INIT(rh)       rm_init(&(rh)->rib_lock, "rib head lock")
  84 #define RIB_LOCK_DESTROY(rh)    rm_destroy(&(rh)->rib_lock)
  85 #define RIB_RLOCK(rh)           rm_rlock(&(rh)->rib_lock, &_rib_tracker)
  86 #define RIB_RUNLOCK(rh)         rm_runlock(&(rh)->rib_lock, &_rib_tracker)
  87 #define RIB_WLOCK(rh)           rm_wlock(&(rh)->rib_lock)
  88 #define RIB_WUNLOCK(rh)         rm_wunlock(&(rh)->rib_lock)
  89 #define RIB_LOCK_ASSERT(rh)     rm_assert(&(rh)->rib_lock, RA_LOCKED)
  90 #define RIB_WLOCK_ASSERT(rh)    rm_assert(&(rh)->rib_lock, RA_WLOCKED)
  91
  92 /* Constants */
  93 #define RIB_MAX_RETRIES 3
  94 #define RT_MAXFIBS      UINT16_MAX
  95 #define RIB_MAX_MPATH_WIDTH     64
  96
  97 /* Macro for verifying fields in af-specific 'struct route' structures */
  98 #define CHK_STRUCT_FIELD_GENERIC(_s1, _f1, _s2, _f2)                    \
  99 _Static_assert(sizeof(((_s1 *)0)->_f1) == sizeof(((_s2 *)0)->_f2),      \
 100                 "Fields " #_f1 " and " #_f2 " size differs");           \
 101 _Static_assert(__offsetof(_s1, _f1) == __offsetof(_s2, _f2),            \
 102                 "Fields " #_f1 " and " #_f2 " offset differs");
 103
 104 #define _CHK_ROUTE_FIELD(_route_new, _field) \
 105         CHK_STRUCT_FIELD_GENERIC(struct route, _field, _route_new, _field)
 106
 107 #define CHK_STRUCT_ROUTE_FIELDS(_route_new)     \
 108         _CHK_ROUTE_FIELD(_route_new, ro_nh)     \
 109         _CHK_ROUTE_FIELD(_route_new, ro_lle)    \
 110         _CHK_ROUTE_FIELD(_route_new, ro_prepend)\
 111         _CHK_ROUTE_FIELD(_route_new, ro_plen)   \
 112         _CHK_ROUTE_FIELD(_route_new, ro_flags)  \
 113         _CHK_ROUTE_FIELD(_route_new, ro_mtu)    \
 114         _CHK_ROUTE_FIELD(_route_new, spare)
 115
 116 #define CHK_STRUCT_ROUTE_COMPAT(_ro_new, _dst_new)                              \
 117 CHK_STRUCT_ROUTE_FIELDS(_ro_new);                                               \
 118 _Static_assert(__offsetof(struct route, ro_dst) == __offsetof(_ro_new, _dst_new),\
 119                 "ro_dst and " #_dst_new " are at different offset")
 120
 121 static inline void
 122 rib_bump_gen(struct rib_head *rnh)
 123 {
 124 #ifdef FIB_ALGO
 125         rnh->rnh_gen_rib++;
 126 #else
 127         rnh->rnh_gen++;
 128 #endif
 129 }
 130
 131 struct rib_head *rt_tables_get_rnh(uint32_t table, sa_family_t family);
 132 int rt_getifa_fib(struct rt_addrinfo *info, u_int fibnum);
 133 struct rib_cmd_info;
 134
 135 VNET_PCPUSTAT_DECLARE(struct rtstat, rtstat);
 136 #define RTSTAT_ADD(name, val)   \
 137         VNET_PCPUSTAT_ADD(struct rtstat, rtstat, name, (val))
 138 #define RTSTAT_INC(name)        RTSTAT_ADD(name, 1)
 139
 140 /*
 141  * Convert a 'struct radix_node *' to a 'struct rtentry *'.
 142  * The operation can be done safely (in this code) because a
 143  * 'struct rtentry' starts with two 'struct radix_node''s, the first
 144  * one representing leaf nodes in the routing tree, which is
 145  * what the code in radix.c passes us as a 'struct radix_node'.
 146  *
 147  * But because there are a lot of assumptions in this conversion,
 148  * do not cast explicitly, but always use the macro below.
 149  */
 150 #define RNTORT(p)       ((struct rtentry *)(p))
 151
 152 struct rtentry {
 153         struct  radix_node rt_nodes[2]; /* tree glue, and other values */
 154         /*
 155          * XXX struct rtentry must begin with a struct radix_node (or two!)
 156          * because the code does some casts of a 'struct radix_node *'
 157          * to a 'struct rtentry *'
 158          */
 159 #define rt_key(r)       (*((struct sockaddr **)(&(r)->rt_nodes->rn_key)))
 160 #define rt_mask(r)      (*((struct sockaddr **)(&(r)->rt_nodes->rn_mask)))
 161 #define rt_key_const(r)         (*((const struct sockaddr * const *)(&(r)->rt_nodes->rn_key)))
 162 #define rt_mask_const(r)        (*((const struct sockaddr * const *)(&(r)->rt_nodes->rn_mask)))
 163
 164         /*
 165          * 2 radix_node structurs above consists of 2x6 pointers, leaving
 166          * 4 pointers (32 bytes) of the second cache line on amd64.
 167          *
 168          */
 169         struct nhop_object      *rt_nhop;       /* nexthop data */
 170         union {
 171                 /*
 172                  * Destination address storage.
 173                  * sizeof(struct sockaddr_in6) == 28, however
 174                  * the dataplane-relevant part (e.g. address) lies
 175                  * at offset 8..24, making the address not crossing
 176                  * cacheline boundary.
 177                  */
 178                 struct sockaddr_in      rt_dst4;
 179                 struct sockaddr_in6     rt_dst6;
 180                 struct sockaddr         rt_dst;
 181                 char                    rt_dstb[28];
 182         };
 183
 184         int             rte_flags;      /* up/down?, host/net */
 185         u_long          rt_weight;      /* absolute weight */
 186         u_long          rt_expire;      /* lifetime for route, e.g. redirect */
 187         struct rtentry  *rt_chain;      /* pointer to next rtentry to delete */
 188         struct epoch_context    rt_epoch_ctx;   /* net epoch tracker */
 189 };
 190
 191 /*
 192  * With the split between the routing entry and the nexthop,
 193  *  rt_flags has to be split between these 2 entries. As rtentry
 194  *  mostly contains prefix data and is thought to be generic enough
 195  *  so one can transparently change the nexthop pointer w/o requiring
 196  *  any other rtentry changes, most of rt_flags shifts to the particular nexthop.
 197  * /
 198  *
 199  * RTF_UP: rtentry, as an indication that it is linked.
 200  * RTF_HOST: rtentry, nhop. The latter indication is needed for the datapath
 201  * RTF_DYNAMIC: nhop, to make rtentry generic.
 202  * RTF_MODIFIED: nhop, to make rtentry generic. (legacy)
 203  * -- "native" path (nhop) properties:
 204  * RTF_GATEWAY, RTF_STATIC, RTF_PROTO1, RTF_PROTO2, RTF_PROTO3, RTF_FIXEDMTU,
 205  *  RTF_PINNED, RTF_REJECT, RTF_BLACKHOLE, RTF_BROADCAST
 206  */
 207
 208 /* Nexthop rt flags mask */
 209 #define NHOP_RT_FLAG_MASK       (RTF_GATEWAY | RTF_HOST | RTF_REJECT | RTF_DYNAMIC | \
 210     RTF_MODIFIED | RTF_STATIC | RTF_BLACKHOLE | RTF_PROTO1 | RTF_PROTO2 | \
 211     RTF_PROTO3 | RTF_FIXEDMTU | RTF_PINNED | RTF_BROADCAST)
 212
 213 /* rtentry rt flag mask */
 214 #define RTE_RT_FLAG_MASK        (RTF_UP | RTF_HOST)
 215
 216 /* route_temporal.c */
 217 void tmproutes_update(struct rib_head *rnh, struct rtentry *rt);
 218 void tmproutes_init(struct rib_head *rh);
 219 void tmproutes_destroy(struct rib_head *rh);
 220
 221 /* route_ctl.c */
 222 struct route_nhop_data;
 223 int change_route_nhop(struct rib_head *rnh, struct rtentry *rt,
 224     struct rt_addrinfo *info, struct route_nhop_data *rnd,
 225     struct rib_cmd_info *rc);
 226 int change_route_conditional(struct rib_head *rnh, struct rtentry *rt,
 227     struct rt_addrinfo *info, struct route_nhop_data *nhd_orig,
 228     struct route_nhop_data *nhd_new, struct rib_cmd_info *rc);
 229 struct rtentry *lookup_prefix(struct rib_head *rnh,
 230     const struct rt_addrinfo *info, struct route_nhop_data *rnd);
 231
 232 bool nhop_can_multipath(const struct nhop_object *nh);
 233 bool match_nhop_gw(const struct nhop_object *nh, const struct sockaddr *gw);
 234 int check_info_match_nhop(const struct rt_addrinfo *info,
 235     const struct rtentry *rt, const struct nhop_object *nh);
 236 int can_override_nhop(const struct rt_addrinfo *info,
 237     const struct nhop_object *nh);
 238
 239 void vnet_rtzone_init(void);
 240 void vnet_rtzone_destroy(void);
 241
 242 /* subscriptions */
 243 void rib_init_subscriptions(struct rib_head *rnh);
 244 void rib_destroy_subscriptions(struct rib_head *rnh);
 245
 246 /* Nexhops */
 247 void nhops_init(void);
 248 int nhops_init_rib(struct rib_head *rh);
 249 void nhops_destroy_rib(struct rib_head *rh);
 250 void nhop_ref_object(struct nhop_object *nh);
 251 int nhop_try_ref_object(struct nhop_object *nh);
 252 void nhop_ref_any(struct nhop_object *nh);
 253 void nhop_free_any(struct nhop_object *nh);
 254
 255 void nhop_set_type(struct nhop_object *nh, enum nhop_type nh_type);
 256 void nhop_set_rtflags(struct nhop_object *nh, int rt_flags);
 257
 258 int nhop_create_from_info(struct rib_head *rnh, struct rt_addrinfo *info,
 259     struct nhop_object **nh_ret);
 260 int nhop_create_from_nhop(struct rib_head *rnh, const struct nhop_object *nh_orig,
 261     struct rt_addrinfo *info, struct nhop_object **pnh_priv);
 262
 263 void nhops_update_ifmtu(struct rib_head *rh, struct ifnet *ifp, uint32_t mtu);
 264 int nhops_dump_sysctl(struct rib_head *rh, struct sysctl_req *w);
 265
 266 /* MULTIPATH */
 267 #define MPF_MULTIPATH   0x08    /* need to be consistent with NHF_MULTIPATH */
 268
 269 struct nhgrp_object {
 270         uint16_t                nhg_flags;      /* nexthop group flags */
 271         uint8_t                 nhg_size;       /* dataplain group size */
 272         uint8_t                 spare;
 273         struct nhop_object      *nhops[0];      /* nhops */
 274 };
 275
 276 static inline struct nhop_object *
 277 nhop_select(struct nhop_object *nh, uint32_t flowid)
 278 {
 279
 280 #ifdef ROUTE_MPATH
 281         if (NH_IS_NHGRP(nh)) {
 282                 struct nhgrp_object *nhg = (struct nhgrp_object *)nh;
 283                 nh = nhg->nhops[flowid % nhg->nhg_size];
 284         }
 285 #endif
 286         return (nh);
 287 }
 288
 289
 290 struct weightened_nhop;
 291
 292 /* mpath_ctl.c */
 293 int add_route_mpath(struct rib_head *rnh, struct rt_addrinfo *info,
 294     struct rtentry *rt, struct route_nhop_data *rnd_add,
 295     struct route_nhop_data *rnd_orig, struct rib_cmd_info *rc);
 296 int del_route_mpath(struct rib_head *rh, struct rt_addrinfo *info,
 297     struct rtentry *rt, struct nhgrp_object *nhg, struct rib_cmd_info *rc);
 298
 299 /* nhgrp.c */
 300 int nhgrp_ctl_init(struct nh_control *ctl);
 301 void nhgrp_ctl_free(struct nh_control *ctl);
 302 void nhgrp_ctl_unlink_all(struct nh_control *ctl);
 303
 304
 305 /* nhgrp_ctl.c */
 306 int nhgrp_dump_sysctl(struct rib_head *rh, struct sysctl_req *w);
 307
 308 int nhgrp_get_group(struct rib_head *rh, struct weightened_nhop *wn,
 309     int num_nhops, struct route_nhop_data *rnd);
 310 typedef bool nhgrp_filter_cb_t(const struct nhop_object *nh, void *data);
 311 int nhgrp_get_filtered_group(struct rib_head *rh, const struct nhgrp_object *src,
 312     nhgrp_filter_cb_t flt_func, void *flt_data, struct route_nhop_data *rnd);
 313 int nhgrp_get_addition_group(struct rib_head *rnh,
 314     struct route_nhop_data *rnd_orig, struct route_nhop_data *rnd_add,
 315     struct route_nhop_data *rnd_new);
 316
 317 void nhgrp_ref_object(struct nhgrp_object *nhg);
 318 uint32_t nhgrp_get_idx(const struct nhgrp_object *nhg);
 319 void nhgrp_free(struct nhgrp_object *nhg);
 320
 321 /* rtsock */
 322 int rtsock_routemsg(int cmd, struct rtentry *rt, struct nhop_object *nh,
 323     int fibnum);
 324 int rtsock_routemsg_info(int cmd, struct rt_addrinfo *info, int fibnum);
 325 int rtsock_addrmsg(int cmd, struct ifaddr *ifa, int fibnum);
 326
 327
 328 /* lookup_framework.c */
 329 void fib_grow_rtables(uint32_t new_num_tables);
 330 void fib_setup_family(int family, uint32_t num_tables);
 331 void fib_destroy_rib(struct rib_head *rh);
 332 void vnet_fib_init(void);
 333 void vnet_fib_destroy(void);
 334
 335 /* Entropy data used for outbound hashing */
 336 #define MPATH_ENTROPY_KEY_LEN   40
 337 extern uint8_t mpath_entropy_key[MPATH_ENTROPY_KEY_LEN];
 338
 339 #endif