sys/net/route/nhop_ctl.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2020 Alexander V. Chernikov
   5  *
   6  * Redistribution and use in source and binary forms, with or without
   7  * modification, are permitted provided that the following conditions
   8  * are met:
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  16  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  17  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  18  * ARE DISCLAIMED. IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  19  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  20  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  21  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  22  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  23  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  24  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  25  * SUCH DAMAGE.
  26  */
  27
  28 #include <sys/cdefs.h>
  29 __FBSDID("$FreeBSD$");
  30 #include "opt_inet.h"
  31 #include "opt_route.h"
  32
  33 #include <sys/param.h>
  34 #include <sys/systm.h>
  35 #include <sys/lock.h>
  36 #include <sys/rwlock.h>
  37 #include <sys/malloc.h>
  38 #include <sys/socket.h>
  39 #include <sys/sysctl.h>
  40 #include <sys/kernel.h>
  41 #include <sys/epoch.h>
  42
  43 #include <net/if.h>
  44 #include <net/if_var.h>
  45 #include <net/if_dl.h>
  46 #include <net/route.h>
  47 #include <net/route/route_ctl.h>
  48 #include <net/route/route_var.h>
  49 #include <net/route/nhop_utils.h>
  50 #include <net/route/nhop.h>
  51 #include <net/route/nhop_var.h>
  52 #include <net/vnet.h>
  53
  54 /*
  55  * This file contains core functionality for the nexthop ("nhop") route subsystem.
  56  * The business logic needed to create nexhop objects is implemented here.
  57  *
  58  * Nexthops in the original sense are the objects containing all the necessary
  59  * information to forward the packet to the selected destination.
  60  * In particular, nexthop is defined by a combination of
  61  *  ifp, ifa, aifp, mtu, gw addr(if set), nh_type, nh_family, mask of rt_flags and
  62  *    NHF_DEFAULT
  63  *
  64  * Additionally, each nexthop gets assigned its unique index (nexthop index).
  65  * It serves two purposes: first one is to ease the ability of userland programs to
  66  *  reference nexthops by their index. The second one allows lookup algorithms to
  67  *  to store index instead of pointer (2 bytes vs 8) as a lookup result.
  68  * All nexthops are stored in the resizable hash table.
  69  *
  70  * Basically, this file revolves around supporting 3 functions:
  71  * 1) nhop_create_from_info / nhop_create_from_nhop, which contains all
  72  *  business logic on filling the nexthop fields based on the provided request.
  73  * 2) nhop_get(), which gets a usable referenced nexthops.
  74  *
  75  * Conventions:
  76  * 1) non-exported functions start with verb
  77  * 2) exported function starts with the subsystem prefix: "nhop"
  78  */
  79
  80 static int dump_nhop_entry(struct rib_head *rh, struct nhop_object *nh, struct sysctl_req *w);
  81
  82 static struct nhop_priv *alloc_nhop_structure(void);
  83 static int get_nhop(struct rib_head *rnh, struct rt_addrinfo *info,
  84     struct nhop_priv **pnh_priv);
  85 static int finalize_nhop(struct nh_control *ctl, struct rt_addrinfo *info,
  86     struct nhop_priv *nh_priv);
  87 static struct ifnet *get_aifp(const struct nhop_object *nh, int reference);
  88 static void fill_sdl_from_ifp(struct sockaddr_dl_short *sdl, const struct ifnet *ifp);
  89
  90 static void destroy_nhop_epoch(epoch_context_t ctx);
  91 static void destroy_nhop(struct nhop_priv *nh_priv);
  92
  93 static void print_nhop(const char *prefix, const struct nhop_object *nh);
  94
  95 _Static_assert(__offsetof(struct nhop_object, nh_ifp) == 32,
  96     "nhop_object: wrong nh_ifp offset");
  97 _Static_assert(sizeof(struct nhop_object) <= 128,
  98     "nhop_object: size exceeds 128 bytes");
  99
 100 static uma_zone_t nhops_zone;   /* Global zone for each and every nexthop */
 101
 102 #define NHOP_OBJECT_ALIGNED_SIZE        roundup2(sizeof(struct nhop_object), \
 103                                                         2 * CACHE_LINE_SIZE)
 104 #define NHOP_PRIV_ALIGNED_SIZE          roundup2(sizeof(struct nhop_priv), \
 105                                                         2 * CACHE_LINE_SIZE)
 106 void
 107 nhops_init(void)
 108 {
 109
 110         nhops_zone = uma_zcreate("routing nhops",
 111             NHOP_OBJECT_ALIGNED_SIZE + NHOP_PRIV_ALIGNED_SIZE,
 112             NULL, NULL, NULL, NULL, UMA_ALIGN_PTR, 0);
 113 }
 114
 115 /*
 116  * Fetches the interface of source address used by the route.
 117  * In all cases except interface-address-route it would be the
 118  * same as the transmit interfaces.
 119  * However, for the interface address this function will return
 120  * this interface ifp instead of loopback. This is needed to support
 121  * link-local IPv6 loopback communications.
 122  *
 123  * If @reference is non-zero, found ifp is referenced.
 124  *
 125  * Returns found ifp.
 126  */
 127 static struct ifnet *
 128 get_aifp(const struct nhop_object *nh, int reference)
 129 {
 130         struct ifnet *aifp = NULL;
 131
 132         /*
 133          * Adjust the "outgoing" interface.  If we're going to loop
 134          * the packet back to ourselves, the ifp would be the loopback
 135          * interface. However, we'd rather know the interface associated
 136          * to the destination address (which should probably be one of
 137          * our own addresses).
 138          */
 139         if ((nh->nh_ifp->if_flags & IFF_LOOPBACK) &&
 140                         nh->gw_sa.sa_family == AF_LINK) {
 141                 if (reference)
 142                         aifp = ifnet_byindex_ref(nh->gwl_sa.sdl_index);
 143                 else
 144                         aifp = ifnet_byindex(nh->gwl_sa.sdl_index);
 145                 if (aifp == NULL) {
 146                         DPRINTF("unable to get aifp for %s index %d",
 147                                 if_name(nh->nh_ifp), nh->gwl_sa.sdl_index);
 148                 }
 149         }
 150
 151         if (aifp == NULL) {
 152                 aifp = nh->nh_ifp;
 153                 if (reference)
 154                         if_ref(aifp);
 155         }
 156
 157         return (aifp);
 158 }
 159
 160 int
 161 cmp_priv(const struct nhop_priv *_one, const struct nhop_priv *_two)
 162 {
 163
 164         if (memcmp(_one->nh, _two->nh, NHOP_END_CMP) != 0)
 165                 return (0);
 166
 167         if ((_one->nh_type != _two->nh_type) ||
 168             (_one->nh_family != _two->nh_family))
 169                 return (0);
 170
 171         return (1);
 172 }
 173
 174 /*
 175  * Conditionally sets @nh mtu data based on the @info data.
 176  */
 177 static void
 178 set_nhop_mtu_from_info(struct nhop_object *nh, const struct rt_addrinfo *info)
 179 {
 180
 181         if (info->rti_mflags & RTV_MTU) {
 182                 if (info->rti_rmx->rmx_mtu != 0) {
 183                         /*
 184                          * MTU was explicitly provided by user.
 185                          * Keep it.
 186                          */
 187
 188                         nh->nh_priv->rt_flags |= RTF_FIXEDMTU;
 189                 } else {
 190                         /*
 191                          * User explicitly sets MTU to 0.
 192                          * Assume rollback to default.
 193                          */
 194                         nh->nh_priv->rt_flags &= ~RTF_FIXEDMTU;
 195                 }
 196                 nh->nh_mtu = info->rti_rmx->rmx_mtu;
 197         }
 198 }
 199
 200 /*
 201  * Fills in shorted link-level sockadd version suitable to be stored inside the
 202  *  nexthop gateway buffer.
 203  */
 204 static void
 205 fill_sdl_from_ifp(struct sockaddr_dl_short *sdl, const struct ifnet *ifp)
 206 {
 207
 208         sdl->sdl_family = AF_LINK;
 209         sdl->sdl_len = sizeof(struct sockaddr_dl_short);
 210         sdl->sdl_index = ifp->if_index;
 211         sdl->sdl_type = ifp->if_type;
 212 }
 213
 214 static int
 215 set_nhop_gw_from_info(struct nhop_object *nh, struct rt_addrinfo *info)
 216 {
 217         struct sockaddr *gw;
 218
 219         gw = info->rti_info[RTAX_GATEWAY];
 220         if (info->rti_flags & RTF_GATEWAY) {
 221                 if (gw->sa_len > sizeof(struct sockaddr_in6)) {
 222                         DPRINTF("nhop SA size too big: AF %d len %u",
 223                             gw->sa_family, gw->sa_len);
 224                         return (ENOMEM);
 225                 }
 226                 memcpy(&nh->gw_sa, gw, gw->sa_len);
 227         } else {
 228                 /*
 229                  * Interface route. Currently the route.c code adds
 230                  * sa of type AF_LINK, which is 56 bytes long. The only
 231                  * meaningful data there is the interface index. It is used
 232                  * used is the IPv6 loopback output, where we need to preserve
 233                  * the original interface to maintain proper scoping.
 234                  * Despite the fact that nexthop code stores original interface
 235                  * in the separate field (nh_aifp, see below), write AF_LINK
 236                  * compatible sa with shorter total length.
 237                  */
 238                 fill_sdl_from_ifp(&nh->gwl_sa, nh->nh_ifp);
 239         }
 240
 241         return (0);
 242 }
 243
 244 static uint16_t
 245 convert_rt_to_nh_flags(int rt_flags)
 246 {
 247         uint16_t res;
 248
 249         res = (rt_flags & RTF_REJECT) ? NHF_REJECT : 0;
 250         res |= (rt_flags & RTF_HOST) ? NHF_HOST : 0;
 251         res |= (rt_flags & RTF_BLACKHOLE) ? NHF_BLACKHOLE : 0;
 252         res |= (rt_flags & (RTF_DYNAMIC|RTF_MODIFIED)) ? NHF_REDIRECT : 0;
 253         res |= (rt_flags & RTF_BROADCAST) ? NHF_BROADCAST : 0;
 254         res |= (rt_flags & RTF_GATEWAY) ? NHF_GATEWAY : 0;
 255
 256         return (res);
 257 }
 258
 259 static int
 260 fill_nhop_from_info(struct nhop_priv *nh_priv, struct rt_addrinfo *info)
 261 {
 262         int error, rt_flags;
 263         struct nhop_object *nh;
 264
 265         nh = nh_priv->nh;
 266
 267         rt_flags = info->rti_flags & NHOP_RT_FLAG_MASK;
 268
 269         nh->nh_priv->rt_flags = rt_flags;
 270         nh_priv->nh_family = info->rti_info[RTAX_DST]->sa_family;
 271         nh_priv->nh_type = 0; // hook responsibility to set nhop type
 272
 273         nh->nh_flags = convert_rt_to_nh_flags(rt_flags);
 274         set_nhop_mtu_from_info(nh, info);
 275         nh->nh_ifp = info->rti_ifa->ifa_ifp;
 276         nh->nh_ifa = info->rti_ifa;
 277         nh->nh_aifp = get_aifp(nh, 0);
 278
 279         if ((error = set_nhop_gw_from_info(nh, info)) != 0)
 280                 return (error);
 281
 282         /*
 283          * Note some of the remaining data is set by the
 284          * per-address-family pre-add hook.
 285          */
 286
 287         return (0);
 288 }
 289
 290 /*
 291  * Creates a new nexthop based on the information in @info.
 292  *
 293  * Returns:
 294  * 0 on success, filling @nh_ret with the desired nexthop object ptr
 295  * errno otherwise
 296  */
 297 int
 298 nhop_create_from_info(struct rib_head *rnh, struct rt_addrinfo *info,
 299     struct nhop_object **nh_ret)
 300 {
 301         struct nhop_priv *nh_priv;
 302         int error;
 303
 304         NET_EPOCH_ASSERT();
 305
 306         nh_priv = alloc_nhop_structure();
 307
 308         error = fill_nhop_from_info(nh_priv, info);
 309         if (error != 0) {
 310                 uma_zfree(nhops_zone, nh_priv->nh);
 311                 return (error);
 312         }
 313
 314         error = get_nhop(rnh, info, &nh_priv);
 315         if (error == 0)
 316                 *nh_ret = nh_priv->nh;
 317
 318         return (error);
 319 }
 320
 321 /*
 322  * Gets linked nhop using the provided @pnh_priv nexhop data.
 323  * If linked nhop is found, returns it, freeing the provided one.
 324  * If there is no such nexthop, attaches the remaining data to the
 325  *  provided nexthop and links it.
 326  *
 327  * Returns 0 on success, storing referenced nexthop in @pnh_priv.
 328  * Otherwise, errno is returned.
 329  */
 330 static int
 331 get_nhop(struct rib_head *rnh, struct rt_addrinfo *info,
 332     struct nhop_priv **pnh_priv)
 333 {
 334         const struct sockaddr *dst, *gateway, *netmask;
 335         struct nhop_priv *nh_priv, *tmp_priv;
 336         int error;
 337
 338         nh_priv = *pnh_priv;
 339
 340         /* Give the protocols chance to augment the request data */
 341         dst = info->rti_info[RTAX_DST];
 342         netmask = info->rti_info[RTAX_NETMASK];
 343         gateway = info->rti_info[RTAX_GATEWAY];
 344
 345         error = rnh->rnh_preadd(rnh->rib_fibnum, dst, netmask, nh_priv->nh);
 346         if (error != 0) {
 347                 uma_zfree(nhops_zone, nh_priv->nh);
 348                 return (error);
 349         }
 350
 351         tmp_priv = find_nhop(rnh->nh_control, nh_priv);
 352         if (tmp_priv != NULL) {
 353                 uma_zfree(nhops_zone, nh_priv->nh);
 354                 *pnh_priv = tmp_priv;
 355                 return (0);
 356         }
 357
 358         /*
 359          * Existing nexthop not found, need to create new one.
 360          * Note: multiple simultaneous get_nhop() requests
 361          *  can result in multiple equal nexhops existing in the
 362          *  nexthop table. This is not a not a problem until the
 363          *  relative number of such nexthops is significant, which
 364          *  is extremely unlikely.
 365          */
 366
 367         error = finalize_nhop(rnh->nh_control, info, nh_priv);
 368         if (error != 0)
 369                 return (error);
 370
 371         return (0);
 372 }
 373
 374 /*
 375  * Update @nh with data supplied in @info.
 376  * This is a helper function to support route changes.
 377  *
 378  * It limits the changes that can be done to the route to the following:
 379  * 1) all combination of gateway changes (gw, interface, blackhole/reject)
 380  * 2) route flags (FLAG[123],STATIC,BLACKHOLE,REJECT)
 381  * 3) route MTU
 382  *
 383  * Returns:
 384  * 0 on success
 385  */
 386 static int
 387 alter_nhop_from_info(struct nhop_object *nh, struct rt_addrinfo *info)
 388 {
 389         struct sockaddr *info_gw;
 390         int error;
 391
 392         /* Update MTU if set in the request*/
 393         set_nhop_mtu_from_info(nh, info);
 394
 395         /* XXX: allow only one of BLACKHOLE,REJECT,GATEWAY */
 396
 397         /* Allow some flags (FLAG1,STATIC,BLACKHOLE,REJECT) to be toggled on change. */
 398         nh->nh_priv->rt_flags &= ~RTF_FMASK;
 399         nh->nh_priv->rt_flags |= info->rti_flags & RTF_FMASK;
 400
 401         /* Consider gateway change */
 402         info_gw = info->rti_info[RTAX_GATEWAY];
 403         if (info_gw != NULL) {
 404                 error = set_nhop_gw_from_info(nh, info);
 405                 if (error != 0)
 406                         return (error);
 407                 /* Update RTF_GATEWAY flag status */
 408                 nh->nh_priv->rt_flags &= ~RTF_GATEWAY;
 409                 nh->nh_priv->rt_flags |= (RTF_GATEWAY & info->rti_flags);
 410         }
 411         /* Update datapath flags */
 412         nh->nh_flags = convert_rt_to_nh_flags(nh->nh_priv->rt_flags);
 413
 414         if (info->rti_ifa != NULL)
 415                 nh->nh_ifa = info->rti_ifa;
 416         if (info->rti_ifp != NULL)
 417                 nh->nh_ifp = info->rti_ifp;
 418         nh->nh_aifp = get_aifp(nh, 0);
 419
 420         return (0);
 421 }
 422
 423 /*
 424  * Creates new nexthop based on @nh_orig and augmentation data from @info.
 425  * Helper function used in the route changes, please see
 426  *   alter_nhop_from_info() comments for more details.
 427  *
 428  * Returns:
 429  * 0 on success, filling @nh_ret with the desired nexthop object
 430  * errno otherwise
 431  */
 432 int
 433 nhop_create_from_nhop(struct rib_head *rnh, const struct nhop_object *nh_orig,
 434     struct rt_addrinfo *info, struct nhop_object **pnh)
 435 {
 436         struct nhop_priv *nh_priv;
 437         struct nhop_object *nh;
 438         int error;
 439
 440         NET_EPOCH_ASSERT();
 441
 442         nh_priv = alloc_nhop_structure();
 443         nh = nh_priv->nh;
 444
 445         /* Start with copying data from original nexthop */
 446         nh_priv->nh_family = nh_orig->nh_priv->nh_family;
 447         nh_priv->rt_flags = nh_orig->nh_priv->rt_flags;
 448         nh_priv->nh_type = nh_orig->nh_priv->nh_type;
 449
 450         nh->nh_ifp = nh_orig->nh_ifp;
 451         nh->nh_ifa = nh_orig->nh_ifa;
 452         nh->nh_aifp = nh_orig->nh_aifp;
 453         nh->nh_mtu = nh_orig->nh_mtu;
 454         nh->nh_flags = nh_orig->nh_flags;
 455         memcpy(&nh->gw_sa, &nh_orig->gw_sa, nh_orig->gw_sa.sa_len);
 456
 457         error = alter_nhop_from_info(nh, info);
 458         if (error != 0) {
 459                 uma_zfree(nhops_zone, nh_priv->nh);
 460                 return (error);
 461         }
 462
 463         error = get_nhop(rnh, info, &nh_priv);
 464         if (error == 0)
 465                 *pnh = nh_priv->nh;
 466
 467         return (error);
 468 }
 469
 470 /*
 471  * Allocates memory for public/private nexthop structures.
 472  *
 473  * Returns pointer to nhop_priv or NULL.
 474  */
 475 static struct nhop_priv *
 476 alloc_nhop_structure()
 477 {
 478         struct nhop_object *nh;
 479         struct nhop_priv *nh_priv;
 480
 481         nh = (struct nhop_object *)uma_zalloc(nhops_zone, M_NOWAIT | M_ZERO);
 482         if (nh == NULL)
 483                 return (NULL);
 484         nh_priv = (struct nhop_priv *)((char *)nh + NHOP_OBJECT_ALIGNED_SIZE);
 485
 486         nh->nh_priv = nh_priv;
 487         nh_priv->nh = nh;
 488
 489         return (nh_priv);
 490 }
 491
 492 /*
 493  * Alocates/references the remaining bits of nexthop data and links
 494  *  it to the hash table.
 495  * Returns 0 if successful,
 496  *  errno otherwise. @nh_priv is freed in case of error.
 497  */
 498 static int
 499 finalize_nhop(struct nh_control *ctl, struct rt_addrinfo *info,
 500     struct nhop_priv *nh_priv)
 501 {
 502         struct nhop_object *nh;
 503
 504         nh = nh_priv->nh;
 505
 506         /* Allocate per-cpu packet counter */
 507         nh->nh_pksent = counter_u64_alloc(M_NOWAIT);
 508         if (nh->nh_pksent == NULL) {
 509                 uma_zfree(nhops_zone, nh);
 510                 RTSTAT_INC(rts_nh_alloc_failure);
 511                 DPRINTF("nh_alloc_finalize failed");
 512                 return (ENOMEM);
 513         }
 514
 515         /* Save vnet to ease destruction */
 516         nh_priv->nh_vnet = curvnet;
 517
 518         /* Reference external objects and calculate (referenced) ifa */
 519         if_ref(nh->nh_ifp);
 520         ifa_ref(nh->nh_ifa);
 521         nh->nh_aifp = get_aifp(nh, 1);
 522         DPRINTF("AIFP: %p nh_ifp %p", nh->nh_aifp, nh->nh_ifp);
 523
 524         refcount_init(&nh_priv->nh_refcnt, 1);
 525
 526         /* Please see nhop_free() comments on the initial value */
 527         refcount_init(&nh_priv->nh_linked, 2);
 528
 529         print_nhop("FINALIZE", nh);
 530
 531         if (link_nhop(ctl, nh_priv) == 0) {
 532                 /*
 533                  * Adding nexthop to the datastructures
 534                  *  failed. Call destructor w/o waiting for
 535                  *  the epoch end, as nexthop is not used
 536                  *  and return.
 537                  */
 538                 DPRINTF("link_nhop failed!");
 539                 destroy_nhop(nh_priv);
 540
 541                 return (ENOBUFS);
 542         }
 543
 544         return (0);
 545 }
 546
 547 static void
 548 print_nhop_sa(char *buf, size_t buflen, const struct sockaddr *sa)
 549 {
 550
 551         if (sa->sa_family == AF_INET) {
 552                 const struct sockaddr_in *sin4;
 553                 sin4 = (const struct sockaddr_in *)sa;
 554                 inet_ntop(AF_INET, &sin4->sin_addr, buf, buflen);
 555         } else if (sa->sa_family == AF_INET6) {
 556                 const struct sockaddr_in6 *sin6;
 557                 sin6 = (const struct sockaddr_in6 *)sa;
 558                 inet_ntop(AF_INET6, &sin6->sin6_addr, buf, buflen);
 559         } else if (sa->sa_family == AF_LINK) {
 560                 const struct sockaddr_dl *sdl;
 561                 sdl = (const struct sockaddr_dl *)sa;
 562                 snprintf(buf, buflen, "if#%d", sdl->sdl_index);
 563         } else
 564                 snprintf(buf, buflen, "af:%d", sa->sa_family);
 565 }
 566
 567 static void
 568 print_nhop(const char *prefix, const struct nhop_object *nh)
 569 {
 570         char src_buf[INET6_ADDRSTRLEN], addr_buf[INET6_ADDRSTRLEN];
 571
 572         print_nhop_sa(src_buf, sizeof(src_buf), nh->nh_ifa->ifa_addr);
 573         print_nhop_sa(addr_buf, sizeof(addr_buf), &nh->gw_sa);
 574
 575         DPRINTF("%s nhop priv %p: AF %d ifp %p %s addr %s src %p %s aifp %p %s mtu %d nh_flags %X",
 576             prefix, nh->nh_priv, nh->nh_priv->nh_family, nh->nh_ifp,
 577             if_name(nh->nh_ifp), addr_buf, nh->nh_ifa, src_buf, nh->nh_aifp,
 578             if_name(nh->nh_aifp), nh->nh_mtu, nh->nh_flags);
 579 }
 580
 581 static void
 582 destroy_nhop(struct nhop_priv *nh_priv)
 583 {
 584         struct nhop_object *nh;
 585
 586         nh = nh_priv->nh;
 587
 588         print_nhop("DEL", nh);
 589
 590         if_rele(nh->nh_ifp);
 591         if_rele(nh->nh_aifp);
 592         ifa_free(nh->nh_ifa);
 593         counter_u64_free(nh->nh_pksent);
 594
 595         uma_zfree(nhops_zone, nh);
 596 }
 597
 598 /*
 599  * Epoch callback indicating nhop is safe to destroy
 600  */
 601 static void
 602 destroy_nhop_epoch(epoch_context_t ctx)
 603 {
 604         struct nhop_priv *nh_priv;
 605
 606         nh_priv = __containerof(ctx, struct nhop_priv, nh_epoch_ctx);
 607
 608         destroy_nhop(nh_priv);
 609 }
 610
 611 void
 612 nhop_ref_object(struct nhop_object *nh)
 613 {
 614         u_int old;
 615
 616         old = refcount_acquire(&nh->nh_priv->nh_refcnt);
 617         KASSERT(old > 0, ("%s: nhop object %p has 0 refs", __func__, nh));
 618 }
 619
 620 int
 621 nhop_try_ref_object(struct nhop_object *nh)
 622 {
 623
 624         return (refcount_acquire_if_not_zero(&nh->nh_priv->nh_refcnt));
 625 }
 626
 627 void
 628 nhop_free(struct nhop_object *nh)
 629 {
 630         struct nh_control *ctl;
 631         struct nhop_priv *nh_priv = nh->nh_priv;
 632         struct epoch_tracker et;
 633
 634         if (!refcount_release(&nh_priv->nh_refcnt))
 635                 return;
 636
 637         /*
 638          * There are only 2 places, where nh_linked can be decreased:
 639          *  rib destroy (nhops_destroy_rib) and this function.
 640          * nh_link can never be increased.
 641          *
 642          * Hence, use initial value of 2 to make use of
 643          *  refcount_release_if_not_last().
 644          *
 645          * There can be two scenarious when calling this function:
 646          *
 647          * 1) nh_linked value is 2. This means that either
 648          *  nhops_destroy_rib() has not been called OR it is running,
 649          *  but we are guaranteed that nh_control won't be freed in
 650          *  this epoch. Hence, nexthop can be safely unlinked.
 651          *
 652          * 2) nh_linked value is 1. In that case, nhops_destroy_rib()
 653          *  has been called and nhop unlink can be skipped.
 654          */
 655
 656         NET_EPOCH_ENTER(et);
 657         if (refcount_release_if_not_last(&nh_priv->nh_linked)) {
 658                 ctl = nh_priv->nh_control;
 659                 if (unlink_nhop(ctl, nh_priv) == NULL) {
 660                         /* Do not try to reclaim */
 661                         DPRINTF("Failed to unlink nexhop %p", nh_priv);
 662                         NET_EPOCH_EXIT(et);
 663                         return;
 664                 }
 665         }
 666         NET_EPOCH_EXIT(et);
 667
 668         epoch_call(net_epoch_preempt, destroy_nhop_epoch,
 669             &nh_priv->nh_epoch_ctx);
 670 }
 671
 672 int
 673 nhop_ref_any(struct nhop_object *nh)
 674 {
 675
 676         return (nhop_try_ref_object(nh));
 677 }
 678
 679 void
 680 nhop_free_any(struct nhop_object *nh)
 681 {
 682
 683         nhop_free(nh);
 684 }
 685
 686 /* Helper functions */
 687
 688 uint32_t
 689 nhop_get_idx(const struct nhop_object *nh)
 690 {
 691
 692         return (nh->nh_priv->nh_idx);
 693 }
 694
 695 enum nhop_type
 696 nhop_get_type(const struct nhop_object *nh)
 697 {
 698
 699         return (nh->nh_priv->nh_type);
 700 }
 701
 702 void
 703 nhop_set_type(struct nhop_object *nh, enum nhop_type nh_type)
 704 {
 705
 706         nh->nh_priv->nh_type = nh_type;
 707 }
 708
 709 int
 710 nhop_get_rtflags(const struct nhop_object *nh)
 711 {
 712
 713         return (nh->nh_priv->rt_flags);
 714 }
 715
 716 void
 717 nhop_set_rtflags(struct nhop_object *nh, int rt_flags)
 718 {
 719
 720         nh->nh_priv->rt_flags = rt_flags;
 721 }
 722
 723 struct vnet *
 724 nhop_get_vnet(const struct nhop_object *nh)
 725 {
 726
 727         return (nh->nh_priv->nh_vnet);
 728 }
 729
 730 void
 731 nhops_update_ifmtu(struct rib_head *rh, struct ifnet *ifp, uint32_t mtu)
 732 {
 733         struct nh_control *ctl;
 734         struct nhop_priv *nh_priv;
 735         struct nhop_object *nh;
 736
 737         ctl = rh->nh_control;
 738
 739         NHOPS_WLOCK(ctl);
 740         CHT_SLIST_FOREACH(&ctl->nh_head, nhops, nh_priv) {
 741                 nh = nh_priv->nh;
 742                 if (nh->nh_ifp == ifp) {
 743                         if ((nh_priv->rt_flags & RTF_FIXEDMTU) == 0 ||
 744                             nh->nh_mtu > mtu) {
 745                                 /* Update MTU directly */
 746                                 nh->nh_mtu = mtu;
 747                         }
 748                 }
 749         } CHT_SLIST_FOREACH_END;
 750         NHOPS_WUNLOCK(ctl);
 751
 752 }
 753
 754 /*
 755  * Dumps a single entry to sysctl buffer.
 756  *
 757  * Layout:
 758  *  rt_msghdr - generic RTM header to allow users to skip non-understood messages
 759  *  nhop_external - nexhop description structure (with length)
 760  *  nhop_addrs - structure encapsulating GW/SRC sockaddrs
 761  */
 762 static int
 763 dump_nhop_entry(struct rib_head *rh, struct nhop_object *nh, struct sysctl_req *w)
 764 {
 765         struct {
 766                 struct rt_msghdr        rtm;
 767                 struct nhop_external    nhe;
 768                 struct nhop_addrs       na;
 769         } arpc;
 770         struct nhop_external *pnhe;
 771         struct sockaddr *gw_sa, *src_sa;
 772         struct sockaddr_storage ss;
 773         size_t addrs_len;
 774         int error;
 775
 776         //DPRINTF("Dumping: head %p nh %p flags %X req %p\n", rh, nh, nh->nh_flags, w);
 777
 778         memset(&arpc, 0, sizeof(arpc));
 779
 780         arpc.rtm.rtm_msglen = sizeof(arpc);
 781         arpc.rtm.rtm_version = RTM_VERSION;
 782         arpc.rtm.rtm_type = RTM_GET;
 783         //arpc.rtm.rtm_flags = RTF_UP;
 784         arpc.rtm.rtm_flags = nh->nh_priv->rt_flags;
 785
 786         /* nhop_external */
 787         pnhe = &arpc.nhe;
 788         pnhe->nh_len = sizeof(struct nhop_external);
 789         pnhe->nh_idx = nh->nh_priv->nh_idx;
 790         pnhe->nh_fib = rh->rib_fibnum;
 791         pnhe->ifindex = nh->nh_ifp->if_index;
 792         pnhe->aifindex = nh->nh_aifp->if_index;
 793         pnhe->nh_family = nh->nh_priv->nh_family;
 794         pnhe->nh_type = nh->nh_priv->nh_type;
 795         pnhe->nh_mtu = nh->nh_mtu;
 796         pnhe->nh_flags = nh->nh_flags;
 797
 798         memcpy(pnhe->nh_prepend, nh->nh_prepend, sizeof(nh->nh_prepend));
 799         pnhe->prepend_len = nh->nh_prepend_len;
 800         pnhe->nh_refcount = nh->nh_priv->nh_refcnt;
 801         pnhe->nh_pksent = counter_u64_fetch(nh->nh_pksent);
 802
 803         /* sockaddr container */
 804         addrs_len = sizeof(struct nhop_addrs);
 805         arpc.na.gw_sa_off = addrs_len;
 806         gw_sa = (struct sockaddr *)&nh->gw4_sa;
 807         addrs_len += gw_sa->sa_len;
 808
 809         src_sa = nh->nh_ifa->ifa_addr;
 810         if (src_sa->sa_family == AF_LINK) {
 811                 /* Shorten structure */
 812                 memset(&ss, 0, sizeof(struct sockaddr_storage));
 813                 fill_sdl_from_ifp((struct sockaddr_dl_short *)&ss,
 814                     nh->nh_ifa->ifa_ifp);
 815                 src_sa = (struct sockaddr *)&ss;
 816         }
 817         arpc.na.src_sa_off = addrs_len;
 818         addrs_len += src_sa->sa_len;
 819
 820         /* Write total container length */
 821         arpc.na.na_len = addrs_len;
 822
 823         arpc.rtm.rtm_msglen += arpc.na.na_len - sizeof(struct nhop_addrs);
 824
 825         error = SYSCTL_OUT(w, &arpc, sizeof(arpc));
 826         if (error == 0)
 827                 error = SYSCTL_OUT(w, gw_sa, gw_sa->sa_len);
 828         if (error == 0)
 829                 error = SYSCTL_OUT(w, src_sa, src_sa->sa_len);
 830
 831         return (error);
 832 }
 833
 834 int
 835 nhops_dump_sysctl(struct rib_head *rh, struct sysctl_req *w)
 836 {
 837         struct nh_control *ctl;
 838         struct nhop_priv *nh_priv;
 839         int error;
 840
 841         ctl = rh->nh_control;
 842
 843         NHOPS_RLOCK(ctl);
 844         DPRINTF("NHDUMP: count=%u", ctl->nh_head.items_count);
 845         CHT_SLIST_FOREACH(&ctl->nh_head, nhops, nh_priv) {
 846                 error = dump_nhop_entry(rh, nh_priv->nh, w);
 847                 if (error != 0) {
 848                         NHOPS_RUNLOCK(ctl);
 849                         return (error);
 850                 }
 851         } CHT_SLIST_FOREACH_END;
 852         NHOPS_RUNLOCK(ctl);
 853
 854         return (0);
 855 }