sys/net/if_llatbl.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2004 Luigi Rizzo, Alessandro Cerri. All rights reserved.
   5  * Copyright (c) 2004-2008 Qing Li. All rights reserved.
   6  * Copyright (c) 2008 Kip Macy. All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL AUTHOR OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  */
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include "opt_ddb.h"
  33 #include "opt_inet.h"
  34 #include "opt_inet6.h"
  35
  36 #include <sys/param.h>
  37 #include <sys/systm.h>
  38 #include <sys/eventhandler.h>
  39 #include <sys/malloc.h>
  40 #include <sys/mbuf.h>
  41 #include <sys/syslog.h>
  42 #include <sys/sysctl.h>
  43 #include <sys/socket.h>
  44 #include <sys/kernel.h>
  45 #include <sys/lock.h>
  46 #include <sys/mutex.h>
  47 #include <sys/rwlock.h>
  48
  49 #ifdef DDB
  50 #include <ddb/ddb.h>
  51 #endif
  52
  53 #include <vm/uma.h>
  54
  55 #include <netinet/in.h>
  56 #include <net/if_llatbl.h>
  57 #include <net/if.h>
  58 #include <net/if_dl.h>
  59 #include <net/if_var.h>
  60 #include <net/route.h>
  61 #include <net/route/route_ctl.h>
  62 #include <net/route/route_debug.h>
  63 #include <net/vnet.h>
  64 #include <netinet/if_ether.h>
  65 #include <netinet6/in6_var.h>
  66 #include <netinet6/nd6.h>
  67
  68 MALLOC_DEFINE(M_LLTABLE, "lltable", "link level address tables");
  69
  70 VNET_DEFINE_STATIC(SLIST_HEAD(, lltable), lltables) =
  71     SLIST_HEAD_INITIALIZER(lltables);
  72 #define V_lltables      VNET(lltables)
  73
  74 static struct rwlock lltable_list_lock;
  75 RW_SYSINIT(lltable_list_lock, &lltable_list_lock, "lltable_list_lock");
  76 #define LLTABLE_LIST_RLOCK()            rw_rlock(&lltable_list_lock)
  77 #define LLTABLE_LIST_RUNLOCK()          rw_runlock(&lltable_list_lock)
  78 #define LLTABLE_LIST_WLOCK()            rw_wlock(&lltable_list_lock)
  79 #define LLTABLE_LIST_WUNLOCK()          rw_wunlock(&lltable_list_lock)
  80 #define LLTABLE_LIST_LOCK_ASSERT()      rw_assert(&lltable_list_lock, RA_LOCKED)
  81
  82 static void lltable_unlink(struct lltable *llt);
  83 static void llentries_unlink(struct lltable *llt, struct llentries *head);
  84
  85 /*
  86  * Dump lle state for a specific address family.
  87  */
  88 static int
  89 lltable_dump_af(struct lltable *llt, struct sysctl_req *wr)
  90 {
  91         struct epoch_tracker et;
  92         int error;
  93
  94         LLTABLE_LIST_LOCK_ASSERT();
  95
  96         if (llt->llt_ifp->if_flags & IFF_LOOPBACK)
  97                 return (0);
  98         error = 0;
  99
 100         NET_EPOCH_ENTER(et);
 101         error = lltable_foreach_lle(llt,
 102             (llt_foreach_cb_t *)llt->llt_dump_entry, wr);
 103         NET_EPOCH_EXIT(et);
 104
 105         return (error);
 106 }
 107
 108 /*
 109  * Dump arp state for a specific address family.
 110  */
 111 int
 112 lltable_sysctl_dumparp(int af, struct sysctl_req *wr)
 113 {
 114         struct lltable *llt;
 115         int error = 0;
 116
 117         LLTABLE_LIST_RLOCK();
 118         SLIST_FOREACH(llt, &V_lltables, llt_link) {
 119                 if (llt->llt_af == af) {
 120                         error = lltable_dump_af(llt, wr);
 121                         if (error != 0)
 122                                 goto done;
 123                 }
 124         }
 125 done:
 126         LLTABLE_LIST_RUNLOCK();
 127         return (error);
 128 }
 129
 130 /*
 131  * Common function helpers for chained hash table.
 132  */
 133
 134 /*
 135  * Runs specified callback for each entry in @llt.
 136  * Caller does the locking.
 137  *
 138  */
 139 static int
 140 htable_foreach_lle(struct lltable *llt, llt_foreach_cb_t *f, void *farg)
 141 {
 142         struct llentry *lle, *next;
 143         int i, error;
 144
 145         error = 0;
 146
 147         for (i = 0; i < llt->llt_hsize; i++) {
 148                 CK_LIST_FOREACH_SAFE(lle, &llt->lle_head[i], lle_next, next) {
 149                         error = f(llt, lle, farg);
 150                         if (error != 0)
 151                                 break;
 152                 }
 153         }
 154
 155         return (error);
 156 }
 157
 158 /*
 159  * The htable_[un]link_entry() functions return:
 160  * 0 if the entry was (un)linked already and nothing changed,
 161  * 1 if the entry was added/removed to/from the table, and
 162  * -1 on error (e.g., not being able to add the entry due to limits reached).
 163  * While the "unlink" operation should never error, callers of
 164  * lltable_link_entry() need to check for errors and handle them.
 165  */
 166 static int
 167 htable_link_entry(struct lltable *llt, struct llentry *lle)
 168 {
 169         struct llentries *lleh;
 170         uint32_t hashidx;
 171
 172         if ((lle->la_flags & LLE_LINKED) != 0)
 173                 return (0);
 174
 175         IF_AFDATA_WLOCK_ASSERT(llt->llt_ifp);
 176
 177         if (llt->llt_maxentries > 0 &&
 178             llt->llt_entries >= llt->llt_maxentries)
 179                 return (-1);
 180
 181         hashidx = llt->llt_hash(lle, llt->llt_hsize);
 182         lleh = &llt->lle_head[hashidx];
 183
 184         lle->lle_tbl  = llt;
 185         lle->lle_head = lleh;
 186         lle->la_flags |= LLE_LINKED;
 187         CK_LIST_INSERT_HEAD(lleh, lle, lle_next);
 188         llt->llt_entries++;
 189
 190         return (1);
 191 }
 192
 193 static int
 194 htable_unlink_entry(struct llentry *lle)
 195 {
 196         struct lltable *llt;
 197
 198         if ((lle->la_flags & LLE_LINKED) == 0)
 199                 return (0);
 200
 201         llt = lle->lle_tbl;
 202         IF_AFDATA_WLOCK_ASSERT(llt->llt_ifp);
 203         KASSERT(llt->llt_entries > 0, ("%s: lltable %p (%s) entries %d <= 0",
 204             __func__, llt, if_name(llt->llt_ifp), llt->llt_entries));
 205
 206         CK_LIST_REMOVE(lle, lle_next);
 207         lle->la_flags &= ~(LLE_VALID | LLE_LINKED);
 208 #if 0
 209         lle->lle_tbl = NULL;
 210         lle->lle_head = NULL;
 211 #endif
 212         llt->llt_entries--;
 213
 214         return (1);
 215 }
 216
 217 struct prefix_match_data {
 218         const struct sockaddr *addr;
 219         const struct sockaddr *mask;
 220         struct llentries dchain;
 221         u_int flags;
 222 };
 223
 224 static int
 225 htable_prefix_free_cb(struct lltable *llt, struct llentry *lle, void *farg)
 226 {
 227         struct prefix_match_data *pmd;
 228
 229         pmd = (struct prefix_match_data *)farg;
 230
 231         if (llt->llt_match_prefix(pmd->addr, pmd->mask, pmd->flags, lle)) {
 232                 LLE_WLOCK(lle);
 233                 CK_LIST_INSERT_HEAD(&pmd->dchain, lle, lle_chain);
 234         }
 235
 236         return (0);
 237 }
 238
 239 static void
 240 htable_prefix_free(struct lltable *llt, const struct sockaddr *addr,
 241     const struct sockaddr *mask, u_int flags)
 242 {
 243         struct llentry *lle, *next;
 244         struct prefix_match_data pmd;
 245
 246         bzero(&pmd, sizeof(pmd));
 247         pmd.addr = addr;
 248         pmd.mask = mask;
 249         pmd.flags = flags;
 250         CK_LIST_INIT(&pmd.dchain);
 251
 252         IF_AFDATA_WLOCK(llt->llt_ifp);
 253         /* Push matching lles to chain */
 254         lltable_foreach_lle(llt, htable_prefix_free_cb, &pmd);
 255
 256         llentries_unlink(llt, &pmd.dchain);
 257         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 258
 259         CK_LIST_FOREACH_SAFE(lle, &pmd.dchain, lle_chain, next)
 260                 lltable_free_entry(llt, lle);
 261 }
 262
 263 static void
 264 htable_free_tbl(struct lltable *llt)
 265 {
 266
 267         free(llt->lle_head, M_LLTABLE);
 268         free(llt, M_LLTABLE);
 269 }
 270
 271 static void
 272 llentries_unlink(struct lltable *llt, struct llentries *head)
 273 {
 274         struct llentry *lle, *next;
 275
 276         CK_LIST_FOREACH_SAFE(lle, head, lle_chain, next)
 277                 llt->llt_unlink_entry(lle);
 278 }
 279
 280 /*
 281  * Helper function used to drop all mbufs in hold queue.
 282  *
 283  * Returns the number of held packets, if any, that were dropped.
 284  */
 285 size_t
 286 lltable_drop_entry_queue(struct llentry *lle)
 287 {
 288         size_t pkts_dropped;
 289         struct mbuf *next;
 290
 291         LLE_WLOCK_ASSERT(lle);
 292
 293         pkts_dropped = 0;
 294         while ((lle->la_numheld > 0) && (lle->la_hold != NULL)) {
 295                 next = lle->la_hold->m_nextpkt;
 296                 m_freem(lle->la_hold);
 297                 lle->la_hold = next;
 298                 lle->la_numheld--;
 299                 pkts_dropped++;
 300         }
 301
 302         KASSERT(lle->la_numheld == 0,
 303                 ("%s: la_numheld %d > 0, pkts_droped %zd", __func__,
 304                  lle->la_numheld, pkts_dropped));
 305
 306         return (pkts_dropped);
 307 }
 308
 309 void
 310 lltable_set_entry_addr(struct ifnet *ifp, struct llentry *lle,
 311     const char *linkhdr, size_t linkhdrsize, int lladdr_off)
 312 {
 313
 314         memcpy(lle->r_linkdata, linkhdr, linkhdrsize);
 315         lle->r_hdrlen = linkhdrsize;
 316         lle->ll_addr = &lle->r_linkdata[lladdr_off];
 317         lle->la_flags |= LLE_VALID;
 318         lle->r_flags |= RLLE_VALID;
 319 }
 320
 321 /*
 322  * Acquires lltable write lock.
 323  *
 324  * Returns true on success, with both lltable and lle lock held.
 325  * On failure, false is returned and lle wlock is still held.
 326  */
 327 bool
 328 lltable_acquire_wlock(struct ifnet *ifp, struct llentry *lle)
 329 {
 330         NET_EPOCH_ASSERT();
 331
 332         /* Perform real LLE update */
 333         /* use afdata WLOCK to update fields */
 334         LLE_WUNLOCK(lle);
 335         IF_AFDATA_WLOCK(ifp);
 336         LLE_WLOCK(lle);
 337
 338         /*
 339          * Since we droppped LLE lock, other thread might have deleted
 340          * this lle. Check and return
 341          */
 342         if ((lle->la_flags & LLE_DELETED) != 0) {
 343                 IF_AFDATA_WUNLOCK(ifp);
 344                 return (false);
 345         }
 346
 347         return (true);
 348 }
 349
 350 /*
 351  * Tries to update @lle link-level address.
 352  * Since update requires AFDATA WLOCK, function
 353  * drops @lle lock, acquires AFDATA lock and then acquires
 354  * @lle lock to maintain lock order.
 355  *
 356  * Returns 1 on success.
 357  */
 358 int
 359 lltable_try_set_entry_addr(struct ifnet *ifp, struct llentry *lle,
 360     const char *linkhdr, size_t linkhdrsize, int lladdr_off)
 361 {
 362
 363         if (!lltable_acquire_wlock(ifp, lle))
 364                 return (0);
 365
 366         /* Update data */
 367         lltable_set_entry_addr(ifp, lle, linkhdr, linkhdrsize, lladdr_off);
 368
 369         IF_AFDATA_WUNLOCK(ifp);
 370
 371         return (1);
 372 }
 373
 374  /*
 375  * Helper function used to pre-compute full/partial link-layer
 376  * header data suitable for feeding into if_output().
 377  */
 378 int
 379 lltable_calc_llheader(struct ifnet *ifp, int family, char *lladdr,
 380     char *buf, size_t *bufsize, int *lladdr_off)
 381 {
 382         struct if_encap_req ereq;
 383         int error;
 384
 385         bzero(buf, *bufsize);
 386         bzero(&ereq, sizeof(ereq));
 387         ereq.buf = buf;
 388         ereq.bufsize = *bufsize;
 389         ereq.rtype = IFENCAP_LL;
 390         ereq.family = family;
 391         ereq.lladdr = lladdr;
 392         ereq.lladdr_len = ifp->if_addrlen;
 393         error = ifp->if_requestencap(ifp, &ereq);
 394         if (error == 0) {
 395                 *bufsize = ereq.bufsize;
 396                 *lladdr_off = ereq.lladdr_off;
 397         }
 398
 399         return (error);
 400 }
 401
 402 /*
 403  * Searches for the child entry matching @family inside @lle.
 404  * Returns the entry or NULL.
 405  */
 406 struct llentry *
 407 llentry_lookup_family(struct llentry *lle, int family)
 408 {
 409         struct llentry *child_lle;
 410
 411         if (lle == NULL)
 412                 return (NULL);
 413
 414         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 415                 if (child_lle->r_family == family)
 416                         return (child_lle);
 417         }
 418
 419         return (NULL);
 420 }
 421
 422 /*
 423  * Retrieves upper protocol family for the llentry.
 424  * By default, all "normal" (e.g. upper_family == transport_family)
 425  * llentries have r_family set to 0.
 426  * Thus, use @default_family in that regard, otherwise use r_family.
 427  *
 428  * Returns upper protocol family
 429  */
 430 int
 431 llentry_get_upper_family(const struct llentry *lle, int default_family)
 432 {
 433         return (lle->r_family == 0 ? default_family : lle->r_family);
 434 }
 435
 436 /*
 437  * Prints llentry @lle data into provided buffer.
 438  * Example: lle/inet/valid/em0/1.2.3.4
 439  *
 440  * Returns @buf.
 441  */
 442 char *
 443 llentry_print_buf(const struct llentry *lle, struct ifnet *ifp, int family,
 444     char *buf, size_t bufsize)
 445 {
 446 #if defined(INET) || defined(INET6)
 447         char abuf[INET6_ADDRSTRLEN];
 448 #endif
 449
 450         const char *valid = (lle->r_flags & RLLE_VALID) ? "valid" : "no_l2";
 451         const char *upper_str = rib_print_family(llentry_get_upper_family(lle, family));
 452
 453         switch (family) {
 454 #ifdef INET
 455         case AF_INET:
 456                 inet_ntop(AF_INET, &lle->r_l3addr.addr4, abuf, sizeof(abuf));
 457                 snprintf(buf, bufsize, "lle/%s/%s/%s/%s", upper_str,
 458                     valid, if_name(ifp), abuf);
 459                 break;
 460 #endif
 461 #ifdef INET6
 462         case AF_INET6:
 463                 inet_ntop(AF_INET6, &lle->r_l3addr.addr6, abuf, sizeof(abuf));
 464                 snprintf(buf, bufsize, "lle/%s/%s/%s/%s", upper_str,
 465                     valid, if_name(ifp), abuf);
 466                 break;
 467 #endif
 468         default:
 469                 snprintf(buf, bufsize, "lle/%s/%s/%s/????", upper_str,
 470                     valid, if_name(ifp));
 471                 break;
 472         }
 473
 474         return (buf);
 475 }
 476
 477 char *
 478 llentry_print_buf_lltable(const struct llentry *lle, char *buf, size_t bufsize)
 479 {
 480         struct lltable *tbl = lle->lle_tbl;
 481
 482         return (llentry_print_buf(lle, lltable_get_ifp(tbl), lltable_get_af(tbl), buf, bufsize));
 483 }
 484
 485 /*
 486  * Requests feedback from the datapath.
 487  * First packet using @lle should result in
 488  * setting r_skip_req back to 0 and updating
 489  * lle_hittime to the current time_uptime.
 490  */
 491 void
 492 llentry_request_feedback(struct llentry *lle)
 493 {
 494         struct llentry *child_lle;
 495
 496         LLE_REQ_LOCK(lle);
 497         lle->r_skip_req = 1;
 498         LLE_REQ_UNLOCK(lle);
 499
 500         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 501                 LLE_REQ_LOCK(child_lle);
 502                 child_lle->r_skip_req = 1;
 503                 LLE_REQ_UNLOCK(child_lle);
 504         }
 505 }
 506
 507 /*
 508  * Updates the lle state to mark it has been used
 509  * and record the time.
 510  * Used by the llentry_provide_feedback() wrapper.
 511  */
 512 void
 513 llentry_mark_used(struct llentry *lle)
 514 {
 515         LLE_REQ_LOCK(lle);
 516         lle->r_skip_req = 0;
 517         lle->lle_hittime = time_uptime;
 518         LLE_REQ_UNLOCK(lle);
 519 }
 520
 521 /*
 522  * Fetches the time when lle was used.
 523  * Return 0 if the entry was not used, relevant time_uptime
 524  *  otherwise.
 525  */
 526 static time_t
 527 llentry_get_hittime_raw(struct llentry *lle)
 528 {
 529         time_t lle_hittime = 0;
 530
 531         LLE_REQ_LOCK(lle);
 532         if ((lle->r_skip_req == 0) && (lle_hittime < lle->lle_hittime))
 533                 lle_hittime = lle->lle_hittime;
 534         LLE_REQ_UNLOCK(lle);
 535
 536         return (lle_hittime);
 537 }
 538
 539 time_t
 540 llentry_get_hittime(struct llentry *lle)
 541 {
 542         time_t lle_hittime = 0;
 543         struct llentry *child_lle;
 544
 545         lle_hittime = llentry_get_hittime_raw(lle);
 546
 547         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 548                 time_t hittime = llentry_get_hittime_raw(child_lle);
 549                 if (hittime > lle_hittime)
 550                         lle_hittime = hittime;
 551         }
 552
 553         return (lle_hittime);
 554 }
 555
 556 /*
 557  * Update link-layer header for given @lle after
 558  * interface lladdr was changed.
 559  */
 560 static int
 561 llentry_update_ifaddr(struct lltable *llt, struct llentry *lle, void *farg)
 562 {
 563         struct ifnet *ifp;
 564         u_char linkhdr[LLE_MAX_LINKHDR];
 565         size_t linkhdrsize;
 566         u_char *lladdr;
 567         int lladdr_off;
 568
 569         ifp = (struct ifnet *)farg;
 570
 571         lladdr = lle->ll_addr;
 572
 573         LLE_WLOCK(lle);
 574         if ((lle->la_flags & LLE_VALID) == 0) {
 575                 LLE_WUNLOCK(lle);
 576                 return (0);
 577         }
 578
 579         if ((lle->la_flags & LLE_IFADDR) != 0)
 580                 lladdr = IF_LLADDR(ifp);
 581
 582         linkhdrsize = sizeof(linkhdr);
 583         lltable_calc_llheader(ifp, llt->llt_af, lladdr, linkhdr, &linkhdrsize,
 584             &lladdr_off);
 585         memcpy(lle->r_linkdata, linkhdr, linkhdrsize);
 586         LLE_WUNLOCK(lle);
 587
 588         return (0);
 589 }
 590
 591 /*
 592  * Update all calculated headers for given @llt
 593  */
 594 void
 595 lltable_update_ifaddr(struct lltable *llt)
 596 {
 597
 598         if (llt->llt_ifp->if_flags & IFF_LOOPBACK)
 599                 return;
 600
 601         IF_AFDATA_WLOCK(llt->llt_ifp);
 602         lltable_foreach_lle(llt, llentry_update_ifaddr, llt->llt_ifp);
 603         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 604 }
 605
 606 /*
 607  *
 608  * Performs generic cleanup routines and frees lle.
 609  *
 610  * Called for non-linked entries, with callouts and
 611  * other AF-specific cleanups performed.
 612  *
 613  * @lle must be passed WLOCK'ed
 614  *
 615  * Returns the number of held packets, if any, that were dropped.
 616  */
 617 size_t
 618 llentry_free(struct llentry *lle)
 619 {
 620         size_t pkts_dropped;
 621
 622         LLE_WLOCK_ASSERT(lle);
 623
 624         KASSERT((lle->la_flags & LLE_LINKED) == 0, ("freeing linked lle"));
 625
 626         pkts_dropped = lltable_drop_entry_queue(lle);
 627
 628         /* cancel timer */
 629         if (callout_stop(&lle->lle_timer) > 0)
 630                 LLE_REMREF(lle);
 631         LLE_FREE_LOCKED(lle);
 632
 633         return (pkts_dropped);
 634 }
 635
 636 /*
 637  * Free all entries from given table and free itself.
 638  */
 639
 640 static int
 641 lltable_free_cb(struct lltable *llt, struct llentry *lle, void *farg)
 642 {
 643         struct llentries *dchain;
 644
 645         dchain = (struct llentries *)farg;
 646
 647         LLE_WLOCK(lle);
 648         CK_LIST_INSERT_HEAD(dchain, lle, lle_chain);
 649
 650         return (0);
 651 }
 652
 653 /*
 654  * Free all entries from given table and free itself.
 655  */
 656 void
 657 lltable_free(struct lltable *llt)
 658 {
 659         struct llentry *lle, *next;
 660         struct llentries dchain;
 661
 662         KASSERT(llt != NULL, ("%s: llt is NULL", __func__));
 663
 664         lltable_unlink(llt);
 665
 666         CK_LIST_INIT(&dchain);
 667         IF_AFDATA_WLOCK(llt->llt_ifp);
 668         /* Push all lles to @dchain */
 669         lltable_foreach_lle(llt, lltable_free_cb, &dchain);
 670         llentries_unlink(llt, &dchain);
 671         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 672
 673         CK_LIST_FOREACH_SAFE(lle, &dchain, lle_chain, next) {
 674                 llentry_free(lle);
 675         }
 676
 677         KASSERT(llt->llt_entries == 0, ("%s: lltable %p (%s) entires not 0: %d",
 678             __func__, llt, llt->llt_ifp->if_xname, llt->llt_entries));
 679
 680         llt->llt_free_tbl(llt);
 681 }
 682
 683 /*
 684  * Deletes an address from given lltable.
 685  * Used for userland interaction to remove
 686  * individual entries. Skips entries added by OS.
 687  */
 688 int
 689 lltable_delete_addr(struct lltable *llt, u_int flags,
 690     const struct sockaddr *l3addr)
 691 {
 692         struct llentry *lle;
 693         struct ifnet *ifp;
 694
 695         ifp = llt->llt_ifp;
 696         IF_AFDATA_WLOCK(ifp);
 697         lle = lla_lookup(llt, LLE_SF(l3addr->sa_family, LLE_EXCLUSIVE), l3addr);
 698
 699         if (lle == NULL) {
 700                 IF_AFDATA_WUNLOCK(ifp);
 701                 return (ENOENT);
 702         }
 703         if ((lle->la_flags & LLE_IFADDR) != 0 && (flags & LLE_IFADDR) == 0) {
 704                 IF_AFDATA_WUNLOCK(ifp);
 705                 LLE_WUNLOCK(lle);
 706                 return (EPERM);
 707         }
 708
 709         lltable_unlink_entry(llt, lle);
 710         IF_AFDATA_WUNLOCK(ifp);
 711
 712         llt->llt_delete_entry(llt, lle);
 713
 714         return (0);
 715 }
 716
 717 void
 718 lltable_prefix_free(int af, struct sockaddr *addr, struct sockaddr *mask,
 719     u_int flags)
 720 {
 721         struct lltable *llt;
 722
 723         LLTABLE_LIST_RLOCK();
 724         SLIST_FOREACH(llt, &V_lltables, llt_link) {
 725                 if (llt->llt_af != af)
 726                         continue;
 727
 728                 llt->llt_prefix_free(llt, addr, mask, flags);
 729         }
 730         LLTABLE_LIST_RUNLOCK();
 731 }
 732
 733 struct lltable *
 734 lltable_allocate_htbl(uint32_t hsize)
 735 {
 736         struct lltable *llt;
 737         int i;
 738
 739         llt = malloc(sizeof(struct lltable), M_LLTABLE, M_WAITOK | M_ZERO);
 740         llt->llt_hsize = hsize;
 741         llt->lle_head = malloc(sizeof(struct llentries) * hsize,
 742             M_LLTABLE, M_WAITOK | M_ZERO);
 743
 744         for (i = 0; i < llt->llt_hsize; i++)
 745                 CK_LIST_INIT(&llt->lle_head[i]);
 746
 747         /* Set some default callbacks */
 748         llt->llt_link_entry = htable_link_entry;
 749         llt->llt_unlink_entry = htable_unlink_entry;
 750         llt->llt_prefix_free = htable_prefix_free;
 751         llt->llt_foreach_entry = htable_foreach_lle;
 752         llt->llt_free_tbl = htable_free_tbl;
 753
 754         return (llt);
 755 }
 756
 757 /*
 758  * Links lltable to global llt list.
 759  */
 760 void
 761 lltable_link(struct lltable *llt)
 762 {
 763
 764         LLTABLE_LIST_WLOCK();
 765         SLIST_INSERT_HEAD(&V_lltables, llt, llt_link);
 766         LLTABLE_LIST_WUNLOCK();
 767 }
 768
 769 static void
 770 lltable_unlink(struct lltable *llt)
 771 {
 772
 773         LLTABLE_LIST_WLOCK();
 774         SLIST_REMOVE(&V_lltables, llt, lltable, llt_link);
 775         LLTABLE_LIST_WUNLOCK();
 776
 777 }
 778
 779 /*
 780  * Gets interface @ifp lltable for the specified @family
 781  */
 782 struct lltable *
 783 lltable_get(struct ifnet *ifp, int family)
 784 {
 785         switch (family) {
 786 #ifdef INET
 787         case AF_INET:
 788                 return (in_lltable_get(ifp));
 789 #endif
 790 #ifdef INET6
 791         case AF_INET6:
 792                 return (in6_lltable_get(ifp));
 793 #endif
 794         }
 795
 796         return (NULL);
 797 }
 798
 799 /*
 800  * External methods used by lltable consumers
 801  */
 802
 803 int
 804 lltable_foreach_lle(struct lltable *llt, llt_foreach_cb_t *f, void *farg)
 805 {
 806
 807         return (llt->llt_foreach_entry(llt, f, farg));
 808 }
 809
 810 struct llentry *
 811 lltable_alloc_entry(struct lltable *llt, u_int flags,
 812     const struct sockaddr *l3addr)
 813 {
 814
 815         return (llt->llt_alloc_entry(llt, flags, l3addr));
 816 }
 817
 818 void
 819 lltable_free_entry(struct lltable *llt, struct llentry *lle)
 820 {
 821
 822         llt->llt_free_entry(llt, lle);
 823 }
 824
 825 int
 826 lltable_link_entry(struct lltable *llt, struct llentry *lle)
 827 {
 828
 829         return (llt->llt_link_entry(llt, lle));
 830 }
 831
 832 void
 833 lltable_link_child_entry(struct llentry *lle, struct llentry *child_lle)
 834 {
 835         child_lle->lle_parent = lle;
 836         child_lle->lle_tbl = lle->lle_tbl;
 837         child_lle->la_flags |= LLE_LINKED;
 838         CK_SLIST_INSERT_HEAD(&lle->lle_children, child_lle, lle_child_next);
 839 }
 840
 841 void
 842 lltable_unlink_child_entry(struct llentry *child_lle)
 843 {
 844         struct llentry *lle = child_lle->lle_parent;
 845
 846         child_lle->la_flags &= ~LLE_LINKED;
 847         child_lle->lle_parent = NULL;
 848         CK_SLIST_REMOVE(&lle->lle_children, child_lle, llentry, lle_child_next);
 849 }
 850
 851 int
 852 lltable_unlink_entry(struct lltable *llt, struct llentry *lle)
 853 {
 854
 855         return (llt->llt_unlink_entry(lle));
 856 }
 857
 858 void
 859 lltable_fill_sa_entry(const struct llentry *lle, struct sockaddr *sa)
 860 {
 861         struct lltable *llt;
 862
 863         llt = lle->lle_tbl;
 864         llt->llt_fill_sa_entry(lle, sa);
 865 }
 866
 867 struct ifnet *
 868 lltable_get_ifp(const struct lltable *llt)
 869 {
 870
 871         return (llt->llt_ifp);
 872 }
 873
 874 int
 875 lltable_get_af(const struct lltable *llt)
 876 {
 877
 878         return (llt->llt_af);
 879 }
 880
 881 /*
 882  * Called in route_output when rtm_flags contains RTF_LLDATA.
 883  */
 884 int
 885 lla_rt_output(struct rt_msghdr *rtm, struct rt_addrinfo *info)
 886 {
 887         struct sockaddr_dl *dl =
 888             (struct sockaddr_dl *)info->rti_info[RTAX_GATEWAY];
 889         struct sockaddr *dst = (struct sockaddr *)info->rti_info[RTAX_DST];
 890         struct ifnet *ifp;
 891         struct lltable *llt;
 892         struct llentry *lle, *lle_tmp;
 893         uint8_t linkhdr[LLE_MAX_LINKHDR];
 894         size_t linkhdrsize;
 895         int lladdr_off;
 896         u_int laflags = 0;
 897         int error;
 898
 899         if (dl == NULL || dl->sdl_family != AF_LINK)
 900                 return (EINVAL);
 901
 902         /* XXX: should be ntohs() */
 903         ifp = ifnet_byindex(dl->sdl_index);
 904         if (ifp == NULL) {
 905                 log(LOG_INFO, "%s: invalid ifp (sdl_index %d)\n",
 906                     __func__, dl->sdl_index);
 907                 return EINVAL;
 908         }
 909
 910         llt = lltable_get(ifp, dst->sa_family);
 911
 912         if (llt == NULL)
 913                 return (ESRCH);
 914
 915         error = 0;
 916
 917         switch (rtm->rtm_type) {
 918         case RTM_ADD:
 919                 /* Add static LLE */
 920                 laflags = 0;
 921                 if (rtm->rtm_rmx.rmx_expire == 0)
 922                         laflags = LLE_STATIC;
 923                 lle = lltable_alloc_entry(llt, laflags, dst);
 924                 if (lle == NULL)
 925                         return (ENOMEM);
 926
 927                 linkhdrsize = sizeof(linkhdr);
 928                 if (lltable_calc_llheader(ifp, dst->sa_family, LLADDR(dl),
 929                     linkhdr, &linkhdrsize, &lladdr_off) != 0)
 930                         return (EINVAL);
 931                 lltable_set_entry_addr(ifp, lle, linkhdr, linkhdrsize,
 932                     lladdr_off);
 933                 if ((rtm->rtm_flags & RTF_ANNOUNCE))
 934                         lle->la_flags |= LLE_PUB;
 935                 lle->la_expire = rtm->rtm_rmx.rmx_expire;
 936
 937                 laflags = lle->la_flags;
 938
 939                 /* Try to link new entry */
 940                 lle_tmp = NULL;
 941                 IF_AFDATA_WLOCK(ifp);
 942                 LLE_WLOCK(lle);
 943                 lle_tmp = lla_lookup(llt, LLE_EXCLUSIVE, dst);
 944                 if (lle_tmp != NULL) {
 945                         /* Check if we are trying to replace immutable entry */
 946                         if ((lle_tmp->la_flags & LLE_IFADDR) != 0) {
 947                                 IF_AFDATA_WUNLOCK(ifp);
 948                                 LLE_WUNLOCK(lle_tmp);
 949                                 lltable_free_entry(llt, lle);
 950                                 return (EPERM);
 951                         }
 952                         /* Unlink existing entry from table */
 953                         lltable_unlink_entry(llt, lle_tmp);
 954                 }
 955                 lltable_link_entry(llt, lle);
 956                 IF_AFDATA_WUNLOCK(ifp);
 957
 958                 if (lle_tmp != NULL) {
 959                         EVENTHANDLER_INVOKE(lle_event, lle_tmp,LLENTRY_EXPIRED);
 960                         lltable_free_entry(llt, lle_tmp);
 961                 }
 962
 963                 /*
 964                  * By invoking LLE handler here we might get
 965                  * two events on static LLE entry insertion
 966                  * in routing socket. However, since we might have
 967                  * other subscribers we need to generate this event.
 968                  */
 969                 EVENTHANDLER_INVOKE(lle_event, lle, LLENTRY_RESOLVED);
 970                 LLE_WUNLOCK(lle);
 971 #ifdef INET
 972                 /* gratuitous ARP */
 973                 if ((laflags & LLE_PUB) && dst->sa_family == AF_INET)
 974                         arprequest(ifp,
 975                             &((struct sockaddr_in *)dst)->sin_addr,
 976                             &((struct sockaddr_in *)dst)->sin_addr,
 977                             (u_char *)LLADDR(dl));
 978 #endif
 979
 980                 break;
 981
 982         case RTM_DELETE:
 983                 return (lltable_delete_addr(llt, 0, dst));
 984
 985         default:
 986                 error = EINVAL;
 987         }
 988
 989         return (error);
 990 }
 991
 992 #ifdef DDB
 993 struct llentry_sa {
 994         struct llentry          base;
 995         struct sockaddr         l3_addr;
 996 };
 997
 998 static void
 999 llatbl_lle_show(struct llentry_sa *la)
1000 {
1001         struct llentry *lle;
1002         uint8_t octet[6];
1003
1004         lle = &la->base;
1005         db_printf("lle=%p\n", lle);
1006         db_printf(" lle_next=%p\n", lle->lle_next.cle_next);
1007         db_printf(" lle_lock=%p\n", &lle->lle_lock);
1008         db_printf(" lle_tbl=%p\n", lle->lle_tbl);
1009         db_printf(" lle_head=%p\n", lle->lle_head);
1010         db_printf(" la_hold=%p\n", lle->la_hold);
1011         db_printf(" la_numheld=%d\n", lle->la_numheld);
1012         db_printf(" la_expire=%ju\n", (uintmax_t)lle->la_expire);
1013         db_printf(" la_flags=0x%04x\n", lle->la_flags);
1014         db_printf(" la_asked=%u\n", lle->la_asked);
1015         db_printf(" la_preempt=%u\n", lle->la_preempt);
1016         db_printf(" ln_state=%d\n", lle->ln_state);
1017         db_printf(" ln_router=%u\n", lle->ln_router);
1018         db_printf(" ln_ntick=%ju\n", (uintmax_t)lle->ln_ntick);
1019         db_printf(" lle_refcnt=%d\n", lle->lle_refcnt);
1020         bcopy(lle->ll_addr, octet, sizeof(octet));
1021         db_printf(" ll_addr=%02x:%02x:%02x:%02x:%02x:%02x\n",
1022             octet[0], octet[1], octet[2], octet[3], octet[4], octet[5]);
1023         db_printf(" lle_timer=%p\n", &lle->lle_timer);
1024
1025         switch (la->l3_addr.sa_family) {
1026 #ifdef INET
1027         case AF_INET:
1028         {
1029                 struct sockaddr_in *sin;
1030                 char l3s[INET_ADDRSTRLEN];
1031
1032                 sin = (struct sockaddr_in *)&la->l3_addr;
1033                 inet_ntoa_r(sin->sin_addr, l3s);
1034                 db_printf(" l3_addr=%s\n", l3s);
1035                 break;
1036         }
1037 #endif
1038 #ifdef INET6
1039         case AF_INET6:
1040         {
1041                 struct sockaddr_in6 *sin6;
1042                 char l3s[INET6_ADDRSTRLEN];
1043
1044                 sin6 = (struct sockaddr_in6 *)&la->l3_addr;
1045                 ip6_sprintf(l3s, &sin6->sin6_addr);
1046                 db_printf(" l3_addr=%s\n", l3s);
1047                 break;
1048         }
1049 #endif
1050         default:
1051                 db_printf(" l3_addr=N/A (af=%d)\n", la->l3_addr.sa_family);
1052                 break;
1053         }
1054 }
1055
1056 DB_SHOW_COMMAND(llentry, db_show_llentry)
1057 {
1058
1059         if (!have_addr) {
1060                 db_printf("usage: show llentry <struct llentry *>\n");
1061                 return;
1062         }
1063
1064         llatbl_lle_show((struct llentry_sa *)addr);
1065 }
1066
1067 static void
1068 llatbl_llt_show(struct lltable *llt)
1069 {
1070         int i;
1071         struct llentry *lle;
1072
1073         db_printf("llt=%p llt_af=%d llt_ifp=%p\n",
1074             llt, llt->llt_af, llt->llt_ifp);
1075
1076         for (i = 0; i < llt->llt_hsize; i++) {
1077                 CK_LIST_FOREACH(lle, &llt->lle_head[i], lle_next) {
1078                         llatbl_lle_show((struct llentry_sa *)lle);
1079                         if (db_pager_quit)
1080                                 return;
1081                 }
1082         }
1083 }
1084
1085 DB_SHOW_COMMAND(lltable, db_show_lltable)
1086 {
1087
1088         if (!have_addr) {
1089                 db_printf("usage: show lltable <struct lltable *>\n");
1090                 return;
1091         }
1092
1093         llatbl_llt_show((struct lltable *)addr);
1094 }
1095
1096 DB_SHOW_ALL_COMMAND(lltables, db_show_all_lltables)
1097 {
1098         VNET_ITERATOR_DECL(vnet_iter);
1099         struct lltable *llt;
1100
1101         VNET_FOREACH(vnet_iter) {
1102                 CURVNET_SET_QUIET(vnet_iter);
1103 #ifdef VIMAGE
1104                 db_printf("vnet=%p\n", curvnet);
1105 #endif
1106                 SLIST_FOREACH(llt, &V_lltables, llt_link) {
1107                         db_printf("llt=%p llt_af=%d llt_ifp=%p(%s)\n",
1108                             llt, llt->llt_af, llt->llt_ifp,
1109                             (llt->llt_ifp != NULL) ?
1110                                 llt->llt_ifp->if_xname : "?");
1111                         if (have_addr && addr != 0) /* verbose */
1112                                 llatbl_llt_show(llt);
1113                         if (db_pager_quit) {
1114                                 CURVNET_RESTORE();
1115                                 return;
1116                         }
1117                 }
1118                 CURVNET_RESTORE();
1119         }
1120 }
1121 #endif