sys/net/if_llatbl.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 2004 Luigi Rizzo, Alessandro Cerri. All rights reserved.
   5  * Copyright (c) 2004-2008 Qing Li. All rights reserved.
   6  * Copyright (c) 2008 Kip Macy. All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL AUTHOR OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  */
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include "opt_ddb.h"
  33 #include "opt_inet.h"
  34 #include "opt_inet6.h"
  35
  36 #include <sys/param.h>
  37 #include <sys/systm.h>
  38 #include <sys/eventhandler.h>
  39 #include <sys/malloc.h>
  40 #include <sys/mbuf.h>
  41 #include <sys/syslog.h>
  42 #include <sys/sysctl.h>
  43 #include <sys/socket.h>
  44 #include <sys/kernel.h>
  45 #include <sys/lock.h>
  46 #include <sys/mutex.h>
  47 #include <sys/rwlock.h>
  48
  49 #ifdef DDB
  50 #include <ddb/ddb.h>
  51 #endif
  52
  53 #include <vm/uma.h>
  54
  55 #include <netinet/in.h>
  56 #include <net/if_llatbl.h>
  57 #include <net/if.h>
  58 #include <net/if_dl.h>
  59 #include <net/if_var.h>
  60 #include <net/route.h>
  61 #include <net/route/route_ctl.h>
  62 #include <net/vnet.h>
  63 #include <netinet/if_ether.h>
  64 #include <netinet6/in6_var.h>
  65 #include <netinet6/nd6.h>
  66
  67 MALLOC_DEFINE(M_LLTABLE, "lltable", "link level address tables");
  68
  69 VNET_DEFINE_STATIC(SLIST_HEAD(, lltable), lltables) =
  70     SLIST_HEAD_INITIALIZER(lltables);
  71 #define V_lltables      VNET(lltables)
  72
  73 static struct rwlock lltable_list_lock;
  74 RW_SYSINIT(lltable_list_lock, &lltable_list_lock, "lltable_list_lock");
  75 #define LLTABLE_LIST_RLOCK()            rw_rlock(&lltable_list_lock)
  76 #define LLTABLE_LIST_RUNLOCK()          rw_runlock(&lltable_list_lock)
  77 #define LLTABLE_LIST_WLOCK()            rw_wlock(&lltable_list_lock)
  78 #define LLTABLE_LIST_WUNLOCK()          rw_wunlock(&lltable_list_lock)
  79 #define LLTABLE_LIST_LOCK_ASSERT()      rw_assert(&lltable_list_lock, RA_LOCKED)
  80
  81 static void lltable_unlink(struct lltable *llt);
  82 static void llentries_unlink(struct lltable *llt, struct llentries *head);
  83
  84 /*
  85  * Dump lle state for a specific address family.
  86  */
  87 static int
  88 lltable_dump_af(struct lltable *llt, struct sysctl_req *wr)
  89 {
  90         struct epoch_tracker et;
  91         int error;
  92
  93         LLTABLE_LIST_LOCK_ASSERT();
  94
  95         if (llt->llt_ifp->if_flags & IFF_LOOPBACK)
  96                 return (0);
  97         error = 0;
  98
  99         NET_EPOCH_ENTER(et);
 100         error = lltable_foreach_lle(llt,
 101             (llt_foreach_cb_t *)llt->llt_dump_entry, wr);
 102         NET_EPOCH_EXIT(et);
 103
 104         return (error);
 105 }
 106
 107 /*
 108  * Dump arp state for a specific address family.
 109  */
 110 int
 111 lltable_sysctl_dumparp(int af, struct sysctl_req *wr)
 112 {
 113         struct lltable *llt;
 114         int error = 0;
 115
 116         LLTABLE_LIST_RLOCK();
 117         SLIST_FOREACH(llt, &V_lltables, llt_link) {
 118                 if (llt->llt_af == af) {
 119                         error = lltable_dump_af(llt, wr);
 120                         if (error != 0)
 121                                 goto done;
 122                 }
 123         }
 124 done:
 125         LLTABLE_LIST_RUNLOCK();
 126         return (error);
 127 }
 128
 129 /*
 130  * Common function helpers for chained hash table.
 131  */
 132
 133 /*
 134  * Runs specified callback for each entry in @llt.
 135  * Caller does the locking.
 136  *
 137  */
 138 static int
 139 htable_foreach_lle(struct lltable *llt, llt_foreach_cb_t *f, void *farg)
 140 {
 141         struct llentry *lle, *next;
 142         int i, error;
 143
 144         error = 0;
 145
 146         for (i = 0; i < llt->llt_hsize; i++) {
 147                 CK_LIST_FOREACH_SAFE(lle, &llt->lle_head[i], lle_next, next) {
 148                         error = f(llt, lle, farg);
 149                         if (error != 0)
 150                                 break;
 151                 }
 152         }
 153
 154         return (error);
 155 }
 156
 157 /*
 158  * The htable_[un]link_entry() functions return:
 159  * 0 if the entry was (un)linked already and nothing changed,
 160  * 1 if the entry was added/removed to/from the table, and
 161  * -1 on error (e.g., not being able to add the entry due to limits reached).
 162  * While the "unlink" operation should never error, callers of
 163  * lltable_link_entry() need to check for errors and handle them.
 164  */
 165 static int
 166 htable_link_entry(struct lltable *llt, struct llentry *lle)
 167 {
 168         struct llentries *lleh;
 169         uint32_t hashidx;
 170
 171         if ((lle->la_flags & LLE_LINKED) != 0)
 172                 return (0);
 173
 174         IF_AFDATA_WLOCK_ASSERT(llt->llt_ifp);
 175
 176         if (llt->llt_maxentries > 0 &&
 177             llt->llt_entries >= llt->llt_maxentries)
 178                 return (-1);
 179
 180         hashidx = llt->llt_hash(lle, llt->llt_hsize);
 181         lleh = &llt->lle_head[hashidx];
 182
 183         lle->lle_tbl  = llt;
 184         lle->lle_head = lleh;
 185         lle->la_flags |= LLE_LINKED;
 186         CK_LIST_INSERT_HEAD(lleh, lle, lle_next);
 187         llt->llt_entries++;
 188
 189         return (1);
 190 }
 191
 192 static int
 193 htable_unlink_entry(struct llentry *lle)
 194 {
 195         struct lltable *llt;
 196
 197         if ((lle->la_flags & LLE_LINKED) == 0)
 198                 return (0);
 199
 200         llt = lle->lle_tbl;
 201         IF_AFDATA_WLOCK_ASSERT(llt->llt_ifp);
 202         KASSERT(llt->llt_entries > 0, ("%s: lltable %p (%s) entries %d <= 0",
 203             __func__, llt, if_name(llt->llt_ifp), llt->llt_entries));
 204
 205         CK_LIST_REMOVE(lle, lle_next);
 206         lle->la_flags &= ~(LLE_VALID | LLE_LINKED);
 207 #if 0
 208         lle->lle_tbl = NULL;
 209         lle->lle_head = NULL;
 210 #endif
 211         llt->llt_entries--;
 212
 213         return (1);
 214 }
 215
 216 struct prefix_match_data {
 217         const struct sockaddr *addr;
 218         const struct sockaddr *mask;
 219         struct llentries dchain;
 220         u_int flags;
 221 };
 222
 223 static int
 224 htable_prefix_free_cb(struct lltable *llt, struct llentry *lle, void *farg)
 225 {
 226         struct prefix_match_data *pmd;
 227
 228         pmd = (struct prefix_match_data *)farg;
 229
 230         if (llt->llt_match_prefix(pmd->addr, pmd->mask, pmd->flags, lle)) {
 231                 LLE_WLOCK(lle);
 232                 CK_LIST_INSERT_HEAD(&pmd->dchain, lle, lle_chain);
 233         }
 234
 235         return (0);
 236 }
 237
 238 static void
 239 htable_prefix_free(struct lltable *llt, const struct sockaddr *addr,
 240     const struct sockaddr *mask, u_int flags)
 241 {
 242         struct llentry *lle, *next;
 243         struct prefix_match_data pmd;
 244
 245         bzero(&pmd, sizeof(pmd));
 246         pmd.addr = addr;
 247         pmd.mask = mask;
 248         pmd.flags = flags;
 249         CK_LIST_INIT(&pmd.dchain);
 250
 251         IF_AFDATA_WLOCK(llt->llt_ifp);
 252         /* Push matching lles to chain */
 253         lltable_foreach_lle(llt, htable_prefix_free_cb, &pmd);
 254
 255         llentries_unlink(llt, &pmd.dchain);
 256         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 257
 258         CK_LIST_FOREACH_SAFE(lle, &pmd.dchain, lle_chain, next)
 259                 lltable_free_entry(llt, lle);
 260 }
 261
 262 static void
 263 htable_free_tbl(struct lltable *llt)
 264 {
 265
 266         free(llt->lle_head, M_LLTABLE);
 267         free(llt, M_LLTABLE);
 268 }
 269
 270 static void
 271 llentries_unlink(struct lltable *llt, struct llentries *head)
 272 {
 273         struct llentry *lle, *next;
 274
 275         CK_LIST_FOREACH_SAFE(lle, head, lle_chain, next)
 276                 llt->llt_unlink_entry(lle);
 277 }
 278
 279 /*
 280  * Helper function used to drop all mbufs in hold queue.
 281  *
 282  * Returns the number of held packets, if any, that were dropped.
 283  */
 284 size_t
 285 lltable_drop_entry_queue(struct llentry *lle)
 286 {
 287         size_t pkts_dropped;
 288         struct mbuf *next;
 289
 290         LLE_WLOCK_ASSERT(lle);
 291
 292         pkts_dropped = 0;
 293         while ((lle->la_numheld > 0) && (lle->la_hold != NULL)) {
 294                 next = lle->la_hold->m_nextpkt;
 295                 m_freem(lle->la_hold);
 296                 lle->la_hold = next;
 297                 lle->la_numheld--;
 298                 pkts_dropped++;
 299         }
 300
 301         KASSERT(lle->la_numheld == 0,
 302                 ("%s: la_numheld %d > 0, pkts_droped %zd", __func__,
 303                  lle->la_numheld, pkts_dropped));
 304
 305         return (pkts_dropped);
 306 }
 307
 308 void
 309 lltable_set_entry_addr(struct ifnet *ifp, struct llentry *lle,
 310     const char *linkhdr, size_t linkhdrsize, int lladdr_off)
 311 {
 312
 313         memcpy(lle->r_linkdata, linkhdr, linkhdrsize);
 314         lle->r_hdrlen = linkhdrsize;
 315         lle->ll_addr = &lle->r_linkdata[lladdr_off];
 316         lle->la_flags |= LLE_VALID;
 317         lle->r_flags |= RLLE_VALID;
 318 }
 319
 320 /*
 321  * Acquires lltable write lock.
 322  *
 323  * Returns true on success, with both lltable and lle lock held.
 324  * On failure, false is returned and lle wlock is still held.
 325  */
 326 bool
 327 lltable_acquire_wlock(struct ifnet *ifp, struct llentry *lle)
 328 {
 329         NET_EPOCH_ASSERT();
 330
 331         /* Perform real LLE update */
 332         /* use afdata WLOCK to update fields */
 333         LLE_WUNLOCK(lle);
 334         IF_AFDATA_WLOCK(ifp);
 335         LLE_WLOCK(lle);
 336
 337         /*
 338          * Since we droppped LLE lock, other thread might have deleted
 339          * this lle. Check and return
 340          */
 341         if ((lle->la_flags & LLE_DELETED) != 0) {
 342                 IF_AFDATA_WUNLOCK(ifp);
 343                 return (false);
 344         }
 345
 346         return (true);
 347 }
 348
 349 /*
 350  * Tries to update @lle link-level address.
 351  * Since update requires AFDATA WLOCK, function
 352  * drops @lle lock, acquires AFDATA lock and then acquires
 353  * @lle lock to maintain lock order.
 354  *
 355  * Returns 1 on success.
 356  */
 357 int
 358 lltable_try_set_entry_addr(struct ifnet *ifp, struct llentry *lle,
 359     const char *linkhdr, size_t linkhdrsize, int lladdr_off)
 360 {
 361
 362         if (!lltable_acquire_wlock(ifp, lle))
 363                 return (0);
 364
 365         /* Update data */
 366         lltable_set_entry_addr(ifp, lle, linkhdr, linkhdrsize, lladdr_off);
 367
 368         IF_AFDATA_WUNLOCK(ifp);
 369
 370         return (1);
 371 }
 372
 373  /*
 374  * Helper function used to pre-compute full/partial link-layer
 375  * header data suitable for feeding into if_output().
 376  */
 377 int
 378 lltable_calc_llheader(struct ifnet *ifp, int family, char *lladdr,
 379     char *buf, size_t *bufsize, int *lladdr_off)
 380 {
 381         struct if_encap_req ereq;
 382         int error;
 383
 384         bzero(buf, *bufsize);
 385         bzero(&ereq, sizeof(ereq));
 386         ereq.buf = buf;
 387         ereq.bufsize = *bufsize;
 388         ereq.rtype = IFENCAP_LL;
 389         ereq.family = family;
 390         ereq.lladdr = lladdr;
 391         ereq.lladdr_len = ifp->if_addrlen;
 392         error = ifp->if_requestencap(ifp, &ereq);
 393         if (error == 0) {
 394                 *bufsize = ereq.bufsize;
 395                 *lladdr_off = ereq.lladdr_off;
 396         }
 397
 398         return (error);
 399 }
 400
 401 /*
 402  * Searches for the child entry matching @family inside @lle.
 403  * Returns the entry or NULL.
 404  */
 405 struct llentry *
 406 llentry_lookup_family(struct llentry *lle, int family)
 407 {
 408         struct llentry *child_lle;
 409
 410         if (lle == NULL)
 411                 return (NULL);
 412
 413         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 414                 if (child_lle->r_family == family)
 415                         return (child_lle);
 416         }
 417
 418         return (NULL);
 419 }
 420
 421 /*
 422  * Requests feedback from the datapath.
 423  * First packet using @lle should result in
 424  * setting r_skip_req back to 0 and updating
 425  * lle_hittime to the current time_uptime.
 426  */
 427 void
 428 llentry_request_feedback(struct llentry *lle)
 429 {
 430         struct llentry *child_lle;
 431
 432         LLE_REQ_LOCK(lle);
 433         lle->r_skip_req = 1;
 434         LLE_REQ_UNLOCK(lle);
 435
 436         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 437                 LLE_REQ_LOCK(child_lle);
 438                 child_lle->r_skip_req = 1;
 439                 LLE_REQ_UNLOCK(child_lle);
 440         }
 441 }
 442
 443 /*
 444  * Updates the lle state to mark it has been used
 445  * and record the time.
 446  * Used by the llentry_provide_feedback() wrapper.
 447  */
 448 void
 449 llentry_mark_used(struct llentry *lle)
 450 {
 451         LLE_REQ_LOCK(lle);
 452         lle->r_skip_req = 0;
 453         lle->lle_hittime = time_uptime;
 454         LLE_REQ_UNLOCK(lle);
 455 }
 456
 457 /*
 458  * Fetches the time when lle was used.
 459  * Return 0 if the entry was not used, relevant time_uptime
 460  *  otherwise.
 461  */
 462 static time_t
 463 llentry_get_hittime_raw(struct llentry *lle)
 464 {
 465         time_t lle_hittime = 0;
 466
 467         LLE_REQ_LOCK(lle);
 468         if ((lle->r_skip_req == 0) && (lle_hittime < lle->lle_hittime))
 469                 lle_hittime = lle->lle_hittime;
 470         LLE_REQ_UNLOCK(lle);
 471
 472         return (lle_hittime);
 473 }
 474
 475 time_t
 476 llentry_get_hittime(struct llentry *lle)
 477 {
 478         time_t lle_hittime = 0;
 479         struct llentry *child_lle;
 480
 481         lle_hittime = llentry_get_hittime_raw(lle);
 482
 483         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 484                 time_t hittime = llentry_get_hittime_raw(child_lle);
 485                 if (hittime > lle_hittime)
 486                         lle_hittime = hittime;
 487         }
 488
 489         return (lle_hittime);
 490 }
 491
 492 /*
 493  * Update link-layer header for given @lle after
 494  * interface lladdr was changed.
 495  */
 496 static int
 497 llentry_update_ifaddr(struct lltable *llt, struct llentry *lle, void *farg)
 498 {
 499         struct ifnet *ifp;
 500         u_char linkhdr[LLE_MAX_LINKHDR];
 501         size_t linkhdrsize;
 502         u_char *lladdr;
 503         int lladdr_off;
 504
 505         ifp = (struct ifnet *)farg;
 506
 507         lladdr = lle->ll_addr;
 508
 509         LLE_WLOCK(lle);
 510         if ((lle->la_flags & LLE_VALID) == 0) {
 511                 LLE_WUNLOCK(lle);
 512                 return (0);
 513         }
 514
 515         if ((lle->la_flags & LLE_IFADDR) != 0)
 516                 lladdr = IF_LLADDR(ifp);
 517
 518         linkhdrsize = sizeof(linkhdr);
 519         lltable_calc_llheader(ifp, llt->llt_af, lladdr, linkhdr, &linkhdrsize,
 520             &lladdr_off);
 521         memcpy(lle->r_linkdata, linkhdr, linkhdrsize);
 522         LLE_WUNLOCK(lle);
 523
 524         return (0);
 525 }
 526
 527 /*
 528  * Update all calculated headers for given @llt
 529  */
 530 void
 531 lltable_update_ifaddr(struct lltable *llt)
 532 {
 533
 534         if (llt->llt_ifp->if_flags & IFF_LOOPBACK)
 535                 return;
 536
 537         IF_AFDATA_WLOCK(llt->llt_ifp);
 538         lltable_foreach_lle(llt, llentry_update_ifaddr, llt->llt_ifp);
 539         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 540 }
 541
 542 /*
 543  *
 544  * Performs generic cleanup routines and frees lle.
 545  *
 546  * Called for non-linked entries, with callouts and
 547  * other AF-specific cleanups performed.
 548  *
 549  * @lle must be passed WLOCK'ed
 550  *
 551  * Returns the number of held packets, if any, that were dropped.
 552  */
 553 size_t
 554 llentry_free(struct llentry *lle)
 555 {
 556         size_t pkts_dropped;
 557
 558         LLE_WLOCK_ASSERT(lle);
 559
 560         KASSERT((lle->la_flags & LLE_LINKED) == 0, ("freeing linked lle"));
 561
 562         pkts_dropped = lltable_drop_entry_queue(lle);
 563
 564         /* cancel timer */
 565         if (callout_stop(&lle->lle_timer) > 0)
 566                 LLE_REMREF(lle);
 567         LLE_FREE_LOCKED(lle);
 568
 569         return (pkts_dropped);
 570 }
 571
 572 /*
 573  * Free all entries from given table and free itself.
 574  */
 575
 576 static int
 577 lltable_free_cb(struct lltable *llt, struct llentry *lle, void *farg)
 578 {
 579         struct llentries *dchain;
 580
 581         dchain = (struct llentries *)farg;
 582
 583         LLE_WLOCK(lle);
 584         CK_LIST_INSERT_HEAD(dchain, lle, lle_chain);
 585
 586         return (0);
 587 }
 588
 589 /*
 590  * Free all entries from given table and free itself.
 591  */
 592 void
 593 lltable_free(struct lltable *llt)
 594 {
 595         struct llentry *lle, *next;
 596         struct llentries dchain;
 597
 598         KASSERT(llt != NULL, ("%s: llt is NULL", __func__));
 599
 600         lltable_unlink(llt);
 601
 602         CK_LIST_INIT(&dchain);
 603         IF_AFDATA_WLOCK(llt->llt_ifp);
 604         /* Push all lles to @dchain */
 605         lltable_foreach_lle(llt, lltable_free_cb, &dchain);
 606         llentries_unlink(llt, &dchain);
 607         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 608
 609         CK_LIST_FOREACH_SAFE(lle, &dchain, lle_chain, next) {
 610                 llentry_free(lle);
 611         }
 612
 613         KASSERT(llt->llt_entries == 0, ("%s: lltable %p (%s) entires not 0: %d",
 614             __func__, llt, llt->llt_ifp->if_xname, llt->llt_entries));
 615
 616         llt->llt_free_tbl(llt);
 617 }
 618
 619 /*
 620  * Deletes an address from given lltable.
 621  * Used for userland interaction to remove
 622  * individual entries. Skips entries added by OS.
 623  */
 624 int
 625 lltable_delete_addr(struct lltable *llt, u_int flags,
 626     const struct sockaddr *l3addr)
 627 {
 628         struct llentry *lle;
 629         struct ifnet *ifp;
 630
 631         ifp = llt->llt_ifp;
 632         IF_AFDATA_WLOCK(ifp);
 633         lle = lla_lookup(llt, LLE_SF(l3addr->sa_family, LLE_EXCLUSIVE), l3addr);
 634
 635         if (lle == NULL) {
 636                 IF_AFDATA_WUNLOCK(ifp);
 637                 return (ENOENT);
 638         }
 639         if ((lle->la_flags & LLE_IFADDR) != 0 && (flags & LLE_IFADDR) == 0) {
 640                 IF_AFDATA_WUNLOCK(ifp);
 641                 LLE_WUNLOCK(lle);
 642                 return (EPERM);
 643         }
 644
 645         lltable_unlink_entry(llt, lle);
 646         IF_AFDATA_WUNLOCK(ifp);
 647
 648         llt->llt_delete_entry(llt, lle);
 649
 650         return (0);
 651 }
 652
 653 void
 654 lltable_prefix_free(int af, struct sockaddr *addr, struct sockaddr *mask,
 655     u_int flags)
 656 {
 657         struct lltable *llt;
 658
 659         LLTABLE_LIST_RLOCK();
 660         SLIST_FOREACH(llt, &V_lltables, llt_link) {
 661                 if (llt->llt_af != af)
 662                         continue;
 663
 664                 llt->llt_prefix_free(llt, addr, mask, flags);
 665         }
 666         LLTABLE_LIST_RUNLOCK();
 667 }
 668
 669 struct lltable *
 670 lltable_allocate_htbl(uint32_t hsize)
 671 {
 672         struct lltable *llt;
 673         int i;
 674
 675         llt = malloc(sizeof(struct lltable), M_LLTABLE, M_WAITOK | M_ZERO);
 676         llt->llt_hsize = hsize;
 677         llt->lle_head = malloc(sizeof(struct llentries) * hsize,
 678             M_LLTABLE, M_WAITOK | M_ZERO);
 679
 680         for (i = 0; i < llt->llt_hsize; i++)
 681                 CK_LIST_INIT(&llt->lle_head[i]);
 682
 683         /* Set some default callbacks */
 684         llt->llt_link_entry = htable_link_entry;
 685         llt->llt_unlink_entry = htable_unlink_entry;
 686         llt->llt_prefix_free = htable_prefix_free;
 687         llt->llt_foreach_entry = htable_foreach_lle;
 688         llt->llt_free_tbl = htable_free_tbl;
 689
 690         return (llt);
 691 }
 692
 693 /*
 694  * Links lltable to global llt list.
 695  */
 696 void
 697 lltable_link(struct lltable *llt)
 698 {
 699
 700         LLTABLE_LIST_WLOCK();
 701         SLIST_INSERT_HEAD(&V_lltables, llt, llt_link);
 702         LLTABLE_LIST_WUNLOCK();
 703 }
 704
 705 static void
 706 lltable_unlink(struct lltable *llt)
 707 {
 708
 709         LLTABLE_LIST_WLOCK();
 710         SLIST_REMOVE(&V_lltables, llt, lltable, llt_link);
 711         LLTABLE_LIST_WUNLOCK();
 712
 713 }
 714
 715 /*
 716  * External methods used by lltable consumers
 717  */
 718
 719 int
 720 lltable_foreach_lle(struct lltable *llt, llt_foreach_cb_t *f, void *farg)
 721 {
 722
 723         return (llt->llt_foreach_entry(llt, f, farg));
 724 }
 725
 726 struct llentry *
 727 lltable_alloc_entry(struct lltable *llt, u_int flags,
 728     const struct sockaddr *l3addr)
 729 {
 730
 731         return (llt->llt_alloc_entry(llt, flags, l3addr));
 732 }
 733
 734 void
 735 lltable_free_entry(struct lltable *llt, struct llentry *lle)
 736 {
 737
 738         llt->llt_free_entry(llt, lle);
 739 }
 740
 741 int
 742 lltable_link_entry(struct lltable *llt, struct llentry *lle)
 743 {
 744
 745         return (llt->llt_link_entry(llt, lle));
 746 }
 747
 748 void
 749 lltable_link_child_entry(struct llentry *lle, struct llentry *child_lle)
 750 {
 751         child_lle->lle_parent = lle;
 752         child_lle->lle_tbl = lle->lle_tbl;
 753         child_lle->la_flags |= LLE_LINKED;
 754         CK_SLIST_INSERT_HEAD(&lle->lle_children, child_lle, lle_child_next);
 755 }
 756
 757 void
 758 lltable_unlink_child_entry(struct llentry *child_lle)
 759 {
 760         struct llentry *lle = child_lle->lle_parent;
 761
 762         child_lle->la_flags &= ~LLE_LINKED;
 763         child_lle->lle_parent = NULL;
 764         CK_SLIST_REMOVE(&lle->lle_children, child_lle, llentry, lle_child_next);
 765 }
 766
 767 int
 768 lltable_unlink_entry(struct lltable *llt, struct llentry *lle)
 769 {
 770
 771         return (llt->llt_unlink_entry(lle));
 772 }
 773
 774 void
 775 lltable_fill_sa_entry(const struct llentry *lle, struct sockaddr *sa)
 776 {
 777         struct lltable *llt;
 778
 779         llt = lle->lle_tbl;
 780         llt->llt_fill_sa_entry(lle, sa);
 781 }
 782
 783 struct ifnet *
 784 lltable_get_ifp(const struct lltable *llt)
 785 {
 786
 787         return (llt->llt_ifp);
 788 }
 789
 790 int
 791 lltable_get_af(const struct lltable *llt)
 792 {
 793
 794         return (llt->llt_af);
 795 }
 796
 797 /*
 798  * Called in route_output when rtm_flags contains RTF_LLDATA.
 799  */
 800 int
 801 lla_rt_output(struct rt_msghdr *rtm, struct rt_addrinfo *info)
 802 {
 803         struct sockaddr_dl *dl =
 804             (struct sockaddr_dl *)info->rti_info[RTAX_GATEWAY];
 805         struct sockaddr *dst = (struct sockaddr *)info->rti_info[RTAX_DST];
 806         struct ifnet *ifp;
 807         struct lltable *llt;
 808         struct llentry *lle, *lle_tmp;
 809         uint8_t linkhdr[LLE_MAX_LINKHDR];
 810         size_t linkhdrsize;
 811         int lladdr_off;
 812         u_int laflags = 0;
 813         int error;
 814
 815         if (dl == NULL || dl->sdl_family != AF_LINK)
 816                 return (EINVAL);
 817
 818         /* XXX: should be ntohs() */
 819         ifp = ifnet_byindex(dl->sdl_index);
 820         if (ifp == NULL) {
 821                 log(LOG_INFO, "%s: invalid ifp (sdl_index %d)\n",
 822                     __func__, dl->sdl_index);
 823                 return EINVAL;
 824         }
 825
 826         /* XXX linked list may be too expensive */
 827         LLTABLE_LIST_RLOCK();
 828         SLIST_FOREACH(llt, &V_lltables, llt_link) {
 829                 if (llt->llt_af == dst->sa_family &&
 830                     llt->llt_ifp == ifp)
 831                         break;
 832         }
 833         LLTABLE_LIST_RUNLOCK();
 834         if (llt == NULL)
 835                 return (ESRCH);
 836
 837         error = 0;
 838
 839         switch (rtm->rtm_type) {
 840         case RTM_ADD:
 841                 /* Add static LLE */
 842                 laflags = 0;
 843                 if (rtm->rtm_rmx.rmx_expire == 0)
 844                         laflags = LLE_STATIC;
 845                 lle = lltable_alloc_entry(llt, laflags, dst);
 846                 if (lle == NULL)
 847                         return (ENOMEM);
 848
 849                 linkhdrsize = sizeof(linkhdr);
 850                 if (lltable_calc_llheader(ifp, dst->sa_family, LLADDR(dl),
 851                     linkhdr, &linkhdrsize, &lladdr_off) != 0)
 852                         return (EINVAL);
 853                 lltable_set_entry_addr(ifp, lle, linkhdr, linkhdrsize,
 854                     lladdr_off);
 855                 if ((rtm->rtm_flags & RTF_ANNOUNCE))
 856                         lle->la_flags |= LLE_PUB;
 857                 lle->la_expire = rtm->rtm_rmx.rmx_expire;
 858
 859                 laflags = lle->la_flags;
 860
 861                 /* Try to link new entry */
 862                 lle_tmp = NULL;
 863                 IF_AFDATA_WLOCK(ifp);
 864                 LLE_WLOCK(lle);
 865                 lle_tmp = lla_lookup(llt, LLE_EXCLUSIVE, dst);
 866                 if (lle_tmp != NULL) {
 867                         /* Check if we are trying to replace immutable entry */
 868                         if ((lle_tmp->la_flags & LLE_IFADDR) != 0) {
 869                                 IF_AFDATA_WUNLOCK(ifp);
 870                                 LLE_WUNLOCK(lle_tmp);
 871                                 lltable_free_entry(llt, lle);
 872                                 return (EPERM);
 873                         }
 874                         /* Unlink existing entry from table */
 875                         lltable_unlink_entry(llt, lle_tmp);
 876                 }
 877                 lltable_link_entry(llt, lle);
 878                 IF_AFDATA_WUNLOCK(ifp);
 879
 880                 if (lle_tmp != NULL) {
 881                         EVENTHANDLER_INVOKE(lle_event, lle_tmp,LLENTRY_EXPIRED);
 882                         lltable_free_entry(llt, lle_tmp);
 883                 }
 884
 885                 /*
 886                  * By invoking LLE handler here we might get
 887                  * two events on static LLE entry insertion
 888                  * in routing socket. However, since we might have
 889                  * other subscribers we need to generate this event.
 890                  */
 891                 EVENTHANDLER_INVOKE(lle_event, lle, LLENTRY_RESOLVED);
 892                 LLE_WUNLOCK(lle);
 893 #ifdef INET
 894                 /* gratuitous ARP */
 895                 if ((laflags & LLE_PUB) && dst->sa_family == AF_INET)
 896                         arprequest(ifp,
 897                             &((struct sockaddr_in *)dst)->sin_addr,
 898                             &((struct sockaddr_in *)dst)->sin_addr,
 899                             (u_char *)LLADDR(dl));
 900 #endif
 901
 902                 break;
 903
 904         case RTM_DELETE:
 905                 return (lltable_delete_addr(llt, 0, dst));
 906
 907         default:
 908                 error = EINVAL;
 909         }
 910
 911         return (error);
 912 }
 913
 914 #ifdef DDB
 915 struct llentry_sa {
 916         struct llentry          base;
 917         struct sockaddr         l3_addr;
 918 };
 919
 920 static void
 921 llatbl_lle_show(struct llentry_sa *la)
 922 {
 923         struct llentry *lle;
 924         uint8_t octet[6];
 925
 926         lle = &la->base;
 927         db_printf("lle=%p\n", lle);
 928         db_printf(" lle_next=%p\n", lle->lle_next.cle_next);
 929         db_printf(" lle_lock=%p\n", &lle->lle_lock);
 930         db_printf(" lle_tbl=%p\n", lle->lle_tbl);
 931         db_printf(" lle_head=%p\n", lle->lle_head);
 932         db_printf(" la_hold=%p\n", lle->la_hold);
 933         db_printf(" la_numheld=%d\n", lle->la_numheld);
 934         db_printf(" la_expire=%ju\n", (uintmax_t)lle->la_expire);
 935         db_printf(" la_flags=0x%04x\n", lle->la_flags);
 936         db_printf(" la_asked=%u\n", lle->la_asked);
 937         db_printf(" la_preempt=%u\n", lle->la_preempt);
 938         db_printf(" ln_state=%d\n", lle->ln_state);
 939         db_printf(" ln_router=%u\n", lle->ln_router);
 940         db_printf(" ln_ntick=%ju\n", (uintmax_t)lle->ln_ntick);
 941         db_printf(" lle_refcnt=%d\n", lle->lle_refcnt);
 942         bcopy(lle->ll_addr, octet, sizeof(octet));
 943         db_printf(" ll_addr=%02x:%02x:%02x:%02x:%02x:%02x\n",
 944             octet[0], octet[1], octet[2], octet[3], octet[4], octet[5]);
 945         db_printf(" lle_timer=%p\n", &lle->lle_timer);
 946
 947         switch (la->l3_addr.sa_family) {
 948 #ifdef INET
 949         case AF_INET:
 950         {
 951                 struct sockaddr_in *sin;
 952                 char l3s[INET_ADDRSTRLEN];
 953
 954                 sin = (struct sockaddr_in *)&la->l3_addr;
 955                 inet_ntoa_r(sin->sin_addr, l3s);
 956                 db_printf(" l3_addr=%s\n", l3s);
 957                 break;
 958         }
 959 #endif
 960 #ifdef INET6
 961         case AF_INET6:
 962         {
 963                 struct sockaddr_in6 *sin6;
 964                 char l3s[INET6_ADDRSTRLEN];
 965
 966                 sin6 = (struct sockaddr_in6 *)&la->l3_addr;
 967                 ip6_sprintf(l3s, &sin6->sin6_addr);
 968                 db_printf(" l3_addr=%s\n", l3s);
 969                 break;
 970         }
 971 #endif
 972         default:
 973                 db_printf(" l3_addr=N/A (af=%d)\n", la->l3_addr.sa_family);
 974                 break;
 975         }
 976 }
 977
 978 DB_SHOW_COMMAND(llentry, db_show_llentry)
 979 {
 980
 981         if (!have_addr) {
 982                 db_printf("usage: show llentry <struct llentry *>\n");
 983                 return;
 984         }
 985
 986         llatbl_lle_show((struct llentry_sa *)addr);
 987 }
 988
 989 static void
 990 llatbl_llt_show(struct lltable *llt)
 991 {
 992         int i;
 993         struct llentry *lle;
 994
 995         db_printf("llt=%p llt_af=%d llt_ifp=%p\n",
 996             llt, llt->llt_af, llt->llt_ifp);
 997
 998         for (i = 0; i < llt->llt_hsize; i++) {
 999                 CK_LIST_FOREACH(lle, &llt->lle_head[i], lle_next) {
1000                         llatbl_lle_show((struct llentry_sa *)lle);
1001                         if (db_pager_quit)
1002                                 return;
1003                 }
1004         }
1005 }
1006
1007 DB_SHOW_COMMAND(lltable, db_show_lltable)
1008 {
1009
1010         if (!have_addr) {
1011                 db_printf("usage: show lltable <struct lltable *>\n");
1012                 return;
1013         }
1014
1015         llatbl_llt_show((struct lltable *)addr);
1016 }
1017
1018 DB_SHOW_ALL_COMMAND(lltables, db_show_all_lltables)
1019 {
1020         VNET_ITERATOR_DECL(vnet_iter);
1021         struct lltable *llt;
1022
1023         VNET_FOREACH(vnet_iter) {
1024                 CURVNET_SET_QUIET(vnet_iter);
1025 #ifdef VIMAGE
1026                 db_printf("vnet=%p\n", curvnet);
1027 #endif
1028                 SLIST_FOREACH(llt, &V_lltables, llt_link) {
1029                         db_printf("llt=%p llt_af=%d llt_ifp=%p(%s)\n",
1030                             llt, llt->llt_af, llt->llt_ifp,
1031                             (llt->llt_ifp != NULL) ?
1032                                 llt->llt_ifp->if_xname : "?");
1033                         if (have_addr && addr != 0) /* verbose */
1034                                 llatbl_llt_show(llt);
1035                         if (db_pager_quit) {
1036                                 CURVNET_RESTORE();
1037                                 return;
1038                         }
1039                 }
1040                 CURVNET_RESTORE();
1041         }
1042 }
1043 #endif