sys/net/if_llatbl.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause
   3  *
   4  * Copyright (c) 2004 Luigi Rizzo, Alessandro Cerri. All rights reserved.
   5  * Copyright (c) 2004-2008 Qing Li. All rights reserved.
   6  * Copyright (c) 2008 Kip Macy. All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL AUTHOR OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  */
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include "opt_ddb.h"
  33 #include "opt_inet.h"
  34 #include "opt_inet6.h"
  35
  36 #include <sys/param.h>
  37 #include <sys/systm.h>
  38 #include <sys/eventhandler.h>
  39 #include <sys/malloc.h>
  40 #include <sys/mbuf.h>
  41 #include <sys/syslog.h>
  42 #include <sys/sysctl.h>
  43 #include <sys/socket.h>
  44 #include <sys/kernel.h>
  45 #include <sys/lock.h>
  46 #include <sys/mutex.h>
  47 #include <sys/rwlock.h>
  48
  49 #ifdef DDB
  50 #include <ddb/ddb.h>
  51 #endif
  52
  53 #include <vm/uma.h>
  54
  55 #include <netinet/in.h>
  56 #include <net/if_llatbl.h>
  57 #include <net/if.h>
  58 #include <net/if_dl.h>
  59 #include <net/if_var.h>
  60 #include <net/if_private.h>
  61 #include <net/route.h>
  62 #include <net/route/route_ctl.h>
  63 #include <net/route/route_debug.h>
  64 #include <net/vnet.h>
  65 #include <netinet/if_ether.h>
  66 #include <netinet6/in6_var.h>
  67 #include <netinet6/nd6.h>
  68
  69 MALLOC_DEFINE(M_LLTABLE, "lltable", "link level address tables");
  70
  71 VNET_DEFINE_STATIC(SLIST_HEAD(, lltable), lltables) =
  72     SLIST_HEAD_INITIALIZER(lltables);
  73 #define V_lltables      VNET(lltables)
  74
  75 static struct rwlock lltable_list_lock;
  76 RW_SYSINIT(lltable_list_lock, &lltable_list_lock, "lltable_list_lock");
  77 #define LLTABLE_LIST_RLOCK()            rw_rlock(&lltable_list_lock)
  78 #define LLTABLE_LIST_RUNLOCK()          rw_runlock(&lltable_list_lock)
  79 #define LLTABLE_LIST_WLOCK()            rw_wlock(&lltable_list_lock)
  80 #define LLTABLE_LIST_WUNLOCK()          rw_wunlock(&lltable_list_lock)
  81 #define LLTABLE_LIST_LOCK_ASSERT()      rw_assert(&lltable_list_lock, RA_LOCKED)
  82
  83 static void lltable_unlink(struct lltable *llt);
  84 static void llentries_unlink(struct lltable *llt, struct llentries *head);
  85
  86 /*
  87  * Dump lle state for a specific address family.
  88  */
  89 static int
  90 lltable_dump_af(struct lltable *llt, struct sysctl_req *wr)
  91 {
  92         struct epoch_tracker et;
  93         int error;
  94
  95         LLTABLE_LIST_LOCK_ASSERT();
  96
  97         if (llt->llt_ifp->if_flags & IFF_LOOPBACK)
  98                 return (0);
  99         error = 0;
 100
 101         NET_EPOCH_ENTER(et);
 102         error = lltable_foreach_lle(llt,
 103             (llt_foreach_cb_t *)llt->llt_dump_entry, wr);
 104         NET_EPOCH_EXIT(et);
 105
 106         return (error);
 107 }
 108
 109 /*
 110  * Dump arp state for a specific address family.
 111  */
 112 int
 113 lltable_sysctl_dumparp(int af, struct sysctl_req *wr)
 114 {
 115         struct lltable *llt;
 116         int error = 0;
 117
 118         LLTABLE_LIST_RLOCK();
 119         SLIST_FOREACH(llt, &V_lltables, llt_link) {
 120                 if (llt->llt_af == af) {
 121                         error = lltable_dump_af(llt, wr);
 122                         if (error != 0)
 123                                 goto done;
 124                 }
 125         }
 126 done:
 127         LLTABLE_LIST_RUNLOCK();
 128         return (error);
 129 }
 130
 131 /*
 132  * Adds a mbuf to hold queue. Drops old packets if the queue is full.
 133  *
 134  * Returns the number of held packets that were dropped.
 135  */
 136 size_t
 137 lltable_append_entry_queue(struct llentry *lle, struct mbuf *m,
 138     size_t maxheld)
 139 {
 140         size_t pkts_dropped = 0;
 141
 142         LLE_WLOCK_ASSERT(lle);
 143
 144         while (lle->la_numheld >= maxheld && lle->la_hold != NULL) {
 145                 struct mbuf *next = lle->la_hold->m_nextpkt;
 146                 m_freem(lle->la_hold);
 147                 lle->la_hold = next;
 148                 lle->la_numheld--;
 149                 pkts_dropped++;
 150         }
 151
 152         if (lle->la_hold != NULL) {
 153                 struct mbuf *curr = lle->la_hold;
 154                 while (curr->m_nextpkt != NULL)
 155                         curr = curr->m_nextpkt;
 156                 curr->m_nextpkt = m;
 157         } else
 158                 lle->la_hold = m;
 159
 160         lle->la_numheld++;
 161
 162         return pkts_dropped;
 163 }
 164
 165
 166 /*
 167  * Common function helpers for chained hash table.
 168  */
 169
 170 /*
 171  * Runs specified callback for each entry in @llt.
 172  * Caller does the locking.
 173  *
 174  */
 175 static int
 176 htable_foreach_lle(struct lltable *llt, llt_foreach_cb_t *f, void *farg)
 177 {
 178         struct llentry *lle, *next;
 179         int i, error;
 180
 181         error = 0;
 182
 183         for (i = 0; i < llt->llt_hsize; i++) {
 184                 CK_LIST_FOREACH_SAFE(lle, &llt->lle_head[i], lle_next, next) {
 185                         error = f(llt, lle, farg);
 186                         if (error != 0)
 187                                 break;
 188                 }
 189         }
 190
 191         return (error);
 192 }
 193
 194 /*
 195  * The htable_[un]link_entry() functions return:
 196  * 0 if the entry was (un)linked already and nothing changed,
 197  * 1 if the entry was added/removed to/from the table, and
 198  * -1 on error (e.g., not being able to add the entry due to limits reached).
 199  * While the "unlink" operation should never error, callers of
 200  * lltable_link_entry() need to check for errors and handle them.
 201  */
 202 static int
 203 htable_link_entry(struct lltable *llt, struct llentry *lle)
 204 {
 205         struct llentries *lleh;
 206         uint32_t hashidx;
 207
 208         if ((lle->la_flags & LLE_LINKED) != 0)
 209                 return (0);
 210
 211         IF_AFDATA_WLOCK_ASSERT(llt->llt_ifp);
 212
 213         if (llt->llt_maxentries > 0 &&
 214             llt->llt_entries >= llt->llt_maxentries)
 215                 return (-1);
 216
 217         hashidx = llt->llt_hash(lle, llt->llt_hsize);
 218         lleh = &llt->lle_head[hashidx];
 219
 220         lle->lle_tbl  = llt;
 221         lle->lle_head = lleh;
 222         lle->la_flags |= LLE_LINKED;
 223         CK_LIST_INSERT_HEAD(lleh, lle, lle_next);
 224         llt->llt_entries++;
 225
 226         return (1);
 227 }
 228
 229 static int
 230 htable_unlink_entry(struct llentry *lle)
 231 {
 232         struct lltable *llt;
 233
 234         if ((lle->la_flags & LLE_LINKED) == 0)
 235                 return (0);
 236
 237         llt = lle->lle_tbl;
 238         IF_AFDATA_WLOCK_ASSERT(llt->llt_ifp);
 239         KASSERT(llt->llt_entries > 0, ("%s: lltable %p (%s) entries %d <= 0",
 240             __func__, llt, if_name(llt->llt_ifp), llt->llt_entries));
 241
 242         CK_LIST_REMOVE(lle, lle_next);
 243         lle->la_flags &= ~(LLE_VALID | LLE_LINKED);
 244 #if 0
 245         lle->lle_tbl = NULL;
 246         lle->lle_head = NULL;
 247 #endif
 248         llt->llt_entries--;
 249
 250         return (1);
 251 }
 252
 253 struct prefix_match_data {
 254         const struct sockaddr *addr;
 255         const struct sockaddr *mask;
 256         struct llentries dchain;
 257         u_int flags;
 258 };
 259
 260 static int
 261 htable_prefix_free_cb(struct lltable *llt, struct llentry *lle, void *farg)
 262 {
 263         struct prefix_match_data *pmd;
 264
 265         pmd = (struct prefix_match_data *)farg;
 266
 267         if (llt->llt_match_prefix(pmd->addr, pmd->mask, pmd->flags, lle)) {
 268                 LLE_WLOCK(lle);
 269                 CK_LIST_INSERT_HEAD(&pmd->dchain, lle, lle_chain);
 270         }
 271
 272         return (0);
 273 }
 274
 275 static void
 276 htable_prefix_free(struct lltable *llt, const struct sockaddr *addr,
 277     const struct sockaddr *mask, u_int flags)
 278 {
 279         struct llentry *lle, *next;
 280         struct prefix_match_data pmd;
 281
 282         bzero(&pmd, sizeof(pmd));
 283         pmd.addr = addr;
 284         pmd.mask = mask;
 285         pmd.flags = flags;
 286         CK_LIST_INIT(&pmd.dchain);
 287
 288         IF_AFDATA_WLOCK(llt->llt_ifp);
 289         /* Push matching lles to chain */
 290         lltable_foreach_lle(llt, htable_prefix_free_cb, &pmd);
 291
 292         llentries_unlink(llt, &pmd.dchain);
 293         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 294
 295         CK_LIST_FOREACH_SAFE(lle, &pmd.dchain, lle_chain, next)
 296                 lltable_free_entry(llt, lle);
 297 }
 298
 299 static void
 300 htable_free_tbl(struct lltable *llt)
 301 {
 302
 303         free(llt->lle_head, M_LLTABLE);
 304         free(llt, M_LLTABLE);
 305 }
 306
 307 static void
 308 llentries_unlink(struct lltable *llt, struct llentries *head)
 309 {
 310         struct llentry *lle, *next;
 311
 312         CK_LIST_FOREACH_SAFE(lle, head, lle_chain, next)
 313                 llt->llt_unlink_entry(lle);
 314 }
 315
 316 /*
 317  * Helper function used to drop all mbufs in hold queue.
 318  *
 319  * Returns the number of held packets, if any, that were dropped.
 320  */
 321 size_t
 322 lltable_drop_entry_queue(struct llentry *lle)
 323 {
 324         size_t pkts_dropped = 0;
 325
 326         LLE_WLOCK_ASSERT(lle);
 327
 328         while (lle->la_hold != NULL) {
 329                 struct mbuf *next = lle->la_hold->m_nextpkt;
 330                 m_freem(lle->la_hold);
 331                 lle->la_hold = next;
 332                 lle->la_numheld--;
 333                 pkts_dropped++;
 334         }
 335
 336         KASSERT(lle->la_numheld == 0,
 337                 ("%s: la_numheld %d > 0, pkts_dropped %zd", __func__,
 338                  lle->la_numheld, pkts_dropped));
 339
 340         return (pkts_dropped);
 341 }
 342
 343 void
 344 lltable_set_entry_addr(struct ifnet *ifp, struct llentry *lle,
 345     const char *linkhdr, size_t linkhdrsize, int lladdr_off)
 346 {
 347
 348         memcpy(lle->r_linkdata, linkhdr, linkhdrsize);
 349         lle->r_hdrlen = linkhdrsize;
 350         lle->ll_addr = &lle->r_linkdata[lladdr_off];
 351         lle->la_flags |= LLE_VALID;
 352         lle->r_flags |= RLLE_VALID;
 353 }
 354
 355 /*
 356  * Acquires lltable write lock.
 357  *
 358  * Returns true on success, with both lltable and lle lock held.
 359  * On failure, false is returned and lle wlock is still held.
 360  */
 361 bool
 362 lltable_acquire_wlock(struct ifnet *ifp, struct llentry *lle)
 363 {
 364         NET_EPOCH_ASSERT();
 365
 366         /* Perform real LLE update */
 367         /* use afdata WLOCK to update fields */
 368         LLE_WUNLOCK(lle);
 369         IF_AFDATA_WLOCK(ifp);
 370         LLE_WLOCK(lle);
 371
 372         /*
 373          * Since we droppped LLE lock, other thread might have deleted
 374          * this lle. Check and return
 375          */
 376         if ((lle->la_flags & LLE_DELETED) != 0) {
 377                 IF_AFDATA_WUNLOCK(ifp);
 378                 return (false);
 379         }
 380
 381         return (true);
 382 }
 383
 384 /*
 385  * Tries to update @lle link-level address.
 386  * Since update requires AFDATA WLOCK, function
 387  * drops @lle lock, acquires AFDATA lock and then acquires
 388  * @lle lock to maintain lock order.
 389  *
 390  * Returns 1 on success.
 391  */
 392 int
 393 lltable_try_set_entry_addr(struct ifnet *ifp, struct llentry *lle,
 394     const char *linkhdr, size_t linkhdrsize, int lladdr_off)
 395 {
 396
 397         if (!lltable_acquire_wlock(ifp, lle))
 398                 return (0);
 399
 400         /* Update data */
 401         lltable_set_entry_addr(ifp, lle, linkhdr, linkhdrsize, lladdr_off);
 402
 403         IF_AFDATA_WUNLOCK(ifp);
 404
 405         return (1);
 406 }
 407
 408  /*
 409  * Helper function used to pre-compute full/partial link-layer
 410  * header data suitable for feeding into if_output().
 411  */
 412 int
 413 lltable_calc_llheader(struct ifnet *ifp, int family, char *lladdr,
 414     char *buf, size_t *bufsize, int *lladdr_off)
 415 {
 416         struct if_encap_req ereq;
 417         int error;
 418
 419         bzero(buf, *bufsize);
 420         bzero(&ereq, sizeof(ereq));
 421         ereq.buf = buf;
 422         ereq.bufsize = *bufsize;
 423         ereq.rtype = IFENCAP_LL;
 424         ereq.family = family;
 425         ereq.lladdr = lladdr;
 426         ereq.lladdr_len = ifp->if_addrlen;
 427         error = ifp->if_requestencap(ifp, &ereq);
 428         if (error == 0) {
 429                 *bufsize = ereq.bufsize;
 430                 *lladdr_off = ereq.lladdr_off;
 431         }
 432
 433         return (error);
 434 }
 435
 436 /*
 437  * Searches for the child entry matching @family inside @lle.
 438  * Returns the entry or NULL.
 439  */
 440 struct llentry *
 441 llentry_lookup_family(struct llentry *lle, int family)
 442 {
 443         struct llentry *child_lle;
 444
 445         if (lle == NULL)
 446                 return (NULL);
 447
 448         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 449                 if (child_lle->r_family == family)
 450                         return (child_lle);
 451         }
 452
 453         return (NULL);
 454 }
 455
 456 /*
 457  * Retrieves upper protocol family for the llentry.
 458  * By default, all "normal" (e.g. upper_family == transport_family)
 459  * llentries have r_family set to 0.
 460  * Thus, use @default_family in that regard, otherwise use r_family.
 461  *
 462  * Returns upper protocol family
 463  */
 464 int
 465 llentry_get_upper_family(const struct llentry *lle, int default_family)
 466 {
 467         return (lle->r_family == 0 ? default_family : lle->r_family);
 468 }
 469
 470 /*
 471  * Prints llentry @lle data into provided buffer.
 472  * Example: lle/inet/valid/em0/1.2.3.4
 473  *
 474  * Returns @buf.
 475  */
 476 char *
 477 llentry_print_buf(const struct llentry *lle, struct ifnet *ifp, int family,
 478     char *buf, size_t bufsize)
 479 {
 480 #if defined(INET) || defined(INET6)
 481         char abuf[INET6_ADDRSTRLEN];
 482 #endif
 483
 484         const char *valid = (lle->r_flags & RLLE_VALID) ? "valid" : "no_l2";
 485         const char *upper_str = rib_print_family(llentry_get_upper_family(lle, family));
 486
 487         switch (family) {
 488 #ifdef INET
 489         case AF_INET:
 490                 inet_ntop(AF_INET, &lle->r_l3addr.addr4, abuf, sizeof(abuf));
 491                 snprintf(buf, bufsize, "lle/%s/%s/%s/%s", upper_str,
 492                     valid, if_name(ifp), abuf);
 493                 break;
 494 #endif
 495 #ifdef INET6
 496         case AF_INET6:
 497                 inet_ntop(AF_INET6, &lle->r_l3addr.addr6, abuf, sizeof(abuf));
 498                 snprintf(buf, bufsize, "lle/%s/%s/%s/%s", upper_str,
 499                     valid, if_name(ifp), abuf);
 500                 break;
 501 #endif
 502         default:
 503                 snprintf(buf, bufsize, "lle/%s/%s/%s/????", upper_str,
 504                     valid, if_name(ifp));
 505                 break;
 506         }
 507
 508         return (buf);
 509 }
 510
 511 char *
 512 llentry_print_buf_lltable(const struct llentry *lle, char *buf, size_t bufsize)
 513 {
 514         struct lltable *tbl = lle->lle_tbl;
 515
 516         return (llentry_print_buf(lle, lltable_get_ifp(tbl), lltable_get_af(tbl), buf, bufsize));
 517 }
 518
 519 /*
 520  * Requests feedback from the datapath.
 521  * First packet using @lle should result in
 522  * setting r_skip_req back to 0 and updating
 523  * lle_hittime to the current time_uptime.
 524  */
 525 void
 526 llentry_request_feedback(struct llentry *lle)
 527 {
 528         struct llentry *child_lle;
 529
 530         LLE_REQ_LOCK(lle);
 531         lle->r_skip_req = 1;
 532         LLE_REQ_UNLOCK(lle);
 533
 534         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 535                 LLE_REQ_LOCK(child_lle);
 536                 child_lle->r_skip_req = 1;
 537                 LLE_REQ_UNLOCK(child_lle);
 538         }
 539 }
 540
 541 /*
 542  * Updates the lle state to mark it has been used
 543  * and record the time.
 544  * Used by the llentry_provide_feedback() wrapper.
 545  */
 546 void
 547 llentry_mark_used(struct llentry *lle)
 548 {
 549         LLE_REQ_LOCK(lle);
 550         lle->r_skip_req = 0;
 551         lle->lle_hittime = time_uptime;
 552         LLE_REQ_UNLOCK(lle);
 553 }
 554
 555 /*
 556  * Fetches the time when lle was used.
 557  * Return 0 if the entry was not used, relevant time_uptime
 558  *  otherwise.
 559  */
 560 static time_t
 561 llentry_get_hittime_raw(struct llentry *lle)
 562 {
 563         time_t lle_hittime = 0;
 564
 565         LLE_REQ_LOCK(lle);
 566         if ((lle->r_skip_req == 0) && (lle_hittime < lle->lle_hittime))
 567                 lle_hittime = lle->lle_hittime;
 568         LLE_REQ_UNLOCK(lle);
 569
 570         return (lle_hittime);
 571 }
 572
 573 time_t
 574 llentry_get_hittime(struct llentry *lle)
 575 {
 576         time_t lle_hittime = 0;
 577         struct llentry *child_lle;
 578
 579         lle_hittime = llentry_get_hittime_raw(lle);
 580
 581         CK_SLIST_FOREACH(child_lle, &lle->lle_children, lle_child_next) {
 582                 time_t hittime = llentry_get_hittime_raw(child_lle);
 583                 if (hittime > lle_hittime)
 584                         lle_hittime = hittime;
 585         }
 586
 587         return (lle_hittime);
 588 }
 589
 590 /*
 591  * Update link-layer header for given @lle after
 592  * interface lladdr was changed.
 593  */
 594 static int
 595 llentry_update_ifaddr(struct lltable *llt, struct llentry *lle, void *farg)
 596 {
 597         struct ifnet *ifp;
 598         u_char linkhdr[LLE_MAX_LINKHDR];
 599         size_t linkhdrsize;
 600         u_char *lladdr;
 601         int lladdr_off;
 602
 603         ifp = (struct ifnet *)farg;
 604
 605         lladdr = lle->ll_addr;
 606
 607         LLE_WLOCK(lle);
 608         if ((lle->la_flags & LLE_VALID) == 0) {
 609                 LLE_WUNLOCK(lle);
 610                 return (0);
 611         }
 612
 613         if ((lle->la_flags & LLE_IFADDR) != 0)
 614                 lladdr = IF_LLADDR(ifp);
 615
 616         linkhdrsize = sizeof(linkhdr);
 617         lltable_calc_llheader(ifp, llt->llt_af, lladdr, linkhdr, &linkhdrsize,
 618             &lladdr_off);
 619         memcpy(lle->r_linkdata, linkhdr, linkhdrsize);
 620         LLE_WUNLOCK(lle);
 621
 622         return (0);
 623 }
 624
 625 /*
 626  * Update all calculated headers for given @llt
 627  */
 628 void
 629 lltable_update_ifaddr(struct lltable *llt)
 630 {
 631
 632         if (llt->llt_ifp->if_flags & IFF_LOOPBACK)
 633                 return;
 634
 635         IF_AFDATA_WLOCK(llt->llt_ifp);
 636         lltable_foreach_lle(llt, llentry_update_ifaddr, llt->llt_ifp);
 637         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 638 }
 639
 640 /*
 641  *
 642  * Performs generic cleanup routines and frees lle.
 643  *
 644  * Called for non-linked entries, with callouts and
 645  * other AF-specific cleanups performed.
 646  *
 647  * @lle must be passed WLOCK'ed
 648  *
 649  * Returns the number of held packets, if any, that were dropped.
 650  */
 651 size_t
 652 llentry_free(struct llentry *lle)
 653 {
 654         size_t pkts_dropped;
 655
 656         LLE_WLOCK_ASSERT(lle);
 657
 658         KASSERT((lle->la_flags & LLE_LINKED) == 0, ("freeing linked lle"));
 659
 660         pkts_dropped = lltable_drop_entry_queue(lle);
 661
 662         /* cancel timer */
 663         if (callout_stop(&lle->lle_timer) > 0)
 664                 LLE_REMREF(lle);
 665         LLE_FREE_LOCKED(lle);
 666
 667         return (pkts_dropped);
 668 }
 669
 670 /*
 671  * Free all entries from given table and free itself.
 672  */
 673
 674 static int
 675 lltable_free_cb(struct lltable *llt, struct llentry *lle, void *farg)
 676 {
 677         struct llentries *dchain;
 678
 679         dchain = (struct llentries *)farg;
 680
 681         LLE_WLOCK(lle);
 682         CK_LIST_INSERT_HEAD(dchain, lle, lle_chain);
 683
 684         return (0);
 685 }
 686
 687 /*
 688  * Free all entries from given table and free itself.
 689  */
 690 void
 691 lltable_free(struct lltable *llt)
 692 {
 693         struct llentry *lle, *next;
 694         struct llentries dchain;
 695
 696         KASSERT(llt != NULL, ("%s: llt is NULL", __func__));
 697
 698         lltable_unlink(llt);
 699
 700         CK_LIST_INIT(&dchain);
 701         IF_AFDATA_WLOCK(llt->llt_ifp);
 702         /* Push all lles to @dchain */
 703         lltable_foreach_lle(llt, lltable_free_cb, &dchain);
 704         llentries_unlink(llt, &dchain);
 705         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 706
 707         CK_LIST_FOREACH_SAFE(lle, &dchain, lle_chain, next) {
 708                 llentry_free(lle);
 709         }
 710
 711         KASSERT(llt->llt_entries == 0, ("%s: lltable %p (%s) entires not 0: %d",
 712             __func__, llt, llt->llt_ifp->if_xname, llt->llt_entries));
 713
 714         llt->llt_free_tbl(llt);
 715 }
 716
 717 /*
 718  * Deletes an address from given lltable.
 719  * Used for userland interaction to remove
 720  * individual entries. Skips entries added by OS.
 721  */
 722 int
 723 lltable_delete_addr(struct lltable *llt, u_int flags,
 724     const struct sockaddr *l3addr)
 725 {
 726         struct llentry *lle;
 727         struct ifnet *ifp;
 728
 729         ifp = llt->llt_ifp;
 730         IF_AFDATA_WLOCK(ifp);
 731         lle = lla_lookup(llt, LLE_SF(l3addr->sa_family, LLE_EXCLUSIVE), l3addr);
 732
 733         if (lle == NULL) {
 734                 IF_AFDATA_WUNLOCK(ifp);
 735                 return (ENOENT);
 736         }
 737         if ((lle->la_flags & LLE_IFADDR) != 0 && (flags & LLE_IFADDR) == 0) {
 738                 IF_AFDATA_WUNLOCK(ifp);
 739                 LLE_WUNLOCK(lle);
 740                 return (EPERM);
 741         }
 742
 743         lltable_unlink_entry(llt, lle);
 744         IF_AFDATA_WUNLOCK(ifp);
 745
 746         llt->llt_delete_entry(llt, lle);
 747
 748         return (0);
 749 }
 750
 751 void
 752 lltable_prefix_free(int af, struct sockaddr *addr, struct sockaddr *mask,
 753     u_int flags)
 754 {
 755         struct lltable *llt;
 756
 757         LLTABLE_LIST_RLOCK();
 758         SLIST_FOREACH(llt, &V_lltables, llt_link) {
 759                 if (llt->llt_af != af)
 760                         continue;
 761
 762                 llt->llt_prefix_free(llt, addr, mask, flags);
 763         }
 764         LLTABLE_LIST_RUNLOCK();
 765 }
 766
 767 /*
 768  * Delete llentries that func() returns true.
 769  */
 770 struct lle_match_data {
 771         struct llentries dchain;
 772         llt_match_cb_t *func;
 773         void *farg;
 774 };
 775
 776 static int
 777 lltable_delete_conditional_cb(struct lltable *llt, struct llentry *lle,
 778     void *farg)
 779 {
 780         struct lle_match_data *lmd;
 781
 782         lmd = (struct lle_match_data *)farg;
 783         if (lmd->func(llt, lle, lmd->farg)) {
 784                 LLE_WLOCK(lle);
 785                 CK_LIST_INSERT_HEAD(&lmd->dchain, lle, lle_chain);
 786         }
 787
 788         return (0);
 789 }
 790
 791 void
 792 lltable_delete_conditional(struct lltable *llt, llt_match_cb_t *func,
 793     void *farg)
 794 {
 795         struct llentry *lle, *next;
 796         struct lle_match_data lmd;
 797
 798         bzero(&lmd, sizeof(lmd));
 799         CK_LIST_INIT(&lmd.dchain);
 800         lmd.func = func;
 801         lmd.farg = farg;
 802
 803         IF_AFDATA_WLOCK(llt->llt_ifp);
 804         lltable_foreach_lle(llt, lltable_delete_conditional_cb, &lmd);
 805         llentries_unlink(llt, &lmd.dchain);
 806         IF_AFDATA_WUNLOCK(llt->llt_ifp);
 807
 808         CK_LIST_FOREACH_SAFE(lle, &lmd.dchain, lle_chain, next)
 809                 llt->llt_delete_entry(llt, lle);
 810 }
 811
 812 struct lltable *
 813 lltable_allocate_htbl(uint32_t hsize)
 814 {
 815         struct lltable *llt;
 816         int i;
 817
 818         llt = malloc(sizeof(struct lltable), M_LLTABLE, M_WAITOK | M_ZERO);
 819         llt->llt_hsize = hsize;
 820         llt->lle_head = malloc(sizeof(struct llentries) * hsize,
 821             M_LLTABLE, M_WAITOK | M_ZERO);
 822
 823         for (i = 0; i < llt->llt_hsize; i++)
 824                 CK_LIST_INIT(&llt->lle_head[i]);
 825
 826         /* Set some default callbacks */
 827         llt->llt_link_entry = htable_link_entry;
 828         llt->llt_unlink_entry = htable_unlink_entry;
 829         llt->llt_prefix_free = htable_prefix_free;
 830         llt->llt_foreach_entry = htable_foreach_lle;
 831         llt->llt_free_tbl = htable_free_tbl;
 832
 833         return (llt);
 834 }
 835
 836 /*
 837  * Links lltable to global llt list.
 838  */
 839 void
 840 lltable_link(struct lltable *llt)
 841 {
 842
 843         LLTABLE_LIST_WLOCK();
 844         SLIST_INSERT_HEAD(&V_lltables, llt, llt_link);
 845         LLTABLE_LIST_WUNLOCK();
 846 }
 847
 848 static void
 849 lltable_unlink(struct lltable *llt)
 850 {
 851
 852         LLTABLE_LIST_WLOCK();
 853         SLIST_REMOVE(&V_lltables, llt, lltable, llt_link);
 854         LLTABLE_LIST_WUNLOCK();
 855
 856 }
 857
 858 /*
 859  * Gets interface @ifp lltable for the specified @family
 860  */
 861 struct lltable *
 862 lltable_get(struct ifnet *ifp, int family)
 863 {
 864         switch (family) {
 865 #ifdef INET
 866         case AF_INET:
 867                 return (in_lltable_get(ifp));
 868 #endif
 869 #ifdef INET6
 870         case AF_INET6:
 871                 return (in6_lltable_get(ifp));
 872 #endif
 873         }
 874
 875         return (NULL);
 876 }
 877
 878 /*
 879  * External methods used by lltable consumers
 880  */
 881
 882 int
 883 lltable_foreach_lle(struct lltable *llt, llt_foreach_cb_t *f, void *farg)
 884 {
 885
 886         return (llt->llt_foreach_entry(llt, f, farg));
 887 }
 888
 889 struct llentry *
 890 lltable_alloc_entry(struct lltable *llt, u_int flags,
 891     const struct sockaddr *l3addr)
 892 {
 893
 894         return (llt->llt_alloc_entry(llt, flags, l3addr));
 895 }
 896
 897 void
 898 lltable_free_entry(struct lltable *llt, struct llentry *lle)
 899 {
 900
 901         llt->llt_free_entry(llt, lle);
 902 }
 903
 904 int
 905 lltable_link_entry(struct lltable *llt, struct llentry *lle)
 906 {
 907         int error = llt->llt_link_entry(llt, lle);
 908
 909         if (error == 0 && (lle->la_flags & LLE_PUB) != 0)
 910                 llt->llt_flags |= LLT_ADDEDPROXY;
 911
 912         return (error);
 913 }
 914
 915 void
 916 lltable_link_child_entry(struct llentry *lle, struct llentry *child_lle)
 917 {
 918         child_lle->lle_parent = lle;
 919         child_lle->lle_tbl = lle->lle_tbl;
 920         child_lle->la_flags |= LLE_LINKED;
 921         CK_SLIST_INSERT_HEAD(&lle->lle_children, child_lle, lle_child_next);
 922 }
 923
 924 void
 925 lltable_unlink_child_entry(struct llentry *child_lle)
 926 {
 927         struct llentry *lle = child_lle->lle_parent;
 928
 929         child_lle->la_flags &= ~LLE_LINKED;
 930         child_lle->lle_parent = NULL;
 931         CK_SLIST_REMOVE(&lle->lle_children, child_lle, llentry, lle_child_next);
 932 }
 933
 934 int
 935 lltable_unlink_entry(struct lltable *llt, struct llentry *lle)
 936 {
 937
 938         return (llt->llt_unlink_entry(lle));
 939 }
 940
 941 void
 942 lltable_fill_sa_entry(const struct llentry *lle, struct sockaddr *sa)
 943 {
 944         struct lltable *llt;
 945
 946         llt = lle->lle_tbl;
 947         llt->llt_fill_sa_entry(lle, sa);
 948 }
 949
 950 struct ifnet *
 951 lltable_get_ifp(const struct lltable *llt)
 952 {
 953
 954         return (llt->llt_ifp);
 955 }
 956
 957 int
 958 lltable_get_af(const struct lltable *llt)
 959 {
 960
 961         return (llt->llt_af);
 962 }
 963
 964 /*
 965  * Called in route_output when rtm_flags contains RTF_LLDATA.
 966  */
 967 int
 968 lla_rt_output(struct rt_msghdr *rtm, struct rt_addrinfo *info)
 969 {
 970         struct sockaddr_dl *dl =
 971             (struct sockaddr_dl *)info->rti_info[RTAX_GATEWAY];
 972         struct sockaddr *dst = (struct sockaddr *)info->rti_info[RTAX_DST];
 973         struct ifnet *ifp;
 974         struct lltable *llt;
 975         struct llentry *lle, *lle_tmp;
 976         uint8_t linkhdr[LLE_MAX_LINKHDR];
 977         size_t linkhdrsize;
 978         int lladdr_off;
 979         u_int laflags = 0;
 980         int error;
 981
 982         if (dl == NULL || dl->sdl_family != AF_LINK)
 983                 return (EINVAL);
 984
 985         /* XXX: should be ntohs() */
 986         ifp = ifnet_byindex(dl->sdl_index);
 987         if (ifp == NULL) {
 988                 log(LOG_INFO, "%s: invalid ifp (sdl_index %d)\n",
 989                     __func__, dl->sdl_index);
 990                 return EINVAL;
 991         }
 992
 993         llt = lltable_get(ifp, dst->sa_family);
 994
 995         if (llt == NULL)
 996                 return (ESRCH);
 997
 998         error = 0;
 999
1000         switch (rtm->rtm_type) {
1001         case RTM_ADD:
1002                 /* Add static LLE */
1003                 laflags = 0;
1004                 if (rtm->rtm_rmx.rmx_expire == 0)
1005                         laflags = LLE_STATIC;
1006                 lle = lltable_alloc_entry(llt, laflags, dst);
1007                 if (lle == NULL)
1008                         return (ENOMEM);
1009
1010                 linkhdrsize = sizeof(linkhdr);
1011                 if (lltable_calc_llheader(ifp, dst->sa_family, LLADDR(dl),
1012                     linkhdr, &linkhdrsize, &lladdr_off) != 0) {
1013                         lltable_free_entry(llt, lle);
1014                         return (EINVAL);
1015                 }
1016                 lltable_set_entry_addr(ifp, lle, linkhdr, linkhdrsize,
1017                     lladdr_off);
1018                 if ((rtm->rtm_flags & RTF_ANNOUNCE))
1019                         lle->la_flags |= LLE_PUB;
1020                 lle->la_expire = rtm->rtm_rmx.rmx_expire;
1021
1022                 laflags = lle->la_flags;
1023
1024                 /* Try to link new entry */
1025                 lle_tmp = NULL;
1026                 IF_AFDATA_WLOCK(ifp);
1027                 LLE_WLOCK(lle);
1028                 lle_tmp = lla_lookup(llt, LLE_EXCLUSIVE, dst);
1029                 if (lle_tmp != NULL) {
1030                         /* Check if we are trying to replace immutable entry */
1031                         if ((lle_tmp->la_flags & LLE_IFADDR) != 0) {
1032                                 IF_AFDATA_WUNLOCK(ifp);
1033                                 LLE_WUNLOCK(lle_tmp);
1034                                 lltable_free_entry(llt, lle);
1035                                 return (EPERM);
1036                         }
1037                         /* Unlink existing entry from table */
1038                         lltable_unlink_entry(llt, lle_tmp);
1039                 }
1040                 lltable_link_entry(llt, lle);
1041                 IF_AFDATA_WUNLOCK(ifp);
1042
1043                 if (lle_tmp != NULL) {
1044                         EVENTHANDLER_INVOKE(lle_event, lle_tmp,LLENTRY_EXPIRED);
1045                         lltable_free_entry(llt, lle_tmp);
1046                 }
1047
1048                 /*
1049                  * By invoking LLE handler here we might get
1050                  * two events on static LLE entry insertion
1051                  * in routing socket. However, since we might have
1052                  * other subscribers we need to generate this event.
1053                  */
1054                 EVENTHANDLER_INVOKE(lle_event, lle, LLENTRY_RESOLVED);
1055                 LLE_WUNLOCK(lle);
1056                 llt->llt_post_resolved(llt, lle);
1057                 break;
1058
1059         case RTM_DELETE:
1060                 return (lltable_delete_addr(llt, 0, dst));
1061
1062         default:
1063                 error = EINVAL;
1064         }
1065
1066         return (error);
1067 }
1068
1069 #ifdef DDB
1070 struct llentry_sa {
1071         struct llentry          base;
1072         struct sockaddr         l3_addr;
1073 };
1074
1075 static void
1076 llatbl_lle_show(struct llentry_sa *la)
1077 {
1078         struct llentry *lle;
1079         uint8_t octet[6];
1080
1081         lle = &la->base;
1082         db_printf("lle=%p\n", lle);
1083         db_printf(" lle_next=%p\n", lle->lle_next.cle_next);
1084         db_printf(" lle_lock=%p\n", &lle->lle_lock);
1085         db_printf(" lle_tbl=%p\n", lle->lle_tbl);
1086         db_printf(" lle_head=%p\n", lle->lle_head);
1087         db_printf(" la_hold=%p\n", lle->la_hold);
1088         db_printf(" la_numheld=%d\n", lle->la_numheld);
1089         db_printf(" la_expire=%ju\n", (uintmax_t)lle->la_expire);
1090         db_printf(" la_flags=0x%04x\n", lle->la_flags);
1091         db_printf(" la_asked=%u\n", lle->la_asked);
1092         db_printf(" la_preempt=%u\n", lle->la_preempt);
1093         db_printf(" ln_state=%d\n", lle->ln_state);
1094         db_printf(" ln_router=%u\n", lle->ln_router);
1095         db_printf(" ln_ntick=%ju\n", (uintmax_t)lle->ln_ntick);
1096         db_printf(" lle_refcnt=%d\n", lle->lle_refcnt);
1097         bcopy(lle->ll_addr, octet, sizeof(octet));
1098         db_printf(" ll_addr=%02x:%02x:%02x:%02x:%02x:%02x\n",
1099             octet[0], octet[1], octet[2], octet[3], octet[4], octet[5]);
1100         db_printf(" lle_timer=%p\n", &lle->lle_timer);
1101
1102         switch (la->l3_addr.sa_family) {
1103 #ifdef INET
1104         case AF_INET:
1105         {
1106                 struct sockaddr_in *sin;
1107                 char l3s[INET_ADDRSTRLEN];
1108
1109                 sin = (struct sockaddr_in *)&la->l3_addr;
1110                 inet_ntoa_r(sin->sin_addr, l3s);
1111                 db_printf(" l3_addr=%s\n", l3s);
1112                 break;
1113         }
1114 #endif
1115 #ifdef INET6
1116         case AF_INET6:
1117         {
1118                 struct sockaddr_in6 *sin6;
1119                 char l3s[INET6_ADDRSTRLEN];
1120
1121                 sin6 = (struct sockaddr_in6 *)&la->l3_addr;
1122                 ip6_sprintf(l3s, &sin6->sin6_addr);
1123                 db_printf(" l3_addr=%s\n", l3s);
1124                 break;
1125         }
1126 #endif
1127         default:
1128                 db_printf(" l3_addr=N/A (af=%d)\n", la->l3_addr.sa_family);
1129                 break;
1130         }
1131 }
1132
1133 DB_SHOW_COMMAND(llentry, db_show_llentry)
1134 {
1135
1136         if (!have_addr) {
1137                 db_printf("usage: show llentry <struct llentry *>\n");
1138                 return;
1139         }
1140
1141         llatbl_lle_show((struct llentry_sa *)addr);
1142 }
1143
1144 static void
1145 llatbl_llt_show(struct lltable *llt)
1146 {
1147         int i;
1148         struct llentry *lle;
1149
1150         db_printf("llt=%p llt_af=%d llt_ifp=%p\n",
1151             llt, llt->llt_af, llt->llt_ifp);
1152
1153         for (i = 0; i < llt->llt_hsize; i++) {
1154                 CK_LIST_FOREACH(lle, &llt->lle_head[i], lle_next) {
1155                         llatbl_lle_show((struct llentry_sa *)lle);
1156                         if (db_pager_quit)
1157                                 return;
1158                 }
1159         }
1160 }
1161
1162 DB_SHOW_COMMAND(lltable, db_show_lltable)
1163 {
1164
1165         if (!have_addr) {
1166                 db_printf("usage: show lltable <struct lltable *>\n");
1167                 return;
1168         }
1169
1170         llatbl_llt_show((struct lltable *)addr);
1171 }
1172
1173 DB_SHOW_ALL_COMMAND(lltables, db_show_all_lltables)
1174 {
1175         VNET_ITERATOR_DECL(vnet_iter);
1176         struct lltable *llt;
1177
1178         VNET_FOREACH(vnet_iter) {
1179                 CURVNET_SET_QUIET(vnet_iter);
1180 #ifdef VIMAGE
1181                 db_printf("vnet=%p\n", curvnet);
1182 #endif
1183                 SLIST_FOREACH(llt, &V_lltables, llt_link) {
1184                         db_printf("llt=%p llt_af=%d llt_ifp=%p(%s)\n",
1185                             llt, llt->llt_af, llt->llt_ifp,
1186                             (llt->llt_ifp != NULL) ?
1187                                 llt->llt_ifp->if_xname : "?");
1188                         if (have_addr && addr != 0) /* verbose */
1189                                 llatbl_llt_show(llt);
1190                         if (db_pager_quit) {
1191                                 CURVNET_RESTORE();
1192                                 return;
1193                         }
1194                 }
1195                 CURVNET_RESTORE();
1196         }
1197 }
1198 #endif