]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/netinet6/nd6.c
* Require explicitl lle unlink prior to calling llentry_delete().
[FreeBSD/FreeBSD.git] / sys / netinet6 / nd6.c
1 /*-
2  * Copyright (C) 1995, 1996, 1997, and 1998 WIDE Project.
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  * 3. Neither the name of the project nor the names of its contributors
14  *    may be used to endorse or promote products derived from this software
15  *    without specific prior written permission.
16  *
17  * THIS SOFTWARE IS PROVIDED BY THE PROJECT AND CONTRIBUTORS ``AS IS'' AND
18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE PROJECT OR CONTRIBUTORS BE LIABLE
21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
27  * SUCH DAMAGE.
28  *
29  *      $KAME: nd6.c,v 1.144 2001/05/24 07:44:00 itojun Exp $
30  */
31
32 #include <sys/cdefs.h>
33 __FBSDID("$FreeBSD$");
34
35 #include "opt_inet.h"
36 #include "opt_inet6.h"
37
38 #include <sys/param.h>
39 #include <sys/systm.h>
40 #include <sys/callout.h>
41 #include <sys/malloc.h>
42 #include <sys/mbuf.h>
43 #include <sys/socket.h>
44 #include <sys/sockio.h>
45 #include <sys/time.h>
46 #include <sys/kernel.h>
47 #include <sys/protosw.h>
48 #include <sys/errno.h>
49 #include <sys/syslog.h>
50 #include <sys/lock.h>
51 #include <sys/rwlock.h>
52 #include <sys/queue.h>
53 #include <sys/sdt.h>
54 #include <sys/sysctl.h>
55
56 #include <net/if.h>
57 #include <net/if_var.h>
58 #include <net/if_arc.h>
59 #include <net/if_dl.h>
60 #include <net/if_types.h>
61 #include <net/iso88025.h>
62 #include <net/fddi.h>
63 #include <net/route.h>
64 #include <net/vnet.h>
65
66 #include <netinet/in.h>
67 #include <netinet/in_kdtrace.h>
68 #include <net/if_llatbl.h>
69 #include <netinet/if_ether.h>
70 #include <netinet6/in6_var.h>
71 #include <netinet/ip6.h>
72 #include <netinet6/ip6_var.h>
73 #include <netinet6/scope6_var.h>
74 #include <netinet6/nd6.h>
75 #include <netinet6/in6_ifattach.h>
76 #include <netinet/icmp6.h>
77 #include <netinet6/send.h>
78
79 #include <sys/limits.h>
80
81 #include <security/mac/mac_framework.h>
82
83 #define ND6_SLOWTIMER_INTERVAL (60 * 60) /* 1 hour */
84 #define ND6_RECALC_REACHTM_INTERVAL (60 * 120) /* 2 hours */
85
86 #define SIN6(s) ((const struct sockaddr_in6 *)(s))
87
88 /* timer values */
89 VNET_DEFINE(int, nd6_prune)     = 1;    /* walk list every 1 seconds */
90 VNET_DEFINE(int, nd6_delay)     = 5;    /* delay first probe time 5 second */
91 VNET_DEFINE(int, nd6_umaxtries) = 3;    /* maximum unicast query */
92 VNET_DEFINE(int, nd6_mmaxtries) = 3;    /* maximum multicast query */
93 VNET_DEFINE(int, nd6_useloopback) = 1;  /* use loopback interface for
94                                          * local traffic */
95 VNET_DEFINE(int, nd6_gctimer)   = (60 * 60 * 24); /* 1 day: garbage
96                                          * collection timer */
97
98 /* preventing too many loops in ND option parsing */
99 static VNET_DEFINE(int, nd6_maxndopt) = 10; /* max # of ND options allowed */
100
101 VNET_DEFINE(int, nd6_maxnudhint) = 0;   /* max # of subsequent upper
102                                          * layer hints */
103 static VNET_DEFINE(int, nd6_maxqueuelen) = 1; /* max pkts cached in unresolved
104                                          * ND entries */
105 #define V_nd6_maxndopt                  VNET(nd6_maxndopt)
106 #define V_nd6_maxqueuelen               VNET(nd6_maxqueuelen)
107
108 #ifdef ND6_DEBUG
109 VNET_DEFINE(int, nd6_debug) = 1;
110 #else
111 VNET_DEFINE(int, nd6_debug) = 0;
112 #endif
113
114 static eventhandler_tag lle_event_eh;
115
116 /* for debugging? */
117 #if 0
118 static int nd6_inuse, nd6_allocated;
119 #endif
120
121 VNET_DEFINE(struct nd_drhead, nd_defrouter);
122 VNET_DEFINE(struct nd_prhead, nd_prefix);
123
124 VNET_DEFINE(int, nd6_recalc_reachtm_interval) = ND6_RECALC_REACHTM_INTERVAL;
125 #define V_nd6_recalc_reachtm_interval   VNET(nd6_recalc_reachtm_interval)
126
127 int     (*send_sendso_input_hook)(struct mbuf *, struct ifnet *, int, int);
128
129 static int nd6_is_new_addr_neighbor(struct sockaddr_in6 *,
130         struct ifnet *);
131 static void nd6_setmtu0(struct ifnet *, struct nd_ifinfo *);
132 static void nd6_slowtimo(void *);
133 static int regen_tmpaddr(struct in6_ifaddr *);
134 static void nd6_free(struct llentry *, int);
135 static void nd6_free_redirect(const struct llentry *);
136 static void nd6_llinfo_timer(void *);
137 static void clear_llinfo_pqueue(struct llentry *);
138 static void nd6_rtrequest(int, struct rtentry *, struct rt_addrinfo *);
139 static int nd6_output_lle(struct ifnet *, struct ifnet *, struct mbuf *,
140         struct sockaddr_in6 *);
141 static int nd6_output_ifp(struct ifnet *, struct ifnet *, struct mbuf *,
142     struct sockaddr_in6 *);
143
144 static VNET_DEFINE(struct callout, nd6_slowtimo_ch);
145 #define V_nd6_slowtimo_ch               VNET(nd6_slowtimo_ch)
146
147 VNET_DEFINE(struct callout, nd6_timer_ch);
148
149 static void
150 nd6_lle_event(void *arg __unused, struct llentry *lle, int evt)
151 {
152         struct rt_addrinfo rtinfo;
153         struct sockaddr_in6 dst;
154         struct sockaddr_dl gw;
155         struct ifnet *ifp;
156         int type;
157
158         LLE_WLOCK_ASSERT(lle);
159
160         if (lltable_get_af(lle->lle_tbl) != AF_INET6)
161                 return;
162
163         switch (evt) {
164         case LLENTRY_RESOLVED:
165                 type = RTM_ADD;
166                 KASSERT(lle->la_flags & LLE_VALID,
167                     ("%s: %p resolved but not valid?", __func__, lle));
168                 break;
169         case LLENTRY_EXPIRED:
170                 type = RTM_DELETE;
171                 break;
172         default:
173                 return;
174         }
175
176         ifp = lltable_get_ifp(lle->lle_tbl);
177
178         bzero(&dst, sizeof(dst));
179         bzero(&gw, sizeof(gw));
180         bzero(&rtinfo, sizeof(rtinfo));
181         lltable_fill_sa_entry(lle, (struct sockaddr *)&dst);
182         dst.sin6_scope_id = in6_getscopezone(ifp,
183             in6_addrscope(&dst.sin6_addr));
184         gw.sdl_len = sizeof(struct sockaddr_dl);
185         gw.sdl_family = AF_LINK;
186         gw.sdl_alen = ifp->if_addrlen;
187         gw.sdl_index = ifp->if_index;
188         gw.sdl_type = ifp->if_type;
189         if (evt == LLENTRY_RESOLVED)
190                 bcopy(&lle->ll_addr, gw.sdl_data, ifp->if_addrlen);
191         rtinfo.rti_info[RTAX_DST] = (struct sockaddr *)&dst;
192         rtinfo.rti_info[RTAX_GATEWAY] = (struct sockaddr *)&gw;
193         rtinfo.rti_addrs = RTA_DST | RTA_GATEWAY;
194         rt_missmsg_fib(type, &rtinfo, RTF_HOST | RTF_LLDATA | (
195             type == RTM_ADD ? RTF_UP: 0), 0, RT_DEFAULT_FIB);
196 }
197
198 void
199 nd6_init(void)
200 {
201
202         LIST_INIT(&V_nd_prefix);
203
204         /* initialization of the default router list */
205         TAILQ_INIT(&V_nd_defrouter);
206
207         /* start timer */
208         callout_init(&V_nd6_slowtimo_ch, 0);
209         callout_reset(&V_nd6_slowtimo_ch, ND6_SLOWTIMER_INTERVAL * hz,
210             nd6_slowtimo, curvnet);
211
212         nd6_dad_init();
213         if (IS_DEFAULT_VNET(curvnet))
214                 lle_event_eh = EVENTHANDLER_REGISTER(lle_event, nd6_lle_event,
215                     NULL, EVENTHANDLER_PRI_ANY);
216 }
217
218 #ifdef VIMAGE
219 void
220 nd6_destroy()
221 {
222
223         callout_drain(&V_nd6_slowtimo_ch);
224         callout_drain(&V_nd6_timer_ch);
225         if (IS_DEFAULT_VNET(curvnet))
226                 EVENTHANDLER_DEREGISTER(lle_event, lle_event_eh);
227 }
228 #endif
229
230 struct nd_ifinfo *
231 nd6_ifattach(struct ifnet *ifp)
232 {
233         struct nd_ifinfo *nd;
234
235         nd = (struct nd_ifinfo *)malloc(sizeof(*nd), M_IP6NDP, M_WAITOK|M_ZERO);
236         nd->initialized = 1;
237
238         nd->chlim = IPV6_DEFHLIM;
239         nd->basereachable = REACHABLE_TIME;
240         nd->reachable = ND_COMPUTE_RTIME(nd->basereachable);
241         nd->retrans = RETRANS_TIMER;
242
243         nd->flags = ND6_IFF_PERFORMNUD;
244
245         /* A loopback interface always has ND6_IFF_AUTO_LINKLOCAL.
246          * XXXHRS: Clear ND6_IFF_AUTO_LINKLOCAL on an IFT_BRIDGE interface by
247          * default regardless of the V_ip6_auto_linklocal configuration to
248          * give a reasonable default behavior.
249          */
250         if ((V_ip6_auto_linklocal && ifp->if_type != IFT_BRIDGE) ||
251             (ifp->if_flags & IFF_LOOPBACK))
252                 nd->flags |= ND6_IFF_AUTO_LINKLOCAL;
253         /*
254          * A loopback interface does not need to accept RTADV.
255          * XXXHRS: Clear ND6_IFF_ACCEPT_RTADV on an IFT_BRIDGE interface by
256          * default regardless of the V_ip6_accept_rtadv configuration to
257          * prevent the interface from accepting RA messages arrived
258          * on one of the member interfaces with ND6_IFF_ACCEPT_RTADV.
259          */
260         if (V_ip6_accept_rtadv &&
261             !(ifp->if_flags & IFF_LOOPBACK) &&
262             (ifp->if_type != IFT_BRIDGE))
263                         nd->flags |= ND6_IFF_ACCEPT_RTADV;
264         if (V_ip6_no_radr && !(ifp->if_flags & IFF_LOOPBACK))
265                 nd->flags |= ND6_IFF_NO_RADR;
266
267         /* XXX: we cannot call nd6_setmtu since ifp is not fully initialized */
268         nd6_setmtu0(ifp, nd);
269
270         return nd;
271 }
272
273 void
274 nd6_ifdetach(struct nd_ifinfo *nd)
275 {
276
277         free(nd, M_IP6NDP);
278 }
279
280 /*
281  * Reset ND level link MTU. This function is called when the physical MTU
282  * changes, which means we might have to adjust the ND level MTU.
283  */
284 void
285 nd6_setmtu(struct ifnet *ifp)
286 {
287
288         nd6_setmtu0(ifp, ND_IFINFO(ifp));
289 }
290
291 /* XXX todo: do not maintain copy of ifp->if_mtu in ndi->maxmtu */
292 void
293 nd6_setmtu0(struct ifnet *ifp, struct nd_ifinfo *ndi)
294 {
295         u_int32_t omaxmtu;
296
297         omaxmtu = ndi->maxmtu;
298
299         switch (ifp->if_type) {
300         case IFT_ARCNET:
301                 ndi->maxmtu = MIN(ARC_PHDS_MAXMTU, ifp->if_mtu); /* RFC2497 */
302                 break;
303         case IFT_FDDI:
304                 ndi->maxmtu = MIN(FDDIIPMTU, ifp->if_mtu); /* RFC2467 */
305                 break;
306         case IFT_ISO88025:
307                  ndi->maxmtu = MIN(ISO88025_MAX_MTU, ifp->if_mtu);
308                  break;
309         default:
310                 ndi->maxmtu = ifp->if_mtu;
311                 break;
312         }
313
314         /*
315          * Decreasing the interface MTU under IPV6 minimum MTU may cause
316          * undesirable situation.  We thus notify the operator of the change
317          * explicitly.  The check for omaxmtu is necessary to restrict the
318          * log to the case of changing the MTU, not initializing it.
319          */
320         if (omaxmtu >= IPV6_MMTU && ndi->maxmtu < IPV6_MMTU) {
321                 log(LOG_NOTICE, "nd6_setmtu0: "
322                     "new link MTU on %s (%lu) is too small for IPv6\n",
323                     if_name(ifp), (unsigned long)ndi->maxmtu);
324         }
325
326         if (ndi->maxmtu > V_in6_maxmtu)
327                 in6_setmaxmtu(); /* check all interfaces just in case */
328
329 }
330
331 void
332 nd6_option_init(void *opt, int icmp6len, union nd_opts *ndopts)
333 {
334
335         bzero(ndopts, sizeof(*ndopts));
336         ndopts->nd_opts_search = (struct nd_opt_hdr *)opt;
337         ndopts->nd_opts_last
338                 = (struct nd_opt_hdr *)(((u_char *)opt) + icmp6len);
339
340         if (icmp6len == 0) {
341                 ndopts->nd_opts_done = 1;
342                 ndopts->nd_opts_search = NULL;
343         }
344 }
345
346 /*
347  * Take one ND option.
348  */
349 struct nd_opt_hdr *
350 nd6_option(union nd_opts *ndopts)
351 {
352         struct nd_opt_hdr *nd_opt;
353         int olen;
354
355         KASSERT(ndopts != NULL, ("%s: ndopts == NULL", __func__));
356         KASSERT(ndopts->nd_opts_last != NULL, ("%s: uninitialized ndopts",
357             __func__));
358         if (ndopts->nd_opts_search == NULL)
359                 return NULL;
360         if (ndopts->nd_opts_done)
361                 return NULL;
362
363         nd_opt = ndopts->nd_opts_search;
364
365         /* make sure nd_opt_len is inside the buffer */
366         if ((caddr_t)&nd_opt->nd_opt_len >= (caddr_t)ndopts->nd_opts_last) {
367                 bzero(ndopts, sizeof(*ndopts));
368                 return NULL;
369         }
370
371         olen = nd_opt->nd_opt_len << 3;
372         if (olen == 0) {
373                 /*
374                  * Message validation requires that all included
375                  * options have a length that is greater than zero.
376                  */
377                 bzero(ndopts, sizeof(*ndopts));
378                 return NULL;
379         }
380
381         ndopts->nd_opts_search = (struct nd_opt_hdr *)((caddr_t)nd_opt + olen);
382         if (ndopts->nd_opts_search > ndopts->nd_opts_last) {
383                 /* option overruns the end of buffer, invalid */
384                 bzero(ndopts, sizeof(*ndopts));
385                 return NULL;
386         } else if (ndopts->nd_opts_search == ndopts->nd_opts_last) {
387                 /* reached the end of options chain */
388                 ndopts->nd_opts_done = 1;
389                 ndopts->nd_opts_search = NULL;
390         }
391         return nd_opt;
392 }
393
394 /*
395  * Parse multiple ND options.
396  * This function is much easier to use, for ND routines that do not need
397  * multiple options of the same type.
398  */
399 int
400 nd6_options(union nd_opts *ndopts)
401 {
402         struct nd_opt_hdr *nd_opt;
403         int i = 0;
404
405         KASSERT(ndopts != NULL, ("%s: ndopts == NULL", __func__));
406         KASSERT(ndopts->nd_opts_last != NULL, ("%s: uninitialized ndopts",
407             __func__));
408         if (ndopts->nd_opts_search == NULL)
409                 return 0;
410
411         while (1) {
412                 nd_opt = nd6_option(ndopts);
413                 if (nd_opt == NULL && ndopts->nd_opts_last == NULL) {
414                         /*
415                          * Message validation requires that all included
416                          * options have a length that is greater than zero.
417                          */
418                         ICMP6STAT_INC(icp6s_nd_badopt);
419                         bzero(ndopts, sizeof(*ndopts));
420                         return -1;
421                 }
422
423                 if (nd_opt == NULL)
424                         goto skip1;
425
426                 switch (nd_opt->nd_opt_type) {
427                 case ND_OPT_SOURCE_LINKADDR:
428                 case ND_OPT_TARGET_LINKADDR:
429                 case ND_OPT_MTU:
430                 case ND_OPT_REDIRECTED_HEADER:
431                 case ND_OPT_NONCE:
432                         if (ndopts->nd_opt_array[nd_opt->nd_opt_type]) {
433                                 nd6log((LOG_INFO,
434                                     "duplicated ND6 option found (type=%d)\n",
435                                     nd_opt->nd_opt_type));
436                                 /* XXX bark? */
437                         } else {
438                                 ndopts->nd_opt_array[nd_opt->nd_opt_type]
439                                         = nd_opt;
440                         }
441                         break;
442                 case ND_OPT_PREFIX_INFORMATION:
443                         if (ndopts->nd_opt_array[nd_opt->nd_opt_type] == 0) {
444                                 ndopts->nd_opt_array[nd_opt->nd_opt_type]
445                                         = nd_opt;
446                         }
447                         ndopts->nd_opts_pi_end =
448                                 (struct nd_opt_prefix_info *)nd_opt;
449                         break;
450                 /* What about ND_OPT_ROUTE_INFO? RFC 4191 */
451                 case ND_OPT_RDNSS:      /* RFC 6106 */
452                 case ND_OPT_DNSSL:      /* RFC 6106 */
453                         /*
454                          * Silently ignore options we know and do not care about
455                          * in the kernel.
456                          */
457                         break;
458                 default:
459                         /*
460                          * Unknown options must be silently ignored,
461                          * to accomodate future extension to the protocol.
462                          */
463                         nd6log((LOG_DEBUG,
464                             "nd6_options: unsupported option %d - "
465                             "option ignored\n", nd_opt->nd_opt_type));
466                 }
467
468 skip1:
469                 i++;
470                 if (i > V_nd6_maxndopt) {
471                         ICMP6STAT_INC(icp6s_nd_toomanyopt);
472                         nd6log((LOG_INFO, "too many loop in nd opt\n"));
473                         break;
474                 }
475
476                 if (ndopts->nd_opts_done)
477                         break;
478         }
479
480         return 0;
481 }
482
483 /*
484  * ND6 timer routine to handle ND6 entries
485  */
486 void
487 nd6_llinfo_settimer_locked(struct llentry *ln, long tick)
488 {
489         int canceled;
490
491         LLE_WLOCK_ASSERT(ln);
492
493         if (tick < 0) {
494                 ln->la_expire = 0;
495                 ln->ln_ntick = 0;
496                 canceled = callout_stop(&ln->lle_timer);
497         } else {
498                 ln->la_expire = time_uptime + tick / hz;
499                 LLE_ADDREF(ln);
500                 if (tick > INT_MAX) {
501                         ln->ln_ntick = tick - INT_MAX;
502                         canceled = callout_reset(&ln->lle_timer, INT_MAX,
503                             nd6_llinfo_timer, ln);
504                 } else {
505                         ln->ln_ntick = 0;
506                         canceled = callout_reset(&ln->lle_timer, tick,
507                             nd6_llinfo_timer, ln);
508                 }
509         }
510         if (canceled)
511                 LLE_REMREF(ln);
512 }
513
514 /*
515 * Gets source address of the first packet in hold queue
516 * and stores it in @src.
517 * Returns pointer to @src (if hold queue is not empty) or NULL.
518 *
519 */
520 static struct in6_addr *
521 nd6_llinfo_get_holdsrc(struct llentry *ln, struct in6_addr *src)
522 {
523         struct ip6_hdr hdr;
524         struct mbuf *m;
525
526         if (ln->la_hold == NULL)
527                 return (NULL);
528
529         /*
530          * assume every packet in la_hold has the same IP header
531          */
532         m = ln->la_hold;
533         if (sizeof(hdr) < m->m_len)
534                 return (NULL);
535
536         m_copydata(m, 0, sizeof(hdr), (caddr_t)&hdr);
537         *src = hdr.ip6_src;
538
539         return (src);
540 }
541
542 void
543 nd6_llinfo_settimer(struct llentry *ln, long tick)
544 {
545
546         LLE_WLOCK(ln);
547         nd6_llinfo_settimer_locked(ln, tick);
548         LLE_WUNLOCK(ln);
549 }
550
551 static void
552 nd6_llinfo_timer(void *arg)
553 {
554         struct llentry *ln;
555         struct in6_addr *dst, *pdst, *psrc, src;
556         struct ifnet *ifp;
557         struct nd_ifinfo *ndi = NULL;
558         int send_ns;
559
560         KASSERT(arg != NULL, ("%s: arg NULL", __func__));
561         ln = (struct llentry *)arg;
562         LLE_WLOCK(ln);
563         if (callout_pending(&ln->lle_timer)) {
564                 /*
565                  * Here we are a bit odd here in the treatment of 
566                  * active/pending. If the pending bit is set, it got
567                  * rescheduled before I ran. The active
568                  * bit we ignore, since if it was stopped
569                  * in ll_tablefree() and was currently running
570                  * it would have return 0 so the code would
571                  * not have deleted it since the callout could
572                  * not be stopped so we want to go through
573                  * with the delete here now. If the callout
574                  * was restarted, the pending bit will be back on and
575                  * we just want to bail since the callout_reset would
576                  * return 1 and our reference would have been removed
577                  * by nd6_llinfo_settimer_locked above since canceled
578                  * would have been 1.
579                  */
580                 LLE_WUNLOCK(ln);
581                 return;
582         }
583         ifp = ln->lle_tbl->llt_ifp;
584         CURVNET_SET(ifp->if_vnet);
585         ndi = ND_IFINFO(ifp);
586         send_ns = 0;
587         dst = &ln->r_l3addr.addr6;
588         pdst = dst;
589
590         if (ln->ln_ntick > 0) {
591                 if (ln->ln_ntick > INT_MAX) {
592                         ln->ln_ntick -= INT_MAX;
593                         nd6_llinfo_settimer_locked(ln, INT_MAX);
594                 } else {
595                         ln->ln_ntick = 0;
596                         nd6_llinfo_settimer_locked(ln, ln->ln_ntick);
597                 }
598                 goto done;
599         }
600
601         if (ln->la_flags & LLE_STATIC) {
602                 goto done;
603         }
604
605         if (ln->la_flags & LLE_DELETED) {
606                 nd6_free(ln, 0);
607                 ln = NULL;
608                 goto done;
609         }
610
611         switch (ln->ln_state) {
612         case ND6_LLINFO_INCOMPLETE:
613                 if (ln->la_asked < V_nd6_mmaxtries) {
614                         ln->la_asked++;
615                         send_ns = 1;
616                         /* Send NS to multicast address */
617                         pdst = NULL;
618                 } else {
619                         struct mbuf *m = ln->la_hold;
620                         if (m) {
621                                 struct mbuf *m0;
622
623                                 /*
624                                  * assuming every packet in la_hold has the
625                                  * same IP header.  Send error after unlock.
626                                  */
627                                 m0 = m->m_nextpkt;
628                                 m->m_nextpkt = NULL;
629                                 ln->la_hold = m0;
630                                 clear_llinfo_pqueue(ln);
631                         }
632                         EVENTHANDLER_INVOKE(lle_event, ln, LLENTRY_TIMEDOUT);
633                         nd6_free(ln, 0);
634                         ln = NULL;
635                         if (m != NULL)
636                                 icmp6_error2(m, ICMP6_DST_UNREACH,
637                                     ICMP6_DST_UNREACH_ADDR, 0, ifp);
638                 }
639                 break;
640         case ND6_LLINFO_REACHABLE:
641                 if (!ND6_LLINFO_PERMANENT(ln)) {
642                         ln->ln_state = ND6_LLINFO_STALE;
643                         nd6_llinfo_settimer_locked(ln, (long)V_nd6_gctimer * hz);
644                 }
645                 break;
646
647         case ND6_LLINFO_STALE:
648                 /* Garbage Collection(RFC 2461 5.3) */
649                 if (!ND6_LLINFO_PERMANENT(ln)) {
650                         EVENTHANDLER_INVOKE(lle_event, ln, LLENTRY_EXPIRED);
651                         nd6_free(ln, 1);
652                         ln = NULL;
653                 }
654                 break;
655
656         case ND6_LLINFO_DELAY:
657                 if (ndi && (ndi->flags & ND6_IFF_PERFORMNUD) != 0) {
658                         /* We need NUD */
659                         ln->la_asked = 1;
660                         ln->ln_state = ND6_LLINFO_PROBE;
661                         send_ns = 1;
662                 } else {
663                         ln->ln_state = ND6_LLINFO_STALE; /* XXX */
664                         nd6_llinfo_settimer_locked(ln, (long)V_nd6_gctimer * hz);
665                 }
666                 break;
667         case ND6_LLINFO_PROBE:
668                 if (ln->la_asked < V_nd6_umaxtries) {
669                         ln->la_asked++;
670                         send_ns = 1;
671                 } else {
672                         EVENTHANDLER_INVOKE(lle_event, ln, LLENTRY_EXPIRED);
673                         nd6_free(ln, 0);
674                         ln = NULL;
675                 }
676                 break;
677         default:
678                 panic("%s: paths in a dark night can be confusing: %d",
679                     __func__, ln->ln_state);
680         }
681 done:
682         if (send_ns != 0) {
683                 nd6_llinfo_settimer_locked(ln, (long)ndi->retrans * hz / 1000);
684                 psrc = nd6_llinfo_get_holdsrc(ln, &src);
685                 LLE_FREE_LOCKED(ln);
686                 ln = NULL;
687                 nd6_ns_output(ifp, psrc, pdst, dst, NULL);
688         }
689
690         if (ln != NULL)
691                 LLE_FREE_LOCKED(ln);
692         CURVNET_RESTORE();
693 }
694
695
696 /*
697  * ND6 timer routine to expire default route list and prefix list
698  */
699 void
700 nd6_timer(void *arg)
701 {
702         CURVNET_SET((struct vnet *) arg);
703         struct nd_defrouter *dr, *ndr;
704         struct nd_prefix *pr, *npr;
705         struct in6_ifaddr *ia6, *nia6;
706
707         callout_reset(&V_nd6_timer_ch, V_nd6_prune * hz,
708             nd6_timer, curvnet);
709
710         /* expire default router list */
711         TAILQ_FOREACH_SAFE(dr, &V_nd_defrouter, dr_entry, ndr) {
712                 if (dr->expire && dr->expire < time_uptime)
713                         defrtrlist_del(dr);
714         }
715
716         /*
717          * expire interface addresses.
718          * in the past the loop was inside prefix expiry processing.
719          * However, from a stricter speci-confrmance standpoint, we should
720          * rather separate address lifetimes and prefix lifetimes.
721          *
722          * XXXRW: in6_ifaddrhead locking.
723          */
724   addrloop:
725         TAILQ_FOREACH_SAFE(ia6, &V_in6_ifaddrhead, ia_link, nia6) {
726                 /* check address lifetime */
727                 if (IFA6_IS_INVALID(ia6)) {
728                         int regen = 0;
729
730                         /*
731                          * If the expiring address is temporary, try
732                          * regenerating a new one.  This would be useful when
733                          * we suspended a laptop PC, then turned it on after a
734                          * period that could invalidate all temporary
735                          * addresses.  Although we may have to restart the
736                          * loop (see below), it must be after purging the
737                          * address.  Otherwise, we'd see an infinite loop of
738                          * regeneration.
739                          */
740                         if (V_ip6_use_tempaddr &&
741                             (ia6->ia6_flags & IN6_IFF_TEMPORARY) != 0) {
742                                 if (regen_tmpaddr(ia6) == 0)
743                                         regen = 1;
744                         }
745
746                         in6_purgeaddr(&ia6->ia_ifa);
747
748                         if (regen)
749                                 goto addrloop; /* XXX: see below */
750                 } else if (IFA6_IS_DEPRECATED(ia6)) {
751                         int oldflags = ia6->ia6_flags;
752
753                         ia6->ia6_flags |= IN6_IFF_DEPRECATED;
754
755                         /*
756                          * If a temporary address has just become deprecated,
757                          * regenerate a new one if possible.
758                          */
759                         if (V_ip6_use_tempaddr &&
760                             (ia6->ia6_flags & IN6_IFF_TEMPORARY) != 0 &&
761                             (oldflags & IN6_IFF_DEPRECATED) == 0) {
762
763                                 if (regen_tmpaddr(ia6) == 0) {
764                                         /*
765                                          * A new temporary address is
766                                          * generated.
767                                          * XXX: this means the address chain
768                                          * has changed while we are still in
769                                          * the loop.  Although the change
770                                          * would not cause disaster (because
771                                          * it's not a deletion, but an
772                                          * addition,) we'd rather restart the
773                                          * loop just for safety.  Or does this
774                                          * significantly reduce performance??
775                                          */
776                                         goto addrloop;
777                                 }
778                         }
779                 } else {
780                         /*
781                          * A new RA might have made a deprecated address
782                          * preferred.
783                          */
784                         ia6->ia6_flags &= ~IN6_IFF_DEPRECATED;
785                 }
786         }
787
788         /* expire prefix list */
789         LIST_FOREACH_SAFE(pr, &V_nd_prefix, ndpr_entry, npr) {
790                 /*
791                  * check prefix lifetime.
792                  * since pltime is just for autoconf, pltime processing for
793                  * prefix is not necessary.
794                  */
795                 if (pr->ndpr_vltime != ND6_INFINITE_LIFETIME &&
796                     time_uptime - pr->ndpr_lastupdate > pr->ndpr_vltime) {
797
798                         /*
799                          * address expiration and prefix expiration are
800                          * separate.  NEVER perform in6_purgeaddr here.
801                          */
802                         prelist_remove(pr);
803                 }
804         }
805         CURVNET_RESTORE();
806 }
807
808 /*
809  * ia6 - deprecated/invalidated temporary address
810  */
811 static int
812 regen_tmpaddr(struct in6_ifaddr *ia6)
813 {
814         struct ifaddr *ifa;
815         struct ifnet *ifp;
816         struct in6_ifaddr *public_ifa6 = NULL;
817
818         ifp = ia6->ia_ifa.ifa_ifp;
819         IF_ADDR_RLOCK(ifp);
820         TAILQ_FOREACH(ifa, &ifp->if_addrhead, ifa_link) {
821                 struct in6_ifaddr *it6;
822
823                 if (ifa->ifa_addr->sa_family != AF_INET6)
824                         continue;
825
826                 it6 = (struct in6_ifaddr *)ifa;
827
828                 /* ignore no autoconf addresses. */
829                 if ((it6->ia6_flags & IN6_IFF_AUTOCONF) == 0)
830                         continue;
831
832                 /* ignore autoconf addresses with different prefixes. */
833                 if (it6->ia6_ndpr == NULL || it6->ia6_ndpr != ia6->ia6_ndpr)
834                         continue;
835
836                 /*
837                  * Now we are looking at an autoconf address with the same
838                  * prefix as ours.  If the address is temporary and is still
839                  * preferred, do not create another one.  It would be rare, but
840                  * could happen, for example, when we resume a laptop PC after
841                  * a long period.
842                  */
843                 if ((it6->ia6_flags & IN6_IFF_TEMPORARY) != 0 &&
844                     !IFA6_IS_DEPRECATED(it6)) {
845                         public_ifa6 = NULL;
846                         break;
847                 }
848
849                 /*
850                  * This is a public autoconf address that has the same prefix
851                  * as ours.  If it is preferred, keep it.  We can't break the
852                  * loop here, because there may be a still-preferred temporary
853                  * address with the prefix.
854                  */
855                 if (!IFA6_IS_DEPRECATED(it6))
856                         public_ifa6 = it6;
857         }
858         if (public_ifa6 != NULL)
859                 ifa_ref(&public_ifa6->ia_ifa);
860         IF_ADDR_RUNLOCK(ifp);
861
862         if (public_ifa6 != NULL) {
863                 int e;
864
865                 if ((e = in6_tmpifadd(public_ifa6, 0, 0)) != 0) {
866                         ifa_free(&public_ifa6->ia_ifa);
867                         log(LOG_NOTICE, "regen_tmpaddr: failed to create a new"
868                             " tmp addr,errno=%d\n", e);
869                         return (-1);
870                 }
871                 ifa_free(&public_ifa6->ia_ifa);
872                 return (0);
873         }
874
875         return (-1);
876 }
877
878 /*
879  * Nuke neighbor cache/prefix/default router management table, right before
880  * ifp goes away.
881  */
882 void
883 nd6_purge(struct ifnet *ifp)
884 {
885         struct nd_defrouter *dr, *ndr;
886         struct nd_prefix *pr, *npr;
887
888         /*
889          * Nuke default router list entries toward ifp.
890          * We defer removal of default router list entries that is installed
891          * in the routing table, in order to keep additional side effects as
892          * small as possible.
893          */
894         TAILQ_FOREACH_SAFE(dr, &V_nd_defrouter, dr_entry, ndr) {
895                 if (dr->installed)
896                         continue;
897
898                 if (dr->ifp == ifp)
899                         defrtrlist_del(dr);
900         }
901
902         TAILQ_FOREACH_SAFE(dr, &V_nd_defrouter, dr_entry, ndr) {
903                 if (!dr->installed)
904                         continue;
905
906                 if (dr->ifp == ifp)
907                         defrtrlist_del(dr);
908         }
909
910         /* Nuke prefix list entries toward ifp */
911         LIST_FOREACH_SAFE(pr, &V_nd_prefix, ndpr_entry, npr) {
912                 if (pr->ndpr_ifp == ifp) {
913                         /*
914                          * Because if_detach() does *not* release prefixes
915                          * while purging addresses the reference count will
916                          * still be above zero. We therefore reset it to
917                          * make sure that the prefix really gets purged.
918                          */
919                         pr->ndpr_refcnt = 0;
920
921                         /*
922                          * Previously, pr->ndpr_addr is removed as well,
923                          * but I strongly believe we don't have to do it.
924                          * nd6_purge() is only called from in6_ifdetach(),
925                          * which removes all the associated interface addresses
926                          * by itself.
927                          * (jinmei@kame.net 20010129)
928                          */
929                         prelist_remove(pr);
930                 }
931         }
932
933         /* cancel default outgoing interface setting */
934         if (V_nd6_defifindex == ifp->if_index)
935                 nd6_setdefaultiface(0);
936
937         if (ND_IFINFO(ifp)->flags & ND6_IFF_ACCEPT_RTADV) {
938                 /* Refresh default router list. */
939                 defrouter_select();
940         }
941
942         /* XXXXX
943          * We do not nuke the neighbor cache entries here any more
944          * because the neighbor cache is kept in if_afdata[AF_INET6].
945          * nd6_purge() is invoked by in6_ifdetach() which is called
946          * from if_detach() where everything gets purged. So let
947          * in6_domifdetach() do the actual L2 table purging work.
948          */
949 }
950
951 /* 
952  * the caller acquires and releases the lock on the lltbls
953  * Returns the llentry locked
954  */
955 struct llentry *
956 nd6_lookup(struct in6_addr *addr6, int flags, struct ifnet *ifp)
957 {
958         struct sockaddr_in6 sin6;
959         struct llentry *ln;
960         int llflags;
961         
962         bzero(&sin6, sizeof(sin6));
963         sin6.sin6_len = sizeof(struct sockaddr_in6);
964         sin6.sin6_family = AF_INET6;
965         sin6.sin6_addr = *addr6;
966
967         IF_AFDATA_LOCK_ASSERT(ifp);
968
969         llflags = (flags & ND6_EXCLUSIVE) ? LLE_EXCLUSIVE : 0;
970         ln = lla_lookup(LLTABLE6(ifp), llflags, (struct sockaddr *)&sin6);
971
972         return (ln);
973 }
974
975 struct llentry *
976 nd6_alloc(struct in6_addr *addr6, int flags, struct ifnet *ifp)
977 {
978         struct sockaddr_in6 sin6;
979         struct llentry *ln;
980
981         bzero(&sin6, sizeof(sin6));
982         sin6.sin6_len = sizeof(struct sockaddr_in6);
983         sin6.sin6_family = AF_INET6;
984         sin6.sin6_addr = *addr6;
985
986         ln = lltable_alloc_entry(LLTABLE6(ifp), 0, (struct sockaddr *)&sin6);
987         if (ln != NULL)
988                 ln->ln_state = ND6_LLINFO_NOSTATE;
989
990         return (ln);
991 }
992
993 /*
994  * Test whether a given IPv6 address is a neighbor or not, ignoring
995  * the actual neighbor cache.  The neighbor cache is ignored in order
996  * to not reenter the routing code from within itself.
997  */
998 static int
999 nd6_is_new_addr_neighbor(struct sockaddr_in6 *addr, struct ifnet *ifp)
1000 {
1001         struct nd_prefix *pr;
1002         struct ifaddr *dstaddr;
1003
1004         /*
1005          * A link-local address is always a neighbor.
1006          * XXX: a link does not necessarily specify a single interface.
1007          */
1008         if (IN6_IS_ADDR_LINKLOCAL(&addr->sin6_addr)) {
1009                 struct sockaddr_in6 sin6_copy;
1010                 u_int32_t zone;
1011
1012                 /*
1013                  * We need sin6_copy since sa6_recoverscope() may modify the
1014                  * content (XXX).
1015                  */
1016                 sin6_copy = *addr;
1017                 if (sa6_recoverscope(&sin6_copy))
1018                         return (0); /* XXX: should be impossible */
1019                 if (in6_setscope(&sin6_copy.sin6_addr, ifp, &zone))
1020                         return (0);
1021                 if (sin6_copy.sin6_scope_id == zone)
1022                         return (1);
1023                 else
1024                         return (0);
1025         }
1026
1027         /*
1028          * If the address matches one of our addresses,
1029          * it should be a neighbor.
1030          * If the address matches one of our on-link prefixes, it should be a
1031          * neighbor.
1032          */
1033         LIST_FOREACH(pr, &V_nd_prefix, ndpr_entry) {
1034                 if (pr->ndpr_ifp != ifp)
1035                         continue;
1036
1037                 if (!(pr->ndpr_stateflags & NDPRF_ONLINK)) {
1038                         struct rtentry *rt;
1039
1040                         /* Always use the default FIB here. */
1041                         rt = in6_rtalloc1((struct sockaddr *)&pr->ndpr_prefix,
1042                             0, 0, RT_DEFAULT_FIB);
1043                         if (rt == NULL)
1044                                 continue;
1045                         /*
1046                          * This is the case where multiple interfaces
1047                          * have the same prefix, but only one is installed 
1048                          * into the routing table and that prefix entry
1049                          * is not the one being examined here. In the case
1050                          * where RADIX_MPATH is enabled, multiple route
1051                          * entries (of the same rt_key value) will be 
1052                          * installed because the interface addresses all
1053                          * differ.
1054                          */
1055                         if (!IN6_ARE_ADDR_EQUAL(&pr->ndpr_prefix.sin6_addr,
1056                                &((struct sockaddr_in6 *)rt_key(rt))->sin6_addr)) {
1057                                 RTFREE_LOCKED(rt);
1058                                 continue;
1059                         }
1060                         RTFREE_LOCKED(rt);
1061                 }
1062
1063                 if (IN6_ARE_MASKED_ADDR_EQUAL(&pr->ndpr_prefix.sin6_addr,
1064                     &addr->sin6_addr, &pr->ndpr_mask))
1065                         return (1);
1066         }
1067
1068         /*
1069          * If the address is assigned on the node of the other side of
1070          * a p2p interface, the address should be a neighbor.
1071          */
1072         dstaddr = ifa_ifwithdstaddr((struct sockaddr *)addr, RT_ALL_FIBS);
1073         if (dstaddr != NULL) {
1074                 if (dstaddr->ifa_ifp == ifp) {
1075                         ifa_free(dstaddr);
1076                         return (1);
1077                 }
1078                 ifa_free(dstaddr);
1079         }
1080
1081         /*
1082          * If the default router list is empty, all addresses are regarded
1083          * as on-link, and thus, as a neighbor.
1084          */
1085         if (ND_IFINFO(ifp)->flags & ND6_IFF_ACCEPT_RTADV &&
1086             TAILQ_EMPTY(&V_nd_defrouter) &&
1087             V_nd6_defifindex == ifp->if_index) {
1088                 return (1);
1089         }
1090
1091         return (0);
1092 }
1093
1094
1095 /*
1096  * Detect if a given IPv6 address identifies a neighbor on a given link.
1097  * XXX: should take care of the destination of a p2p link?
1098  */
1099 int
1100 nd6_is_addr_neighbor(struct sockaddr_in6 *addr, struct ifnet *ifp)
1101 {
1102         struct llentry *lle;
1103         int rc = 0;
1104
1105         IF_AFDATA_UNLOCK_ASSERT(ifp);
1106         if (nd6_is_new_addr_neighbor(addr, ifp))
1107                 return (1);
1108
1109         /*
1110          * Even if the address matches none of our addresses, it might be
1111          * in the neighbor cache.
1112          */
1113         IF_AFDATA_RLOCK(ifp);
1114         if ((lle = nd6_lookup(&addr->sin6_addr, 0, ifp)) != NULL) {
1115                 LLE_RUNLOCK(lle);
1116                 rc = 1;
1117         }
1118         IF_AFDATA_RUNLOCK(ifp);
1119         return (rc);
1120 }
1121
1122 /*
1123  * Free an nd6 llinfo entry.
1124  * Since the function would cause significant changes in the kernel, DO NOT
1125  * make it global, unless you have a strong reason for the change, and are sure
1126  * that the change is safe.
1127  */
1128 static void
1129 nd6_free(struct llentry *ln, int gc)
1130 {
1131         struct nd_defrouter *dr;
1132         struct ifnet *ifp;
1133
1134         LLE_WLOCK_ASSERT(ln);
1135
1136         /*
1137          * we used to have pfctlinput(PRC_HOSTDEAD) here.
1138          * even though it is not harmful, it was not really necessary.
1139          */
1140
1141         /* cancel timer */
1142         nd6_llinfo_settimer_locked(ln, -1);
1143
1144         ifp = ln->lle_tbl->llt_ifp;
1145
1146         if (ND_IFINFO(ifp)->flags & ND6_IFF_ACCEPT_RTADV) {
1147                 dr = defrouter_lookup(&ln->r_l3addr.addr6, ifp);
1148
1149                 if (dr != NULL && dr->expire &&
1150                     ln->ln_state == ND6_LLINFO_STALE && gc) {
1151                         /*
1152                          * If the reason for the deletion is just garbage
1153                          * collection, and the neighbor is an active default
1154                          * router, do not delete it.  Instead, reset the GC
1155                          * timer using the router's lifetime.
1156                          * Simply deleting the entry would affect default
1157                          * router selection, which is not necessarily a good
1158                          * thing, especially when we're using router preference
1159                          * values.
1160                          * XXX: the check for ln_state would be redundant,
1161                          *      but we intentionally keep it just in case.
1162                          */
1163                         if (dr->expire > time_uptime)
1164                                 nd6_llinfo_settimer_locked(ln,
1165                                     (dr->expire - time_uptime) * hz);
1166                         else
1167                                 nd6_llinfo_settimer_locked(ln,
1168                                     (long)V_nd6_gctimer * hz);
1169
1170                         LLE_REMREF(ln);
1171                         LLE_WUNLOCK(ln);
1172                         return;
1173                 }
1174
1175                 if (dr) {
1176                         /*
1177                          * Unreachablity of a router might affect the default
1178                          * router selection and on-link detection of advertised
1179                          * prefixes.
1180                          */
1181
1182                         /*
1183                          * Temporarily fake the state to choose a new default
1184                          * router and to perform on-link determination of
1185                          * prefixes correctly.
1186                          * Below the state will be set correctly,
1187                          * or the entry itself will be deleted.
1188                          */
1189                         ln->ln_state = ND6_LLINFO_INCOMPLETE;
1190                 }
1191
1192                 if (ln->ln_router || dr) {
1193
1194                         /*
1195                          * We need to unlock to avoid a LOR with rt6_flush() with the
1196                          * rnh and for the calls to pfxlist_onlink_check() and
1197                          * defrouter_select() in the block further down for calls
1198                          * into nd6_lookup().  We still hold a ref.
1199                          */
1200                         LLE_WUNLOCK(ln);
1201
1202                         /*
1203                          * rt6_flush must be called whether or not the neighbor
1204                          * is in the Default Router List.
1205                          * See a corresponding comment in nd6_na_input().
1206                          */
1207                         rt6_flush(&ln->r_l3addr.addr6, ifp);
1208                 }
1209
1210                 if (dr) {
1211                         /*
1212                          * Since defrouter_select() does not affect the
1213                          * on-link determination and MIP6 needs the check
1214                          * before the default router selection, we perform
1215                          * the check now.
1216                          */
1217                         pfxlist_onlink_check();
1218
1219                         /*
1220                          * Refresh default router list.
1221                          */
1222                         defrouter_select();
1223                 }
1224
1225                 /*
1226                  * If this entry was added by an on-link redirect, remove the
1227                  * corresponding host route.
1228                  */
1229                 if (ln->la_flags & LLE_REDIRECT)
1230                         nd6_free_redirect(ln);
1231
1232                 if (ln->ln_router || dr)
1233                         LLE_WLOCK(ln);
1234         }
1235
1236         /*
1237          * Save to unlock. We still hold an extra reference and will not
1238          * free(9) in llentry_free() if someone else holds one as well.
1239          */
1240         LLE_WUNLOCK(ln);
1241         IF_AFDATA_LOCK(ifp);
1242         LLE_WLOCK(ln);
1243         /* Guard against race with other llentry_free(). */
1244         if (ln->la_flags & LLE_LINKED) {
1245                 /* Remove callout reference */
1246                 LLE_REMREF(ln);
1247                 lltable_unlink_entry(ln->lle_tbl, ln);
1248         }
1249         IF_AFDATA_UNLOCK(ifp);
1250
1251         llentry_free(ln);
1252 }
1253
1254 /*
1255  * Remove the rtentry for the given llentry,
1256  * both of which were installed by a redirect.
1257  */
1258 static void
1259 nd6_free_redirect(const struct llentry *ln)
1260 {
1261         int fibnum;
1262         struct rtentry *rt;
1263         struct radix_node_head *rnh;
1264         struct sockaddr_in6 sin6;
1265
1266         lltable_fill_sa_entry(ln, (struct sockaddr *)&sin6);
1267         for (fibnum = 0; fibnum < rt_numfibs; fibnum++) {
1268                 rnh = rt_tables_get_rnh(fibnum, AF_INET6);
1269                 if (rnh == NULL)
1270                         continue;
1271
1272                 RADIX_NODE_HEAD_LOCK(rnh);
1273                 rt = in6_rtalloc1((struct sockaddr *)&sin6, 0,
1274                     RTF_RNH_LOCKED, fibnum);
1275                 if (rt) {
1276                         if (rt->rt_flags == (RTF_UP | RTF_HOST | RTF_DYNAMIC))
1277                                 rt_expunge(rnh, rt);
1278                         RTFREE_LOCKED(rt);
1279                 }
1280                 RADIX_NODE_HEAD_UNLOCK(rnh);
1281         }
1282 }
1283
1284 /*
1285  * Upper-layer reachability hint for Neighbor Unreachability Detection.
1286  *
1287  * XXX cost-effective methods?
1288  */
1289 void
1290 nd6_nud_hint(struct rtentry *rt, struct in6_addr *dst6, int force)
1291 {
1292         struct llentry *ln;
1293         struct ifnet *ifp;
1294
1295         if ((dst6 == NULL) || (rt == NULL))
1296                 return;
1297
1298         ifp = rt->rt_ifp;
1299         IF_AFDATA_RLOCK(ifp);
1300         ln = nd6_lookup(dst6, ND6_EXCLUSIVE, NULL);
1301         IF_AFDATA_RUNLOCK(ifp);
1302         if (ln == NULL)
1303                 return;
1304
1305         if (ln->ln_state < ND6_LLINFO_REACHABLE)
1306                 goto done;
1307
1308         /*
1309          * if we get upper-layer reachability confirmation many times,
1310          * it is possible we have false information.
1311          */
1312         if (!force) {
1313                 ln->ln_byhint++;
1314                 if (ln->ln_byhint > V_nd6_maxnudhint) {
1315                         goto done;
1316                 }
1317         }
1318
1319         ln->ln_state = ND6_LLINFO_REACHABLE;
1320         if (!ND6_LLINFO_PERMANENT(ln)) {
1321                 nd6_llinfo_settimer_locked(ln,
1322                     (long)ND_IFINFO(rt->rt_ifp)->reachable * hz);
1323         }
1324 done:
1325         LLE_WUNLOCK(ln);
1326 }
1327
1328
1329 /*
1330  * Rejuvenate this function for routing operations related
1331  * processing.
1332  */
1333 void
1334 nd6_rtrequest(int req, struct rtentry *rt, struct rt_addrinfo *info)
1335 {
1336         struct sockaddr_in6 *gateway;
1337         struct nd_defrouter *dr;
1338         struct ifnet *ifp;
1339
1340         gateway = (struct sockaddr_in6 *)rt->rt_gateway;
1341         ifp = rt->rt_ifp;
1342
1343         switch (req) {
1344         case RTM_ADD:
1345                 break;
1346
1347         case RTM_DELETE:
1348                 if (!ifp)
1349                         return;
1350                 /*
1351                  * Only indirect routes are interesting.
1352                  */
1353                 if ((rt->rt_flags & RTF_GATEWAY) == 0)
1354                         return;
1355                 /*
1356                  * check for default route
1357                  */
1358                 if (IN6_ARE_ADDR_EQUAL(&in6addr_any, 
1359                                        &SIN6(rt_key(rt))->sin6_addr)) {
1360
1361                         dr = defrouter_lookup(&gateway->sin6_addr, ifp);
1362                         if (dr != NULL)
1363                                 dr->installed = 0;
1364                 }
1365                 break;
1366         }
1367 }
1368
1369
1370 int
1371 nd6_ioctl(u_long cmd, caddr_t data, struct ifnet *ifp)
1372 {
1373         struct in6_ndireq *ndi = (struct in6_ndireq *)data;
1374         struct in6_nbrinfo *nbi = (struct in6_nbrinfo *)data;
1375         struct in6_ndifreq *ndif = (struct in6_ndifreq *)data;
1376         int error = 0;
1377
1378         if (ifp->if_afdata[AF_INET6] == NULL)
1379                 return (EPFNOSUPPORT);
1380         switch (cmd) {
1381         case OSIOCGIFINFO_IN6:
1382 #define ND      ndi->ndi
1383                 /* XXX: old ndp(8) assumes a positive value for linkmtu. */
1384                 bzero(&ND, sizeof(ND));
1385                 ND.linkmtu = IN6_LINKMTU(ifp);
1386                 ND.maxmtu = ND_IFINFO(ifp)->maxmtu;
1387                 ND.basereachable = ND_IFINFO(ifp)->basereachable;
1388                 ND.reachable = ND_IFINFO(ifp)->reachable;
1389                 ND.retrans = ND_IFINFO(ifp)->retrans;
1390                 ND.flags = ND_IFINFO(ifp)->flags;
1391                 ND.recalctm = ND_IFINFO(ifp)->recalctm;
1392                 ND.chlim = ND_IFINFO(ifp)->chlim;
1393                 break;
1394         case SIOCGIFINFO_IN6:
1395                 ND = *ND_IFINFO(ifp);
1396                 break;
1397         case SIOCSIFINFO_IN6:
1398                 /*
1399                  * used to change host variables from userland.
1400                  * intented for a use on router to reflect RA configurations.
1401                  */
1402                 /* 0 means 'unspecified' */
1403                 if (ND.linkmtu != 0) {
1404                         if (ND.linkmtu < IPV6_MMTU ||
1405                             ND.linkmtu > IN6_LINKMTU(ifp)) {
1406                                 error = EINVAL;
1407                                 break;
1408                         }
1409                         ND_IFINFO(ifp)->linkmtu = ND.linkmtu;
1410                 }
1411
1412                 if (ND.basereachable != 0) {
1413                         int obasereachable = ND_IFINFO(ifp)->basereachable;
1414
1415                         ND_IFINFO(ifp)->basereachable = ND.basereachable;
1416                         if (ND.basereachable != obasereachable)
1417                                 ND_IFINFO(ifp)->reachable =
1418                                     ND_COMPUTE_RTIME(ND.basereachable);
1419                 }
1420                 if (ND.retrans != 0)
1421                         ND_IFINFO(ifp)->retrans = ND.retrans;
1422                 if (ND.chlim != 0)
1423                         ND_IFINFO(ifp)->chlim = ND.chlim;
1424                 /* FALLTHROUGH */
1425         case SIOCSIFINFO_FLAGS:
1426         {
1427                 struct ifaddr *ifa;
1428                 struct in6_ifaddr *ia;
1429
1430                 if ((ND_IFINFO(ifp)->flags & ND6_IFF_IFDISABLED) &&
1431                     !(ND.flags & ND6_IFF_IFDISABLED)) {
1432                         /* ifdisabled 1->0 transision */
1433
1434                         /*
1435                          * If the interface is marked as ND6_IFF_IFDISABLED and
1436                          * has an link-local address with IN6_IFF_DUPLICATED,
1437                          * do not clear ND6_IFF_IFDISABLED.
1438                          * See RFC 4862, Section 5.4.5.
1439                          */
1440                         IF_ADDR_RLOCK(ifp);
1441                         TAILQ_FOREACH(ifa, &ifp->if_addrhead, ifa_link) {
1442                                 if (ifa->ifa_addr->sa_family != AF_INET6)
1443                                         continue;
1444                                 ia = (struct in6_ifaddr *)ifa;
1445                                 if ((ia->ia6_flags & IN6_IFF_DUPLICATED) &&
1446                                     IN6_IS_ADDR_LINKLOCAL(IA6_IN6(ia)))
1447                                         break;
1448                         }
1449                         IF_ADDR_RUNLOCK(ifp);
1450
1451                         if (ifa != NULL) {
1452                                 /* LLA is duplicated. */
1453                                 ND.flags |= ND6_IFF_IFDISABLED;
1454                                 log(LOG_ERR, "Cannot enable an interface"
1455                                     " with a link-local address marked"
1456                                     " duplicate.\n");
1457                         } else {
1458                                 ND_IFINFO(ifp)->flags &= ~ND6_IFF_IFDISABLED;
1459                                 if (ifp->if_flags & IFF_UP)
1460                                         in6_if_up(ifp);
1461                         }
1462                 } else if (!(ND_IFINFO(ifp)->flags & ND6_IFF_IFDISABLED) &&
1463                             (ND.flags & ND6_IFF_IFDISABLED)) {
1464                         /* ifdisabled 0->1 transision */
1465                         /* Mark all IPv6 address as tentative. */
1466
1467                         ND_IFINFO(ifp)->flags |= ND6_IFF_IFDISABLED;
1468                         if ((ND_IFINFO(ifp)->flags & ND6_IFF_NO_DAD) == 0) {
1469                                 IF_ADDR_RLOCK(ifp);
1470                                 TAILQ_FOREACH(ifa, &ifp->if_addrhead,
1471                                     ifa_link) {
1472                                         if (ifa->ifa_addr->sa_family !=
1473                                             AF_INET6)
1474                                                 continue;
1475                                         ia = (struct in6_ifaddr *)ifa;
1476                                         ia->ia6_flags |= IN6_IFF_TENTATIVE;
1477                                 }
1478                                 IF_ADDR_RUNLOCK(ifp);
1479                         }
1480                 }
1481
1482                 if (ND.flags & ND6_IFF_AUTO_LINKLOCAL) {
1483                         if (!(ND_IFINFO(ifp)->flags & ND6_IFF_AUTO_LINKLOCAL)) {
1484                                 /* auto_linklocal 0->1 transision */
1485
1486                                 /* If no link-local address on ifp, configure */
1487                                 ND_IFINFO(ifp)->flags |= ND6_IFF_AUTO_LINKLOCAL;
1488                                 in6_ifattach(ifp, NULL);
1489                         } else if (!(ND.flags & ND6_IFF_IFDISABLED) &&
1490                             ifp->if_flags & IFF_UP) {
1491                                 /*
1492                                  * When the IF already has
1493                                  * ND6_IFF_AUTO_LINKLOCAL, no link-local
1494                                  * address is assigned, and IFF_UP, try to
1495                                  * assign one.
1496                                  */
1497                                 IF_ADDR_RLOCK(ifp);
1498                                 TAILQ_FOREACH(ifa, &ifp->if_addrhead,
1499                                     ifa_link) {
1500                                         if (ifa->ifa_addr->sa_family !=
1501                                             AF_INET6)
1502                                                 continue;
1503                                         ia = (struct in6_ifaddr *)ifa;
1504                                         if (IN6_IS_ADDR_LINKLOCAL(IA6_IN6(ia)))
1505                                                 break;
1506                                 }
1507                                 IF_ADDR_RUNLOCK(ifp);
1508                                 if (ifa != NULL)
1509                                         /* No LLA is configured. */
1510                                         in6_ifattach(ifp, NULL);
1511                         }
1512                 }
1513         }
1514                 ND_IFINFO(ifp)->flags = ND.flags;
1515                 break;
1516 #undef ND
1517         case SIOCSNDFLUSH_IN6:  /* XXX: the ioctl name is confusing... */
1518                 /* sync kernel routing table with the default router list */
1519                 defrouter_reset();
1520                 defrouter_select();
1521                 break;
1522         case SIOCSPFXFLUSH_IN6:
1523         {
1524                 /* flush all the prefix advertised by routers */
1525                 struct nd_prefix *pr, *next;
1526
1527                 LIST_FOREACH_SAFE(pr, &V_nd_prefix, ndpr_entry, next) {
1528                         struct in6_ifaddr *ia, *ia_next;
1529
1530                         if (IN6_IS_ADDR_LINKLOCAL(&pr->ndpr_prefix.sin6_addr))
1531                                 continue; /* XXX */
1532
1533                         /* do we really have to remove addresses as well? */
1534                         /* XXXRW: in6_ifaddrhead locking. */
1535                         TAILQ_FOREACH_SAFE(ia, &V_in6_ifaddrhead, ia_link,
1536                             ia_next) {
1537                                 if ((ia->ia6_flags & IN6_IFF_AUTOCONF) == 0)
1538                                         continue;
1539
1540                                 if (ia->ia6_ndpr == pr)
1541                                         in6_purgeaddr(&ia->ia_ifa);
1542                         }
1543                         prelist_remove(pr);
1544                 }
1545                 break;
1546         }
1547         case SIOCSRTRFLUSH_IN6:
1548         {
1549                 /* flush all the default routers */
1550                 struct nd_defrouter *dr, *next;
1551
1552                 defrouter_reset();
1553                 TAILQ_FOREACH_SAFE(dr, &V_nd_defrouter, dr_entry, next) {
1554                         defrtrlist_del(dr);
1555                 }
1556                 defrouter_select();
1557                 break;
1558         }
1559         case SIOCGNBRINFO_IN6:
1560         {
1561                 struct llentry *ln;
1562                 struct in6_addr nb_addr = nbi->addr; /* make local for safety */
1563
1564                 if ((error = in6_setscope(&nb_addr, ifp, NULL)) != 0)
1565                         return (error);
1566
1567                 IF_AFDATA_RLOCK(ifp);
1568                 ln = nd6_lookup(&nb_addr, 0, ifp);
1569                 IF_AFDATA_RUNLOCK(ifp);
1570
1571                 if (ln == NULL) {
1572                         error = EINVAL;
1573                         break;
1574                 }
1575                 nbi->state = ln->ln_state;
1576                 nbi->asked = ln->la_asked;
1577                 nbi->isrouter = ln->ln_router;
1578                 if (ln->la_expire == 0)
1579                         nbi->expire = 0;
1580                 else
1581                         nbi->expire = ln->la_expire +
1582                             (time_second - time_uptime);
1583                 LLE_RUNLOCK(ln);
1584                 break;
1585         }
1586         case SIOCGDEFIFACE_IN6: /* XXX: should be implemented as a sysctl? */
1587                 ndif->ifindex = V_nd6_defifindex;
1588                 break;
1589         case SIOCSDEFIFACE_IN6: /* XXX: should be implemented as a sysctl? */
1590                 return (nd6_setdefaultiface(ndif->ifindex));
1591         }
1592         return (error);
1593 }
1594
1595 /*
1596  * Create neighbor cache entry and cache link-layer address,
1597  * on reception of inbound ND6 packets.  (RS/RA/NS/redirect)
1598  *
1599  * type - ICMP6 type
1600  * code - type dependent information
1601  *
1602  * XXXXX
1603  *  The caller of this function already acquired the ndp 
1604  *  cache table lock because the cache entry is returned.
1605  */
1606 struct llentry *
1607 nd6_cache_lladdr(struct ifnet *ifp, struct in6_addr *from, char *lladdr,
1608     int lladdrlen, int type, int code)
1609 {
1610         struct llentry *ln = NULL, *ln_tmp;
1611         int is_newentry;
1612         int do_update;
1613         int olladdr;
1614         int llchange;
1615         int flags;
1616         int newstate = 0;
1617         uint16_t router = 0;
1618         struct sockaddr_in6 sin6;
1619         struct mbuf *chain = NULL;
1620         int static_route = 0;
1621
1622         IF_AFDATA_UNLOCK_ASSERT(ifp);
1623
1624         KASSERT(ifp != NULL, ("%s: ifp == NULL", __func__));
1625         KASSERT(from != NULL, ("%s: from == NULL", __func__));
1626
1627         /* nothing must be updated for unspecified address */
1628         if (IN6_IS_ADDR_UNSPECIFIED(from))
1629                 return NULL;
1630
1631         /*
1632          * Validation about ifp->if_addrlen and lladdrlen must be done in
1633          * the caller.
1634          *
1635          * XXX If the link does not have link-layer adderss, what should
1636          * we do? (ifp->if_addrlen == 0)
1637          * Spec says nothing in sections for RA, RS and NA.  There's small
1638          * description on it in NS section (RFC 2461 7.2.3).
1639          */
1640         flags = lladdr ? ND6_EXCLUSIVE : 0;
1641         IF_AFDATA_RLOCK(ifp);
1642         ln = nd6_lookup(from, flags, ifp);
1643         IF_AFDATA_RUNLOCK(ifp);
1644         is_newentry = 0;
1645         if (ln == NULL) {
1646                 flags |= ND6_EXCLUSIVE;
1647                 ln = nd6_alloc(from, 0, ifp);
1648                 if (ln == NULL)
1649                         return (NULL);
1650                 IF_AFDATA_WLOCK(ifp);
1651                 LLE_WLOCK(ln);
1652                 /* Prefer any existing lle over newly-created one */
1653                 ln_tmp = nd6_lookup(from, ND6_EXCLUSIVE, ifp);
1654                 if (ln_tmp == NULL)
1655                         lltable_link_entry(LLTABLE6(ifp), ln);
1656                 IF_AFDATA_WUNLOCK(ifp);
1657                 if (ln_tmp == NULL)
1658                         /* No existing lle, mark as new entry */
1659                         is_newentry = 1;
1660                 else {
1661                         lltable_free_entry(LLTABLE6(ifp), ln);
1662                         ln = ln_tmp;
1663                         ln_tmp = NULL;
1664                 }
1665         } 
1666         /* do nothing if static ndp is set */
1667         if ((ln->la_flags & LLE_STATIC)) {
1668                         static_route = 1;
1669                         goto done;
1670         }
1671
1672         olladdr = (ln->la_flags & LLE_VALID) ? 1 : 0;
1673         if (olladdr && lladdr) {
1674                 llchange = bcmp(lladdr, &ln->ll_addr,
1675                     ifp->if_addrlen);
1676         } else
1677                 llchange = 0;
1678
1679         /*
1680          * newentry olladdr  lladdr  llchange   (*=record)
1681          *      0       n       n       --      (1)
1682          *      0       y       n       --      (2)
1683          *      0       n       y       --      (3) * STALE
1684          *      0       y       y       n       (4) *
1685          *      0       y       y       y       (5) * STALE
1686          *      1       --      n       --      (6)   NOSTATE(= PASSIVE)
1687          *      1       --      y       --      (7) * STALE
1688          */
1689
1690         if (lladdr) {           /* (3-5) and (7) */
1691                 /*
1692                  * Record source link-layer address
1693                  * XXX is it dependent to ifp->if_type?
1694                  */
1695                 bcopy(lladdr, &ln->ll_addr, ifp->if_addrlen);
1696                 ln->la_flags |= LLE_VALID;
1697                 EVENTHANDLER_INVOKE(lle_event, ln, LLENTRY_RESOLVED);
1698         }
1699
1700         if (!is_newentry) {
1701                 if ((!olladdr && lladdr != NULL) ||     /* (3) */
1702                     (olladdr && lladdr != NULL && llchange)) {  /* (5) */
1703                         do_update = 1;
1704                         newstate = ND6_LLINFO_STALE;
1705                 } else                                  /* (1-2,4) */
1706                         do_update = 0;
1707         } else {
1708                 do_update = 1;
1709                 if (lladdr == NULL)                     /* (6) */
1710                         newstate = ND6_LLINFO_NOSTATE;
1711                 else                                    /* (7) */
1712                         newstate = ND6_LLINFO_STALE;
1713         }
1714
1715         if (do_update) {
1716                 /*
1717                  * Update the state of the neighbor cache.
1718                  */
1719                 ln->ln_state = newstate;
1720
1721                 if (ln->ln_state == ND6_LLINFO_STALE) {
1722                         if (ln->la_hold != NULL)
1723                                 nd6_grab_holdchain(ln, &chain, &sin6);
1724                 } else if (ln->ln_state == ND6_LLINFO_INCOMPLETE) {
1725                         /* probe right away */
1726                         nd6_llinfo_settimer_locked((void *)ln, 0);
1727                 }
1728         }
1729
1730         /*
1731          * ICMP6 type dependent behavior.
1732          *
1733          * NS: clear IsRouter if new entry
1734          * RS: clear IsRouter
1735          * RA: set IsRouter if there's lladdr
1736          * redir: clear IsRouter if new entry
1737          *
1738          * RA case, (1):
1739          * The spec says that we must set IsRouter in the following cases:
1740          * - If lladdr exist, set IsRouter.  This means (1-5).
1741          * - If it is old entry (!newentry), set IsRouter.  This means (7).
1742          * So, based on the spec, in (1-5) and (7) cases we must set IsRouter.
1743          * A quetion arises for (1) case.  (1) case has no lladdr in the
1744          * neighbor cache, this is similar to (6).
1745          * This case is rare but we figured that we MUST NOT set IsRouter.
1746          *
1747          * newentry olladdr  lladdr  llchange       NS  RS  RA  redir
1748          *                                                      D R
1749          *      0       n       n       --      (1)     c   ?     s
1750          *      0       y       n       --      (2)     c   s     s
1751          *      0       n       y       --      (3)     c   s     s
1752          *      0       y       y       n       (4)     c   s     s
1753          *      0       y       y       y       (5)     c   s     s
1754          *      1       --      n       --      (6) c   c       c s
1755          *      1       --      y       --      (7) c   c   s   c s
1756          *
1757          *                                      (c=clear s=set)
1758          */
1759         switch (type & 0xff) {
1760         case ND_NEIGHBOR_SOLICIT:
1761                 /*
1762                  * New entry must have is_router flag cleared.
1763                  */
1764                 if (is_newentry)        /* (6-7) */
1765                         ln->ln_router = 0;
1766                 break;
1767         case ND_REDIRECT:
1768                 /*
1769                  * If the icmp is a redirect to a better router, always set the
1770                  * is_router flag.  Otherwise, if the entry is newly created,
1771                  * clear the flag.  [RFC 2461, sec 8.3]
1772                  */
1773                 if (code == ND_REDIRECT_ROUTER)
1774                         ln->ln_router = 1;
1775                 else {
1776                         if (is_newentry) /* (6-7) */
1777                                 ln->ln_router = 0;
1778                         ln->la_flags |= LLE_REDIRECT;
1779                 }
1780                 break;
1781         case ND_ROUTER_SOLICIT:
1782                 /*
1783                  * is_router flag must always be cleared.
1784                  */
1785                 ln->ln_router = 0;
1786                 break;
1787         case ND_ROUTER_ADVERT:
1788                 /*
1789                  * Mark an entry with lladdr as a router.
1790                  */
1791                 if ((!is_newentry && (olladdr || lladdr)) ||    /* (2-5) */
1792                     (is_newentry && lladdr)) {                  /* (7) */
1793                         ln->ln_router = 1;
1794                 }
1795                 break;
1796         }
1797
1798         if (ln != NULL) {
1799                 static_route = (ln->la_flags & LLE_STATIC);
1800                 router = ln->ln_router;
1801
1802                 if (flags & ND6_EXCLUSIVE)
1803                         LLE_WUNLOCK(ln);
1804                 else
1805                         LLE_RUNLOCK(ln);
1806                 if (static_route)
1807                         ln = NULL;
1808         }
1809         if (chain != NULL)
1810                 nd6_flush_holdchain(ifp, ifp, chain, &sin6);
1811         
1812         /*
1813          * When the link-layer address of a router changes, select the
1814          * best router again.  In particular, when the neighbor entry is newly
1815          * created, it might affect the selection policy.
1816          * Question: can we restrict the first condition to the "is_newentry"
1817          * case?
1818          * XXX: when we hear an RA from a new router with the link-layer
1819          * address option, defrouter_select() is called twice, since
1820          * defrtrlist_update called the function as well.  However, I believe
1821          * we can compromise the overhead, since it only happens the first
1822          * time.
1823          * XXX: although defrouter_select() should not have a bad effect
1824          * for those are not autoconfigured hosts, we explicitly avoid such
1825          * cases for safety.
1826          */
1827         if (do_update && router &&
1828             ND_IFINFO(ifp)->flags & ND6_IFF_ACCEPT_RTADV) {
1829                 /*
1830                  * guaranteed recursion
1831                  */
1832                 defrouter_select();
1833         }
1834         
1835         return (ln);
1836 done:   
1837         if (ln != NULL) {
1838                 if (flags & ND6_EXCLUSIVE)
1839                         LLE_WUNLOCK(ln);
1840                 else
1841                         LLE_RUNLOCK(ln);
1842                 if (static_route)
1843                         ln = NULL;
1844         }
1845         return (ln);
1846 }
1847
1848 static void
1849 nd6_slowtimo(void *arg)
1850 {
1851         CURVNET_SET((struct vnet *) arg);
1852         struct nd_ifinfo *nd6if;
1853         struct ifnet *ifp;
1854
1855         callout_reset(&V_nd6_slowtimo_ch, ND6_SLOWTIMER_INTERVAL * hz,
1856             nd6_slowtimo, curvnet);
1857         IFNET_RLOCK_NOSLEEP();
1858         TAILQ_FOREACH(ifp, &V_ifnet, if_link) {
1859                 if (ifp->if_afdata[AF_INET6] == NULL)
1860                         continue;
1861                 nd6if = ND_IFINFO(ifp);
1862                 if (nd6if->basereachable && /* already initialized */
1863                     (nd6if->recalctm -= ND6_SLOWTIMER_INTERVAL) <= 0) {
1864                         /*
1865                          * Since reachable time rarely changes by router
1866                          * advertisements, we SHOULD insure that a new random
1867                          * value gets recomputed at least once every few hours.
1868                          * (RFC 2461, 6.3.4)
1869                          */
1870                         nd6if->recalctm = V_nd6_recalc_reachtm_interval;
1871                         nd6if->reachable = ND_COMPUTE_RTIME(nd6if->basereachable);
1872                 }
1873         }
1874         IFNET_RUNLOCK_NOSLEEP();
1875         CURVNET_RESTORE();
1876 }
1877
1878 void
1879 nd6_grab_holdchain(struct llentry *ln, struct mbuf **chain,
1880     struct sockaddr_in6 *sin6)
1881 {
1882
1883         LLE_WLOCK_ASSERT(ln);
1884
1885         *chain = ln->la_hold;
1886         ln->la_hold = NULL;
1887         lltable_fill_sa_entry(ln, (struct sockaddr *)sin6);
1888
1889         if (ln->ln_state == ND6_LLINFO_STALE) {
1890
1891                 /*
1892                  * The first time we send a packet to a
1893                  * neighbor whose entry is STALE, we have
1894                  * to change the state to DELAY and a sets
1895                  * a timer to expire in DELAY_FIRST_PROBE_TIME
1896                  * seconds to ensure do neighbor unreachability
1897                  * detection on expiration.
1898                  * (RFC 2461 7.3.3)
1899                  */
1900                 ln->la_asked = 0;
1901                 ln->ln_state = ND6_LLINFO_DELAY;
1902                 nd6_llinfo_settimer_locked(ln, (long)V_nd6_delay * hz);
1903         }
1904 }
1905
1906 static int
1907 nd6_output_ifp(struct ifnet *ifp, struct ifnet *origifp, struct mbuf *m,
1908     struct sockaddr_in6 *dst)
1909 {
1910         int error;
1911         int ip6len;
1912         struct ip6_hdr *ip6;
1913         struct m_tag *mtag;
1914
1915 #ifdef MAC
1916         mac_netinet6_nd6_send(ifp, m);
1917 #endif
1918
1919         /*
1920          * If called from nd6_ns_output() (NS), nd6_na_output() (NA),
1921          * icmp6_redirect_output() (REDIRECT) or from rip6_output() (RS, RA
1922          * as handled by rtsol and rtadvd), mbufs will be tagged for SeND
1923          * to be diverted to user space.  When re-injected into the kernel,
1924          * send_output() will directly dispatch them to the outgoing interface.
1925          */
1926         if (send_sendso_input_hook != NULL) {
1927                 mtag = m_tag_find(m, PACKET_TAG_ND_OUTGOING, NULL);
1928                 if (mtag != NULL) {
1929                         ip6 = mtod(m, struct ip6_hdr *);
1930                         ip6len = sizeof(struct ip6_hdr) + ntohs(ip6->ip6_plen);
1931                         /* Use the SEND socket */
1932                         error = send_sendso_input_hook(m, ifp, SND_OUT,
1933                             ip6len);
1934                         /* -1 == no app on SEND socket */
1935                         if (error == 0 || error != -1)
1936                             return (error);
1937                 }
1938         }
1939
1940         m_clrprotoflags(m);     /* Avoid confusing lower layers. */
1941         IP_PROBE(send, NULL, NULL, mtod(m, struct ip6_hdr *), ifp, NULL,
1942             mtod(m, struct ip6_hdr *));
1943
1944         if ((ifp->if_flags & IFF_LOOPBACK) == 0)
1945                 origifp = ifp;
1946
1947         error = (*ifp->if_output)(origifp, m, (struct sockaddr *)dst, NULL);
1948         return (error);
1949 }
1950
1951 /*
1952  * IPv6 packet output - light version.
1953  * Checks if destination LLE exists and is in proper state
1954  * (e.g no modification required). If not true, fall back to
1955  * "heavy" version.
1956  */
1957 int
1958 nd6_output(struct ifnet *ifp, struct ifnet *origifp, struct mbuf *m,
1959     struct sockaddr_in6 *dst, struct rtentry *rt0)
1960 {
1961         struct llentry *ln = NULL;
1962
1963         /* discard the packet if IPv6 operation is disabled on the interface */
1964         if ((ND_IFINFO(ifp)->flags & ND6_IFF_IFDISABLED)) {
1965                 m_freem(m);
1966                 return (ENETDOWN); /* better error? */
1967         }
1968
1969         if (IN6_IS_ADDR_MULTICAST(&dst->sin6_addr))
1970                 goto sendpkt;
1971
1972         if (nd6_need_cache(ifp) == 0)
1973                 goto sendpkt;
1974
1975         IF_AFDATA_RLOCK(ifp);
1976         ln = nd6_lookup(&dst->sin6_addr, 0, ifp);
1977         IF_AFDATA_RUNLOCK(ifp);
1978
1979         /*
1980          * Perform fast path for the following cases:
1981          * 1) lle state is REACHABLE
1982          * 2) lle state is DELAY (NS message sentNS message sent)
1983          *
1984          * Every other case involves lle modification, so we handle
1985          * them separately.
1986          */
1987         if (ln == NULL || (ln->ln_state != ND6_LLINFO_REACHABLE &&
1988             ln->ln_state != ND6_LLINFO_DELAY)) {
1989                 /* Fall back to slow processing path */
1990                 if (ln != NULL)
1991                         LLE_RUNLOCK(ln);
1992                 return (nd6_output_lle(ifp, origifp, m, dst));
1993         }
1994
1995 sendpkt:
1996         if (ln != NULL)
1997                 LLE_RUNLOCK(ln);
1998
1999         return (nd6_output_ifp(ifp, origifp, m, dst));
2000 }
2001
2002
2003 /*
2004  * Output IPv6 packet - heavy version.
2005  * Function assume that either
2006  * 1) destination LLE does not exist, is invalid or stale, so
2007  *   ND6_EXCLUSIVE lock needs to be acquired
2008  * 2) destination lle is provided (with ND6_EXCLUSIVE lock),
2009  *   in that case packets are queued in &chain.
2010  *
2011  */
2012 static int
2013 nd6_output_lle(struct ifnet *ifp, struct ifnet *origifp, struct mbuf *m,
2014     struct sockaddr_in6 *dst)
2015 {
2016         struct llentry *lle = NULL, *lle_tmp;
2017
2018         KASSERT(m != NULL, ("NULL mbuf, nothing to send"));
2019         /* discard the packet if IPv6 operation is disabled on the interface */
2020         if ((ND_IFINFO(ifp)->flags & ND6_IFF_IFDISABLED)) {
2021                 m_freem(m);
2022                 return (ENETDOWN); /* better error? */
2023         }
2024
2025         if (IN6_IS_ADDR_MULTICAST(&dst->sin6_addr))
2026                 goto sendpkt;
2027
2028         if (nd6_need_cache(ifp) == 0)
2029                 goto sendpkt;
2030
2031         /*
2032          * Address resolution or Neighbor Unreachability Detection
2033          * for the next hop.
2034          * At this point, the destination of the packet must be a unicast
2035          * or an anycast address(i.e. not a multicast).
2036          */
2037         if (lle == NULL) {
2038                 IF_AFDATA_RLOCK(ifp);
2039                 lle = nd6_lookup(&dst->sin6_addr, ND6_EXCLUSIVE, ifp);
2040                 IF_AFDATA_RUNLOCK(ifp);
2041                 if ((lle == NULL) && nd6_is_addr_neighbor(dst, ifp))  {
2042                         /*
2043                          * Since nd6_is_addr_neighbor() internally calls nd6_lookup(),
2044                          * the condition below is not very efficient.  But we believe
2045                          * it is tolerable, because this should be a rare case.
2046                          */
2047                         lle = nd6_alloc(&dst->sin6_addr, 0, ifp);
2048                         if (lle == NULL) {
2049                                 char ip6buf[INET6_ADDRSTRLEN];
2050                                 log(LOG_DEBUG,
2051                                     "nd6_output: can't allocate llinfo for %s "
2052                                     "(ln=%p)\n",
2053                                     ip6_sprintf(ip6buf, &dst->sin6_addr), lle);
2054                                 m_freem(m);
2055                                 return (ENOBUFS);
2056                         }
2057                         lle->ln_state = ND6_LLINFO_NOSTATE;
2058
2059                         IF_AFDATA_WLOCK(ifp);
2060                         LLE_WLOCK(lle);
2061                         /* Prefer any existing entry over newly-created one */
2062                         lle_tmp = nd6_lookup(&dst->sin6_addr, ND6_EXCLUSIVE, ifp);
2063                         if (lle_tmp == NULL)
2064                                 lltable_link_entry(LLTABLE6(ifp), lle);
2065                         IF_AFDATA_WUNLOCK(ifp);
2066                         if (lle_tmp != NULL) {
2067                                 lltable_free_entry(LLTABLE6(ifp), lle);
2068                                 lle = lle_tmp;
2069                                 lle_tmp = NULL;
2070                         }
2071                 }
2072         } 
2073         if (lle == NULL) {
2074                 if ((ifp->if_flags & IFF_POINTOPOINT) == 0 &&
2075                     !(ND_IFINFO(ifp)->flags & ND6_IFF_PERFORMNUD)) {
2076                         m_freem(m);
2077                         return (ENOBUFS);
2078                 }
2079                 goto sendpkt;   /* send anyway */
2080         }
2081
2082         LLE_WLOCK_ASSERT(lle);
2083
2084         /* We don't have to do link-layer address resolution on a p2p link. */
2085         if ((ifp->if_flags & IFF_POINTOPOINT) != 0 &&
2086             lle->ln_state < ND6_LLINFO_REACHABLE) {
2087                 lle->ln_state = ND6_LLINFO_STALE;
2088                 nd6_llinfo_settimer_locked(lle, (long)V_nd6_gctimer * hz);
2089         }
2090
2091         /*
2092          * The first time we send a packet to a neighbor whose entry is
2093          * STALE, we have to change the state to DELAY and a sets a timer to
2094          * expire in DELAY_FIRST_PROBE_TIME seconds to ensure do
2095          * neighbor unreachability detection on expiration.
2096          * (RFC 2461 7.3.3)
2097          */
2098         if (lle->ln_state == ND6_LLINFO_STALE) {
2099                 lle->la_asked = 0;
2100                 lle->ln_state = ND6_LLINFO_DELAY;
2101                 nd6_llinfo_settimer_locked(lle, (long)V_nd6_delay * hz);
2102         }
2103
2104         /*
2105          * If the neighbor cache entry has a state other than INCOMPLETE
2106          * (i.e. its link-layer address is already resolved), just
2107          * send the packet.
2108          */
2109         if (lle->ln_state > ND6_LLINFO_INCOMPLETE)
2110                 goto sendpkt;
2111
2112         /*
2113          * There is a neighbor cache entry, but no ethernet address
2114          * response yet.  Append this latest packet to the end of the
2115          * packet queue in the mbuf, unless the number of the packet
2116          * does not exceed nd6_maxqueuelen.  When it exceeds nd6_maxqueuelen,
2117          * the oldest packet in the queue will be removed.
2118          */
2119         if (lle->ln_state == ND6_LLINFO_NOSTATE)
2120                 lle->ln_state = ND6_LLINFO_INCOMPLETE;
2121
2122         if (lle->la_hold != NULL) {
2123                 struct mbuf *m_hold;
2124                 int i;
2125                 
2126                 i = 0;
2127                 for (m_hold = lle->la_hold; m_hold; m_hold = m_hold->m_nextpkt){
2128                         i++;
2129                         if (m_hold->m_nextpkt == NULL) {
2130                                 m_hold->m_nextpkt = m;
2131                                 break;
2132                         }
2133                 }
2134                 while (i >= V_nd6_maxqueuelen) {
2135                         m_hold = lle->la_hold;
2136                         lle->la_hold = lle->la_hold->m_nextpkt;
2137                         m_freem(m_hold);
2138                         i--;
2139                 }
2140         } else {
2141                 lle->la_hold = m;
2142         }
2143
2144         /*
2145          * If there has been no NS for the neighbor after entering the
2146          * INCOMPLETE state, send the first solicitation.
2147          */
2148         if (!ND6_LLINFO_PERMANENT(lle) && lle->la_asked == 0) {
2149                 struct in6_addr src, *psrc;
2150                 lle->la_asked++;
2151                 
2152                 nd6_llinfo_settimer_locked(lle,
2153                     (long)ND_IFINFO(ifp)->retrans * hz / 1000);
2154                 psrc = nd6_llinfo_get_holdsrc(lle, &src);
2155                 LLE_WUNLOCK(lle);
2156                 nd6_ns_output(ifp, psrc, NULL, &dst->sin6_addr, NULL);
2157         } else {
2158                 /* We did the lookup so we need to do the unlock here. */
2159                 LLE_WUNLOCK(lle);
2160         }
2161
2162         return (0);
2163
2164   sendpkt:
2165         if (lle != NULL)
2166                 LLE_WUNLOCK(lle);
2167
2168         return (nd6_output_ifp(ifp, origifp, m, dst));
2169 }
2170
2171
2172 int
2173 nd6_flush_holdchain(struct ifnet *ifp, struct ifnet *origifp, struct mbuf *chain,
2174     struct sockaddr_in6 *dst)
2175 {
2176         struct mbuf *m, *m_head;
2177         struct ifnet *outifp;
2178         int error = 0;
2179
2180         m_head = chain;
2181         if ((ifp->if_flags & IFF_LOOPBACK) != 0)
2182                 outifp = origifp;
2183         else
2184                 outifp = ifp;
2185         
2186         while (m_head) {
2187                 m = m_head;
2188                 m_head = m_head->m_nextpkt;
2189                 error = nd6_output_ifp(ifp, origifp, m, dst);
2190         }
2191
2192         /*
2193          * XXX
2194          * note that intermediate errors are blindly ignored - but this is 
2195          * the same convention as used with nd6_output when called by
2196          * nd6_cache_lladdr
2197          */
2198         return (error);
2199 }       
2200
2201
2202 int
2203 nd6_need_cache(struct ifnet *ifp)
2204 {
2205         /*
2206          * XXX: we currently do not make neighbor cache on any interface
2207          * other than ARCnet, Ethernet, FDDI and GIF.
2208          *
2209          * RFC2893 says:
2210          * - unidirectional tunnels needs no ND
2211          */
2212         switch (ifp->if_type) {
2213         case IFT_ARCNET:
2214         case IFT_ETHER:
2215         case IFT_FDDI:
2216         case IFT_IEEE1394:
2217         case IFT_L2VLAN:
2218         case IFT_IEEE80211:
2219         case IFT_INFINIBAND:
2220         case IFT_BRIDGE:
2221         case IFT_PROPVIRTUAL:
2222                 return (1);
2223         default:
2224                 return (0);
2225         }
2226 }
2227
2228 /*
2229  * Add pernament ND6 link-layer record for given
2230  * interface address.
2231  *
2232  * Very similar to IPv4 arp_ifinit(), but:
2233  * 1) IPv6 DAD is performed in different place
2234  * 2) It is called by IPv6 protocol stack in contrast to
2235  * arp_ifinit() which is typically called in SIOCSIFADDR
2236  * driver ioctl handler.
2237  *
2238  */
2239 int
2240 nd6_add_ifa_lle(struct in6_ifaddr *ia)
2241 {
2242         struct ifnet *ifp;
2243         struct llentry *ln, *ln_tmp;
2244         struct sockaddr *dst;
2245
2246         ifp = ia->ia_ifa.ifa_ifp;
2247         if (nd6_need_cache(ifp) == 0)
2248                 return (0);
2249
2250         ia->ia_ifa.ifa_rtrequest = nd6_rtrequest;
2251         dst = (struct sockaddr *)&ia->ia_addr;
2252         ln = lltable_alloc_entry(LLTABLE6(ifp), LLE_IFADDR, dst);
2253         if (ln == NULL)
2254                 return (ENOBUFS);
2255
2256         IF_AFDATA_WLOCK(ifp);
2257         LLE_WLOCK(ln);
2258         /* Unlink any entry if exists */
2259         ln_tmp = lla_lookup(LLTABLE6(ifp), LLE_EXCLUSIVE, dst);
2260         if (ln_tmp != NULL)
2261                 lltable_unlink_entry(LLTABLE6(ifp), ln_tmp);
2262         lltable_link_entry(LLTABLE6(ifp), ln);
2263         IF_AFDATA_WUNLOCK(ifp);
2264
2265         if (ln_tmp != NULL)
2266                 EVENTHANDLER_INVOKE(lle_event, ln_tmp, LLENTRY_EXPIRED);
2267         EVENTHANDLER_INVOKE(lle_event, ln, LLENTRY_RESOLVED);
2268
2269         LLE_WUNLOCK(ln);
2270         if (ln_tmp != NULL)
2271                 llentry_free(ln_tmp);
2272
2273         return (0);
2274 }
2275
2276 /*
2277  * Removes either all lle entries for given @ia, or lle
2278  * corresponding to @ia address.
2279  */
2280 void
2281 nd6_rem_ifa_lle(struct in6_ifaddr *ia, int all)
2282 {
2283         struct sockaddr_in6 mask, addr;
2284         struct sockaddr *saddr, *smask;
2285         struct ifnet *ifp;
2286
2287         ifp = ia->ia_ifa.ifa_ifp;
2288         memcpy(&addr, &ia->ia_addr, sizeof(ia->ia_addr));
2289         memcpy(&mask, &ia->ia_prefixmask, sizeof(ia->ia_prefixmask));
2290         saddr = (struct sockaddr *)&addr;
2291         smask = (struct sockaddr *)&mask;
2292
2293         if (all != 0)
2294                 lltable_prefix_free(AF_INET6, saddr, smask, LLE_STATIC);
2295         else
2296                 lltable_delete_addr(LLTABLE6(ifp), LLE_IFADDR, saddr);
2297 }
2298
2299 /*
2300  * the callers of this function need to be re-worked to drop
2301  * the lle lock, drop here for now
2302  */
2303 int
2304 nd6_storelladdr(struct ifnet *ifp, struct mbuf *m,
2305     const struct sockaddr *dst, u_char *desten, uint32_t *pflags)
2306 {
2307         struct llentry *ln;
2308
2309         if (pflags != NULL)
2310                 *pflags = 0;
2311         IF_AFDATA_UNLOCK_ASSERT(ifp);
2312         if (m != NULL && m->m_flags & M_MCAST) {
2313                 switch (ifp->if_type) {
2314                 case IFT_ETHER:
2315                 case IFT_FDDI:
2316                 case IFT_L2VLAN:
2317                 case IFT_IEEE80211:
2318                 case IFT_BRIDGE:
2319                 case IFT_ISO88025:
2320                         ETHER_MAP_IPV6_MULTICAST(&SIN6(dst)->sin6_addr,
2321                                                  desten);
2322                         return (0);
2323                 default:
2324                         m_freem(m);
2325                         return (EAFNOSUPPORT);
2326                 }
2327         }
2328
2329
2330         /*
2331          * the entry should have been created in nd6_store_lladdr
2332          */
2333         IF_AFDATA_RLOCK(ifp);
2334         ln = lla_lookup(LLTABLE6(ifp), 0, dst);
2335         IF_AFDATA_RUNLOCK(ifp);
2336         if ((ln == NULL) || !(ln->la_flags & LLE_VALID)) {
2337                 if (ln != NULL)
2338                         LLE_RUNLOCK(ln);
2339                 /* this could happen, if we could not allocate memory */
2340                 m_freem(m);
2341                 return (1);
2342         }
2343
2344         bcopy(&ln->ll_addr, desten, ifp->if_addrlen);
2345         if (pflags != NULL)
2346                 *pflags = ln->la_flags;
2347         LLE_RUNLOCK(ln);
2348         /*
2349          * A *small* use after free race exists here
2350          */
2351         return (0);
2352 }
2353
2354 static void 
2355 clear_llinfo_pqueue(struct llentry *ln)
2356 {
2357         struct mbuf *m_hold, *m_hold_next;
2358
2359         for (m_hold = ln->la_hold; m_hold; m_hold = m_hold_next) {
2360                 m_hold_next = m_hold->m_nextpkt;
2361                 m_freem(m_hold);
2362         }
2363
2364         ln->la_hold = NULL;
2365         return;
2366 }
2367
2368 static int nd6_sysctl_drlist(SYSCTL_HANDLER_ARGS);
2369 static int nd6_sysctl_prlist(SYSCTL_HANDLER_ARGS);
2370 #ifdef SYSCTL_DECL
2371 SYSCTL_DECL(_net_inet6_icmp6);
2372 #endif
2373 SYSCTL_NODE(_net_inet6_icmp6, ICMPV6CTL_ND6_DRLIST, nd6_drlist,
2374         CTLFLAG_RD, nd6_sysctl_drlist, "");
2375 SYSCTL_NODE(_net_inet6_icmp6, ICMPV6CTL_ND6_PRLIST, nd6_prlist,
2376         CTLFLAG_RD, nd6_sysctl_prlist, "");
2377 SYSCTL_INT(_net_inet6_icmp6, ICMPV6CTL_ND6_MAXQLEN, nd6_maxqueuelen,
2378         CTLFLAG_VNET | CTLFLAG_RW, &VNET_NAME(nd6_maxqueuelen), 1, "");
2379 SYSCTL_INT(_net_inet6_icmp6, OID_AUTO, nd6_gctimer,
2380         CTLFLAG_VNET | CTLFLAG_RW, &VNET_NAME(nd6_gctimer), (60 * 60 * 24), "");
2381
2382 static int
2383 nd6_sysctl_drlist(SYSCTL_HANDLER_ARGS)
2384 {
2385         struct in6_defrouter d;
2386         struct nd_defrouter *dr;
2387         int error;
2388
2389         if (req->newptr)
2390                 return (EPERM);
2391
2392         bzero(&d, sizeof(d));
2393         d.rtaddr.sin6_family = AF_INET6;
2394         d.rtaddr.sin6_len = sizeof(d.rtaddr);
2395
2396         /*
2397          * XXX locking
2398          */
2399         TAILQ_FOREACH(dr, &V_nd_defrouter, dr_entry) {
2400                 d.rtaddr.sin6_addr = dr->rtaddr;
2401                 error = sa6_recoverscope(&d.rtaddr);
2402                 if (error != 0)
2403                         return (error);
2404                 d.flags = dr->flags;
2405                 d.rtlifetime = dr->rtlifetime;
2406                 d.expire = dr->expire + (time_second - time_uptime);
2407                 d.if_index = dr->ifp->if_index;
2408                 error = SYSCTL_OUT(req, &d, sizeof(d));
2409                 if (error != 0)
2410                         return (error);
2411         }
2412         return (0);
2413 }
2414
2415 static int
2416 nd6_sysctl_prlist(SYSCTL_HANDLER_ARGS)
2417 {
2418         struct in6_prefix p;
2419         struct sockaddr_in6 s6;
2420         struct nd_prefix *pr;
2421         struct nd_pfxrouter *pfr;
2422         time_t maxexpire;
2423         int error;
2424         char ip6buf[INET6_ADDRSTRLEN];
2425
2426         if (req->newptr)
2427                 return (EPERM);
2428
2429         bzero(&p, sizeof(p));
2430         p.origin = PR_ORIG_RA;
2431         bzero(&s6, sizeof(s6));
2432         s6.sin6_family = AF_INET6;
2433         s6.sin6_len = sizeof(s6);
2434
2435         /*
2436          * XXX locking
2437          */
2438         LIST_FOREACH(pr, &V_nd_prefix, ndpr_entry) {
2439                 p.prefix = pr->ndpr_prefix;
2440                 if (sa6_recoverscope(&p.prefix)) {
2441                         log(LOG_ERR, "scope error in prefix list (%s)\n",
2442                             ip6_sprintf(ip6buf, &p.prefix.sin6_addr));
2443                         /* XXX: press on... */
2444                 }
2445                 p.raflags = pr->ndpr_raf;
2446                 p.prefixlen = pr->ndpr_plen;
2447                 p.vltime = pr->ndpr_vltime;
2448                 p.pltime = pr->ndpr_pltime;
2449                 p.if_index = pr->ndpr_ifp->if_index;
2450                 if (pr->ndpr_vltime == ND6_INFINITE_LIFETIME)
2451                         p.expire = 0;
2452                 else {
2453                         /* XXX: we assume time_t is signed. */
2454                         maxexpire = (-1) &
2455                             ~((time_t)1 << ((sizeof(maxexpire) * 8) - 1));
2456                         if (pr->ndpr_vltime < maxexpire - pr->ndpr_lastupdate)
2457                                 p.expire = pr->ndpr_lastupdate +
2458                                     pr->ndpr_vltime +
2459                                     (time_second - time_uptime);
2460                         else
2461                                 p.expire = maxexpire;
2462                 }
2463                 p.refcnt = pr->ndpr_refcnt;
2464                 p.flags = pr->ndpr_stateflags;
2465                 p.advrtrs = 0;
2466                 LIST_FOREACH(pfr, &pr->ndpr_advrtrs, pfr_entry)
2467                         p.advrtrs++;
2468                 error = SYSCTL_OUT(req, &p, sizeof(p));
2469                 if (error != 0)
2470                         return (error);
2471                 LIST_FOREACH(pfr, &pr->ndpr_advrtrs, pfr_entry) {
2472                         s6.sin6_addr = pfr->router->rtaddr;
2473                         if (sa6_recoverscope(&s6))
2474                                 log(LOG_ERR,
2475                                     "scope error in prefix list (%s)\n",
2476                                     ip6_sprintf(ip6buf, &pfr->router->rtaddr));
2477                         error = SYSCTL_OUT(req, &s6, sizeof(s6));
2478                         if (error != 0)
2479                                 return (error);
2480                 }
2481         }
2482         return (0);
2483 }