]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/netinet6/in6_src.c
ddb: ANSI-fy function declarations.
[FreeBSD/FreeBSD.git] / sys / netinet6 / in6_src.c
1 /*-
2  * Copyright (C) 1995, 1996, 1997, and 1998 WIDE Project.
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  * 3. Neither the name of the project nor the names of its contributors
14  *    may be used to endorse or promote products derived from this software
15  *    without specific prior written permission.
16  *
17  * THIS SOFTWARE IS PROVIDED BY THE PROJECT AND CONTRIBUTORS ``AS IS'' AND
18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE PROJECT OR CONTRIBUTORS BE LIABLE
21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
27  * SUCH DAMAGE.
28  *
29  *      $KAME: in6_src.c,v 1.132 2003/08/26 04:42:27 keiichi Exp $
30  */
31
32 /*-
33  * Copyright (c) 1982, 1986, 1991, 1993
34  *      The Regents of the University of California.  All rights reserved.
35  *
36  * Redistribution and use in source and binary forms, with or without
37  * modification, are permitted provided that the following conditions
38  * are met:
39  * 1. Redistributions of source code must retain the above copyright
40  *    notice, this list of conditions and the following disclaimer.
41  * 2. Redistributions in binary form must reproduce the above copyright
42  *    notice, this list of conditions and the following disclaimer in the
43  *    documentation and/or other materials provided with the distribution.
44  * 4. Neither the name of the University nor the names of its contributors
45  *    may be used to endorse or promote products derived from this software
46  *    without specific prior written permission.
47  *
48  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
49  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
50  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
51  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
52  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
53  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
54  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
55  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
56  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
57  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
58  * SUCH DAMAGE.
59  *
60  *      @(#)in_pcb.c    8.2 (Berkeley) 1/4/94
61  */
62
63 #include <sys/cdefs.h>
64 __FBSDID("$FreeBSD$");
65
66 #include "opt_inet.h"
67 #include "opt_inet6.h"
68 #include "opt_mpath.h"
69
70 #include <sys/param.h>
71 #include <sys/systm.h>
72 #include <sys/lock.h>
73 #include <sys/malloc.h>
74 #include <sys/mbuf.h>
75 #include <sys/priv.h>
76 #include <sys/protosw.h>
77 #include <sys/socket.h>
78 #include <sys/socketvar.h>
79 #include <sys/sockio.h>
80 #include <sys/sysctl.h>
81 #include <sys/errno.h>
82 #include <sys/time.h>
83 #include <sys/jail.h>
84 #include <sys/kernel.h>
85 #include <sys/sx.h>
86
87 #include <net/if.h>
88 #include <net/if_var.h>
89 #include <net/if_dl.h>
90 #include <net/route.h>
91 #include <net/if_llatbl.h>
92 #ifdef RADIX_MPATH
93 #include <net/radix_mpath.h>
94 #endif
95
96 #include <netinet/in.h>
97 #include <netinet/in_var.h>
98 #include <netinet/in_systm.h>
99 #include <netinet/ip.h>
100 #include <netinet/in_pcb.h>
101 #include <netinet/ip_var.h>
102 #include <netinet/udp.h>
103 #include <netinet/udp_var.h>
104
105 #include <netinet6/in6_var.h>
106 #include <netinet/ip6.h>
107 #include <netinet6/in6_pcb.h>
108 #include <netinet6/ip6_var.h>
109 #include <netinet6/scope6_var.h>
110 #include <netinet6/nd6.h>
111
112 static struct mtx addrsel_lock;
113 #define ADDRSEL_LOCK_INIT()     mtx_init(&addrsel_lock, "addrsel_lock", NULL, MTX_DEF)
114 #define ADDRSEL_LOCK()          mtx_lock(&addrsel_lock)
115 #define ADDRSEL_UNLOCK()        mtx_unlock(&addrsel_lock)
116 #define ADDRSEL_LOCK_ASSERT()   mtx_assert(&addrsel_lock, MA_OWNED)
117
118 static struct sx addrsel_sxlock;
119 #define ADDRSEL_SXLOCK_INIT()   sx_init(&addrsel_sxlock, "addrsel_sxlock")
120 #define ADDRSEL_SLOCK()         sx_slock(&addrsel_sxlock)
121 #define ADDRSEL_SUNLOCK()       sx_sunlock(&addrsel_sxlock)
122 #define ADDRSEL_XLOCK()         sx_xlock(&addrsel_sxlock)
123 #define ADDRSEL_XUNLOCK()       sx_xunlock(&addrsel_sxlock)
124
125 #define ADDR_LABEL_NOTAPP (-1)
126 static VNET_DEFINE(struct in6_addrpolicy, defaultaddrpolicy);
127 #define V_defaultaddrpolicy             VNET(defaultaddrpolicy)
128
129 VNET_DEFINE(int, ip6_prefer_tempaddr) = 0;
130
131 static int selectroute(struct sockaddr_in6 *, struct ip6_pktopts *,
132         struct ip6_moptions *, struct route_in6 *, struct ifnet **,
133         struct rtentry **, int, u_int);
134 static int in6_selectif(struct sockaddr_in6 *, struct ip6_pktopts *,
135         struct ip6_moptions *, struct route_in6 *ro, struct ifnet **,
136         struct ifnet *, u_int);
137
138 static struct in6_addrpolicy *lookup_addrsel_policy(struct sockaddr_in6 *);
139
140 static void init_policy_queue(void);
141 static int add_addrsel_policyent(struct in6_addrpolicy *);
142 static int delete_addrsel_policyent(struct in6_addrpolicy *);
143 static int walk_addrsel_policy(int (*)(struct in6_addrpolicy *, void *),
144         void *);
145 static int dump_addrsel_policyent(struct in6_addrpolicy *, void *);
146 static struct in6_addrpolicy *match_addrsel_policy(struct sockaddr_in6 *);
147
148 /*
149  * Return an IPv6 address, which is the most appropriate for a given
150  * destination and user specified options.
151  * If necessary, this function lookups the routing table and returns
152  * an entry to the caller for later use.
153  */
154 #define REPLACE(r) do {\
155         IP6STAT_INC(ip6s_sources_rule[(r)]); \
156         rule = (r);     \
157         /* { \
158         char ip6buf[INET6_ADDRSTRLEN], ip6b[INET6_ADDRSTRLEN]; \
159         printf("in6_selectsrc: replace %s with %s by %d\n", ia_best ? ip6_sprintf(ip6buf, &ia_best->ia_addr.sin6_addr) : "none", ip6_sprintf(ip6b, &ia->ia_addr.sin6_addr), (r)); \
160         } */ \
161         goto replace; \
162 } while(0)
163 #define NEXT(r) do {\
164         /* { \
165         char ip6buf[INET6_ADDRSTRLEN], ip6b[INET6_ADDRSTRLEN]; \
166         printf("in6_selectsrc: keep %s against %s by %d\n", ia_best ? ip6_sprintf(ip6buf, &ia_best->ia_addr.sin6_addr) : "none", ip6_sprintf(ip6b, &ia->ia_addr.sin6_addr), (r)); \
167         } */ \
168         goto next;              /* XXX: we can't use 'continue' here */ \
169 } while(0)
170 #define BREAK(r) do { \
171         IP6STAT_INC(ip6s_sources_rule[(r)]); \
172         rule = (r);     \
173         goto out;               /* XXX: we can't use 'break' here */ \
174 } while(0)
175
176 int
177 in6_selectsrc(struct sockaddr_in6 *dstsock, struct ip6_pktopts *opts,
178     struct inpcb *inp, struct route_in6 *ro, struct ucred *cred,
179     struct ifnet **ifpp, struct in6_addr *srcp)
180 {
181         struct in6_addr dst, tmp;
182         struct ifnet *ifp = NULL, *oifp = NULL;
183         struct in6_ifaddr *ia = NULL, *ia_best = NULL;
184         struct in6_pktinfo *pi = NULL;
185         int dst_scope = -1, best_scope = -1, best_matchlen = -1;
186         struct in6_addrpolicy *dst_policy = NULL, *best_policy = NULL;
187         u_int32_t odstzone;
188         int prefer_tempaddr;
189         int error, rule;
190         struct ip6_moptions *mopts;
191
192         KASSERT(srcp != NULL, ("%s: srcp is NULL", __func__));
193
194         dst = dstsock->sin6_addr; /* make a copy for local operation */
195         if (ifpp) {
196                 /*
197                  * Save a possibly passed in ifp for in6_selectsrc. Only
198                  * neighbor discovery code should use this feature, where
199                  * we may know the interface but not the FIB number holding
200                  * the connected subnet in case someone deleted it from the
201                  * default FIB and we need to check the interface.
202                  */
203                 if (*ifpp != NULL)
204                         oifp = *ifpp;
205                 *ifpp = NULL;
206         }
207
208         if (inp != NULL) {
209                 INP_LOCK_ASSERT(inp);
210                 mopts = inp->in6p_moptions;
211         } else {
212                 mopts = NULL;
213         }
214
215         /*
216          * If the source address is explicitly specified by the caller,
217          * check if the requested source address is indeed a unicast address
218          * assigned to the node, and can be used as the packet's source
219          * address.  If everything is okay, use the address as source.
220          */
221         if (opts && (pi = opts->ip6po_pktinfo) &&
222             !IN6_IS_ADDR_UNSPECIFIED(&pi->ipi6_addr)) {
223                 struct sockaddr_in6 srcsock;
224                 struct in6_ifaddr *ia6;
225
226                 /* get the outgoing interface */
227                 if ((error = in6_selectif(dstsock, opts, mopts, ro, &ifp, oifp,
228                     (inp != NULL) ? inp->inp_inc.inc_fibnum : RT_DEFAULT_FIB))
229                     != 0)
230                         return (error);
231
232                 /*
233                  * determine the appropriate zone id of the source based on
234                  * the zone of the destination and the outgoing interface.
235                  * If the specified address is ambiguous wrt the scope zone,
236                  * the interface must be specified; otherwise, ifa_ifwithaddr()
237                  * will fail matching the address.
238                  */
239                 bzero(&srcsock, sizeof(srcsock));
240                 srcsock.sin6_family = AF_INET6;
241                 srcsock.sin6_len = sizeof(srcsock);
242                 srcsock.sin6_addr = pi->ipi6_addr;
243                 if (ifp) {
244                         error = in6_setscope(&srcsock.sin6_addr, ifp, NULL);
245                         if (error)
246                                 return (error);
247                 }
248                 if (cred != NULL && (error = prison_local_ip6(cred,
249                     &srcsock.sin6_addr, (inp != NULL &&
250                     (inp->inp_flags & IN6P_IPV6_V6ONLY) != 0))) != 0)
251                         return (error);
252
253                 ia6 = (struct in6_ifaddr *)ifa_ifwithaddr(
254                     (struct sockaddr *)&srcsock);
255                 if (ia6 == NULL ||
256                     (ia6->ia6_flags & (IN6_IFF_ANYCAST | IN6_IFF_NOTREADY))) {
257                         if (ia6 != NULL)
258                                 ifa_free(&ia6->ia_ifa);
259                         return (EADDRNOTAVAIL);
260                 }
261                 pi->ipi6_addr = srcsock.sin6_addr; /* XXX: this overrides pi */
262                 if (ifpp)
263                         *ifpp = ifp;
264                 bcopy(&ia6->ia_addr.sin6_addr, srcp, sizeof(*srcp));
265                 ifa_free(&ia6->ia_ifa);
266                 return (0);
267         }
268
269         /*
270          * Otherwise, if the socket has already bound the source, just use it.
271          */
272         if (inp != NULL && !IN6_IS_ADDR_UNSPECIFIED(&inp->in6p_laddr)) {
273                 if (cred != NULL &&
274                     (error = prison_local_ip6(cred, &inp->in6p_laddr,
275                     ((inp->inp_flags & IN6P_IPV6_V6ONLY) != 0))) != 0)
276                         return (error);
277                 bcopy(&inp->in6p_laddr, srcp, sizeof(*srcp));
278                 return (0);
279         }
280
281         /*
282          * Bypass source address selection and use the primary jail IP
283          * if requested.
284          */
285         if (cred != NULL && !prison_saddrsel_ip6(cred, srcp))
286                 return (0);
287
288         /*
289          * If the address is not specified, choose the best one based on
290          * the outgoing interface and the destination address.
291          */
292         /* get the outgoing interface */
293         if ((error = in6_selectif(dstsock, opts, mopts, ro, &ifp, oifp,
294             (inp != NULL) ? inp->inp_inc.inc_fibnum : RT_DEFAULT_FIB)) != 0)
295                 return (error);
296
297 #ifdef DIAGNOSTIC
298         if (ifp == NULL)        /* this should not happen */
299                 panic("in6_selectsrc: NULL ifp");
300 #endif
301         error = in6_setscope(&dst, ifp, &odstzone);
302         if (error)
303                 return (error);
304
305         rule = 0;
306         IN6_IFADDR_RLOCK();
307         TAILQ_FOREACH(ia, &V_in6_ifaddrhead, ia_link) {
308                 int new_scope = -1, new_matchlen = -1;
309                 struct in6_addrpolicy *new_policy = NULL;
310                 u_int32_t srczone, osrczone, dstzone;
311                 struct in6_addr src;
312                 struct ifnet *ifp1 = ia->ia_ifp;
313
314                 /*
315                  * We'll never take an address that breaks the scope zone
316                  * of the destination.  We also skip an address if its zone
317                  * does not contain the outgoing interface.
318                  * XXX: we should probably use sin6_scope_id here.
319                  */
320                 if (in6_setscope(&dst, ifp1, &dstzone) ||
321                     odstzone != dstzone) {
322                         continue;
323                 }
324                 src = ia->ia_addr.sin6_addr;
325                 if (in6_setscope(&src, ifp, &osrczone) ||
326                     in6_setscope(&src, ifp1, &srczone) ||
327                     osrczone != srczone) {
328                         continue;
329                 }
330
331                 /* avoid unusable addresses */
332                 if ((ia->ia6_flags &
333                      (IN6_IFF_NOTREADY | IN6_IFF_ANYCAST | IN6_IFF_DETACHED))) {
334                                 continue;
335                 }
336                 if (!V_ip6_use_deprecated && IFA6_IS_DEPRECATED(ia))
337                         continue;
338
339                 /* If jailed only take addresses of the jail into account. */
340                 if (cred != NULL &&
341                     prison_check_ip6(cred, &ia->ia_addr.sin6_addr) != 0)
342                         continue;
343
344                 /* Rule 1: Prefer same address */
345                 if (IN6_ARE_ADDR_EQUAL(&dst, &ia->ia_addr.sin6_addr)) {
346                         ia_best = ia;
347                         BREAK(1); /* there should be no better candidate */
348                 }
349
350                 if (ia_best == NULL)
351                         REPLACE(0);
352
353                 /* Rule 2: Prefer appropriate scope */
354                 if (dst_scope < 0)
355                         dst_scope = in6_addrscope(&dst);
356                 new_scope = in6_addrscope(&ia->ia_addr.sin6_addr);
357                 if (IN6_ARE_SCOPE_CMP(best_scope, new_scope) < 0) {
358                         if (IN6_ARE_SCOPE_CMP(best_scope, dst_scope) < 0)
359                                 REPLACE(2);
360                         NEXT(2);
361                 } else if (IN6_ARE_SCOPE_CMP(new_scope, best_scope) < 0) {
362                         if (IN6_ARE_SCOPE_CMP(new_scope, dst_scope) < 0)
363                                 NEXT(2);
364                         REPLACE(2);
365                 }
366
367                 /*
368                  * Rule 3: Avoid deprecated addresses.  Note that the case of
369                  * !ip6_use_deprecated is already rejected above.
370                  */
371                 if (!IFA6_IS_DEPRECATED(ia_best) && IFA6_IS_DEPRECATED(ia))
372                         NEXT(3);
373                 if (IFA6_IS_DEPRECATED(ia_best) && !IFA6_IS_DEPRECATED(ia))
374                         REPLACE(3);
375
376                 /* Rule 4: Prefer home addresses */
377                 /*
378                  * XXX: This is a TODO.  We should probably merge the MIP6
379                  * case above.
380                  */
381
382                 /* Rule 5: Prefer outgoing interface */
383                 if (!(ND_IFINFO(ifp)->flags & ND6_IFF_NO_PREFER_IFACE)) {
384                         if (ia_best->ia_ifp == ifp && ia->ia_ifp != ifp)
385                                 NEXT(5);
386                         if (ia_best->ia_ifp != ifp && ia->ia_ifp == ifp)
387                                 REPLACE(5);
388                 }
389
390                 /*
391                  * Rule 6: Prefer matching label
392                  * Note that best_policy should be non-NULL here.
393                  */
394                 if (dst_policy == NULL)
395                         dst_policy = lookup_addrsel_policy(dstsock);
396                 if (dst_policy->label != ADDR_LABEL_NOTAPP) {
397                         new_policy = lookup_addrsel_policy(&ia->ia_addr);
398                         if (dst_policy->label == best_policy->label &&
399                             dst_policy->label != new_policy->label)
400                                 NEXT(6);
401                         if (dst_policy->label != best_policy->label &&
402                             dst_policy->label == new_policy->label)
403                                 REPLACE(6);
404                 }
405
406                 /*
407                  * Rule 7: Prefer public addresses.
408                  * We allow users to reverse the logic by configuring
409                  * a sysctl variable, so that privacy conscious users can
410                  * always prefer temporary addresses.
411                  */
412                 if (opts == NULL ||
413                     opts->ip6po_prefer_tempaddr == IP6PO_TEMPADDR_SYSTEM) {
414                         prefer_tempaddr = V_ip6_prefer_tempaddr;
415                 } else if (opts->ip6po_prefer_tempaddr ==
416                     IP6PO_TEMPADDR_NOTPREFER) {
417                         prefer_tempaddr = 0;
418                 } else
419                         prefer_tempaddr = 1;
420                 if (!(ia_best->ia6_flags & IN6_IFF_TEMPORARY) &&
421                     (ia->ia6_flags & IN6_IFF_TEMPORARY)) {
422                         if (prefer_tempaddr)
423                                 REPLACE(7);
424                         else
425                                 NEXT(7);
426                 }
427                 if ((ia_best->ia6_flags & IN6_IFF_TEMPORARY) &&
428                     !(ia->ia6_flags & IN6_IFF_TEMPORARY)) {
429                         if (prefer_tempaddr)
430                                 NEXT(7);
431                         else
432                                 REPLACE(7);
433                 }
434
435                 /*
436                  * Rule 8: prefer addresses on alive interfaces.
437                  * This is a KAME specific rule.
438                  */
439                 if ((ia_best->ia_ifp->if_flags & IFF_UP) &&
440                     !(ia->ia_ifp->if_flags & IFF_UP))
441                         NEXT(8);
442                 if (!(ia_best->ia_ifp->if_flags & IFF_UP) &&
443                     (ia->ia_ifp->if_flags & IFF_UP))
444                         REPLACE(8);
445
446                 /*
447                  * Rule 9: prefer address with better virtual status.
448                  */
449                 if (ifa_preferred(&ia_best->ia_ifa, &ia->ia_ifa))
450                         REPLACE(9);
451                 if (ifa_preferred(&ia->ia_ifa, &ia_best->ia_ifa))
452                         NEXT(9);
453
454                 /*
455                  * Rule 10: prefer address with `prefer_source' flag.
456                  */
457                 if ((ia_best->ia6_flags & IN6_IFF_PREFER_SOURCE) == 0 &&
458                     (ia->ia6_flags & IN6_IFF_PREFER_SOURCE) != 0)
459                         REPLACE(10);
460                 if ((ia_best->ia6_flags & IN6_IFF_PREFER_SOURCE) != 0 &&
461                     (ia->ia6_flags & IN6_IFF_PREFER_SOURCE) == 0)
462                         NEXT(10);
463
464                 /*
465                  * Rule 14: Use longest matching prefix.
466                  * Note: in the address selection draft, this rule is
467                  * documented as "Rule 8".  However, since it is also
468                  * documented that this rule can be overridden, we assign
469                  * a large number so that it is easy to assign smaller numbers
470                  * to more preferred rules.
471                  */
472                 new_matchlen = in6_matchlen(&ia->ia_addr.sin6_addr, &dst);
473                 if (best_matchlen < new_matchlen)
474                         REPLACE(14);
475                 if (new_matchlen < best_matchlen)
476                         NEXT(14);
477
478                 /* Rule 15 is reserved. */
479
480                 /*
481                  * Last resort: just keep the current candidate.
482                  * Or, do we need more rules?
483                  */
484                 continue;
485
486           replace:
487                 ia_best = ia;
488                 best_scope = (new_scope >= 0 ? new_scope :
489                               in6_addrscope(&ia_best->ia_addr.sin6_addr));
490                 best_policy = (new_policy ? new_policy :
491                                lookup_addrsel_policy(&ia_best->ia_addr));
492                 best_matchlen = (new_matchlen >= 0 ? new_matchlen :
493                                  in6_matchlen(&ia_best->ia_addr.sin6_addr,
494                                               &dst));
495
496           next:
497                 continue;
498
499           out:
500                 break;
501         }
502
503         if ((ia = ia_best) == NULL) {
504                 IN6_IFADDR_RUNLOCK();
505                 IP6STAT_INC(ip6s_sources_none);
506                 return (EADDRNOTAVAIL);
507         }
508
509         /*
510          * At this point at least one of the addresses belonged to the jail
511          * but it could still be, that we want to further restrict it, e.g.
512          * theoratically IN6_IS_ADDR_LOOPBACK.
513          * It must not be IN6_IS_ADDR_UNSPECIFIED anymore.
514          * prison_local_ip6() will fix an IN6_IS_ADDR_LOOPBACK but should
515          * let all others previously selected pass.
516          * Use tmp to not change ::1 on lo0 to the primary jail address.
517          */
518         tmp = ia->ia_addr.sin6_addr;
519         if (cred != NULL && prison_local_ip6(cred, &tmp, (inp != NULL &&
520             (inp->inp_flags & IN6P_IPV6_V6ONLY) != 0)) != 0) {
521                 IN6_IFADDR_RUNLOCK();
522                 IP6STAT_INC(ip6s_sources_none);
523                 return (EADDRNOTAVAIL);
524         }
525
526         if (ifpp)
527                 *ifpp = ifp;
528
529         bcopy(&tmp, srcp, sizeof(*srcp));
530         if (ia->ia_ifp == ifp)
531                 IP6STAT_INC(ip6s_sources_sameif[best_scope]);
532         else
533                 IP6STAT_INC(ip6s_sources_otherif[best_scope]);
534         if (dst_scope == best_scope)
535                 IP6STAT_INC(ip6s_sources_samescope[best_scope]);
536         else
537                 IP6STAT_INC(ip6s_sources_otherscope[best_scope]);
538         if (IFA6_IS_DEPRECATED(ia))
539                 IP6STAT_INC(ip6s_sources_deprecated[best_scope]);
540         IN6_IFADDR_RUNLOCK();
541         return (0);
542 }
543
544 /*
545  * clone - meaningful only for bsdi and freebsd
546  */
547 static int
548 selectroute(struct sockaddr_in6 *dstsock, struct ip6_pktopts *opts,
549     struct ip6_moptions *mopts, struct route_in6 *ro,
550     struct ifnet **retifp, struct rtentry **retrt, int norouteok, u_int fibnum)
551 {
552         int error = 0;
553         struct ifnet *ifp = NULL;
554         struct rtentry *rt = NULL;
555         struct sockaddr_in6 *sin6_next;
556         struct in6_pktinfo *pi = NULL;
557         struct in6_addr *dst = &dstsock->sin6_addr;
558 #if 0
559         char ip6buf[INET6_ADDRSTRLEN];
560
561         if (dstsock->sin6_addr.s6_addr32[0] == 0 &&
562             dstsock->sin6_addr.s6_addr32[1] == 0 &&
563             !IN6_IS_ADDR_LOOPBACK(&dstsock->sin6_addr)) {
564                 printf("in6_selectroute: strange destination %s\n",
565                        ip6_sprintf(ip6buf, &dstsock->sin6_addr));
566         } else {
567                 printf("in6_selectroute: destination = %s%%%d\n",
568                        ip6_sprintf(ip6buf, &dstsock->sin6_addr),
569                        dstsock->sin6_scope_id); /* for debug */
570         }
571 #endif
572
573         /* If the caller specify the outgoing interface explicitly, use it. */
574         if (opts && (pi = opts->ip6po_pktinfo) != NULL && pi->ipi6_ifindex) {
575                 /* XXX boundary check is assumed to be already done. */
576                 ifp = ifnet_byindex(pi->ipi6_ifindex);
577                 if (ifp != NULL &&
578                     (norouteok || retrt == NULL ||
579                     IN6_IS_ADDR_MULTICAST(dst))) {
580                         /*
581                          * we do not have to check or get the route for
582                          * multicast.
583                          */
584                         goto done;
585                 } else
586                         goto getroute;
587         }
588
589         /*
590          * If the destination address is a multicast address and the outgoing
591          * interface for the address is specified by the caller, use it.
592          */
593         if (IN6_IS_ADDR_MULTICAST(dst) &&
594             mopts != NULL && (ifp = mopts->im6o_multicast_ifp) != NULL) {
595                 goto done; /* we do not need a route for multicast. */
596         }
597
598   getroute:
599         /*
600          * If the next hop address for the packet is specified by the caller,
601          * use it as the gateway.
602          */
603         if (opts && opts->ip6po_nexthop) {
604                 struct route_in6 *ron;
605                 struct llentry *la;
606             
607                 sin6_next = satosin6(opts->ip6po_nexthop);
608                 
609                 /* at this moment, we only support AF_INET6 next hops */
610                 if (sin6_next->sin6_family != AF_INET6) {
611                         error = EAFNOSUPPORT; /* or should we proceed? */
612                         goto done;
613                 }
614
615                 /*
616                  * If the next hop is an IPv6 address, then the node identified
617                  * by that address must be a neighbor of the sending host.
618                  */
619                 ron = &opts->ip6po_nextroute;
620                 /*
621                  * XXX what do we do here?
622                  * PLZ to be fixing
623                  */
624
625
626                 if (ron->ro_rt == NULL) {
627                         in6_rtalloc(ron, fibnum); /* multi path case? */
628                         if (ron->ro_rt == NULL) {
629                                 /* XXX-BZ WT.? */
630                                 if (ron->ro_rt) {
631                                         RTFREE(ron->ro_rt);
632                                         ron->ro_rt = NULL;
633                                 }
634                                 error = EHOSTUNREACH;
635                                 goto done;
636                         } 
637                 }
638
639                 rt = ron->ro_rt;
640                 ifp = rt->rt_ifp;
641                 IF_AFDATA_RLOCK(ifp);
642                 la = lla_lookup(LLTABLE6(ifp), 0, (struct sockaddr *)sin6_next);
643                 IF_AFDATA_RUNLOCK(ifp);
644                 if (la != NULL) 
645                         LLE_RUNLOCK(la);
646                 else {
647                         error = EHOSTUNREACH;
648                         goto done;
649                 }
650 #if 0
651                 if ((ron->ro_rt &&
652                      (ron->ro_rt->rt_flags & (RTF_UP | RTF_LLINFO)) !=
653                      (RTF_UP | RTF_LLINFO)) ||
654                     !IN6_ARE_ADDR_EQUAL(&satosin6(&ron->ro_dst)->sin6_addr,
655                     &sin6_next->sin6_addr)) {
656                         if (ron->ro_rt) {
657                                 RTFREE(ron->ro_rt);
658                                 ron->ro_rt = NULL;
659                         }
660                         *satosin6(&ron->ro_dst) = *sin6_next;
661                 }
662                 if (ron->ro_rt == NULL) {
663                         in6_rtalloc(ron, fibnum); /* multi path case? */
664                         if (ron->ro_rt == NULL ||
665                             !(ron->ro_rt->rt_flags & RTF_LLINFO)) {
666                                 if (ron->ro_rt) {
667                                         RTFREE(ron->ro_rt);
668                                         ron->ro_rt = NULL;
669                                 }
670                                 error = EHOSTUNREACH;
671                                 goto done;
672                         }
673                 }
674 #endif
675
676                 /*
677                  * When cloning is required, try to allocate a route to the
678                  * destination so that the caller can store path MTU
679                  * information.
680                  */
681                 goto done;
682         }
683
684         /*
685          * Use a cached route if it exists and is valid, else try to allocate
686          * a new one.  Note that we should check the address family of the
687          * cached destination, in case of sharing the cache with IPv4.
688          */
689         if (ro) {
690                 if (ro->ro_rt &&
691                     (!(ro->ro_rt->rt_flags & RTF_UP) ||
692                      ((struct sockaddr *)(&ro->ro_dst))->sa_family != AF_INET6 ||
693                      !IN6_ARE_ADDR_EQUAL(&satosin6(&ro->ro_dst)->sin6_addr,
694                      dst))) {
695                         RTFREE(ro->ro_rt);
696                         ro->ro_rt = (struct rtentry *)NULL;
697                 }
698                 if (ro->ro_rt == (struct rtentry *)NULL) {
699                         struct sockaddr_in6 *sa6;
700
701                         /* No route yet, so try to acquire one */
702                         bzero(&ro->ro_dst, sizeof(struct sockaddr_in6));
703                         sa6 = (struct sockaddr_in6 *)&ro->ro_dst;
704                         *sa6 = *dstsock;
705                         sa6->sin6_scope_id = 0;
706
707 #ifdef RADIX_MPATH
708                                 rtalloc_mpath_fib((struct route *)ro,
709                                     ntohl(sa6->sin6_addr.s6_addr32[3]), fibnum);
710 #else                   
711                                 ro->ro_rt = in6_rtalloc1((struct sockaddr *)
712                                     &ro->ro_dst, 0, 0UL, fibnum);
713                                 if (ro->ro_rt)
714                                         RT_UNLOCK(ro->ro_rt);
715 #endif
716                 }
717                                 
718                 /*
719                  * do not care about the result if we have the nexthop
720                  * explicitly specified.
721                  */
722                 if (opts && opts->ip6po_nexthop)
723                         goto done;
724
725                 if (ro->ro_rt) {
726                         ifp = ro->ro_rt->rt_ifp;
727
728                         if (ifp == NULL) { /* can this really happen? */
729                                 RTFREE(ro->ro_rt);
730                                 ro->ro_rt = NULL;
731                         }
732                 }
733                 if (ro->ro_rt == NULL)
734                         error = EHOSTUNREACH;
735                 rt = ro->ro_rt;
736
737                 /*
738                  * Check if the outgoing interface conflicts with
739                  * the interface specified by ipi6_ifindex (if specified).
740                  * Note that loopback interface is always okay.
741                  * (this may happen when we are sending a packet to one of
742                  *  our own addresses.)
743                  */
744                 if (ifp && opts && opts->ip6po_pktinfo &&
745                     opts->ip6po_pktinfo->ipi6_ifindex) {
746                         if (!(ifp->if_flags & IFF_LOOPBACK) &&
747                             ifp->if_index !=
748                             opts->ip6po_pktinfo->ipi6_ifindex) {
749                                 error = EHOSTUNREACH;
750                                 goto done;
751                         }
752                 }
753         }
754
755   done:
756         if (ifp == NULL && rt == NULL) {
757                 /*
758                  * This can happen if the caller did not pass a cached route
759                  * nor any other hints.  We treat this case an error.
760                  */
761                 error = EHOSTUNREACH;
762         }
763         if (error == EHOSTUNREACH)
764                 IP6STAT_INC(ip6s_noroute);
765
766         if (retifp != NULL) {
767                 *retifp = ifp;
768
769                 /*
770                  * Adjust the "outgoing" interface.  If we're going to loop 
771                  * the packet back to ourselves, the ifp would be the loopback 
772                  * interface. However, we'd rather know the interface associated 
773                  * to the destination address (which should probably be one of 
774                  * our own addresses.)
775                  */
776                 if (rt) {
777                         if ((rt->rt_ifp->if_flags & IFF_LOOPBACK) &&
778                             (rt->rt_gateway->sa_family == AF_LINK))
779                                 *retifp = 
780                                         ifnet_byindex(((struct sockaddr_dl *)
781                                                        rt->rt_gateway)->sdl_index);
782                 }
783         }
784
785         if (retrt != NULL)
786                 *retrt = rt;    /* rt may be NULL */
787
788         return (error);
789 }
790
791 static int
792 in6_selectif(struct sockaddr_in6 *dstsock, struct ip6_pktopts *opts,
793     struct ip6_moptions *mopts, struct route_in6 *ro, struct ifnet **retifp,
794     struct ifnet *oifp, u_int fibnum)
795 {
796         int error;
797         struct route_in6 sro;
798         struct rtentry *rt = NULL;
799
800         KASSERT(retifp != NULL, ("%s: retifp is NULL", __func__));
801
802         if (ro == NULL) {
803                 bzero(&sro, sizeof(sro));
804                 ro = &sro;
805         }
806
807         if ((error = selectroute(dstsock, opts, mopts, ro, retifp,
808             &rt, 1, fibnum)) != 0) {
809                 if (ro == &sro && rt && rt == sro.ro_rt)
810                         RTFREE(rt);
811                 /* Help ND. See oifp comment in in6_selectsrc(). */
812                 if (oifp != NULL && fibnum == RT_DEFAULT_FIB) {
813                         *retifp = oifp;
814                         error = 0;
815                 }
816                 return (error);
817         }
818
819         /*
820          * do not use a rejected or black hole route.
821          * XXX: this check should be done in the L2 output routine.
822          * However, if we skipped this check here, we'd see the following
823          * scenario:
824          * - install a rejected route for a scoped address prefix
825          *   (like fe80::/10)
826          * - send a packet to a destination that matches the scoped prefix,
827          *   with ambiguity about the scope zone.
828          * - pick the outgoing interface from the route, and disambiguate the
829          *   scope zone with the interface.
830          * - ip6_output() would try to get another route with the "new"
831          *   destination, which may be valid.
832          * - we'd see no error on output.
833          * Although this may not be very harmful, it should still be confusing.
834          * We thus reject the case here.
835          */
836         if (rt && (rt->rt_flags & (RTF_REJECT | RTF_BLACKHOLE))) {
837                 int flags = (rt->rt_flags & RTF_HOST ? EHOSTUNREACH : ENETUNREACH);
838
839                 if (ro == &sro && rt && rt == sro.ro_rt)
840                         RTFREE(rt);
841                 return (flags);
842         }
843
844         if (ro == &sro && rt && rt == sro.ro_rt)
845                 RTFREE(rt);
846         return (0);
847 }
848
849 /*
850  * Public wrapper function to selectroute().
851  *
852  * XXX-BZ in6_selectroute() should and will grow the FIB argument. The
853  * in6_selectroute_fib() function is only there for backward compat on stable.
854  */
855 int
856 in6_selectroute(struct sockaddr_in6 *dstsock, struct ip6_pktopts *opts,
857     struct ip6_moptions *mopts, struct route_in6 *ro,
858     struct ifnet **retifp, struct rtentry **retrt)
859 {
860
861         return (selectroute(dstsock, opts, mopts, ro, retifp,
862             retrt, 0, RT_DEFAULT_FIB));
863 }
864
865 #ifndef BURN_BRIDGES
866 int
867 in6_selectroute_fib(struct sockaddr_in6 *dstsock, struct ip6_pktopts *opts,
868     struct ip6_moptions *mopts, struct route_in6 *ro,
869     struct ifnet **retifp, struct rtentry **retrt, u_int fibnum)
870 {
871
872         return (selectroute(dstsock, opts, mopts, ro, retifp,
873             retrt, 0, fibnum));
874 }
875 #endif
876
877 /*
878  * Default hop limit selection. The precedence is as follows:
879  * 1. Hoplimit value specified via ioctl.
880  * 2. (If the outgoing interface is detected) the current
881  *     hop limit of the interface specified by router advertisement.
882  * 3. The system default hoplimit.
883  */
884 int
885 in6_selecthlim(struct inpcb *in6p, struct ifnet *ifp)
886 {
887
888         if (in6p && in6p->in6p_hops >= 0)
889                 return (in6p->in6p_hops);
890         else if (ifp)
891                 return (ND_IFINFO(ifp)->chlim);
892         else if (in6p && !IN6_IS_ADDR_UNSPECIFIED(&in6p->in6p_faddr)) {
893                 struct route_in6 ro6;
894                 struct ifnet *lifp;
895
896                 bzero(&ro6, sizeof(ro6));
897                 ro6.ro_dst.sin6_family = AF_INET6;
898                 ro6.ro_dst.sin6_len = sizeof(struct sockaddr_in6);
899                 ro6.ro_dst.sin6_addr = in6p->in6p_faddr;
900                 in6_rtalloc(&ro6, in6p->inp_inc.inc_fibnum);
901                 if (ro6.ro_rt) {
902                         lifp = ro6.ro_rt->rt_ifp;
903                         RTFREE(ro6.ro_rt);
904                         if (lifp)
905                                 return (ND_IFINFO(lifp)->chlim);
906                 }
907         }
908         return (V_ip6_defhlim);
909 }
910
911 /*
912  * XXX: this is borrowed from in6_pcbbind(). If possible, we should
913  * share this function by all *bsd*...
914  */
915 int
916 in6_pcbsetport(struct in6_addr *laddr, struct inpcb *inp, struct ucred *cred)
917 {
918         struct socket *so = inp->inp_socket;
919         u_int16_t lport = 0;
920         int error, lookupflags = 0;
921 #ifdef INVARIANTS
922         struct inpcbinfo *pcbinfo = inp->inp_pcbinfo;
923 #endif
924
925         INP_WLOCK_ASSERT(inp);
926         INP_HASH_WLOCK_ASSERT(pcbinfo);
927
928         error = prison_local_ip6(cred, laddr,
929             ((inp->inp_flags & IN6P_IPV6_V6ONLY) != 0));
930         if (error)
931                 return(error);
932
933         /* XXX: this is redundant when called from in6_pcbbind */
934         if ((so->so_options & (SO_REUSEADDR|SO_REUSEPORT)) == 0)
935                 lookupflags = INPLOOKUP_WILDCARD;
936
937         inp->inp_flags |= INP_ANONPORT;
938
939         error = in_pcb_lport(inp, NULL, &lport, cred, lookupflags);
940         if (error != 0)
941                 return (error);
942
943         inp->inp_lport = lport;
944         if (in_pcbinshash(inp) != 0) {
945                 inp->in6p_laddr = in6addr_any;
946                 inp->inp_lport = 0;
947                 return (EAGAIN);
948         }
949
950         return (0);
951 }
952
953 void
954 addrsel_policy_init(void)
955 {
956
957         init_policy_queue();
958
959         /* initialize the "last resort" policy */
960         bzero(&V_defaultaddrpolicy, sizeof(V_defaultaddrpolicy));
961         V_defaultaddrpolicy.label = ADDR_LABEL_NOTAPP;
962
963         if (!IS_DEFAULT_VNET(curvnet))
964                 return;
965
966         ADDRSEL_LOCK_INIT();
967         ADDRSEL_SXLOCK_INIT();
968 }
969
970 static struct in6_addrpolicy *
971 lookup_addrsel_policy(struct sockaddr_in6 *key)
972 {
973         struct in6_addrpolicy *match = NULL;
974
975         ADDRSEL_LOCK();
976         match = match_addrsel_policy(key);
977
978         if (match == NULL)
979                 match = &V_defaultaddrpolicy;
980         else
981                 match->use++;
982         ADDRSEL_UNLOCK();
983
984         return (match);
985 }
986
987 /*
988  * Subroutines to manage the address selection policy table via sysctl.
989  */
990 struct walkarg {
991         struct sysctl_req *w_req;
992 };
993
994 static int in6_src_sysctl(SYSCTL_HANDLER_ARGS);
995 SYSCTL_DECL(_net_inet6_ip6);
996 static SYSCTL_NODE(_net_inet6_ip6, IPV6CTL_ADDRCTLPOLICY, addrctlpolicy,
997         CTLFLAG_RD, in6_src_sysctl, "");
998
999 static int
1000 in6_src_sysctl(SYSCTL_HANDLER_ARGS)
1001 {
1002         struct walkarg w;
1003
1004         if (req->newptr)
1005                 return EPERM;
1006
1007         bzero(&w, sizeof(w));
1008         w.w_req = req;
1009
1010         return (walk_addrsel_policy(dump_addrsel_policyent, &w));
1011 }
1012
1013 int
1014 in6_src_ioctl(u_long cmd, caddr_t data)
1015 {
1016         struct in6_addrpolicy ent0;
1017
1018         if (cmd != SIOCAADDRCTL_POLICY && cmd != SIOCDADDRCTL_POLICY)
1019                 return (EOPNOTSUPP); /* check for safety */
1020
1021         ent0 = *(struct in6_addrpolicy *)data;
1022
1023         if (ent0.label == ADDR_LABEL_NOTAPP)
1024                 return (EINVAL);
1025         /* check if the prefix mask is consecutive. */
1026         if (in6_mask2len(&ent0.addrmask.sin6_addr, NULL) < 0)
1027                 return (EINVAL);
1028         /* clear trailing garbages (if any) of the prefix address. */
1029         IN6_MASK_ADDR(&ent0.addr.sin6_addr, &ent0.addrmask.sin6_addr);
1030         ent0.use = 0;
1031
1032         switch (cmd) {
1033         case SIOCAADDRCTL_POLICY:
1034                 return (add_addrsel_policyent(&ent0));
1035         case SIOCDADDRCTL_POLICY:
1036                 return (delete_addrsel_policyent(&ent0));
1037         }
1038
1039         return (0);             /* XXX: compromise compilers */
1040 }
1041
1042 /*
1043  * The followings are implementation of the policy table using a
1044  * simple tail queue.
1045  * XXX such details should be hidden.
1046  * XXX implementation using binary tree should be more efficient.
1047  */
1048 struct addrsel_policyent {
1049         TAILQ_ENTRY(addrsel_policyent) ape_entry;
1050         struct in6_addrpolicy ape_policy;
1051 };
1052
1053 TAILQ_HEAD(addrsel_policyhead, addrsel_policyent);
1054
1055 static VNET_DEFINE(struct addrsel_policyhead, addrsel_policytab);
1056 #define V_addrsel_policytab             VNET(addrsel_policytab)
1057
1058 static void
1059 init_policy_queue(void)
1060 {
1061
1062         TAILQ_INIT(&V_addrsel_policytab);
1063 }
1064
1065 static int
1066 add_addrsel_policyent(struct in6_addrpolicy *newpolicy)
1067 {
1068         struct addrsel_policyent *new, *pol;
1069
1070         new = malloc(sizeof(*new), M_IFADDR,
1071                M_WAITOK);
1072         ADDRSEL_XLOCK();
1073         ADDRSEL_LOCK();
1074
1075         /* duplication check */
1076         TAILQ_FOREACH(pol, &V_addrsel_policytab, ape_entry) {
1077                 if (IN6_ARE_ADDR_EQUAL(&newpolicy->addr.sin6_addr,
1078                                        &pol->ape_policy.addr.sin6_addr) &&
1079                     IN6_ARE_ADDR_EQUAL(&newpolicy->addrmask.sin6_addr,
1080                                        &pol->ape_policy.addrmask.sin6_addr)) {
1081                         ADDRSEL_UNLOCK();
1082                         ADDRSEL_XUNLOCK();
1083                         free(new, M_IFADDR);
1084                         return (EEXIST);        /* or override it? */
1085                 }
1086         }
1087
1088         bzero(new, sizeof(*new));
1089
1090         /* XXX: should validate entry */
1091         new->ape_policy = *newpolicy;
1092
1093         TAILQ_INSERT_TAIL(&V_addrsel_policytab, new, ape_entry);
1094         ADDRSEL_UNLOCK();
1095         ADDRSEL_XUNLOCK();
1096
1097         return (0);
1098 }
1099
1100 static int
1101 delete_addrsel_policyent(struct in6_addrpolicy *key)
1102 {
1103         struct addrsel_policyent *pol;
1104
1105         ADDRSEL_XLOCK();
1106         ADDRSEL_LOCK();
1107
1108         /* search for the entry in the table */
1109         TAILQ_FOREACH(pol, &V_addrsel_policytab, ape_entry) {
1110                 if (IN6_ARE_ADDR_EQUAL(&key->addr.sin6_addr,
1111                     &pol->ape_policy.addr.sin6_addr) &&
1112                     IN6_ARE_ADDR_EQUAL(&key->addrmask.sin6_addr,
1113                     &pol->ape_policy.addrmask.sin6_addr)) {
1114                         break;
1115                 }
1116         }
1117         if (pol == NULL) {
1118                 ADDRSEL_UNLOCK();
1119                 ADDRSEL_XUNLOCK();
1120                 return (ESRCH);
1121         }
1122
1123         TAILQ_REMOVE(&V_addrsel_policytab, pol, ape_entry);
1124         ADDRSEL_UNLOCK();
1125         ADDRSEL_XUNLOCK();
1126         free(pol, M_IFADDR);
1127
1128         return (0);
1129 }
1130
1131 static int
1132 walk_addrsel_policy(int (*callback)(struct in6_addrpolicy *, void *), void *w)
1133 {
1134         struct addrsel_policyent *pol;
1135         int error = 0;
1136
1137         ADDRSEL_SLOCK();
1138         TAILQ_FOREACH(pol, &V_addrsel_policytab, ape_entry) {
1139                 if ((error = (*callback)(&pol->ape_policy, w)) != 0) {
1140                         ADDRSEL_SUNLOCK();
1141                         return (error);
1142                 }
1143         }
1144         ADDRSEL_SUNLOCK();
1145         return (error);
1146 }
1147
1148 static int
1149 dump_addrsel_policyent(struct in6_addrpolicy *pol, void *arg)
1150 {
1151         int error = 0;
1152         struct walkarg *w = arg;
1153
1154         error = SYSCTL_OUT(w->w_req, pol, sizeof(*pol));
1155
1156         return (error);
1157 }
1158
1159 static struct in6_addrpolicy *
1160 match_addrsel_policy(struct sockaddr_in6 *key)
1161 {
1162         struct addrsel_policyent *pent;
1163         struct in6_addrpolicy *bestpol = NULL, *pol;
1164         int matchlen, bestmatchlen = -1;
1165         u_char *mp, *ep, *k, *p, m;
1166
1167         TAILQ_FOREACH(pent, &V_addrsel_policytab, ape_entry) {
1168                 matchlen = 0;
1169
1170                 pol = &pent->ape_policy;
1171                 mp = (u_char *)&pol->addrmask.sin6_addr;
1172                 ep = mp + 16;   /* XXX: scope field? */
1173                 k = (u_char *)&key->sin6_addr;
1174                 p = (u_char *)&pol->addr.sin6_addr;
1175                 for (; mp < ep && *mp; mp++, k++, p++) {
1176                         m = *mp;
1177                         if ((*k & m) != *p)
1178                                 goto next; /* not match */
1179                         if (m == 0xff) /* short cut for a typical case */
1180                                 matchlen += 8;
1181                         else {
1182                                 while (m >= 0x80) {
1183                                         matchlen++;
1184                                         m <<= 1;
1185                                 }
1186                         }
1187                 }
1188
1189                 /* matched.  check if this is better than the current best. */
1190                 if (bestpol == NULL ||
1191                     matchlen > bestmatchlen) {
1192                         bestpol = pol;
1193                         bestmatchlen = matchlen;
1194                 }
1195
1196           next:
1197                 continue;
1198         }
1199
1200         return (bestpol);
1201 }