]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/netinet/tcp_syncache.c
- More fixes for the non-blocking msg send, had the skip of the pre-block
[FreeBSD/FreeBSD.git] / sys / netinet / tcp_syncache.c
1 /*-
2  * Copyright (c) 2001 McAfee, Inc.
3  * Copyright (c) 2006 Andre Oppermann, Internet Business Solutions AG
4  * All rights reserved.
5  *
6  * This software was developed for the FreeBSD Project by Jonathan Lemon
7  * and McAfee Research, the Security Research Division of McAfee, Inc. under
8  * DARPA/SPAWAR contract N66001-01-C-8035 ("CBOSS"), as part of the
9  * DARPA CHATS research program.
10  *
11  * Redistribution and use in source and binary forms, with or without
12  * modification, are permitted provided that the following conditions
13  * are met:
14  * 1. Redistributions of source code must retain the above copyright
15  *    notice, this list of conditions and the following disclaimer.
16  * 2. Redistributions in binary form must reproduce the above copyright
17  *    notice, this list of conditions and the following disclaimer in the
18  *    documentation and/or other materials provided with the distribution.
19  *
20  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
23  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
24  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
30  * SUCH DAMAGE.
31  */
32
33 #include <sys/cdefs.h>
34 __FBSDID("$FreeBSD$");
35
36 #include "opt_inet.h"
37 #include "opt_inet6.h"
38 #include "opt_ipsec.h"
39 #include "opt_mac.h"
40
41 #include <sys/param.h>
42 #include <sys/systm.h>
43 #include <sys/kernel.h>
44 #include <sys/sysctl.h>
45 #include <sys/lock.h>
46 #include <sys/mutex.h>
47 #include <sys/malloc.h>
48 #include <sys/mbuf.h>
49 #include <sys/md5.h>
50 #include <sys/proc.h>           /* for proc0 declaration */
51 #include <sys/random.h>
52 #include <sys/socket.h>
53 #include <sys/socketvar.h>
54 #include <sys/syslog.h>
55
56 #include <vm/uma.h>
57
58 #include <net/if.h>
59 #include <net/route.h>
60
61 #include <netinet/in.h>
62 #include <netinet/in_systm.h>
63 #include <netinet/ip.h>
64 #include <netinet/in_var.h>
65 #include <netinet/in_pcb.h>
66 #include <netinet/ip_var.h>
67 #include <netinet/ip_options.h>
68 #ifdef INET6
69 #include <netinet/ip6.h>
70 #include <netinet/icmp6.h>
71 #include <netinet6/nd6.h>
72 #include <netinet6/ip6_var.h>
73 #include <netinet6/in6_pcb.h>
74 #endif
75 #include <netinet/tcp.h>
76 #include <netinet/tcp_fsm.h>
77 #include <netinet/tcp_seq.h>
78 #include <netinet/tcp_timer.h>
79 #include <netinet/tcp_var.h>
80 #include <netinet/tcp_syncache.h>
81 #ifdef INET6
82 #include <netinet6/tcp6_var.h>
83 #endif
84
85 #ifdef IPSEC
86 #include <netipsec/ipsec.h>
87 #ifdef INET6
88 #include <netipsec/ipsec6.h>
89 #endif
90 #include <netipsec/key.h>
91 #endif /*IPSEC*/
92
93 #include <machine/in_cksum.h>
94
95 #include <security/mac/mac_framework.h>
96
97 static int tcp_syncookies = 1;
98 SYSCTL_INT(_net_inet_tcp, OID_AUTO, syncookies, CTLFLAG_RW,
99     &tcp_syncookies, 0,
100     "Use TCP SYN cookies if the syncache overflows");
101
102 static int tcp_syncookiesonly = 0;
103 SYSCTL_INT(_net_inet_tcp, OID_AUTO, syncookies_only, CTLFLAG_RW,
104     &tcp_syncookiesonly, 0,
105     "Use only TCP SYN cookies");
106
107 #define SYNCOOKIE_SECRET_SIZE   8       /* dwords */
108 #define SYNCOOKIE_LIFETIME      16      /* seconds */
109
110 struct syncache {
111         TAILQ_ENTRY(syncache)   sc_hash;
112         struct          in_conninfo sc_inc;     /* addresses */
113         u_long          sc_rxttime;             /* retransmit time */
114         u_int16_t       sc_rxmits;              /* retransmit counter */
115
116         u_int32_t       sc_tsreflect;           /* timestamp to reflect */
117         u_int32_t       sc_ts;                  /* our timestamp to send */
118         u_int32_t       sc_tsoff;               /* ts offset w/ syncookies */
119         u_int32_t       sc_flowlabel;           /* IPv6 flowlabel */
120         tcp_seq         sc_irs;                 /* seq from peer */
121         tcp_seq         sc_iss;                 /* our ISS */
122         struct          mbuf *sc_ipopts;        /* source route */
123
124         u_int16_t       sc_peer_mss;            /* peer's MSS */
125         u_int16_t       sc_wnd;                 /* advertised window */
126         u_int8_t        sc_ip_ttl;              /* IPv4 TTL */
127         u_int8_t        sc_ip_tos;              /* IPv4 TOS */
128         u_int8_t        sc_requested_s_scale:4,
129                         sc_requested_r_scale:4;
130         u_int8_t        sc_flags;
131 #define SCF_NOOPT       0x01                    /* no TCP options */
132 #define SCF_WINSCALE    0x02                    /* negotiated window scaling */
133 #define SCF_TIMESTAMP   0x04                    /* negotiated timestamps */
134                                                 /* MSS is implicit */
135 #define SCF_UNREACH     0x10                    /* icmp unreachable received */
136 #define SCF_SIGNATURE   0x20                    /* send MD5 digests */
137 #define SCF_SACK        0x80                    /* send SACK option */
138 #ifdef MAC
139         struct label    *sc_label;              /* MAC label reference */
140 #endif
141 };
142
143 struct syncache_head {
144         struct mtx      sch_mtx;
145         TAILQ_HEAD(sch_head, syncache)  sch_bucket;
146         struct callout  sch_timer;
147         int             sch_nextc;
148         u_int           sch_length;
149         u_int           sch_oddeven;
150         u_int32_t       sch_secbits_odd[SYNCOOKIE_SECRET_SIZE];
151         u_int32_t       sch_secbits_even[SYNCOOKIE_SECRET_SIZE];
152         u_int           sch_reseed;             /* time_uptime, seconds */
153 };
154
155 static void      syncache_drop(struct syncache *, struct syncache_head *);
156 static void      syncache_free(struct syncache *);
157 static void      syncache_insert(struct syncache *, struct syncache_head *);
158 struct syncache *syncache_lookup(struct in_conninfo *, struct syncache_head **);
159 static int       syncache_respond(struct syncache *);
160 static struct    socket *syncache_socket(struct syncache *, struct socket *,
161                     struct mbuf *m);
162 static void      syncache_timeout(struct syncache *sc, struct syncache_head *sch,
163                     int docallout);
164 static void      syncache_timer(void *);
165 static void      syncookie_generate(struct syncache_head *, struct syncache *,
166                     u_int32_t *);
167 static struct syncache
168                 *syncookie_lookup(struct in_conninfo *, struct syncache_head *,
169                     struct syncache *, struct tcpopt *, struct tcphdr *,
170                     struct socket *);
171
172 /*
173  * Transmit the SYN,ACK fewer times than TCP_MAXRXTSHIFT specifies.
174  * 3 retransmits corresponds to a timeout of (1 + 2 + 4 + 8 == 15) seconds,
175  * the odds are that the user has given up attempting to connect by then.
176  */
177 #define SYNCACHE_MAXREXMTS              3
178
179 /* Arbitrary values */
180 #define TCP_SYNCACHE_HASHSIZE           512
181 #define TCP_SYNCACHE_BUCKETLIMIT        30
182
183 struct tcp_syncache {
184         struct  syncache_head *hashbase;
185         uma_zone_t zone;
186         u_int   hashsize;
187         u_int   hashmask;
188         u_int   bucket_limit;
189         u_int   cache_count;            /* XXX: unprotected */
190         u_int   cache_limit;
191         u_int   rexmt_limit;
192         u_int   hash_secret;
193 };
194 static struct tcp_syncache tcp_syncache;
195
196 SYSCTL_NODE(_net_inet_tcp, OID_AUTO, syncache, CTLFLAG_RW, 0, "TCP SYN cache");
197
198 SYSCTL_INT(_net_inet_tcp_syncache, OID_AUTO, bucketlimit, CTLFLAG_RDTUN,
199      &tcp_syncache.bucket_limit, 0, "Per-bucket hash limit for syncache");
200
201 SYSCTL_INT(_net_inet_tcp_syncache, OID_AUTO, cachelimit, CTLFLAG_RDTUN,
202      &tcp_syncache.cache_limit, 0, "Overall entry limit for syncache");
203
204 SYSCTL_INT(_net_inet_tcp_syncache, OID_AUTO, count, CTLFLAG_RD,
205      &tcp_syncache.cache_count, 0, "Current number of entries in syncache");
206
207 SYSCTL_INT(_net_inet_tcp_syncache, OID_AUTO, hashsize, CTLFLAG_RDTUN,
208      &tcp_syncache.hashsize, 0, "Size of TCP syncache hashtable");
209
210 SYSCTL_INT(_net_inet_tcp_syncache, OID_AUTO, rexmtlimit, CTLFLAG_RW,
211      &tcp_syncache.rexmt_limit, 0, "Limit on SYN/ACK retransmissions");
212
213 int     tcp_sc_rst_sock_fail = 1;
214 SYSCTL_INT(_net_inet_tcp_syncache, OID_AUTO, rst_on_sock_fail, CTLFLAG_RW,
215      &tcp_sc_rst_sock_fail, 0, "Send reset on socket allocation failure");
216
217 static MALLOC_DEFINE(M_SYNCACHE, "syncache", "TCP syncache");
218
219 #define SYNCACHE_HASH(inc, mask)                                        \
220         ((tcp_syncache.hash_secret ^                                    \
221           (inc)->inc_faddr.s_addr ^                                     \
222           ((inc)->inc_faddr.s_addr >> 16) ^                             \
223           (inc)->inc_fport ^ (inc)->inc_lport) & mask)
224
225 #define SYNCACHE_HASH6(inc, mask)                                       \
226         ((tcp_syncache.hash_secret ^                                    \
227           (inc)->inc6_faddr.s6_addr32[0] ^                              \
228           (inc)->inc6_faddr.s6_addr32[3] ^                              \
229           (inc)->inc_fport ^ (inc)->inc_lport) & mask)
230
231 #define ENDPTS_EQ(a, b) (                                               \
232         (a)->ie_fport == (b)->ie_fport &&                               \
233         (a)->ie_lport == (b)->ie_lport &&                               \
234         (a)->ie_faddr.s_addr == (b)->ie_faddr.s_addr &&                 \
235         (a)->ie_laddr.s_addr == (b)->ie_laddr.s_addr                    \
236 )
237
238 #define ENDPTS6_EQ(a, b) (memcmp(a, b, sizeof(*a)) == 0)
239
240 #define SCH_LOCK(sch)           mtx_lock(&(sch)->sch_mtx)
241 #define SCH_UNLOCK(sch)         mtx_unlock(&(sch)->sch_mtx)
242 #define SCH_LOCK_ASSERT(sch)    mtx_assert(&(sch)->sch_mtx, MA_OWNED)
243
244 /*
245  * Requires the syncache entry to be already removed from the bucket list.
246  */
247 static void
248 syncache_free(struct syncache *sc)
249 {
250         if (sc->sc_ipopts)
251                 (void) m_free(sc->sc_ipopts);
252 #ifdef MAC
253         mac_syncache_destroy(&sc->sc_label);
254 #endif
255
256         uma_zfree(tcp_syncache.zone, sc);
257 }
258
259 void
260 syncache_init(void)
261 {
262         int i;
263
264         tcp_syncache.cache_count = 0;
265         tcp_syncache.hashsize = TCP_SYNCACHE_HASHSIZE;
266         tcp_syncache.bucket_limit = TCP_SYNCACHE_BUCKETLIMIT;
267         tcp_syncache.rexmt_limit = SYNCACHE_MAXREXMTS;
268         tcp_syncache.hash_secret = arc4random();
269
270         TUNABLE_INT_FETCH("net.inet.tcp.syncache.hashsize",
271             &tcp_syncache.hashsize);
272         TUNABLE_INT_FETCH("net.inet.tcp.syncache.bucketlimit",
273             &tcp_syncache.bucket_limit);
274         if (!powerof2(tcp_syncache.hashsize) || tcp_syncache.hashsize == 0) {
275                 printf("WARNING: syncache hash size is not a power of 2.\n");
276                 tcp_syncache.hashsize = TCP_SYNCACHE_HASHSIZE;
277         }
278         tcp_syncache.hashmask = tcp_syncache.hashsize - 1;
279
280         /* Set limits. */
281         tcp_syncache.cache_limit =
282             tcp_syncache.hashsize * tcp_syncache.bucket_limit;
283         TUNABLE_INT_FETCH("net.inet.tcp.syncache.cachelimit",
284             &tcp_syncache.cache_limit);
285
286         /* Allocate the hash table. */
287         MALLOC(tcp_syncache.hashbase, struct syncache_head *,
288             tcp_syncache.hashsize * sizeof(struct syncache_head),
289             M_SYNCACHE, M_WAITOK | M_ZERO);
290
291         /* Initialize the hash buckets. */
292         for (i = 0; i < tcp_syncache.hashsize; i++) {
293                 TAILQ_INIT(&tcp_syncache.hashbase[i].sch_bucket);
294                 mtx_init(&tcp_syncache.hashbase[i].sch_mtx, "tcp_sc_head",
295                          NULL, MTX_DEF);
296                 callout_init_mtx(&tcp_syncache.hashbase[i].sch_timer,
297                          &tcp_syncache.hashbase[i].sch_mtx, 0);
298                 tcp_syncache.hashbase[i].sch_length = 0;
299         }
300
301         /* Create the syncache entry zone. */
302         tcp_syncache.zone = uma_zcreate("syncache", sizeof(struct syncache),
303             NULL, NULL, NULL, NULL, UMA_ALIGN_PTR, 0);
304         uma_zone_set_max(tcp_syncache.zone, tcp_syncache.cache_limit);
305 }
306
307 /*
308  * Inserts a syncache entry into the specified bucket row.
309  * Locks and unlocks the syncache_head autonomously.
310  */
311 static void
312 syncache_insert(struct syncache *sc, struct syncache_head *sch)
313 {
314         struct syncache *sc2;
315
316         SCH_LOCK(sch);
317
318         /*
319          * Make sure that we don't overflow the per-bucket limit.
320          * If the bucket is full, toss the oldest element.
321          */
322         if (sch->sch_length >= tcp_syncache.bucket_limit) {
323                 KASSERT(!TAILQ_EMPTY(&sch->sch_bucket),
324                         ("sch->sch_length incorrect"));
325                 sc2 = TAILQ_LAST(&sch->sch_bucket, sch_head);
326                 syncache_drop(sc2, sch);
327                 tcpstat.tcps_sc_bucketoverflow++;
328         }
329
330         /* Put it into the bucket. */
331         TAILQ_INSERT_HEAD(&sch->sch_bucket, sc, sc_hash);
332         sch->sch_length++;
333
334         /* Reinitialize the bucket row's timer. */
335         syncache_timeout(sc, sch, 1);
336
337         SCH_UNLOCK(sch);
338
339         tcp_syncache.cache_count++;
340         tcpstat.tcps_sc_added++;
341 }
342
343 /*
344  * Remove and free entry from syncache bucket row.
345  * Expects locked syncache head.
346  */
347 static void
348 syncache_drop(struct syncache *sc, struct syncache_head *sch)
349 {
350
351         SCH_LOCK_ASSERT(sch);
352
353         TAILQ_REMOVE(&sch->sch_bucket, sc, sc_hash);
354         sch->sch_length--;
355
356         syncache_free(sc);
357         tcp_syncache.cache_count--;
358 }
359
360 /*
361  * Engage/reengage time on bucket row.
362  */
363 static void
364 syncache_timeout(struct syncache *sc, struct syncache_head *sch, int docallout)
365 {
366         sc->sc_rxttime = ticks +
367                 TCPTV_RTOBASE * (tcp_backoff[sc->sc_rxmits]);
368         sc->sc_rxmits++;
369         if (sch->sch_nextc > sc->sc_rxttime)
370                 sch->sch_nextc = sc->sc_rxttime;
371         if (!TAILQ_EMPTY(&sch->sch_bucket) && docallout)
372                 callout_reset(&sch->sch_timer, sch->sch_nextc - ticks,
373                     syncache_timer, (void *)sch);
374 }
375
376 /*
377  * Walk the timer queues, looking for SYN,ACKs that need to be retransmitted.
378  * If we have retransmitted an entry the maximum number of times, expire it.
379  * One separate timer for each bucket row.
380  */
381 static void
382 syncache_timer(void *xsch)
383 {
384         struct syncache_head *sch = (struct syncache_head *)xsch;
385         struct syncache *sc, *nsc;
386         int tick = ticks;
387         char *s;
388
389         /* NB: syncache_head has already been locked by the callout. */
390         SCH_LOCK_ASSERT(sch);
391
392         TAILQ_FOREACH_SAFE(sc, &sch->sch_bucket, sc_hash, nsc) {
393                 /*
394                  * We do not check if the listen socket still exists
395                  * and accept the case where the listen socket may be
396                  * gone by the time we resend the SYN/ACK.  We do
397                  * not expect this to happens often. If it does,
398                  * then the RST will be sent by the time the remote
399                  * host does the SYN/ACK->ACK.
400                  */
401                 if (sc->sc_rxttime > tick) {
402                         if (sc->sc_rxttime < sch->sch_nextc)
403                                 sch->sch_nextc = sc->sc_rxttime;
404                         continue;
405                 }
406
407                 if (sc->sc_rxmits > tcp_syncache.rexmt_limit) {
408                         if ((s = tcp_log_addrs(&sc->sc_inc, NULL, NULL, NULL))) {
409                                 log(LOG_DEBUG, "%s; %s: Retransmits exhausted, "
410                                     "giving up and removing syncache entry\n",
411                                     s, __func__);
412                                 free(s, M_TCPLOG);
413                         }
414                         syncache_drop(sc, sch);
415                         tcpstat.tcps_sc_stale++;
416                         continue;
417                 }
418                 if ((s = tcp_log_addrs(&sc->sc_inc, NULL, NULL, NULL))) {
419                         log(LOG_DEBUG, "%s; %s: Response timeout, "
420                             "retransmitting (%u) SYN|ACK\n",
421                             s, __func__, sc->sc_rxmits);
422                         free(s, M_TCPLOG);
423                 }
424
425                 (void) syncache_respond(sc);
426                 tcpstat.tcps_sc_retransmitted++;
427                 syncache_timeout(sc, sch, 0);
428         }
429         if (!TAILQ_EMPTY(&(sch)->sch_bucket))
430                 callout_reset(&(sch)->sch_timer, (sch)->sch_nextc - tick,
431                         syncache_timer, (void *)(sch));
432 }
433
434 /*
435  * Find an entry in the syncache.
436  * Returns always with locked syncache_head plus a matching entry or NULL.
437  */
438 struct syncache *
439 syncache_lookup(struct in_conninfo *inc, struct syncache_head **schp)
440 {
441         struct syncache *sc;
442         struct syncache_head *sch;
443
444 #ifdef INET6
445         if (inc->inc_isipv6) {
446                 sch = &tcp_syncache.hashbase[
447                     SYNCACHE_HASH6(inc, tcp_syncache.hashmask)];
448                 *schp = sch;
449
450                 SCH_LOCK(sch);
451
452                 /* Circle through bucket row to find matching entry. */
453                 TAILQ_FOREACH(sc, &sch->sch_bucket, sc_hash) {
454                         if (ENDPTS6_EQ(&inc->inc_ie, &sc->sc_inc.inc_ie))
455                                 return (sc);
456                 }
457         } else
458 #endif
459         {
460                 sch = &tcp_syncache.hashbase[
461                     SYNCACHE_HASH(inc, tcp_syncache.hashmask)];
462                 *schp = sch;
463
464                 SCH_LOCK(sch);
465
466                 /* Circle through bucket row to find matching entry. */
467                 TAILQ_FOREACH(sc, &sch->sch_bucket, sc_hash) {
468 #ifdef INET6
469                         if (sc->sc_inc.inc_isipv6)
470                                 continue;
471 #endif
472                         if (ENDPTS_EQ(&inc->inc_ie, &sc->sc_inc.inc_ie))
473                                 return (sc);
474                 }
475         }
476         SCH_LOCK_ASSERT(*schp);
477         return (NULL);                  /* always returns with locked sch */
478 }
479
480 /*
481  * This function is called when we get a RST for a
482  * non-existent connection, so that we can see if the
483  * connection is in the syn cache.  If it is, zap it.
484  */
485 void
486 syncache_chkrst(struct in_conninfo *inc, struct tcphdr *th)
487 {
488         struct syncache *sc;
489         struct syncache_head *sch;
490         char *s = NULL;
491
492         sc = syncache_lookup(inc, &sch);        /* returns locked sch */
493         SCH_LOCK_ASSERT(sch);
494
495         /*
496          * Any RST to our SYN|ACK must not carry ACK, SYN or FIN flags.
497          * See RFC 793 page 65, section SEGMENT ARRIVES.
498          */
499         if (th->th_flags & (TH_ACK|TH_SYN|TH_FIN)) {
500                 if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
501                         log(LOG_DEBUG, "%s; %s: Spurious RST with ACK, SYN or "
502                             "FIN flag set, segment ignored\n", s, __func__);
503                 tcpstat.tcps_badrst++;
504                 goto done;
505         }
506
507         /*
508          * No corresponding connection was found in syncache.
509          * If syncookies are enabled and possibly exclusively
510          * used, or we are under memory pressure, a valid RST
511          * may not find a syncache entry.  In that case we're
512          * done and no SYN|ACK retransmissions will happen.
513          * Otherwise the the RST was misdirected or spoofed.
514          */
515         if (sc == NULL) {
516                 if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
517                         log(LOG_DEBUG, "%s; %s: Spurious RST without matching "
518                             "syncache entry (possibly syncookie only), "
519                             "segment ignored\n", s, __func__);
520                 tcpstat.tcps_badrst++;
521                 goto done;
522         }
523
524         /*
525          * If the RST bit is set, check the sequence number to see
526          * if this is a valid reset segment.
527          * RFC 793 page 37:
528          *   In all states except SYN-SENT, all reset (RST) segments
529          *   are validated by checking their SEQ-fields.  A reset is
530          *   valid if its sequence number is in the window.
531          *
532          *   The sequence number in the reset segment is normally an
533          *   echo of our outgoing acknowlegement numbers, but some hosts
534          *   send a reset with the sequence number at the rightmost edge
535          *   of our receive window, and we have to handle this case.
536          */
537         if (SEQ_GEQ(th->th_seq, sc->sc_irs) &&
538             SEQ_LEQ(th->th_seq, sc->sc_irs + sc->sc_wnd)) {
539                 syncache_drop(sc, sch);
540                 if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
541                         log(LOG_DEBUG, "%s; %s: Our SYN|ACK was rejected, "
542                             "connection attempt aborted by remote endpoint\n",
543                             s, __func__);
544                 tcpstat.tcps_sc_reset++;
545         } else if ((s = tcp_log_addrs(inc, th, NULL, NULL))) {
546                 log(LOG_DEBUG, "%s; %s: RST with invalid SEQ %u != IRS %u "
547                     "(+WND %u), segment ignored\n",
548                     s, __func__, th->th_seq, sc->sc_irs, sc->sc_wnd);
549                 tcpstat.tcps_badrst++;
550         }
551
552 done:
553         if (s != NULL)
554                 free(s, M_TCPLOG);
555         SCH_UNLOCK(sch);
556 }
557
558 void
559 syncache_badack(struct in_conninfo *inc)
560 {
561         struct syncache *sc;
562         struct syncache_head *sch;
563
564         sc = syncache_lookup(inc, &sch);        /* returns locked sch */
565         SCH_LOCK_ASSERT(sch);
566         if (sc != NULL) {
567                 syncache_drop(sc, sch);
568                 tcpstat.tcps_sc_badack++;
569         }
570         SCH_UNLOCK(sch);
571 }
572
573 void
574 syncache_unreach(struct in_conninfo *inc, struct tcphdr *th)
575 {
576         struct syncache *sc;
577         struct syncache_head *sch;
578
579         sc = syncache_lookup(inc, &sch);        /* returns locked sch */
580         SCH_LOCK_ASSERT(sch);
581         if (sc == NULL)
582                 goto done;
583
584         /* If the sequence number != sc_iss, then it's a bogus ICMP msg */
585         if (ntohl(th->th_seq) != sc->sc_iss)
586                 goto done;
587
588         /*
589          * If we've rertransmitted 3 times and this is our second error,
590          * we remove the entry.  Otherwise, we allow it to continue on.
591          * This prevents us from incorrectly nuking an entry during a
592          * spurious network outage.
593          *
594          * See tcp_notify().
595          */
596         if ((sc->sc_flags & SCF_UNREACH) == 0 || sc->sc_rxmits < 3 + 1) {
597                 sc->sc_flags |= SCF_UNREACH;
598                 goto done;
599         }
600         syncache_drop(sc, sch);
601         tcpstat.tcps_sc_unreach++;
602 done:
603         SCH_UNLOCK(sch);
604 }
605
606 /*
607  * Build a new TCP socket structure from a syncache entry.
608  */
609 static struct socket *
610 syncache_socket(struct syncache *sc, struct socket *lso, struct mbuf *m)
611 {
612         struct inpcb *inp = NULL;
613         struct socket *so;
614         struct tcpcb *tp;
615         char *s;
616
617         INP_INFO_WLOCK_ASSERT(&tcbinfo);
618
619         /*
620          * Ok, create the full blown connection, and set things up
621          * as they would have been set up if we had created the
622          * connection when the SYN arrived.  If we can't create
623          * the connection, abort it.
624          */
625         so = sonewconn(lso, SS_ISCONNECTED);
626         if (so == NULL) {
627                 /*
628                  * Drop the connection; we will either send a RST or
629                  * have the peer retransmit its SYN again after its
630                  * RTO and try again.
631                  */
632                 tcpstat.tcps_listendrop++;
633                 if ((s = tcp_log_addrs(&sc->sc_inc, NULL, NULL, NULL))) {
634                         log(LOG_DEBUG, "%s; %s: Socket create failed "
635                             "due to limits or memory shortage\n",
636                             s, __func__);
637                         free(s, M_TCPLOG);
638                 }
639                 goto abort2;
640         }
641 #ifdef MAC
642         SOCK_LOCK(so);
643         mac_socketpeer_set_from_mbuf(m, so);
644         SOCK_UNLOCK(so);
645 #endif
646
647         inp = sotoinpcb(so);
648         INP_LOCK(inp);
649
650         /* Insert new socket into PCB hash list. */
651         inp->inp_inc.inc_isipv6 = sc->sc_inc.inc_isipv6;
652 #ifdef INET6
653         if (sc->sc_inc.inc_isipv6) {
654                 inp->in6p_laddr = sc->sc_inc.inc6_laddr;
655         } else {
656                 inp->inp_vflag &= ~INP_IPV6;
657                 inp->inp_vflag |= INP_IPV4;
658 #endif
659                 inp->inp_laddr = sc->sc_inc.inc_laddr;
660 #ifdef INET6
661         }
662 #endif
663         inp->inp_lport = sc->sc_inc.inc_lport;
664         if (in_pcbinshash(inp) != 0) {
665                 /*
666                  * Undo the assignments above if we failed to
667                  * put the PCB on the hash lists.
668                  */
669 #ifdef INET6
670                 if (sc->sc_inc.inc_isipv6)
671                         inp->in6p_laddr = in6addr_any;
672                 else
673 #endif
674                         inp->inp_laddr.s_addr = INADDR_ANY;
675                 inp->inp_lport = 0;
676                 goto abort;
677         }
678 #ifdef IPSEC
679         /* Copy old policy into new socket's. */
680         if (ipsec_copy_policy(sotoinpcb(lso)->inp_sp, inp->inp_sp))
681                 printf("syncache_socket: could not copy policy\n");
682 #endif
683 #ifdef INET6
684         if (sc->sc_inc.inc_isipv6) {
685                 struct inpcb *oinp = sotoinpcb(lso);
686                 struct in6_addr laddr6;
687                 struct sockaddr_in6 sin6;
688                 /*
689                  * Inherit socket options from the listening socket.
690                  * Note that in6p_inputopts are not (and should not be)
691                  * copied, since it stores previously received options and is
692                  * used to detect if each new option is different than the
693                  * previous one and hence should be passed to a user.
694                  * If we copied in6p_inputopts, a user would not be able to
695                  * receive options just after calling the accept system call.
696                  */
697                 inp->inp_flags |= oinp->inp_flags & INP_CONTROLOPTS;
698                 if (oinp->in6p_outputopts)
699                         inp->in6p_outputopts =
700                             ip6_copypktopts(oinp->in6p_outputopts, M_NOWAIT);
701
702                 sin6.sin6_family = AF_INET6;
703                 sin6.sin6_len = sizeof(sin6);
704                 sin6.sin6_addr = sc->sc_inc.inc6_faddr;
705                 sin6.sin6_port = sc->sc_inc.inc_fport;
706                 sin6.sin6_flowinfo = sin6.sin6_scope_id = 0;
707                 laddr6 = inp->in6p_laddr;
708                 if (IN6_IS_ADDR_UNSPECIFIED(&inp->in6p_laddr))
709                         inp->in6p_laddr = sc->sc_inc.inc6_laddr;
710                 if (in6_pcbconnect(inp, (struct sockaddr *)&sin6,
711                     thread0.td_ucred)) {
712                         inp->in6p_laddr = laddr6;
713                         goto abort;
714                 }
715                 /* Override flowlabel from in6_pcbconnect. */
716                 inp->in6p_flowinfo &= ~IPV6_FLOWLABEL_MASK;
717                 inp->in6p_flowinfo |= sc->sc_flowlabel;
718         } else
719 #endif
720         {
721                 struct in_addr laddr;
722                 struct sockaddr_in sin;
723
724                 inp->inp_options = ip_srcroute(m);
725                 if (inp->inp_options == NULL) {
726                         inp->inp_options = sc->sc_ipopts;
727                         sc->sc_ipopts = NULL;
728                 }
729
730                 sin.sin_family = AF_INET;
731                 sin.sin_len = sizeof(sin);
732                 sin.sin_addr = sc->sc_inc.inc_faddr;
733                 sin.sin_port = sc->sc_inc.inc_fport;
734                 bzero((caddr_t)sin.sin_zero, sizeof(sin.sin_zero));
735                 laddr = inp->inp_laddr;
736                 if (inp->inp_laddr.s_addr == INADDR_ANY)
737                         inp->inp_laddr = sc->sc_inc.inc_laddr;
738                 if (in_pcbconnect(inp, (struct sockaddr *)&sin,
739                     thread0.td_ucred)) {
740                         inp->inp_laddr = laddr;
741                         goto abort;
742                 }
743         }
744         tp = intotcpcb(inp);
745         tp->t_state = TCPS_SYN_RECEIVED;
746         tp->iss = sc->sc_iss;
747         tp->irs = sc->sc_irs;
748         tcp_rcvseqinit(tp);
749         tcp_sendseqinit(tp);
750         tp->snd_wl1 = sc->sc_irs;
751         tp->snd_max = tp->iss + 1;
752         tp->snd_nxt = tp->iss + 1;
753         tp->rcv_up = sc->sc_irs + 1;
754         tp->rcv_wnd = sc->sc_wnd;
755         tp->rcv_adv += tp->rcv_wnd;
756         tp->last_ack_sent = tp->rcv_nxt;
757
758         tp->t_flags = sototcpcb(lso)->t_flags & (TF_NOPUSH|TF_NODELAY);
759         if (sc->sc_flags & SCF_NOOPT)
760                 tp->t_flags |= TF_NOOPT;
761         else {
762                 if (sc->sc_flags & SCF_WINSCALE) {
763                         tp->t_flags |= TF_REQ_SCALE|TF_RCVD_SCALE;
764                         tp->snd_scale = sc->sc_requested_s_scale;
765                         tp->request_r_scale = sc->sc_requested_r_scale;
766                 }
767                 if (sc->sc_flags & SCF_TIMESTAMP) {
768                         tp->t_flags |= TF_REQ_TSTMP|TF_RCVD_TSTMP;
769                         tp->ts_recent = sc->sc_tsreflect;
770                         tp->ts_recent_age = ticks;
771                         tp->ts_offset = sc->sc_tsoff;
772                 }
773 #ifdef TCP_SIGNATURE
774                 if (sc->sc_flags & SCF_SIGNATURE)
775                         tp->t_flags |= TF_SIGNATURE;
776 #endif
777                 if (sc->sc_flags & SCF_SACK)
778                         tp->t_flags |= TF_SACK_PERMIT;
779         }
780
781         /*
782          * Set up MSS and get cached values from tcp_hostcache.
783          * This might overwrite some of the defaults we just set.
784          */
785         tcp_mss(tp, sc->sc_peer_mss);
786
787         /*
788          * If the SYN,ACK was retransmitted, reset cwnd to 1 segment.
789          */
790         if (sc->sc_rxmits)
791                 tp->snd_cwnd = tp->t_maxseg;
792         tcp_timer_activate(tp, TT_KEEP, tcp_keepinit);
793
794         INP_UNLOCK(inp);
795
796         tcpstat.tcps_accepts++;
797         return (so);
798
799 abort:
800         INP_UNLOCK(inp);
801 abort2:
802         if (so != NULL)
803                 soabort(so);
804         return (NULL);
805 }
806
807 /*
808  * This function gets called when we receive an ACK for a
809  * socket in the LISTEN state.  We look up the connection
810  * in the syncache, and if its there, we pull it out of
811  * the cache and turn it into a full-blown connection in
812  * the SYN-RECEIVED state.
813  */
814 int
815 syncache_expand(struct in_conninfo *inc, struct tcpopt *to, struct tcphdr *th,
816     struct socket **lsop, struct mbuf *m)
817 {
818         struct syncache *sc;
819         struct syncache_head *sch;
820         struct syncache scs;
821         char *s;
822
823         /*
824          * Global TCP locks are held because we manipulate the PCB lists
825          * and create a new socket.
826          */
827         INP_INFO_WLOCK_ASSERT(&tcbinfo);
828         KASSERT((th->th_flags & (TH_RST|TH_ACK|TH_SYN)) == TH_ACK,
829             ("%s: can handle only ACK", __func__));
830
831         sc = syncache_lookup(inc, &sch);        /* returns locked sch */
832         SCH_LOCK_ASSERT(sch);
833         if (sc == NULL) {
834                 /*
835                  * There is no syncache entry, so see if this ACK is
836                  * a returning syncookie.  To do this, first:
837                  *  A. See if this socket has had a syncache entry dropped in
838                  *     the past.  We don't want to accept a bogus syncookie
839                  *     if we've never received a SYN.
840                  *  B. check that the syncookie is valid.  If it is, then
841                  *     cobble up a fake syncache entry, and return.
842                  */
843                 if (!tcp_syncookies) {
844                         SCH_UNLOCK(sch);
845                         if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
846                                 log(LOG_DEBUG, "%s; %s: Spurious ACK, "
847                                     "segment rejected (syncookies disabled)\n",
848                                     s, __func__);
849                         goto failed;
850                 }
851                 bzero(&scs, sizeof(scs));
852                 sc = syncookie_lookup(inc, sch, &scs, to, th, *lsop);
853                 SCH_UNLOCK(sch);
854                 if (sc == NULL) {
855                         if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
856                                 log(LOG_DEBUG, "%s; %s: Segment failed "
857                                     "SYNCOOKIE authentication, segment rejected "
858                                     "(probably spoofed)\n", s, __func__);
859                         goto failed;
860                 }
861         } else {
862                 /* Pull out the entry to unlock the bucket row. */
863                 TAILQ_REMOVE(&sch->sch_bucket, sc, sc_hash);
864                 sch->sch_length--;
865                 tcp_syncache.cache_count--;
866                 SCH_UNLOCK(sch);
867         }
868
869         /*
870          * Segment validation:
871          * ACK must match our initial sequence number + 1 (the SYN|ACK).
872          */
873         if (th->th_ack != sc->sc_iss + 1) {
874                 if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
875                         log(LOG_DEBUG, "%s; %s: ACK %u != ISS+1 %u, segment "
876                             "rejected\n", s, __func__, th->th_ack, sc->sc_iss);
877                 goto failed;
878         }
879         /*
880          * The SEQ must match the received initial receive sequence
881          * number + 1 (the SYN) because we didn't ACK any data that
882          * may have come with the SYN.
883          */
884         if (th->th_seq != sc->sc_irs + 1) {
885                 if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
886                         log(LOG_DEBUG, "%s; %s: SEQ %u != IRS+1 %u, segment "
887                             "rejected\n", s, __func__, th->th_seq, sc->sc_irs);
888                 goto failed;
889         }
890 #if 0
891         /*
892          * If timestamps were present in the SYN and we accepted
893          * them in our SYN|ACK we require them to be present from
894          * now on.  And vice versa.
895          *
896          * Unfortunately, during testing of 7.0 some users found
897          * network devices that violate this constraint, so it must
898          * be disabled.
899          */
900         if ((sc->sc_flags & SCF_TIMESTAMP) && !(to->to_flags & TOF_TS)) {
901                 if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
902                         log(LOG_DEBUG, "%s; %s: Timestamp missing, "
903                             "segment rejected\n", s, __func__);
904                 goto failed;
905         }
906 #endif
907         if (!(sc->sc_flags & SCF_TIMESTAMP) && (to->to_flags & TOF_TS)) {
908                 if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
909                         log(LOG_DEBUG, "%s; %s: Timestamp not expected, "
910                             "segment rejected\n", s, __func__);
911                 goto failed;
912         }
913         /*
914          * If timestamps were negotiated the reflected timestamp
915          * must be equal to what we actually sent in the SYN|ACK.
916          */
917         if ((to->to_flags & TOF_TS) && to->to_tsecr != sc->sc_ts) {
918                 if ((s = tcp_log_addrs(inc, th, NULL, NULL)))
919                         log(LOG_DEBUG, "%s; %s: TSECR %u != TS %u, "
920                             "segment rejected\n",
921                             s, __func__, to->to_tsecr, sc->sc_ts);
922                 goto failed;
923         }
924
925         *lsop = syncache_socket(sc, *lsop, m);
926
927         if (*lsop == NULL)
928                 tcpstat.tcps_sc_aborted++;
929         else
930                 tcpstat.tcps_sc_completed++;
931
932         if (sc != &scs)
933                 syncache_free(sc);
934         return (1);
935 failed:
936         if (sc != NULL && sc != &scs)
937                 syncache_free(sc);
938         if (s != NULL)
939                 free(s, M_TCPLOG);
940         *lsop = NULL;
941         return (0);
942 }
943
944 /*
945  * Given a LISTEN socket and an inbound SYN request, add
946  * this to the syn cache, and send back a segment:
947  *      <SEQ=ISS><ACK=RCV_NXT><CTL=SYN,ACK>
948  * to the source.
949  *
950  * IMPORTANT NOTE: We do _NOT_ ACK data that might accompany the SYN.
951  * Doing so would require that we hold onto the data and deliver it
952  * to the application.  However, if we are the target of a SYN-flood
953  * DoS attack, an attacker could send data which would eventually
954  * consume all available buffer space if it were ACKed.  By not ACKing
955  * the data, we avoid this DoS scenario.
956  */
957 void
958 syncache_add(struct in_conninfo *inc, struct tcpopt *to, struct tcphdr *th,
959     struct inpcb *inp, struct socket **lsop, struct mbuf *m)
960 {
961         struct tcpcb *tp;
962         struct socket *so;
963         struct syncache *sc = NULL;
964         struct syncache_head *sch;
965         struct mbuf *ipopts = NULL;
966         u_int32_t flowtmp;
967         int win, sb_hiwat, ip_ttl, ip_tos, noopt;
968         char *s;
969 #ifdef INET6
970         int autoflowlabel = 0;
971 #endif
972 #ifdef MAC
973         struct label *maclabel;
974 #endif
975         struct syncache scs;
976
977         INP_INFO_WLOCK_ASSERT(&tcbinfo);
978         INP_LOCK_ASSERT(inp);                   /* listen socket */
979         KASSERT((th->th_flags & (TH_RST|TH_ACK|TH_SYN)) == TH_SYN,
980             ("%s: unexpected tcp flags", __func__));
981
982         /*
983          * Combine all so/tp operations very early to drop the INP lock as
984          * soon as possible.
985          */
986         so = *lsop;
987         tp = sototcpcb(so);
988
989 #ifdef INET6
990         if (inc->inc_isipv6 &&
991             (inp->in6p_flags & IN6P_AUTOFLOWLABEL))
992                 autoflowlabel = 1;
993 #endif
994         ip_ttl = inp->inp_ip_ttl;
995         ip_tos = inp->inp_ip_tos;
996         win = sbspace(&so->so_rcv);
997         sb_hiwat = so->so_rcv.sb_hiwat;
998         noopt = (tp->t_flags & TF_NOOPT);
999
1000         so = NULL;
1001         tp = NULL;
1002
1003 #ifdef MAC
1004         if (mac_syncache_init(&maclabel) != 0) {
1005                 INP_UNLOCK(inp);
1006                 INP_INFO_WUNLOCK(&tcbinfo);
1007                 goto done;
1008         } else
1009                 mac_syncache_create(maclabel, inp);
1010 #endif
1011         INP_UNLOCK(inp);
1012         INP_INFO_WUNLOCK(&tcbinfo);
1013
1014         /*
1015          * Remember the IP options, if any.
1016          */
1017 #ifdef INET6
1018         if (!inc->inc_isipv6)
1019 #endif
1020                 ipopts = ip_srcroute(m);
1021
1022         /*
1023          * See if we already have an entry for this connection.
1024          * If we do, resend the SYN,ACK, and reset the retransmit timer.
1025          *
1026          * XXX: should the syncache be re-initialized with the contents
1027          * of the new SYN here (which may have different options?)
1028          *
1029          * XXX: We do not check the sequence number to see if this is a
1030          * real retransmit or a new connection attempt.  The question is
1031          * how to handle such a case; either ignore it as spoofed, or
1032          * drop the current entry and create a new one?
1033          */
1034         sc = syncache_lookup(inc, &sch);        /* returns locked entry */
1035         SCH_LOCK_ASSERT(sch);
1036         if (sc != NULL) {
1037                 tcpstat.tcps_sc_dupsyn++;
1038                 if (ipopts) {
1039                         /*
1040                          * If we were remembering a previous source route,
1041                          * forget it and use the new one we've been given.
1042                          */
1043                         if (sc->sc_ipopts)
1044                                 (void) m_free(sc->sc_ipopts);
1045                         sc->sc_ipopts = ipopts;
1046                 }
1047                 /*
1048                  * Update timestamp if present.
1049                  */
1050                 if ((sc->sc_flags & SCF_TIMESTAMP) && (to->to_flags & TOF_TS))
1051                         sc->sc_tsreflect = to->to_tsval;
1052                 else
1053                         sc->sc_flags &= ~SCF_TIMESTAMP;
1054 #ifdef MAC
1055                 /*
1056                  * Since we have already unconditionally allocated label
1057                  * storage, free it up.  The syncache entry will already
1058                  * have an initialized label we can use.
1059                  */
1060                 mac_syncache_destroy(&maclabel);
1061                 KASSERT(sc->sc_label != NULL,
1062                     ("%s: label not initialized", __func__));
1063 #endif
1064                 /* Retransmit SYN|ACK and reset retransmit count. */
1065                 if ((s = tcp_log_addrs(&sc->sc_inc, th, NULL, NULL))) {
1066                         log(LOG_DEBUG, "%s; %s: Received duplicate SYN, "
1067                             "resetting timer and retransmitting SYN|ACK\n",
1068                             s, __func__);
1069                         free(s, M_TCPLOG);
1070                 }
1071                 if (syncache_respond(sc) == 0) {
1072                         sc->sc_rxmits = 0;
1073                         syncache_timeout(sc, sch, 1);
1074                         tcpstat.tcps_sndacks++;
1075                         tcpstat.tcps_sndtotal++;
1076                 }
1077                 SCH_UNLOCK(sch);
1078                 goto done;
1079         }
1080
1081         sc = uma_zalloc(tcp_syncache.zone, M_NOWAIT | M_ZERO);
1082         if (sc == NULL) {
1083                 /*
1084                  * The zone allocator couldn't provide more entries.
1085                  * Treat this as if the cache was full; drop the oldest
1086                  * entry and insert the new one.
1087                  */
1088                 tcpstat.tcps_sc_zonefail++;
1089                 if ((sc = TAILQ_LAST(&sch->sch_bucket, sch_head)) != NULL)
1090                         syncache_drop(sc, sch);
1091                 sc = uma_zalloc(tcp_syncache.zone, M_NOWAIT | M_ZERO);
1092                 if (sc == NULL) {
1093                         if (tcp_syncookies) {
1094                                 bzero(&scs, sizeof(scs));
1095                                 sc = &scs;
1096                         } else {
1097                                 SCH_UNLOCK(sch);
1098                                 if (ipopts)
1099                                         (void) m_free(ipopts);
1100                                 goto done;
1101                         }
1102                 }
1103         }
1104
1105         /*
1106          * Fill in the syncache values.
1107          */
1108 #ifdef MAC
1109         sc->sc_label = maclabel;
1110 #endif
1111         sc->sc_ipopts = ipopts;
1112         bcopy(inc, &sc->sc_inc, sizeof(struct in_conninfo));
1113 #ifdef INET6
1114         if (!inc->inc_isipv6)
1115 #endif
1116         {
1117                 sc->sc_ip_tos = ip_tos;
1118                 sc->sc_ip_ttl = ip_ttl;
1119         }
1120
1121         sc->sc_irs = th->th_seq;
1122         sc->sc_iss = arc4random();
1123         sc->sc_flags = 0;
1124         sc->sc_flowlabel = 0;
1125
1126         /*
1127          * Initial receive window: clip sbspace to [0 .. TCP_MAXWIN].
1128          * win was derived from socket earlier in the function.
1129          */
1130         win = imax(win, 0);
1131         win = imin(win, TCP_MAXWIN);
1132         sc->sc_wnd = win;
1133
1134         if (tcp_do_rfc1323) {
1135                 /*
1136                  * A timestamp received in a SYN makes
1137                  * it ok to send timestamp requests and replies.
1138                  */
1139                 if (to->to_flags & TOF_TS) {
1140                         sc->sc_tsreflect = to->to_tsval;
1141                         sc->sc_ts = ticks;
1142                         sc->sc_flags |= SCF_TIMESTAMP;
1143                 }
1144                 if (to->to_flags & TOF_SCALE) {
1145                         int wscale = 0;
1146
1147                         /*
1148                          * Pick the smallest possible scaling factor that
1149                          * will still allow us to scale up to sb_max, aka
1150                          * kern.ipc.maxsockbuf.
1151                          *
1152                          * We do this because there are broken firewalls that
1153                          * will corrupt the window scale option, leading to
1154                          * the other endpoint believing that our advertised
1155                          * window is unscaled.  At scale factors larger than
1156                          * 5 the unscaled window will drop below 1500 bytes,
1157                          * leading to serious problems when traversing these
1158                          * broken firewalls.
1159                          *
1160                          * With the default maxsockbuf of 256K, a scale factor
1161                          * of 3 will be chosen by this algorithm.  Those who
1162                          * choose a larger maxsockbuf should watch out
1163                          * for the compatiblity problems mentioned above.
1164                          *
1165                          * RFC1323: The Window field in a SYN (i.e., a <SYN>
1166                          * or <SYN,ACK>) segment itself is never scaled.
1167                          */
1168                         while (wscale < TCP_MAX_WINSHIFT &&
1169                             (TCP_MAXWIN << wscale) < sb_max)
1170                                 wscale++;
1171                         sc->sc_requested_r_scale = wscale;
1172                         sc->sc_requested_s_scale = to->to_wscale;
1173                         sc->sc_flags |= SCF_WINSCALE;
1174                 }
1175         }
1176 #ifdef TCP_SIGNATURE
1177         /*
1178          * If listening socket requested TCP digests, and received SYN
1179          * contains the option, flag this in the syncache so that
1180          * syncache_respond() will do the right thing with the SYN+ACK.
1181          * XXX: Currently we always record the option by default and will
1182          * attempt to use it in syncache_respond().
1183          */
1184         if (to->to_flags & TOF_SIGNATURE)
1185                 sc->sc_flags |= SCF_SIGNATURE;
1186 #endif
1187         if (to->to_flags & TOF_SACKPERM)
1188                 sc->sc_flags |= SCF_SACK;
1189         if (to->to_flags & TOF_MSS)
1190                 sc->sc_peer_mss = to->to_mss;   /* peer mss may be zero */
1191         if (noopt)
1192                 sc->sc_flags |= SCF_NOOPT;
1193
1194         if (tcp_syncookies) {
1195                 syncookie_generate(sch, sc, &flowtmp);
1196 #ifdef INET6
1197                 if (autoflowlabel)
1198                         sc->sc_flowlabel = flowtmp;
1199 #endif
1200         } else {
1201 #ifdef INET6
1202                 if (autoflowlabel)
1203                         sc->sc_flowlabel =
1204                             (htonl(ip6_randomflowlabel()) & IPV6_FLOWLABEL_MASK);
1205 #endif
1206         }
1207         SCH_UNLOCK(sch);
1208
1209         /*
1210          * Do a standard 3-way handshake.
1211          */
1212         if (syncache_respond(sc) == 0) {
1213                 if (tcp_syncookies && tcp_syncookiesonly && sc != &scs)
1214                         syncache_free(sc);
1215                 else if (sc != &scs)
1216                         syncache_insert(sc, sch);   /* locks and unlocks sch */
1217                 tcpstat.tcps_sndacks++;
1218                 tcpstat.tcps_sndtotal++;
1219         } else {
1220                 if (sc != &scs)
1221                         syncache_free(sc);
1222                 tcpstat.tcps_sc_dropped++;
1223         }
1224
1225 done:
1226 #ifdef MAC
1227         if (sc == &scs)
1228                 mac_syncache_destroy(&maclabel);
1229 #endif
1230         *lsop = NULL;
1231         m_freem(m);
1232         return;
1233 }
1234
1235 static int
1236 syncache_respond(struct syncache *sc)
1237 {
1238         struct ip *ip = NULL;
1239         struct mbuf *m;
1240         struct tcphdr *th;
1241         int optlen, error;
1242         u_int16_t hlen, tlen, mssopt;
1243         struct tcpopt to;
1244 #ifdef INET6
1245         struct ip6_hdr *ip6 = NULL;
1246 #endif
1247
1248         hlen =
1249 #ifdef INET6
1250                (sc->sc_inc.inc_isipv6) ? sizeof(struct ip6_hdr) :
1251 #endif
1252                 sizeof(struct ip);
1253         tlen = hlen + sizeof(struct tcphdr);
1254
1255         /* Determine MSS we advertize to other end of connection. */
1256         mssopt = tcp_mssopt(&sc->sc_inc);
1257         if (sc->sc_peer_mss)
1258                 mssopt = max( min(sc->sc_peer_mss, mssopt), tcp_minmss);
1259
1260         /* XXX: Assume that the entire packet will fit in a header mbuf. */
1261         KASSERT(max_linkhdr + tlen + TCP_MAXOLEN <= MHLEN,
1262             ("syncache: mbuf too small"));
1263
1264         /* Create the IP+TCP header from scratch. */
1265         m = m_gethdr(M_DONTWAIT, MT_DATA);
1266         if (m == NULL)
1267                 return (ENOBUFS);
1268 #ifdef MAC
1269         mac_syncache_create_mbuf(sc->sc_label, m);
1270 #endif
1271         m->m_data += max_linkhdr;
1272         m->m_len = tlen;
1273         m->m_pkthdr.len = tlen;
1274         m->m_pkthdr.rcvif = NULL;
1275
1276 #ifdef INET6
1277         if (sc->sc_inc.inc_isipv6) {
1278                 ip6 = mtod(m, struct ip6_hdr *);
1279                 ip6->ip6_vfc = IPV6_VERSION;
1280                 ip6->ip6_nxt = IPPROTO_TCP;
1281                 ip6->ip6_src = sc->sc_inc.inc6_laddr;
1282                 ip6->ip6_dst = sc->sc_inc.inc6_faddr;
1283                 ip6->ip6_plen = htons(tlen - hlen);
1284                 /* ip6_hlim is set after checksum */
1285                 ip6->ip6_flow &= ~IPV6_FLOWLABEL_MASK;
1286                 ip6->ip6_flow |= sc->sc_flowlabel;
1287
1288                 th = (struct tcphdr *)(ip6 + 1);
1289         } else
1290 #endif
1291         {
1292                 ip = mtod(m, struct ip *);
1293                 ip->ip_v = IPVERSION;
1294                 ip->ip_hl = sizeof(struct ip) >> 2;
1295                 ip->ip_len = tlen;
1296                 ip->ip_id = 0;
1297                 ip->ip_off = 0;
1298                 ip->ip_sum = 0;
1299                 ip->ip_p = IPPROTO_TCP;
1300                 ip->ip_src = sc->sc_inc.inc_laddr;
1301                 ip->ip_dst = sc->sc_inc.inc_faddr;
1302                 ip->ip_ttl = sc->sc_ip_ttl;
1303                 ip->ip_tos = sc->sc_ip_tos;
1304
1305                 /*
1306                  * See if we should do MTU discovery.  Route lookups are
1307                  * expensive, so we will only unset the DF bit if:
1308                  *
1309                  *      1) path_mtu_discovery is disabled
1310                  *      2) the SCF_UNREACH flag has been set
1311                  */
1312                 if (path_mtu_discovery && ((sc->sc_flags & SCF_UNREACH) == 0))
1313                        ip->ip_off |= IP_DF;
1314
1315                 th = (struct tcphdr *)(ip + 1);
1316         }
1317         th->th_sport = sc->sc_inc.inc_lport;
1318         th->th_dport = sc->sc_inc.inc_fport;
1319
1320         th->th_seq = htonl(sc->sc_iss);
1321         th->th_ack = htonl(sc->sc_irs + 1);
1322         th->th_off = sizeof(struct tcphdr) >> 2;
1323         th->th_x2 = 0;
1324         th->th_flags = TH_SYN|TH_ACK;
1325         th->th_win = htons(sc->sc_wnd);
1326         th->th_urp = 0;
1327
1328         /* Tack on the TCP options. */
1329         if ((sc->sc_flags & SCF_NOOPT) == 0) {
1330                 to.to_flags = 0;
1331
1332                 to.to_mss = mssopt;
1333                 to.to_flags = TOF_MSS;
1334                 if (sc->sc_flags & SCF_WINSCALE) {
1335                         to.to_wscale = sc->sc_requested_r_scale;
1336                         to.to_flags |= TOF_SCALE;
1337                 }
1338                 if (sc->sc_flags & SCF_TIMESTAMP) {
1339                         /* Virgin timestamp or TCP cookie enhanced one. */
1340                         to.to_tsval = sc->sc_ts;
1341                         to.to_tsecr = sc->sc_tsreflect;
1342                         to.to_flags |= TOF_TS;
1343                 }
1344                 if (sc->sc_flags & SCF_SACK)
1345                         to.to_flags |= TOF_SACKPERM;
1346 #ifdef TCP_SIGNATURE
1347                 if (sc->sc_flags & SCF_SIGNATURE)
1348                         to.to_flags |= TOF_SIGNATURE;
1349 #endif
1350                 optlen = tcp_addoptions(&to, (u_char *)(th + 1));
1351
1352                 /* Adjust headers by option size. */
1353                 th->th_off = (sizeof(struct tcphdr) + optlen) >> 2;
1354                 m->m_len += optlen;
1355                 m->m_pkthdr.len += optlen;
1356
1357 #ifdef TCP_SIGNATURE
1358                 if (sc->sc_flags & SCF_SIGNATURE)
1359                         tcp_signature_compute(m, sizeof(struct ip), 0, optlen,
1360                             to.to_signature, IPSEC_DIR_OUTBOUND);
1361 #endif
1362 #ifdef INET6
1363                 if (sc->sc_inc.inc_isipv6)
1364                         ip6->ip6_plen = htons(ntohs(ip6->ip6_plen) + optlen);
1365                 else
1366 #endif
1367                         ip->ip_len += optlen;
1368         } else
1369                 optlen = 0;
1370
1371 #ifdef INET6
1372         if (sc->sc_inc.inc_isipv6) {
1373                 th->th_sum = 0;
1374                 th->th_sum = in6_cksum(m, IPPROTO_TCP, hlen,
1375                                        tlen + optlen - hlen);
1376                 ip6->ip6_hlim = in6_selecthlim(NULL, NULL);
1377                 error = ip6_output(m, NULL, NULL, 0, NULL, NULL, NULL);
1378         } else
1379 #endif
1380         {
1381                 th->th_sum = in_pseudo(ip->ip_src.s_addr, ip->ip_dst.s_addr,
1382                     htons(tlen + optlen - hlen + IPPROTO_TCP));
1383                 m->m_pkthdr.csum_flags = CSUM_TCP;
1384                 m->m_pkthdr.csum_data = offsetof(struct tcphdr, th_sum);
1385                 error = ip_output(m, sc->sc_ipopts, NULL, 0, NULL, NULL);
1386         }
1387         return (error);
1388 }
1389
1390 /*
1391  * The purpose of SYN cookies is to avoid keeping track of all SYN's we
1392  * receive and to be able to handle SYN floods from bogus source addresses
1393  * (where we will never receive any reply).  SYN floods try to exhaust all
1394  * our memory and available slots in the SYN cache table to cause a denial
1395  * of service to legitimate users of the local host.
1396  *
1397  * The idea of SYN cookies is to encode and include all necessary information
1398  * about the connection setup state within the SYN-ACK we send back and thus
1399  * to get along without keeping any local state until the ACK to the SYN-ACK
1400  * arrives (if ever).  Everything we need to know should be available from
1401  * the information we encoded in the SYN-ACK.
1402  *
1403  * More information about the theory behind SYN cookies and its first
1404  * discussion and specification can be found at:
1405  *  http://cr.yp.to/syncookies.html    (overview)
1406  *  http://cr.yp.to/syncookies/archive (gory details)
1407  *
1408  * This implementation extends the orginal idea and first implementation
1409  * of FreeBSD by using not only the initial sequence number field to store
1410  * information but also the timestamp field if present.  This way we can
1411  * keep track of the entire state we need to know to recreate the session in
1412  * its original form.  Almost all TCP speakers implement RFC1323 timestamps
1413  * these days.  For those that do not we still have to live with the known
1414  * shortcomings of the ISN only SYN cookies.
1415  *
1416  * Cookie layers:
1417  *
1418  * Initial sequence number we send:
1419  * 31|................................|0
1420  *    DDDDDDDDDDDDDDDDDDDDDDDDDMMMRRRP
1421  *    D = MD5 Digest (first dword)
1422  *    M = MSS index
1423  *    R = Rotation of secret
1424  *    P = Odd or Even secret
1425  *
1426  * The MD5 Digest is computed with over following parameters:
1427  *  a) randomly rotated secret
1428  *  b) struct in_conninfo containing the remote/local ip/port (IPv4&IPv6)
1429  *  c) the received initial sequence number from remote host
1430  *  d) the rotation offset and odd/even bit
1431  *
1432  * Timestamp we send:
1433  * 31|................................|0
1434  *    DDDDDDDDDDDDDDDDDDDDDDSSSSRRRRA5
1435  *    D = MD5 Digest (third dword) (only as filler)
1436  *    S = Requested send window scale
1437  *    R = Requested receive window scale
1438  *    A = SACK allowed
1439  *    5 = TCP-MD5 enabled (not implemented yet)
1440  *    XORed with MD5 Digest (forth dword)
1441  *
1442  * The timestamp isn't cryptographically secure and doesn't need to be.
1443  * The double use of the MD5 digest dwords ties it to a specific remote/
1444  * local host/port, remote initial sequence number and our local time
1445  * limited secret.  A received timestamp is reverted (XORed) and then
1446  * the contained MD5 dword is compared to the computed one to ensure the
1447  * timestamp belongs to the SYN-ACK we sent.  The other parameters may
1448  * have been tampered with but this isn't different from supplying bogus
1449  * values in the SYN in the first place.
1450  *
1451  * Some problems with SYN cookies remain however:
1452  * Consider the problem of a recreated (and retransmitted) cookie.  If the
1453  * original SYN was accepted, the connection is established.  The second
1454  * SYN is inflight, and if it arrives with an ISN that falls within the
1455  * receive window, the connection is killed.
1456  *
1457  * Notes:
1458  * A heuristic to determine when to accept syn cookies is not necessary.
1459  * An ACK flood would cause the syncookie verification to be attempted,
1460  * but a SYN flood causes syncookies to be generated.  Both are of equal
1461  * cost, so there's no point in trying to optimize the ACK flood case.
1462  * Also, if you don't process certain ACKs for some reason, then all someone
1463  * would have to do is launch a SYN and ACK flood at the same time, which
1464  * would stop cookie verification and defeat the entire purpose of syncookies.
1465  */
1466 static int tcp_sc_msstab[] = { 0, 256, 468, 536, 996, 1452, 1460, 8960 };
1467
1468 static void
1469 syncookie_generate(struct syncache_head *sch, struct syncache *sc,
1470     u_int32_t *flowlabel)
1471 {
1472         MD5_CTX ctx;
1473         u_int32_t md5_buffer[MD5_DIGEST_LENGTH / sizeof(u_int32_t)];
1474         u_int32_t data;
1475         u_int32_t *secbits;
1476         u_int off, pmss, mss;
1477         int i;
1478
1479         SCH_LOCK_ASSERT(sch);
1480
1481         /* Which of the two secrets to use. */
1482         secbits = sch->sch_oddeven ?
1483                         sch->sch_secbits_odd : sch->sch_secbits_even;
1484
1485         /* Reseed secret if too old. */
1486         if (sch->sch_reseed < time_uptime) {
1487                 sch->sch_oddeven = sch->sch_oddeven ? 0 : 1;    /* toggle */
1488                 secbits = sch->sch_oddeven ?
1489                                 sch->sch_secbits_odd : sch->sch_secbits_even;
1490                 for (i = 0; i < SYNCOOKIE_SECRET_SIZE; i++)
1491                         secbits[i] = arc4random();
1492                 sch->sch_reseed = time_uptime + SYNCOOKIE_LIFETIME;
1493         }
1494
1495         /* Secret rotation offset. */
1496         off = sc->sc_iss & 0x7;                 /* iss was randomized before */
1497
1498         /* Maximum segment size calculation. */
1499         pmss = max( min(sc->sc_peer_mss, tcp_mssopt(&sc->sc_inc)), tcp_minmss);
1500         for (mss = sizeof(tcp_sc_msstab) / sizeof(int) - 1; mss > 0; mss--)
1501                 if (tcp_sc_msstab[mss] <= pmss)
1502                         break;
1503
1504         /* Fold parameters and MD5 digest into the ISN we will send. */
1505         data = sch->sch_oddeven;/* odd or even secret, 1 bit */
1506         data |= off << 1;       /* secret offset, derived from iss, 3 bits */
1507         data |= mss << 4;       /* mss, 3 bits */
1508
1509         MD5Init(&ctx);
1510         MD5Update(&ctx, ((u_int8_t *)secbits) + off,
1511             SYNCOOKIE_SECRET_SIZE * sizeof(*secbits) - off);
1512         MD5Update(&ctx, secbits, off);
1513         MD5Update(&ctx, &sc->sc_inc, sizeof(sc->sc_inc));
1514         MD5Update(&ctx, &sc->sc_irs, sizeof(sc->sc_irs));
1515         MD5Update(&ctx, &data, sizeof(data));
1516         MD5Final((u_int8_t *)&md5_buffer, &ctx);
1517
1518         data |= (md5_buffer[0] << 7);
1519         sc->sc_iss = data;
1520
1521 #ifdef INET6
1522         *flowlabel = md5_buffer[1] & IPV6_FLOWLABEL_MASK;
1523 #endif
1524
1525         /* Additional parameters are stored in the timestamp if present. */
1526         if (sc->sc_flags & SCF_TIMESTAMP) {
1527                 data =  ((sc->sc_flags & SCF_SIGNATURE) ? 1 : 0); /* TCP-MD5, 1 bit */
1528                 data |= ((sc->sc_flags & SCF_SACK) ? 1 : 0) << 1; /* SACK, 1 bit */
1529                 data |= sc->sc_requested_s_scale << 2;  /* SWIN scale, 4 bits */
1530                 data |= sc->sc_requested_r_scale << 6;  /* RWIN scale, 4 bits */
1531                 data |= md5_buffer[2] << 10;            /* more digest bits */
1532                 data ^= md5_buffer[3];
1533                 sc->sc_ts = data;
1534                 sc->sc_tsoff = data - ticks;            /* after XOR */
1535         }
1536
1537         tcpstat.tcps_sc_sendcookie++;
1538         return;
1539 }
1540
1541 static struct syncache *
1542 syncookie_lookup(struct in_conninfo *inc, struct syncache_head *sch, 
1543     struct syncache *sc, struct tcpopt *to, struct tcphdr *th,
1544     struct socket *so)
1545 {
1546         MD5_CTX ctx;
1547         u_int32_t md5_buffer[MD5_DIGEST_LENGTH / sizeof(u_int32_t)];
1548         u_int32_t data = 0;
1549         u_int32_t *secbits;
1550         tcp_seq ack, seq;
1551         int off, mss, wnd, flags;
1552
1553         SCH_LOCK_ASSERT(sch);
1554
1555         /*
1556          * Pull information out of SYN-ACK/ACK and
1557          * revert sequence number advances.
1558          */
1559         ack = th->th_ack - 1;
1560         seq = th->th_seq - 1;
1561         off = (ack >> 1) & 0x7;
1562         mss = (ack >> 4) & 0x7;
1563         flags = ack & 0x7f;
1564
1565         /* Which of the two secrets to use. */
1566         secbits = (flags & 0x1) ? sch->sch_secbits_odd : sch->sch_secbits_even;
1567
1568         /*
1569          * The secret wasn't updated for the lifetime of a syncookie,
1570          * so this SYN-ACK/ACK is either too old (replay) or totally bogus.
1571          */
1572         if (sch->sch_reseed < time_uptime) {
1573                 return (NULL);
1574         }
1575
1576         /* Recompute the digest so we can compare it. */
1577         MD5Init(&ctx);
1578         MD5Update(&ctx, ((u_int8_t *)secbits) + off,
1579             SYNCOOKIE_SECRET_SIZE * sizeof(*secbits) - off);
1580         MD5Update(&ctx, secbits, off);
1581         MD5Update(&ctx, inc, sizeof(*inc));
1582         MD5Update(&ctx, &seq, sizeof(seq));
1583         MD5Update(&ctx, &flags, sizeof(flags));
1584         MD5Final((u_int8_t *)&md5_buffer, &ctx);
1585
1586         /* Does the digest part of or ACK'ed ISS match? */
1587         if ((ack & (~0x7f)) != (md5_buffer[0] << 7))
1588                 return (NULL);
1589
1590         /* Does the digest part of our reflected timestamp match? */
1591         if (to->to_flags & TOF_TS) {
1592                 data = md5_buffer[3] ^ to->to_tsecr;
1593                 if ((data & (~0x3ff)) != (md5_buffer[2] << 10))
1594                         return (NULL);
1595         }
1596
1597         /* Fill in the syncache values. */
1598         bcopy(inc, &sc->sc_inc, sizeof(struct in_conninfo));
1599         sc->sc_ipopts = NULL;
1600         
1601         sc->sc_irs = seq;
1602         sc->sc_iss = ack;
1603
1604 #ifdef INET6
1605         if (inc->inc_isipv6) {
1606                 if (sotoinpcb(so)->in6p_flags & IN6P_AUTOFLOWLABEL)
1607                         sc->sc_flowlabel = md5_buffer[1] & IPV6_FLOWLABEL_MASK;
1608         } else
1609 #endif
1610         {
1611                 sc->sc_ip_ttl = sotoinpcb(so)->inp_ip_ttl;
1612                 sc->sc_ip_tos = sotoinpcb(so)->inp_ip_tos;
1613         }
1614
1615         /* Additional parameters that were encoded in the timestamp. */
1616         if (data) {
1617                 sc->sc_flags |= SCF_TIMESTAMP;
1618                 sc->sc_tsreflect = to->to_tsval;
1619                 sc->sc_ts = to->to_tsecr;
1620                 sc->sc_tsoff = to->to_tsecr - ticks;
1621                 sc->sc_flags |= (data & 0x1) ? SCF_SIGNATURE : 0;
1622                 sc->sc_flags |= ((data >> 1) & 0x1) ? SCF_SACK : 0;
1623                 sc->sc_requested_s_scale = min((data >> 2) & 0xf,
1624                     TCP_MAX_WINSHIFT);
1625                 sc->sc_requested_r_scale = min((data >> 6) & 0xf,
1626                     TCP_MAX_WINSHIFT);
1627                 if (sc->sc_requested_s_scale || sc->sc_requested_r_scale)
1628                         sc->sc_flags |= SCF_WINSCALE;
1629         } else
1630                 sc->sc_flags |= SCF_NOOPT;
1631
1632         wnd = sbspace(&so->so_rcv);
1633         wnd = imax(wnd, 0);
1634         wnd = imin(wnd, TCP_MAXWIN);
1635         sc->sc_wnd = wnd;
1636
1637         sc->sc_rxmits = 0;
1638         sc->sc_peer_mss = tcp_sc_msstab[mss];
1639
1640         tcpstat.tcps_sc_recvcookie++;
1641         return (sc);
1642 }
1643
1644 /*
1645  * Returns the current number of syncache entries.  This number
1646  * will probably change before you get around to calling 
1647  * syncache_pcblist.
1648  */
1649
1650 int
1651 syncache_pcbcount(void)
1652 {
1653         struct syncache_head *sch;
1654         int count, i;
1655
1656         for (count = 0, i = 0; i < tcp_syncache.hashsize; i++) {
1657                 /* No need to lock for a read. */
1658                 sch = &tcp_syncache.hashbase[i];
1659                 count += sch->sch_length;
1660         }
1661         return count;
1662 }
1663
1664 /*
1665  * Exports the syncache entries to userland so that netstat can display
1666  * them alongside the other sockets.  This function is intended to be
1667  * called only from tcp_pcblist.
1668  *
1669  * Due to concurrency on an active system, the number of pcbs exported
1670  * may have no relation to max_pcbs.  max_pcbs merely indicates the
1671  * amount of space the caller allocated for this function to use.
1672  */
1673 int
1674 syncache_pcblist(struct sysctl_req *req, int max_pcbs, int *pcbs_exported)
1675 {
1676         struct xtcpcb xt;
1677         struct syncache *sc;
1678         struct syncache_head *sch;
1679         int count, error, i;
1680
1681         for (count = 0, error = 0, i = 0; i < tcp_syncache.hashsize; i++) {
1682                 sch = &tcp_syncache.hashbase[i];
1683                 SCH_LOCK(sch);
1684                 TAILQ_FOREACH(sc, &sch->sch_bucket, sc_hash) {
1685                         if (count >= max_pcbs) {
1686                                 SCH_UNLOCK(sch);
1687                                 goto exit;
1688                         }
1689                         bzero(&xt, sizeof(xt));
1690                         xt.xt_len = sizeof(xt);
1691                         if (sc->sc_inc.inc_isipv6)
1692                                 xt.xt_inp.inp_vflag = INP_IPV6;
1693                         else
1694                                 xt.xt_inp.inp_vflag = INP_IPV4;
1695                         bcopy(&sc->sc_inc, &xt.xt_inp.inp_inc, sizeof (struct in_conninfo));
1696                         xt.xt_tp.t_inpcb = &xt.xt_inp;
1697                         xt.xt_tp.t_state = TCPS_SYN_RECEIVED;
1698                         xt.xt_socket.xso_protocol = IPPROTO_TCP;
1699                         xt.xt_socket.xso_len = sizeof (struct xsocket);
1700                         xt.xt_socket.so_type = SOCK_STREAM;
1701                         xt.xt_socket.so_state = SS_ISCONNECTING;
1702                         error = SYSCTL_OUT(req, &xt, sizeof xt);
1703                         if (error) {
1704                                 SCH_UNLOCK(sch);
1705                                 goto exit;
1706                         }
1707                         count++;
1708                 }
1709                 SCH_UNLOCK(sch);
1710         }
1711 exit:
1712         *pcbs_exported = count;
1713         return error;
1714 }
1715