]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/netinet/sctp_os_bsd.h
Add reference counts for inp/stcb/net when timers are running.
[FreeBSD/FreeBSD.git] / sys / netinet / sctp_os_bsd.h
1 /*-
2  * SPDX-License-Identifier: BSD-3-Clause
3  *
4  * Copyright (c) 2006-2007, by Cisco Systems, Inc. All rights reserved.
5  * Copyright (c) 2008-2012, by Randall Stewart. All rights reserved.
6  * Copyright (c) 2008-2012, by Michael Tuexen. All rights reserved.
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted provided that the following conditions are met:
10  *
11  * a) Redistributions of source code must retain the above copyright notice,
12  *   this list of conditions and the following disclaimer.
13  *
14  * b) Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in
16  *   the documentation and/or other materials provided with the distribution.
17  *
18  * c) Neither the name of Cisco Systems, Inc. nor the names of its
19  *    contributors may be used to endorse or promote products derived
20  *    from this software without specific prior written permission.
21  *
22  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
23  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
24  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
25  * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
26  * LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
27  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
28  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
29  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
30  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
31  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
32  * THE POSSIBILITY OF SUCH DAMAGE.
33  */
34
35 #include <sys/cdefs.h>
36 __FBSDID("$FreeBSD$");
37
38 #ifndef _NETINET_SCTP_OS_BSD_H_
39 #define _NETINET_SCTP_OS_BSD_H_
40 /*
41  * includes
42  */
43 #include "opt_inet6.h"
44 #include "opt_inet.h"
45 #include "opt_sctp.h"
46
47 #include <sys/param.h>
48 #include <sys/domain.h>
49 #include <sys/eventhandler.h>
50 #include <sys/ktr.h>
51 #include <sys/systm.h>
52 #include <sys/malloc.h>
53 #include <sys/module.h>
54 #include <sys/kernel.h>
55 #include <sys/sysctl.h>
56 #include <sys/mbuf.h>
57 #include <sys/protosw.h>
58 #include <sys/socket.h>
59 #include <sys/socketvar.h>
60 #include <sys/jail.h>
61 #include <sys/sysctl.h>
62 #include <sys/resourcevar.h>
63 #include <sys/uio.h>
64 #include <sys/lock.h>
65 #include <sys/rwlock.h>
66 #include <sys/kthread.h>
67 #include <sys/priv.h>
68 #include <sys/random.h>
69 #include <sys/limits.h>
70 #include <sys/queue.h>
71 #include <machine/cpu.h>
72
73 #include <net/if.h>
74 #include <net/if_types.h>
75 #include <net/if_var.h>
76 #include <net/route.h>
77 #include <net/route/nhop.h>
78 #include <net/vnet.h>
79
80 #include <netinet/in.h>
81 #include <netinet/in_systm.h>
82 #include <netinet/ip.h>
83 #include <netinet/in_fib.h>
84 #include <netinet/in_pcb.h>
85 #include <netinet/in_var.h>
86 #include <netinet/ip_var.h>
87 #include <netinet/ip_icmp.h>
88 #include <netinet/icmp_var.h>
89
90 #ifdef INET6
91 #include <netinet/ip6.h>
92 #include <netinet6/in6_fib.h>
93 #include <netinet6/ip6_var.h>
94 #include <netinet6/in6_pcb.h>
95 #include <netinet6/ip6protosw.h>
96 #include <netinet6/nd6.h>
97 #include <netinet6/scope6_var.h>
98 #endif                          /* INET6 */
99
100 #include <netinet/ip_options.h>
101
102 #include <crypto/sha1.h>
103 #include <crypto/sha2/sha256.h>
104
105 /* Declare all the malloc names for all the various mallocs */
106 MALLOC_DECLARE(SCTP_M_MAP);
107 MALLOC_DECLARE(SCTP_M_STRMI);
108 MALLOC_DECLARE(SCTP_M_STRMO);
109 MALLOC_DECLARE(SCTP_M_ASC_ADDR);
110 MALLOC_DECLARE(SCTP_M_ASC_IT);
111 MALLOC_DECLARE(SCTP_M_AUTH_CL);
112 MALLOC_DECLARE(SCTP_M_AUTH_KY);
113 MALLOC_DECLARE(SCTP_M_AUTH_HL);
114 MALLOC_DECLARE(SCTP_M_AUTH_IF);
115 MALLOC_DECLARE(SCTP_M_STRESET);
116 MALLOC_DECLARE(SCTP_M_CMSG);
117 MALLOC_DECLARE(SCTP_M_COPYAL);
118 MALLOC_DECLARE(SCTP_M_VRF);
119 MALLOC_DECLARE(SCTP_M_IFA);
120 MALLOC_DECLARE(SCTP_M_IFN);
121 MALLOC_DECLARE(SCTP_M_TIMW);
122 MALLOC_DECLARE(SCTP_M_MVRF);
123 MALLOC_DECLARE(SCTP_M_ITER);
124 MALLOC_DECLARE(SCTP_M_SOCKOPT);
125 MALLOC_DECLARE(SCTP_M_MCORE);
126
127 #if defined(SCTP_LOCAL_TRACE_BUF)
128
129 #define SCTP_GET_CYCLECOUNT get_cyclecount()
130 #define SCTP_CTR6 sctp_log_trace
131
132 #else
133 #define SCTP_CTR6 CTR6
134 #endif
135
136 /*
137  * Macros to expand out globals defined by various modules
138  * to either a real global or a virtualized instance of one,
139  * depending on whether VIMAGE is defined.
140  */
141 /* then define the macro(s) that hook into the vimage macros */
142 #define MODULE_GLOBAL(__SYMBOL) V_##__SYMBOL
143
144 #define V_system_base_info VNET(system_base_info)
145 #define SCTP_BASE_INFO(__m) V_system_base_info.sctppcbinfo.__m
146 #define SCTP_BASE_STATS V_system_base_info.sctpstat
147 #define SCTP_BASE_STAT(__m) V_system_base_info.sctpstat.__m
148 #define SCTP_BASE_SYSCTL(__m) V_system_base_info.sctpsysctl.__m
149 #define SCTP_BASE_VAR(__m) V_system_base_info.__m
150
151 #define SCTP_PRINTF(params...)  printf(params)
152 #if defined(SCTP_DEBUG)
153 #define SCTPDBG(level, params...)                                       \
154 {                                                                       \
155         do {                                                            \
156                 if (SCTP_BASE_SYSCTL(sctp_debug_on) & level ) {         \
157                         SCTP_PRINTF(params);                            \
158                 }                                                       \
159         } while (0);                                                    \
160 }
161 #define SCTPDBG_ADDR(level, addr)                                       \
162 {                                                                       \
163         do {                                                            \
164                 if (SCTP_BASE_SYSCTL(sctp_debug_on) & level ) {         \
165                         sctp_print_address(addr);                       \
166                 }                                                       \
167         } while (0);                                                    \
168 }
169 #else
170 #define SCTPDBG(level, params...)
171 #define SCTPDBG_ADDR(level, addr)
172 #endif
173
174 #ifdef SCTP_LTRACE_CHUNKS
175 #define SCTP_LTRACE_CHK(a, b, c, d) if(SCTP_BASE_SYSCTL(sctp_logging_level) & SCTP_LTRACE_CHUNK_ENABLE) SCTP_CTR6(KTR_SUBSYS, "SCTP:%d[%d]:%x-%x-%x-%x", SCTP_LOG_CHUNK_PROC, 0, a, b, c, d)
176 #else
177 #define SCTP_LTRACE_CHK(a, b, c, d)
178 #endif
179
180 #ifdef SCTP_LTRACE_ERRORS
181 #define SCTP_LTRACE_ERR_RET_PKT(m, inp, stcb, net, file, err) \
182         if (SCTP_BASE_SYSCTL(sctp_logging_level) & SCTP_LTRACE_ERROR_ENABLE) \
183                 SCTP_PRINTF("mbuf:%p inp:%p stcb:%p net:%p file:%x line:%d error:%d\n", \
184                             m, inp, stcb, net, file, __LINE__, err);
185 #define SCTP_LTRACE_ERR_RET(inp, stcb, net, file, err) \
186         if (SCTP_BASE_SYSCTL(sctp_logging_level) & SCTP_LTRACE_ERROR_ENABLE) \
187                 SCTP_PRINTF("inp:%p stcb:%p net:%p file:%x line:%d error:%d\n", \
188                             inp, stcb, net, file, __LINE__, err);
189 #else
190 #define SCTP_LTRACE_ERR_RET_PKT(m, inp, stcb, net, file, err)
191 #define SCTP_LTRACE_ERR_RET(inp, stcb, net, file, err)
192 #endif
193
194
195 /*
196  * Local address and interface list handling
197  */
198 #define SCTP_MAX_VRF_ID         0
199 #define SCTP_SIZE_OF_VRF_HASH   3
200 #define SCTP_IFNAMSIZ           IFNAMSIZ
201 #define SCTP_DEFAULT_VRFID      0
202 #define SCTP_VRF_ADDR_HASH_SIZE 16
203 #define SCTP_VRF_IFN_HASH_SIZE  3
204 #define SCTP_INIT_VRF_TABLEID(vrf)
205
206 #define SCTP_IFN_IS_IFT_LOOP(ifn) ((ifn)->ifn_type == IFT_LOOP)
207 #define SCTP_ROUTE_IS_REAL_LOOP(ro) ((ro)->ro_nh && (ro)->ro_nh->nh_ifa && (ro)->ro_nh->nh_ifa->ifa_ifp && (ro)->ro_nh->nh_ifa->ifa_ifp->if_type == IFT_LOOP)
208
209 /*
210  * Access to IFN's to help with src-addr-selection
211  */
212 /* This could return VOID if the index works but for BSD we provide both. */
213 #define SCTP_GET_IFN_VOID_FROM_ROUTE(ro) (void *)ro->ro_nh->nh_ifp
214 #define SCTP_GET_IF_INDEX_FROM_ROUTE(ro) (ro)->ro_nh->nh_ifp->if_index
215 #define SCTP_ROUTE_HAS_VALID_IFN(ro) ((ro)->ro_nh && (ro)->ro_nh->nh_ifp)
216
217 /*
218  * general memory allocation
219  */
220 #define SCTP_MALLOC(var, type, size, name) \
221         do { \
222                 var = (type)malloc(size, name, M_NOWAIT); \
223         } while (0)
224
225 #define SCTP_FREE(var, type)    free(var, type)
226
227 #define SCTP_MALLOC_SONAME(var, type, size) \
228         do { \
229                 var = (type)malloc(size, M_SONAME, M_WAITOK | M_ZERO); \
230         } while (0)
231
232 #define SCTP_FREE_SONAME(var)   free(var, M_SONAME)
233
234 #define SCTP_PROCESS_STRUCT struct proc *
235
236 /*
237  * zone allocation functions
238  */
239 #include <vm/uma.h>
240
241 /* SCTP_ZONE_INIT: initialize the zone */
242 typedef struct uma_zone *sctp_zone_t;
243 #define SCTP_ZONE_INIT(zone, name, size, number) { \
244         zone = uma_zcreate(name, size, NULL, NULL, NULL, NULL, UMA_ALIGN_PTR,\
245                 0); \
246         uma_zone_set_max(zone, number); \
247 }
248
249 #define SCTP_ZONE_DESTROY(zone) uma_zdestroy(zone)
250
251 /* SCTP_ZONE_GET: allocate element from the zone */
252 #define SCTP_ZONE_GET(zone, type) \
253         (type *)uma_zalloc(zone, M_NOWAIT);
254
255 /* SCTP_ZONE_FREE: free element from the zone */
256 #define SCTP_ZONE_FREE(zone, element) \
257         uma_zfree(zone, element);
258
259 #define SCTP_HASH_INIT(size, hashmark) hashinit_flags(size, M_PCB, hashmark, HASH_NOWAIT)
260 #define SCTP_HASH_FREE(table, hashmark) hashdestroy(table, M_PCB, hashmark)
261
262 #define SCTP_M_COPYM    m_copym
263
264 /*
265  * timers
266  */
267 #include <sys/callout.h>
268 typedef struct callout sctp_os_timer_t;
269
270
271 #define SCTP_OS_TIMER_INIT(tmr) callout_init(tmr, 1)
272 /*
273  * NOTE: The next two shouldn't be called directly outside of sctp_timer_start()
274  * and sctp_timer_stop(), since they don't handle incrementing/decrementing
275  * relevant reference counts.
276  */
277 #define SCTP_OS_TIMER_START             callout_reset
278 #define SCTP_OS_TIMER_STOP              callout_stop
279 #define SCTP_OS_TIMER_STOP_DRAIN        callout_drain
280 #define SCTP_OS_TIMER_PENDING           callout_pending
281 #define SCTP_OS_TIMER_ACTIVE            callout_active
282 #define SCTP_OS_TIMER_DEACTIVATE        callout_deactivate
283
284 #define sctp_get_tick_count() (ticks)
285
286 #define SCTP_UNUSED __attribute__((unused))
287
288 /*
289  * Functions
290  */
291 /* Mbuf manipulation and access macros  */
292 #define SCTP_BUF_LEN(m) (m->m_len)
293 #define SCTP_BUF_NEXT(m) (m->m_next)
294 #define SCTP_BUF_NEXT_PKT(m) (m->m_nextpkt)
295 #define SCTP_BUF_RESV_UF(m, size) m->m_data += size
296 #define SCTP_BUF_AT(m, size) m->m_data + size
297 #define SCTP_BUF_IS_EXTENDED(m) (m->m_flags & M_EXT)
298 #define SCTP_BUF_SIZE M_SIZE
299 #define SCTP_BUF_TYPE(m) (m->m_type)
300 #define SCTP_BUF_RECVIF(m) (m->m_pkthdr.rcvif)
301 #define SCTP_BUF_PREPEND        M_PREPEND
302
303 #define SCTP_ALIGN_TO_END(m, len) M_ALIGN(m, len)
304
305 #define SCTP_SNPRINTF(...) snprintf(__VA_ARGS__)
306
307 /* We make it so if you have up to 4 threads
308  * writing based on the default size of
309  * the packet log 65 k, that would be
310  * 4 16k packets before we would hit
311  * a problem.
312  */
313 #define SCTP_PKTLOG_WRITERS_NEED_LOCK 3
314
315 /*************************/
316 /*      MTU              */
317 /*************************/
318 #define SCTP_GATHER_MTU_FROM_IFN_INFO(ifn, ifn_index, af) ((struct ifnet *)ifn)->if_mtu
319 #define SCTP_GATHER_MTU_FROM_ROUTE(sctp_ifa, sa, nh) ((uint32_t)((nh != NULL) ? nh->nh_mtu : 0))
320 #define SCTP_GATHER_MTU_FROM_INTFC(sctp_ifn) ((sctp_ifn->ifn_p != NULL) ? ((struct ifnet *)(sctp_ifn->ifn_p))->if_mtu : 0)
321
322 /*************************/
323 /* These are for logging */
324 /*************************/
325 /* return the base ext data pointer */
326 #define SCTP_BUF_EXTEND_BASE(m) (m->m_ext.ext_buf)
327  /* return the refcnt of the data pointer */
328 #define SCTP_BUF_EXTEND_REFCNT(m) (*m->m_ext.ext_cnt)
329 /* return any buffer related flags, this is
330  * used beyond logging for apple only.
331  */
332 #define SCTP_BUF_GET_FLAGS(m) (m->m_flags)
333
334 /* For BSD this just accesses the M_PKTHDR length
335  * so it operates on an mbuf with hdr flag. Other
336  * O/S's may have separate packet header and mbuf
337  * chain pointers.. thus the macro.
338  */
339 #define SCTP_HEADER_TO_CHAIN(m) (m)
340 #define SCTP_DETACH_HEADER_FROM_CHAIN(m)
341 #define SCTP_HEADER_LEN(m) ((m)->m_pkthdr.len)
342 #define SCTP_GET_HEADER_FOR_OUTPUT(o_pak) 0
343 #define SCTP_RELEASE_HEADER(m)
344 #define SCTP_RELEASE_PKT(m)     sctp_m_freem(m)
345 #define SCTP_ENABLE_UDP_CSUM(m) do { \
346                                         m->m_pkthdr.csum_flags = CSUM_UDP; \
347                                         m->m_pkthdr.csum_data = offsetof(struct udphdr, uh_sum); \
348                                 } while (0)
349
350 #define SCTP_GET_PKT_VRFID(m, vrf_id)  ((vrf_id = SCTP_DEFAULT_VRFID) != SCTP_DEFAULT_VRFID)
351
352
353
354 /* Attach the chain of data into the sendable packet. */
355 #define SCTP_ATTACH_CHAIN(pak, m, packet_length) do { \
356                                                  pak = m; \
357                                                  pak->m_pkthdr.len = packet_length; \
358                          } while(0)
359
360 /* Other m_pkthdr type things */
361 #define SCTP_IS_IT_BROADCAST(dst, m) ((m->m_flags & M_PKTHDR) ? in_broadcast(dst, m->m_pkthdr.rcvif) : 0)
362 #define SCTP_IS_IT_LOOPBACK(m) ((m->m_flags & M_PKTHDR) && ((m->m_pkthdr.rcvif == NULL) || (m->m_pkthdr.rcvif->if_type == IFT_LOOP)))
363
364
365 /* This converts any input packet header
366  * into the chain of data holders, for BSD
367  * its a NOP.
368  */
369
370 /* get the v6 hop limit */
371 #define SCTP_GET_HLIM(inp, ro)  in6_selecthlim(&inp->ip_inp.inp, (ro ? (ro->ro_nh ? (ro->ro_nh->nh_ifp) : (NULL)) : (NULL)));
372
373 /* is the endpoint v6only? */
374 #define SCTP_IPV6_V6ONLY(sctp_inpcb)    ((sctp_inpcb)->ip_inp.inp.inp_flags & IN6P_IPV6_V6ONLY)
375 /* is the socket non-blocking? */
376 #define SCTP_SO_IS_NBIO(so)     ((so)->so_state & SS_NBIO)
377 #define SCTP_SET_SO_NBIO(so)    ((so)->so_state |= SS_NBIO)
378 #define SCTP_CLEAR_SO_NBIO(so)  ((so)->so_state &= ~SS_NBIO)
379 /* get the socket type */
380 #define SCTP_SO_TYPE(so)        ((so)->so_type)
381 /* Use a macro for renaming sb_cc to sb_acc.
382  * Initially sb_ccc was used, but this broke select() when used
383  * with SCTP sockets.
384  */
385 #define sb_cc sb_acc
386 /* reserve sb space for a socket */
387 #define SCTP_SORESERVE(so, send, recv)  soreserve(so, send, recv)
388 /* wakeup a socket */
389 #define SCTP_SOWAKEUP(so)       wakeup(&(so)->so_timeo)
390 /* clear the socket buffer state */
391 #define SCTP_SB_CLEAR(sb)       \
392         (sb).sb_cc = 0;         \
393         (sb).sb_mb = NULL;      \
394         (sb).sb_mbcnt = 0;
395
396 #define SCTP_SB_LIMIT_RCV(so) (SOLISTENING(so) ? so->sol_sbrcv_hiwat : so->so_rcv.sb_hiwat)
397 #define SCTP_SB_LIMIT_SND(so) (SOLISTENING(so) ? so->sol_sbsnd_hiwat : so->so_snd.sb_hiwat)
398
399 /*
400  * routes, output, etc.
401  */
402 typedef struct route sctp_route_t;
403
404 #define SCTP_RTALLOC(ro, vrf_id, fibnum) \
405 { \
406         if ((ro)->ro_nh == NULL) { \
407                 (ro)->ro_nh = rib_lookup(fibnum, &(ro)->ro_dst, NHR_REF, 0); \
408         } \
409 }
410
411 /*
412  * SCTP protocol specific mbuf flags.
413  */
414 #define M_NOTIFICATION          M_PROTO1        /* SCTP notification */
415
416 /*
417  * IP output routines
418  */
419 #define SCTP_IP_OUTPUT(result, o_pak, ro, stcb, vrf_id) \
420 { \
421         int o_flgs = IP_RAWOUTPUT; \
422         struct sctp_tcb *local_stcb = stcb; \
423         if (local_stcb && \
424             local_stcb->sctp_ep && \
425             local_stcb->sctp_ep->sctp_socket) \
426                 o_flgs |= local_stcb->sctp_ep->sctp_socket->so_options & SO_DONTROUTE; \
427         m_clrprotoflags(o_pak); \
428         result = ip_output(o_pak, NULL, ro, o_flgs, 0, NULL); \
429 }
430
431 #define SCTP_IP6_OUTPUT(result, o_pak, ro, ifp, stcb, vrf_id) \
432 { \
433         struct sctp_tcb *local_stcb = stcb; \
434         m_clrprotoflags(o_pak); \
435         if (local_stcb && local_stcb->sctp_ep) \
436                 result = ip6_output(o_pak, \
437                                     ((struct inpcb *)(local_stcb->sctp_ep))->in6p_outputopts, \
438                                     (ro), 0, 0, ifp, NULL); \
439         else \
440                 result = ip6_output(o_pak, NULL, (ro), 0, 0, ifp, NULL); \
441 }
442
443 struct mbuf *
444 sctp_get_mbuf_for_msg(unsigned int space_needed,
445     int want_header, int how, int allonebuf, int type);
446
447
448 /*
449  * SCTP AUTH
450  */
451 #define SCTP_READ_RANDOM(buf, len)      arc4rand(buf, len, 0)
452
453 /* map standard crypto API names */
454 #define SCTP_SHA1_CTX           SHA1_CTX
455 #define SCTP_SHA1_INIT          SHA1Init
456 #define SCTP_SHA1_UPDATE        SHA1Update
457 #define SCTP_SHA1_FINAL(x,y)    SHA1Final((caddr_t)x, y)
458
459 #define SCTP_SHA256_CTX         SHA256_CTX
460 #define SCTP_SHA256_INIT        SHA256_Init
461 #define SCTP_SHA256_UPDATE      SHA256_Update
462 #define SCTP_SHA256_FINAL(x,y)  SHA256_Final((caddr_t)x, y)
463
464 #define SCTP_DECREMENT_AND_CHECK_REFCOUNT(addr) (atomic_fetchadd_int(addr, -1) == 1)
465 #if defined(INVARIANTS)
466 #define SCTP_SAVE_ATOMIC_DECREMENT(addr, val) \
467 { \
468         int32_t oldval; \
469         oldval = atomic_fetchadd_int(addr, -val); \
470         if (oldval < val) { \
471                 panic("Counter goes negative"); \
472         } \
473 }
474 #else
475 #define SCTP_SAVE_ATOMIC_DECREMENT(addr, val) \
476 { \
477         int32_t oldval; \
478         oldval = atomic_fetchadd_int(addr, -val); \
479         if (oldval < val) { \
480                 *addr = 0; \
481         } \
482 }
483 #endif
484
485 #define SCTP_IS_LISTENING(inp) ((inp->sctp_flags & SCTP_PCB_FLAGS_ACCEPTING) != 0)
486
487 int sctp_syscalls_init(void);
488 int sctp_syscalls_uninit(void);
489
490 #endif