sys/netipsec/ipsec_output.c

   1 /*-
   2  * Copyright (c) 2002, 2003 Sam Leffler, Errno Consulting
   3  * Copyright (c) 2016 Andrey V. Elsukov <ae@FreeBSD.org>
   4  * All rights reserved.
   5  *
   6  * Redistribution and use in source and binary forms, with or without
   7  * modification, are permitted provided that the following conditions
   8  * are met:
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  16  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  17  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  18  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  19  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  20  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  21  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  22  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  23  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  24  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  25  * SUCH DAMAGE.
  26  *
  27  * $FreeBSD$
  28  */
  29
  30 /*
  31  * IPsec output processing.
  32  */
  33 #include "opt_inet.h"
  34 #include "opt_inet6.h"
  35 #include "opt_ipsec.h"
  36 #include "opt_sctp.h"
  37
  38 #include <sys/param.h>
  39 #include <sys/systm.h>
  40 #include <sys/mbuf.h>
  41 #include <sys/domain.h>
  42 #include <sys/protosw.h>
  43 #include <sys/socket.h>
  44 #include <sys/errno.h>
  45 #include <sys/hhook.h>
  46 #include <sys/syslog.h>
  47
  48 #include <net/if.h>
  49 #include <net/if_enc.h>
  50 #include <net/if_var.h>
  51 #include <net/vnet.h>
  52
  53 #include <netinet/in.h>
  54 #include <netinet/in_systm.h>
  55 #include <netinet/ip.h>
  56 #include <netinet/ip_var.h>
  57 #include <netinet/in_var.h>
  58 #include <netinet/ip_ecn.h>
  59 #ifdef INET6
  60 #include <netinet6/ip6_ecn.h>
  61 #endif
  62
  63 #include <netinet/ip6.h>
  64 #ifdef INET6
  65 #include <netinet6/ip6_var.h>
  66 #include <netinet6/scope6_var.h>
  67 #endif
  68 #include <netinet/in_pcb.h>
  69 #ifdef INET6
  70 #include <netinet/icmp6.h>
  71 #endif
  72 #ifdef SCTP
  73 #include <netinet/sctp_crc32.h>
  74 #endif
  75
  76 #include <netinet/udp.h>
  77 #include <netipsec/ah.h>
  78 #include <netipsec/esp.h>
  79 #include <netipsec/ipsec.h>
  80 #ifdef INET6
  81 #include <netipsec/ipsec6.h>
  82 #endif
  83 #include <netipsec/ah_var.h>
  84 #include <netipsec/esp_var.h>
  85 #include <netipsec/ipcomp_var.h>
  86
  87 #include <netipsec/xform.h>
  88
  89 #include <netipsec/key.h>
  90 #include <netipsec/keydb.h>
  91 #include <netipsec/key_debug.h>
  92
  93 #include <machine/in_cksum.h>
  94
  95 #define IPSEC_OSTAT_INC(proto, name)    do {            \
  96         if ((proto) == IPPROTO_ESP)     \
  97                 ESPSTAT_INC(esps_##name);       \
  98         else if ((proto) == IPPROTO_AH)\
  99                 AHSTAT_INC(ahs_##name);         \
 100         else                                    \
 101                 IPCOMPSTAT_INC(ipcomps_##name); \
 102 } while (0)
 103
 104 static int ipsec_encap(struct mbuf **mp, struct secasindex *saidx);
 105
 106 #ifdef INET
 107 static struct secasvar *
 108 ipsec4_allocsa(struct mbuf *m, struct secpolicy *sp, u_int *pidx, int *error)
 109 {
 110         struct secasindex *saidx, tmpsaidx;
 111         struct ipsecrequest *isr;
 112         struct sockaddr_in *sin;
 113         struct secasvar *sav;
 114         struct ip *ip;
 115
 116         /*
 117          * Check system global policy controls.
 118          */
 119 next:
 120         isr = sp->req[*pidx];
 121         if ((isr->saidx.proto == IPPROTO_ESP && !V_esp_enable) ||
 122             (isr->saidx.proto == IPPROTO_AH && !V_ah_enable) ||
 123             (isr->saidx.proto == IPPROTO_IPCOMP && !V_ipcomp_enable)) {
 124                 DPRINTF(("%s: IPsec outbound packet dropped due"
 125                         " to policy (check your sysctls)\n", __func__));
 126                 IPSEC_OSTAT_INC(isr->saidx.proto, pdrops);
 127                 *error = EHOSTUNREACH;
 128                 return (NULL);
 129         }
 130         /*
 131          * Craft SA index to search for proper SA.  Note that
 132          * we only initialize unspecified SA peers for transport
 133          * mode; for tunnel mode they must already be filled in.
 134          */
 135         if (isr->saidx.mode == IPSEC_MODE_TRANSPORT) {
 136                 saidx = &tmpsaidx;
 137                 *saidx = isr->saidx;
 138                 ip = mtod(m, struct ip *);
 139                 if (saidx->src.sa.sa_len == 0) {
 140                         sin = &saidx->src.sin;
 141                         sin->sin_len = sizeof(*sin);
 142                         sin->sin_family = AF_INET;
 143                         sin->sin_port = IPSEC_PORT_ANY;
 144                         sin->sin_addr = ip->ip_src;
 145                 }
 146                 if (saidx->dst.sa.sa_len == 0) {
 147                         sin = &saidx->dst.sin;
 148                         sin->sin_len = sizeof(*sin);
 149                         sin->sin_family = AF_INET;
 150                         sin->sin_port = IPSEC_PORT_ANY;
 151                         sin->sin_addr = ip->ip_dst;
 152                 }
 153         } else
 154                 saidx = &sp->req[*pidx]->saidx;
 155         /*
 156          * Lookup SA and validate it.
 157          */
 158         sav = key_allocsa_policy(sp, saidx, error);
 159         if (sav == NULL) {
 160                 IPSECSTAT_INC(ips_out_nosa);
 161                 if (*error != 0)
 162                         return (NULL);
 163                 if (ipsec_get_reqlevel(sp, *pidx) != IPSEC_LEVEL_REQUIRE) {
 164                         /*
 165                          * We have no SA and policy that doesn't require
 166                          * this IPsec transform, thus we can continue w/o
 167                          * IPsec processing, i.e. return EJUSTRETURN.
 168                          * But first check if there is some bundled transform.
 169                          */
 170                         if (sp->tcount > ++(*pidx))
 171                                 goto next;
 172                         *error = EJUSTRETURN;
 173                 }
 174                 return (NULL);
 175         }
 176         IPSEC_ASSERT(sav->tdb_xform != NULL, ("SA with NULL tdb_xform"));
 177         return (sav);
 178 }
 179
 180 /*
 181  * IPsec output logic for IPv4.
 182  */
 183 static int
 184 ipsec4_perform_request(struct mbuf *m, struct secpolicy *sp, u_int idx)
 185 {
 186         char sbuf[IPSEC_ADDRSTRLEN], dbuf[IPSEC_ADDRSTRLEN];
 187         struct ipsec_ctx_data ctx;
 188         union sockaddr_union *dst;
 189         struct secasvar *sav;
 190         struct ip *ip;
 191         int error, i, off;
 192
 193         IPSEC_ASSERT(idx < sp->tcount, ("Wrong IPsec request index %d", idx));
 194
 195         /*
 196          * We hold the reference to SP. Content of SP couldn't be changed.
 197          * Craft secasindex and do lookup for suitable SA.
 198          * Then do encapsulation if needed and call xform's output.
 199          * We need to store SP in the xform callback parameters.
 200          * In xform callback we will extract SP and it can be used to
 201          * determine next transform. At the end of transform we can
 202          * release reference to SP.
 203          */
 204         sav = ipsec4_allocsa(m, sp, &idx, &error);
 205         if (sav == NULL) {
 206                 if (error == EJUSTRETURN) { /* No IPsec required */
 207                         key_freesp(&sp);
 208                         return (error);
 209                 }
 210                 goto bad;
 211         }
 212         /*
 213          * XXXAE: most likely ip_sum at this point is wrong.
 214          */
 215         IPSEC_INIT_CTX(&ctx, &m, sav, AF_INET, IPSEC_ENC_BEFORE);
 216         if ((error = ipsec_run_hhooks(&ctx, HHOOK_TYPE_IPSEC_OUT)) != 0)
 217                 goto bad;
 218
 219         ip = mtod(m, struct ip *);
 220         dst = &sav->sah->saidx.dst;
 221         /* Do the appropriate encapsulation, if necessary */
 222         if (sp->req[idx]->saidx.mode == IPSEC_MODE_TUNNEL || /* Tunnel requ'd */
 223             dst->sa.sa_family != AF_INET ||         /* PF mismatch */
 224             (dst->sa.sa_family == AF_INET &&        /* Proxy */
 225              dst->sin.sin_addr.s_addr != INADDR_ANY &&
 226              dst->sin.sin_addr.s_addr != ip->ip_dst.s_addr)) {
 227                 /* Fix IPv4 header checksum and length */
 228                 ip->ip_len = htons(m->m_pkthdr.len);
 229                 ip->ip_sum = 0;
 230                 ip->ip_sum = in_cksum(m, ip->ip_hl << 2);
 231                 error = ipsec_encap(&m, &sav->sah->saidx);
 232                 if (error != 0) {
 233                         DPRINTF(("%s: encapsulation for SA %s->%s "
 234                             "SPI 0x%08x failed with error %d\n", __func__,
 235                             ipsec_address(&sav->sah->saidx.src, sbuf,
 236                                 sizeof(sbuf)),
 237                             ipsec_address(&sav->sah->saidx.dst, dbuf,
 238                                 sizeof(dbuf)), ntohl(sav->spi), error));
 239                         /* XXXAE: IPSEC_OSTAT_INC(tunnel); */
 240                         goto bad;
 241                 }
 242         }
 243
 244         IPSEC_INIT_CTX(&ctx, &m, sav, dst->sa.sa_family, IPSEC_ENC_AFTER);
 245         if ((error = ipsec_run_hhooks(&ctx, HHOOK_TYPE_IPSEC_OUT)) != 0)
 246                 goto bad;
 247
 248         /*
 249          * Dispatch to the appropriate IPsec transform logic.  The
 250          * packet will be returned for transmission after crypto
 251          * processing, etc. are completed.
 252          *
 253          * NB: m & sav are ``passed to caller'' who's responsible for
 254          *     reclaiming their resources.
 255          */
 256         switch(dst->sa.sa_family) {
 257         case AF_INET:
 258                 ip = mtod(m, struct ip *);
 259                 i = ip->ip_hl << 2;
 260                 off = offsetof(struct ip, ip_p);
 261                 break;
 262 #ifdef INET6
 263         case AF_INET6:
 264                 i = sizeof(struct ip6_hdr);
 265                 off = offsetof(struct ip6_hdr, ip6_nxt);
 266                 break;
 267 #endif /* INET6 */
 268         default:
 269                 DPRINTF(("%s: unsupported protocol family %u\n",
 270                     __func__, dst->sa.sa_family));
 271                 error = EPFNOSUPPORT;
 272                 IPSEC_OSTAT_INC(sav->sah->saidx.proto, nopf);
 273                 goto bad;
 274         }
 275         error = (*sav->tdb_xform->xf_output)(m, sp, sav, idx, i, off);
 276         if (error != 0) {
 277                 key_freesav(&sav);
 278                 key_freesp(&sp);
 279         }
 280         return (error);
 281 bad:
 282         IPSECSTAT_INC(ips_out_inval);
 283         if (m != NULL)
 284                 m_freem(m);
 285         if (sav != NULL)
 286                 key_freesav(&sav);
 287         key_freesp(&sp);
 288         return (error);
 289 }
 290
 291 int
 292 ipsec4_process_packet(struct mbuf *m, struct secpolicy *sp,
 293     struct inpcb *inp)
 294 {
 295
 296         return (ipsec4_perform_request(m, sp, 0));
 297 }
 298
 299 static int
 300 ipsec4_common_output(struct mbuf *m, struct inpcb *inp, int forwarding)
 301 {
 302         struct secpolicy *sp;
 303         int error;
 304
 305         /* Lookup for the corresponding outbound security policy */
 306         sp = ipsec4_checkpolicy(m, inp, &error);
 307         if (sp == NULL) {
 308                 if (error == -EINVAL) {
 309                         /* Discarded by policy. */
 310                         m_freem(m);
 311                         return (EACCES);
 312                 }
 313                 return (0); /* No IPsec required. */
 314         }
 315
 316         /*
 317          * Usually we have to have tunnel mode IPsec security policy
 318          * when we are forwarding a packet. Otherwise we could not handle
 319          * encrypted replies, because they are not destined for us. But
 320          * some users are doing source address translation for forwarded
 321          * packets, and thus, even if they are forwarded, the replies will
 322          * return back to us.
 323          */
 324         if (!forwarding) {
 325                 /*
 326                  * Do delayed checksums now because we send before
 327                  * this is done in the normal processing path.
 328                  */
 329                 if (m->m_pkthdr.csum_flags & CSUM_DELAY_DATA) {
 330                         in_delayed_cksum(m);
 331                         m->m_pkthdr.csum_flags &= ~CSUM_DELAY_DATA;
 332                 }
 333 #ifdef SCTP
 334                 if (m->m_pkthdr.csum_flags & CSUM_SCTP) {
 335                         struct ip *ip = mtod(m, struct ip *);
 336
 337                         sctp_delayed_cksum(m, (uint32_t)(ip->ip_hl << 2));
 338                         m->m_pkthdr.csum_flags &= ~CSUM_SCTP;
 339                 }
 340 #endif
 341         }
 342         /* NB: callee frees mbuf and releases reference to SP */
 343         error = ipsec4_process_packet(m, sp, inp);
 344         if (error == EJUSTRETURN) {
 345                 /*
 346                  * We had a SP with a level of 'use' and no SA. We
 347                  * will just continue to process the packet without
 348                  * IPsec processing and return without error.
 349                  */
 350                 return (0);
 351         }
 352         if (error == 0)
 353                 return (EINPROGRESS); /* consumed by IPsec */
 354         return (error);
 355 }
 356
 357 /*
 358  * IPSEC_OUTPUT() method implementation for IPv4.
 359  * 0 - no IPsec handling needed
 360  * other values - mbuf consumed by IPsec.
 361  */
 362 int
 363 ipsec4_output(struct mbuf *m, struct inpcb *inp)
 364 {
 365
 366         /*
 367          * If the packet is resubmitted to ip_output (e.g. after
 368          * AH, ESP, etc. processing), there will be a tag to bypass
 369          * the lookup and related policy checking.
 370          */
 371         if (m_tag_find(m, PACKET_TAG_IPSEC_OUT_DONE, NULL) != NULL)
 372                 return (0);
 373
 374         return (ipsec4_common_output(m, inp, 0));
 375 }
 376
 377 /*
 378  * IPSEC_FORWARD() method implementation for IPv4.
 379  * 0 - no IPsec handling needed
 380  * other values - mbuf consumed by IPsec.
 381  */
 382 int
 383 ipsec4_forward(struct mbuf *m)
 384 {
 385
 386         /*
 387          * Check if this packet has an active inbound SP and needs to be
 388          * dropped instead of forwarded.
 389          */
 390         if (ipsec4_in_reject(m, NULL) != 0) {
 391                 m_freem(m);
 392                 return (EACCES);
 393         }
 394         return (ipsec4_common_output(m, NULL, 1));
 395 }
 396 #endif
 397
 398 #ifdef INET6
 399 static int
 400 in6_sa_equal_addrwithscope(const struct sockaddr_in6 *sa,
 401     const struct in6_addr *ia)
 402 {
 403         struct in6_addr ia2;
 404
 405         if (IN6_IS_SCOPE_LINKLOCAL(&sa->sin6_addr)) {
 406                 memcpy(&ia2, &sa->sin6_addr, sizeof(ia2));
 407                 ia2.s6_addr16[1] = htons(sa->sin6_scope_id);
 408                 return (IN6_ARE_ADDR_EQUAL(ia, &ia2));
 409         }
 410         return (IN6_ARE_ADDR_EQUAL(&sa->sin6_addr, ia));
 411 }
 412
 413 static struct secasvar *
 414 ipsec6_allocsa(struct mbuf *m, struct secpolicy *sp, u_int *pidx, int *error)
 415 {
 416         struct secasindex *saidx, tmpsaidx;
 417         struct ipsecrequest *isr;
 418         struct sockaddr_in6 *sin6;
 419         struct secasvar *sav;
 420         struct ip6_hdr *ip6;
 421
 422         /*
 423          * Check system global policy controls.
 424          */
 425 next:
 426         isr = sp->req[*pidx];
 427         if ((isr->saidx.proto == IPPROTO_ESP && !V_esp_enable) ||
 428             (isr->saidx.proto == IPPROTO_AH && !V_ah_enable) ||
 429             (isr->saidx.proto == IPPROTO_IPCOMP && !V_ipcomp_enable)) {
 430                 DPRINTF(("%s: IPsec outbound packet dropped due"
 431                         " to policy (check your sysctls)\n", __func__));
 432                 IPSEC_OSTAT_INC(isr->saidx.proto, pdrops);
 433                 *error = EHOSTUNREACH;
 434                 return (NULL);
 435         }
 436         /*
 437          * Craft SA index to search for proper SA.  Note that
 438          * we only fillin unspecified SA peers for transport
 439          * mode; for tunnel mode they must already be filled in.
 440          */
 441         if (isr->saidx.mode == IPSEC_MODE_TRANSPORT) {
 442                 saidx = &tmpsaidx;
 443                 *saidx = isr->saidx;
 444                 ip6 = mtod(m, struct ip6_hdr *);
 445                 if (saidx->src.sin6.sin6_len == 0) {
 446                         sin6 = (struct sockaddr_in6 *)&saidx->src;
 447                         sin6->sin6_len = sizeof(*sin6);
 448                         sin6->sin6_family = AF_INET6;
 449                         sin6->sin6_port = IPSEC_PORT_ANY;
 450                         sin6->sin6_addr = ip6->ip6_src;
 451                         if (IN6_IS_SCOPE_LINKLOCAL(&ip6->ip6_src)) {
 452                                 /* fix scope id for comparing SPD */
 453                                 sin6->sin6_addr.s6_addr16[1] = 0;
 454                                 sin6->sin6_scope_id =
 455                                     ntohs(ip6->ip6_src.s6_addr16[1]);
 456                         }
 457                 }
 458                 if (saidx->dst.sin6.sin6_len == 0) {
 459                         sin6 = (struct sockaddr_in6 *)&saidx->dst;
 460                         sin6->sin6_len = sizeof(*sin6);
 461                         sin6->sin6_family = AF_INET6;
 462                         sin6->sin6_port = IPSEC_PORT_ANY;
 463                         sin6->sin6_addr = ip6->ip6_dst;
 464                         if (IN6_IS_SCOPE_LINKLOCAL(&ip6->ip6_dst)) {
 465                                 /* fix scope id for comparing SPD */
 466                                 sin6->sin6_addr.s6_addr16[1] = 0;
 467                                 sin6->sin6_scope_id =
 468                                     ntohs(ip6->ip6_dst.s6_addr16[1]);
 469                         }
 470                 }
 471         } else
 472                 saidx = &sp->req[*pidx]->saidx;
 473         /*
 474          * Lookup SA and validate it.
 475          */
 476         sav = key_allocsa_policy(sp, saidx, error);
 477         if (sav == NULL) {
 478                 IPSEC6STAT_INC(ips_out_nosa);
 479                 if (*error != 0)
 480                         return (NULL);
 481                 if (ipsec_get_reqlevel(sp, *pidx) != IPSEC_LEVEL_REQUIRE) {
 482                         /*
 483                          * We have no SA and policy that doesn't require
 484                          * this IPsec transform, thus we can continue w/o
 485                          * IPsec processing, i.e. return EJUSTRETURN.
 486                          * But first check if there is some bundled transform.
 487                          */
 488                         if (sp->tcount > ++(*pidx))
 489                                 goto next;
 490                         *error = EJUSTRETURN;
 491                 }
 492                 return (NULL);
 493         }
 494         IPSEC_ASSERT(sav->tdb_xform != NULL, ("SA with NULL tdb_xform"));
 495         return (sav);
 496 }
 497
 498 /*
 499  * IPsec output logic for IPv6.
 500  */
 501 static int
 502 ipsec6_perform_request(struct mbuf *m, struct secpolicy *sp, u_int idx)
 503 {
 504         char sbuf[IPSEC_ADDRSTRLEN], dbuf[IPSEC_ADDRSTRLEN];
 505         struct ipsec_ctx_data ctx;
 506         union sockaddr_union *dst;
 507         struct secasvar *sav;
 508         struct ip6_hdr *ip6;
 509         int error, i, off;
 510
 511         IPSEC_ASSERT(idx < sp->tcount, ("Wrong IPsec request index %d", idx));
 512
 513         sav = ipsec6_allocsa(m, sp, &idx, &error);
 514         if (sav == NULL) {
 515                 if (error == EJUSTRETURN) { /* No IPsec required */
 516                         key_freesp(&sp);
 517                         return (error);
 518                 }
 519                 goto bad;
 520         }
 521
 522         /* Fix IP length in case if it is not set yet. */
 523         ip6 = mtod(m, struct ip6_hdr *);
 524         ip6->ip6_plen = htons(m->m_pkthdr.len - sizeof(*ip6));
 525
 526         IPSEC_INIT_CTX(&ctx, &m, sav, AF_INET6, IPSEC_ENC_BEFORE);
 527         if ((error = ipsec_run_hhooks(&ctx, HHOOK_TYPE_IPSEC_OUT)) != 0)
 528                 goto bad;
 529
 530         ip6 = mtod(m, struct ip6_hdr *); /* pfil can change mbuf */
 531         dst = &sav->sah->saidx.dst;
 532
 533         /* Do the appropriate encapsulation, if necessary */
 534         if (sp->req[idx]->saidx.mode == IPSEC_MODE_TUNNEL || /* Tunnel requ'd */
 535             dst->sa.sa_family != AF_INET6 ||        /* PF mismatch */
 536             ((dst->sa.sa_family == AF_INET6) &&
 537              (!IN6_IS_ADDR_UNSPECIFIED(&dst->sin6.sin6_addr)) &&
 538              (!in6_sa_equal_addrwithscope(&dst->sin6, &ip6->ip6_dst)))) {
 539                 if (m->m_pkthdr.len - sizeof(*ip6) > IPV6_MAXPACKET) {
 540                         /* No jumbogram support. */
 541                         error = ENXIO;   /*XXX*/
 542                         goto bad;
 543                 }
 544                 error = ipsec_encap(&m, &sav->sah->saidx);
 545                 if (error != 0) {
 546                         DPRINTF(("%s: encapsulation for SA %s->%s "
 547                             "SPI 0x%08x failed with error %d\n", __func__,
 548                             ipsec_address(&sav->sah->saidx.src, sbuf,
 549                                 sizeof(sbuf)),
 550                             ipsec_address(&sav->sah->saidx.dst, dbuf,
 551                                 sizeof(dbuf)), ntohl(sav->spi), error));
 552                         /* XXXAE: IPSEC_OSTAT_INC(tunnel); */
 553                         goto bad;
 554                 }
 555         }
 556
 557         IPSEC_INIT_CTX(&ctx, &m, sav, dst->sa.sa_family, IPSEC_ENC_AFTER);
 558         if ((error = ipsec_run_hhooks(&ctx, HHOOK_TYPE_IPSEC_OUT)) != 0)
 559                 goto bad;
 560
 561         switch(dst->sa.sa_family) {
 562 #ifdef INET
 563         case AF_INET:
 564                 {
 565                 struct ip *ip;
 566                 ip = mtod(m, struct ip *);
 567                 i = ip->ip_hl << 2;
 568                 off = offsetof(struct ip, ip_p);
 569                 }
 570                 break;
 571 #endif /* AF_INET */
 572         case AF_INET6:
 573                 i = sizeof(struct ip6_hdr);
 574                 off = offsetof(struct ip6_hdr, ip6_nxt);
 575                 break;
 576         default:
 577                 DPRINTF(("%s: unsupported protocol family %u\n",
 578                                  __func__, dst->sa.sa_family));
 579                 error = EPFNOSUPPORT;
 580                 IPSEC_OSTAT_INC(sav->sah->saidx.proto, nopf);
 581                 goto bad;
 582         }
 583         error = (*sav->tdb_xform->xf_output)(m, sp, sav, idx, i, off);
 584         if (error != 0) {
 585                 key_freesav(&sav);
 586                 key_freesp(&sp);
 587         }
 588         return (error);
 589 bad:
 590         IPSEC6STAT_INC(ips_out_inval);
 591         if (m != NULL)
 592                 m_freem(m);
 593         if (sav != NULL)
 594                 key_freesav(&sav);
 595         key_freesp(&sp);
 596         return (error);
 597 }
 598
 599 int
 600 ipsec6_process_packet(struct mbuf *m, struct secpolicy *sp,
 601     struct inpcb *inp)
 602 {
 603
 604         return (ipsec6_perform_request(m, sp, 0));
 605 }
 606
 607 static int
 608 ipsec6_common_output(struct mbuf *m, struct inpcb *inp, int forwarding)
 609 {
 610         struct secpolicy *sp;
 611         int error;
 612
 613         /* Lookup for the corresponding outbound security policy */
 614         sp = ipsec6_checkpolicy(m, inp, &error);
 615         if (sp == NULL) {
 616                 if (error == -EINVAL) {
 617                         /* Discarded by policy. */
 618                         m_freem(m);
 619                         return (EACCES);
 620                 }
 621                 return (0); /* No IPsec required. */
 622         }
 623
 624         if (!forwarding) {
 625                 /*
 626                  * Do delayed checksums now because we send before
 627                  * this is done in the normal processing path.
 628                  */
 629                 if (m->m_pkthdr.csum_flags & CSUM_DELAY_DATA_IPV6) {
 630                         in6_delayed_cksum(m, m->m_pkthdr.len -
 631                             sizeof(struct ip6_hdr), sizeof(struct ip6_hdr));
 632                 m->m_pkthdr.csum_flags &= ~CSUM_DELAY_DATA_IPV6;
 633                 }
 634 #ifdef SCTP
 635                 if (m->m_pkthdr.csum_flags & CSUM_SCTP_IPV6) {
 636                         sctp_delayed_cksum(m, sizeof(struct ip6_hdr));
 637                         m->m_pkthdr.csum_flags &= ~CSUM_SCTP_IPV6;
 638                 }
 639 #endif
 640         }
 641         /* NB: callee frees mbuf and releases reference to SP */
 642         error = ipsec6_process_packet(m, sp, inp);
 643         if (error == EJUSTRETURN) {
 644                 /*
 645                  * We had a SP with a level of 'use' and no SA. We
 646                  * will just continue to process the packet without
 647                  * IPsec processing and return without error.
 648                  */
 649                 return (0);
 650         }
 651         if (error == 0)
 652                 return (EINPROGRESS); /* consumed by IPsec */
 653         return (error);
 654 }
 655
 656 /*
 657  * IPSEC_OUTPUT() method implementation for IPv6.
 658  * 0 - no IPsec handling needed
 659  * other values - mbuf consumed by IPsec.
 660  */
 661 int
 662 ipsec6_output(struct mbuf *m, struct inpcb *inp)
 663 {
 664
 665         /*
 666          * If the packet is resubmitted to ip_output (e.g. after
 667          * AH, ESP, etc. processing), there will be a tag to bypass
 668          * the lookup and related policy checking.
 669          */
 670         if (m_tag_find(m, PACKET_TAG_IPSEC_OUT_DONE, NULL) != NULL)
 671                 return (0);
 672
 673         return (ipsec6_common_output(m, inp, 0));
 674 }
 675
 676 /*
 677  * IPSEC_FORWARD() method implementation for IPv6.
 678  * 0 - no IPsec handling needed
 679  * other values - mbuf consumed by IPsec.
 680  */
 681 int
 682 ipsec6_forward(struct mbuf *m)
 683 {
 684
 685         /*
 686          * Check if this packet has an active inbound SP and needs to be
 687          * dropped instead of forwarded.
 688          */
 689         if (ipsec6_in_reject(m, NULL) != 0) {
 690                 m_freem(m);
 691                 return (EACCES);
 692         }
 693         return (ipsec6_common_output(m, NULL, 1));
 694 }
 695 #endif /* INET6 */
 696
 697 int
 698 ipsec_process_done(struct mbuf *m, struct secpolicy *sp, struct secasvar *sav,
 699     u_int idx)
 700 {
 701         struct xform_history *xh;
 702         struct secasindex *saidx;
 703         struct m_tag *mtag;
 704         int error;
 705
 706         saidx = &sav->sah->saidx;
 707         switch (saidx->dst.sa.sa_family) {
 708 #ifdef INET
 709         case AF_INET:
 710                 /* Fix the header length, for AH processing. */
 711                 mtod(m, struct ip *)->ip_len = htons(m->m_pkthdr.len);
 712                 break;
 713 #endif /* INET */
 714 #ifdef INET6
 715         case AF_INET6:
 716                 /* Fix the header length, for AH processing. */
 717                 if (m->m_pkthdr.len < sizeof (struct ip6_hdr)) {
 718                         error = ENXIO;
 719                         goto bad;
 720                 }
 721                 if (m->m_pkthdr.len - sizeof (struct ip6_hdr) > IPV6_MAXPACKET) {
 722                         /* No jumbogram support. */
 723                         error = ENXIO;  /*?*/
 724                         goto bad;
 725                 }
 726                 mtod(m, struct ip6_hdr *)->ip6_plen =
 727                         htons(m->m_pkthdr.len - sizeof(struct ip6_hdr));
 728                 break;
 729 #endif /* INET6 */
 730         default:
 731                 DPRINTF(("%s: unknown protocol family %u\n", __func__,
 732                     saidx->dst.sa.sa_family));
 733                 error = ENXIO;
 734                 goto bad;
 735         }
 736
 737         /*
 738          * Add a record of what we've done to the packet.
 739          */
 740         mtag = m_tag_get(PACKET_TAG_IPSEC_OUT_DONE, sizeof(*xh), M_NOWAIT);
 741         if (mtag == NULL) {
 742                 DPRINTF(("%s: could not get packet tag\n", __func__));
 743                 error = ENOMEM;
 744                 goto bad;
 745         }
 746
 747         xh = (struct xform_history *)(mtag + 1);
 748         xh->dst = saidx->dst;
 749         xh->proto = saidx->proto;
 750         xh->mode = saidx->mode;
 751         xh->spi = sav->spi;
 752         m_tag_prepend(m, mtag);
 753
 754         key_sa_recordxfer(sav, m);              /* record data transfer */
 755
 756         /*
 757          * If there's another (bundled) SA to apply, do so.
 758          * Note that this puts a burden on the kernel stack size.
 759          * If this is a problem we'll need to introduce a queue
 760          * to set the packet on so we can unwind the stack before
 761          * doing further processing.
 762          */
 763         if (++idx < sp->tcount) {
 764                 switch (saidx->dst.sa.sa_family) {
 765 #ifdef INET
 766                 case AF_INET:
 767                         key_freesav(&sav);
 768                         IPSECSTAT_INC(ips_out_bundlesa);
 769                         return (ipsec4_perform_request(m, sp, idx));
 770                         /* NOTREACHED */
 771 #endif
 772 #ifdef INET6
 773                 case AF_INET6:
 774                         key_freesav(&sav);
 775                         IPSEC6STAT_INC(ips_out_bundlesa);
 776                         return (ipsec6_perform_request(m, sp, idx));
 777                         /* NOTREACHED */
 778 #endif /* INET6 */
 779                 default:
 780                         DPRINTF(("%s: unknown protocol family %u\n", __func__,
 781                             saidx->dst.sa.sa_family));
 782                         error = EPFNOSUPPORT;
 783                         goto bad;
 784                 }
 785         }
 786
 787         key_freesp(&sp), sp = NULL;     /* Release reference to SP */
 788 #ifdef INET
 789         /*
 790          * Do UDP encapsulation if SA requires it.
 791          */
 792         if (sav->natt != NULL) {
 793                 error = udp_ipsec_output(m, sav);
 794                 if (error != 0)
 795                         goto bad;
 796         }
 797 #endif /* INET */
 798         /*
 799          * We're done with IPsec processing, transmit the packet using the
 800          * appropriate network protocol (IP or IPv6).
 801          */
 802         switch (saidx->dst.sa.sa_family) {
 803 #ifdef INET
 804         case AF_INET:
 805                 key_freesav(&sav);
 806                 return ip_output(m, NULL, NULL, IP_RAWOUTPUT, NULL, NULL);
 807 #endif /* INET */
 808 #ifdef INET6
 809         case AF_INET6:
 810                 key_freesav(&sav);
 811                 return ip6_output(m, NULL, NULL, 0, NULL, NULL, NULL);
 812 #endif /* INET6 */
 813         }
 814         panic("ipsec_process_done");
 815 bad:
 816         m_freem(m);
 817         key_freesav(&sav);
 818         if (sp != NULL)
 819                 key_freesp(&sp);
 820         return (error);
 821 }
 822
 823 /*
 824  * ipsec_prepend() is optimized version of M_PREPEND().
 825  * ipsec_encap() is called by IPsec output routine for tunnel mode SA.
 826  * It is expected that after IP encapsulation some IPsec transform will
 827  * be performed. Each IPsec transform inserts its variable length header
 828  * just after outer IP header using m_makespace(). If given mbuf has not
 829  * enough free space at the beginning, we allocate new mbuf and reserve
 830  * some space at the beginning and at the end.
 831  * This helps avoid allocating of new mbuf and data copying in m_makespace(),
 832  * we place outer header in the middle of mbuf's data with reserved leading
 833  * and trailing space:
 834  *      [ LEADINGSPACE ][ Outer IP header ][ TRAILINGSPACE ]
 835  * LEADINGSPACE will be used to add ethernet header, TRAILINGSPACE will
 836  * be used to inject AH/ESP/IPCOMP header.
 837  */
 838 #define IPSEC_TRAILINGSPACE     (sizeof(struct udphdr) +/* NAT-T */     \
 839     max(sizeof(struct newesp) + EALG_MAX_BLOCK_LEN,     /* ESP + IV */  \
 840         sizeof(struct newah) + HASH_MAX_LEN             /* AH + ICV */))
 841 static struct mbuf *
 842 ipsec_prepend(struct mbuf *m, int len, int how)
 843 {
 844         struct mbuf *n;
 845
 846         M_ASSERTPKTHDR(m);
 847         IPSEC_ASSERT(len < MHLEN, ("wrong length"));
 848         if (M_LEADINGSPACE(m) >= len) {
 849                 /* No need to allocate new mbuf. */
 850                 m->m_data -= len;
 851                 m->m_len += len;
 852                 m->m_pkthdr.len += len;
 853                 return (m);
 854         }
 855         n = m_gethdr(how, m->m_type);
 856         if (n == NULL) {
 857                 m_freem(m);
 858                 return (NULL);
 859         }
 860         m_move_pkthdr(n, m);
 861         n->m_next = m;
 862         if (len + IPSEC_TRAILINGSPACE < M_SIZE(n))
 863                 m_align(n, len + IPSEC_TRAILINGSPACE);
 864         n->m_len = len;
 865         n->m_pkthdr.len += len;
 866         return (n);
 867 }
 868
 869 static int
 870 ipsec_encap(struct mbuf **mp, struct secasindex *saidx)
 871 {
 872 #ifdef INET6
 873         struct ip6_hdr *ip6;
 874 #endif
 875         struct ip *ip;
 876         int setdf;
 877         uint8_t itos, proto;
 878
 879         ip = mtod(*mp, struct ip *);
 880         switch (ip->ip_v) {
 881 #ifdef INET
 882         case IPVERSION:
 883                 proto = IPPROTO_IPIP;
 884                 /*
 885                  * Collect IP_DF state from the inner header
 886                  * and honor system-wide control of how to handle it.
 887                  */
 888                 switch (V_ip4_ipsec_dfbit) {
 889                 case 0: /* clear in outer header */
 890                 case 1: /* set in outer header */
 891                         setdf = V_ip4_ipsec_dfbit;
 892                         break;
 893                 default:/* propagate to outer header */
 894                         setdf = (ip->ip_off & htons(IP_DF)) != 0;
 895                 }
 896                 itos = ip->ip_tos;
 897                 break;
 898 #endif
 899 #ifdef INET6
 900         case (IPV6_VERSION >> 4):
 901                 proto = IPPROTO_IPV6;
 902                 ip6 = mtod(*mp, struct ip6_hdr *);
 903                 itos = (ntohl(ip6->ip6_flow) >> 20) & 0xff;
 904                 setdf = V_ip4_ipsec_dfbit ? 1: 0;
 905                 /* scoped address handling */
 906                 in6_clearscope(&ip6->ip6_src);
 907                 in6_clearscope(&ip6->ip6_dst);
 908                 break;
 909 #endif
 910         default:
 911                 return (EAFNOSUPPORT);
 912         }
 913         switch (saidx->dst.sa.sa_family) {
 914 #ifdef INET
 915         case AF_INET:
 916                 if (saidx->src.sa.sa_family != AF_INET ||
 917                     saidx->src.sin.sin_addr.s_addr == INADDR_ANY ||
 918                     saidx->dst.sin.sin_addr.s_addr == INADDR_ANY)
 919                         return (EINVAL);
 920                 *mp = ipsec_prepend(*mp, sizeof(struct ip), M_NOWAIT);
 921                 if (*mp == NULL)
 922                         return (ENOBUFS);
 923                 ip = mtod(*mp, struct ip *);
 924                 ip->ip_v = IPVERSION;
 925                 ip->ip_hl = sizeof(struct ip) >> 2;
 926                 ip->ip_p = proto;
 927                 ip->ip_len = htons((*mp)->m_pkthdr.len);
 928                 ip->ip_ttl = V_ip_defttl;
 929                 ip->ip_sum = 0;
 930                 ip->ip_off = setdf ? htons(IP_DF): 0;
 931                 ip->ip_src = saidx->src.sin.sin_addr;
 932                 ip->ip_dst = saidx->dst.sin.sin_addr;
 933                 ip_ecn_ingress(V_ip4_ipsec_ecn, &ip->ip_tos, &itos);
 934                 ip_fillid(ip);
 935                 break;
 936 #endif /* INET */
 937 #ifdef INET6
 938         case AF_INET6:
 939                 if (saidx->src.sa.sa_family != AF_INET6 ||
 940                     IN6_IS_ADDR_UNSPECIFIED(&saidx->src.sin6.sin6_addr) ||
 941                     IN6_IS_ADDR_UNSPECIFIED(&saidx->dst.sin6.sin6_addr))
 942                         return (EINVAL);
 943                 *mp = ipsec_prepend(*mp, sizeof(struct ip6_hdr), M_NOWAIT);
 944                 if (*mp == NULL)
 945                         return (ENOBUFS);
 946                 ip6 = mtod(*mp, struct ip6_hdr *);
 947                 ip6->ip6_flow = 0;
 948                 ip6->ip6_vfc = IPV6_VERSION;
 949                 ip6->ip6_hlim = V_ip6_defhlim;
 950                 ip6->ip6_nxt = proto;
 951                 ip6->ip6_dst = saidx->dst.sin6.sin6_addr;
 952                 /* For link-local address embed scope zone id */
 953                 if (IN6_IS_SCOPE_LINKLOCAL(&ip6->ip6_dst))
 954                         ip6->ip6_dst.s6_addr16[1] =
 955                             htons(saidx->dst.sin6.sin6_scope_id & 0xffff);
 956                 ip6->ip6_src = saidx->src.sin6.sin6_addr;
 957                 if (IN6_IS_SCOPE_LINKLOCAL(&ip6->ip6_src))
 958                         ip6->ip6_src.s6_addr16[1] =
 959                             htons(saidx->src.sin6.sin6_scope_id & 0xffff);
 960                 ip6->ip6_plen = htons((*mp)->m_pkthdr.len - sizeof(*ip6));
 961                 ip_ecn_ingress(V_ip6_ipsec_ecn, &proto, &itos);
 962                 ip6->ip6_flow |= htonl((uint32_t)proto << 20);
 963                 break;
 964 #endif /* INET6 */
 965         default:
 966                 return (EAFNOSUPPORT);
 967         }
 968         (*mp)->m_flags &= ~(M_BCAST | M_MCAST);
 969         return (0);
 970 }
 971