sys/netinet6/in6_pcbgroup.c

   1 /*-
   2  * Copyright (c) 2010-2011 Juniper Networks, Inc.
   3  * All rights reserved.
   4  *
   5  * This software was developed by Robert N. M. Watson under contract
   6  * to Juniper Networks, Inc.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  18  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  19  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  20  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  21  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  22  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  23  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  24  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  27  * SUCH DAMAGE.
  28  */
  29
  30 #include <sys/cdefs.h>
  31
  32 __FBSDID("$FreeBSD$");
  33
  34 #include "opt_inet6.h"
  35 #include "opt_rss.h"
  36
  37 #include <sys/param.h>
  38 #include <sys/mbuf.h>
  39
  40 #include <net/rss_config.h>
  41
  42 #include <netinet/in.h>
  43 #include <netinet/in_pcb.h>
  44 #ifdef INET6
  45 #include <netinet6/in6_pcb.h>
  46 #include <netinet6/in6_rss.h>
  47 #endif /* INET6 */
  48
  49 /*
  50  * Given a hash of whatever the covered tuple might be, return a pcbgroup
  51  * index.  Where RSS is supported, try to align bucket selection with RSS CPU
  52  * affinity strategy.
  53  */
  54 static __inline u_int
  55 in6_pcbgroup_getbucket(struct inpcbinfo *pcbinfo, uint32_t hash)
  56 {
  57
  58 #ifdef RSS
  59         return (rss_getbucket(hash));
  60 #else
  61         return (hash % pcbinfo->ipi_npcbgroups);
  62 #endif
  63 }
  64
  65 /*
  66  * Map a (hashtype, hash) tuple into a connection group, or NULL if the hash
  67  * information is insufficient to identify the pcbgroup.  This might occur if
  68  * a TCP packet turnsup with a 2-tuple hash, or if an RSS hash is present but
  69  * RSS is not compiled into the kernel.
  70  */
  71 struct inpcbgroup *
  72 in6_pcbgroup_byhash(struct inpcbinfo *pcbinfo, u_int hashtype, uint32_t hash)
  73 {
  74
  75 #ifdef RSS
  76         if ((pcbinfo->ipi_hashfields == IPI_HASHFIELDS_4TUPLE &&
  77             hashtype == M_HASHTYPE_RSS_TCP_IPV6) ||
  78             (pcbinfo->ipi_hashfields == IPI_HASHFIELDS_4TUPLE &&
  79             hashtype == M_HASHTYPE_RSS_UDP_IPV6) ||
  80             (pcbinfo->ipi_hashfields == IPI_HASHFIELDS_2TUPLE &&
  81             hashtype == M_HASHTYPE_RSS_IPV6))
  82                 return (&pcbinfo->ipi_pcbgroups[
  83                     in6_pcbgroup_getbucket(pcbinfo, hash)]);
  84 #endif
  85         return (NULL);
  86 }
  87
  88 struct inpcbgroup *
  89 in6_pcbgroup_bymbuf(struct inpcbinfo *pcbinfo, struct mbuf *m)
  90 {
  91
  92         return (in6_pcbgroup_byhash(pcbinfo, M_HASHTYPE_GET(m),
  93             m->m_pkthdr.flowid));
  94 }
  95
  96 struct inpcbgroup *
  97 in6_pcbgroup_bytuple(struct inpcbinfo *pcbinfo, const struct in6_addr *laddrp,
  98     u_short lport, const struct in6_addr *faddrp, u_short fport)
  99 {
 100         uint32_t hash;
 101
 102         /*
 103          * RSS note: we pass foreign addr/port as source, and local addr/port
 104          * as destination, as we want to align with what the hardware is
 105          * doing.
 106          */
 107         switch (pcbinfo->ipi_hashfields) {
 108         case IPI_HASHFIELDS_4TUPLE:
 109 #ifdef RSS
 110                 hash = rss_hash_ip6_4tuple(faddrp, fport, laddrp, lport);
 111 #else
 112                 hash = faddrp->s6_addr32[3] ^ fport;
 113 #endif
 114                 break;
 115
 116         case IPI_HASHFIELDS_2TUPLE:
 117 #ifdef RSS
 118                 hash = rss_hash_ip6_2tuple(faddrp, laddrp);
 119 #else
 120                 hash = faddrp->s6_addr32[3] ^ laddrp->s6_addr32[3];
 121 #endif
 122                 break;
 123
 124         default:
 125                 hash = 0;
 126         }
 127         return (&pcbinfo->ipi_pcbgroups[in6_pcbgroup_getbucket(pcbinfo,
 128             hash)]);
 129 }
 130
 131 struct inpcbgroup *
 132 in6_pcbgroup_byinpcb(struct inpcb *inp)
 133 {
 134
 135 #ifdef  RSS
 136         /*
 137          * Listen sockets with INP_RSS_BUCKET_SET set have a pre-determined
 138          * RSS bucket and thus we should use this pcbgroup, rather than
 139          * using a tuple or hash.
 140          *
 141          * XXX should verify that there's actually pcbgroups and inp_rss_listen_bucket
 142          * fits in that!
 143          */
 144         if (inp->inp_flags2 & INP_RSS_BUCKET_SET)
 145                 return (&inp->inp_pcbinfo->ipi_pcbgroups[inp->inp_rss_listen_bucket]);
 146 #endif
 147
 148         return (in6_pcbgroup_bytuple(inp->inp_pcbinfo, &inp->in6p_laddr,
 149             inp->inp_lport, &inp->in6p_faddr, inp->inp_fport));
 150 }