sys/netgraph/ng_socket.c

   1 /*
   2  * ng_socket.c
   3  */
   4
   5 /*-
   6  * Copyright (c) 1996-1999 Whistle Communications, Inc.
   7  * All rights reserved.
   8  *
   9  * Subject to the following obligations and disclaimer of warranty, use and
  10  * redistribution of this software, in source or object code forms, with or
  11  * without modifications are expressly permitted by Whistle Communications;
  12  * provided, however, that:
  13  * 1. Any and all reproductions of the source or object code must include the
  14  *    copyright notice above and the following disclaimer of warranties; and
  15  * 2. No rights are granted, in any manner or form, to use Whistle
  16  *    Communications, Inc. trademarks, including the mark "WHISTLE
  17  *    COMMUNICATIONS" on advertising, endorsements, or otherwise except as
  18  *    such appears in the above copyright notice or in the software.
  19  *
  20  * THIS SOFTWARE IS BEING PROVIDED BY WHISTLE COMMUNICATIONS "AS IS", AND
  21  * TO THE MAXIMUM EXTENT PERMITTED BY LAW, WHISTLE COMMUNICATIONS MAKES NO
  22  * REPRESENTATIONS OR WARRANTIES, EXPRESS OR IMPLIED, REGARDING THIS SOFTWARE,
  23  * INCLUDING WITHOUT LIMITATION, ANY AND ALL IMPLIED WARRANTIES OF
  24  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE, OR NON-INFRINGEMENT.
  25  * WHISTLE COMMUNICATIONS DOES NOT WARRANT, GUARANTEE, OR MAKE ANY
  26  * REPRESENTATIONS REGARDING THE USE OF, OR THE RESULTS OF THE USE OF THIS
  27  * SOFTWARE IN TERMS OF ITS CORRECTNESS, ACCURACY, RELIABILITY OR OTHERWISE.
  28  * IN NO EVENT SHALL WHISTLE COMMUNICATIONS BE LIABLE FOR ANY DAMAGES
  29  * RESULTING FROM OR ARISING OUT OF ANY USE OF THIS SOFTWARE, INCLUDING
  30  * WITHOUT LIMITATION, ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY,
  31  * PUNITIVE, OR CONSEQUENTIAL DAMAGES, PROCUREMENT OF SUBSTITUTE GOODS OR
  32  * SERVICES, LOSS OF USE, DATA OR PROFITS, HOWEVER CAUSED AND UNDER ANY
  33  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  34  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  35  * THIS SOFTWARE, EVEN IF WHISTLE COMMUNICATIONS IS ADVISED OF THE POSSIBILITY
  36  * OF SUCH DAMAGE.
  37  *
  38  * Author: Julian Elischer <julian@freebsd.org>
  39  *
  40  * $FreeBSD$
  41  * $Whistle: ng_socket.c,v 1.28 1999/11/01 09:24:52 julian Exp $
  42  */
  43
  44 /*
  45  * Netgraph socket nodes
  46  *
  47  * There are two types of netgraph sockets, control and data.
  48  * Control sockets have a netgraph node, but data sockets are
  49  * parasitic on control sockets, and have no node of their own.
  50  */
  51
  52 #include <sys/param.h>
  53 #include <sys/domain.h>
  54 #include <sys/hash.h>
  55 #include <sys/kernel.h>
  56 #include <sys/linker.h>
  57 #include <sys/lock.h>
  58 #include <sys/malloc.h>
  59 #include <sys/mbuf.h>
  60 #include <sys/mutex.h>
  61 #include <sys/priv.h>
  62 #include <sys/protosw.h>
  63 #include <sys/queue.h>
  64 #include <sys/socket.h>
  65 #include <sys/socketvar.h>
  66 #include <sys/syscallsubr.h>
  67 #include <sys/sysctl.h>
  68
  69 #include <net/vnet.h>
  70
  71 #include <netgraph/ng_message.h>
  72 #include <netgraph/netgraph.h>
  73 #include <netgraph/ng_socketvar.h>
  74 #include <netgraph/ng_socket.h>
  75
  76 #ifdef NG_SEPARATE_MALLOC
  77 static MALLOC_DEFINE(M_NETGRAPH_PATH, "netgraph_path", "netgraph path info");
  78 static MALLOC_DEFINE(M_NETGRAPH_SOCK, "netgraph_sock", "netgraph socket info");
  79 #else
  80 #define M_NETGRAPH_PATH M_NETGRAPH
  81 #define M_NETGRAPH_SOCK M_NETGRAPH
  82 #endif
  83
  84 /*
  85  * It's Ascii-art time!
  86  *   +-------------+   +-------------+
  87  *   |socket  (ctl)|   |socket (data)|
  88  *   +-------------+   +-------------+
  89  *          ^                 ^
  90  *          |                 |
  91  *          v                 v
  92  *    +-----------+     +-----------+
  93  *    |pcb   (ctl)|     |pcb  (data)|
  94  *    +-----------+     +-----------+
  95  *          ^                 ^
  96  *          |                 |
  97  *          v                 v
  98  *      +--------------------------+
  99  *      |   Socket type private    |
 100  *      |       data               |
 101  *      +--------------------------+
 102  *                   ^
 103  *                   |
 104  *                   v
 105  *           +----------------+
 106  *           | struct ng_node |
 107  *           +----------------+
 108  */
 109
 110 /* Netgraph node methods */
 111 static ng_constructor_t ngs_constructor;
 112 static ng_rcvmsg_t      ngs_rcvmsg;
 113 static ng_shutdown_t    ngs_shutdown;
 114 static ng_newhook_t     ngs_newhook;
 115 static ng_connect_t     ngs_connect;
 116 static ng_findhook_t    ngs_findhook;
 117 static ng_rcvdata_t     ngs_rcvdata;
 118 static ng_disconnect_t  ngs_disconnect;
 119
 120 /* Internal methods */
 121 static int      ng_attach_data(struct socket *so);
 122 static int      ng_attach_cntl(struct socket *so);
 123 static int      ng_attach_common(struct socket *so, int type);
 124 static void     ng_detach_common(struct ngpcb *pcbp, int type);
 125 static void     ng_socket_free_priv(struct ngsock *priv);
 126 static int      ng_connect_data(struct sockaddr *nam, struct ngpcb *pcbp);
 127 static int      ng_bind(struct sockaddr *nam, struct ngpcb *pcbp);
 128
 129 static int      ngs_mod_event(module_t mod, int event, void *data);
 130 static void     ng_socket_item_applied(void *context, int error);
 131
 132 /* Netgraph type descriptor */
 133 static struct ng_type typestruct = {
 134         .version =      NG_ABI_VERSION,
 135         .name =         NG_SOCKET_NODE_TYPE,
 136         .mod_event =    ngs_mod_event,
 137         .constructor =  ngs_constructor,
 138         .rcvmsg =       ngs_rcvmsg,
 139         .shutdown =     ngs_shutdown,
 140         .newhook =      ngs_newhook,
 141         .connect =      ngs_connect,
 142         .findhook =     ngs_findhook,
 143         .rcvdata =      ngs_rcvdata,
 144         .disconnect =   ngs_disconnect,
 145 };
 146 NETGRAPH_INIT_ORDERED(socket, &typestruct, SI_SUB_PROTO_DOMAIN, SI_ORDER_ANY);
 147
 148 /* Buffer space */
 149 static u_long ngpdg_sendspace = 20 * 1024;      /* really max datagram size */
 150 SYSCTL_ULONG(_net_graph, OID_AUTO, maxdgram, CTLFLAG_RW,
 151     &ngpdg_sendspace , 0, "Maximum outgoing Netgraph datagram size");
 152 static u_long ngpdg_recvspace = 20 * 1024;
 153 SYSCTL_ULONG(_net_graph, OID_AUTO, recvspace, CTLFLAG_RW,
 154     &ngpdg_recvspace , 0, "Maximum space for incoming Netgraph datagrams");
 155
 156 /* List of all sockets (for netstat -f netgraph) */
 157 static LIST_HEAD(, ngpcb) ngsocklist;
 158
 159 static struct mtx       ngsocketlist_mtx;
 160
 161 #define sotongpcb(so) ((struct ngpcb *)(so)->so_pcb)
 162
 163 /* If getting unexplained errors returned, set this to "kdb_enter("X"); */
 164 #ifndef TRAP_ERROR
 165 #define TRAP_ERROR
 166 #endif
 167
 168 struct hookpriv {
 169         LIST_ENTRY(hookpriv)    next;
 170         hook_p                  hook;
 171 };
 172 LIST_HEAD(ngshash, hookpriv);
 173
 174 /* Per-node private data */
 175 struct ngsock {
 176         struct ng_node  *node;          /* the associated netgraph node */
 177         struct ngpcb    *datasock;      /* optional data socket */
 178         struct ngpcb    *ctlsock;       /* optional control socket */
 179         struct ngshash  *hash;          /* hash for hook names */
 180         u_long          hmask;          /* hash mask */
 181         int     flags;
 182         int     refs;
 183         struct mtx      mtx;            /* mtx to wait on */
 184         int             error;          /* place to store error */
 185 };
 186
 187 #define NGS_FLAG_NOLINGER       1       /* close with last hook */
 188
 189 /***************************************************************
 190         Control sockets
 191 ***************************************************************/
 192
 193 static int
 194 ngc_attach(struct socket *so, int proto, struct thread *td)
 195 {
 196         struct ngpcb *const pcbp = sotongpcb(so);
 197         int error;
 198
 199         error = priv_check(td, PRIV_NETGRAPH_CONTROL);
 200         if (error)
 201                 return (error);
 202         if (pcbp != NULL)
 203                 return (EISCONN);
 204         return (ng_attach_cntl(so));
 205 }
 206
 207 static void
 208 ngc_detach(struct socket *so)
 209 {
 210         struct ngpcb *const pcbp = sotongpcb(so);
 211
 212         KASSERT(pcbp != NULL, ("ngc_detach: pcbp == NULL"));
 213         ng_detach_common(pcbp, NG_CONTROL);
 214 }
 215
 216 static int
 217 ngc_send(struct socket *so, int flags, struct mbuf *m, struct sockaddr *addr,
 218          struct mbuf *control, struct thread *td)
 219 {
 220         struct ngpcb *const pcbp = sotongpcb(so);
 221         struct ngsock *const priv = NG_NODE_PRIVATE(pcbp->sockdata->node);
 222         struct sockaddr_ng *const sap = (struct sockaddr_ng *) addr;
 223         struct ng_mesg *msg;
 224         struct mbuf *m0;
 225         item_p item;
 226         char *path = NULL;
 227         int len, error = 0;
 228         struct ng_apply_info apply;
 229
 230         if (control) {
 231                 error = EINVAL;
 232                 goto release;
 233         }
 234
 235         /* Require destination as there may be >= 1 hooks on this node. */
 236         if (addr == NULL) {
 237                 error = EDESTADDRREQ;
 238                 goto release;
 239         }
 240
 241         /*
 242          * Allocate an expendable buffer for the path, chop off
 243          * the sockaddr header, and make sure it's NUL terminated.
 244          */
 245         len = sap->sg_len - 2;
 246         path = malloc(len + 1, M_NETGRAPH_PATH, M_WAITOK);
 247         bcopy(sap->sg_data, path, len);
 248         path[len] = '\0';
 249
 250         /*
 251          * Move the actual message out of mbufs into a linear buffer.
 252          * Start by adding up the size of the data. (could use mh_len?)
 253          */
 254         for (len = 0, m0 = m; m0 != NULL; m0 = m0->m_next)
 255                 len += m0->m_len;
 256
 257         /*
 258          * Move the data into a linear buffer as well.
 259          * Messages are not delivered in mbufs.
 260          */
 261         msg = malloc(len + 1, M_NETGRAPH_MSG, M_WAITOK);
 262         m_copydata(m, 0, len, (char *)msg);
 263
 264         if (msg->header.version != NG_VERSION) {
 265                 free(msg, M_NETGRAPH_MSG);
 266                 error = EINVAL;
 267                 goto release;
 268         }
 269
 270         /*
 271          * Hack alert!
 272          * We look into the message and if it mkpeers a node of unknown type, we
 273          * try to load it. We need to do this now, in syscall thread, because if
 274          * message gets queued and applied later we will get panic.
 275          */
 276         if (msg->header.typecookie == NGM_GENERIC_COOKIE &&
 277             msg->header.cmd == NGM_MKPEER) {
 278                 struct ngm_mkpeer *const mkp = (struct ngm_mkpeer *) msg->data;
 279
 280                 if (ng_findtype(mkp->type) == NULL) {
 281                         char filename[NG_TYPESIZ + 3];
 282                         int fileid;
 283
 284                         /* Not found, try to load it as a loadable module. */
 285                         snprintf(filename, sizeof(filename), "ng_%s",
 286                             mkp->type);
 287                         error = kern_kldload(curthread, filename, &fileid);
 288                         if (error != 0) {
 289                                 free(msg, M_NETGRAPH_MSG);
 290                                 goto release;
 291                         }
 292
 293                         /* See if type has been loaded successfully. */
 294                         if (ng_findtype(mkp->type) == NULL) {
 295                                 free(msg, M_NETGRAPH_MSG);
 296                                 (void)kern_kldunload(curthread, fileid,
 297                                     LINKER_UNLOAD_NORMAL);
 298                                 error =  ENXIO;
 299                                 goto release;
 300                         }
 301                 }
 302         }
 303
 304         item = ng_package_msg(msg, M_WAITOK);
 305         if ((error = ng_address_path((pcbp->sockdata->node), item, path, 0))
 306             != 0) {
 307 #ifdef TRACE_MESSAGES
 308                 printf("ng_address_path: errx=%d\n", error);
 309 #endif
 310                 goto release;
 311         }
 312
 313 #ifdef TRACE_MESSAGES
 314         printf("[%x]:<---------[socket]: c=<%d>cmd=%x(%s) f=%x #%d (%s)\n",
 315                 item->el_dest->nd_ID,
 316                 msg->header.typecookie,
 317                 msg->header.cmd,
 318                 msg->header.cmdstr,
 319                 msg->header.flags,
 320                 msg->header.token,
 321                 item->el_dest->nd_type->name);
 322 #endif
 323         SAVE_LINE(item);
 324         /*
 325          * We do not want to return from syscall until the item
 326          * is processed by destination node. We register callback
 327          * on the item, which will update priv->error when item
 328          * was applied.
 329          * If ng_snd_item() has queued item, we sleep until
 330          * callback wakes us up.
 331          */
 332         bzero(&apply, sizeof(apply));
 333         apply.apply = ng_socket_item_applied;
 334         apply.context = priv;
 335         item->apply = &apply;
 336         priv->error = -1;
 337
 338         error = ng_snd_item(item, 0);
 339
 340         mtx_lock(&priv->mtx);
 341         if (priv->error == -1)
 342                 msleep(priv, &priv->mtx, 0, "ngsock", 0);
 343         mtx_unlock(&priv->mtx);
 344         KASSERT(priv->error != -1,
 345             ("ng_socket: priv->error wasn't updated"));
 346         error = priv->error;
 347
 348 release:
 349         if (path != NULL)
 350                 free(path, M_NETGRAPH_PATH);
 351         if (control != NULL)
 352                 m_freem(control);
 353         if (m != NULL)
 354                 m_freem(m);
 355         return (error);
 356 }
 357
 358 static int
 359 ngc_bind(struct socket *so, struct sockaddr *nam, struct thread *td)
 360 {
 361         struct ngpcb *const pcbp = sotongpcb(so);
 362
 363         if (pcbp == 0)
 364                 return (EINVAL);
 365         return (ng_bind(nam, pcbp));
 366 }
 367
 368 static int
 369 ngc_connect(struct socket *so, struct sockaddr *nam, struct thread *td)
 370 {
 371         /*
 372          * At this time refuse to do this.. it used to
 373          * do something but it was undocumented and not used.
 374          */
 375         printf("program tried to connect control socket to remote node\n");
 376         return (EINVAL);
 377 }
 378
 379 /***************************************************************
 380         Data sockets
 381 ***************************************************************/
 382
 383 static int
 384 ngd_attach(struct socket *so, int proto, struct thread *td)
 385 {
 386         struct ngpcb *const pcbp = sotongpcb(so);
 387
 388         if (pcbp != NULL)
 389                 return (EISCONN);
 390         return (ng_attach_data(so));
 391 }
 392
 393 static void
 394 ngd_detach(struct socket *so)
 395 {
 396         struct ngpcb *const pcbp = sotongpcb(so);
 397
 398         KASSERT(pcbp != NULL, ("ngd_detach: pcbp == NULL"));
 399         ng_detach_common(pcbp, NG_DATA);
 400 }
 401
 402 static int
 403 ngd_send(struct socket *so, int flags, struct mbuf *m, struct sockaddr *addr,
 404          struct mbuf *control, struct thread *td)
 405 {
 406         struct ngpcb *const pcbp = sotongpcb(so);
 407         struct sockaddr_ng *const sap = (struct sockaddr_ng *) addr;
 408         int     len, error;
 409         hook_p  hook = NULL;
 410         char    hookname[NG_HOOKSIZ];
 411
 412         if ((pcbp == NULL) || (control != NULL)) {
 413                 error = EINVAL;
 414                 goto release;
 415         }
 416         if (pcbp->sockdata == NULL) {
 417                 error = ENOTCONN;
 418                 goto release;
 419         }
 420
 421         if (sap == NULL)
 422                 len = 0;                /* Make compiler happy. */
 423         else
 424                 len = sap->sg_len - 2;
 425
 426         /*
 427          * If the user used any of these ways to not specify an address
 428          * then handle specially.
 429          */
 430         if ((sap == NULL) || (len <= 0) || (*sap->sg_data == '\0')) {
 431                 if (NG_NODE_NUMHOOKS(pcbp->sockdata->node) != 1) {
 432                         error = EDESTADDRREQ;
 433                         goto release;
 434                 }
 435                 /*
 436                  * If exactly one hook exists, just use it.
 437                  * Special case to allow write(2) to work on an ng_socket.
 438                  */
 439                 hook = LIST_FIRST(&pcbp->sockdata->node->nd_hooks);
 440         } else {
 441                 if (len >= NG_HOOKSIZ) {
 442                         error = EINVAL;
 443                         goto release;
 444                 }
 445
 446                 /*
 447                  * chop off the sockaddr header, and make sure it's NUL
 448                  * terminated
 449                  */
 450                 bcopy(sap->sg_data, hookname, len);
 451                 hookname[len] = '\0';
 452
 453                 /* Find the correct hook from 'hookname' */
 454                 hook = ng_findhook(pcbp->sockdata->node, hookname);
 455                 if (hook == NULL) {
 456                         error = EHOSTUNREACH;
 457                         goto release;
 458                 }
 459         }
 460
 461         /* Send data. */
 462         NG_SEND_DATA_FLAGS(error, hook, m, NG_WAITOK);
 463
 464 release:
 465         if (control != NULL)
 466                 m_freem(control);
 467         if (m != NULL)
 468                 m_freem(m);
 469         return (error);
 470 }
 471
 472 static int
 473 ngd_connect(struct socket *so, struct sockaddr *nam, struct thread *td)
 474 {
 475         struct ngpcb *const pcbp = sotongpcb(so);
 476
 477         if (pcbp == 0)
 478                 return (EINVAL);
 479         return (ng_connect_data(nam, pcbp));
 480 }
 481
 482 /*
 483  * Used for both data and control sockets
 484  */
 485 static int
 486 ng_getsockaddr(struct socket *so, struct sockaddr **addr)
 487 {
 488         struct ngpcb *pcbp;
 489         struct sockaddr_ng *sg;
 490         int sg_len;
 491         int error = 0;
 492
 493         pcbp = sotongpcb(so);
 494         if ((pcbp == NULL) || (pcbp->sockdata == NULL))
 495                 /* XXXGL: can this still happen? */
 496                 return (EINVAL);
 497
 498         sg_len = sizeof(struct sockaddr_ng) + NG_NODESIZ -
 499             sizeof(sg->sg_data);
 500         sg = malloc(sg_len, M_SONAME, M_WAITOK | M_ZERO);
 501
 502         mtx_lock(&pcbp->sockdata->mtx);
 503         if (pcbp->sockdata->node != NULL) {
 504                 node_p node = pcbp->sockdata->node;
 505
 506                 if (NG_NODE_HAS_NAME(node))
 507                         bcopy(NG_NODE_NAME(node), sg->sg_data,
 508                             strlen(NG_NODE_NAME(node)));
 509                 mtx_unlock(&pcbp->sockdata->mtx);
 510
 511                 sg->sg_len = sg_len;
 512                 sg->sg_family = AF_NETGRAPH;
 513                 *addr = (struct sockaddr *)sg;
 514         } else {
 515                 mtx_unlock(&pcbp->sockdata->mtx);
 516                 free(sg, M_SONAME);
 517                 error = EINVAL;
 518         }
 519
 520         return (error);
 521 }
 522
 523 /*
 524  * Attach a socket to it's protocol specific partner.
 525  * For a control socket, actually create a netgraph node and attach
 526  * to it as well.
 527  */
 528
 529 static int
 530 ng_attach_cntl(struct socket *so)
 531 {
 532         struct ngsock *priv;
 533         struct ngpcb *pcbp;
 534         node_p node;
 535         int error;
 536
 537         /* Setup protocol control block */
 538         if ((error = ng_attach_common(so, NG_CONTROL)) != 0)
 539                 return (error);
 540         pcbp = sotongpcb(so);
 541
 542         /* Make the generic node components */
 543         if ((error = ng_make_node_common(&typestruct, &node)) != 0) {
 544                 ng_detach_common(pcbp, NG_CONTROL);
 545                 return (error);
 546         }
 547
 548         /*
 549          * Allocate node private info and hash. We start
 550          * with 16 hash entries, however we may grow later
 551          * in ngs_newhook(). We can't predict how much hooks
 552          * does this node plan to have.
 553          */
 554         priv = malloc(sizeof(*priv), M_NETGRAPH_SOCK, M_WAITOK | M_ZERO);
 555         priv->hash = hashinit(16, M_NETGRAPH_SOCK, &priv->hmask);
 556
 557         /* Initialize mutex. */
 558         mtx_init(&priv->mtx, "ng_socket", NULL, MTX_DEF);
 559
 560         /* Link the pcb the private data. */
 561         priv->ctlsock = pcbp;
 562         pcbp->sockdata = priv;
 563         priv->refs++;
 564         priv->node = node;
 565         pcbp->node_id = node->nd_ID;    /* hint for netstat(1) */
 566
 567         /* Link the node and the private data. */
 568         NG_NODE_SET_PRIVATE(priv->node, priv);
 569         NG_NODE_REF(priv->node);
 570         priv->refs++;
 571
 572         return (0);
 573 }
 574
 575 static int
 576 ng_attach_data(struct socket *so)
 577 {
 578         return (ng_attach_common(so, NG_DATA));
 579 }
 580
 581 /*
 582  * Set up a socket protocol control block.
 583  * This code is shared between control and data sockets.
 584  */
 585 static int
 586 ng_attach_common(struct socket *so, int type)
 587 {
 588         struct ngpcb *pcbp;
 589         int error;
 590
 591         /* Standard socket setup stuff. */
 592         error = soreserve(so, ngpdg_sendspace, ngpdg_recvspace);
 593         if (error)
 594                 return (error);
 595
 596         /* Allocate the pcb. */
 597         pcbp = malloc(sizeof(struct ngpcb), M_PCB, M_WAITOK | M_ZERO);
 598         pcbp->type = type;
 599
 600         /* Link the pcb and the socket. */
 601         so->so_pcb = (caddr_t)pcbp;
 602         pcbp->ng_socket = so;
 603
 604         /* Add the socket to linked list */
 605         mtx_lock(&ngsocketlist_mtx);
 606         LIST_INSERT_HEAD(&ngsocklist, pcbp, socks);
 607         mtx_unlock(&ngsocketlist_mtx);
 608         return (0);
 609 }
 610
 611 /*
 612  * Disassociate the socket from it's protocol specific
 613  * partner. If it's attached to a node's private data structure,
 614  * then unlink from that too. If we were the last socket attached to it,
 615  * then shut down the entire node. Shared code for control and data sockets.
 616  */
 617 static void
 618 ng_detach_common(struct ngpcb *pcbp, int which)
 619 {
 620         struct ngsock *priv = pcbp->sockdata;
 621
 622         if (priv != NULL) {
 623                 mtx_lock(&priv->mtx);
 624
 625                 switch (which) {
 626                 case NG_CONTROL:
 627                         priv->ctlsock = NULL;
 628                         break;
 629                 case NG_DATA:
 630                         priv->datasock = NULL;
 631                         break;
 632                 default:
 633                         panic("%s", __func__);
 634                 }
 635                 pcbp->sockdata = NULL;
 636                 pcbp->node_id = 0;
 637
 638                 ng_socket_free_priv(priv);
 639         }
 640
 641         pcbp->ng_socket->so_pcb = NULL;
 642         mtx_lock(&ngsocketlist_mtx);
 643         LIST_REMOVE(pcbp, socks);
 644         mtx_unlock(&ngsocketlist_mtx);
 645         free(pcbp, M_PCB);
 646 }
 647
 648 /*
 649  * Remove a reference from node private data.
 650  */
 651 static void
 652 ng_socket_free_priv(struct ngsock *priv)
 653 {
 654         mtx_assert(&priv->mtx, MA_OWNED);
 655
 656         priv->refs--;
 657
 658         if (priv->refs == 0) {
 659                 mtx_destroy(&priv->mtx);
 660                 hashdestroy(priv->hash, M_NETGRAPH_SOCK, priv->hmask);
 661                 free(priv, M_NETGRAPH_SOCK);
 662                 return;
 663         }
 664
 665         if ((priv->refs == 1) && (priv->node != NULL)) {
 666                 node_p node = priv->node;
 667
 668                 priv->node = NULL;
 669                 mtx_unlock(&priv->mtx);
 670                 NG_NODE_UNREF(node);
 671                 ng_rmnode_self(node);
 672         } else
 673                 mtx_unlock(&priv->mtx);
 674 }
 675
 676 /*
 677  * Connect the data socket to a named control socket node.
 678  */
 679 static int
 680 ng_connect_data(struct sockaddr *nam, struct ngpcb *pcbp)
 681 {
 682         struct sockaddr_ng *sap;
 683         node_p farnode;
 684         struct ngsock *priv;
 685         int error;
 686         item_p item;
 687
 688         /* If we are already connected, don't do it again. */
 689         if (pcbp->sockdata != NULL)
 690                 return (EISCONN);
 691
 692         /*
 693          * Find the target (victim) and check it doesn't already have
 694          * a data socket. Also check it is a 'socket' type node.
 695          * Use ng_package_data() and ng_address_path() to do this.
 696          */
 697
 698         sap = (struct sockaddr_ng *) nam;
 699         /* The item will hold the node reference. */
 700         item = ng_package_data(NULL, NG_WAITOK);
 701
 702         if ((error = ng_address_path(NULL, item,  sap->sg_data, 0)))
 703                 return (error); /* item is freed on failure */
 704
 705         /*
 706          * Extract node from item and free item. Remember we now have
 707          * a reference on the node. The item holds it for us.
 708          * when we free the item we release the reference.
 709          */
 710         farnode = item->el_dest; /* shortcut */
 711         if (strcmp(farnode->nd_type->name, NG_SOCKET_NODE_TYPE) != 0) {
 712                 NG_FREE_ITEM(item); /* drop the reference to the node */
 713                 return (EINVAL);
 714         }
 715         priv = NG_NODE_PRIVATE(farnode);
 716         if (priv->datasock != NULL) {
 717                 NG_FREE_ITEM(item);     /* drop the reference to the node */
 718                 return (EADDRINUSE);
 719         }
 720
 721         /*
 722          * Link the PCB and the private data struct. and note the extra
 723          * reference. Drop the extra reference on the node.
 724          */
 725         mtx_lock(&priv->mtx);
 726         priv->datasock = pcbp;
 727         pcbp->sockdata = priv;
 728         pcbp->node_id = priv->node->nd_ID;      /* hint for netstat(1) */
 729         priv->refs++;
 730         mtx_unlock(&priv->mtx);
 731         NG_FREE_ITEM(item);     /* drop the reference to the node */
 732         return (0);
 733 }
 734
 735 /*
 736  * Binding a socket means giving the corresponding node a name
 737  */
 738 static int
 739 ng_bind(struct sockaddr *nam, struct ngpcb *pcbp)
 740 {
 741         struct ngsock *const priv = pcbp->sockdata;
 742         struct sockaddr_ng *const sap = (struct sockaddr_ng *) nam;
 743
 744         if (priv == NULL) {
 745                 TRAP_ERROR;
 746                 return (EINVAL);
 747         }
 748         if ((sap->sg_len < 4) || (sap->sg_len > (NG_NODESIZ + 2)) ||
 749             (sap->sg_data[0] == '\0') ||
 750             (sap->sg_data[sap->sg_len - 3] != '\0')) {
 751                 TRAP_ERROR;
 752                 return (EINVAL);
 753         }
 754         return (ng_name_node(priv->node, sap->sg_data));
 755 }
 756
 757 /***************************************************************
 758         Netgraph node
 759 ***************************************************************/
 760
 761 /*
 762  * You can only create new nodes from the socket end of things.
 763  */
 764 static int
 765 ngs_constructor(node_p nodep)
 766 {
 767         return (EINVAL);
 768 }
 769
 770 static void
 771 ngs_rehash(node_p node)
 772 {
 773         struct ngsock *priv = NG_NODE_PRIVATE(node);
 774         struct ngshash *new;
 775         struct hookpriv *hp;
 776         hook_p hook;
 777         uint32_t h;
 778         u_long hmask;
 779
 780         new = hashinit_flags((priv->hmask + 1) * 2, M_NETGRAPH_SOCK, &hmask,
 781             HASH_NOWAIT);
 782         if (new == NULL)
 783                 return;
 784
 785         LIST_FOREACH(hook, &node->nd_hooks, hk_hooks) {
 786                 hp = NG_HOOK_PRIVATE(hook);
 787 #ifdef INVARIANTS
 788                 LIST_REMOVE(hp, next);
 789 #endif
 790                 h = hash32_str(NG_HOOK_NAME(hook), HASHINIT) & hmask;
 791                 LIST_INSERT_HEAD(&new[h], hp, next);
 792         }
 793
 794         hashdestroy(priv->hash, M_NETGRAPH_SOCK, priv->hmask);
 795         priv->hash = new;
 796         priv->hmask = hmask;
 797 }
 798
 799 /*
 800  * We allow any hook to be connected to the node.
 801  * There is no per-hook private information though.
 802  */
 803 static int
 804 ngs_newhook(node_p node, hook_p hook, const char *name)
 805 {
 806         struct ngsock *const priv = NG_NODE_PRIVATE(node);
 807         struct hookpriv *hp;
 808         uint32_t h;
 809
 810         hp = malloc(sizeof(*hp), M_NETGRAPH_SOCK, M_NOWAIT);
 811         if (hp == NULL)
 812                 return (ENOMEM);
 813         if (node->nd_numhooks * 2 > priv->hmask)
 814                 ngs_rehash(node);
 815         hp->hook = hook;
 816         h = hash32_str(name, HASHINIT) & priv->hmask;
 817         LIST_INSERT_HEAD(&priv->hash[h], hp, next);
 818         NG_HOOK_SET_PRIVATE(hook, hp);
 819
 820         return (0);
 821 }
 822
 823 /*
 824  * If only one hook, allow read(2) and write(2) to work.
 825  */
 826 static int
 827 ngs_connect(hook_p hook)
 828 {
 829         node_p node = NG_HOOK_NODE(hook);
 830         struct ngsock *priv = NG_NODE_PRIVATE(node);
 831
 832         if ((priv->datasock) && (priv->datasock->ng_socket)) {
 833                 if (NG_NODE_NUMHOOKS(node) == 1)
 834                         priv->datasock->ng_socket->so_state |= SS_ISCONNECTED;
 835                 else
 836                         priv->datasock->ng_socket->so_state &= ~SS_ISCONNECTED;
 837         }
 838         return (0);
 839 }
 840
 841 /* Look up hook by name */
 842 static hook_p
 843 ngs_findhook(node_p node, const char *name)
 844 {
 845         struct ngsock *priv = NG_NODE_PRIVATE(node);
 846         struct hookpriv *hp;
 847         uint32_t h;
 848
 849         /*
 850          * Microoptimisation for an ng_socket with
 851          * a single hook, which is a common case.
 852          */
 853         if (node->nd_numhooks == 1) {
 854                 hook_p hook;
 855
 856                 hook = LIST_FIRST(&node->nd_hooks);
 857
 858                 if (strcmp(NG_HOOK_NAME(hook), name) == 0)
 859                         return (hook);
 860                 else
 861                         return (NULL);
 862         }
 863
 864         h = hash32_str(name, HASHINIT) & priv->hmask;
 865
 866         LIST_FOREACH(hp, &priv->hash[h], next)
 867                 if (strcmp(NG_HOOK_NAME(hp->hook), name) == 0)
 868                         return (hp->hook);
 869
 870         return (NULL);
 871 }
 872
 873 /*
 874  * Incoming messages get passed up to the control socket.
 875  * Unless they are for us specifically (socket_type)
 876  */
 877 static int
 878 ngs_rcvmsg(node_p node, item_p item, hook_p lasthook)
 879 {
 880         struct ngsock *const priv = NG_NODE_PRIVATE(node);
 881         struct ngpcb *pcbp;
 882         struct socket *so;
 883         struct sockaddr_ng addr;
 884         struct ng_mesg *msg;
 885         struct mbuf *m;
 886         ng_ID_t retaddr = NGI_RETADDR(item);
 887         int addrlen;
 888         int error = 0;
 889
 890         NGI_GET_MSG(item, msg);
 891         NG_FREE_ITEM(item);
 892
 893         /*
 894          * Grab priv->mtx here to prevent destroying of control socket
 895          * after checking that priv->ctlsock is not NULL.
 896          */
 897         mtx_lock(&priv->mtx);
 898         pcbp = priv->ctlsock;
 899
 900         /*
 901          * Only allow mesgs to be passed if we have the control socket.
 902          * Data sockets can only support the generic messages.
 903          */
 904         if (pcbp == NULL) {
 905                 mtx_unlock(&priv->mtx);
 906                 TRAP_ERROR;
 907                 NG_FREE_MSG(msg);
 908                 return (EINVAL);
 909         }
 910         so = pcbp->ng_socket;
 911         SOCKBUF_LOCK(&so->so_rcv);
 912
 913         /* As long as the race is handled, priv->mtx may be unlocked now. */
 914         mtx_unlock(&priv->mtx);
 915
 916 #ifdef TRACE_MESSAGES
 917         printf("[%x]:---------->[socket]: c=<%d>cmd=%x(%s) f=%x #%d\n",
 918                 retaddr,
 919                 msg->header.typecookie,
 920                 msg->header.cmd,
 921                 msg->header.cmdstr,
 922                 msg->header.flags,
 923                 msg->header.token);
 924 #endif
 925
 926         if (msg->header.typecookie == NGM_SOCKET_COOKIE) {
 927                 switch (msg->header.cmd) {
 928                 case NGM_SOCK_CMD_NOLINGER:
 929                         priv->flags |= NGS_FLAG_NOLINGER;
 930                         break;
 931                 case NGM_SOCK_CMD_LINGER:
 932                         priv->flags &= ~NGS_FLAG_NOLINGER;
 933                         break;
 934                 default:
 935                         error = EINVAL;         /* unknown command */
 936                 }
 937                 SOCKBUF_UNLOCK(&so->so_rcv);
 938
 939                 /* Free the message and return. */
 940                 NG_FREE_MSG(msg);
 941                 return (error);
 942         }
 943
 944         /* Get the return address into a sockaddr. */
 945         bzero(&addr, sizeof(addr));
 946         addr.sg_len = sizeof(addr);
 947         addr.sg_family = AF_NETGRAPH;
 948         addrlen = snprintf((char *)&addr.sg_data, sizeof(addr.sg_data),
 949             "[%x]:", retaddr);
 950         if (addrlen < 0 || addrlen > sizeof(addr.sg_data)) {
 951                 SOCKBUF_UNLOCK(&so->so_rcv);
 952                 printf("%s: snprintf([%x]) failed - %d\n", __func__, retaddr,
 953                     addrlen);
 954                 NG_FREE_MSG(msg);
 955                 return (EINVAL);
 956         }
 957
 958         /* Copy the message itself into an mbuf chain. */
 959         m = m_devget((caddr_t)msg, sizeof(struct ng_mesg) + msg->header.arglen,
 960             0, NULL, NULL);
 961
 962         /*
 963          * Here we free the message. We need to do that
 964          * regardless of whether we got mbufs.
 965          */
 966         NG_FREE_MSG(msg);
 967
 968         if (m == NULL) {
 969                 SOCKBUF_UNLOCK(&so->so_rcv);
 970                 TRAP_ERROR;
 971                 return (ENOBUFS);
 972         }
 973
 974         /* Send it up to the socket. */
 975         if (sbappendaddr_locked(&so->so_rcv, (struct sockaddr *)&addr, m,
 976             NULL) == 0) {
 977                 SOCKBUF_UNLOCK(&so->so_rcv);
 978                 TRAP_ERROR;
 979                 m_freem(m);
 980                 return (ENOBUFS);
 981         }
 982         sorwakeup_locked(so);
 983
 984         return (error);
 985 }
 986
 987 /*
 988  * Receive data on a hook
 989  */
 990 static int
 991 ngs_rcvdata(hook_p hook, item_p item)
 992 {
 993         struct ngsock *const priv = NG_NODE_PRIVATE(NG_HOOK_NODE(hook));
 994         struct ngpcb *const pcbp = priv->datasock;
 995         struct socket *so;
 996         struct sockaddr_ng *addr;
 997         char *addrbuf[NG_HOOKSIZ + 4];
 998         int addrlen;
 999         struct mbuf *m;
1000
1001         NGI_GET_M(item, m);
1002         NG_FREE_ITEM(item);
1003
1004         /* If there is no data socket, black-hole it. */
1005         if (pcbp == NULL) {
1006                 NG_FREE_M(m);
1007                 return (0);
1008         }
1009         so = pcbp->ng_socket;
1010
1011         /* Get the return address into a sockaddr. */
1012         addrlen = strlen(NG_HOOK_NAME(hook));   /* <= NG_HOOKSIZ - 1 */
1013         addr = (struct sockaddr_ng *) addrbuf;
1014         addr->sg_len = addrlen + 3;
1015         addr->sg_family = AF_NETGRAPH;
1016         bcopy(NG_HOOK_NAME(hook), addr->sg_data, addrlen);
1017         addr->sg_data[addrlen] = '\0';
1018
1019         /* Try to tell the socket which hook it came in on. */
1020         if (sbappendaddr(&so->so_rcv, (struct sockaddr *)addr, m, NULL) == 0) {
1021                 m_freem(m);
1022                 TRAP_ERROR;
1023                 return (ENOBUFS);
1024         }
1025         sorwakeup(so);
1026         return (0);
1027 }
1028
1029 /*
1030  * Hook disconnection
1031  *
1032  * For this type, removal of the last link destroys the node
1033  * if the NOLINGER flag is set.
1034  */
1035 static int
1036 ngs_disconnect(hook_p hook)
1037 {
1038         node_p node = NG_HOOK_NODE(hook);
1039         struct ngsock *const priv = NG_NODE_PRIVATE(node);
1040         struct hookpriv *hp = NG_HOOK_PRIVATE(hook);
1041
1042         LIST_REMOVE(hp, next);
1043         free(hp, M_NETGRAPH_SOCK);
1044
1045         if ((priv->datasock) && (priv->datasock->ng_socket)) {
1046                 if (NG_NODE_NUMHOOKS(node) == 1)
1047                         priv->datasock->ng_socket->so_state |= SS_ISCONNECTED;
1048                 else
1049                         priv->datasock->ng_socket->so_state &= ~SS_ISCONNECTED;
1050         }
1051
1052         if ((priv->flags & NGS_FLAG_NOLINGER) &&
1053             (NG_NODE_NUMHOOKS(node) == 0) && (NG_NODE_IS_VALID(node)))
1054                 ng_rmnode_self(node);
1055
1056         return (0);
1057 }
1058
1059 /*
1060  * Do local shutdown processing.
1061  * In this case, that involves making sure the socket
1062  * knows we should be shutting down.
1063  */
1064 static int
1065 ngs_shutdown(node_p node)
1066 {
1067         struct ngsock *const priv = NG_NODE_PRIVATE(node);
1068         struct ngpcb *dpcbp, *pcbp;
1069
1070         mtx_lock(&priv->mtx);
1071         dpcbp = priv->datasock;
1072         pcbp = priv->ctlsock;
1073
1074         if (dpcbp != NULL)
1075                 soisdisconnected(dpcbp->ng_socket);
1076
1077         if (pcbp != NULL)
1078                 soisdisconnected(pcbp->ng_socket);
1079
1080         priv->node = NULL;
1081         NG_NODE_SET_PRIVATE(node, NULL);
1082         ng_socket_free_priv(priv);
1083
1084         NG_NODE_UNREF(node);
1085         return (0);
1086 }
1087
1088 static void
1089 ng_socket_item_applied(void *context, int error)
1090 {
1091         struct ngsock *const priv = (struct ngsock *)context;
1092
1093         mtx_lock(&priv->mtx);
1094         priv->error = error;
1095         wakeup(priv);
1096         mtx_unlock(&priv->mtx);
1097
1098 }
1099
1100 static  int
1101 dummy_disconnect(struct socket *so)
1102 {
1103         return (0);
1104 }
1105 /*
1106  * Control and data socket type descriptors
1107  *
1108  * XXXRW: Perhaps _close should do something?
1109  */
1110
1111 static struct pr_usrreqs ngc_usrreqs = {
1112         .pru_abort =            NULL,
1113         .pru_attach =           ngc_attach,
1114         .pru_bind =             ngc_bind,
1115         .pru_connect =          ngc_connect,
1116         .pru_detach =           ngc_detach,
1117         .pru_disconnect =       dummy_disconnect,
1118         .pru_peeraddr =         NULL,
1119         .pru_send =             ngc_send,
1120         .pru_shutdown =         NULL,
1121         .pru_sockaddr =         ng_getsockaddr,
1122         .pru_close =            NULL,
1123 };
1124
1125 static struct pr_usrreqs ngd_usrreqs = {
1126         .pru_abort =            NULL,
1127         .pru_attach =           ngd_attach,
1128         .pru_bind =             NULL,
1129         .pru_connect =          ngd_connect,
1130         .pru_detach =           ngd_detach,
1131         .pru_disconnect =       dummy_disconnect,
1132         .pru_peeraddr =         NULL,
1133         .pru_send =             ngd_send,
1134         .pru_shutdown =         NULL,
1135         .pru_sockaddr =         ng_getsockaddr,
1136         .pru_close =            NULL,
1137 };
1138
1139 /*
1140  * Definitions of protocols supported in the NETGRAPH domain.
1141  */
1142
1143 extern struct domain ngdomain;          /* stop compiler warnings */
1144
1145 static struct protosw ngsw[] = {
1146 {
1147         .pr_type =              SOCK_DGRAM,
1148         .pr_domain =            &ngdomain,
1149         .pr_protocol =          NG_CONTROL,
1150         .pr_flags =             PR_ATOMIC | PR_ADDR /* | PR_RIGHTS */,
1151         .pr_usrreqs =           &ngc_usrreqs
1152 },
1153 {
1154         .pr_type =              SOCK_DGRAM,
1155         .pr_domain =            &ngdomain,
1156         .pr_protocol =          NG_DATA,
1157         .pr_flags =             PR_ATOMIC | PR_ADDR,
1158         .pr_usrreqs =           &ngd_usrreqs
1159 }
1160 };
1161
1162 struct domain ngdomain = {
1163         .dom_family =           AF_NETGRAPH,
1164         .dom_name =             "netgraph",
1165         .dom_protosw =          ngsw,
1166         .dom_protoswNPROTOSW =  &ngsw[sizeof(ngsw) / sizeof(ngsw[0])]
1167 };
1168
1169 /*
1170  * Handle loading and unloading for this node type.
1171  * This is to handle auxiliary linkages (e.g protocol domain addition).
1172  */
1173 static int
1174 ngs_mod_event(module_t mod, int event, void *data)
1175 {
1176         int error = 0;
1177
1178         switch (event) {
1179         case MOD_LOAD:
1180                 mtx_init(&ngsocketlist_mtx, "ng_socketlist", NULL, MTX_DEF);
1181                 break;
1182         case MOD_UNLOAD:
1183                 /* Ensure there are no open netgraph sockets. */
1184                 if (!LIST_EMPTY(&ngsocklist)) {
1185                         error = EBUSY;
1186                         break;
1187                 }
1188 #ifdef NOTYET
1189                 /* Unregister protocol domain XXX can't do this yet.. */
1190 #endif
1191                 error = EBUSY;
1192                 break;
1193         default:
1194                 error = EOPNOTSUPP;
1195                 break;
1196         }
1197         return (error);
1198 }
1199
1200 VNET_DOMAIN_SET(ng);
1201
1202 SYSCTL_INT(_net_graph, OID_AUTO, family, CTLFLAG_RD, SYSCTL_NULL_INT_PTR, AF_NETGRAPH, "");
1203 static SYSCTL_NODE(_net_graph, OID_AUTO, data, CTLFLAG_RW, 0, "DATA");
1204 SYSCTL_INT(_net_graph_data, OID_AUTO, proto, CTLFLAG_RD, SYSCTL_NULL_INT_PTR, NG_DATA, "");
1205 static SYSCTL_NODE(_net_graph, OID_AUTO, control, CTLFLAG_RW, 0, "CONTROL");
1206 SYSCTL_INT(_net_graph_control, OID_AUTO, proto, CTLFLAG_RD, SYSCTL_NULL_INT_PTR, NG_CONTROL, "");
1207