sys/dev/usb/net/usb_ethernet.c

   1 /* $FreeBSD$ */
   2 /*-
   3  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   4  *
   5  * Copyright (c) 2009 Andrew Thompson (thompsa@FreeBSD.org)
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  */
  28
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include <sys/param.h>
  33 #include <sys/systm.h>
  34 #include <sys/bus.h>
  35 #include <sys/condvar.h>
  36 #include <sys/kernel.h>
  37 #include <sys/lock.h>
  38 #include <sys/malloc.h>
  39 #include <sys/mbuf.h>
  40 #include <sys/module.h>
  41 #include <sys/mutex.h>
  42 #include <sys/socket.h>
  43 #include <sys/sockio.h>
  44 #include <sys/sysctl.h>
  45 #include <sys/sx.h>
  46
  47 #include <net/if.h>
  48 #include <net/if_var.h>
  49 #include <net/ethernet.h>
  50 #include <net/if_types.h>
  51 #include <net/if_media.h>
  52 #include <net/if_vlan_var.h>
  53
  54 #include <dev/mii/mii.h>
  55 #include <dev/mii/miivar.h>
  56
  57 #include <dev/usb/usb.h>
  58 #include <dev/usb/usbdi.h>
  59
  60 #include <dev/usb/usb_process.h>
  61 #include <dev/usb/net/usb_ethernet.h>
  62
  63 static SYSCTL_NODE(_net, OID_AUTO, ue, CTLFLAG_RD | CTLFLAG_MPSAFE, 0,
  64     "USB Ethernet parameters");
  65
  66 #define UE_LOCK(_ue)            mtx_lock((_ue)->ue_mtx)
  67 #define UE_UNLOCK(_ue)          mtx_unlock((_ue)->ue_mtx)
  68 #define UE_LOCK_ASSERT(_ue, t)  mtx_assert((_ue)->ue_mtx, t)
  69
  70 MODULE_DEPEND(uether, usb, 1, 1, 1);
  71 MODULE_DEPEND(uether, miibus, 1, 1, 1);
  72
  73 static struct unrhdr *ueunit;
  74
  75 static usb_proc_callback_t ue_attach_post_task;
  76 static usb_proc_callback_t ue_promisc_task;
  77 static usb_proc_callback_t ue_setmulti_task;
  78 static usb_proc_callback_t ue_ifmedia_task;
  79 static usb_proc_callback_t ue_tick_task;
  80 static usb_proc_callback_t ue_start_task;
  81 static usb_proc_callback_t ue_stop_task;
  82
  83 static void     ue_init(void *);
  84 static void     ue_start(struct ifnet *);
  85 static int      ue_ifmedia_upd(struct ifnet *);
  86 static void     ue_watchdog(void *);
  87
  88 /*
  89  * Return values:
  90  *    0: success
  91  * Else: device has been detached
  92  */
  93 uint8_t
  94 uether_pause(struct usb_ether *ue, unsigned int _ticks)
  95 {
  96         if (usb_proc_is_gone(&ue->ue_tq)) {
  97                 /* nothing to do */
  98                 return (1);
  99         }
 100         usb_pause_mtx(ue->ue_mtx, _ticks);
 101         return (0);
 102 }
 103
 104 static void
 105 ue_queue_command(struct usb_ether *ue,
 106     usb_proc_callback_t *fn,
 107     struct usb_proc_msg *t0, struct usb_proc_msg *t1)
 108 {
 109         struct usb_ether_cfg_task *task;
 110
 111         UE_LOCK_ASSERT(ue, MA_OWNED);
 112
 113         if (usb_proc_is_gone(&ue->ue_tq)) {
 114                 return;         /* nothing to do */
 115         }
 116         /*
 117          * NOTE: The task cannot get executed before we drop the
 118          * "sc_mtx" mutex. It is safe to update fields in the message
 119          * structure after that the message got queued.
 120          */
 121         task = (struct usb_ether_cfg_task *)
 122           usb_proc_msignal(&ue->ue_tq, t0, t1);
 123
 124         /* Setup callback and self pointers */
 125         task->hdr.pm_callback = fn;
 126         task->ue = ue;
 127
 128         /*
 129          * Start and stop must be synchronous!
 130          */
 131         if ((fn == ue_start_task) || (fn == ue_stop_task))
 132                 usb_proc_mwait(&ue->ue_tq, t0, t1);
 133 }
 134
 135 struct ifnet *
 136 uether_getifp(struct usb_ether *ue)
 137 {
 138         return (ue->ue_ifp);
 139 }
 140
 141 struct mii_data *
 142 uether_getmii(struct usb_ether *ue)
 143 {
 144         return (device_get_softc(ue->ue_miibus));
 145 }
 146
 147 void *
 148 uether_getsc(struct usb_ether *ue)
 149 {
 150         return (ue->ue_sc);
 151 }
 152
 153 static int
 154 ue_sysctl_parent(SYSCTL_HANDLER_ARGS)
 155 {
 156         struct usb_ether *ue = arg1;
 157         const char *name;
 158
 159         name = device_get_nameunit(ue->ue_dev);
 160         return SYSCTL_OUT_STR(req, name);
 161 }
 162
 163 int
 164 uether_ifattach(struct usb_ether *ue)
 165 {
 166         int error;
 167
 168         /* check some critical parameters */
 169         if ((ue->ue_dev == NULL) ||
 170             (ue->ue_udev == NULL) ||
 171             (ue->ue_mtx == NULL) ||
 172             (ue->ue_methods == NULL))
 173                 return (EINVAL);
 174
 175         error = usb_proc_create(&ue->ue_tq, ue->ue_mtx,
 176             device_get_nameunit(ue->ue_dev), USB_PRI_MED);
 177         if (error) {
 178                 device_printf(ue->ue_dev, "could not setup taskqueue\n");
 179                 goto error;
 180         }
 181
 182         /* fork rest of the attach code */
 183         UE_LOCK(ue);
 184         ue_queue_command(ue, ue_attach_post_task,
 185             &ue->ue_sync_task[0].hdr,
 186             &ue->ue_sync_task[1].hdr);
 187         UE_UNLOCK(ue);
 188
 189 error:
 190         return (error);
 191 }
 192
 193 void
 194 uether_ifattach_wait(struct usb_ether *ue)
 195 {
 196
 197         UE_LOCK(ue);
 198         usb_proc_mwait(&ue->ue_tq,
 199             &ue->ue_sync_task[0].hdr,
 200             &ue->ue_sync_task[1].hdr);
 201         UE_UNLOCK(ue);
 202 }
 203
 204 static void
 205 ue_attach_post_task(struct usb_proc_msg *_task)
 206 {
 207         struct usb_ether_cfg_task *task =
 208             (struct usb_ether_cfg_task *)_task;
 209         struct usb_ether *ue = task->ue;
 210         struct ifnet *ifp;
 211         int error;
 212         char num[14];                   /* sufficient for 32 bits */
 213
 214         /* first call driver's post attach routine */
 215         ue->ue_methods->ue_attach_post(ue);
 216
 217         UE_UNLOCK(ue);
 218
 219         ue->ue_unit = alloc_unr(ueunit);
 220         usb_callout_init_mtx(&ue->ue_watchdog, ue->ue_mtx, 0);
 221         sysctl_ctx_init(&ue->ue_sysctl_ctx);
 222         mbufq_init(&ue->ue_rxq, 0 /* unlimited length */);
 223
 224         error = 0;
 225         CURVNET_SET_QUIET(vnet0);
 226         ifp = if_alloc(IFT_ETHER);
 227         if (ifp == NULL) {
 228                 device_printf(ue->ue_dev, "could not allocate ifnet\n");
 229                 goto fail;
 230         }
 231
 232         ifp->if_softc = ue;
 233         if_initname(ifp, "ue", ue->ue_unit);
 234         if (ue->ue_methods->ue_attach_post_sub != NULL) {
 235                 ue->ue_ifp = ifp;
 236                 error = ue->ue_methods->ue_attach_post_sub(ue);
 237         } else {
 238                 ifp->if_flags = IFF_BROADCAST | IFF_SIMPLEX | IFF_MULTICAST;
 239                 if (ue->ue_methods->ue_ioctl != NULL)
 240                         ifp->if_ioctl = ue->ue_methods->ue_ioctl;
 241                 else
 242                         ifp->if_ioctl = uether_ioctl;
 243                 ifp->if_start = ue_start;
 244                 ifp->if_init = ue_init;
 245                 IFQ_SET_MAXLEN(&ifp->if_snd, ifqmaxlen);
 246                 ifp->if_snd.ifq_drv_maxlen = ifqmaxlen;
 247                 IFQ_SET_READY(&ifp->if_snd);
 248                 ue->ue_ifp = ifp;
 249
 250                 if (ue->ue_methods->ue_mii_upd != NULL &&
 251                     ue->ue_methods->ue_mii_sts != NULL) {
 252                         /* device_xxx() depends on this */
 253                         mtx_lock(&Giant);
 254                         error = mii_attach(ue->ue_dev, &ue->ue_miibus, ifp,
 255                             ue_ifmedia_upd, ue->ue_methods->ue_mii_sts,
 256                             BMSR_DEFCAPMASK, MII_PHY_ANY, MII_OFFSET_ANY, 0);
 257                         mtx_unlock(&Giant);
 258                 }
 259         }
 260
 261         if (error) {
 262                 device_printf(ue->ue_dev, "attaching PHYs failed\n");
 263                 goto fail;
 264         }
 265
 266         if_printf(ifp, "<USB Ethernet> on %s\n", device_get_nameunit(ue->ue_dev));
 267         ether_ifattach(ifp, ue->ue_eaddr);
 268         /* Tell upper layer we support VLAN oversized frames. */
 269         if (ifp->if_capabilities & IFCAP_VLAN_MTU)
 270                 ifp->if_hdrlen = sizeof(struct ether_vlan_header);
 271
 272         CURVNET_RESTORE();
 273
 274         snprintf(num, sizeof(num), "%u", ue->ue_unit);
 275         ue->ue_sysctl_oid = SYSCTL_ADD_NODE(&ue->ue_sysctl_ctx,
 276             &SYSCTL_NODE_CHILDREN(_net, ue),
 277             OID_AUTO, num, CTLFLAG_RD | CTLFLAG_MPSAFE, NULL, "");
 278         SYSCTL_ADD_PROC(&ue->ue_sysctl_ctx,
 279             SYSCTL_CHILDREN(ue->ue_sysctl_oid), OID_AUTO, "%parent",
 280             CTLTYPE_STRING | CTLFLAG_RD | CTLFLAG_MPSAFE, ue, 0,
 281             ue_sysctl_parent, "A", "parent device");
 282
 283         UE_LOCK(ue);
 284         return;
 285
 286 fail:
 287         CURVNET_RESTORE();
 288
 289         /* drain mbuf queue */
 290         mbufq_drain(&ue->ue_rxq);
 291
 292         /* free unit */
 293         free_unr(ueunit, ue->ue_unit);
 294         if (ue->ue_ifp != NULL) {
 295                 if_free(ue->ue_ifp);
 296                 ue->ue_ifp = NULL;
 297         }
 298         UE_LOCK(ue);
 299         return;
 300 }
 301
 302 void
 303 uether_ifdetach(struct usb_ether *ue)
 304 {
 305         struct ifnet *ifp;
 306
 307         /* wait for any post attach or other command to complete */
 308         usb_proc_drain(&ue->ue_tq);
 309
 310         /* read "ifnet" pointer after taskqueue drain */
 311         ifp = ue->ue_ifp;
 312
 313         if (ifp != NULL) {
 314                 /* we are not running any more */
 315                 UE_LOCK(ue);
 316                 ifp->if_drv_flags &= ~IFF_DRV_RUNNING;
 317                 UE_UNLOCK(ue);
 318
 319                 /* drain any callouts */
 320                 usb_callout_drain(&ue->ue_watchdog);
 321
 322                 /* detach miibus */
 323                 if (ue->ue_miibus != NULL) {
 324                         mtx_lock(&Giant);       /* device_xxx() depends on this */
 325                         device_delete_child(ue->ue_dev, ue->ue_miibus);
 326                         mtx_unlock(&Giant);
 327                 }
 328
 329                 /* detach ethernet */
 330                 ether_ifdetach(ifp);
 331
 332                 /* free interface instance */
 333                 if_free(ifp);
 334
 335                 /* free sysctl */
 336                 sysctl_ctx_free(&ue->ue_sysctl_ctx);
 337
 338                 /* drain mbuf queue */
 339                 mbufq_drain(&ue->ue_rxq);
 340
 341                 /* free unit */
 342                 free_unr(ueunit, ue->ue_unit);
 343         }
 344
 345         /* free taskqueue, if any */
 346         usb_proc_free(&ue->ue_tq);
 347 }
 348
 349 uint8_t
 350 uether_is_gone(struct usb_ether *ue)
 351 {
 352         return (usb_proc_is_gone(&ue->ue_tq));
 353 }
 354
 355 void
 356 uether_init(void *arg)
 357 {
 358
 359         ue_init(arg);
 360 }
 361
 362 static void
 363 ue_init(void *arg)
 364 {
 365         struct usb_ether *ue = arg;
 366
 367         UE_LOCK(ue);
 368         ue_queue_command(ue, ue_start_task,
 369             &ue->ue_sync_task[0].hdr,
 370             &ue->ue_sync_task[1].hdr);
 371         UE_UNLOCK(ue);
 372 }
 373
 374 static void
 375 ue_start_task(struct usb_proc_msg *_task)
 376 {
 377         struct usb_ether_cfg_task *task =
 378             (struct usb_ether_cfg_task *)_task;
 379         struct usb_ether *ue = task->ue;
 380         struct ifnet *ifp = ue->ue_ifp;
 381
 382         UE_LOCK_ASSERT(ue, MA_OWNED);
 383
 384         ue->ue_methods->ue_init(ue);
 385
 386         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) == 0)
 387                 return;
 388
 389         if (ue->ue_methods->ue_tick != NULL)
 390                 usb_callout_reset(&ue->ue_watchdog, hz, ue_watchdog, ue);
 391 }
 392
 393 static void
 394 ue_stop_task(struct usb_proc_msg *_task)
 395 {
 396         struct usb_ether_cfg_task *task =
 397             (struct usb_ether_cfg_task *)_task;
 398         struct usb_ether *ue = task->ue;
 399
 400         UE_LOCK_ASSERT(ue, MA_OWNED);
 401
 402         usb_callout_stop(&ue->ue_watchdog);
 403
 404         ue->ue_methods->ue_stop(ue);
 405 }
 406
 407 void
 408 uether_start(struct ifnet *ifp)
 409 {
 410
 411         ue_start(ifp);
 412 }
 413
 414 static void
 415 ue_start(struct ifnet *ifp)
 416 {
 417         struct usb_ether *ue = ifp->if_softc;
 418
 419         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) == 0)
 420                 return;
 421
 422         UE_LOCK(ue);
 423         ue->ue_methods->ue_start(ue);
 424         UE_UNLOCK(ue);
 425 }
 426
 427 static void
 428 ue_promisc_task(struct usb_proc_msg *_task)
 429 {
 430         struct usb_ether_cfg_task *task =
 431             (struct usb_ether_cfg_task *)_task;
 432         struct usb_ether *ue = task->ue;
 433
 434         ue->ue_methods->ue_setpromisc(ue);
 435 }
 436
 437 static void
 438 ue_setmulti_task(struct usb_proc_msg *_task)
 439 {
 440         struct usb_ether_cfg_task *task =
 441             (struct usb_ether_cfg_task *)_task;
 442         struct usb_ether *ue = task->ue;
 443
 444         ue->ue_methods->ue_setmulti(ue);
 445 }
 446
 447 int
 448 uether_ifmedia_upd(struct ifnet *ifp)
 449 {
 450
 451         return (ue_ifmedia_upd(ifp));
 452 }
 453
 454 static int
 455 ue_ifmedia_upd(struct ifnet *ifp)
 456 {
 457         struct usb_ether *ue = ifp->if_softc;
 458
 459         /* Defer to process context */
 460         UE_LOCK(ue);
 461         ue_queue_command(ue, ue_ifmedia_task,
 462             &ue->ue_media_task[0].hdr,
 463             &ue->ue_media_task[1].hdr);
 464         UE_UNLOCK(ue);
 465
 466         return (0);
 467 }
 468
 469 static void
 470 ue_ifmedia_task(struct usb_proc_msg *_task)
 471 {
 472         struct usb_ether_cfg_task *task =
 473             (struct usb_ether_cfg_task *)_task;
 474         struct usb_ether *ue = task->ue;
 475         struct ifnet *ifp = ue->ue_ifp;
 476
 477         ue->ue_methods->ue_mii_upd(ifp);
 478 }
 479
 480 static void
 481 ue_watchdog(void *arg)
 482 {
 483         struct usb_ether *ue = arg;
 484         struct ifnet *ifp = ue->ue_ifp;
 485
 486         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) == 0)
 487                 return;
 488
 489         ue_queue_command(ue, ue_tick_task,
 490             &ue->ue_tick_task[0].hdr,
 491             &ue->ue_tick_task[1].hdr);
 492
 493         usb_callout_reset(&ue->ue_watchdog, hz, ue_watchdog, ue);
 494 }
 495
 496 static void
 497 ue_tick_task(struct usb_proc_msg *_task)
 498 {
 499         struct usb_ether_cfg_task *task =
 500             (struct usb_ether_cfg_task *)_task;
 501         struct usb_ether *ue = task->ue;
 502         struct ifnet *ifp = ue->ue_ifp;
 503
 504         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) == 0)
 505                 return;
 506
 507         ue->ue_methods->ue_tick(ue);
 508 }
 509
 510 int
 511 uether_ioctl(struct ifnet *ifp, u_long command, caddr_t data)
 512 {
 513         struct usb_ether *ue = ifp->if_softc;
 514         struct ifreq *ifr = (struct ifreq *)data;
 515         struct mii_data *mii;
 516         int error = 0;
 517
 518         switch (command) {
 519         case SIOCSIFFLAGS:
 520                 UE_LOCK(ue);
 521                 if (ifp->if_flags & IFF_UP) {
 522                         if (ifp->if_drv_flags & IFF_DRV_RUNNING)
 523                                 ue_queue_command(ue, ue_promisc_task,
 524                                     &ue->ue_promisc_task[0].hdr,
 525                                     &ue->ue_promisc_task[1].hdr);
 526                         else
 527                                 ue_queue_command(ue, ue_start_task,
 528                                     &ue->ue_sync_task[0].hdr,
 529                                     &ue->ue_sync_task[1].hdr);
 530                 } else {
 531                         ue_queue_command(ue, ue_stop_task,
 532                             &ue->ue_sync_task[0].hdr,
 533                             &ue->ue_sync_task[1].hdr);
 534                 }
 535                 UE_UNLOCK(ue);
 536                 break;
 537         case SIOCADDMULTI:
 538         case SIOCDELMULTI:
 539                 UE_LOCK(ue);
 540                 ue_queue_command(ue, ue_setmulti_task,
 541                     &ue->ue_multi_task[0].hdr,
 542                     &ue->ue_multi_task[1].hdr);
 543                 UE_UNLOCK(ue);
 544                 break;
 545         case SIOCGIFMEDIA:
 546         case SIOCSIFMEDIA:
 547                 if (ue->ue_miibus != NULL) {
 548                         mii = device_get_softc(ue->ue_miibus);
 549                         error = ifmedia_ioctl(ifp, ifr, &mii->mii_media, command);
 550                 } else
 551                         error = ether_ioctl(ifp, command, data);
 552                 break;
 553         default:
 554                 error = ether_ioctl(ifp, command, data);
 555                 break;
 556         }
 557         return (error);
 558 }
 559
 560 static int
 561 uether_modevent(module_t mod, int type, void *data)
 562 {
 563
 564         switch (type) {
 565         case MOD_LOAD:
 566                 ueunit = new_unrhdr(0, INT_MAX, NULL);
 567                 break;
 568         case MOD_UNLOAD:
 569                 break;
 570         default:
 571                 return (EOPNOTSUPP);
 572         }
 573         return (0);
 574 }
 575 static moduledata_t uether_mod = {
 576         "uether",
 577         uether_modevent,
 578         0
 579 };
 580
 581 struct mbuf *
 582 uether_newbuf(void)
 583 {
 584         struct mbuf *m_new;
 585
 586         m_new = m_getcl(M_NOWAIT, MT_DATA, M_PKTHDR);
 587         if (m_new == NULL)
 588                 return (NULL);
 589         m_new->m_len = m_new->m_pkthdr.len = MCLBYTES;
 590
 591         m_adj(m_new, ETHER_ALIGN);
 592         return (m_new);
 593 }
 594
 595 int
 596 uether_rxmbuf(struct usb_ether *ue, struct mbuf *m,
 597     unsigned int len)
 598 {
 599         struct ifnet *ifp = ue->ue_ifp;
 600
 601         UE_LOCK_ASSERT(ue, MA_OWNED);
 602
 603         /* finalize mbuf */
 604         if_inc_counter(ifp, IFCOUNTER_IPACKETS, 1);
 605         m->m_pkthdr.rcvif = ifp;
 606         m->m_pkthdr.len = m->m_len = len;
 607
 608         /* enqueue for later when the lock can be released */
 609         (void)mbufq_enqueue(&ue->ue_rxq, m);
 610         return (0);
 611 }
 612
 613 int
 614 uether_rxbuf(struct usb_ether *ue, struct usb_page_cache *pc,
 615     unsigned int offset, unsigned int len)
 616 {
 617         struct ifnet *ifp = ue->ue_ifp;
 618         struct mbuf *m;
 619
 620         UE_LOCK_ASSERT(ue, MA_OWNED);
 621
 622         if (len < ETHER_HDR_LEN || len > MCLBYTES - ETHER_ALIGN)
 623                 return (1);
 624
 625         m = uether_newbuf();
 626         if (m == NULL) {
 627                 if_inc_counter(ifp, IFCOUNTER_IQDROPS, 1);
 628                 return (ENOMEM);
 629         }
 630
 631         usbd_copy_out(pc, offset, mtod(m, uint8_t *), len);
 632
 633         /* finalize mbuf */
 634         if_inc_counter(ifp, IFCOUNTER_IPACKETS, 1);
 635         m->m_pkthdr.rcvif = ifp;
 636         m->m_pkthdr.len = m->m_len = len;
 637
 638         /* enqueue for later when the lock can be released */
 639         (void)mbufq_enqueue(&ue->ue_rxq, m);
 640         return (0);
 641 }
 642
 643 void
 644 uether_rxflush(struct usb_ether *ue)
 645 {
 646         struct ifnet *ifp = ue->ue_ifp;
 647         struct epoch_tracker et;
 648         struct mbuf *m, *n;
 649
 650         UE_LOCK_ASSERT(ue, MA_OWNED);
 651
 652         n = mbufq_flush(&ue->ue_rxq);
 653         UE_UNLOCK(ue);
 654         NET_EPOCH_ENTER(et);
 655         while ((m = n) != NULL) {
 656                 n = STAILQ_NEXT(m, m_stailqpkt);
 657                 m->m_nextpkt = NULL;
 658                 ifp->if_input(ifp, m);
 659         }
 660         NET_EPOCH_EXIT(et);
 661         UE_LOCK(ue);
 662 }
 663
 664 /*
 665  * USB net drivers are run by DRIVER_MODULE() thus SI_SUB_DRIVERS,
 666  * SI_ORDER_MIDDLE.  Run uether after that.
 667  */
 668 DECLARE_MODULE(uether, uether_mod, SI_SUB_DRIVERS, SI_ORDER_ANY);
 669 MODULE_VERSION(uether, 1);