sys/kern/subr_bus.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 1997,1998,2003 Doug Rabson
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  */
  28
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include "opt_bus.h"
  33 #include "opt_ddb.h"
  34
  35 #include <sys/param.h>
  36 #include <sys/conf.h>
  37 #include <sys/eventhandler.h>
  38 #include <sys/filio.h>
  39 #include <sys/lock.h>
  40 #include <sys/kernel.h>
  41 #include <sys/kobj.h>
  42 #include <sys/limits.h>
  43 #include <sys/malloc.h>
  44 #include <sys/module.h>
  45 #include <sys/mutex.h>
  46 #include <sys/poll.h>
  47 #include <sys/priv.h>
  48 #include <sys/proc.h>
  49 #include <sys/condvar.h>
  50 #include <sys/queue.h>
  51 #include <machine/bus.h>
  52 #include <sys/random.h>
  53 #include <sys/rman.h>
  54 #include <sys/selinfo.h>
  55 #include <sys/signalvar.h>
  56 #include <sys/smp.h>
  57 #include <sys/sysctl.h>
  58 #include <sys/systm.h>
  59 #include <sys/uio.h>
  60 #include <sys/bus.h>
  61 #include <sys/interrupt.h>
  62 #include <sys/cpuset.h>
  63
  64 #include <net/vnet.h>
  65
  66 #include <machine/cpu.h>
  67 #include <machine/stdarg.h>
  68
  69 #include <vm/uma.h>
  70 #include <vm/vm.h>
  71
  72 #include <ddb/ddb.h>
  73
  74 SYSCTL_NODE(_hw, OID_AUTO, bus, CTLFLAG_RW, NULL, NULL);
  75 SYSCTL_ROOT_NODE(OID_AUTO, dev, CTLFLAG_RW, NULL, NULL);
  76
  77 /*
  78  * Used to attach drivers to devclasses.
  79  */
  80 typedef struct driverlink *driverlink_t;
  81 struct driverlink {
  82         kobj_class_t    driver;
  83         TAILQ_ENTRY(driverlink) link;   /* list of drivers in devclass */
  84         int             pass;
  85         TAILQ_ENTRY(driverlink) passlink;
  86 };
  87
  88 /*
  89  * Forward declarations
  90  */
  91 typedef TAILQ_HEAD(devclass_list, devclass) devclass_list_t;
  92 typedef TAILQ_HEAD(driver_list, driverlink) driver_list_t;
  93 typedef TAILQ_HEAD(device_list, device) device_list_t;
  94
  95 struct devclass {
  96         TAILQ_ENTRY(devclass) link;
  97         devclass_t      parent;         /* parent in devclass hierarchy */
  98         driver_list_t   drivers;     /* bus devclasses store drivers for bus */
  99         char            *name;
 100         device_t        *devices;       /* array of devices indexed by unit */
 101         int             maxunit;        /* size of devices array */
 102         int             flags;
 103 #define DC_HAS_CHILDREN         1
 104
 105         struct sysctl_ctx_list sysctl_ctx;
 106         struct sysctl_oid *sysctl_tree;
 107 };
 108
 109 /**
 110  * @brief Implementation of device.
 111  */
 112 struct device {
 113         /*
 114          * A device is a kernel object. The first field must be the
 115          * current ops table for the object.
 116          */
 117         KOBJ_FIELDS;
 118
 119         /*
 120          * Device hierarchy.
 121          */
 122         TAILQ_ENTRY(device)     link;   /**< list of devices in parent */
 123         TAILQ_ENTRY(device)     devlink; /**< global device list membership */
 124         device_t        parent;         /**< parent of this device  */
 125         device_list_t   children;       /**< list of child devices */
 126
 127         /*
 128          * Details of this device.
 129          */
 130         driver_t        *driver;        /**< current driver */
 131         devclass_t      devclass;       /**< current device class */
 132         int             unit;           /**< current unit number */
 133         char*           nameunit;       /**< name+unit e.g. foodev0 */
 134         char*           desc;           /**< driver specific description */
 135         int             busy;           /**< count of calls to device_busy() */
 136         device_state_t  state;          /**< current device state  */
 137         uint32_t        devflags;       /**< api level flags for device_get_flags() */
 138         u_int           flags;          /**< internal device flags  */
 139         u_int   order;                  /**< order from device_add_child_ordered() */
 140         void    *ivars;                 /**< instance variables  */
 141         void    *softc;                 /**< current driver's variables  */
 142
 143         struct sysctl_ctx_list sysctl_ctx; /**< state for sysctl variables  */
 144         struct sysctl_oid *sysctl_tree; /**< state for sysctl variables */
 145 };
 146
 147 static MALLOC_DEFINE(M_BUS, "bus", "Bus data structures");
 148 static MALLOC_DEFINE(M_BUS_SC, "bus-sc", "Bus data structures, softc");
 149
 150 EVENTHANDLER_LIST_DEFINE(device_attach);
 151 EVENTHANDLER_LIST_DEFINE(device_detach);
 152 EVENTHANDLER_LIST_DEFINE(dev_lookup);
 153
 154 static void devctl2_init(void);
 155
 156 #define DRIVERNAME(d)   ((d)? d->name : "no driver")
 157 #define DEVCLANAME(d)   ((d)? d->name : "no devclass")
 158
 159 #ifdef BUS_DEBUG
 160
 161 static int bus_debug = 1;
 162 SYSCTL_INT(_debug, OID_AUTO, bus_debug, CTLFLAG_RWTUN, &bus_debug, 0,
 163     "Bus debug level");
 164
 165 #define PDEBUG(a)       if (bus_debug) {printf("%s:%d: ", __func__, __LINE__), printf a; printf("\n");}
 166 #define DEVICENAME(d)   ((d)? device_get_name(d): "no device")
 167
 168 /**
 169  * Produce the indenting, indent*2 spaces plus a '.' ahead of that to
 170  * prevent syslog from deleting initial spaces
 171  */
 172 #define indentprintf(p) do { int iJ; printf("."); for (iJ=0; iJ<indent; iJ++) printf("  "); printf p ; } while (0)
 173
 174 static void print_device_short(device_t dev, int indent);
 175 static void print_device(device_t dev, int indent);
 176 void print_device_tree_short(device_t dev, int indent);
 177 void print_device_tree(device_t dev, int indent);
 178 static void print_driver_short(driver_t *driver, int indent);
 179 static void print_driver(driver_t *driver, int indent);
 180 static void print_driver_list(driver_list_t drivers, int indent);
 181 static void print_devclass_short(devclass_t dc, int indent);
 182 static void print_devclass(devclass_t dc, int indent);
 183 void print_devclass_list_short(void);
 184 void print_devclass_list(void);
 185
 186 #else
 187 /* Make the compiler ignore the function calls */
 188 #define PDEBUG(a)                       /* nop */
 189 #define DEVICENAME(d)                   /* nop */
 190
 191 #define print_device_short(d,i)         /* nop */
 192 #define print_device(d,i)               /* nop */
 193 #define print_device_tree_short(d,i)    /* nop */
 194 #define print_device_tree(d,i)          /* nop */
 195 #define print_driver_short(d,i)         /* nop */
 196 #define print_driver(d,i)               /* nop */
 197 #define print_driver_list(d,i)          /* nop */
 198 #define print_devclass_short(d,i)       /* nop */
 199 #define print_devclass(d,i)             /* nop */
 200 #define print_devclass_list_short()     /* nop */
 201 #define print_devclass_list()           /* nop */
 202 #endif
 203
 204 /*
 205  * dev sysctl tree
 206  */
 207
 208 enum {
 209         DEVCLASS_SYSCTL_PARENT,
 210 };
 211
 212 static int
 213 devclass_sysctl_handler(SYSCTL_HANDLER_ARGS)
 214 {
 215         devclass_t dc = (devclass_t)arg1;
 216         const char *value;
 217
 218         switch (arg2) {
 219         case DEVCLASS_SYSCTL_PARENT:
 220                 value = dc->parent ? dc->parent->name : "";
 221                 break;
 222         default:
 223                 return (EINVAL);
 224         }
 225         return (SYSCTL_OUT_STR(req, value));
 226 }
 227
 228 static void
 229 devclass_sysctl_init(devclass_t dc)
 230 {
 231
 232         if (dc->sysctl_tree != NULL)
 233                 return;
 234         sysctl_ctx_init(&dc->sysctl_ctx);
 235         dc->sysctl_tree = SYSCTL_ADD_NODE(&dc->sysctl_ctx,
 236             SYSCTL_STATIC_CHILDREN(_dev), OID_AUTO, dc->name,
 237             CTLFLAG_RD, NULL, "");
 238         SYSCTL_ADD_PROC(&dc->sysctl_ctx, SYSCTL_CHILDREN(dc->sysctl_tree),
 239             OID_AUTO, "%parent", CTLTYPE_STRING | CTLFLAG_RD,
 240             dc, DEVCLASS_SYSCTL_PARENT, devclass_sysctl_handler, "A",
 241             "parent class");
 242 }
 243
 244 enum {
 245         DEVICE_SYSCTL_DESC,
 246         DEVICE_SYSCTL_DRIVER,
 247         DEVICE_SYSCTL_LOCATION,
 248         DEVICE_SYSCTL_PNPINFO,
 249         DEVICE_SYSCTL_PARENT,
 250 };
 251
 252 static int
 253 device_sysctl_handler(SYSCTL_HANDLER_ARGS)
 254 {
 255         device_t dev = (device_t)arg1;
 256         const char *value;
 257         char *buf;
 258         int error;
 259
 260         buf = NULL;
 261         switch (arg2) {
 262         case DEVICE_SYSCTL_DESC:
 263                 value = dev->desc ? dev->desc : "";
 264                 break;
 265         case DEVICE_SYSCTL_DRIVER:
 266                 value = dev->driver ? dev->driver->name : "";
 267                 break;
 268         case DEVICE_SYSCTL_LOCATION:
 269                 value = buf = malloc(1024, M_BUS, M_WAITOK | M_ZERO);
 270                 bus_child_location_str(dev, buf, 1024);
 271                 break;
 272         case DEVICE_SYSCTL_PNPINFO:
 273                 value = buf = malloc(1024, M_BUS, M_WAITOK | M_ZERO);
 274                 bus_child_pnpinfo_str(dev, buf, 1024);
 275                 break;
 276         case DEVICE_SYSCTL_PARENT:
 277                 value = dev->parent ? dev->parent->nameunit : "";
 278                 break;
 279         default:
 280                 return (EINVAL);
 281         }
 282         error = SYSCTL_OUT_STR(req, value);
 283         if (buf != NULL)
 284                 free(buf, M_BUS);
 285         return (error);
 286 }
 287
 288 static void
 289 device_sysctl_init(device_t dev)
 290 {
 291         devclass_t dc = dev->devclass;
 292         int domain;
 293
 294         if (dev->sysctl_tree != NULL)
 295                 return;
 296         devclass_sysctl_init(dc);
 297         sysctl_ctx_init(&dev->sysctl_ctx);
 298         dev->sysctl_tree = SYSCTL_ADD_NODE_WITH_LABEL(&dev->sysctl_ctx,
 299             SYSCTL_CHILDREN(dc->sysctl_tree), OID_AUTO,
 300             dev->nameunit + strlen(dc->name),
 301             CTLFLAG_RD, NULL, "", "device_index");
 302         SYSCTL_ADD_PROC(&dev->sysctl_ctx, SYSCTL_CHILDREN(dev->sysctl_tree),
 303             OID_AUTO, "%desc", CTLTYPE_STRING | CTLFLAG_RD,
 304             dev, DEVICE_SYSCTL_DESC, device_sysctl_handler, "A",
 305             "device description");
 306         SYSCTL_ADD_PROC(&dev->sysctl_ctx, SYSCTL_CHILDREN(dev->sysctl_tree),
 307             OID_AUTO, "%driver", CTLTYPE_STRING | CTLFLAG_RD,
 308             dev, DEVICE_SYSCTL_DRIVER, device_sysctl_handler, "A",
 309             "device driver name");
 310         SYSCTL_ADD_PROC(&dev->sysctl_ctx, SYSCTL_CHILDREN(dev->sysctl_tree),
 311             OID_AUTO, "%location", CTLTYPE_STRING | CTLFLAG_RD,
 312             dev, DEVICE_SYSCTL_LOCATION, device_sysctl_handler, "A",
 313             "device location relative to parent");
 314         SYSCTL_ADD_PROC(&dev->sysctl_ctx, SYSCTL_CHILDREN(dev->sysctl_tree),
 315             OID_AUTO, "%pnpinfo", CTLTYPE_STRING | CTLFLAG_RD,
 316             dev, DEVICE_SYSCTL_PNPINFO, device_sysctl_handler, "A",
 317             "device identification");
 318         SYSCTL_ADD_PROC(&dev->sysctl_ctx, SYSCTL_CHILDREN(dev->sysctl_tree),
 319             OID_AUTO, "%parent", CTLTYPE_STRING | CTLFLAG_RD,
 320             dev, DEVICE_SYSCTL_PARENT, device_sysctl_handler, "A",
 321             "parent device");
 322         if (bus_get_domain(dev, &domain) == 0)
 323                 SYSCTL_ADD_INT(&dev->sysctl_ctx,
 324                     SYSCTL_CHILDREN(dev->sysctl_tree), OID_AUTO, "%domain",
 325                     CTLFLAG_RD, NULL, domain, "NUMA domain");
 326 }
 327
 328 static void
 329 device_sysctl_update(device_t dev)
 330 {
 331         devclass_t dc = dev->devclass;
 332
 333         if (dev->sysctl_tree == NULL)
 334                 return;
 335         sysctl_rename_oid(dev->sysctl_tree, dev->nameunit + strlen(dc->name));
 336 }
 337
 338 static void
 339 device_sysctl_fini(device_t dev)
 340 {
 341         if (dev->sysctl_tree == NULL)
 342                 return;
 343         sysctl_ctx_free(&dev->sysctl_ctx);
 344         dev->sysctl_tree = NULL;
 345 }
 346
 347 /*
 348  * /dev/devctl implementation
 349  */
 350
 351 /*
 352  * This design allows only one reader for /dev/devctl.  This is not desirable
 353  * in the long run, but will get a lot of hair out of this implementation.
 354  * Maybe we should make this device a clonable device.
 355  *
 356  * Also note: we specifically do not attach a device to the device_t tree
 357  * to avoid potential chicken and egg problems.  One could argue that all
 358  * of this belongs to the root node.  One could also further argue that the
 359  * sysctl interface that we have not might more properly be an ioctl
 360  * interface, but at this stage of the game, I'm not inclined to rock that
 361  * boat.
 362  *
 363  * I'm also not sure that the SIGIO support is done correctly or not, as
 364  * I copied it from a driver that had SIGIO support that likely hasn't been
 365  * tested since 3.4 or 2.2.8!
 366  */
 367
 368 /* Deprecated way to adjust queue length */
 369 static int sysctl_devctl_disable(SYSCTL_HANDLER_ARGS);
 370 SYSCTL_PROC(_hw_bus, OID_AUTO, devctl_disable, CTLTYPE_INT | CTLFLAG_RWTUN |
 371     CTLFLAG_MPSAFE, NULL, 0, sysctl_devctl_disable, "I",
 372     "devctl disable -- deprecated");
 373
 374 #define DEVCTL_DEFAULT_QUEUE_LEN 1000
 375 static int sysctl_devctl_queue(SYSCTL_HANDLER_ARGS);
 376 static int devctl_queue_length = DEVCTL_DEFAULT_QUEUE_LEN;
 377 SYSCTL_PROC(_hw_bus, OID_AUTO, devctl_queue, CTLTYPE_INT | CTLFLAG_RWTUN |
 378     CTLFLAG_MPSAFE, NULL, 0, sysctl_devctl_queue, "I", "devctl queue length");
 379
 380 static d_open_t         devopen;
 381 static d_close_t        devclose;
 382 static d_read_t         devread;
 383 static d_ioctl_t        devioctl;
 384 static d_poll_t         devpoll;
 385 static d_kqfilter_t     devkqfilter;
 386
 387 static struct cdevsw dev_cdevsw = {
 388         .d_version =    D_VERSION,
 389         .d_open =       devopen,
 390         .d_close =      devclose,
 391         .d_read =       devread,
 392         .d_ioctl =      devioctl,
 393         .d_poll =       devpoll,
 394         .d_kqfilter =   devkqfilter,
 395         .d_name =       "devctl",
 396 };
 397
 398 struct dev_event_info
 399 {
 400         char *dei_data;
 401         TAILQ_ENTRY(dev_event_info) dei_link;
 402 };
 403
 404 TAILQ_HEAD(devq, dev_event_info);
 405
 406 static struct dev_softc
 407 {
 408         int     inuse;
 409         int     nonblock;
 410         int     queued;
 411         int     async;
 412         struct mtx mtx;
 413         struct cv cv;
 414         struct selinfo sel;
 415         struct devq devq;
 416         struct sigio *sigio;
 417 } devsoftc;
 418
 419 static void     filt_devctl_detach(struct knote *kn);
 420 static int      filt_devctl_read(struct knote *kn, long hint);
 421
 422 struct filterops devctl_rfiltops = {
 423         .f_isfd = 1,
 424         .f_detach = filt_devctl_detach,
 425         .f_event = filt_devctl_read,
 426 };
 427
 428 static struct cdev *devctl_dev;
 429
 430 static void
 431 devinit(void)
 432 {
 433         devctl_dev = make_dev_credf(MAKEDEV_ETERNAL, &dev_cdevsw, 0, NULL,
 434             UID_ROOT, GID_WHEEL, 0600, "devctl");
 435         mtx_init(&devsoftc.mtx, "dev mtx", "devd", MTX_DEF);
 436         cv_init(&devsoftc.cv, "dev cv");
 437         TAILQ_INIT(&devsoftc.devq);
 438         knlist_init_mtx(&devsoftc.sel.si_note, &devsoftc.mtx);
 439         devctl2_init();
 440 }
 441
 442 static int
 443 devopen(struct cdev *dev, int oflags, int devtype, struct thread *td)
 444 {
 445
 446         mtx_lock(&devsoftc.mtx);
 447         if (devsoftc.inuse) {
 448                 mtx_unlock(&devsoftc.mtx);
 449                 return (EBUSY);
 450         }
 451         /* move to init */
 452         devsoftc.inuse = 1;
 453         mtx_unlock(&devsoftc.mtx);
 454         return (0);
 455 }
 456
 457 static int
 458 devclose(struct cdev *dev, int fflag, int devtype, struct thread *td)
 459 {
 460
 461         mtx_lock(&devsoftc.mtx);
 462         devsoftc.inuse = 0;
 463         devsoftc.nonblock = 0;
 464         devsoftc.async = 0;
 465         cv_broadcast(&devsoftc.cv);
 466         funsetown(&devsoftc.sigio);
 467         mtx_unlock(&devsoftc.mtx);
 468         return (0);
 469 }
 470
 471 /*
 472  * The read channel for this device is used to report changes to
 473  * userland in realtime.  We are required to free the data as well as
 474  * the n1 object because we allocate them separately.  Also note that
 475  * we return one record at a time.  If you try to read this device a
 476  * character at a time, you will lose the rest of the data.  Listening
 477  * programs are expected to cope.
 478  */
 479 static int
 480 devread(struct cdev *dev, struct uio *uio, int ioflag)
 481 {
 482         struct dev_event_info *n1;
 483         int rv;
 484
 485         mtx_lock(&devsoftc.mtx);
 486         while (TAILQ_EMPTY(&devsoftc.devq)) {
 487                 if (devsoftc.nonblock) {
 488                         mtx_unlock(&devsoftc.mtx);
 489                         return (EAGAIN);
 490                 }
 491                 rv = cv_wait_sig(&devsoftc.cv, &devsoftc.mtx);
 492                 if (rv) {
 493                         /*
 494                          * Need to translate ERESTART to EINTR here? -- jake
 495                          */
 496                         mtx_unlock(&devsoftc.mtx);
 497                         return (rv);
 498                 }
 499         }
 500         n1 = TAILQ_FIRST(&devsoftc.devq);
 501         TAILQ_REMOVE(&devsoftc.devq, n1, dei_link);
 502         devsoftc.queued--;
 503         mtx_unlock(&devsoftc.mtx);
 504         rv = uiomove(n1->dei_data, strlen(n1->dei_data), uio);
 505         free(n1->dei_data, M_BUS);
 506         free(n1, M_BUS);
 507         return (rv);
 508 }
 509
 510 static  int
 511 devioctl(struct cdev *dev, u_long cmd, caddr_t data, int fflag, struct thread *td)
 512 {
 513         switch (cmd) {
 514
 515         case FIONBIO:
 516                 if (*(int*)data)
 517                         devsoftc.nonblock = 1;
 518                 else
 519                         devsoftc.nonblock = 0;
 520                 return (0);
 521         case FIOASYNC:
 522                 if (*(int*)data)
 523                         devsoftc.async = 1;
 524                 else
 525                         devsoftc.async = 0;
 526                 return (0);
 527         case FIOSETOWN:
 528                 return fsetown(*(int *)data, &devsoftc.sigio);
 529         case FIOGETOWN:
 530                 *(int *)data = fgetown(&devsoftc.sigio);
 531                 return (0);
 532
 533                 /* (un)Support for other fcntl() calls. */
 534         case FIOCLEX:
 535         case FIONCLEX:
 536         case FIONREAD:
 537         default:
 538                 break;
 539         }
 540         return (ENOTTY);
 541 }
 542
 543 static  int
 544 devpoll(struct cdev *dev, int events, struct thread *td)
 545 {
 546         int     revents = 0;
 547
 548         mtx_lock(&devsoftc.mtx);
 549         if (events & (POLLIN | POLLRDNORM)) {
 550                 if (!TAILQ_EMPTY(&devsoftc.devq))
 551                         revents = events & (POLLIN | POLLRDNORM);
 552                 else
 553                         selrecord(td, &devsoftc.sel);
 554         }
 555         mtx_unlock(&devsoftc.mtx);
 556
 557         return (revents);
 558 }
 559
 560 static int
 561 devkqfilter(struct cdev *dev, struct knote *kn)
 562 {
 563         int error;
 564
 565         if (kn->kn_filter == EVFILT_READ) {
 566                 kn->kn_fop = &devctl_rfiltops;
 567                 knlist_add(&devsoftc.sel.si_note, kn, 0);
 568                 error = 0;
 569         } else
 570                 error = EINVAL;
 571         return (error);
 572 }
 573
 574 static void
 575 filt_devctl_detach(struct knote *kn)
 576 {
 577
 578         knlist_remove(&devsoftc.sel.si_note, kn, 0);
 579 }
 580
 581 static int
 582 filt_devctl_read(struct knote *kn, long hint)
 583 {
 584         kn->kn_data = devsoftc.queued;
 585         return (kn->kn_data != 0);
 586 }
 587
 588 /**
 589  * @brief Return whether the userland process is running
 590  */
 591 boolean_t
 592 devctl_process_running(void)
 593 {
 594         return (devsoftc.inuse == 1);
 595 }
 596
 597 /**
 598  * @brief Queue data to be read from the devctl device
 599  *
 600  * Generic interface to queue data to the devctl device.  It is
 601  * assumed that @p data is properly formatted.  It is further assumed
 602  * that @p data is allocated using the M_BUS malloc type.
 603  */
 604 void
 605 devctl_queue_data_f(char *data, int flags)
 606 {
 607         struct dev_event_info *n1 = NULL, *n2 = NULL;
 608
 609         if (strlen(data) == 0)
 610                 goto out;
 611         if (devctl_queue_length == 0)
 612                 goto out;
 613         n1 = malloc(sizeof(*n1), M_BUS, flags);
 614         if (n1 == NULL)
 615                 goto out;
 616         n1->dei_data = data;
 617         mtx_lock(&devsoftc.mtx);
 618         if (devctl_queue_length == 0) {
 619                 mtx_unlock(&devsoftc.mtx);
 620                 free(n1->dei_data, M_BUS);
 621                 free(n1, M_BUS);
 622                 return;
 623         }
 624         /* Leave at least one spot in the queue... */
 625         while (devsoftc.queued > devctl_queue_length - 1) {
 626                 n2 = TAILQ_FIRST(&devsoftc.devq);
 627                 TAILQ_REMOVE(&devsoftc.devq, n2, dei_link);
 628                 free(n2->dei_data, M_BUS);
 629                 free(n2, M_BUS);
 630                 devsoftc.queued--;
 631         }
 632         TAILQ_INSERT_TAIL(&devsoftc.devq, n1, dei_link);
 633         devsoftc.queued++;
 634         cv_broadcast(&devsoftc.cv);
 635         KNOTE_LOCKED(&devsoftc.sel.si_note, 0);
 636         mtx_unlock(&devsoftc.mtx);
 637         selwakeup(&devsoftc.sel);
 638         if (devsoftc.async && devsoftc.sigio != NULL)
 639                 pgsigio(&devsoftc.sigio, SIGIO, 0);
 640         return;
 641 out:
 642         /*
 643          * We have to free data on all error paths since the caller
 644          * assumes it will be free'd when this item is dequeued.
 645          */
 646         free(data, M_BUS);
 647         return;
 648 }
 649
 650 void
 651 devctl_queue_data(char *data)
 652 {
 653
 654         devctl_queue_data_f(data, M_NOWAIT);
 655 }
 656
 657 /**
 658  * @brief Send a 'notification' to userland, using standard ways
 659  */
 660 void
 661 devctl_notify_f(const char *system, const char *subsystem, const char *type,
 662     const char *data, int flags)
 663 {
 664         int len = 0;
 665         char *msg;
 666
 667         if (system == NULL)
 668                 return;         /* BOGUS!  Must specify system. */
 669         if (subsystem == NULL)
 670                 return;         /* BOGUS!  Must specify subsystem. */
 671         if (type == NULL)
 672                 return;         /* BOGUS!  Must specify type. */
 673         len += strlen(" system=") + strlen(system);
 674         len += strlen(" subsystem=") + strlen(subsystem);
 675         len += strlen(" type=") + strlen(type);
 676         /* add in the data message plus newline. */
 677         if (data != NULL)
 678                 len += strlen(data);
 679         len += 3;       /* '!', '\n', and NUL */
 680         msg = malloc(len, M_BUS, flags);
 681         if (msg == NULL)
 682                 return;         /* Drop it on the floor */
 683         if (data != NULL)
 684                 snprintf(msg, len, "!system=%s subsystem=%s type=%s %s\n",
 685                     system, subsystem, type, data);
 686         else
 687                 snprintf(msg, len, "!system=%s subsystem=%s type=%s\n",
 688                     system, subsystem, type);
 689         devctl_queue_data_f(msg, flags);
 690 }
 691
 692 void
 693 devctl_notify(const char *system, const char *subsystem, const char *type,
 694     const char *data)
 695 {
 696
 697         devctl_notify_f(system, subsystem, type, data, M_NOWAIT);
 698 }
 699
 700 /*
 701  * Common routine that tries to make sending messages as easy as possible.
 702  * We allocate memory for the data, copy strings into that, but do not
 703  * free it unless there's an error.  The dequeue part of the driver should
 704  * free the data.  We don't send data when the device is disabled.  We do
 705  * send data, even when we have no listeners, because we wish to avoid
 706  * races relating to startup and restart of listening applications.
 707  *
 708  * devaddq is designed to string together the type of event, with the
 709  * object of that event, plus the plug and play info and location info
 710  * for that event.  This is likely most useful for devices, but less
 711  * useful for other consumers of this interface.  Those should use
 712  * the devctl_queue_data() interface instead.
 713  */
 714 static void
 715 devaddq(const char *type, const char *what, device_t dev)
 716 {
 717         char *data = NULL;
 718         char *loc = NULL;
 719         char *pnp = NULL;
 720         const char *parstr;
 721
 722         if (!devctl_queue_length)/* Rare race, but lost races safely discard */
 723                 return;
 724         data = malloc(1024, M_BUS, M_NOWAIT);
 725         if (data == NULL)
 726                 goto bad;
 727
 728         /* get the bus specific location of this device */
 729         loc = malloc(1024, M_BUS, M_NOWAIT);
 730         if (loc == NULL)
 731                 goto bad;
 732         *loc = '\0';
 733         bus_child_location_str(dev, loc, 1024);
 734
 735         /* Get the bus specific pnp info of this device */
 736         pnp = malloc(1024, M_BUS, M_NOWAIT);
 737         if (pnp == NULL)
 738                 goto bad;
 739         *pnp = '\0';
 740         bus_child_pnpinfo_str(dev, pnp, 1024);
 741
 742         /* Get the parent of this device, or / if high enough in the tree. */
 743         if (device_get_parent(dev) == NULL)
 744                 parstr = ".";   /* Or '/' ? */
 745         else
 746                 parstr = device_get_nameunit(device_get_parent(dev));
 747         /* String it all together. */
 748         snprintf(data, 1024, "%s%s at %s %s on %s\n", type, what, loc, pnp,
 749           parstr);
 750         free(loc, M_BUS);
 751         free(pnp, M_BUS);
 752         devctl_queue_data(data);
 753         return;
 754 bad:
 755         free(pnp, M_BUS);
 756         free(loc, M_BUS);
 757         free(data, M_BUS);
 758         return;
 759 }
 760
 761 /*
 762  * A device was added to the tree.  We are called just after it successfully
 763  * attaches (that is, probe and attach success for this device).  No call
 764  * is made if a device is merely parented into the tree.  See devnomatch
 765  * if probe fails.  If attach fails, no notification is sent (but maybe
 766  * we should have a different message for this).
 767  */
 768 static void
 769 devadded(device_t dev)
 770 {
 771         devaddq("+", device_get_nameunit(dev), dev);
 772 }
 773
 774 /*
 775  * A device was removed from the tree.  We are called just before this
 776  * happens.
 777  */
 778 static void
 779 devremoved(device_t dev)
 780 {
 781         devaddq("-", device_get_nameunit(dev), dev);
 782 }
 783
 784 /*
 785  * Called when there's no match for this device.  This is only called
 786  * the first time that no match happens, so we don't keep getting this
 787  * message.  Should that prove to be undesirable, we can change it.
 788  * This is called when all drivers that can attach to a given bus
 789  * decline to accept this device.  Other errors may not be detected.
 790  */
 791 static void
 792 devnomatch(device_t dev)
 793 {
 794         devaddq("?", "", dev);
 795 }
 796
 797 static int
 798 sysctl_devctl_disable(SYSCTL_HANDLER_ARGS)
 799 {
 800         struct dev_event_info *n1;
 801         int dis, error;
 802
 803         dis = (devctl_queue_length == 0);
 804         error = sysctl_handle_int(oidp, &dis, 0, req);
 805         if (error || !req->newptr)
 806                 return (error);
 807         if (mtx_initialized(&devsoftc.mtx))
 808                 mtx_lock(&devsoftc.mtx);
 809         if (dis) {
 810                 while (!TAILQ_EMPTY(&devsoftc.devq)) {
 811                         n1 = TAILQ_FIRST(&devsoftc.devq);
 812                         TAILQ_REMOVE(&devsoftc.devq, n1, dei_link);
 813                         free(n1->dei_data, M_BUS);
 814                         free(n1, M_BUS);
 815                 }
 816                 devsoftc.queued = 0;
 817                 devctl_queue_length = 0;
 818         } else {
 819                 devctl_queue_length = DEVCTL_DEFAULT_QUEUE_LEN;
 820         }
 821         if (mtx_initialized(&devsoftc.mtx))
 822                 mtx_unlock(&devsoftc.mtx);
 823         return (0);
 824 }
 825
 826 static int
 827 sysctl_devctl_queue(SYSCTL_HANDLER_ARGS)
 828 {
 829         struct dev_event_info *n1;
 830         int q, error;
 831
 832         q = devctl_queue_length;
 833         error = sysctl_handle_int(oidp, &q, 0, req);
 834         if (error || !req->newptr)
 835                 return (error);
 836         if (q < 0)
 837                 return (EINVAL);
 838         if (mtx_initialized(&devsoftc.mtx))
 839                 mtx_lock(&devsoftc.mtx);
 840         devctl_queue_length = q;
 841         while (devsoftc.queued > devctl_queue_length) {
 842                 n1 = TAILQ_FIRST(&devsoftc.devq);
 843                 TAILQ_REMOVE(&devsoftc.devq, n1, dei_link);
 844                 free(n1->dei_data, M_BUS);
 845                 free(n1, M_BUS);
 846                 devsoftc.queued--;
 847         }
 848         if (mtx_initialized(&devsoftc.mtx))
 849                 mtx_unlock(&devsoftc.mtx);
 850         return (0);
 851 }
 852
 853 /**
 854  * @brief safely quotes strings that might have double quotes in them.
 855  *
 856  * The devctl protocol relies on quoted strings having matching quotes.
 857  * This routine quotes any internal quotes so the resulting string
 858  * is safe to pass to snprintf to construct, for example pnp info strings.
 859  * Strings are always terminated with a NUL, but may be truncated if longer
 860  * than @p len bytes after quotes.
 861  *
 862  * @param dst   Buffer to hold the string. Must be at least @p len bytes long
 863  * @param src   Original buffer.
 864  * @param len   Length of buffer pointed to by @dst, including trailing NUL
 865  */
 866 void
 867 devctl_safe_quote(char *dst, const char *src, size_t len)
 868 {
 869         char *walker = dst, *ep = dst + len - 1;
 870
 871         if (len == 0)
 872                 return;
 873         while (src != NULL && walker < ep)
 874         {
 875                 if (*src == '"' || *src == '\\') {
 876                         if (ep - walker < 2)
 877                                 break;
 878                         *walker++ = '\\';
 879                 }
 880                 *walker++ = *src++;
 881         }
 882         *walker = '\0';
 883 }
 884
 885 /* End of /dev/devctl code */
 886
 887 static TAILQ_HEAD(,device)      bus_data_devices;
 888 static int bus_data_generation = 1;
 889
 890 static kobj_method_t null_methods[] = {
 891         KOBJMETHOD_END
 892 };
 893
 894 DEFINE_CLASS(null, null_methods, 0);
 895
 896 /*
 897  * Bus pass implementation
 898  */
 899
 900 static driver_list_t passes = TAILQ_HEAD_INITIALIZER(passes);
 901 int bus_current_pass = BUS_PASS_ROOT;
 902
 903 /**
 904  * @internal
 905  * @brief Register the pass level of a new driver attachment
 906  *
 907  * Register a new driver attachment's pass level.  If no driver
 908  * attachment with the same pass level has been added, then @p new
 909  * will be added to the global passes list.
 910  *
 911  * @param new           the new driver attachment
 912  */
 913 static void
 914 driver_register_pass(struct driverlink *new)
 915 {
 916         struct driverlink *dl;
 917
 918         /* We only consider pass numbers during boot. */
 919         if (bus_current_pass == BUS_PASS_DEFAULT)
 920                 return;
 921
 922         /*
 923          * Walk the passes list.  If we already know about this pass
 924          * then there is nothing to do.  If we don't, then insert this
 925          * driver link into the list.
 926          */
 927         TAILQ_FOREACH(dl, &passes, passlink) {
 928                 if (dl->pass < new->pass)
 929                         continue;
 930                 if (dl->pass == new->pass)
 931                         return;
 932                 TAILQ_INSERT_BEFORE(dl, new, passlink);
 933                 return;
 934         }
 935         TAILQ_INSERT_TAIL(&passes, new, passlink);
 936 }
 937
 938 /**
 939  * @brief Raise the current bus pass
 940  *
 941  * Raise the current bus pass level to @p pass.  Call the BUS_NEW_PASS()
 942  * method on the root bus to kick off a new device tree scan for each
 943  * new pass level that has at least one driver.
 944  */
 945 void
 946 bus_set_pass(int pass)
 947 {
 948         struct driverlink *dl;
 949
 950         if (bus_current_pass > pass)
 951                 panic("Attempt to lower bus pass level");
 952
 953         TAILQ_FOREACH(dl, &passes, passlink) {
 954                 /* Skip pass values below the current pass level. */
 955                 if (dl->pass <= bus_current_pass)
 956                         continue;
 957
 958                 /*
 959                  * Bail once we hit a driver with a pass level that is
 960                  * too high.
 961                  */
 962                 if (dl->pass > pass)
 963                         break;
 964
 965                 /*
 966                  * Raise the pass level to the next level and rescan
 967                  * the tree.
 968                  */
 969                 bus_current_pass = dl->pass;
 970                 BUS_NEW_PASS(root_bus);
 971         }
 972
 973         /*
 974          * If there isn't a driver registered for the requested pass,
 975          * then bus_current_pass might still be less than 'pass'.  Set
 976          * it to 'pass' in that case.
 977          */
 978         if (bus_current_pass < pass)
 979                 bus_current_pass = pass;
 980         KASSERT(bus_current_pass == pass, ("Failed to update bus pass level"));
 981 }
 982
 983 /*
 984  * Devclass implementation
 985  */
 986
 987 static devclass_list_t devclasses = TAILQ_HEAD_INITIALIZER(devclasses);
 988
 989 /**
 990  * @internal
 991  * @brief Find or create a device class
 992  *
 993  * If a device class with the name @p classname exists, return it,
 994  * otherwise if @p create is non-zero create and return a new device
 995  * class.
 996  *
 997  * If @p parentname is non-NULL, the parent of the devclass is set to
 998  * the devclass of that name.
 999  *
1000  * @param classname     the devclass name to find or create
1001  * @param parentname    the parent devclass name or @c NULL
1002  * @param create        non-zero to create a devclass
1003  */
1004 static devclass_t
1005 devclass_find_internal(const char *classname, const char *parentname,
1006                        int create)
1007 {
1008         devclass_t dc;
1009
1010         PDEBUG(("looking for %s", classname));
1011         if (!classname)
1012                 return (NULL);
1013
1014         TAILQ_FOREACH(dc, &devclasses, link) {
1015                 if (!strcmp(dc->name, classname))
1016                         break;
1017         }
1018
1019         if (create && !dc) {
1020                 PDEBUG(("creating %s", classname));
1021                 dc = malloc(sizeof(struct devclass) + strlen(classname) + 1,
1022                     M_BUS, M_NOWAIT | M_ZERO);
1023                 if (!dc)
1024                         return (NULL);
1025                 dc->parent = NULL;
1026                 dc->name = (char*) (dc + 1);
1027                 strcpy(dc->name, classname);
1028                 TAILQ_INIT(&dc->drivers);
1029                 TAILQ_INSERT_TAIL(&devclasses, dc, link);
1030
1031                 bus_data_generation_update();
1032         }
1033
1034         /*
1035          * If a parent class is specified, then set that as our parent so
1036          * that this devclass will support drivers for the parent class as
1037          * well.  If the parent class has the same name don't do this though
1038          * as it creates a cycle that can trigger an infinite loop in
1039          * device_probe_child() if a device exists for which there is no
1040          * suitable driver.
1041          */
1042         if (parentname && dc && !dc->parent &&
1043             strcmp(classname, parentname) != 0) {
1044                 dc->parent = devclass_find_internal(parentname, NULL, TRUE);
1045                 dc->parent->flags |= DC_HAS_CHILDREN;
1046         }
1047
1048         return (dc);
1049 }
1050
1051 /**
1052  * @brief Create a device class
1053  *
1054  * If a device class with the name @p classname exists, return it,
1055  * otherwise create and return a new device class.
1056  *
1057  * @param classname     the devclass name to find or create
1058  */
1059 devclass_t
1060 devclass_create(const char *classname)
1061 {
1062         return (devclass_find_internal(classname, NULL, TRUE));
1063 }
1064
1065 /**
1066  * @brief Find a device class
1067  *
1068  * If a device class with the name @p classname exists, return it,
1069  * otherwise return @c NULL.
1070  *
1071  * @param classname     the devclass name to find
1072  */
1073 devclass_t
1074 devclass_find(const char *classname)
1075 {
1076         return (devclass_find_internal(classname, NULL, FALSE));
1077 }
1078
1079 /**
1080  * @brief Register that a device driver has been added to a devclass
1081  *
1082  * Register that a device driver has been added to a devclass.  This
1083  * is called by devclass_add_driver to accomplish the recursive
1084  * notification of all the children classes of dc, as well as dc.
1085  * Each layer will have BUS_DRIVER_ADDED() called for all instances of
1086  * the devclass.
1087  *
1088  * We do a full search here of the devclass list at each iteration
1089  * level to save storing children-lists in the devclass structure.  If
1090  * we ever move beyond a few dozen devices doing this, we may need to
1091  * reevaluate...
1092  *
1093  * @param dc            the devclass to edit
1094  * @param driver        the driver that was just added
1095  */
1096 static void
1097 devclass_driver_added(devclass_t dc, driver_t *driver)
1098 {
1099         devclass_t parent;
1100         int i;
1101
1102         /*
1103          * Call BUS_DRIVER_ADDED for any existing buses in this class.
1104          */
1105         for (i = 0; i < dc->maxunit; i++)
1106                 if (dc->devices[i] && device_is_attached(dc->devices[i]))
1107                         BUS_DRIVER_ADDED(dc->devices[i], driver);
1108
1109         /*
1110          * Walk through the children classes.  Since we only keep a
1111          * single parent pointer around, we walk the entire list of
1112          * devclasses looking for children.  We set the
1113          * DC_HAS_CHILDREN flag when a child devclass is created on
1114          * the parent, so we only walk the list for those devclasses
1115          * that have children.
1116          */
1117         if (!(dc->flags & DC_HAS_CHILDREN))
1118                 return;
1119         parent = dc;
1120         TAILQ_FOREACH(dc, &devclasses, link) {
1121                 if (dc->parent == parent)
1122                         devclass_driver_added(dc, driver);
1123         }
1124 }
1125
1126 /**
1127  * @brief Add a device driver to a device class
1128  *
1129  * Add a device driver to a devclass. This is normally called
1130  * automatically by DRIVER_MODULE(). The BUS_DRIVER_ADDED() method of
1131  * all devices in the devclass will be called to allow them to attempt
1132  * to re-probe any unmatched children.
1133  *
1134  * @param dc            the devclass to edit
1135  * @param driver        the driver to register
1136  */
1137 int
1138 devclass_add_driver(devclass_t dc, driver_t *driver, int pass, devclass_t *dcp)
1139 {
1140         driverlink_t dl;
1141         const char *parentname;
1142
1143         PDEBUG(("%s", DRIVERNAME(driver)));
1144
1145         /* Don't allow invalid pass values. */
1146         if (pass <= BUS_PASS_ROOT)
1147                 return (EINVAL);
1148
1149         dl = malloc(sizeof *dl, M_BUS, M_NOWAIT|M_ZERO);
1150         if (!dl)
1151                 return (ENOMEM);
1152
1153         /*
1154          * Compile the driver's methods. Also increase the reference count
1155          * so that the class doesn't get freed when the last instance
1156          * goes. This means we can safely use static methods and avoids a
1157          * double-free in devclass_delete_driver.
1158          */
1159         kobj_class_compile((kobj_class_t) driver);
1160
1161         /*
1162          * If the driver has any base classes, make the
1163          * devclass inherit from the devclass of the driver's
1164          * first base class. This will allow the system to
1165          * search for drivers in both devclasses for children
1166          * of a device using this driver.
1167          */
1168         if (driver->baseclasses)
1169                 parentname = driver->baseclasses[0]->name;
1170         else
1171                 parentname = NULL;
1172         *dcp = devclass_find_internal(driver->name, parentname, TRUE);
1173
1174         dl->driver = driver;
1175         TAILQ_INSERT_TAIL(&dc->drivers, dl, link);
1176         driver->refs++;         /* XXX: kobj_mtx */
1177         dl->pass = pass;
1178         driver_register_pass(dl);
1179
1180         devclass_driver_added(dc, driver);
1181         bus_data_generation_update();
1182         return (0);
1183 }
1184
1185 /**
1186  * @brief Register that a device driver has been deleted from a devclass
1187  *
1188  * Register that a device driver has been removed from a devclass.
1189  * This is called by devclass_delete_driver to accomplish the
1190  * recursive notification of all the children classes of busclass, as
1191  * well as busclass.  Each layer will attempt to detach the driver
1192  * from any devices that are children of the bus's devclass.  The function
1193  * will return an error if a device fails to detach.
1194  *
1195  * We do a full search here of the devclass list at each iteration
1196  * level to save storing children-lists in the devclass structure.  If
1197  * we ever move beyond a few dozen devices doing this, we may need to
1198  * reevaluate...
1199  *
1200  * @param busclass      the devclass of the parent bus
1201  * @param dc            the devclass of the driver being deleted
1202  * @param driver        the driver being deleted
1203  */
1204 static int
1205 devclass_driver_deleted(devclass_t busclass, devclass_t dc, driver_t *driver)
1206 {
1207         devclass_t parent;
1208         device_t dev;
1209         int error, i;
1210
1211         /*
1212          * Disassociate from any devices.  We iterate through all the
1213          * devices in the devclass of the driver and detach any which are
1214          * using the driver and which have a parent in the devclass which
1215          * we are deleting from.
1216          *
1217          * Note that since a driver can be in multiple devclasses, we
1218          * should not detach devices which are not children of devices in
1219          * the affected devclass.
1220          */
1221         for (i = 0; i < dc->maxunit; i++) {
1222                 if (dc->devices[i]) {
1223                         dev = dc->devices[i];
1224                         if (dev->driver == driver && dev->parent &&
1225                             dev->parent->devclass == busclass) {
1226                                 if ((error = device_detach(dev)) != 0)
1227                                         return (error);
1228                                 BUS_PROBE_NOMATCH(dev->parent, dev);
1229                                 devnomatch(dev);
1230                                 dev->flags |= DF_DONENOMATCH;
1231                         }
1232                 }
1233         }
1234
1235         /*
1236          * Walk through the children classes.  Since we only keep a
1237          * single parent pointer around, we walk the entire list of
1238          * devclasses looking for children.  We set the
1239          * DC_HAS_CHILDREN flag when a child devclass is created on
1240          * the parent, so we only walk the list for those devclasses
1241          * that have children.
1242          */
1243         if (!(busclass->flags & DC_HAS_CHILDREN))
1244                 return (0);
1245         parent = busclass;
1246         TAILQ_FOREACH(busclass, &devclasses, link) {
1247                 if (busclass->parent == parent) {
1248                         error = devclass_driver_deleted(busclass, dc, driver);
1249                         if (error)
1250                                 return (error);
1251                 }
1252         }
1253         return (0);
1254 }
1255
1256 /**
1257  * @brief Delete a device driver from a device class
1258  *
1259  * Delete a device driver from a devclass. This is normally called
1260  * automatically by DRIVER_MODULE().
1261  *
1262  * If the driver is currently attached to any devices,
1263  * devclass_delete_driver() will first attempt to detach from each
1264  * device. If one of the detach calls fails, the driver will not be
1265  * deleted.
1266  *
1267  * @param dc            the devclass to edit
1268  * @param driver        the driver to unregister
1269  */
1270 int
1271 devclass_delete_driver(devclass_t busclass, driver_t *driver)
1272 {
1273         devclass_t dc = devclass_find(driver->name);
1274         driverlink_t dl;
1275         int error;
1276
1277         PDEBUG(("%s from devclass %s", driver->name, DEVCLANAME(busclass)));
1278
1279         if (!dc)
1280                 return (0);
1281
1282         /*
1283          * Find the link structure in the bus' list of drivers.
1284          */
1285         TAILQ_FOREACH(dl, &busclass->drivers, link) {
1286                 if (dl->driver == driver)
1287                         break;
1288         }
1289
1290         if (!dl) {
1291                 PDEBUG(("%s not found in %s list", driver->name,
1292                     busclass->name));
1293                 return (ENOENT);
1294         }
1295
1296         error = devclass_driver_deleted(busclass, dc, driver);
1297         if (error != 0)
1298                 return (error);
1299
1300         TAILQ_REMOVE(&busclass->drivers, dl, link);
1301         free(dl, M_BUS);
1302
1303         /* XXX: kobj_mtx */
1304         driver->refs--;
1305         if (driver->refs == 0)
1306                 kobj_class_free((kobj_class_t) driver);
1307
1308         bus_data_generation_update();
1309         return (0);
1310 }
1311
1312 /**
1313  * @brief Quiesces a set of device drivers from a device class
1314  *
1315  * Quiesce a device driver from a devclass. This is normally called
1316  * automatically by DRIVER_MODULE().
1317  *
1318  * If the driver is currently attached to any devices,
1319  * devclass_quiesece_driver() will first attempt to quiesce each
1320  * device.
1321  *
1322  * @param dc            the devclass to edit
1323  * @param driver        the driver to unregister
1324  */
1325 static int
1326 devclass_quiesce_driver(devclass_t busclass, driver_t *driver)
1327 {
1328         devclass_t dc = devclass_find(driver->name);
1329         driverlink_t dl;
1330         device_t dev;
1331         int i;
1332         int error;
1333
1334         PDEBUG(("%s from devclass %s", driver->name, DEVCLANAME(busclass)));
1335
1336         if (!dc)
1337                 return (0);
1338
1339         /*
1340          * Find the link structure in the bus' list of drivers.
1341          */
1342         TAILQ_FOREACH(dl, &busclass->drivers, link) {
1343                 if (dl->driver == driver)
1344                         break;
1345         }
1346
1347         if (!dl) {
1348                 PDEBUG(("%s not found in %s list", driver->name,
1349                     busclass->name));
1350                 return (ENOENT);
1351         }
1352
1353         /*
1354          * Quiesce all devices.  We iterate through all the devices in
1355          * the devclass of the driver and quiesce any which are using
1356          * the driver and which have a parent in the devclass which we
1357          * are quiescing.
1358          *
1359          * Note that since a driver can be in multiple devclasses, we
1360          * should not quiesce devices which are not children of
1361          * devices in the affected devclass.
1362          */
1363         for (i = 0; i < dc->maxunit; i++) {
1364                 if (dc->devices[i]) {
1365                         dev = dc->devices[i];
1366                         if (dev->driver == driver && dev->parent &&
1367                             dev->parent->devclass == busclass) {
1368                                 if ((error = device_quiesce(dev)) != 0)
1369                                         return (error);
1370                         }
1371                 }
1372         }
1373
1374         return (0);
1375 }
1376
1377 /**
1378  * @internal
1379  */
1380 static driverlink_t
1381 devclass_find_driver_internal(devclass_t dc, const char *classname)
1382 {
1383         driverlink_t dl;
1384
1385         PDEBUG(("%s in devclass %s", classname, DEVCLANAME(dc)));
1386
1387         TAILQ_FOREACH(dl, &dc->drivers, link) {
1388                 if (!strcmp(dl->driver->name, classname))
1389                         return (dl);
1390         }
1391
1392         PDEBUG(("not found"));
1393         return (NULL);
1394 }
1395
1396 /**
1397  * @brief Return the name of the devclass
1398  */
1399 const char *
1400 devclass_get_name(devclass_t dc)
1401 {
1402         return (dc->name);
1403 }
1404
1405 /**
1406  * @brief Find a device given a unit number
1407  *
1408  * @param dc            the devclass to search
1409  * @param unit          the unit number to search for
1410  *
1411  * @returns             the device with the given unit number or @c
1412  *                      NULL if there is no such device
1413  */
1414 device_t
1415 devclass_get_device(devclass_t dc, int unit)
1416 {
1417         if (dc == NULL || unit < 0 || unit >= dc->maxunit)
1418                 return (NULL);
1419         return (dc->devices[unit]);
1420 }
1421
1422 /**
1423  * @brief Find the softc field of a device given a unit number
1424  *
1425  * @param dc            the devclass to search
1426  * @param unit          the unit number to search for
1427  *
1428  * @returns             the softc field of the device with the given
1429  *                      unit number or @c NULL if there is no such
1430  *                      device
1431  */
1432 void *
1433 devclass_get_softc(devclass_t dc, int unit)
1434 {
1435         device_t dev;
1436
1437         dev = devclass_get_device(dc, unit);
1438         if (!dev)
1439                 return (NULL);
1440
1441         return (device_get_softc(dev));
1442 }
1443
1444 /**
1445  * @brief Get a list of devices in the devclass
1446  *
1447  * An array containing a list of all the devices in the given devclass
1448  * is allocated and returned in @p *devlistp. The number of devices
1449  * in the array is returned in @p *devcountp. The caller should free
1450  * the array using @c free(p, M_TEMP), even if @p *devcountp is 0.
1451  *
1452  * @param dc            the devclass to examine
1453  * @param devlistp      points at location for array pointer return
1454  *                      value
1455  * @param devcountp     points at location for array size return value
1456  *
1457  * @retval 0            success
1458  * @retval ENOMEM       the array allocation failed
1459  */
1460 int
1461 devclass_get_devices(devclass_t dc, device_t **devlistp, int *devcountp)
1462 {
1463         int count, i;
1464         device_t *list;
1465
1466         count = devclass_get_count(dc);
1467         list = malloc(count * sizeof(device_t), M_TEMP, M_NOWAIT|M_ZERO);
1468         if (!list)
1469                 return (ENOMEM);
1470
1471         count = 0;
1472         for (i = 0; i < dc->maxunit; i++) {
1473                 if (dc->devices[i]) {
1474                         list[count] = dc->devices[i];
1475                         count++;
1476                 }
1477         }
1478
1479         *devlistp = list;
1480         *devcountp = count;
1481
1482         return (0);
1483 }
1484
1485 /**
1486  * @brief Get a list of drivers in the devclass
1487  *
1488  * An array containing a list of pointers to all the drivers in the
1489  * given devclass is allocated and returned in @p *listp.  The number
1490  * of drivers in the array is returned in @p *countp. The caller should
1491  * free the array using @c free(p, M_TEMP).
1492  *
1493  * @param dc            the devclass to examine
1494  * @param listp         gives location for array pointer return value
1495  * @param countp        gives location for number of array elements
1496  *                      return value
1497  *
1498  * @retval 0            success
1499  * @retval ENOMEM       the array allocation failed
1500  */
1501 int
1502 devclass_get_drivers(devclass_t dc, driver_t ***listp, int *countp)
1503 {
1504         driverlink_t dl;
1505         driver_t **list;
1506         int count;
1507
1508         count = 0;
1509         TAILQ_FOREACH(dl, &dc->drivers, link)
1510                 count++;
1511         list = malloc(count * sizeof(driver_t *), M_TEMP, M_NOWAIT);
1512         if (list == NULL)
1513                 return (ENOMEM);
1514
1515         count = 0;
1516         TAILQ_FOREACH(dl, &dc->drivers, link) {
1517                 list[count] = dl->driver;
1518                 count++;
1519         }
1520         *listp = list;
1521         *countp = count;
1522
1523         return (0);
1524 }
1525
1526 /**
1527  * @brief Get the number of devices in a devclass
1528  *
1529  * @param dc            the devclass to examine
1530  */
1531 int
1532 devclass_get_count(devclass_t dc)
1533 {
1534         int count, i;
1535
1536         count = 0;
1537         for (i = 0; i < dc->maxunit; i++)
1538                 if (dc->devices[i])
1539                         count++;
1540         return (count);
1541 }
1542
1543 /**
1544  * @brief Get the maximum unit number used in a devclass
1545  *
1546  * Note that this is one greater than the highest currently-allocated
1547  * unit.  If a null devclass_t is passed in, -1 is returned to indicate
1548  * that not even the devclass has been allocated yet.
1549  *
1550  * @param dc            the devclass to examine
1551  */
1552 int
1553 devclass_get_maxunit(devclass_t dc)
1554 {
1555         if (dc == NULL)
1556                 return (-1);
1557         return (dc->maxunit);
1558 }
1559
1560 /**
1561  * @brief Find a free unit number in a devclass
1562  *
1563  * This function searches for the first unused unit number greater
1564  * that or equal to @p unit.
1565  *
1566  * @param dc            the devclass to examine
1567  * @param unit          the first unit number to check
1568  */
1569 int
1570 devclass_find_free_unit(devclass_t dc, int unit)
1571 {
1572         if (dc == NULL)
1573                 return (unit);
1574         while (unit < dc->maxunit && dc->devices[unit] != NULL)
1575                 unit++;
1576         return (unit);
1577 }
1578
1579 /**
1580  * @brief Set the parent of a devclass
1581  *
1582  * The parent class is normally initialised automatically by
1583  * DRIVER_MODULE().
1584  *
1585  * @param dc            the devclass to edit
1586  * @param pdc           the new parent devclass
1587  */
1588 void
1589 devclass_set_parent(devclass_t dc, devclass_t pdc)
1590 {
1591         dc->parent = pdc;
1592 }
1593
1594 /**
1595  * @brief Get the parent of a devclass
1596  *
1597  * @param dc            the devclass to examine
1598  */
1599 devclass_t
1600 devclass_get_parent(devclass_t dc)
1601 {
1602         return (dc->parent);
1603 }
1604
1605 struct sysctl_ctx_list *
1606 devclass_get_sysctl_ctx(devclass_t dc)
1607 {
1608         return (&dc->sysctl_ctx);
1609 }
1610
1611 struct sysctl_oid *
1612 devclass_get_sysctl_tree(devclass_t dc)
1613 {
1614         return (dc->sysctl_tree);
1615 }
1616
1617 /**
1618  * @internal
1619  * @brief Allocate a unit number
1620  *
1621  * On entry, @p *unitp is the desired unit number (or @c -1 if any
1622  * will do). The allocated unit number is returned in @p *unitp.
1623
1624  * @param dc            the devclass to allocate from
1625  * @param unitp         points at the location for the allocated unit
1626  *                      number
1627  *
1628  * @retval 0            success
1629  * @retval EEXIST       the requested unit number is already allocated
1630  * @retval ENOMEM       memory allocation failure
1631  */
1632 static int
1633 devclass_alloc_unit(devclass_t dc, device_t dev, int *unitp)
1634 {
1635         const char *s;
1636         int unit = *unitp;
1637
1638         PDEBUG(("unit %d in devclass %s", unit, DEVCLANAME(dc)));
1639
1640         /* Ask the parent bus if it wants to wire this device. */
1641         if (unit == -1)
1642                 BUS_HINT_DEVICE_UNIT(device_get_parent(dev), dev, dc->name,
1643                     &unit);
1644
1645         /* If we were given a wired unit number, check for existing device */
1646         /* XXX imp XXX */
1647         if (unit != -1) {
1648                 if (unit >= 0 && unit < dc->maxunit &&
1649                     dc->devices[unit] != NULL) {
1650                         if (bootverbose)
1651                                 printf("%s: %s%d already exists; skipping it\n",
1652                                     dc->name, dc->name, *unitp);
1653                         return (EEXIST);
1654                 }
1655         } else {
1656                 /* Unwired device, find the next available slot for it */
1657                 unit = 0;
1658                 for (unit = 0;; unit++) {
1659                         /* If there is an "at" hint for a unit then skip it. */
1660                         if (resource_string_value(dc->name, unit, "at", &s) ==
1661                             0)
1662                                 continue;
1663
1664                         /* If this device slot is already in use, skip it. */
1665                         if (unit < dc->maxunit && dc->devices[unit] != NULL)
1666                                 continue;
1667
1668                         break;
1669                 }
1670         }
1671
1672         /*
1673          * We've selected a unit beyond the length of the table, so let's
1674          * extend the table to make room for all units up to and including
1675          * this one.
1676          */
1677         if (unit >= dc->maxunit) {
1678                 device_t *newlist, *oldlist;
1679                 int newsize;
1680
1681                 oldlist = dc->devices;
1682                 newsize = roundup((unit + 1), MINALLOCSIZE / sizeof(device_t));
1683                 newlist = malloc(sizeof(device_t) * newsize, M_BUS, M_NOWAIT);
1684                 if (!newlist)
1685                         return (ENOMEM);
1686                 if (oldlist != NULL)
1687                         bcopy(oldlist, newlist, sizeof(device_t) * dc->maxunit);
1688                 bzero(newlist + dc->maxunit,
1689                     sizeof(device_t) * (newsize - dc->maxunit));
1690                 dc->devices = newlist;
1691                 dc->maxunit = newsize;
1692                 if (oldlist != NULL)
1693                         free(oldlist, M_BUS);
1694         }
1695         PDEBUG(("now: unit %d in devclass %s", unit, DEVCLANAME(dc)));
1696
1697         *unitp = unit;
1698         return (0);
1699 }
1700
1701 /**
1702  * @internal
1703  * @brief Add a device to a devclass
1704  *
1705  * A unit number is allocated for the device (using the device's
1706  * preferred unit number if any) and the device is registered in the
1707  * devclass. This allows the device to be looked up by its unit
1708  * number, e.g. by decoding a dev_t minor number.
1709  *
1710  * @param dc            the devclass to add to
1711  * @param dev           the device to add
1712  *
1713  * @retval 0            success
1714  * @retval EEXIST       the requested unit number is already allocated
1715  * @retval ENOMEM       memory allocation failure
1716  */
1717 static int
1718 devclass_add_device(devclass_t dc, device_t dev)
1719 {
1720         int buflen, error;
1721
1722         PDEBUG(("%s in devclass %s", DEVICENAME(dev), DEVCLANAME(dc)));
1723
1724         buflen = snprintf(NULL, 0, "%s%d$", dc->name, INT_MAX);
1725         if (buflen < 0)
1726                 return (ENOMEM);
1727         dev->nameunit = malloc(buflen, M_BUS, M_NOWAIT|M_ZERO);
1728         if (!dev->nameunit)
1729                 return (ENOMEM);
1730
1731         if ((error = devclass_alloc_unit(dc, dev, &dev->unit)) != 0) {
1732                 free(dev->nameunit, M_BUS);
1733                 dev->nameunit = NULL;
1734                 return (error);
1735         }
1736         dc->devices[dev->unit] = dev;
1737         dev->devclass = dc;
1738         snprintf(dev->nameunit, buflen, "%s%d", dc->name, dev->unit);
1739
1740         return (0);
1741 }
1742
1743 /**
1744  * @internal
1745  * @brief Delete a device from a devclass
1746  *
1747  * The device is removed from the devclass's device list and its unit
1748  * number is freed.
1749
1750  * @param dc            the devclass to delete from
1751  * @param dev           the device to delete
1752  *
1753  * @retval 0            success
1754  */
1755 static int
1756 devclass_delete_device(devclass_t dc, device_t dev)
1757 {
1758         if (!dc || !dev)
1759                 return (0);
1760
1761         PDEBUG(("%s in devclass %s", DEVICENAME(dev), DEVCLANAME(dc)));
1762
1763         if (dev->devclass != dc || dc->devices[dev->unit] != dev)
1764                 panic("devclass_delete_device: inconsistent device class");
1765         dc->devices[dev->unit] = NULL;
1766         if (dev->flags & DF_WILDCARD)
1767                 dev->unit = -1;
1768         dev->devclass = NULL;
1769         free(dev->nameunit, M_BUS);
1770         dev->nameunit = NULL;
1771
1772         return (0);
1773 }
1774
1775 /**
1776  * @internal
1777  * @brief Make a new device and add it as a child of @p parent
1778  *
1779  * @param parent        the parent of the new device
1780  * @param name          the devclass name of the new device or @c NULL
1781  *                      to leave the devclass unspecified
1782  * @parem unit          the unit number of the new device of @c -1 to
1783  *                      leave the unit number unspecified
1784  *
1785  * @returns the new device
1786  */
1787 static device_t
1788 make_device(device_t parent, const char *name, int unit)
1789 {
1790         device_t dev;
1791         devclass_t dc;
1792
1793         PDEBUG(("%s at %s as unit %d", name, DEVICENAME(parent), unit));
1794
1795         if (name) {
1796                 dc = devclass_find_internal(name, NULL, TRUE);
1797                 if (!dc) {
1798                         printf("make_device: can't find device class %s\n",
1799                             name);
1800                         return (NULL);
1801                 }
1802         } else {
1803                 dc = NULL;
1804         }
1805
1806         dev = malloc(sizeof(*dev), M_BUS, M_NOWAIT|M_ZERO);
1807         if (!dev)
1808                 return (NULL);
1809
1810         dev->parent = parent;
1811         TAILQ_INIT(&dev->children);
1812         kobj_init((kobj_t) dev, &null_class);
1813         dev->driver = NULL;
1814         dev->devclass = NULL;
1815         dev->unit = unit;
1816         dev->nameunit = NULL;
1817         dev->desc = NULL;
1818         dev->busy = 0;
1819         dev->devflags = 0;
1820         dev->flags = DF_ENABLED;
1821         dev->order = 0;
1822         if (unit == -1)
1823                 dev->flags |= DF_WILDCARD;
1824         if (name) {
1825                 dev->flags |= DF_FIXEDCLASS;
1826                 if (devclass_add_device(dc, dev)) {
1827                         kobj_delete((kobj_t) dev, M_BUS);
1828                         return (NULL);
1829                 }
1830         }
1831         dev->ivars = NULL;
1832         dev->softc = NULL;
1833
1834         dev->state = DS_NOTPRESENT;
1835
1836         TAILQ_INSERT_TAIL(&bus_data_devices, dev, devlink);
1837         bus_data_generation_update();
1838
1839         return (dev);
1840 }
1841
1842 /**
1843  * @internal
1844  * @brief Print a description of a device.
1845  */
1846 static int
1847 device_print_child(device_t dev, device_t child)
1848 {
1849         int retval = 0;
1850
1851         if (device_is_alive(child))
1852                 retval += BUS_PRINT_CHILD(dev, child);
1853         else
1854                 retval += device_printf(child, " not found\n");
1855
1856         return (retval);
1857 }
1858
1859 /**
1860  * @brief Create a new device
1861  *
1862  * This creates a new device and adds it as a child of an existing
1863  * parent device. The new device will be added after the last existing
1864  * child with order zero.
1865  *
1866  * @param dev           the device which will be the parent of the
1867  *                      new child device
1868  * @param name          devclass name for new device or @c NULL if not
1869  *                      specified
1870  * @param unit          unit number for new device or @c -1 if not
1871  *                      specified
1872  *
1873  * @returns             the new device
1874  */
1875 device_t
1876 device_add_child(device_t dev, const char *name, int unit)
1877 {
1878         return (device_add_child_ordered(dev, 0, name, unit));
1879 }
1880
1881 /**
1882  * @brief Create a new device
1883  *
1884  * This creates a new device and adds it as a child of an existing
1885  * parent device. The new device will be added after the last existing
1886  * child with the same order.
1887  *
1888  * @param dev           the device which will be the parent of the
1889  *                      new child device
1890  * @param order         a value which is used to partially sort the
1891  *                      children of @p dev - devices created using
1892  *                      lower values of @p order appear first in @p
1893  *                      dev's list of children
1894  * @param name          devclass name for new device or @c NULL if not
1895  *                      specified
1896  * @param unit          unit number for new device or @c -1 if not
1897  *                      specified
1898  *
1899  * @returns             the new device
1900  */
1901 device_t
1902 device_add_child_ordered(device_t dev, u_int order, const char *name, int unit)
1903 {
1904         device_t child;
1905         device_t place;
1906
1907         PDEBUG(("%s at %s with order %u as unit %d",
1908             name, DEVICENAME(dev), order, unit));
1909         KASSERT(name != NULL || unit == -1,
1910             ("child device with wildcard name and specific unit number"));
1911
1912         child = make_device(dev, name, unit);
1913         if (child == NULL)
1914                 return (child);
1915         child->order = order;
1916
1917         TAILQ_FOREACH(place, &dev->children, link) {
1918                 if (place->order > order)
1919                         break;
1920         }
1921
1922         if (place) {
1923                 /*
1924                  * The device 'place' is the first device whose order is
1925                  * greater than the new child.
1926                  */
1927                 TAILQ_INSERT_BEFORE(place, child, link);
1928         } else {
1929                 /*
1930                  * The new child's order is greater or equal to the order of
1931                  * any existing device. Add the child to the tail of the list.
1932                  */
1933                 TAILQ_INSERT_TAIL(&dev->children, child, link);
1934         }
1935
1936         bus_data_generation_update();
1937         return (child);
1938 }
1939
1940 /**
1941  * @brief Delete a device
1942  *
1943  * This function deletes a device along with all of its children. If
1944  * the device currently has a driver attached to it, the device is
1945  * detached first using device_detach().
1946  *
1947  * @param dev           the parent device
1948  * @param child         the device to delete
1949  *
1950  * @retval 0            success
1951  * @retval non-zero     a unit error code describing the error
1952  */
1953 int
1954 device_delete_child(device_t dev, device_t child)
1955 {
1956         int error;
1957         device_t grandchild;
1958
1959         PDEBUG(("%s from %s", DEVICENAME(child), DEVICENAME(dev)));
1960
1961         /* detach parent before deleting children, if any */
1962         if ((error = device_detach(child)) != 0)
1963                 return (error);
1964
1965         /* remove children second */
1966         while ((grandchild = TAILQ_FIRST(&child->children)) != NULL) {
1967                 error = device_delete_child(child, grandchild);
1968                 if (error)
1969                         return (error);
1970         }
1971
1972         if (child->devclass)
1973                 devclass_delete_device(child->devclass, child);
1974         if (child->parent)
1975                 BUS_CHILD_DELETED(dev, child);
1976         TAILQ_REMOVE(&dev->children, child, link);
1977         TAILQ_REMOVE(&bus_data_devices, child, devlink);
1978         kobj_delete((kobj_t) child, M_BUS);
1979
1980         bus_data_generation_update();
1981         return (0);
1982 }
1983
1984 /**
1985  * @brief Delete all children devices of the given device, if any.
1986  *
1987  * This function deletes all children devices of the given device, if
1988  * any, using the device_delete_child() function for each device it
1989  * finds. If a child device cannot be deleted, this function will
1990  * return an error code.
1991  *
1992  * @param dev           the parent device
1993  *
1994  * @retval 0            success
1995  * @retval non-zero     a device would not detach
1996  */
1997 int
1998 device_delete_children(device_t dev)
1999 {
2000         device_t child;
2001         int error;
2002
2003         PDEBUG(("Deleting all children of %s", DEVICENAME(dev)));
2004
2005         error = 0;
2006
2007         while ((child = TAILQ_FIRST(&dev->children)) != NULL) {
2008                 error = device_delete_child(dev, child);
2009                 if (error) {
2010                         PDEBUG(("Failed deleting %s", DEVICENAME(child)));
2011                         break;
2012                 }
2013         }
2014         return (error);
2015 }
2016
2017 /**
2018  * @brief Find a device given a unit number
2019  *
2020  * This is similar to devclass_get_devices() but only searches for
2021  * devices which have @p dev as a parent.
2022  *
2023  * @param dev           the parent device to search
2024  * @param unit          the unit number to search for.  If the unit is -1,
2025  *                      return the first child of @p dev which has name
2026  *                      @p classname (that is, the one with the lowest unit.)
2027  *
2028  * @returns             the device with the given unit number or @c
2029  *                      NULL if there is no such device
2030  */
2031 device_t
2032 device_find_child(device_t dev, const char *classname, int unit)
2033 {
2034         devclass_t dc;
2035         device_t child;
2036
2037         dc = devclass_find(classname);
2038         if (!dc)
2039                 return (NULL);
2040
2041         if (unit != -1) {
2042                 child = devclass_get_device(dc, unit);
2043                 if (child && child->parent == dev)
2044                         return (child);
2045         } else {
2046                 for (unit = 0; unit < devclass_get_maxunit(dc); unit++) {
2047                         child = devclass_get_device(dc, unit);
2048                         if (child && child->parent == dev)
2049                                 return (child);
2050                 }
2051         }
2052         return (NULL);
2053 }
2054
2055 /**
2056  * @internal
2057  */
2058 static driverlink_t
2059 first_matching_driver(devclass_t dc, device_t dev)
2060 {
2061         if (dev->devclass)
2062                 return (devclass_find_driver_internal(dc, dev->devclass->name));
2063         return (TAILQ_FIRST(&dc->drivers));
2064 }
2065
2066 /**
2067  * @internal
2068  */
2069 static driverlink_t
2070 next_matching_driver(devclass_t dc, device_t dev, driverlink_t last)
2071 {
2072         if (dev->devclass) {
2073                 driverlink_t dl;
2074                 for (dl = TAILQ_NEXT(last, link); dl; dl = TAILQ_NEXT(dl, link))
2075                         if (!strcmp(dev->devclass->name, dl->driver->name))
2076                                 return (dl);
2077                 return (NULL);
2078         }
2079         return (TAILQ_NEXT(last, link));
2080 }
2081
2082 /**
2083  * @internal
2084  */
2085 int
2086 device_probe_child(device_t dev, device_t child)
2087 {
2088         devclass_t dc;
2089         driverlink_t best = NULL;
2090         driverlink_t dl;
2091         int result, pri = 0;
2092         int hasclass = (child->devclass != NULL);
2093
2094         GIANT_REQUIRED;
2095
2096         dc = dev->devclass;
2097         if (!dc)
2098                 panic("device_probe_child: parent device has no devclass");
2099
2100         /*
2101          * If the state is already probed, then return.  However, don't
2102          * return if we can rebid this object.
2103          */
2104         if (child->state == DS_ALIVE && (child->flags & DF_REBID) == 0)
2105                 return (0);
2106
2107         for (; dc; dc = dc->parent) {
2108                 for (dl = first_matching_driver(dc, child);
2109                      dl;
2110                      dl = next_matching_driver(dc, child, dl)) {
2111                         /* If this driver's pass is too high, then ignore it. */
2112                         if (dl->pass > bus_current_pass)
2113                                 continue;
2114
2115                         PDEBUG(("Trying %s", DRIVERNAME(dl->driver)));
2116                         result = device_set_driver(child, dl->driver);
2117                         if (result == ENOMEM)
2118                                 return (result);
2119                         else if (result != 0)
2120                                 continue;
2121                         if (!hasclass) {
2122                                 if (device_set_devclass(child,
2123                                     dl->driver->name) != 0) {
2124                                         char const * devname =
2125                                             device_get_name(child);
2126                                         if (devname == NULL)
2127                                                 devname = "(unknown)";
2128                                         printf("driver bug: Unable to set "
2129                                             "devclass (class: %s "
2130                                             "devname: %s)\n",
2131                                             dl->driver->name,
2132                                             devname);
2133                                         (void)device_set_driver(child, NULL);
2134                                         continue;
2135                                 }
2136                         }
2137
2138                         /* Fetch any flags for the device before probing. */
2139                         resource_int_value(dl->driver->name, child->unit,
2140                             "flags", &child->devflags);
2141
2142                         result = DEVICE_PROBE(child);
2143
2144                         /* Reset flags and devclass before the next probe. */
2145                         child->devflags = 0;
2146                         if (!hasclass)
2147                                 (void)device_set_devclass(child, NULL);
2148
2149                         /*
2150                          * If the driver returns SUCCESS, there can be
2151                          * no higher match for this device.
2152                          */
2153                         if (result == 0) {
2154                                 best = dl;
2155                                 pri = 0;
2156                                 break;
2157                         }
2158
2159                         /*
2160                          * Reset DF_QUIET in case this driver doesn't
2161                          * end up as the best driver.
2162                          */
2163                         device_verbose(child);
2164
2165                         /*
2166                          * Probes that return BUS_PROBE_NOWILDCARD or lower
2167                          * only match on devices whose driver was explicitly
2168                          * specified.
2169                          */
2170                         if (result <= BUS_PROBE_NOWILDCARD &&
2171                             !(child->flags & DF_FIXEDCLASS)) {
2172                                 result = ENXIO;
2173                         }
2174
2175                         /*
2176                          * The driver returned an error so it
2177                          * certainly doesn't match.
2178                          */
2179                         if (result > 0) {
2180                                 (void)device_set_driver(child, NULL);
2181                                 continue;
2182                         }
2183
2184                         /*
2185                          * A priority lower than SUCCESS, remember the
2186                          * best matching driver. Initialise the value
2187                          * of pri for the first match.
2188                          */
2189                         if (best == NULL || result > pri) {
2190                                 best = dl;
2191                                 pri = result;
2192                                 continue;
2193                         }
2194                 }
2195                 /*
2196                  * If we have an unambiguous match in this devclass,
2197                  * don't look in the parent.
2198                  */
2199                 if (best && pri == 0)
2200                         break;
2201         }
2202
2203         /*
2204          * If we found a driver, change state and initialise the devclass.
2205          */
2206         /* XXX What happens if we rebid and got no best? */
2207         if (best) {
2208                 /*
2209                  * If this device was attached, and we were asked to
2210                  * rescan, and it is a different driver, then we have
2211                  * to detach the old driver and reattach this new one.
2212                  * Note, we don't have to check for DF_REBID here
2213                  * because if the state is > DS_ALIVE, we know it must
2214                  * be.
2215                  *
2216                  * This assumes that all DF_REBID drivers can have
2217                  * their probe routine called at any time and that
2218                  * they are idempotent as well as completely benign in
2219                  * normal operations.
2220                  *
2221                  * We also have to make sure that the detach
2222                  * succeeded, otherwise we fail the operation (or
2223                  * maybe it should just fail silently?  I'm torn).
2224                  */
2225                 if (child->state > DS_ALIVE && best->driver != child->driver)
2226                         if ((result = device_detach(dev)) != 0)
2227                                 return (result);
2228
2229                 /* Set the winning driver, devclass, and flags. */
2230                 if (!child->devclass) {
2231                         result = device_set_devclass(child, best->driver->name);
2232                         if (result != 0)
2233                                 return (result);
2234                 }
2235                 result = device_set_driver(child, best->driver);
2236                 if (result != 0)
2237                         return (result);
2238                 resource_int_value(best->driver->name, child->unit,
2239                     "flags", &child->devflags);
2240
2241                 if (pri < 0) {
2242                         /*
2243                          * A bit bogus. Call the probe method again to make
2244                          * sure that we have the right description.
2245                          */
2246                         DEVICE_PROBE(child);
2247 #if 0
2248                         child->flags |= DF_REBID;
2249 #endif
2250                 } else
2251                         child->flags &= ~DF_REBID;
2252                 child->state = DS_ALIVE;
2253
2254                 bus_data_generation_update();
2255                 return (0);
2256         }
2257
2258         return (ENXIO);
2259 }
2260
2261 /**
2262  * @brief Return the parent of a device
2263  */
2264 device_t
2265 device_get_parent(device_t dev)
2266 {
2267         return (dev->parent);
2268 }
2269
2270 /**
2271  * @brief Get a list of children of a device
2272  *
2273  * An array containing a list of all the children of the given device
2274  * is allocated and returned in @p *devlistp. The number of devices
2275  * in the array is returned in @p *devcountp. The caller should free
2276  * the array using @c free(p, M_TEMP).
2277  *
2278  * @param dev           the device to examine
2279  * @param devlistp      points at location for array pointer return
2280  *                      value
2281  * @param devcountp     points at location for array size return value
2282  *
2283  * @retval 0            success
2284  * @retval ENOMEM       the array allocation failed
2285  */
2286 int
2287 device_get_children(device_t dev, device_t **devlistp, int *devcountp)
2288 {
2289         int count;
2290         device_t child;
2291         device_t *list;
2292
2293         count = 0;
2294         TAILQ_FOREACH(child, &dev->children, link) {
2295                 count++;
2296         }
2297         if (count == 0) {
2298                 *devlistp = NULL;
2299                 *devcountp = 0;
2300                 return (0);
2301         }
2302
2303         list = malloc(count * sizeof(device_t), M_TEMP, M_NOWAIT|M_ZERO);
2304         if (!list)
2305                 return (ENOMEM);
2306
2307         count = 0;
2308         TAILQ_FOREACH(child, &dev->children, link) {
2309                 list[count] = child;
2310                 count++;
2311         }
2312
2313         *devlistp = list;
2314         *devcountp = count;
2315
2316         return (0);
2317 }
2318
2319 /**
2320  * @brief Return the current driver for the device or @c NULL if there
2321  * is no driver currently attached
2322  */
2323 driver_t *
2324 device_get_driver(device_t dev)
2325 {
2326         return (dev->driver);
2327 }
2328
2329 /**
2330  * @brief Return the current devclass for the device or @c NULL if
2331  * there is none.
2332  */
2333 devclass_t
2334 device_get_devclass(device_t dev)
2335 {
2336         return (dev->devclass);
2337 }
2338
2339 /**
2340  * @brief Return the name of the device's devclass or @c NULL if there
2341  * is none.
2342  */
2343 const char *
2344 device_get_name(device_t dev)
2345 {
2346         if (dev != NULL && dev->devclass)
2347                 return (devclass_get_name(dev->devclass));
2348         return (NULL);
2349 }
2350
2351 /**
2352  * @brief Return a string containing the device's devclass name
2353  * followed by an ascii representation of the device's unit number
2354  * (e.g. @c "foo2").
2355  */
2356 const char *
2357 device_get_nameunit(device_t dev)
2358 {
2359         return (dev->nameunit);
2360 }
2361
2362 /**
2363  * @brief Return the device's unit number.
2364  */
2365 int
2366 device_get_unit(device_t dev)
2367 {
2368         return (dev->unit);
2369 }
2370
2371 /**
2372  * @brief Return the device's description string
2373  */
2374 const char *
2375 device_get_desc(device_t dev)
2376 {
2377         return (dev->desc);
2378 }
2379
2380 /**
2381  * @brief Return the device's flags
2382  */
2383 uint32_t
2384 device_get_flags(device_t dev)
2385 {
2386         return (dev->devflags);
2387 }
2388
2389 struct sysctl_ctx_list *
2390 device_get_sysctl_ctx(device_t dev)
2391 {
2392         return (&dev->sysctl_ctx);
2393 }
2394
2395 struct sysctl_oid *
2396 device_get_sysctl_tree(device_t dev)
2397 {
2398         return (dev->sysctl_tree);
2399 }
2400
2401 /**
2402  * @brief Print the name of the device followed by a colon and a space
2403  *
2404  * @returns the number of characters printed
2405  */
2406 int
2407 device_print_prettyname(device_t dev)
2408 {
2409         const char *name = device_get_name(dev);
2410
2411         if (name == NULL)
2412                 return (printf("unknown: "));
2413         return (printf("%s%d: ", name, device_get_unit(dev)));
2414 }
2415
2416 /**
2417  * @brief Print the name of the device followed by a colon, a space
2418  * and the result of calling vprintf() with the value of @p fmt and
2419  * the following arguments.
2420  *
2421  * @returns the number of characters printed
2422  */
2423 int
2424 device_printf(device_t dev, const char * fmt, ...)
2425 {
2426         va_list ap;
2427         int retval;
2428
2429         retval = device_print_prettyname(dev);
2430         va_start(ap, fmt);
2431         retval += vprintf(fmt, ap);
2432         va_end(ap);
2433         return (retval);
2434 }
2435
2436 /**
2437  * @internal
2438  */
2439 static void
2440 device_set_desc_internal(device_t dev, const char* desc, int copy)
2441 {
2442         if (dev->desc && (dev->flags & DF_DESCMALLOCED)) {
2443                 free(dev->desc, M_BUS);
2444                 dev->flags &= ~DF_DESCMALLOCED;
2445                 dev->desc = NULL;
2446         }
2447
2448         if (copy && desc) {
2449                 dev->desc = malloc(strlen(desc) + 1, M_BUS, M_NOWAIT);
2450                 if (dev->desc) {
2451                         strcpy(dev->desc, desc);
2452                         dev->flags |= DF_DESCMALLOCED;
2453                 }
2454         } else {
2455                 /* Avoid a -Wcast-qual warning */
2456                 dev->desc = (char *)(uintptr_t) desc;
2457         }
2458
2459         bus_data_generation_update();
2460 }
2461
2462 /**
2463  * @brief Set the device's description
2464  *
2465  * The value of @c desc should be a string constant that will not
2466  * change (at least until the description is changed in a subsequent
2467  * call to device_set_desc() or device_set_desc_copy()).
2468  */
2469 void
2470 device_set_desc(device_t dev, const char* desc)
2471 {
2472         device_set_desc_internal(dev, desc, FALSE);
2473 }
2474
2475 /**
2476  * @brief Set the device's description
2477  *
2478  * The string pointed to by @c desc is copied. Use this function if
2479  * the device description is generated, (e.g. with sprintf()).
2480  */
2481 void
2482 device_set_desc_copy(device_t dev, const char* desc)
2483 {
2484         device_set_desc_internal(dev, desc, TRUE);
2485 }
2486
2487 /**
2488  * @brief Set the device's flags
2489  */
2490 void
2491 device_set_flags(device_t dev, uint32_t flags)
2492 {
2493         dev->devflags = flags;
2494 }
2495
2496 /**
2497  * @brief Return the device's softc field
2498  *
2499  * The softc is allocated and zeroed when a driver is attached, based
2500  * on the size field of the driver.
2501  */
2502 void *
2503 device_get_softc(device_t dev)
2504 {
2505         return (dev->softc);
2506 }
2507
2508 /**
2509  * @brief Set the device's softc field
2510  *
2511  * Most drivers do not need to use this since the softc is allocated
2512  * automatically when the driver is attached.
2513  */
2514 void
2515 device_set_softc(device_t dev, void *softc)
2516 {
2517         if (dev->softc && !(dev->flags & DF_EXTERNALSOFTC))
2518                 free(dev->softc, M_BUS_SC);
2519         dev->softc = softc;
2520         if (dev->softc)
2521                 dev->flags |= DF_EXTERNALSOFTC;
2522         else
2523                 dev->flags &= ~DF_EXTERNALSOFTC;
2524 }
2525
2526 /**
2527  * @brief Free claimed softc
2528  *
2529  * Most drivers do not need to use this since the softc is freed
2530  * automatically when the driver is detached.
2531  */
2532 void
2533 device_free_softc(void *softc)
2534 {
2535         free(softc, M_BUS_SC);
2536 }
2537
2538 /**
2539  * @brief Claim softc
2540  *
2541  * This function can be used to let the driver free the automatically
2542  * allocated softc using "device_free_softc()". This function is
2543  * useful when the driver is refcounting the softc and the softc
2544  * cannot be freed when the "device_detach" method is called.
2545  */
2546 void
2547 device_claim_softc(device_t dev)
2548 {
2549         if (dev->softc)
2550                 dev->flags |= DF_EXTERNALSOFTC;
2551         else
2552                 dev->flags &= ~DF_EXTERNALSOFTC;
2553 }
2554
2555 /**
2556  * @brief Get the device's ivars field
2557  *
2558  * The ivars field is used by the parent device to store per-device
2559  * state (e.g. the physical location of the device or a list of
2560  * resources).
2561  */
2562 void *
2563 device_get_ivars(device_t dev)
2564 {
2565
2566         KASSERT(dev != NULL, ("device_get_ivars(NULL, ...)"));
2567         return (dev->ivars);
2568 }
2569
2570 /**
2571  * @brief Set the device's ivars field
2572  */
2573 void
2574 device_set_ivars(device_t dev, void * ivars)
2575 {
2576
2577         KASSERT(dev != NULL, ("device_set_ivars(NULL, ...)"));
2578         dev->ivars = ivars;
2579 }
2580
2581 /**
2582  * @brief Return the device's state
2583  */
2584 device_state_t
2585 device_get_state(device_t dev)
2586 {
2587         return (dev->state);
2588 }
2589
2590 /**
2591  * @brief Set the DF_ENABLED flag for the device
2592  */
2593 void
2594 device_enable(device_t dev)
2595 {
2596         dev->flags |= DF_ENABLED;
2597 }
2598
2599 /**
2600  * @brief Clear the DF_ENABLED flag for the device
2601  */
2602 void
2603 device_disable(device_t dev)
2604 {
2605         dev->flags &= ~DF_ENABLED;
2606 }
2607
2608 /**
2609  * @brief Increment the busy counter for the device
2610  */
2611 void
2612 device_busy(device_t dev)
2613 {
2614         if (dev->state < DS_ATTACHING)
2615                 panic("device_busy: called for unattached device");
2616         if (dev->busy == 0 && dev->parent)
2617                 device_busy(dev->parent);
2618         dev->busy++;
2619         if (dev->state == DS_ATTACHED)
2620                 dev->state = DS_BUSY;
2621 }
2622
2623 /**
2624  * @brief Decrement the busy counter for the device
2625  */
2626 void
2627 device_unbusy(device_t dev)
2628 {
2629         if (dev->busy != 0 && dev->state != DS_BUSY &&
2630             dev->state != DS_ATTACHING)
2631                 panic("device_unbusy: called for non-busy device %s",
2632                     device_get_nameunit(dev));
2633         dev->busy--;
2634         if (dev->busy == 0) {
2635                 if (dev->parent)
2636                         device_unbusy(dev->parent);
2637                 if (dev->state == DS_BUSY)
2638                         dev->state = DS_ATTACHED;
2639         }
2640 }
2641
2642 /**
2643  * @brief Set the DF_QUIET flag for the device
2644  */
2645 void
2646 device_quiet(device_t dev)
2647 {
2648         dev->flags |= DF_QUIET;
2649 }
2650
2651 /**
2652  * @brief Clear the DF_QUIET flag for the device
2653  */
2654 void
2655 device_verbose(device_t dev)
2656 {
2657         dev->flags &= ~DF_QUIET;
2658 }
2659
2660 /**
2661  * @brief Return non-zero if the DF_QUIET flag is set on the device
2662  */
2663 int
2664 device_is_quiet(device_t dev)
2665 {
2666         return ((dev->flags & DF_QUIET) != 0);
2667 }
2668
2669 /**
2670  * @brief Return non-zero if the DF_ENABLED flag is set on the device
2671  */
2672 int
2673 device_is_enabled(device_t dev)
2674 {
2675         return ((dev->flags & DF_ENABLED) != 0);
2676 }
2677
2678 /**
2679  * @brief Return non-zero if the device was successfully probed
2680  */
2681 int
2682 device_is_alive(device_t dev)
2683 {
2684         return (dev->state >= DS_ALIVE);
2685 }
2686
2687 /**
2688  * @brief Return non-zero if the device currently has a driver
2689  * attached to it
2690  */
2691 int
2692 device_is_attached(device_t dev)
2693 {
2694         return (dev->state >= DS_ATTACHED);
2695 }
2696
2697 /**
2698  * @brief Return non-zero if the device is currently suspended.
2699  */
2700 int
2701 device_is_suspended(device_t dev)
2702 {
2703         return ((dev->flags & DF_SUSPENDED) != 0);
2704 }
2705
2706 /**
2707  * @brief Set the devclass of a device
2708  * @see devclass_add_device().
2709  */
2710 int
2711 device_set_devclass(device_t dev, const char *classname)
2712 {
2713         devclass_t dc;
2714         int error;
2715
2716         if (!classname) {
2717                 if (dev->devclass)
2718                         devclass_delete_device(dev->devclass, dev);
2719                 return (0);
2720         }
2721
2722         if (dev->devclass) {
2723                 printf("device_set_devclass: device class already set\n");
2724                 return (EINVAL);
2725         }
2726
2727         dc = devclass_find_internal(classname, NULL, TRUE);
2728         if (!dc)
2729                 return (ENOMEM);
2730
2731         error = devclass_add_device(dc, dev);
2732
2733         bus_data_generation_update();
2734         return (error);
2735 }
2736
2737 /**
2738  * @brief Set the devclass of a device and mark the devclass fixed.
2739  * @see device_set_devclass()
2740  */
2741 int
2742 device_set_devclass_fixed(device_t dev, const char *classname)
2743 {
2744         int error;
2745
2746         if (classname == NULL)
2747                 return (EINVAL);
2748
2749         error = device_set_devclass(dev, classname);
2750         if (error)
2751                 return (error);
2752         dev->flags |= DF_FIXEDCLASS;
2753         return (0);
2754 }
2755
2756 /**
2757  * @brief Set the driver of a device
2758  *
2759  * @retval 0            success
2760  * @retval EBUSY        the device already has a driver attached
2761  * @retval ENOMEM       a memory allocation failure occurred
2762  */
2763 int
2764 device_set_driver(device_t dev, driver_t *driver)
2765 {
2766         if (dev->state >= DS_ATTACHED)
2767                 return (EBUSY);
2768
2769         if (dev->driver == driver)
2770                 return (0);
2771
2772         if (dev->softc && !(dev->flags & DF_EXTERNALSOFTC)) {
2773                 free(dev->softc, M_BUS_SC);
2774                 dev->softc = NULL;
2775         }
2776         device_set_desc(dev, NULL);
2777         kobj_delete((kobj_t) dev, NULL);
2778         dev->driver = driver;
2779         if (driver) {
2780                 kobj_init((kobj_t) dev, (kobj_class_t) driver);
2781                 if (!(dev->flags & DF_EXTERNALSOFTC) && driver->size > 0) {
2782                         dev->softc = malloc(driver->size, M_BUS_SC,
2783                             M_NOWAIT | M_ZERO);
2784                         if (!dev->softc) {
2785                                 kobj_delete((kobj_t) dev, NULL);
2786                                 kobj_init((kobj_t) dev, &null_class);
2787                                 dev->driver = NULL;
2788                                 return (ENOMEM);
2789                         }
2790                 }
2791         } else {
2792                 kobj_init((kobj_t) dev, &null_class);
2793         }
2794
2795         bus_data_generation_update();
2796         return (0);
2797 }
2798
2799 /**
2800  * @brief Probe a device, and return this status.
2801  *
2802  * This function is the core of the device autoconfiguration
2803  * system. Its purpose is to select a suitable driver for a device and
2804  * then call that driver to initialise the hardware appropriately. The
2805  * driver is selected by calling the DEVICE_PROBE() method of a set of
2806  * candidate drivers and then choosing the driver which returned the
2807  * best value. This driver is then attached to the device using
2808  * device_attach().
2809  *
2810  * The set of suitable drivers is taken from the list of drivers in
2811  * the parent device's devclass. If the device was originally created
2812  * with a specific class name (see device_add_child()), only drivers
2813  * with that name are probed, otherwise all drivers in the devclass
2814  * are probed. If no drivers return successful probe values in the
2815  * parent devclass, the search continues in the parent of that
2816  * devclass (see devclass_get_parent()) if any.
2817  *
2818  * @param dev           the device to initialise
2819  *
2820  * @retval 0            success
2821  * @retval ENXIO        no driver was found
2822  * @retval ENOMEM       memory allocation failure
2823  * @retval non-zero     some other unix error code
2824  * @retval -1           Device already attached
2825  */
2826 int
2827 device_probe(device_t dev)
2828 {
2829         int error;
2830
2831         GIANT_REQUIRED;
2832
2833         if (dev->state >= DS_ALIVE && (dev->flags & DF_REBID) == 0)
2834                 return (-1);
2835
2836         if (!(dev->flags & DF_ENABLED)) {
2837                 if (bootverbose && device_get_name(dev) != NULL) {
2838                         device_print_prettyname(dev);
2839                         printf("not probed (disabled)\n");
2840                 }
2841                 return (-1);
2842         }
2843         if ((error = device_probe_child(dev->parent, dev)) != 0) {
2844                 if (bus_current_pass == BUS_PASS_DEFAULT &&
2845                     !(dev->flags & DF_DONENOMATCH)) {
2846                         BUS_PROBE_NOMATCH(dev->parent, dev);
2847                         devnomatch(dev);
2848                         dev->flags |= DF_DONENOMATCH;
2849                 }
2850                 return (error);
2851         }
2852         return (0);
2853 }
2854
2855 /**
2856  * @brief Probe a device and attach a driver if possible
2857  *
2858  * calls device_probe() and attaches if that was successful.
2859  */
2860 int
2861 device_probe_and_attach(device_t dev)
2862 {
2863         int error;
2864
2865         GIANT_REQUIRED;
2866
2867         error = device_probe(dev);
2868         if (error == -1)
2869                 return (0);
2870         else if (error != 0)
2871                 return (error);
2872
2873         CURVNET_SET_QUIET(vnet0);
2874         error = device_attach(dev);
2875         CURVNET_RESTORE();
2876         return error;
2877 }
2878
2879 /**
2880  * @brief Attach a device driver to a device
2881  *
2882  * This function is a wrapper around the DEVICE_ATTACH() driver
2883  * method. In addition to calling DEVICE_ATTACH(), it initialises the
2884  * device's sysctl tree, optionally prints a description of the device
2885  * and queues a notification event for user-based device management
2886  * services.
2887  *
2888  * Normally this function is only called internally from
2889  * device_probe_and_attach().
2890  *
2891  * @param dev           the device to initialise
2892  *
2893  * @retval 0            success
2894  * @retval ENXIO        no driver was found
2895  * @retval ENOMEM       memory allocation failure
2896  * @retval non-zero     some other unix error code
2897  */
2898 int
2899 device_attach(device_t dev)
2900 {
2901         uint64_t attachtime;
2902         int error;
2903
2904         if (resource_disabled(dev->driver->name, dev->unit)) {
2905                 device_disable(dev);
2906                 if (bootverbose)
2907                          device_printf(dev, "disabled via hints entry\n");
2908                 return (ENXIO);
2909         }
2910
2911         device_sysctl_init(dev);
2912         if (!device_is_quiet(dev))
2913                 device_print_child(dev->parent, dev);
2914         attachtime = get_cyclecount();
2915         dev->state = DS_ATTACHING;
2916         if ((error = DEVICE_ATTACH(dev)) != 0) {
2917                 printf("device_attach: %s%d attach returned %d\n",
2918                     dev->driver->name, dev->unit, error);
2919                 if (!(dev->flags & DF_FIXEDCLASS))
2920                         devclass_delete_device(dev->devclass, dev);
2921                 (void)device_set_driver(dev, NULL);
2922                 device_sysctl_fini(dev);
2923                 KASSERT(dev->busy == 0, ("attach failed but busy"));
2924                 dev->state = DS_NOTPRESENT;
2925                 return (error);
2926         }
2927         attachtime = get_cyclecount() - attachtime;
2928         /*
2929          * 4 bits per device is a reasonable value for desktop and server
2930          * hardware with good get_cyclecount() implementations, but WILL
2931          * need to be adjusted on other platforms.
2932          */
2933 #define RANDOM_PROBE_BIT_GUESS  4
2934         if (bootverbose)
2935                 printf("random: harvesting attach, %zu bytes (%d bits) from %s%d\n",
2936                     sizeof(attachtime), RANDOM_PROBE_BIT_GUESS,
2937                     dev->driver->name, dev->unit);
2938         random_harvest_direct(&attachtime, sizeof(attachtime),
2939             RANDOM_PROBE_BIT_GUESS, RANDOM_ATTACH);
2940         device_sysctl_update(dev);
2941         if (dev->busy)
2942                 dev->state = DS_BUSY;
2943         else
2944                 dev->state = DS_ATTACHED;
2945         dev->flags &= ~DF_DONENOMATCH;
2946         EVENTHANDLER_DIRECT_INVOKE(device_attach, dev);
2947         devadded(dev);
2948         return (0);
2949 }
2950
2951 /**
2952  * @brief Detach a driver from a device
2953  *
2954  * This function is a wrapper around the DEVICE_DETACH() driver
2955  * method. If the call to DEVICE_DETACH() succeeds, it calls
2956  * BUS_CHILD_DETACHED() for the parent of @p dev, queues a
2957  * notification event for user-based device management services and
2958  * cleans up the device's sysctl tree.
2959  *
2960  * @param dev           the device to un-initialise
2961  *
2962  * @retval 0            success
2963  * @retval ENXIO        no driver was found
2964  * @retval ENOMEM       memory allocation failure
2965  * @retval non-zero     some other unix error code
2966  */
2967 int
2968 device_detach(device_t dev)
2969 {
2970         int error;
2971
2972         GIANT_REQUIRED;
2973
2974         PDEBUG(("%s", DEVICENAME(dev)));
2975         if (dev->state == DS_BUSY)
2976                 return (EBUSY);
2977         if (dev->state != DS_ATTACHED)
2978                 return (0);
2979
2980         EVENTHANDLER_DIRECT_INVOKE(device_detach, dev, EVHDEV_DETACH_BEGIN);
2981         if ((error = DEVICE_DETACH(dev)) != 0) {
2982                 EVENTHANDLER_DIRECT_INVOKE(device_detach, dev,
2983                     EVHDEV_DETACH_FAILED);
2984                 return (error);
2985         } else {
2986                 EVENTHANDLER_DIRECT_INVOKE(device_detach, dev,
2987                     EVHDEV_DETACH_COMPLETE);
2988         }
2989         devremoved(dev);
2990         if (!device_is_quiet(dev))
2991                 device_printf(dev, "detached\n");
2992         if (dev->parent)
2993                 BUS_CHILD_DETACHED(dev->parent, dev);
2994
2995         if (!(dev->flags & DF_FIXEDCLASS))
2996                 devclass_delete_device(dev->devclass, dev);
2997
2998         device_verbose(dev);
2999         dev->state = DS_NOTPRESENT;
3000         (void)device_set_driver(dev, NULL);
3001         device_sysctl_fini(dev);
3002
3003         return (0);
3004 }
3005
3006 /**
3007  * @brief Tells a driver to quiesce itself.
3008  *
3009  * This function is a wrapper around the DEVICE_QUIESCE() driver
3010  * method. If the call to DEVICE_QUIESCE() succeeds.
3011  *
3012  * @param dev           the device to quiesce
3013  *
3014  * @retval 0            success
3015  * @retval ENXIO        no driver was found
3016  * @retval ENOMEM       memory allocation failure
3017  * @retval non-zero     some other unix error code
3018  */
3019 int
3020 device_quiesce(device_t dev)
3021 {
3022
3023         PDEBUG(("%s", DEVICENAME(dev)));
3024         if (dev->state == DS_BUSY)
3025                 return (EBUSY);
3026         if (dev->state != DS_ATTACHED)
3027                 return (0);
3028
3029         return (DEVICE_QUIESCE(dev));
3030 }
3031
3032 /**
3033  * @brief Notify a device of system shutdown
3034  *
3035  * This function calls the DEVICE_SHUTDOWN() driver method if the
3036  * device currently has an attached driver.
3037  *
3038  * @returns the value returned by DEVICE_SHUTDOWN()
3039  */
3040 int
3041 device_shutdown(device_t dev)
3042 {
3043         if (dev->state < DS_ATTACHED)
3044                 return (0);
3045         return (DEVICE_SHUTDOWN(dev));
3046 }
3047
3048 /**
3049  * @brief Set the unit number of a device
3050  *
3051  * This function can be used to override the unit number used for a
3052  * device (e.g. to wire a device to a pre-configured unit number).
3053  */
3054 int
3055 device_set_unit(device_t dev, int unit)
3056 {
3057         devclass_t dc;
3058         int err;
3059
3060         dc = device_get_devclass(dev);
3061         if (unit < dc->maxunit && dc->devices[unit])
3062                 return (EBUSY);
3063         err = devclass_delete_device(dc, dev);
3064         if (err)
3065                 return (err);
3066         dev->unit = unit;
3067         err = devclass_add_device(dc, dev);
3068         if (err)
3069                 return (err);
3070
3071         bus_data_generation_update();
3072         return (0);
3073 }
3074
3075 /*======================================*/
3076 /*
3077  * Some useful method implementations to make life easier for bus drivers.
3078  */
3079
3080 void
3081 resource_init_map_request_impl(struct resource_map_request *args, size_t sz)
3082 {
3083
3084         bzero(args, sz);
3085         args->size = sz;
3086         args->memattr = VM_MEMATTR_UNCACHEABLE;
3087 }
3088
3089 /**
3090  * @brief Initialise a resource list.
3091  *
3092  * @param rl            the resource list to initialise
3093  */
3094 void
3095 resource_list_init(struct resource_list *rl)
3096 {
3097         STAILQ_INIT(rl);
3098 }
3099
3100 /**
3101  * @brief Reclaim memory used by a resource list.
3102  *
3103  * This function frees the memory for all resource entries on the list
3104  * (if any).
3105  *
3106  * @param rl            the resource list to free
3107  */
3108 void
3109 resource_list_free(struct resource_list *rl)
3110 {
3111         struct resource_list_entry *rle;
3112
3113         while ((rle = STAILQ_FIRST(rl)) != NULL) {
3114                 if (rle->res)
3115                         panic("resource_list_free: resource entry is busy");
3116                 STAILQ_REMOVE_HEAD(rl, link);
3117                 free(rle, M_BUS);
3118         }
3119 }
3120
3121 /**
3122  * @brief Add a resource entry.
3123  *
3124  * This function adds a resource entry using the given @p type, @p
3125  * start, @p end and @p count values. A rid value is chosen by
3126  * searching sequentially for the first unused rid starting at zero.
3127  *
3128  * @param rl            the resource list to edit
3129  * @param type          the resource entry type (e.g. SYS_RES_MEMORY)
3130  * @param start         the start address of the resource
3131  * @param end           the end address of the resource
3132  * @param count         XXX end-start+1
3133  */
3134 int
3135 resource_list_add_next(struct resource_list *rl, int type, rman_res_t start,
3136     rman_res_t end, rman_res_t count)
3137 {
3138         int rid;
3139
3140         rid = 0;
3141         while (resource_list_find(rl, type, rid) != NULL)
3142                 rid++;
3143         resource_list_add(rl, type, rid, start, end, count);
3144         return (rid);
3145 }
3146
3147 /**
3148  * @brief Add or modify a resource entry.
3149  *
3150  * If an existing entry exists with the same type and rid, it will be
3151  * modified using the given values of @p start, @p end and @p
3152  * count. If no entry exists, a new one will be created using the
3153  * given values.  The resource list entry that matches is then returned.
3154  *
3155  * @param rl            the resource list to edit
3156  * @param type          the resource entry type (e.g. SYS_RES_MEMORY)
3157  * @param rid           the resource identifier
3158  * @param start         the start address of the resource
3159  * @param end           the end address of the resource
3160  * @param count         XXX end-start+1
3161  */
3162 struct resource_list_entry *
3163 resource_list_add(struct resource_list *rl, int type, int rid,
3164     rman_res_t start, rman_res_t end, rman_res_t count)
3165 {
3166         struct resource_list_entry *rle;
3167
3168         rle = resource_list_find(rl, type, rid);
3169         if (!rle) {
3170                 rle = malloc(sizeof(struct resource_list_entry), M_BUS,
3171                     M_NOWAIT);
3172                 if (!rle)
3173                         panic("resource_list_add: can't record entry");
3174                 STAILQ_INSERT_TAIL(rl, rle, link);
3175                 rle->type = type;
3176                 rle->rid = rid;
3177                 rle->res = NULL;
3178                 rle->flags = 0;
3179         }
3180
3181         if (rle->res)
3182                 panic("resource_list_add: resource entry is busy");
3183
3184         rle->start = start;
3185         rle->end = end;
3186         rle->count = count;
3187         return (rle);
3188 }
3189
3190 /**
3191  * @brief Determine if a resource entry is busy.
3192  *
3193  * Returns true if a resource entry is busy meaning that it has an
3194  * associated resource that is not an unallocated "reserved" resource.
3195  *
3196  * @param rl            the resource list to search
3197  * @param type          the resource entry type (e.g. SYS_RES_MEMORY)
3198  * @param rid           the resource identifier
3199  *
3200  * @returns Non-zero if the entry is busy, zero otherwise.
3201  */
3202 int
3203 resource_list_busy(struct resource_list *rl, int type, int rid)
3204 {
3205         struct resource_list_entry *rle;
3206
3207         rle = resource_list_find(rl, type, rid);
3208         if (rle == NULL || rle->res == NULL)
3209                 return (0);
3210         if ((rle->flags & (RLE_RESERVED | RLE_ALLOCATED)) == RLE_RESERVED) {
3211                 KASSERT(!(rman_get_flags(rle->res) & RF_ACTIVE),
3212                     ("reserved resource is active"));
3213                 return (0);
3214         }
3215         return (1);
3216 }
3217
3218 /**
3219  * @brief Determine if a resource entry is reserved.
3220  *
3221  * Returns true if a resource entry is reserved meaning that it has an
3222  * associated "reserved" resource.  The resource can either be
3223  * allocated or unallocated.
3224  *
3225  * @param rl            the resource list to search
3226  * @param type          the resource entry type (e.g. SYS_RES_MEMORY)
3227  * @param rid           the resource identifier
3228  *
3229  * @returns Non-zero if the entry is reserved, zero otherwise.
3230  */
3231 int
3232 resource_list_reserved(struct resource_list *rl, int type, int rid)
3233 {
3234         struct resource_list_entry *rle;
3235
3236         rle = resource_list_find(rl, type, rid);
3237         if (rle != NULL && rle->flags & RLE_RESERVED)
3238                 return (1);
3239         return (0);
3240 }
3241
3242 /**
3243  * @brief Find a resource entry by type and rid.
3244  *
3245  * @param rl            the resource list to search
3246  * @param type          the resource entry type (e.g. SYS_RES_MEMORY)
3247  * @param rid           the resource identifier
3248  *
3249  * @returns the resource entry pointer or NULL if there is no such
3250  * entry.
3251  */
3252 struct resource_list_entry *
3253 resource_list_find(struct resource_list *rl, int type, int rid)
3254 {
3255         struct resource_list_entry *rle;
3256
3257         STAILQ_FOREACH(rle, rl, link) {
3258                 if (rle->type == type && rle->rid == rid)
3259                         return (rle);
3260         }
3261         return (NULL);
3262 }
3263
3264 /**
3265  * @brief Delete a resource entry.
3266  *
3267  * @param rl            the resource list to edit
3268  * @param type          the resource entry type (e.g. SYS_RES_MEMORY)
3269  * @param rid           the resource identifier
3270  */
3271 void
3272 resource_list_delete(struct resource_list *rl, int type, int rid)
3273 {
3274         struct resource_list_entry *rle = resource_list_find(rl, type, rid);
3275
3276         if (rle) {
3277                 if (rle->res != NULL)
3278                         panic("resource_list_delete: resource has not been released");
3279                 STAILQ_REMOVE(rl, rle, resource_list_entry, link);
3280                 free(rle, M_BUS);
3281         }
3282 }
3283
3284 /**
3285  * @brief Allocate a reserved resource
3286  *
3287  * This can be used by buses to force the allocation of resources
3288  * that are always active in the system even if they are not allocated
3289  * by a driver (e.g. PCI BARs).  This function is usually called when
3290  * adding a new child to the bus.  The resource is allocated from the
3291  * parent bus when it is reserved.  The resource list entry is marked
3292  * with RLE_RESERVED to note that it is a reserved resource.
3293  *
3294  * Subsequent attempts to allocate the resource with
3295  * resource_list_alloc() will succeed the first time and will set
3296  * RLE_ALLOCATED to note that it has been allocated.  When a reserved
3297  * resource that has been allocated is released with
3298  * resource_list_release() the resource RLE_ALLOCATED is cleared, but
3299  * the actual resource remains allocated.  The resource can be released to
3300  * the parent bus by calling resource_list_unreserve().
3301  *
3302  * @param rl            the resource list to allocate from
3303  * @param bus           the parent device of @p child
3304  * @param child         the device for which the resource is being reserved
3305  * @param type          the type of resource to allocate
3306  * @param rid           a pointer to the resource identifier
3307  * @param start         hint at the start of the resource range - pass
3308  *                      @c 0 for any start address
3309  * @param end           hint at the end of the resource range - pass
3310  *                      @c ~0 for any end address
3311  * @param count         hint at the size of range required - pass @c 1
3312  *                      for any size
3313  * @param flags         any extra flags to control the resource
3314  *                      allocation - see @c RF_XXX flags in
3315  *                      <sys/rman.h> for details
3316  *
3317  * @returns             the resource which was allocated or @c NULL if no
3318  *                      resource could be allocated
3319  */
3320 struct resource *
3321 resource_list_reserve(struct resource_list *rl, device_t bus, device_t child,
3322     int type, int *rid, rman_res_t start, rman_res_t end, rman_res_t count, u_int flags)
3323 {
3324         struct resource_list_entry *rle = NULL;
3325         int passthrough = (device_get_parent(child) != bus);
3326         struct resource *r;
3327
3328         if (passthrough)
3329                 panic(
3330     "resource_list_reserve() should only be called for direct children");
3331         if (flags & RF_ACTIVE)
3332                 panic(
3333     "resource_list_reserve() should only reserve inactive resources");
3334
3335         r = resource_list_alloc(rl, bus, child, type, rid, start, end, count,
3336             flags);
3337         if (r != NULL) {
3338                 rle = resource_list_find(rl, type, *rid);
3339                 rle->flags |= RLE_RESERVED;
3340         }
3341         return (r);
3342 }
3343
3344 /**
3345  * @brief Helper function for implementing BUS_ALLOC_RESOURCE()
3346  *
3347  * Implement BUS_ALLOC_RESOURCE() by looking up a resource from the list
3348  * and passing the allocation up to the parent of @p bus. This assumes
3349  * that the first entry of @c device_get_ivars(child) is a struct
3350  * resource_list. This also handles 'passthrough' allocations where a
3351  * child is a remote descendant of bus by passing the allocation up to
3352  * the parent of bus.
3353  *
3354  * Typically, a bus driver would store a list of child resources
3355  * somewhere in the child device's ivars (see device_get_ivars()) and
3356  * its implementation of BUS_ALLOC_RESOURCE() would find that list and
3357  * then call resource_list_alloc() to perform the allocation.
3358  *
3359  * @param rl            the resource list to allocate from
3360  * @param bus           the parent device of @p child
3361  * @param child         the device which is requesting an allocation
3362  * @param type          the type of resource to allocate
3363  * @param rid           a pointer to the resource identifier
3364  * @param start         hint at the start of the resource range - pass
3365  *                      @c 0 for any start address
3366  * @param end           hint at the end of the resource range - pass
3367  *                      @c ~0 for any end address
3368  * @param count         hint at the size of range required - pass @c 1
3369  *                      for any size
3370  * @param flags         any extra flags to control the resource
3371  *                      allocation - see @c RF_XXX flags in
3372  *                      <sys/rman.h> for details
3373  *
3374  * @returns             the resource which was allocated or @c NULL if no
3375  *                      resource could be allocated
3376  */
3377 struct resource *
3378 resource_list_alloc(struct resource_list *rl, device_t bus, device_t child,
3379     int type, int *rid, rman_res_t start, rman_res_t end, rman_res_t count, u_int flags)
3380 {
3381         struct resource_list_entry *rle = NULL;
3382         int passthrough = (device_get_parent(child) != bus);
3383         int isdefault = RMAN_IS_DEFAULT_RANGE(start, end);
3384
3385         if (passthrough) {
3386                 return (BUS_ALLOC_RESOURCE(device_get_parent(bus), child,
3387                     type, rid, start, end, count, flags));
3388         }
3389
3390         rle = resource_list_find(rl, type, *rid);
3391
3392         if (!rle)
3393                 return (NULL);          /* no resource of that type/rid */
3394
3395         if (rle->res) {
3396                 if (rle->flags & RLE_RESERVED) {
3397                         if (rle->flags & RLE_ALLOCATED)
3398                                 return (NULL);
3399                         if ((flags & RF_ACTIVE) &&
3400                             bus_activate_resource(child, type, *rid,
3401                             rle->res) != 0)
3402                                 return (NULL);
3403                         rle->flags |= RLE_ALLOCATED;
3404                         return (rle->res);
3405                 }
3406                 device_printf(bus,
3407                     "resource entry %#x type %d for child %s is busy\n", *rid,
3408                     type, device_get_nameunit(child));
3409                 return (NULL);
3410         }
3411
3412         if (isdefault) {
3413                 start = rle->start;
3414                 count = ulmax(count, rle->count);
3415                 end = ulmax(rle->end, start + count - 1);
3416         }
3417
3418         rle->res = BUS_ALLOC_RESOURCE(device_get_parent(bus), child,
3419             type, rid, start, end, count, flags);
3420
3421         /*
3422          * Record the new range.
3423          */
3424         if (rle->res) {
3425                 rle->start = rman_get_start(rle->res);
3426                 rle->end = rman_get_end(rle->res);
3427                 rle->count = count;
3428         }
3429
3430         return (rle->res);
3431 }
3432
3433 /**
3434  * @brief Helper function for implementing BUS_RELEASE_RESOURCE()
3435  *
3436  * Implement BUS_RELEASE_RESOURCE() using a resource list. Normally
3437  * used with resource_list_alloc().
3438  *
3439  * @param rl            the resource list which was allocated from
3440  * @param bus           the parent device of @p child
3441  * @param child         the device which is requesting a release
3442  * @param type          the type of resource to release
3443  * @param rid           the resource identifier
3444  * @param res           the resource to release
3445  *
3446  * @retval 0            success
3447  * @retval non-zero     a standard unix error code indicating what
3448  *                      error condition prevented the operation
3449  */
3450 int
3451 resource_list_release(struct resource_list *rl, device_t bus, device_t child,
3452     int type, int rid, struct resource *res)
3453 {
3454         struct resource_list_entry *rle = NULL;
3455         int passthrough = (device_get_parent(child) != bus);
3456         int error;
3457
3458         if (passthrough) {
3459                 return (BUS_RELEASE_RESOURCE(device_get_parent(bus), child,
3460                     type, rid, res));
3461         }
3462
3463         rle = resource_list_find(rl, type, rid);
3464
3465         if (!rle)
3466                 panic("resource_list_release: can't find resource");
3467         if (!rle->res)
3468                 panic("resource_list_release: resource entry is not busy");
3469         if (rle->flags & RLE_RESERVED) {
3470                 if (rle->flags & RLE_ALLOCATED) {
3471                         if (rman_get_flags(res) & RF_ACTIVE) {
3472                                 error = bus_deactivate_resource(child, type,
3473                                     rid, res);
3474                                 if (error)
3475                                         return (error);
3476                         }
3477                         rle->flags &= ~RLE_ALLOCATED;
3478                         return (0);
3479                 }
3480                 return (EINVAL);
3481         }
3482
3483         error = BUS_RELEASE_RESOURCE(device_get_parent(bus), child,
3484             type, rid, res);
3485         if (error)
3486                 return (error);
3487
3488         rle->res = NULL;
3489         return (0);
3490 }
3491
3492 /**
3493  * @brief Release all active resources of a given type
3494  *
3495  * Release all active resources of a specified type.  This is intended
3496  * to be used to cleanup resources leaked by a driver after detach or
3497  * a failed attach.
3498  *
3499  * @param rl            the resource list which was allocated from
3500  * @param bus           the parent device of @p child
3501  * @param child         the device whose active resources are being released
3502  * @param type          the type of resources to release
3503  *
3504  * @retval 0            success
3505  * @retval EBUSY        at least one resource was active
3506  */
3507 int
3508 resource_list_release_active(struct resource_list *rl, device_t bus,
3509     device_t child, int type)
3510 {
3511         struct resource_list_entry *rle;
3512         int error, retval;
3513
3514         retval = 0;
3515         STAILQ_FOREACH(rle, rl, link) {
3516                 if (rle->type != type)
3517                         continue;
3518                 if (rle->res == NULL)
3519                         continue;
3520                 if ((rle->flags & (RLE_RESERVED | RLE_ALLOCATED)) ==
3521                     RLE_RESERVED)
3522                         continue;
3523                 retval = EBUSY;
3524                 error = resource_list_release(rl, bus, child, type,
3525                     rman_get_rid(rle->res), rle->res);
3526                 if (error != 0)
3527                         device_printf(bus,
3528                             "Failed to release active resource: %d\n", error);
3529         }
3530         return (retval);
3531 }
3532
3533
3534 /**
3535  * @brief Fully release a reserved resource
3536  *
3537  * Fully releases a resource reserved via resource_list_reserve().
3538  *
3539  * @param rl            the resource list which was allocated from
3540  * @param bus           the parent device of @p child
3541  * @param child         the device whose reserved resource is being released
3542  * @param type          the type of resource to release
3543  * @param rid           the resource identifier
3544  * @param res           the resource to release
3545  *
3546  * @retval 0            success
3547  * @retval non-zero     a standard unix error code indicating what
3548  *                      error condition prevented the operation
3549  */
3550 int
3551 resource_list_unreserve(struct resource_list *rl, device_t bus, device_t child,
3552     int type, int rid)
3553 {
3554         struct resource_list_entry *rle = NULL;
3555         int passthrough = (device_get_parent(child) != bus);
3556
3557         if (passthrough)
3558                 panic(
3559     "resource_list_unreserve() should only be called for direct children");
3560
3561         rle = resource_list_find(rl, type, rid);
3562
3563         if (!rle)
3564                 panic("resource_list_unreserve: can't find resource");
3565         if (!(rle->flags & RLE_RESERVED))
3566                 return (EINVAL);
3567         if (rle->flags & RLE_ALLOCATED)
3568                 return (EBUSY);
3569         rle->flags &= ~RLE_RESERVED;
3570         return (resource_list_release(rl, bus, child, type, rid, rle->res));
3571 }
3572
3573 /**
3574  * @brief Print a description of resources in a resource list
3575  *
3576  * Print all resources of a specified type, for use in BUS_PRINT_CHILD().
3577  * The name is printed if at least one resource of the given type is available.
3578  * The format is used to print resource start and end.
3579  *
3580  * @param rl            the resource list to print
3581  * @param name          the name of @p type, e.g. @c "memory"
3582  * @param type          type type of resource entry to print
3583  * @param format        printf(9) format string to print resource
3584  *                      start and end values
3585  *
3586  * @returns             the number of characters printed
3587  */
3588 int
3589 resource_list_print_type(struct resource_list *rl, const char *name, int type,
3590     const char *format)
3591 {
3592         struct resource_list_entry *rle;
3593         int printed, retval;
3594
3595         printed = 0;
3596         retval = 0;
3597         /* Yes, this is kinda cheating */
3598         STAILQ_FOREACH(rle, rl, link) {
3599                 if (rle->type == type) {
3600                         if (printed == 0)
3601                                 retval += printf(" %s ", name);
3602                         else
3603                                 retval += printf(",");
3604                         printed++;
3605                         retval += printf(format, rle->start);
3606                         if (rle->count > 1) {
3607                                 retval += printf("-");
3608                                 retval += printf(format, rle->start +
3609                                                  rle->count - 1);
3610                         }
3611                 }
3612         }
3613         return (retval);
3614 }
3615
3616 /**
3617  * @brief Releases all the resources in a list.
3618  *
3619  * @param rl            The resource list to purge.
3620  *
3621  * @returns             nothing
3622  */
3623 void
3624 resource_list_purge(struct resource_list *rl)
3625 {
3626         struct resource_list_entry *rle;
3627
3628         while ((rle = STAILQ_FIRST(rl)) != NULL) {
3629                 if (rle->res)
3630                         bus_release_resource(rman_get_device(rle->res),
3631                             rle->type, rle->rid, rle->res);
3632                 STAILQ_REMOVE_HEAD(rl, link);
3633                 free(rle, M_BUS);
3634         }
3635 }
3636
3637 device_t
3638 bus_generic_add_child(device_t dev, u_int order, const char *name, int unit)
3639 {
3640
3641         return (device_add_child_ordered(dev, order, name, unit));
3642 }
3643
3644 /**
3645  * @brief Helper function for implementing DEVICE_PROBE()
3646  *
3647  * This function can be used to help implement the DEVICE_PROBE() for
3648  * a bus (i.e. a device which has other devices attached to it). It
3649  * calls the DEVICE_IDENTIFY() method of each driver in the device's
3650  * devclass.
3651  */
3652 int
3653 bus_generic_probe(device_t dev)
3654 {
3655         devclass_t dc = dev->devclass;
3656         driverlink_t dl;
3657
3658         TAILQ_FOREACH(dl, &dc->drivers, link) {
3659                 /*
3660                  * If this driver's pass is too high, then ignore it.
3661                  * For most drivers in the default pass, this will
3662                  * never be true.  For early-pass drivers they will
3663                  * only call the identify routines of eligible drivers
3664                  * when this routine is called.  Drivers for later
3665                  * passes should have their identify routines called
3666                  * on early-pass buses during BUS_NEW_PASS().
3667                  */
3668                 if (dl->pass > bus_current_pass)
3669                         continue;
3670                 DEVICE_IDENTIFY(dl->driver, dev);
3671         }
3672
3673         return (0);
3674 }
3675
3676 /**
3677  * @brief Helper function for implementing DEVICE_ATTACH()
3678  *
3679  * This function can be used to help implement the DEVICE_ATTACH() for
3680  * a bus. It calls device_probe_and_attach() for each of the device's
3681  * children.
3682  */
3683 int
3684 bus_generic_attach(device_t dev)
3685 {
3686         device_t child;
3687
3688         TAILQ_FOREACH(child, &dev->children, link) {
3689                 device_probe_and_attach(child);
3690         }
3691
3692         return (0);
3693 }
3694
3695 /**
3696  * @brief Helper function for implementing DEVICE_DETACH()
3697  *
3698  * This function can be used to help implement the DEVICE_DETACH() for
3699  * a bus. It calls device_detach() for each of the device's
3700  * children.
3701  */
3702 int
3703 bus_generic_detach(device_t dev)
3704 {
3705         device_t child;
3706         int error;
3707
3708         if (dev->state != DS_ATTACHED)
3709                 return (EBUSY);
3710
3711         TAILQ_FOREACH(child, &dev->children, link) {
3712                 if ((error = device_detach(child)) != 0)
3713                         return (error);
3714         }
3715
3716         return (0);
3717 }
3718
3719 /**
3720  * @brief Helper function for implementing DEVICE_SHUTDOWN()
3721  *
3722  * This function can be used to help implement the DEVICE_SHUTDOWN()
3723  * for a bus. It calls device_shutdown() for each of the device's
3724  * children.
3725  */
3726 int
3727 bus_generic_shutdown(device_t dev)
3728 {
3729         device_t child;
3730
3731         TAILQ_FOREACH(child, &dev->children, link) {
3732                 device_shutdown(child);
3733         }
3734
3735         return (0);
3736 }
3737
3738 /**
3739  * @brief Default function for suspending a child device.
3740  *
3741  * This function is to be used by a bus's DEVICE_SUSPEND_CHILD().
3742  */
3743 int
3744 bus_generic_suspend_child(device_t dev, device_t child)
3745 {
3746         int     error;
3747
3748         error = DEVICE_SUSPEND(child);
3749
3750         if (error == 0)
3751                 child->flags |= DF_SUSPENDED;
3752
3753         return (error);
3754 }
3755
3756 /**
3757  * @brief Default function for resuming a child device.
3758  *
3759  * This function is to be used by a bus's DEVICE_RESUME_CHILD().
3760  */
3761 int
3762 bus_generic_resume_child(device_t dev, device_t child)
3763 {
3764
3765         DEVICE_RESUME(child);
3766         child->flags &= ~DF_SUSPENDED;
3767
3768         return (0);
3769 }
3770
3771 /**
3772  * @brief Helper function for implementing DEVICE_SUSPEND()
3773  *
3774  * This function can be used to help implement the DEVICE_SUSPEND()
3775  * for a bus. It calls DEVICE_SUSPEND() for each of the device's
3776  * children. If any call to DEVICE_SUSPEND() fails, the suspend
3777  * operation is aborted and any devices which were suspended are
3778  * resumed immediately by calling their DEVICE_RESUME() methods.
3779  */
3780 int
3781 bus_generic_suspend(device_t dev)
3782 {
3783         int             error;
3784         device_t        child, child2;
3785
3786         TAILQ_FOREACH(child, &dev->children, link) {
3787                 error = BUS_SUSPEND_CHILD(dev, child);
3788                 if (error) {
3789                         for (child2 = TAILQ_FIRST(&dev->children);
3790                              child2 && child2 != child;
3791                              child2 = TAILQ_NEXT(child2, link))
3792                                 BUS_RESUME_CHILD(dev, child2);
3793                         return (error);
3794                 }
3795         }
3796         return (0);
3797 }
3798
3799 /**
3800  * @brief Helper function for implementing DEVICE_RESUME()
3801  *
3802  * This function can be used to help implement the DEVICE_RESUME() for
3803  * a bus. It calls DEVICE_RESUME() on each of the device's children.
3804  */
3805 int
3806 bus_generic_resume(device_t dev)
3807 {
3808         device_t        child;
3809
3810         TAILQ_FOREACH(child, &dev->children, link) {
3811                 BUS_RESUME_CHILD(dev, child);
3812                 /* if resume fails, there's nothing we can usefully do... */
3813         }
3814         return (0);
3815 }
3816
3817 /**
3818  * @brief Helper function for implementing BUS_PRINT_CHILD().
3819  *
3820  * This function prints the first part of the ascii representation of
3821  * @p child, including its name, unit and description (if any - see
3822  * device_set_desc()).
3823  *
3824  * @returns the number of characters printed
3825  */
3826 int
3827 bus_print_child_header(device_t dev, device_t child)
3828 {
3829         int     retval = 0;
3830
3831         if (device_get_desc(child)) {
3832                 retval += device_printf(child, "<%s>", device_get_desc(child));
3833         } else {
3834                 retval += printf("%s", device_get_nameunit(child));
3835         }
3836
3837         return (retval);
3838 }
3839
3840 /**
3841  * @brief Helper function for implementing BUS_PRINT_CHILD().
3842  *
3843  * This function prints the last part of the ascii representation of
3844  * @p child, which consists of the string @c " on " followed by the
3845  * name and unit of the @p dev.
3846  *
3847  * @returns the number of characters printed
3848  */
3849 int
3850 bus_print_child_footer(device_t dev, device_t child)
3851 {
3852         return (printf(" on %s\n", device_get_nameunit(dev)));
3853 }
3854
3855 /**
3856  * @brief Helper function for implementing BUS_PRINT_CHILD().
3857  *
3858  * This function prints out the VM domain for the given device.
3859  *
3860  * @returns the number of characters printed
3861  */
3862 int
3863 bus_print_child_domain(device_t dev, device_t child)
3864 {
3865         int domain;
3866
3867         /* No domain? Don't print anything */
3868         if (BUS_GET_DOMAIN(dev, child, &domain) != 0)
3869                 return (0);
3870
3871         return (printf(" numa-domain %d", domain));
3872 }
3873
3874 /**
3875  * @brief Helper function for implementing BUS_PRINT_CHILD().
3876  *
3877  * This function simply calls bus_print_child_header() followed by
3878  * bus_print_child_footer().
3879  *
3880  * @returns the number of characters printed
3881  */
3882 int
3883 bus_generic_print_child(device_t dev, device_t child)
3884 {
3885         int     retval = 0;
3886
3887         retval += bus_print_child_header(dev, child);
3888         retval += bus_print_child_domain(dev, child);
3889         retval += bus_print_child_footer(dev, child);
3890
3891         return (retval);
3892 }
3893
3894 /**
3895  * @brief Stub function for implementing BUS_READ_IVAR().
3896  *
3897  * @returns ENOENT
3898  */
3899 int
3900 bus_generic_read_ivar(device_t dev, device_t child, int index,
3901     uintptr_t * result)
3902 {
3903         return (ENOENT);
3904 }
3905
3906 /**
3907  * @brief Stub function for implementing BUS_WRITE_IVAR().
3908  *
3909  * @returns ENOENT
3910  */
3911 int
3912 bus_generic_write_ivar(device_t dev, device_t child, int index,
3913     uintptr_t value)
3914 {
3915         return (ENOENT);
3916 }
3917
3918 /**
3919  * @brief Stub function for implementing BUS_GET_RESOURCE_LIST().
3920  *
3921  * @returns NULL
3922  */
3923 struct resource_list *
3924 bus_generic_get_resource_list(device_t dev, device_t child)
3925 {
3926         return (NULL);
3927 }
3928
3929 /**
3930  * @brief Helper function for implementing BUS_DRIVER_ADDED().
3931  *
3932  * This implementation of BUS_DRIVER_ADDED() simply calls the driver's
3933  * DEVICE_IDENTIFY() method to allow it to add new children to the bus
3934  * and then calls device_probe_and_attach() for each unattached child.
3935  */
3936 void
3937 bus_generic_driver_added(device_t dev, driver_t *driver)
3938 {
3939         device_t child;
3940
3941         DEVICE_IDENTIFY(driver, dev);
3942         TAILQ_FOREACH(child, &dev->children, link) {
3943                 if (child->state == DS_NOTPRESENT ||
3944                     (child->flags & DF_REBID))
3945                         device_probe_and_attach(child);
3946         }
3947 }
3948
3949 /**
3950  * @brief Helper function for implementing BUS_NEW_PASS().
3951  *
3952  * This implementing of BUS_NEW_PASS() first calls the identify
3953  * routines for any drivers that probe at the current pass.  Then it
3954  * walks the list of devices for this bus.  If a device is already
3955  * attached, then it calls BUS_NEW_PASS() on that device.  If the
3956  * device is not already attached, it attempts to attach a driver to
3957  * it.
3958  */
3959 void
3960 bus_generic_new_pass(device_t dev)
3961 {
3962         driverlink_t dl;
3963         devclass_t dc;
3964         device_t child;
3965
3966         dc = dev->devclass;
3967         TAILQ_FOREACH(dl, &dc->drivers, link) {
3968                 if (dl->pass == bus_current_pass)
3969                         DEVICE_IDENTIFY(dl->driver, dev);
3970         }
3971         TAILQ_FOREACH(child, &dev->children, link) {
3972                 if (child->state >= DS_ATTACHED)
3973                         BUS_NEW_PASS(child);
3974                 else if (child->state == DS_NOTPRESENT)
3975                         device_probe_and_attach(child);
3976         }
3977 }
3978
3979 /**
3980  * @brief Helper function for implementing BUS_SETUP_INTR().
3981  *
3982  * This simple implementation of BUS_SETUP_INTR() simply calls the
3983  * BUS_SETUP_INTR() method of the parent of @p dev.
3984  */
3985 int
3986 bus_generic_setup_intr(device_t dev, device_t child, struct resource *irq,
3987     int flags, driver_filter_t *filter, driver_intr_t *intr, void *arg,
3988     void **cookiep)
3989 {
3990         /* Propagate up the bus hierarchy until someone handles it. */
3991         if (dev->parent)
3992                 return (BUS_SETUP_INTR(dev->parent, child, irq, flags,
3993                     filter, intr, arg, cookiep));
3994         return (EINVAL);
3995 }
3996
3997 /**
3998  * @brief Helper function for implementing BUS_TEARDOWN_INTR().
3999  *
4000  * This simple implementation of BUS_TEARDOWN_INTR() simply calls the
4001  * BUS_TEARDOWN_INTR() method of the parent of @p dev.
4002  */
4003 int
4004 bus_generic_teardown_intr(device_t dev, device_t child, struct resource *irq,
4005     void *cookie)
4006 {
4007         /* Propagate up the bus hierarchy until someone handles it. */
4008         if (dev->parent)
4009                 return (BUS_TEARDOWN_INTR(dev->parent, child, irq, cookie));
4010         return (EINVAL);
4011 }
4012
4013 /**
4014  * @brief Helper function for implementing BUS_ADJUST_RESOURCE().
4015  *
4016  * This simple implementation of BUS_ADJUST_RESOURCE() simply calls the
4017  * BUS_ADJUST_RESOURCE() method of the parent of @p dev.
4018  */
4019 int
4020 bus_generic_adjust_resource(device_t dev, device_t child, int type,
4021     struct resource *r, rman_res_t start, rman_res_t end)
4022 {
4023         /* Propagate up the bus hierarchy until someone handles it. */
4024         if (dev->parent)
4025                 return (BUS_ADJUST_RESOURCE(dev->parent, child, type, r, start,
4026                     end));
4027         return (EINVAL);
4028 }
4029
4030 /**
4031  * @brief Helper function for implementing BUS_ALLOC_RESOURCE().
4032  *
4033  * This simple implementation of BUS_ALLOC_RESOURCE() simply calls the
4034  * BUS_ALLOC_RESOURCE() method of the parent of @p dev.
4035  */
4036 struct resource *
4037 bus_generic_alloc_resource(device_t dev, device_t child, int type, int *rid,
4038     rman_res_t start, rman_res_t end, rman_res_t count, u_int flags)
4039 {
4040         /* Propagate up the bus hierarchy until someone handles it. */
4041         if (dev->parent)
4042                 return (BUS_ALLOC_RESOURCE(dev->parent, child, type, rid,
4043                     start, end, count, flags));
4044         return (NULL);
4045 }
4046
4047 /**
4048  * @brief Helper function for implementing BUS_RELEASE_RESOURCE().
4049  *
4050  * This simple implementation of BUS_RELEASE_RESOURCE() simply calls the
4051  * BUS_RELEASE_RESOURCE() method of the parent of @p dev.
4052  */
4053 int
4054 bus_generic_release_resource(device_t dev, device_t child, int type, int rid,
4055     struct resource *r)
4056 {
4057         /* Propagate up the bus hierarchy until someone handles it. */
4058         if (dev->parent)
4059                 return (BUS_RELEASE_RESOURCE(dev->parent, child, type, rid,
4060                     r));
4061         return (EINVAL);
4062 }
4063
4064 /**
4065  * @brief Helper function for implementing BUS_ACTIVATE_RESOURCE().
4066  *
4067  * This simple implementation of BUS_ACTIVATE_RESOURCE() simply calls the
4068  * BUS_ACTIVATE_RESOURCE() method of the parent of @p dev.
4069  */
4070 int
4071 bus_generic_activate_resource(device_t dev, device_t child, int type, int rid,
4072     struct resource *r)
4073 {
4074         /* Propagate up the bus hierarchy until someone handles it. */
4075         if (dev->parent)
4076                 return (BUS_ACTIVATE_RESOURCE(dev->parent, child, type, rid,
4077                     r));
4078         return (EINVAL);
4079 }
4080
4081 /**
4082  * @brief Helper function for implementing BUS_DEACTIVATE_RESOURCE().
4083  *
4084  * This simple implementation of BUS_DEACTIVATE_RESOURCE() simply calls the
4085  * BUS_DEACTIVATE_RESOURCE() method of the parent of @p dev.
4086  */
4087 int
4088 bus_generic_deactivate_resource(device_t dev, device_t child, int type,
4089     int rid, struct resource *r)
4090 {
4091         /* Propagate up the bus hierarchy until someone handles it. */
4092         if (dev->parent)
4093                 return (BUS_DEACTIVATE_RESOURCE(dev->parent, child, type, rid,
4094                     r));
4095         return (EINVAL);
4096 }
4097
4098 /**
4099  * @brief Helper function for implementing BUS_MAP_RESOURCE().
4100  *
4101  * This simple implementation of BUS_MAP_RESOURCE() simply calls the
4102  * BUS_MAP_RESOURCE() method of the parent of @p dev.
4103  */
4104 int
4105 bus_generic_map_resource(device_t dev, device_t child, int type,
4106     struct resource *r, struct resource_map_request *args,
4107     struct resource_map *map)
4108 {
4109         /* Propagate up the bus hierarchy until someone handles it. */
4110         if (dev->parent)
4111                 return (BUS_MAP_RESOURCE(dev->parent, child, type, r, args,
4112                     map));
4113         return (EINVAL);
4114 }
4115
4116 /**
4117  * @brief Helper function for implementing BUS_UNMAP_RESOURCE().
4118  *
4119  * This simple implementation of BUS_UNMAP_RESOURCE() simply calls the
4120  * BUS_UNMAP_RESOURCE() method of the parent of @p dev.
4121  */
4122 int
4123 bus_generic_unmap_resource(device_t dev, device_t child, int type,
4124     struct resource *r, struct resource_map *map)
4125 {
4126         /* Propagate up the bus hierarchy until someone handles it. */
4127         if (dev->parent)
4128                 return (BUS_UNMAP_RESOURCE(dev->parent, child, type, r, map));
4129         return (EINVAL);
4130 }
4131
4132 /**
4133  * @brief Helper function for implementing BUS_BIND_INTR().
4134  *
4135  * This simple implementation of BUS_BIND_INTR() simply calls the
4136  * BUS_BIND_INTR() method of the parent of @p dev.
4137  */
4138 int
4139 bus_generic_bind_intr(device_t dev, device_t child, struct resource *irq,
4140     int cpu)
4141 {
4142
4143         /* Propagate up the bus hierarchy until someone handles it. */
4144         if (dev->parent)
4145                 return (BUS_BIND_INTR(dev->parent, child, irq, cpu));
4146         return (EINVAL);
4147 }
4148
4149 /**
4150  * @brief Helper function for implementing BUS_CONFIG_INTR().
4151  *
4152  * This simple implementation of BUS_CONFIG_INTR() simply calls the
4153  * BUS_CONFIG_INTR() method of the parent of @p dev.
4154  */
4155 int
4156 bus_generic_config_intr(device_t dev, int irq, enum intr_trigger trig,
4157     enum intr_polarity pol)
4158 {
4159
4160         /* Propagate up the bus hierarchy until someone handles it. */
4161         if (dev->parent)
4162                 return (BUS_CONFIG_INTR(dev->parent, irq, trig, pol));
4163         return (EINVAL);
4164 }
4165
4166 /**
4167  * @brief Helper function for implementing BUS_DESCRIBE_INTR().
4168  *
4169  * This simple implementation of BUS_DESCRIBE_INTR() simply calls the
4170  * BUS_DESCRIBE_INTR() method of the parent of @p dev.
4171  */
4172 int
4173 bus_generic_describe_intr(device_t dev, device_t child, struct resource *irq,
4174     void *cookie, const char *descr)
4175 {
4176
4177         /* Propagate up the bus hierarchy until someone handles it. */
4178         if (dev->parent)
4179                 return (BUS_DESCRIBE_INTR(dev->parent, child, irq, cookie,
4180                     descr));
4181         return (EINVAL);
4182 }
4183
4184 /**
4185  * @brief Helper function for implementing BUS_GET_CPUS().
4186  *
4187  * This simple implementation of BUS_GET_CPUS() simply calls the
4188  * BUS_GET_CPUS() method of the parent of @p dev.
4189  */
4190 int
4191 bus_generic_get_cpus(device_t dev, device_t child, enum cpu_sets op,
4192     size_t setsize, cpuset_t *cpuset)
4193 {
4194
4195         /* Propagate up the bus hierarchy until someone handles it. */
4196         if (dev->parent != NULL)
4197                 return (BUS_GET_CPUS(dev->parent, child, op, setsize, cpuset));
4198         return (EINVAL);
4199 }
4200
4201 /**
4202  * @brief Helper function for implementing BUS_GET_DMA_TAG().
4203  *
4204  * This simple implementation of BUS_GET_DMA_TAG() simply calls the
4205  * BUS_GET_DMA_TAG() method of the parent of @p dev.
4206  */
4207 bus_dma_tag_t
4208 bus_generic_get_dma_tag(device_t dev, device_t child)
4209 {
4210
4211         /* Propagate up the bus hierarchy until someone handles it. */
4212         if (dev->parent != NULL)
4213                 return (BUS_GET_DMA_TAG(dev->parent, child));
4214         return (NULL);
4215 }
4216
4217 /**
4218  * @brief Helper function for implementing BUS_GET_BUS_TAG().
4219  *
4220  * This simple implementation of BUS_GET_BUS_TAG() simply calls the
4221  * BUS_GET_BUS_TAG() method of the parent of @p dev.
4222  */
4223 bus_space_tag_t
4224 bus_generic_get_bus_tag(device_t dev, device_t child)
4225 {
4226
4227         /* Propagate up the bus hierarchy until someone handles it. */
4228         if (dev->parent != NULL)
4229                 return (BUS_GET_BUS_TAG(dev->parent, child));
4230         return ((bus_space_tag_t)0);
4231 }
4232
4233 /**
4234  * @brief Helper function for implementing BUS_GET_RESOURCE().
4235  *
4236  * This implementation of BUS_GET_RESOURCE() uses the
4237  * resource_list_find() function to do most of the work. It calls
4238  * BUS_GET_RESOURCE_LIST() to find a suitable resource list to
4239  * search.
4240  */
4241 int
4242 bus_generic_rl_get_resource(device_t dev, device_t child, int type, int rid,
4243     rman_res_t *startp, rman_res_t *countp)
4244 {
4245         struct resource_list *          rl = NULL;
4246         struct resource_list_entry *    rle = NULL;
4247
4248         rl = BUS_GET_RESOURCE_LIST(dev, child);
4249         if (!rl)
4250                 return (EINVAL);
4251
4252         rle = resource_list_find(rl, type, rid);
4253         if (!rle)
4254                 return (ENOENT);
4255
4256         if (startp)
4257                 *startp = rle->start;
4258         if (countp)
4259                 *countp = rle->count;
4260
4261         return (0);
4262 }
4263
4264 /**
4265  * @brief Helper function for implementing BUS_SET_RESOURCE().
4266  *
4267  * This implementation of BUS_SET_RESOURCE() uses the
4268  * resource_list_add() function to do most of the work. It calls
4269  * BUS_GET_RESOURCE_LIST() to find a suitable resource list to
4270  * edit.
4271  */
4272 int
4273 bus_generic_rl_set_resource(device_t dev, device_t child, int type, int rid,
4274     rman_res_t start, rman_res_t count)
4275 {
4276         struct resource_list *          rl = NULL;
4277
4278         rl = BUS_GET_RESOURCE_LIST(dev, child);
4279         if (!rl)
4280                 return (EINVAL);
4281
4282         resource_list_add(rl, type, rid, start, (start + count - 1), count);
4283
4284         return (0);
4285 }
4286
4287 /**
4288  * @brief Helper function for implementing BUS_DELETE_RESOURCE().
4289  *
4290  * This implementation of BUS_DELETE_RESOURCE() uses the
4291  * resource_list_delete() function to do most of the work. It calls
4292  * BUS_GET_RESOURCE_LIST() to find a suitable resource list to
4293  * edit.
4294  */
4295 void
4296 bus_generic_rl_delete_resource(device_t dev, device_t child, int type, int rid)
4297 {
4298         struct resource_list *          rl = NULL;
4299
4300         rl = BUS_GET_RESOURCE_LIST(dev, child);
4301         if (!rl)
4302                 return;
4303
4304         resource_list_delete(rl, type, rid);
4305
4306         return;
4307 }
4308
4309 /**
4310  * @brief Helper function for implementing BUS_RELEASE_RESOURCE().
4311  *
4312  * This implementation of BUS_RELEASE_RESOURCE() uses the
4313  * resource_list_release() function to do most of the work. It calls
4314  * BUS_GET_RESOURCE_LIST() to find a suitable resource list.
4315  */
4316 int
4317 bus_generic_rl_release_resource(device_t dev, device_t child, int type,
4318     int rid, struct resource *r)
4319 {
4320         struct resource_list *          rl = NULL;
4321
4322         if (device_get_parent(child) != dev)
4323                 return (BUS_RELEASE_RESOURCE(device_get_parent(dev), child,
4324                     type, rid, r));
4325
4326         rl = BUS_GET_RESOURCE_LIST(dev, child);
4327         if (!rl)
4328                 return (EINVAL);
4329
4330         return (resource_list_release(rl, dev, child, type, rid, r));
4331 }
4332
4333 /**
4334  * @brief Helper function for implementing BUS_ALLOC_RESOURCE().
4335  *
4336  * This implementation of BUS_ALLOC_RESOURCE() uses the
4337  * resource_list_alloc() function to do most of the work. It calls
4338  * BUS_GET_RESOURCE_LIST() to find a suitable resource list.
4339  */
4340 struct resource *
4341 bus_generic_rl_alloc_resource(device_t dev, device_t child, int type,
4342     int *rid, rman_res_t start, rman_res_t end, rman_res_t count, u_int flags)
4343 {
4344         struct resource_list *          rl = NULL;
4345
4346         if (device_get_parent(child) != dev)
4347                 return (BUS_ALLOC_RESOURCE(device_get_parent(dev), child,
4348                     type, rid, start, end, count, flags));
4349
4350         rl = BUS_GET_RESOURCE_LIST(dev, child);
4351         if (!rl)
4352                 return (NULL);
4353
4354         return (resource_list_alloc(rl, dev, child, type, rid,
4355             start, end, count, flags));
4356 }
4357
4358 /**
4359  * @brief Helper function for implementing BUS_CHILD_PRESENT().
4360  *
4361  * This simple implementation of BUS_CHILD_PRESENT() simply calls the
4362  * BUS_CHILD_PRESENT() method of the parent of @p dev.
4363  */
4364 int
4365 bus_generic_child_present(device_t dev, device_t child)
4366 {
4367         return (BUS_CHILD_PRESENT(device_get_parent(dev), dev));
4368 }
4369
4370 int
4371 bus_generic_get_domain(device_t dev, device_t child, int *domain)
4372 {
4373
4374         if (dev->parent)
4375                 return (BUS_GET_DOMAIN(dev->parent, dev, domain));
4376
4377         return (ENOENT);
4378 }
4379
4380 /**
4381  * @brief Helper function for implementing BUS_RESCAN().
4382  *
4383  * This null implementation of BUS_RESCAN() always fails to indicate
4384  * the bus does not support rescanning.
4385  */
4386 int
4387 bus_null_rescan(device_t dev)
4388 {
4389
4390         return (ENXIO);
4391 }
4392
4393 /*
4394  * Some convenience functions to make it easier for drivers to use the
4395  * resource-management functions.  All these really do is hide the
4396  * indirection through the parent's method table, making for slightly
4397  * less-wordy code.  In the future, it might make sense for this code
4398  * to maintain some sort of a list of resources allocated by each device.
4399  */
4400
4401 int
4402 bus_alloc_resources(device_t dev, struct resource_spec *rs,
4403     struct resource **res)
4404 {
4405         int i;
4406
4407         for (i = 0; rs[i].type != -1; i++)
4408                 res[i] = NULL;
4409         for (i = 0; rs[i].type != -1; i++) {
4410                 res[i] = bus_alloc_resource_any(dev,
4411                     rs[i].type, &rs[i].rid, rs[i].flags);
4412                 if (res[i] == NULL && !(rs[i].flags & RF_OPTIONAL)) {
4413                         bus_release_resources(dev, rs, res);
4414                         return (ENXIO);
4415                 }
4416         }
4417         return (0);
4418 }
4419
4420 void
4421 bus_release_resources(device_t dev, const struct resource_spec *rs,
4422     struct resource **res)
4423 {
4424         int i;
4425
4426         for (i = 0; rs[i].type != -1; i++)
4427                 if (res[i] != NULL) {
4428                         bus_release_resource(
4429                             dev, rs[i].type, rs[i].rid, res[i]);
4430                         res[i] = NULL;
4431                 }
4432 }
4433
4434 /**
4435  * @brief Wrapper function for BUS_ALLOC_RESOURCE().
4436  *
4437  * This function simply calls the BUS_ALLOC_RESOURCE() method of the
4438  * parent of @p dev.
4439  */
4440 struct resource *
4441 bus_alloc_resource(device_t dev, int type, int *rid, rman_res_t start,
4442     rman_res_t end, rman_res_t count, u_int flags)
4443 {
4444         struct resource *res;
4445
4446         if (dev->parent == NULL)
4447                 return (NULL);
4448         res = BUS_ALLOC_RESOURCE(dev->parent, dev, type, rid, start, end,
4449             count, flags);
4450         return (res);
4451 }
4452
4453 /**
4454  * @brief Wrapper function for BUS_ADJUST_RESOURCE().
4455  *
4456  * This function simply calls the BUS_ADJUST_RESOURCE() method of the
4457  * parent of @p dev.
4458  */
4459 int
4460 bus_adjust_resource(device_t dev, int type, struct resource *r, rman_res_t start,
4461     rman_res_t end)
4462 {
4463         if (dev->parent == NULL)
4464                 return (EINVAL);
4465         return (BUS_ADJUST_RESOURCE(dev->parent, dev, type, r, start, end));
4466 }
4467
4468 /**
4469  * @brief Wrapper function for BUS_ACTIVATE_RESOURCE().
4470  *
4471  * This function simply calls the BUS_ACTIVATE_RESOURCE() method of the
4472  * parent of @p dev.
4473  */
4474 int
4475 bus_activate_resource(device_t dev, int type, int rid, struct resource *r)
4476 {
4477         if (dev->parent == NULL)
4478                 return (EINVAL);
4479         return (BUS_ACTIVATE_RESOURCE(dev->parent, dev, type, rid, r));
4480 }
4481
4482 /**
4483  * @brief Wrapper function for BUS_DEACTIVATE_RESOURCE().
4484  *
4485  * This function simply calls the BUS_DEACTIVATE_RESOURCE() method of the
4486  * parent of @p dev.
4487  */
4488 int
4489 bus_deactivate_resource(device_t dev, int type, int rid, struct resource *r)
4490 {
4491         if (dev->parent == NULL)
4492                 return (EINVAL);
4493         return (BUS_DEACTIVATE_RESOURCE(dev->parent, dev, type, rid, r));
4494 }
4495
4496 /**
4497  * @brief Wrapper function for BUS_MAP_RESOURCE().
4498  *
4499  * This function simply calls the BUS_MAP_RESOURCE() method of the
4500  * parent of @p dev.
4501  */
4502 int
4503 bus_map_resource(device_t dev, int type, struct resource *r,
4504     struct resource_map_request *args, struct resource_map *map)
4505 {
4506         if (dev->parent == NULL)
4507                 return (EINVAL);
4508         return (BUS_MAP_RESOURCE(dev->parent, dev, type, r, args, map));
4509 }
4510
4511 /**
4512  * @brief Wrapper function for BUS_UNMAP_RESOURCE().
4513  *
4514  * This function simply calls the BUS_UNMAP_RESOURCE() method of the
4515  * parent of @p dev.
4516  */
4517 int
4518 bus_unmap_resource(device_t dev, int type, struct resource *r,
4519     struct resource_map *map)
4520 {
4521         if (dev->parent == NULL)
4522                 return (EINVAL);
4523         return (BUS_UNMAP_RESOURCE(dev->parent, dev, type, r, map));
4524 }
4525
4526 /**
4527  * @brief Wrapper function for BUS_RELEASE_RESOURCE().
4528  *
4529  * This function simply calls the BUS_RELEASE_RESOURCE() method of the
4530  * parent of @p dev.
4531  */
4532 int
4533 bus_release_resource(device_t dev, int type, int rid, struct resource *r)
4534 {
4535         int rv;
4536
4537         if (dev->parent == NULL)
4538                 return (EINVAL);
4539         rv = BUS_RELEASE_RESOURCE(dev->parent, dev, type, rid, r);
4540         return (rv);
4541 }
4542
4543 /**
4544  * @brief Wrapper function for BUS_SETUP_INTR().
4545  *
4546  * This function simply calls the BUS_SETUP_INTR() method of the
4547  * parent of @p dev.
4548  */
4549 int
4550 bus_setup_intr(device_t dev, struct resource *r, int flags,
4551     driver_filter_t filter, driver_intr_t handler, void *arg, void **cookiep)
4552 {
4553         int error;
4554
4555         if (dev->parent == NULL)
4556                 return (EINVAL);
4557         error = BUS_SETUP_INTR(dev->parent, dev, r, flags, filter, handler,
4558             arg, cookiep);
4559         if (error != 0)
4560                 return (error);
4561         if (handler != NULL && !(flags & INTR_MPSAFE))
4562                 device_printf(dev, "[GIANT-LOCKED]\n");
4563         return (0);
4564 }
4565
4566 /**
4567  * @brief Wrapper function for BUS_TEARDOWN_INTR().
4568  *
4569  * This function simply calls the BUS_TEARDOWN_INTR() method of the
4570  * parent of @p dev.
4571  */
4572 int
4573 bus_teardown_intr(device_t dev, struct resource *r, void *cookie)
4574 {
4575         if (dev->parent == NULL)
4576                 return (EINVAL);
4577         return (BUS_TEARDOWN_INTR(dev->parent, dev, r, cookie));
4578 }
4579
4580 /**
4581  * @brief Wrapper function for BUS_BIND_INTR().
4582  *
4583  * This function simply calls the BUS_BIND_INTR() method of the
4584  * parent of @p dev.
4585  */
4586 int
4587 bus_bind_intr(device_t dev, struct resource *r, int cpu)
4588 {
4589         if (dev->parent == NULL)
4590                 return (EINVAL);
4591         return (BUS_BIND_INTR(dev->parent, dev, r, cpu));
4592 }
4593
4594 /**
4595  * @brief Wrapper function for BUS_DESCRIBE_INTR().
4596  *
4597  * This function first formats the requested description into a
4598  * temporary buffer and then calls the BUS_DESCRIBE_INTR() method of
4599  * the parent of @p dev.
4600  */
4601 int
4602 bus_describe_intr(device_t dev, struct resource *irq, void *cookie,
4603     const char *fmt, ...)
4604 {
4605         va_list ap;
4606         char descr[MAXCOMLEN + 1];
4607
4608         if (dev->parent == NULL)
4609                 return (EINVAL);
4610         va_start(ap, fmt);
4611         vsnprintf(descr, sizeof(descr), fmt, ap);
4612         va_end(ap);
4613         return (BUS_DESCRIBE_INTR(dev->parent, dev, irq, cookie, descr));
4614 }
4615
4616 /**
4617  * @brief Wrapper function for BUS_SET_RESOURCE().
4618  *
4619  * This function simply calls the BUS_SET_RESOURCE() method of the
4620  * parent of @p dev.
4621  */
4622 int
4623 bus_set_resource(device_t dev, int type, int rid,
4624     rman_res_t start, rman_res_t count)
4625 {
4626         return (BUS_SET_RESOURCE(device_get_parent(dev), dev, type, rid,
4627             start, count));
4628 }
4629
4630 /**
4631  * @brief Wrapper function for BUS_GET_RESOURCE().
4632  *
4633  * This function simply calls the BUS_GET_RESOURCE() method of the
4634  * parent of @p dev.
4635  */
4636 int
4637 bus_get_resource(device_t dev, int type, int rid,
4638     rman_res_t *startp, rman_res_t *countp)
4639 {
4640         return (BUS_GET_RESOURCE(device_get_parent(dev), dev, type, rid,
4641             startp, countp));
4642 }
4643
4644 /**
4645  * @brief Wrapper function for BUS_GET_RESOURCE().
4646  *
4647  * This function simply calls the BUS_GET_RESOURCE() method of the
4648  * parent of @p dev and returns the start value.
4649  */
4650 rman_res_t
4651 bus_get_resource_start(device_t dev, int type, int rid)
4652 {
4653         rman_res_t start;
4654         rman_res_t count;
4655         int error;
4656
4657         error = BUS_GET_RESOURCE(device_get_parent(dev), dev, type, rid,
4658             &start, &count);
4659         if (error)
4660                 return (0);
4661         return (start);
4662 }
4663
4664 /**
4665  * @brief Wrapper function for BUS_GET_RESOURCE().
4666  *
4667  * This function simply calls the BUS_GET_RESOURCE() method of the
4668  * parent of @p dev and returns the count value.
4669  */
4670 rman_res_t
4671 bus_get_resource_count(device_t dev, int type, int rid)
4672 {
4673         rman_res_t start;
4674         rman_res_t count;
4675         int error;
4676
4677         error = BUS_GET_RESOURCE(device_get_parent(dev), dev, type, rid,
4678             &start, &count);
4679         if (error)
4680                 return (0);
4681         return (count);
4682 }
4683
4684 /**
4685  * @brief Wrapper function for BUS_DELETE_RESOURCE().
4686  *
4687  * This function simply calls the BUS_DELETE_RESOURCE() method of the
4688  * parent of @p dev.
4689  */
4690 void
4691 bus_delete_resource(device_t dev, int type, int rid)
4692 {
4693         BUS_DELETE_RESOURCE(device_get_parent(dev), dev, type, rid);
4694 }
4695
4696 /**
4697  * @brief Wrapper function for BUS_CHILD_PRESENT().
4698  *
4699  * This function simply calls the BUS_CHILD_PRESENT() method of the
4700  * parent of @p dev.
4701  */
4702 int
4703 bus_child_present(device_t child)
4704 {
4705         return (BUS_CHILD_PRESENT(device_get_parent(child), child));
4706 }
4707
4708 /**
4709  * @brief Wrapper function for BUS_CHILD_PNPINFO_STR().
4710  *
4711  * This function simply calls the BUS_CHILD_PNPINFO_STR() method of the
4712  * parent of @p dev.
4713  */
4714 int
4715 bus_child_pnpinfo_str(device_t child, char *buf, size_t buflen)
4716 {
4717         device_t parent;
4718
4719         parent = device_get_parent(child);
4720         if (parent == NULL) {
4721                 *buf = '\0';
4722                 return (0);
4723         }
4724         return (BUS_CHILD_PNPINFO_STR(parent, child, buf, buflen));
4725 }
4726
4727 /**
4728  * @brief Wrapper function for BUS_CHILD_LOCATION_STR().
4729  *
4730  * This function simply calls the BUS_CHILD_LOCATION_STR() method of the
4731  * parent of @p dev.
4732  */
4733 int
4734 bus_child_location_str(device_t child, char *buf, size_t buflen)
4735 {
4736         device_t parent;
4737
4738         parent = device_get_parent(child);
4739         if (parent == NULL) {
4740                 *buf = '\0';
4741                 return (0);
4742         }
4743         return (BUS_CHILD_LOCATION_STR(parent, child, buf, buflen));
4744 }
4745
4746 /**
4747  * @brief Wrapper function for BUS_GET_CPUS().
4748  *
4749  * This function simply calls the BUS_GET_CPUS() method of the
4750  * parent of @p dev.
4751  */
4752 int
4753 bus_get_cpus(device_t dev, enum cpu_sets op, size_t setsize, cpuset_t *cpuset)
4754 {
4755         device_t parent;
4756
4757         parent = device_get_parent(dev);
4758         if (parent == NULL)
4759                 return (EINVAL);
4760         return (BUS_GET_CPUS(parent, dev, op, setsize, cpuset));
4761 }
4762
4763 /**
4764  * @brief Wrapper function for BUS_GET_DMA_TAG().
4765  *
4766  * This function simply calls the BUS_GET_DMA_TAG() method of the
4767  * parent of @p dev.
4768  */
4769 bus_dma_tag_t
4770 bus_get_dma_tag(device_t dev)
4771 {
4772         device_t parent;
4773
4774         parent = device_get_parent(dev);
4775         if (parent == NULL)
4776                 return (NULL);
4777         return (BUS_GET_DMA_TAG(parent, dev));
4778 }
4779
4780 /**
4781  * @brief Wrapper function for BUS_GET_BUS_TAG().
4782  *
4783  * This function simply calls the BUS_GET_BUS_TAG() method of the
4784  * parent of @p dev.
4785  */
4786 bus_space_tag_t
4787 bus_get_bus_tag(device_t dev)
4788 {
4789         device_t parent;
4790
4791         parent = device_get_parent(dev);
4792         if (parent == NULL)
4793                 return ((bus_space_tag_t)0);
4794         return (BUS_GET_BUS_TAG(parent, dev));
4795 }
4796
4797 /**
4798  * @brief Wrapper function for BUS_GET_DOMAIN().
4799  *
4800  * This function simply calls the BUS_GET_DOMAIN() method of the
4801  * parent of @p dev.
4802  */
4803 int
4804 bus_get_domain(device_t dev, int *domain)
4805 {
4806         return (BUS_GET_DOMAIN(device_get_parent(dev), dev, domain));
4807 }
4808
4809 /* Resume all devices and then notify userland that we're up again. */
4810 static int
4811 root_resume(device_t dev)
4812 {
4813         int error;
4814
4815         error = bus_generic_resume(dev);
4816         if (error == 0)
4817                 devctl_notify("kern", "power", "resume", NULL);
4818         return (error);
4819 }
4820
4821 static int
4822 root_print_child(device_t dev, device_t child)
4823 {
4824         int     retval = 0;
4825
4826         retval += bus_print_child_header(dev, child);
4827         retval += printf("\n");
4828
4829         return (retval);
4830 }
4831
4832 static int
4833 root_setup_intr(device_t dev, device_t child, struct resource *irq, int flags,
4834     driver_filter_t *filter, driver_intr_t *intr, void *arg, void **cookiep)
4835 {
4836         /*
4837          * If an interrupt mapping gets to here something bad has happened.
4838          */
4839         panic("root_setup_intr");
4840 }
4841
4842 /*
4843  * If we get here, assume that the device is permanent and really is
4844  * present in the system.  Removable bus drivers are expected to intercept
4845  * this call long before it gets here.  We return -1 so that drivers that
4846  * really care can check vs -1 or some ERRNO returned higher in the food
4847  * chain.
4848  */
4849 static int
4850 root_child_present(device_t dev, device_t child)
4851 {
4852         return (-1);
4853 }
4854
4855 static int
4856 root_get_cpus(device_t dev, device_t child, enum cpu_sets op, size_t setsize,
4857     cpuset_t *cpuset)
4858 {
4859
4860         switch (op) {
4861         case INTR_CPUS:
4862                 /* Default to returning the set of all CPUs. */
4863                 if (setsize != sizeof(cpuset_t))
4864                         return (EINVAL);
4865                 *cpuset = all_cpus;
4866                 return (0);
4867         default:
4868                 return (EINVAL);
4869         }
4870 }
4871
4872 static kobj_method_t root_methods[] = {
4873         /* Device interface */
4874         KOBJMETHOD(device_shutdown,     bus_generic_shutdown),
4875         KOBJMETHOD(device_suspend,      bus_generic_suspend),
4876         KOBJMETHOD(device_resume,       root_resume),
4877
4878         /* Bus interface */
4879         KOBJMETHOD(bus_print_child,     root_print_child),
4880         KOBJMETHOD(bus_read_ivar,       bus_generic_read_ivar),
4881         KOBJMETHOD(bus_write_ivar,      bus_generic_write_ivar),
4882         KOBJMETHOD(bus_setup_intr,      root_setup_intr),
4883         KOBJMETHOD(bus_child_present,   root_child_present),
4884         KOBJMETHOD(bus_get_cpus,        root_get_cpus),
4885
4886         KOBJMETHOD_END
4887 };
4888
4889 static driver_t root_driver = {
4890         "root",
4891         root_methods,
4892         1,                      /* no softc */
4893 };
4894
4895 device_t        root_bus;
4896 devclass_t      root_devclass;
4897
4898 static int
4899 root_bus_module_handler(module_t mod, int what, void* arg)
4900 {
4901         switch (what) {
4902         case MOD_LOAD:
4903                 TAILQ_INIT(&bus_data_devices);
4904                 kobj_class_compile((kobj_class_t) &root_driver);
4905                 root_bus = make_device(NULL, "root", 0);
4906                 root_bus->desc = "System root bus";
4907                 kobj_init((kobj_t) root_bus, (kobj_class_t) &root_driver);
4908                 root_bus->driver = &root_driver;
4909                 root_bus->state = DS_ATTACHED;
4910                 root_devclass = devclass_find_internal("root", NULL, FALSE);
4911                 devinit();
4912                 return (0);
4913
4914         case MOD_SHUTDOWN:
4915                 device_shutdown(root_bus);
4916                 return (0);
4917         default:
4918                 return (EOPNOTSUPP);
4919         }
4920
4921         return (0);
4922 }
4923
4924 static moduledata_t root_bus_mod = {
4925         "rootbus",
4926         root_bus_module_handler,
4927         NULL
4928 };
4929 DECLARE_MODULE(rootbus, root_bus_mod, SI_SUB_DRIVERS, SI_ORDER_FIRST);
4930
4931 /**
4932  * @brief Automatically configure devices
4933  *
4934  * This function begins the autoconfiguration process by calling
4935  * device_probe_and_attach() for each child of the @c root0 device.
4936  */
4937 void
4938 root_bus_configure(void)
4939 {
4940
4941         PDEBUG(("."));
4942
4943         /* Eventually this will be split up, but this is sufficient for now. */
4944         bus_set_pass(BUS_PASS_DEFAULT);
4945 }
4946
4947 /**
4948  * @brief Module handler for registering device drivers
4949  *
4950  * This module handler is used to automatically register device
4951  * drivers when modules are loaded. If @p what is MOD_LOAD, it calls
4952  * devclass_add_driver() for the driver described by the
4953  * driver_module_data structure pointed to by @p arg
4954  */
4955 int
4956 driver_module_handler(module_t mod, int what, void *arg)
4957 {
4958         struct driver_module_data *dmd;
4959         devclass_t bus_devclass;
4960         kobj_class_t driver;
4961         int error, pass;
4962
4963         dmd = (struct driver_module_data *)arg;
4964         bus_devclass = devclass_find_internal(dmd->dmd_busname, NULL, TRUE);
4965         error = 0;
4966
4967         switch (what) {
4968         case MOD_LOAD:
4969                 if (dmd->dmd_chainevh)
4970                         error = dmd->dmd_chainevh(mod,what,dmd->dmd_chainarg);
4971
4972                 pass = dmd->dmd_pass;
4973                 driver = dmd->dmd_driver;
4974                 PDEBUG(("Loading module: driver %s on bus %s (pass %d)",
4975                     DRIVERNAME(driver), dmd->dmd_busname, pass));
4976                 error = devclass_add_driver(bus_devclass, driver, pass,
4977                     dmd->dmd_devclass);
4978                 break;
4979
4980         case MOD_UNLOAD:
4981                 PDEBUG(("Unloading module: driver %s from bus %s",
4982                     DRIVERNAME(dmd->dmd_driver),
4983                     dmd->dmd_busname));
4984                 error = devclass_delete_driver(bus_devclass,
4985                     dmd->dmd_driver);
4986
4987                 if (!error && dmd->dmd_chainevh)
4988                         error = dmd->dmd_chainevh(mod,what,dmd->dmd_chainarg);
4989                 break;
4990         case MOD_QUIESCE:
4991                 PDEBUG(("Quiesce module: driver %s from bus %s",
4992                     DRIVERNAME(dmd->dmd_driver),
4993                     dmd->dmd_busname));
4994                 error = devclass_quiesce_driver(bus_devclass,
4995                     dmd->dmd_driver);
4996
4997                 if (!error && dmd->dmd_chainevh)
4998                         error = dmd->dmd_chainevh(mod,what,dmd->dmd_chainarg);
4999                 break;
5000         default:
5001                 error = EOPNOTSUPP;
5002                 break;
5003         }
5004
5005         return (error);
5006 }
5007
5008 /**
5009  * @brief Enumerate all hinted devices for this bus.
5010  *
5011  * Walks through the hints for this bus and calls the bus_hinted_child
5012  * routine for each one it fines.  It searches first for the specific
5013  * bus that's being probed for hinted children (eg isa0), and then for
5014  * generic children (eg isa).
5015  *
5016  * @param       dev     bus device to enumerate
5017  */
5018 void
5019 bus_enumerate_hinted_children(device_t bus)
5020 {
5021         int i;
5022         const char *dname, *busname;
5023         int dunit;
5024
5025         /*
5026          * enumerate all devices on the specific bus
5027          */
5028         busname = device_get_nameunit(bus);
5029         i = 0;
5030         while (resource_find_match(&i, &dname, &dunit, "at", busname) == 0)
5031                 BUS_HINTED_CHILD(bus, dname, dunit);
5032
5033         /*
5034          * and all the generic ones.
5035          */
5036         busname = device_get_name(bus);
5037         i = 0;
5038         while (resource_find_match(&i, &dname, &dunit, "at", busname) == 0)
5039                 BUS_HINTED_CHILD(bus, dname, dunit);
5040 }
5041
5042 #ifdef BUS_DEBUG
5043
5044 /* the _short versions avoid iteration by not calling anything that prints
5045  * more than oneliners. I love oneliners.
5046  */
5047
5048 static void
5049 print_device_short(device_t dev, int indent)
5050 {
5051         if (!dev)
5052                 return;
5053
5054         indentprintf(("device %d: <%s> %sparent,%schildren,%s%s%s%s%s%s,%sivars,%ssoftc,busy=%d\n",
5055             dev->unit, dev->desc,
5056             (dev->parent? "":"no "),
5057             (TAILQ_EMPTY(&dev->children)? "no ":""),
5058             (dev->flags&DF_ENABLED? "enabled,":"disabled,"),
5059             (dev->flags&DF_FIXEDCLASS? "fixed,":""),
5060             (dev->flags&DF_WILDCARD? "wildcard,":""),
5061             (dev->flags&DF_DESCMALLOCED? "descmalloced,":""),
5062             (dev->flags&DF_REBID? "rebiddable,":""),
5063             (dev->flags&DF_SUSPENDED? "suspended,":""),
5064             (dev->ivars? "":"no "),
5065             (dev->softc? "":"no "),
5066             dev->busy));
5067 }
5068
5069 static void
5070 print_device(device_t dev, int indent)
5071 {
5072         if (!dev)
5073                 return;
5074
5075         print_device_short(dev, indent);
5076
5077         indentprintf(("Parent:\n"));
5078         print_device_short(dev->parent, indent+1);
5079         indentprintf(("Driver:\n"));
5080         print_driver_short(dev->driver, indent+1);
5081         indentprintf(("Devclass:\n"));
5082         print_devclass_short(dev->devclass, indent+1);
5083 }
5084
5085 void
5086 print_device_tree_short(device_t dev, int indent)
5087 /* print the device and all its children (indented) */
5088 {
5089         device_t child;
5090
5091         if (!dev)
5092                 return;
5093
5094         print_device_short(dev, indent);
5095
5096         TAILQ_FOREACH(child, &dev->children, link) {
5097                 print_device_tree_short(child, indent+1);
5098         }
5099 }
5100
5101 void
5102 print_device_tree(device_t dev, int indent)
5103 /* print the device and all its children (indented) */
5104 {
5105         device_t child;
5106
5107         if (!dev)
5108                 return;
5109
5110         print_device(dev, indent);
5111
5112         TAILQ_FOREACH(child, &dev->children, link) {
5113                 print_device_tree(child, indent+1);
5114         }
5115 }
5116
5117 static void
5118 print_driver_short(driver_t *driver, int indent)
5119 {
5120         if (!driver)
5121                 return;
5122
5123         indentprintf(("driver %s: softc size = %zd\n",
5124             driver->name, driver->size));
5125 }
5126
5127 static void
5128 print_driver(driver_t *driver, int indent)
5129 {
5130         if (!driver)
5131                 return;
5132
5133         print_driver_short(driver, indent);
5134 }
5135
5136 static void
5137 print_driver_list(driver_list_t drivers, int indent)
5138 {
5139         driverlink_t driver;
5140
5141         TAILQ_FOREACH(driver, &drivers, link) {
5142                 print_driver(driver->driver, indent);
5143         }
5144 }
5145
5146 static void
5147 print_devclass_short(devclass_t dc, int indent)
5148 {
5149         if ( !dc )
5150                 return;
5151
5152         indentprintf(("devclass %s: max units = %d\n", dc->name, dc->maxunit));
5153 }
5154
5155 static void
5156 print_devclass(devclass_t dc, int indent)
5157 {
5158         int i;
5159
5160         if ( !dc )
5161                 return;
5162
5163         print_devclass_short(dc, indent);
5164         indentprintf(("Drivers:\n"));
5165         print_driver_list(dc->drivers, indent+1);
5166
5167         indentprintf(("Devices:\n"));
5168         for (i = 0; i < dc->maxunit; i++)
5169                 if (dc->devices[i])
5170                         print_device(dc->devices[i], indent+1);
5171 }
5172
5173 void
5174 print_devclass_list_short(void)
5175 {
5176         devclass_t dc;
5177
5178         printf("Short listing of devclasses, drivers & devices:\n");
5179         TAILQ_FOREACH(dc, &devclasses, link) {
5180                 print_devclass_short(dc, 0);
5181         }
5182 }
5183
5184 void
5185 print_devclass_list(void)
5186 {
5187         devclass_t dc;
5188
5189         printf("Full listing of devclasses, drivers & devices:\n");
5190         TAILQ_FOREACH(dc, &devclasses, link) {
5191                 print_devclass(dc, 0);
5192         }
5193 }
5194
5195 #endif
5196
5197 /*
5198  * User-space access to the device tree.
5199  *
5200  * We implement a small set of nodes:
5201  *
5202  * hw.bus                       Single integer read method to obtain the
5203  *                              current generation count.
5204  * hw.bus.devices               Reads the entire device tree in flat space.
5205  * hw.bus.rman                  Resource manager interface
5206  *
5207  * We might like to add the ability to scan devclasses and/or drivers to
5208  * determine what else is currently loaded/available.
5209  */
5210
5211 static int
5212 sysctl_bus(SYSCTL_HANDLER_ARGS)
5213 {
5214         struct u_businfo        ubus;
5215
5216         ubus.ub_version = BUS_USER_VERSION;
5217         ubus.ub_generation = bus_data_generation;
5218
5219         return (SYSCTL_OUT(req, &ubus, sizeof(ubus)));
5220 }
5221 SYSCTL_NODE(_hw_bus, OID_AUTO, info, CTLFLAG_RW, sysctl_bus,
5222     "bus-related data");
5223
5224 static int
5225 sysctl_devices(SYSCTL_HANDLER_ARGS)
5226 {
5227         int                     *name = (int *)arg1;
5228         u_int                   namelen = arg2;
5229         int                     index;
5230         device_t                dev;
5231         struct u_device         udev;   /* XXX this is a bit big */
5232         int                     error;
5233
5234         if (namelen != 2)
5235                 return (EINVAL);
5236
5237         if (bus_data_generation_check(name[0]))
5238                 return (EINVAL);
5239
5240         index = name[1];
5241
5242         /*
5243          * Scan the list of devices, looking for the requested index.
5244          */
5245         TAILQ_FOREACH(dev, &bus_data_devices, devlink) {
5246                 if (index-- == 0)
5247                         break;
5248         }
5249         if (dev == NULL)
5250                 return (ENOENT);
5251
5252         /*
5253          * Populate the return array.
5254          */
5255         bzero(&udev, sizeof(udev));
5256         udev.dv_handle = (uintptr_t)dev;
5257         udev.dv_parent = (uintptr_t)dev->parent;
5258         if (dev->nameunit != NULL)
5259                 strlcpy(udev.dv_name, dev->nameunit, sizeof(udev.dv_name));
5260         if (dev->desc != NULL)
5261                 strlcpy(udev.dv_desc, dev->desc, sizeof(udev.dv_desc));
5262         if (dev->driver != NULL && dev->driver->name != NULL)
5263                 strlcpy(udev.dv_drivername, dev->driver->name,
5264                     sizeof(udev.dv_drivername));
5265         bus_child_pnpinfo_str(dev, udev.dv_pnpinfo, sizeof(udev.dv_pnpinfo));
5266         bus_child_location_str(dev, udev.dv_location, sizeof(udev.dv_location));
5267         udev.dv_devflags = dev->devflags;
5268         udev.dv_flags = dev->flags;
5269         udev.dv_state = dev->state;
5270         error = SYSCTL_OUT(req, &udev, sizeof(udev));
5271         return (error);
5272 }
5273
5274 SYSCTL_NODE(_hw_bus, OID_AUTO, devices, CTLFLAG_RD, sysctl_devices,
5275     "system device tree");
5276
5277 int
5278 bus_data_generation_check(int generation)
5279 {
5280         if (generation != bus_data_generation)
5281                 return (1);
5282
5283         /* XXX generate optimised lists here? */
5284         return (0);
5285 }
5286
5287 void
5288 bus_data_generation_update(void)
5289 {
5290         bus_data_generation++;
5291 }
5292
5293 int
5294 bus_free_resource(device_t dev, int type, struct resource *r)
5295 {
5296         if (r == NULL)
5297                 return (0);
5298         return (bus_release_resource(dev, type, rman_get_rid(r), r));
5299 }
5300
5301 device_t
5302 device_lookup_by_name(const char *name)
5303 {
5304         device_t dev;
5305
5306         TAILQ_FOREACH(dev, &bus_data_devices, devlink) {
5307                 if (dev->nameunit != NULL && strcmp(dev->nameunit, name) == 0)
5308                         return (dev);
5309         }
5310         return (NULL);
5311 }
5312
5313 /*
5314  * /dev/devctl2 implementation.  The existing /dev/devctl device has
5315  * implicit semantics on open, so it could not be reused for this.
5316  * Another option would be to call this /dev/bus?
5317  */
5318 static int
5319 find_device(struct devreq *req, device_t *devp)
5320 {
5321         device_t dev;
5322
5323         /*
5324          * First, ensure that the name is nul terminated.
5325          */
5326         if (memchr(req->dr_name, '\0', sizeof(req->dr_name)) == NULL)
5327                 return (EINVAL);
5328
5329         /*
5330          * Second, try to find an attached device whose name matches
5331          * 'name'.
5332          */
5333         dev = device_lookup_by_name(req->dr_name);
5334         if (dev != NULL) {
5335                 *devp = dev;
5336                 return (0);
5337         }
5338
5339         /* Finally, give device enumerators a chance. */
5340         dev = NULL;
5341         EVENTHANDLER_DIRECT_INVOKE(dev_lookup, req->dr_name, &dev);
5342         if (dev == NULL)
5343                 return (ENOENT);
5344         *devp = dev;
5345         return (0);
5346 }
5347
5348 static bool
5349 driver_exists(device_t bus, const char *driver)
5350 {
5351         devclass_t dc;
5352
5353         for (dc = bus->devclass; dc != NULL; dc = dc->parent) {
5354                 if (devclass_find_driver_internal(dc, driver) != NULL)
5355                         return (true);
5356         }
5357         return (false);
5358 }
5359
5360 static int
5361 devctl2_ioctl(struct cdev *cdev, u_long cmd, caddr_t data, int fflag,
5362     struct thread *td)
5363 {
5364         struct devreq *req;
5365         device_t dev;
5366         int error, old;
5367
5368         /* Locate the device to control. */
5369         mtx_lock(&Giant);
5370         req = (struct devreq *)data;
5371         switch (cmd) {
5372         case DEV_ATTACH:
5373         case DEV_DETACH:
5374         case DEV_ENABLE:
5375         case DEV_DISABLE:
5376         case DEV_SUSPEND:
5377         case DEV_RESUME:
5378         case DEV_SET_DRIVER:
5379         case DEV_CLEAR_DRIVER:
5380         case DEV_RESCAN:
5381         case DEV_DELETE:
5382                 error = priv_check(td, PRIV_DRIVER);
5383                 if (error == 0)
5384                         error = find_device(req, &dev);
5385                 break;
5386         default:
5387                 error = ENOTTY;
5388                 break;
5389         }
5390         if (error) {
5391                 mtx_unlock(&Giant);
5392                 return (error);
5393         }
5394
5395         /* Perform the requested operation. */
5396         switch (cmd) {
5397         case DEV_ATTACH:
5398                 if (device_is_attached(dev) && (dev->flags & DF_REBID) == 0)
5399                         error = EBUSY;
5400                 else if (!device_is_enabled(dev))
5401                         error = ENXIO;
5402                 else
5403                         error = device_probe_and_attach(dev);
5404                 break;
5405         case DEV_DETACH:
5406                 if (!device_is_attached(dev)) {
5407                         error = ENXIO;
5408                         break;
5409                 }
5410                 if (!(req->dr_flags & DEVF_FORCE_DETACH)) {
5411                         error = device_quiesce(dev);
5412                         if (error)
5413                                 break;
5414                 }
5415                 error = device_detach(dev);
5416                 break;
5417         case DEV_ENABLE:
5418                 if (device_is_enabled(dev)) {
5419                         error = EBUSY;
5420                         break;
5421                 }
5422
5423                 /*
5424                  * If the device has been probed but not attached (e.g.
5425                  * when it has been disabled by a loader hint), just
5426                  * attach the device rather than doing a full probe.
5427                  */
5428                 device_enable(dev);
5429                 if (device_is_alive(dev)) {
5430                         /*
5431                          * If the device was disabled via a hint, clear
5432                          * the hint.
5433                          */
5434                         if (resource_disabled(dev->driver->name, dev->unit))
5435                                 resource_unset_value(dev->driver->name,
5436                                     dev->unit, "disabled");
5437                         error = device_attach(dev);
5438                 } else
5439                         error = device_probe_and_attach(dev);
5440                 break;
5441         case DEV_DISABLE:
5442                 if (!device_is_enabled(dev)) {
5443                         error = ENXIO;
5444                         break;
5445                 }
5446
5447                 if (!(req->dr_flags & DEVF_FORCE_DETACH)) {
5448                         error = device_quiesce(dev);
5449                         if (error)
5450                                 break;
5451                 }
5452
5453                 /*
5454                  * Force DF_FIXEDCLASS on around detach to preserve
5455                  * the existing name.
5456                  */
5457                 old = dev->flags;
5458                 dev->flags |= DF_FIXEDCLASS;
5459                 error = device_detach(dev);
5460                 if (!(old & DF_FIXEDCLASS))
5461                         dev->flags &= ~DF_FIXEDCLASS;
5462                 if (error == 0)
5463                         device_disable(dev);
5464                 break;
5465         case DEV_SUSPEND:
5466                 if (device_is_suspended(dev)) {
5467                         error = EBUSY;
5468                         break;
5469                 }
5470                 if (device_get_parent(dev) == NULL) {
5471                         error = EINVAL;
5472                         break;
5473                 }
5474                 error = BUS_SUSPEND_CHILD(device_get_parent(dev), dev);
5475                 break;
5476         case DEV_RESUME:
5477                 if (!device_is_suspended(dev)) {
5478                         error = EINVAL;
5479                         break;
5480                 }
5481                 if (device_get_parent(dev) == NULL) {
5482                         error = EINVAL;
5483                         break;
5484                 }
5485                 error = BUS_RESUME_CHILD(device_get_parent(dev), dev);
5486                 break;
5487         case DEV_SET_DRIVER: {
5488                 devclass_t dc;
5489                 char driver[128];
5490
5491                 error = copyinstr(req->dr_data, driver, sizeof(driver), NULL);
5492                 if (error)
5493                         break;
5494                 if (driver[0] == '\0') {
5495                         error = EINVAL;
5496                         break;
5497                 }
5498                 if (dev->devclass != NULL &&
5499                     strcmp(driver, dev->devclass->name) == 0)
5500                         /* XXX: Could possibly force DF_FIXEDCLASS on? */
5501                         break;
5502
5503                 /*
5504                  * Scan drivers for this device's bus looking for at
5505                  * least one matching driver.
5506                  */
5507                 if (dev->parent == NULL) {
5508                         error = EINVAL;
5509                         break;
5510                 }
5511                 if (!driver_exists(dev->parent, driver)) {
5512                         error = ENOENT;
5513                         break;
5514                 }
5515                 dc = devclass_create(driver);
5516                 if (dc == NULL) {
5517                         error = ENOMEM;
5518                         break;
5519                 }
5520
5521                 /* Detach device if necessary. */
5522                 if (device_is_attached(dev)) {
5523                         if (req->dr_flags & DEVF_SET_DRIVER_DETACH)
5524                                 error = device_detach(dev);
5525                         else
5526                                 error = EBUSY;
5527                         if (error)
5528                                 break;
5529                 }
5530
5531                 /* Clear any previously-fixed device class and unit. */
5532                 if (dev->flags & DF_FIXEDCLASS)
5533                         devclass_delete_device(dev->devclass, dev);
5534                 dev->flags |= DF_WILDCARD;
5535                 dev->unit = -1;
5536
5537                 /* Force the new device class. */
5538                 error = devclass_add_device(dc, dev);
5539                 if (error)
5540                         break;
5541                 dev->flags |= DF_FIXEDCLASS;
5542                 error = device_probe_and_attach(dev);
5543                 break;
5544         }
5545         case DEV_CLEAR_DRIVER:
5546                 if (!(dev->flags & DF_FIXEDCLASS)) {
5547                         error = 0;
5548                         break;
5549                 }
5550                 if (device_is_attached(dev)) {
5551                         if (req->dr_flags & DEVF_CLEAR_DRIVER_DETACH)
5552                                 error = device_detach(dev);
5553                         else
5554                                 error = EBUSY;
5555                         if (error)
5556                                 break;
5557                 }
5558
5559                 dev->flags &= ~DF_FIXEDCLASS;
5560                 dev->flags |= DF_WILDCARD;
5561                 devclass_delete_device(dev->devclass, dev);
5562                 error = device_probe_and_attach(dev);
5563                 break;
5564         case DEV_RESCAN:
5565                 if (!device_is_attached(dev)) {
5566                         error = ENXIO;
5567                         break;
5568                 }
5569                 error = BUS_RESCAN(dev);
5570                 break;
5571         case DEV_DELETE: {
5572                 device_t parent;
5573
5574                 parent = device_get_parent(dev);
5575                 if (parent == NULL) {
5576                         error = EINVAL;
5577                         break;
5578                 }
5579                 if (!(req->dr_flags & DEVF_FORCE_DELETE)) {
5580                         if (bus_child_present(dev) != 0) {
5581                                 error = EBUSY;
5582                                 break;
5583                         }
5584                 }
5585
5586                 error = device_delete_child(parent, dev);
5587                 break;
5588         }
5589         }
5590         mtx_unlock(&Giant);
5591         return (error);
5592 }
5593
5594 static struct cdevsw devctl2_cdevsw = {
5595         .d_version =    D_VERSION,
5596         .d_ioctl =      devctl2_ioctl,
5597         .d_name =       "devctl2",
5598 };
5599
5600 static void
5601 devctl2_init(void)
5602 {
5603
5604         make_dev_credf(MAKEDEV_ETERNAL, &devctl2_cdevsw, 0, NULL,
5605             UID_ROOT, GID_WHEEL, 0600, "devctl2");
5606 }
5607
5608 /*
5609  * APIs to manage deprecation and obsolescence.
5610  */
5611 static int obsolete_panic = 0;
5612 SYSCTL_INT(_debug, OID_AUTO, obsolete_panic, CTLFLAG_RWTUN, &obsolete_panic, 0,
5613     "Bus debug level");
5614 /* 0 - don't panic, 1 - panic if already obsolete, 2 - panic if deprecated */
5615 static void
5616 gone_panic(int major, int running, const char *msg)
5617 {
5618
5619         switch (obsolete_panic)
5620         {
5621         case 0:
5622                 return;
5623         case 1:
5624                 if (running < major)
5625                         return;
5626                 /* FALLTHROUGH */
5627         default:
5628                 panic("%s", msg);
5629         }
5630 }
5631
5632 void
5633 _gone_in(int major, const char *msg)
5634 {
5635
5636         gone_panic(major, P_OSREL_MAJOR(__FreeBSD_version), msg);
5637         if (P_OSREL_MAJOR(__FreeBSD_version) >= major)
5638                 printf("Obsolete code will removed soon: %s\n", msg);
5639         else if (P_OSREL_MAJOR(__FreeBSD_version) + 1 == major)
5640                 printf("Deprecated code (to be removed in FreeBSD %d): %s\n",
5641                     major, msg);
5642 }
5643
5644 void
5645 _gone_in_dev(device_t dev, int major, const char *msg)
5646 {
5647
5648         gone_panic(major, P_OSREL_MAJOR(__FreeBSD_version), msg);
5649         if (P_OSREL_MAJOR(__FreeBSD_version) >= major)
5650                 device_printf(dev,
5651                     "Obsolete code will removed soon: %s\n", msg);
5652         else if (P_OSREL_MAJOR(__FreeBSD_version) + 1 == major)
5653                 device_printf(dev,
5654                     "Deprecated code (to be removed in FreeBSD %d): %s\n",
5655                     major, msg);
5656 }
5657
5658 #ifdef DDB
5659 DB_SHOW_COMMAND(device, db_show_device)
5660 {
5661         device_t dev;
5662
5663         if (!have_addr)
5664                 return;
5665
5666         dev = (device_t)addr;
5667
5668         db_printf("name:    %s\n", device_get_nameunit(dev));
5669         db_printf("  driver:  %s\n", DRIVERNAME(dev->driver));
5670         db_printf("  class:   %s\n", DEVCLANAME(dev->devclass));
5671         db_printf("  addr:    %p\n", dev);
5672         db_printf("  parent:  %p\n", dev->parent);
5673         db_printf("  softc:   %p\n", dev->softc);
5674         db_printf("  ivars:   %p\n", dev->ivars);
5675 }
5676
5677 DB_SHOW_ALL_COMMAND(devices, db_show_all_devices)
5678 {
5679         device_t dev;
5680
5681         TAILQ_FOREACH(dev, &bus_data_devices, devlink) {
5682                 db_show_device((db_expr_t)dev, true, count, modif);
5683         }
5684 }
5685 #endif