sys/powerpc/ofw/ofw_pcibus.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
   3  *
   4  * Copyright (c) 1997, Stefan Esser <se@freebsd.org>
   5  * Copyright (c) 2000, Michael Smith <msmith@freebsd.org>
   6  * Copyright (c) 2000, BSDi
   7  * Copyright (c) 2003, Thomas Moestl <tmm@FreeBSD.org>
   8  * All rights reserved.
   9  *
  10  * Redistribution and use in source and binary forms, with or without
  11  * modification, are permitted provided that the following conditions
  12  * are met:
  13  * 1. Redistributions of source code must retain the above copyright
  14  *    notice unmodified, this list of conditions, and the following
  15  *    disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  21  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  22  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  23  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  24  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  25  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  26  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  27  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  28  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  29  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30  */
  31
  32 #include <sys/cdefs.h>
  33 __FBSDID("$FreeBSD$");
  34
  35 #include <sys/param.h>
  36 #include <sys/bus.h>
  37 #include <sys/kernel.h>
  38 #include <sys/libkern.h>
  39 #include <sys/module.h>
  40 #include <sys/pciio.h>
  41 #include <sys/smp.h>
  42
  43 #include <dev/ofw/ofw_bus.h>
  44 #include <dev/ofw/ofw_bus_subr.h>
  45 #include <dev/ofw/ofw_pci.h>
  46 #include <dev/ofw/openfirm.h>
  47
  48 #include <machine/bus.h>
  49 #include <machine/intr_machdep.h>
  50 #include <machine/resource.h>
  51
  52 #include <dev/pci/pcireg.h>
  53 #include <dev/pci/pcivar.h>
  54 #include <dev/pci/pci_private.h>
  55
  56 #include "ofw_pcibus.h"
  57 #include "pcib_if.h"
  58 #include "pci_if.h"
  59
  60 typedef uint32_t ofw_pci_intr_t;
  61
  62 /* Methods */
  63 static device_probe_t ofw_pcibus_probe;
  64 static device_attach_t ofw_pcibus_attach;
  65 static pci_alloc_devinfo_t ofw_pcibus_alloc_devinfo;
  66 static pci_assign_interrupt_t ofw_pcibus_assign_interrupt;
  67 static ofw_bus_get_devinfo_t ofw_pcibus_get_devinfo;
  68 static bus_child_deleted_t ofw_pcibus_child_deleted;
  69 static int ofw_pcibus_child_pnpinfo_str_method(device_t cbdev, device_t child,
  70     char *buf, size_t buflen);
  71
  72 static void ofw_pcibus_enum_devtree(device_t dev, u_int domain, u_int busno);
  73 static void ofw_pcibus_enum_bus(device_t dev, u_int domain, u_int busno);
  74
  75 static device_method_t ofw_pcibus_methods[] = {
  76         /* Device interface */
  77         DEVMETHOD(device_probe,         ofw_pcibus_probe),
  78         DEVMETHOD(device_attach,        ofw_pcibus_attach),
  79
  80         /* Bus interface */
  81         DEVMETHOD(bus_child_deleted,    ofw_pcibus_child_deleted),
  82         DEVMETHOD(bus_child_pnpinfo_str, ofw_pcibus_child_pnpinfo_str_method),
  83         DEVMETHOD(bus_rescan,           bus_null_rescan),
  84         DEVMETHOD(bus_get_cpus,         ofw_pcibus_get_cpus),
  85         DEVMETHOD(bus_get_domain,       ofw_pcibus_get_domain),
  86
  87         /* PCI interface */
  88         DEVMETHOD(pci_alloc_devinfo,    ofw_pcibus_alloc_devinfo),
  89         DEVMETHOD(pci_assign_interrupt, ofw_pcibus_assign_interrupt),
  90
  91         /* ofw_bus interface */
  92         DEVMETHOD(ofw_bus_get_devinfo,  ofw_pcibus_get_devinfo),
  93         DEVMETHOD(ofw_bus_get_compat,   ofw_bus_gen_get_compat),
  94         DEVMETHOD(ofw_bus_get_model,    ofw_bus_gen_get_model),
  95         DEVMETHOD(ofw_bus_get_name,     ofw_bus_gen_get_name),
  96         DEVMETHOD(ofw_bus_get_node,     ofw_bus_gen_get_node),
  97         DEVMETHOD(ofw_bus_get_type,     ofw_bus_gen_get_type),
  98
  99         DEVMETHOD_END
 100 };
 101
 102 static devclass_t pci_devclass;
 103
 104 DEFINE_CLASS_1(pci, ofw_pcibus_driver, ofw_pcibus_methods,
 105     sizeof(struct pci_softc), pci_driver);
 106 EARLY_DRIVER_MODULE(ofw_pcibus, pcib, ofw_pcibus_driver, pci_devclass, 0, 0,
 107     BUS_PASS_BUS);
 108 MODULE_VERSION(ofw_pcibus, 1);
 109 MODULE_DEPEND(ofw_pcibus, pci, 1, 1, 1);
 110
 111 static int ofw_devices_only = 0;
 112 TUNABLE_INT("hw.pci.ofw_devices_only", &ofw_devices_only);
 113
 114 static int
 115 ofw_pcibus_probe(device_t dev)
 116 {
 117
 118         if (ofw_bus_get_node(dev) == -1)
 119                 return (ENXIO);
 120         device_set_desc(dev, "OFW PCI bus");
 121
 122         return (BUS_PROBE_DEFAULT);
 123 }
 124
 125 static int
 126 ofw_pcibus_attach(device_t dev)
 127 {
 128         u_int busno, domain;
 129         int error;
 130
 131         error = pci_attach_common(dev);
 132         if (error)
 133                 return (error);
 134         domain = pcib_get_domain(dev);
 135         busno = pcib_get_bus(dev);
 136
 137         /*
 138          * Attach those children represented in the device tree.
 139          */
 140
 141         ofw_pcibus_enum_devtree(dev, domain, busno);
 142
 143         /*
 144          * We now attach any laggard devices. FDT, for instance, allows
 145          * the device tree to enumerate only some PCI devices. Apple's
 146          * OF device tree on some Grackle-based hardware can also miss
 147          * functions on multi-function cards.
 148          */
 149
 150         if (!ofw_devices_only)
 151                 ofw_pcibus_enum_bus(dev, domain, busno);
 152
 153         return (bus_generic_attach(dev));
 154 }
 155
 156 struct pci_devinfo *
 157 ofw_pcibus_alloc_devinfo(device_t dev)
 158 {
 159         struct ofw_pcibus_devinfo *dinfo;
 160
 161         dinfo = malloc(sizeof(*dinfo), M_DEVBUF, M_WAITOK | M_ZERO);
 162         return (&dinfo->opd_dinfo);
 163 }
 164
 165 static void
 166 ofw_pcibus_enum_devtree(device_t dev, u_int domain, u_int busno)
 167 {
 168         device_t pcib;
 169         struct ofw_pci_register pcir;
 170         struct ofw_pcibus_devinfo *dinfo;
 171         phandle_t node, child;
 172         u_int func, slot;
 173         int intline;
 174
 175         pcib = device_get_parent(dev);
 176         node = ofw_bus_get_node(dev);
 177
 178         for (child = OF_child(node); child != 0; child = OF_peer(child)) {
 179                 if (OF_getencprop(child, "reg", (pcell_t *)&pcir,
 180                     sizeof(pcir)) == -1)
 181                         continue;
 182                 slot = OFW_PCI_PHYS_HI_DEVICE(pcir.phys_hi);
 183                 func = OFW_PCI_PHYS_HI_FUNCTION(pcir.phys_hi);
 184
 185                 /* Some OFW device trees contain dupes. */
 186                 if (pci_find_dbsf(domain, busno, slot, func) != NULL)
 187                         continue;
 188
 189                 /*
 190                  * The preset in the intline register is usually bogus.  Reset
 191                  * it such that the PCI code will reroute the interrupt if
 192                  * needed.
 193                  */
 194
 195                 intline = PCI_INVALID_IRQ;
 196                 if (OF_getproplen(child, "interrupts") > 0)
 197                         intline = 0;
 198                 PCIB_WRITE_CONFIG(pcib, busno, slot, func, PCIR_INTLINE,
 199                     intline, 1);
 200
 201                 /*
 202                  * Now set up the PCI and OFW bus layer devinfo and add it
 203                  * to the PCI bus.
 204                  */
 205
 206                 dinfo = (struct ofw_pcibus_devinfo *)pci_read_device(pcib, dev,
 207                     domain, busno, slot, func);
 208                 if (dinfo == NULL)
 209                         continue;
 210                 if (ofw_bus_gen_setup_devinfo(&dinfo->opd_obdinfo, child) !=
 211                     0) {
 212                         pci_freecfg((struct pci_devinfo *)dinfo);
 213                         continue;
 214                 }
 215                 dinfo->opd_dma_tag = NULL;
 216                 pci_add_child(dev, (struct pci_devinfo *)dinfo);
 217
 218                 /*
 219                  * Some devices don't have an intpin set, but do have
 220                  * interrupts. These are fully specified, and set in the
 221                  * interrupts property, so add that value to the device's
 222                  * resource list.
 223                  */
 224                 if (dinfo->opd_dinfo.cfg.intpin == 0)
 225                         ofw_bus_intr_to_rl(dev, child,
 226                                 &dinfo->opd_dinfo.resources, NULL);
 227         }
 228 }
 229
 230 /*
 231  * The following is an almost exact clone of pci_add_children(), with the
 232  * addition that it (a) will not add children that have already been added,
 233  * and (b) will set up the OFW devinfo to point to invalid values. This is
 234  * to handle non-enumerated PCI children as exist in FDT and on the second
 235  * function of the Rage 128 in my Blue & White G3.
 236  */
 237
 238 static void
 239 ofw_pcibus_enum_bus(device_t dev, u_int domain, u_int busno)
 240 {
 241         device_t pcib;
 242         struct ofw_pcibus_devinfo *dinfo;
 243         int maxslots;
 244         int s, f, pcifunchigh;
 245         uint8_t hdrtype;
 246
 247         pcib = device_get_parent(dev);
 248
 249         maxslots = PCIB_MAXSLOTS(pcib);
 250         for (s = 0; s <= maxslots; s++) {
 251                 pcifunchigh = 0;
 252                 f = 0;
 253                 DELAY(1);
 254                 hdrtype = PCIB_READ_CONFIG(pcib, busno, s, f, PCIR_HDRTYPE, 1);
 255                 if ((hdrtype & PCIM_HDRTYPE) > PCI_MAXHDRTYPE)
 256                         continue;
 257                 if (hdrtype & PCIM_MFDEV)
 258                         pcifunchigh = PCI_FUNCMAX;
 259                 for (f = 0; f <= pcifunchigh; f++) {
 260                         /* Filter devices we have already added */
 261                         if (pci_find_dbsf(domain, busno, s, f) != NULL)
 262                                 continue;
 263
 264                         dinfo = (struct ofw_pcibus_devinfo *)pci_read_device(
 265                             pcib, dev, domain, busno, s, f);
 266                         if (dinfo == NULL)
 267                                 continue;
 268
 269                         dinfo->opd_dma_tag = NULL;
 270                         dinfo->opd_obdinfo.obd_node = -1;
 271
 272                         dinfo->opd_obdinfo.obd_name = NULL;
 273                         dinfo->opd_obdinfo.obd_compat = NULL;
 274                         dinfo->opd_obdinfo.obd_type = NULL;
 275                         dinfo->opd_obdinfo.obd_model = NULL;
 276
 277                         /*
 278                          * For non OFW-devices, don't believe 0
 279                          * for an interrupt.
 280                          */
 281                         if (dinfo->opd_dinfo.cfg.intline == 0) {
 282                                 dinfo->opd_dinfo.cfg.intline = PCI_INVALID_IRQ;
 283                                 PCIB_WRITE_CONFIG(pcib, busno, s, f,
 284                                     PCIR_INTLINE, PCI_INVALID_IRQ, 1);
 285                         }
 286
 287                         pci_add_child(dev, (struct pci_devinfo *)dinfo);
 288                 }
 289         }
 290 }
 291
 292 static void
 293 ofw_pcibus_child_deleted(device_t dev, device_t child)
 294 {
 295         struct ofw_pcibus_devinfo *dinfo;
 296
 297         dinfo = device_get_ivars(dev);
 298         ofw_bus_gen_destroy_devinfo(&dinfo->opd_obdinfo);
 299         pci_child_deleted(dev, child);
 300 }
 301
 302 static int
 303 ofw_pcibus_child_pnpinfo_str_method(device_t cbdev, device_t child, char *buf,
 304     size_t buflen)
 305 {
 306         pci_child_pnpinfo_str_method(cbdev, child, buf, buflen);
 307
 308         if (ofw_bus_get_node(child) != -1)  {
 309                 strlcat(buf, " ", buflen); /* Separate info */
 310                 ofw_bus_gen_child_pnpinfo_str(cbdev, child, buf, buflen);
 311         }
 312
 313         return (0);
 314 }
 315
 316 static int
 317 ofw_pcibus_assign_interrupt(device_t dev, device_t child)
 318 {
 319         ofw_pci_intr_t intr[2];
 320         phandle_t node, iparent;
 321         int isz, icells;
 322
 323         node = ofw_bus_get_node(child);
 324
 325         if (node == -1) {
 326                 /* Non-firmware enumerated child, use standard routing */
 327
 328                 intr[0] = pci_get_intpin(child);
 329                 return (PCIB_ROUTE_INTERRUPT(device_get_parent(dev), child,
 330                     intr[0]));
 331         }
 332
 333         /*
 334          * Try to determine the node's interrupt parent so we know which
 335          * PIC to use.
 336          */
 337
 338         iparent = -1;
 339         if (OF_getencprop(node, "interrupt-parent", &iparent,
 340             sizeof(iparent)) < 0)
 341                 iparent = -1;
 342         icells = 1;
 343         if (iparent != -1)
 344                 OF_getencprop(OF_node_from_xref(iparent), "#interrupt-cells",
 345                     &icells, sizeof(icells));
 346
 347         /*
 348          * Any AAPL,interrupts property gets priority and is
 349          * fully specified (i.e. does not need routing)
 350          */
 351
 352         isz = OF_getencprop(node, "AAPL,interrupts", intr, sizeof(intr));
 353         if (isz == sizeof(intr[0])*icells)
 354                 return ((iparent == -1) ? intr[0] : ofw_bus_map_intr(dev,
 355                     iparent, icells, intr));
 356
 357         isz = OF_getencprop(node, "interrupts", intr, sizeof(intr));
 358         if (isz == sizeof(intr[0])*icells) {
 359                 if (iparent != -1)
 360                         intr[0] = ofw_bus_map_intr(dev, iparent, icells, intr);
 361         } else {
 362                 /* No property: our best guess is the intpin. */
 363                 intr[0] = pci_get_intpin(child);
 364         }
 365
 366         /*
 367          * If we got intr from a property, it may or may not be an intpin.
 368          * For on-board devices, it frequently is not, and is completely out
 369          * of the valid intpin range.  For PCI slots, it hopefully is,
 370          * otherwise we will have trouble interfacing with non-OFW buses
 371          * such as cardbus.
 372          * Since we cannot tell which it is without violating layering, we
 373          * will always use the route_interrupt method, and treat exceptions
 374          * on the level they become apparent.
 375          */
 376         return (PCIB_ROUTE_INTERRUPT(device_get_parent(dev), child, intr[0]));
 377 }
 378
 379 static const struct ofw_bus_devinfo *
 380 ofw_pcibus_get_devinfo(device_t bus, device_t dev)
 381 {
 382         struct ofw_pcibus_devinfo *dinfo;
 383
 384         dinfo = device_get_ivars(dev);
 385         return (&dinfo->opd_obdinfo);
 386 }
 387
 388 static int
 389 ofw_pcibus_parse_associativity(device_t dev, int *domain)
 390 {
 391         phandle_t node;
 392         cell_t associativity[5];
 393         int res;
 394
 395         if ((node = ofw_bus_get_node(dev)) == -1) {
 396                 if (bootverbose)
 397                         device_printf(dev, "no ofw node found\n");
 398                 return (ENXIO);
 399         }
 400         res = OF_getproplen(node, "ibm,associativity");
 401         if (res <= 0)
 402                 return (ENXIO);
 403         OF_getencprop(node, "ibm,associativity",
 404                 associativity, res);
 405
 406         *domain = associativity[3] - 1;
 407         if (bootverbose)
 408                 device_printf(dev, "domain(%d)\n", *domain);
 409         return (0);
 410 }
 411
 412 int
 413 ofw_pcibus_get_cpus(device_t dev, device_t child, enum cpu_sets op, size_t setsize,
 414     cpuset_t *cpuset)
 415 {
 416         int d, error;
 417
 418         error = ofw_pcibus_parse_associativity(child, &d);
 419         if (error)
 420                 return (bus_generic_get_cpus(dev, child, op, setsize, cpuset));
 421
 422         switch (op) {
 423         case LOCAL_CPUS:
 424                 if (setsize != sizeof(cpuset_t))
 425                         return (EINVAL);
 426                 *cpuset = cpuset_domain[d];
 427                 return (0);
 428         case INTR_CPUS:
 429                 error = bus_generic_get_cpus(dev, child, op, setsize, cpuset);
 430                 if (error != 0)
 431                         return (error);
 432                 if (setsize != sizeof(cpuset_t))
 433                         return (EINVAL);
 434                 CPU_AND(cpuset, &cpuset_domain[d]);
 435                 return (0);
 436         default:
 437                 return (bus_generic_get_cpus(dev, child, op, setsize, cpuset));
 438         }
 439         return (0);
 440 }
 441
 442 /*
 443  * Fetch the NUMA domain for the given device 'dev'.
 444  *
 445  * If a device has a _PXM method, map that to a NUMA domain.
 446  * Otherwise, pass the request up to the parent.
 447  * If there's no matching domain or the domain cannot be
 448  * determined, return ENOENT.
 449  */
 450 int
 451 ofw_pcibus_get_domain(device_t dev, device_t child, int *domain)
 452 {
 453         int d, error;
 454
 455         error = ofw_pcibus_parse_associativity(child, &d);
 456         /* No ofw node; go up a level */
 457         if (error)
 458                 return (bus_generic_get_domain(dev, child, domain));
 459         *domain = d;
 460         return (0);
 461 }