sys/dev/mfi/mfi_pci.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD AND BSD-2-Clause
   3  *
   4  * Copyright (c) 2006 IronPort Systems
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  */
  28 /*-
  29  * Copyright (c) 2007 LSI Corp.
  30  * Copyright (c) 2007 Rajesh Prabhakaran.
  31  * All rights reserved.
  32  *
  33  * Redistribution and use in source and binary forms, with or without
  34  * modification, are permitted provided that the following conditions
  35  * are met:
  36  * 1. Redistributions of source code must retain the above copyright
  37  *    notice, this list of conditions and the following disclaimer.
  38  * 2. Redistributions in binary form must reproduce the above copyright
  39  *    notice, this list of conditions and the following disclaimer in the
  40  *    documentation and/or other materials provided with the distribution.
  41  *
  42  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  43  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  44  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  45  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  46  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  47  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  48  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  49  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  50  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  51  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  52  * SUCH DAMAGE.
  53  */
  54
  55 #include <sys/cdefs.h>
  56 __FBSDID("$FreeBSD$");
  57
  58 /* PCI/PCI-X/PCIe bus interface for the LSI MegaSAS controllers */
  59
  60 #include "opt_mfi.h"
  61
  62 #include <sys/param.h>
  63 #include <sys/bio.h>
  64 #include <sys/bus.h>
  65 #include <sys/conf.h>
  66 #include <sys/eventhandler.h>
  67 #include <sys/kernel.h>
  68 #include <sys/lock.h>
  69 #include <sys/module.h>
  70 #include <sys/malloc.h>
  71 #include <sys/mutex.h>
  72 #include <sys/selinfo.h>
  73 #include <sys/sysctl.h>
  74 #include <sys/systm.h>
  75 #include <sys/uio.h>
  76
  77 #include <machine/bus.h>
  78 #include <machine/resource.h>
  79 #include <sys/rman.h>
  80
  81 #include <dev/pci/pcireg.h>
  82 #include <dev/pci/pcivar.h>
  83
  84 #include <dev/mfi/mfireg.h>
  85 #include <dev/mfi/mfi_ioctl.h>
  86 #include <dev/mfi/mfivar.h>
  87
  88 static int      mfi_pci_probe(device_t);
  89 static int      mfi_pci_attach(device_t);
  90 static int      mfi_pci_detach(device_t);
  91 static int      mfi_pci_suspend(device_t);
  92 static int      mfi_pci_resume(device_t);
  93 static void     mfi_pci_free(struct mfi_softc *);
  94
  95 static device_method_t mfi_methods[] = {
  96         DEVMETHOD(device_probe,         mfi_pci_probe),
  97         DEVMETHOD(device_attach,        mfi_pci_attach),
  98         DEVMETHOD(device_detach,        mfi_pci_detach),
  99         DEVMETHOD(device_suspend,       mfi_pci_suspend),
 100         DEVMETHOD(device_resume,        mfi_pci_resume),
 101
 102         DEVMETHOD_END
 103 };
 104
 105 static driver_t mfi_pci_driver = {
 106         "mfi",
 107         mfi_methods,
 108         sizeof(struct mfi_softc)
 109 };
 110
 111 static devclass_t       mfi_devclass;
 112
 113 static int      mfi_msi = 1;
 114 SYSCTL_INT(_hw_mfi, OID_AUTO, msi, CTLFLAG_RDTUN, &mfi_msi, 0,
 115     "Enable use of MSI interrupts");
 116
 117 static int      mfi_mrsas_enable;
 118 SYSCTL_INT(_hw_mfi, OID_AUTO, mrsas_enable, CTLFLAG_RDTUN, &mfi_mrsas_enable,
 119      0, "Allow mrasas to take newer cards");
 120
 121 struct mfi_ident {
 122         uint16_t        vendor;
 123         uint16_t        device;
 124         uint16_t        subvendor;
 125         uint16_t        subdevice;
 126         int             flags;
 127         const char      *desc;
 128 } mfi_identifiers[] = {
 129         {0x1000, 0x005b, 0x1028, 0x1f2d, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Dell PERC H810 Adapter"},
 130         {0x1000, 0x005b, 0x1028, 0x1f30, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Dell PERC H710 Embedded"},
 131         {0x1000, 0x005b, 0x1028, 0x1f31, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Dell PERC H710P Adapter"},
 132         {0x1000, 0x005b, 0x1028, 0x1f33, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Dell PERC H710P Mini (blades)"},
 133         {0x1000, 0x005b, 0x1028, 0x1f34, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Dell PERC H710P Mini (monolithics)"},
 134         {0x1000, 0x005b, 0x1028, 0x1f35, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Dell PERC H710 Adapter"},
 135         {0x1000, 0x005b, 0x1028, 0x1f37, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Dell PERC H710 Mini (blades)"},
 136         {0x1000, 0x005b, 0x1028, 0x1f38, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Dell PERC H710 Mini (monolithics)"},
 137         {0x1000, 0x005b, 0x8086, 0x9265, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Intel (R) RAID Controller RS25DB080"},
 138         {0x1000, 0x005b, 0x8086, 0x9285, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "Intel (R) RAID Controller RS25NB008"},
 139         {0x1000, 0x005b, 0xffff, 0xffff, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS, "ThunderBolt"},
 140         {0x1000, 0x005d, 0xffff, 0xffff, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS| MFI_FLAGS_INVADER, "Invader"},
 141         {0x1000, 0x005f, 0xffff, 0xffff, MFI_FLAGS_SKINNY| MFI_FLAGS_TBOLT| MFI_FLAGS_MRSAS| MFI_FLAGS_FURY, "Fury"},
 142         {0x1000, 0x0060, 0x1028, 0xffff, MFI_FLAGS_1078,  "Dell PERC 6"},
 143         {0x1000, 0x0060, 0xffff, 0xffff, MFI_FLAGS_1078,  "LSI MegaSAS 1078"},
 144         {0x1000, 0x0071, 0xffff, 0xffff, MFI_FLAGS_SKINNY, "Drake Skinny"},
 145         {0x1000, 0x0073, 0xffff, 0xffff, MFI_FLAGS_SKINNY, "Drake Skinny"},
 146         {0x1000, 0x0078, 0xffff, 0xffff, MFI_FLAGS_GEN2,  "LSI MegaSAS Gen2"},
 147         {0x1000, 0x0079, 0x1028, 0x1f15, MFI_FLAGS_GEN2,  "Dell PERC H800 Adapter"},
 148         {0x1000, 0x0079, 0x1028, 0x1f16, MFI_FLAGS_GEN2,  "Dell PERC H700 Adapter"},
 149         {0x1000, 0x0079, 0x1028, 0x1f17, MFI_FLAGS_GEN2,  "Dell PERC H700 Integrated"},
 150         {0x1000, 0x0079, 0x1028, 0x1f18, MFI_FLAGS_GEN2,  "Dell PERC H700 Modular"},
 151         {0x1000, 0x0079, 0x1028, 0x1f19, MFI_FLAGS_GEN2,  "Dell PERC H700"},
 152         {0x1000, 0x0079, 0x1028, 0x1f1a, MFI_FLAGS_GEN2,  "Dell PERC H800 Proto Adapter"},
 153         {0x1000, 0x0079, 0x1028, 0x1f1b, MFI_FLAGS_GEN2,  "Dell PERC H800"},
 154         {0x1000, 0x0079, 0x1028, 0xffff, MFI_FLAGS_GEN2,  "Dell PERC Gen2"},
 155         {0x1000, 0x0079, 0xffff, 0xffff, MFI_FLAGS_GEN2,  "LSI MegaSAS Gen2"},
 156         {0x1000, 0x007c, 0xffff, 0xffff, MFI_FLAGS_1078,  "LSI MegaSAS 1078"},
 157         {0x1000, 0x0411, 0xffff, 0xffff, MFI_FLAGS_1064R, "LSI MegaSAS 1064R"}, /* Brocton IOP */
 158         {0x1000, 0x0413, 0xffff, 0xffff, MFI_FLAGS_1064R, "LSI MegaSAS 1064R"}, /* Verde ZCR */
 159         {0x1028, 0x0015, 0xffff, 0xffff, MFI_FLAGS_1064R, "Dell PERC 5/i"},
 160         {0, 0, 0, 0, 0, NULL}
 161 };
 162
 163 DRIVER_MODULE(mfi, pci, mfi_pci_driver, mfi_devclass, 0, 0);
 164 MODULE_PNP_INFO("U16:vendor;U16:device;U16:subvendor;U16:subdevice", pci, mfi,
 165     mfi_identifiers, nitems(mfi_identifiers) - 1);
 166 MODULE_VERSION(mfi, 1);
 167
 168 static struct mfi_ident *
 169 mfi_find_ident(device_t dev)
 170 {
 171         struct mfi_ident *m;
 172
 173         for (m = mfi_identifiers; m->vendor != 0; m++) {
 174                 if ((m->vendor == pci_get_vendor(dev)) &&
 175                     (m->device == pci_get_device(dev)) &&
 176                     ((m->subvendor == pci_get_subvendor(dev)) ||
 177                     (m->subvendor == 0xffff)) &&
 178                     ((m->subdevice == pci_get_subdevice(dev)) ||
 179                     (m->subdevice == 0xffff)))
 180                         return (m);
 181         }
 182
 183         return (NULL);
 184 }
 185
 186 static int
 187 mfi_pci_probe(device_t dev)
 188 {
 189         struct mfi_ident *id;
 190
 191         if ((id = mfi_find_ident(dev)) != NULL) {
 192                 device_set_desc(dev, id->desc);
 193
 194                 /* give priority to mrsas if tunable set */
 195                 if ((id->flags & MFI_FLAGS_MRSAS) && mfi_mrsas_enable)
 196                         return (BUS_PROBE_LOW_PRIORITY);
 197                 else
 198                         return (BUS_PROBE_DEFAULT);
 199         }
 200         return (ENXIO);
 201 }
 202
 203 static int
 204 mfi_pci_attach(device_t dev)
 205 {
 206         struct mfi_softc *sc;
 207         struct mfi_ident *m;
 208         int count, error;
 209
 210         sc = device_get_softc(dev);
 211         bzero(sc, sizeof(*sc));
 212         sc->mfi_dev = dev;
 213         m = mfi_find_ident(dev);
 214         sc->mfi_flags = m->flags;
 215
 216         /* Ensure busmastering is enabled */
 217         pci_enable_busmaster(dev);
 218
 219         /* Allocate PCI registers */
 220         if ((sc->mfi_flags & MFI_FLAGS_1064R) ||
 221             (sc->mfi_flags & MFI_FLAGS_1078)) {
 222                 /* 1068/1078: Memory mapped BAR is at offset 0x10 */
 223                 sc->mfi_regs_rid = PCIR_BAR(0);
 224         }
 225         else if ((sc->mfi_flags & MFI_FLAGS_GEN2) ||
 226                  (sc->mfi_flags & MFI_FLAGS_SKINNY) ||
 227                 (sc->mfi_flags & MFI_FLAGS_TBOLT)) {
 228                 /* Gen2/Skinny: Memory mapped BAR is at offset 0x14 */
 229                 sc->mfi_regs_rid = PCIR_BAR(1);
 230         }
 231         if ((sc->mfi_regs_resource = bus_alloc_resource_any(sc->mfi_dev,
 232             SYS_RES_MEMORY, &sc->mfi_regs_rid, RF_ACTIVE)) == NULL) {
 233                 device_printf(dev, "Cannot allocate PCI registers\n");
 234                 return (ENXIO);
 235         }
 236         sc->mfi_btag = rman_get_bustag(sc->mfi_regs_resource);
 237         sc->mfi_bhandle = rman_get_bushandle(sc->mfi_regs_resource);
 238
 239         error = ENOMEM;
 240
 241         /* Allocate parent DMA tag */
 242         if (bus_dma_tag_create( bus_get_dma_tag(dev),   /* PCI parent */
 243                                 1, 0,                   /* algnmnt, boundary */
 244                                 BUS_SPACE_MAXADDR,      /* lowaddr */
 245                                 BUS_SPACE_MAXADDR,      /* highaddr */
 246                                 NULL, NULL,             /* filter, filterarg */
 247                                 BUS_SPACE_MAXSIZE_32BIT,/* maxsize */
 248                                 BUS_SPACE_UNRESTRICTED, /* nsegments */
 249                                 BUS_SPACE_MAXSIZE_32BIT,/* maxsegsize */
 250                                 0,                      /* flags */
 251                                 NULL, NULL,             /* lockfunc, lockarg */
 252                                 &sc->mfi_parent_dmat)) {
 253                 device_printf(dev, "Cannot allocate parent DMA tag\n");
 254                 goto out;
 255         }
 256
 257         /* Allocate IRQ resource. */
 258         sc->mfi_irq_rid = 0;
 259         count = 1;
 260         if (mfi_msi && pci_alloc_msi(sc->mfi_dev, &count) == 0) {
 261                 device_printf(sc->mfi_dev, "Using MSI\n");
 262                 sc->mfi_irq_rid = 1;
 263         }
 264         if ((sc->mfi_irq = bus_alloc_resource_any(sc->mfi_dev, SYS_RES_IRQ,
 265             &sc->mfi_irq_rid, RF_SHAREABLE | RF_ACTIVE)) == NULL) {
 266                 device_printf(sc->mfi_dev, "Cannot allocate interrupt\n");
 267                 error = EINVAL;
 268                 goto out;
 269         }
 270
 271         error = mfi_attach(sc);
 272 out:
 273         if (error) {
 274                 mfi_free(sc);
 275                 mfi_pci_free(sc);
 276         }
 277
 278         return (error);
 279 }
 280
 281 static int
 282 mfi_pci_detach(device_t dev)
 283 {
 284         struct mfi_softc *sc;
 285         int error, devcount, i;
 286         device_t *devlist;
 287
 288         sc = device_get_softc(dev);
 289
 290         sx_xlock(&sc->mfi_config_lock);
 291         mtx_lock(&sc->mfi_io_lock);
 292         if ((sc->mfi_flags & MFI_FLAGS_OPEN) != 0) {
 293                 mtx_unlock(&sc->mfi_io_lock);
 294                 sx_xunlock(&sc->mfi_config_lock);
 295                 return (EBUSY);
 296         }
 297         sc->mfi_detaching = 1;
 298         mtx_unlock(&sc->mfi_io_lock);
 299
 300         if ((error = device_get_children(sc->mfi_dev, &devlist, &devcount)) != 0) {
 301                 sx_xunlock(&sc->mfi_config_lock);
 302                 return error;
 303         }
 304         for (i = 0; i < devcount; i++)
 305                 device_delete_child(sc->mfi_dev, devlist[i]);
 306         free(devlist, M_TEMP);
 307         sx_xunlock(&sc->mfi_config_lock);
 308
 309         EVENTHANDLER_DEREGISTER(shutdown_final, sc->mfi_eh);
 310
 311         mfi_shutdown(sc);
 312         mfi_free(sc);
 313         mfi_pci_free(sc);
 314         return (0);
 315 }
 316
 317 static void
 318 mfi_pci_free(struct mfi_softc *sc)
 319 {
 320
 321         if (sc->mfi_regs_resource != NULL) {
 322                 bus_release_resource(sc->mfi_dev, SYS_RES_MEMORY,
 323                     sc->mfi_regs_rid, sc->mfi_regs_resource);
 324         }
 325         if (sc->mfi_irq_rid != 0)
 326                 pci_release_msi(sc->mfi_dev);
 327
 328         return;
 329 }
 330
 331 static int
 332 mfi_pci_suspend(device_t dev)
 333 {
 334
 335         return (EINVAL);
 336 }
 337
 338 static int
 339 mfi_pci_resume(device_t dev)
 340 {
 341
 342         return (EINVAL);
 343 }