sys/dev/ata/chipsets/ata-nvidia.c

   1 /*-
   2  * Copyright (c) 1998 - 2008 Søren Schmidt <sos@FreeBSD.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer,
  10  *    without modification, immediately at the beginning of the file.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  16  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  17  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  18  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  19  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  20  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  21  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  22  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  24  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  25  */
  26
  27 #include <sys/cdefs.h>
  28 __FBSDID("$FreeBSD$");
  29
  30 #include "opt_ata.h"
  31 #include <sys/param.h>
  32 #include <sys/module.h>
  33 #include <sys/systm.h>
  34 #include <sys/kernel.h>
  35 #include <sys/ata.h>
  36 #include <sys/bus.h>
  37 #include <sys/endian.h>
  38 #include <sys/malloc.h>
  39 #include <sys/lock.h>
  40 #include <sys/mutex.h>
  41 #include <sys/sema.h>
  42 #include <sys/taskqueue.h>
  43 #include <vm/uma.h>
  44 #include <machine/stdarg.h>
  45 #include <machine/resource.h>
  46 #include <machine/bus.h>
  47 #include <sys/rman.h>
  48 #include <dev/pci/pcivar.h>
  49 #include <dev/pci/pcireg.h>
  50 #include <dev/ata/ata-all.h>
  51 #include <dev/ata/ata-pci.h>
  52 #include <ata_if.h>
  53
  54 /* local prototypes */
  55 static int ata_nvidia_chipinit(device_t dev);
  56 static int ata_nvidia_ch_attach(device_t dev);
  57 static int ata_nvidia_ch_attach_dumb(device_t dev);
  58 static int ata_nvidia_status(device_t dev);
  59 static void ata_nvidia_reset(device_t dev);
  60 static int ata_nvidia_setmode(device_t dev, int target, int mode);
  61
  62 /* misc defines */
  63 #define NV4             0x01
  64 #define NVQ             0x02
  65 #define NVAHCI          0x04
  66 #define NVNOFORCE       0x08
  67
  68 static int force_ahci = 1;
  69 TUNABLE_INT("hw.ahci.force", &force_ahci);
  70
  71 /*
  72  * nVidia chipset support functions
  73  */
  74 static int
  75 ata_nvidia_probe(device_t dev)
  76 {
  77     struct ata_pci_controller *ctlr = device_get_softc(dev);
  78     static const struct ata_chip_id ids[] =
  79     {{ ATA_NFORCE1,         0, 0,       0, ATA_UDMA5, "nForce" },
  80      { ATA_NFORCE2,         0, 0,       0, ATA_UDMA6, "nForce2" },
  81      { ATA_NFORCE2_PRO,     0, 0,       0, ATA_UDMA6, "nForce2 Pro" },
  82      { ATA_NFORCE2_PRO_S1,  0, 0,       0, ATA_SA150, "nForce2 Pro" },
  83      { ATA_NFORCE3,         0, 0,       0, ATA_UDMA6, "nForce3" },
  84      { ATA_NFORCE3_PRO,     0, 0,       0, ATA_UDMA6, "nForce3 Pro" },
  85      { ATA_NFORCE3_PRO_S1,  0, 0,       0, ATA_SA150, "nForce3 Pro" },
  86      { ATA_NFORCE3_PRO_S2,  0, 0,       0, ATA_SA150, "nForce3 Pro" },
  87      { ATA_NFORCE_MCP04,    0, 0,       0, ATA_UDMA6, "nForce MCP" },
  88      { ATA_NFORCE_MCP04_S1, 0, NV4,     0, ATA_SA150, "nForce MCP" },
  89      { ATA_NFORCE_MCP04_S2, 0, NV4,     0, ATA_SA150, "nForce MCP" },
  90      { ATA_NFORCE_CK804,    0, 0,       0, ATA_UDMA6, "nForce CK804" },
  91      { ATA_NFORCE_CK804_S1, 0, NV4,     0, ATA_SA300, "nForce CK804" },
  92      { ATA_NFORCE_CK804_S2, 0, NV4,     0, ATA_SA300, "nForce CK804" },
  93      { ATA_NFORCE_MCP51,    0, 0,       0, ATA_UDMA6, "nForce MCP51" },
  94      { ATA_NFORCE_MCP51_S1, 0, NV4|NVQ, 0, ATA_SA300, "nForce MCP51" },
  95      { ATA_NFORCE_MCP51_S2, 0, NV4|NVQ, 0, ATA_SA300, "nForce MCP51" },
  96      { ATA_NFORCE_MCP55,    0, 0,       0, ATA_UDMA6, "nForce MCP55" },
  97      { ATA_NFORCE_MCP55_S1, 0, NV4|NVQ, 0, ATA_SA300, "nForce MCP55" },
  98      { ATA_NFORCE_MCP55_S2, 0, NV4|NVQ, 0, ATA_SA300, "nForce MCP55" },
  99      { ATA_NFORCE_MCP61,    0, 0,       0, ATA_UDMA6, "nForce MCP61" },
 100      { ATA_NFORCE_MCP61_S1, 0, NV4|NVQ, 0, ATA_SA300, "nForce MCP61" },
 101      { ATA_NFORCE_MCP61_S2, 0, NV4|NVQ, 0, ATA_SA300, "nForce MCP61" },
 102      { ATA_NFORCE_MCP61_S3, 0, NV4|NVQ, 0, ATA_SA300, "nForce MCP61" },
 103      { ATA_NFORCE_MCP65,    0, 0,       0, ATA_UDMA6, "nForce MCP65" },
 104      { ATA_NFORCE_MCP65_A0, 0, NVAHCI,  0, ATA_SA300, "nForce MCP65" },
 105      { ATA_NFORCE_MCP65_A1, 0, NVAHCI,  0, ATA_SA300, "nForce MCP65" },
 106      { ATA_NFORCE_MCP65_A2, 0, NVAHCI,  0, ATA_SA300, "nForce MCP65" },
 107      { ATA_NFORCE_MCP65_A3, 0, NVAHCI,  0, ATA_SA300, "nForce MCP65" },
 108      { ATA_NFORCE_MCP65_A4, 0, NVAHCI,  0, ATA_SA300, "nForce MCP65" },
 109      { ATA_NFORCE_MCP65_A5, 0, NVAHCI,  0, ATA_SA300, "nForce MCP65" },
 110      { ATA_NFORCE_MCP65_A6, 0, NVAHCI,  0, ATA_SA300, "nForce MCP65" },
 111      { ATA_NFORCE_MCP65_A7, 0, NVAHCI,  0, ATA_SA300, "nForce MCP65" },
 112      { ATA_NFORCE_MCP67,    0, 0,       0, ATA_UDMA6, "nForce MCP67" },
 113      { ATA_NFORCE_MCP67_A0, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 114      { ATA_NFORCE_MCP67_A1, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 115      { ATA_NFORCE_MCP67_A2, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 116      { ATA_NFORCE_MCP67_A3, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 117      { ATA_NFORCE_MCP67_A4, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 118      { ATA_NFORCE_MCP67_A5, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 119      { ATA_NFORCE_MCP67_A6, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 120      { ATA_NFORCE_MCP67_A7, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 121      { ATA_NFORCE_MCP67_A8, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 122      { ATA_NFORCE_MCP67_A9, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 123      { ATA_NFORCE_MCP67_AA, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 124      { ATA_NFORCE_MCP67_AB, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 125      { ATA_NFORCE_MCP67_AC, 0, NVAHCI,  0, ATA_SA300, "nForce MCP67" },
 126      { ATA_NFORCE_MCP73,    0, 0,       0, ATA_UDMA6, "nForce MCP73" },
 127      { ATA_NFORCE_MCP73_A0, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 128      { ATA_NFORCE_MCP73_A1, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 129      { ATA_NFORCE_MCP73_A2, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 130      { ATA_NFORCE_MCP73_A3, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 131      { ATA_NFORCE_MCP73_A4, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 132      { ATA_NFORCE_MCP73_A5, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 133      { ATA_NFORCE_MCP73_A6, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 134      { ATA_NFORCE_MCP73_A7, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 135      { ATA_NFORCE_MCP73_A8, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 136      { ATA_NFORCE_MCP73_A9, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 137      { ATA_NFORCE_MCP73_AA, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 138      { ATA_NFORCE_MCP73_AB, 0, NVAHCI,  0, ATA_SA300, "nForce MCP73" },
 139      { ATA_NFORCE_MCP77,    0, 0,       0, ATA_UDMA6, "nForce MCP77" },
 140      { ATA_NFORCE_MCP77_A0, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 141      { ATA_NFORCE_MCP77_A1, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 142      { ATA_NFORCE_MCP77_A2, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 143      { ATA_NFORCE_MCP77_A3, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 144      { ATA_NFORCE_MCP77_A4, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 145      { ATA_NFORCE_MCP77_A5, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 146      { ATA_NFORCE_MCP77_A6, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 147      { ATA_NFORCE_MCP77_A7, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 148      { ATA_NFORCE_MCP77_A8, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 149      { ATA_NFORCE_MCP77_A9, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 150      { ATA_NFORCE_MCP77_AA, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 151      { ATA_NFORCE_MCP77_AB, 0, NVAHCI,  0, ATA_SA300, "nForce MCP77" },
 152      { ATA_NFORCE_MCP79_A0, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 153      { ATA_NFORCE_MCP79_A1, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 154      { ATA_NFORCE_MCP79_A2, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 155      { ATA_NFORCE_MCP79_A3, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 156      { ATA_NFORCE_MCP79_A4, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 157      { ATA_NFORCE_MCP79_A5, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 158      { ATA_NFORCE_MCP79_A6, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 159      { ATA_NFORCE_MCP79_A7, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 160      { ATA_NFORCE_MCP79_A8, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 161      { ATA_NFORCE_MCP79_A9, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 162      { ATA_NFORCE_MCP79_AA, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 163      { ATA_NFORCE_MCP79_AB, 0, NVAHCI,  0, ATA_SA300, "nForce MCP79" },
 164      { ATA_NFORCE_MCP89_A0, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 165      { ATA_NFORCE_MCP89_A1, 0, NVAHCI|NVNOFORCE, 0, ATA_SA300, "nForce MCP89" },
 166      { ATA_NFORCE_MCP89_A2, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 167      { ATA_NFORCE_MCP89_A3, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 168      { ATA_NFORCE_MCP89_A4, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 169      { ATA_NFORCE_MCP89_A5, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 170      { ATA_NFORCE_MCP89_A6, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 171      { ATA_NFORCE_MCP89_A7, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 172      { ATA_NFORCE_MCP89_A8, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 173      { ATA_NFORCE_MCP89_A9, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 174      { ATA_NFORCE_MCP89_AA, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 175      { ATA_NFORCE_MCP89_AB, 0, NVAHCI,  0, ATA_SA300, "nForce MCP89" },
 176      { 0, 0, 0, 0, 0, 0}} ;
 177
 178     if (pci_get_vendor(dev) != ATA_NVIDIA_ID)
 179         return ENXIO;
 180
 181     if (!(ctlr->chip = ata_match_chip(dev, ids)))
 182         return ENXIO;
 183
 184     ata_set_desc(dev);
 185     if ((ctlr->chip->cfg1 & NVAHCI) &&
 186         ((force_ahci == 1 && (ctlr->chip->cfg1 & NVNOFORCE) == 0) ||
 187          pci_get_subclass(dev) != PCIS_STORAGE_IDE))
 188         ctlr->chipinit = ata_ahci_chipinit;
 189     else
 190         ctlr->chipinit = ata_nvidia_chipinit;
 191     return (BUS_PROBE_DEFAULT);
 192 }
 193
 194 static int
 195 ata_nvidia_chipinit(device_t dev)
 196 {
 197     struct ata_pci_controller *ctlr = device_get_softc(dev);
 198
 199     if (ata_setup_interrupt(dev, ata_generic_intr))
 200         return ENXIO;
 201
 202     if (ctlr->chip->cfg1 & NVAHCI) {
 203         ctlr->ch_attach = ata_nvidia_ch_attach_dumb;
 204         ctlr->setmode = ata_sata_setmode;
 205     } else if (ctlr->chip->max_dma >= ATA_SA150) {
 206         if (pci_read_config(dev, PCIR_BAR(5), 1) & 1)
 207             ctlr->r_type2 = SYS_RES_IOPORT;
 208         else
 209             ctlr->r_type2 = SYS_RES_MEMORY;
 210         ctlr->r_rid2 = PCIR_BAR(5);
 211         if ((ctlr->r_res2 = bus_alloc_resource_any(dev, ctlr->r_type2,
 212                                                    &ctlr->r_rid2, RF_ACTIVE))) {
 213             int offset = ctlr->chip->cfg1 & NV4 ? 0x0440 : 0x0010;
 214
 215             ctlr->ch_attach = ata_nvidia_ch_attach;
 216             ctlr->ch_detach = ata_pci_ch_detach;
 217             ctlr->reset = ata_nvidia_reset;
 218
 219             /* enable control access */
 220             pci_write_config(dev, 0x50, pci_read_config(dev, 0x50, 1) | 0x04,1);
 221             /* MCP55 seems to need some time to allow r_res2 read. */
 222             DELAY(10);
 223             if (ctlr->chip->cfg1 & NVQ) {
 224                 /* clear interrupt status */
 225                 ATA_OUTL(ctlr->r_res2, offset, 0x00ff00ff);
 226
 227                 /* enable device and PHY state change interrupts */
 228                 ATA_OUTL(ctlr->r_res2, offset + 4, 0x000d000d);
 229
 230                 /* disable NCQ support */
 231                 ATA_OUTL(ctlr->r_res2, 0x0400,
 232                          ATA_INL(ctlr->r_res2, 0x0400) & 0xfffffff9);
 233             }
 234             else {
 235                 /* clear interrupt status */
 236                 ATA_OUTB(ctlr->r_res2, offset, 0xff);
 237
 238                 /* enable device and PHY state change interrupts */
 239                 ATA_OUTB(ctlr->r_res2, offset + 1, 0xdd);
 240             }
 241         }
 242         ctlr->setmode = ata_sata_setmode;
 243         ctlr->getrev = ata_sata_getrev;
 244     }
 245     else {
 246         /* disable prefetch, postwrite */
 247         pci_write_config(dev, 0x51, pci_read_config(dev, 0x51, 1) & 0x0f, 1);
 248         ctlr->setmode = ata_nvidia_setmode;
 249     }
 250     return 0;
 251 }
 252
 253 static int
 254 ata_nvidia_ch_attach(device_t dev)
 255 {
 256     struct ata_pci_controller *ctlr = device_get_softc(device_get_parent(dev));
 257     struct ata_channel *ch = device_get_softc(dev);
 258
 259     /* setup the usual register normal pci style */
 260     if (ata_pci_ch_attach(dev))
 261         return ENXIO;
 262
 263     ch->r_io[ATA_SSTATUS].res = ctlr->r_res2;
 264     ch->r_io[ATA_SSTATUS].offset = (ch->unit << 6);
 265     ch->r_io[ATA_SERROR].res = ctlr->r_res2;
 266     ch->r_io[ATA_SERROR].offset = 0x04 + (ch->unit << 6);
 267     ch->r_io[ATA_SCONTROL].res = ctlr->r_res2;
 268     ch->r_io[ATA_SCONTROL].offset = 0x08 + (ch->unit << 6);
 269
 270     ch->hw.status = ata_nvidia_status;
 271     ch->flags |= ATA_NO_SLAVE;
 272     ch->flags |= ATA_SATA;
 273     return 0;
 274 }
 275
 276 static int
 277 ata_nvidia_ch_attach_dumb(device_t dev)
 278 {
 279     struct ata_channel *ch = device_get_softc(dev);
 280
 281     if (ata_pci_ch_attach(dev))
 282         return ENXIO;
 283     ch->flags |= ATA_SATA;
 284     return 0;
 285 }
 286
 287 static int
 288 ata_nvidia_status(device_t dev)
 289 {
 290     struct ata_pci_controller *ctlr = device_get_softc(device_get_parent(dev));
 291     struct ata_channel *ch = device_get_softc(dev);
 292     int offset = ctlr->chip->cfg1 & NV4 ? 0x0440 : 0x0010;
 293     int shift = ch->unit << (ctlr->chip->cfg1 & NVQ ? 4 : 2);
 294     u_int32_t istatus;
 295
 296     /* get interrupt status */
 297     if (ctlr->chip->cfg1 & NVQ)
 298         istatus = ATA_INL(ctlr->r_res2, offset);
 299     else
 300         istatus = ATA_INB(ctlr->r_res2, offset);
 301
 302     /* do we have any PHY events ? */
 303     if (istatus & (0x0c << shift))
 304         ata_sata_phy_check_events(dev, -1);
 305
 306     /* clear interrupt(s) */
 307     if (ctlr->chip->cfg1 & NVQ)
 308         ATA_OUTL(ctlr->r_res2, offset, (0x0f << shift) | 0x00f000f0);
 309     else
 310         ATA_OUTB(ctlr->r_res2, offset, (0x0f << shift));
 311
 312     /* do we have any device action ? */
 313     return (istatus & (0x01 << shift));
 314 }
 315
 316 static void
 317 ata_nvidia_reset(device_t dev)
 318 {
 319     struct ata_channel *ch = device_get_softc(dev);
 320
 321     if (ata_sata_phy_reset(dev, -1, 1))
 322         ata_generic_reset(dev);
 323     else
 324         ch->devices = 0;
 325 }
 326
 327 static int
 328 ata_nvidia_setmode(device_t dev, int target, int mode)
 329 {
 330         device_t parent = device_get_parent(dev);
 331         struct ata_pci_controller *ctlr = device_get_softc(parent);
 332         struct ata_channel *ch = device_get_softc(dev);
 333         int devno = (ch->unit << 1) + target;
 334         int piomode;
 335         static const uint8_t timings[] =
 336             { 0xa8, 0x65, 0x42, 0x22, 0x20, 0xa8, 0x22, 0x20 };
 337         static const uint8_t modes[] =
 338             { 0xc2, 0xc1, 0xc0, 0xc4, 0xc5, 0xc6, 0xc7 };
 339         int reg = 0x63 - devno;
 340
 341         mode = min(mode, ctlr->chip->max_dma);
 342
 343         if (mode >= ATA_UDMA0) {
 344             pci_write_config(parent, reg, modes[mode & ATA_MODE_MASK], 1);
 345             piomode = ATA_PIO4;
 346         } else {
 347             pci_write_config(parent, reg, 0x8b, 1);
 348             piomode = mode;
 349         }
 350         pci_write_config(parent, reg - 0x08, timings[ata_mode2idx(piomode)], 1);
 351         return (mode);
 352 }
 353
 354 ATA_DECLARE_DRIVER(ata_nvidia);
 355 MODULE_DEPEND(ata_nvidia, ata_ahci, 1, 1, 1);