sys/dev/ata/ata-all.h

   1 /*-
   2  * Copyright (c) 1998 - 2008 Søren Schmidt <sos@FreeBSD.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer,
  10  *    without modification, immediately at the beginning of the file.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  16  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  17  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  18  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  19  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  20  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  21  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  22  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  24  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  25  *
  26  * $FreeBSD$
  27  */
  28
  29 #include "opt_ata.h"
  30
  31 #if 0
  32 #define ATA_LEGACY_SUPPORT              /* Enable obsolete features that break
  33                                          * some modern devices */
  34 #endif
  35
  36 /* ATA register defines */
  37 #define ATA_DATA                        0       /* (RW) data */
  38
  39 #define ATA_FEATURE                     1       /* (W) feature */
  40 #define         ATA_F_DMA               0x01    /* enable DMA */
  41 #define         ATA_F_OVL               0x02    /* enable overlap */
  42
  43 #define ATA_COUNT                       2       /* (W) sector count */
  44
  45 #define ATA_SECTOR                      3       /* (RW) sector # */
  46 #define ATA_CYL_LSB                     4       /* (RW) cylinder# LSB */
  47 #define ATA_CYL_MSB                     5       /* (RW) cylinder# MSB */
  48 #define ATA_DRIVE                       6       /* (W) Sector/Drive/Head */
  49 #define         ATA_D_LBA               0x40    /* use LBA addressing */
  50 #define         ATA_D_IBM               0xa0    /* 512 byte sectors, ECC */
  51
  52 #define ATA_COMMAND                     7       /* (W) command */
  53
  54 #define ATA_ERROR                       8       /* (R) error */
  55 #define         ATA_E_ILI               0x01    /* illegal length */
  56 #define         ATA_E_NM                0x02    /* no media */
  57 #define         ATA_E_ABORT             0x04    /* command aborted */
  58 #define         ATA_E_MCR               0x08    /* media change request */
  59 #define         ATA_E_IDNF              0x10    /* ID not found */
  60 #define         ATA_E_MC                0x20    /* media changed */
  61 #define         ATA_E_UNC               0x40    /* uncorrectable data */
  62 #define         ATA_E_ICRC              0x80    /* UDMA crc error */
  63 #define         ATA_E_ATAPI_SENSE_MASK  0xf0    /* ATAPI sense key mask */
  64
  65 #define ATA_IREASON                     9       /* (R) interrupt reason */
  66 #define         ATA_I_CMD               0x01    /* cmd (1) | data (0) */
  67 #define         ATA_I_IN                0x02    /* read (1) | write (0) */
  68 #define         ATA_I_RELEASE           0x04    /* released bus (1) */
  69 #define         ATA_I_TAGMASK           0xf8    /* tag mask */
  70
  71 #define ATA_STATUS                      10      /* (R) status */
  72 #define ATA_ALTSTAT                     11      /* (R) alternate status */
  73 #define         ATA_S_ERROR             0x01    /* error */
  74 #define         ATA_S_INDEX             0x02    /* index */
  75 #define         ATA_S_CORR              0x04    /* data corrected */
  76 #define         ATA_S_DRQ               0x08    /* data request */
  77 #define         ATA_S_DSC               0x10    /* drive seek completed */
  78 #define         ATA_S_SERVICE           0x10    /* drive needs service */
  79 #define         ATA_S_DWF               0x20    /* drive write fault */
  80 #define         ATA_S_DMA               0x20    /* DMA ready */
  81 #define         ATA_S_READY             0x40    /* drive ready */
  82 #define         ATA_S_BUSY              0x80    /* busy */
  83
  84 #define ATA_CONTROL                     12      /* (W) control */
  85
  86 #define ATA_CTLOFFSET                   0x206   /* control register offset */
  87 #define ATA_PCCARD_CTLOFFSET            0x0e    /* do for PCCARD devices */
  88 #define ATA_PC98_CTLOFFSET              0x10c   /* do for PC98 devices */
  89 #define         ATA_A_IDS               0x02    /* disable interrupts */
  90 #define         ATA_A_RESET             0x04    /* RESET controller */
  91 #ifdef  ATA_LEGACY_SUPPORT
  92 #define         ATA_A_4BIT              0x08    /* 4 head bits: obsolete 1996 */
  93 #else
  94 #define         ATA_A_4BIT              0x00
  95 #endif
  96 #define         ATA_A_HOB               0x80    /* High Order Byte enable */
  97
  98 /* SATA register defines */
  99 #define ATA_SSTATUS                     13
 100 #define         ATA_SS_DET_MASK         0x0000000f
 101 #define         ATA_SS_DET_NO_DEVICE    0x00000000
 102 #define         ATA_SS_DET_DEV_PRESENT  0x00000001
 103 #define         ATA_SS_DET_PHY_ONLINE   0x00000003
 104 #define         ATA_SS_DET_PHY_OFFLINE  0x00000004
 105
 106 #define         ATA_SS_SPD_MASK         0x000000f0
 107 #define         ATA_SS_SPD_NO_SPEED     0x00000000
 108 #define         ATA_SS_SPD_GEN1         0x00000010
 109 #define         ATA_SS_SPD_GEN2         0x00000020
 110 #define         ATA_SS_SPD_GEN3         0x00000030
 111
 112 #define         ATA_SS_IPM_MASK         0x00000f00
 113 #define         ATA_SS_IPM_NO_DEVICE    0x00000000
 114 #define         ATA_SS_IPM_ACTIVE       0x00000100
 115 #define         ATA_SS_IPM_PARTIAL      0x00000200
 116 #define         ATA_SS_IPM_SLUMBER      0x00000600
 117
 118 #define ATA_SERROR                      14
 119 #define         ATA_SE_DATA_CORRECTED   0x00000001
 120 #define         ATA_SE_COMM_CORRECTED   0x00000002
 121 #define         ATA_SE_DATA_ERR         0x00000100
 122 #define         ATA_SE_COMM_ERR         0x00000200
 123 #define         ATA_SE_PROT_ERR         0x00000400
 124 #define         ATA_SE_HOST_ERR         0x00000800
 125 #define         ATA_SE_PHY_CHANGED      0x00010000
 126 #define         ATA_SE_PHY_IERROR       0x00020000
 127 #define         ATA_SE_COMM_WAKE        0x00040000
 128 #define         ATA_SE_DECODE_ERR       0x00080000
 129 #define         ATA_SE_PARITY_ERR       0x00100000
 130 #define         ATA_SE_CRC_ERR          0x00200000
 131 #define         ATA_SE_HANDSHAKE_ERR    0x00400000
 132 #define         ATA_SE_LINKSEQ_ERR      0x00800000
 133 #define         ATA_SE_TRANSPORT_ERR    0x01000000
 134 #define         ATA_SE_UNKNOWN_FIS      0x02000000
 135
 136 #define ATA_SCONTROL                    15
 137 #define         ATA_SC_DET_MASK         0x0000000f
 138 #define         ATA_SC_DET_IDLE         0x00000000
 139 #define         ATA_SC_DET_RESET        0x00000001
 140 #define         ATA_SC_DET_DISABLE      0x00000004
 141
 142 #define         ATA_SC_SPD_MASK         0x000000f0
 143 #define         ATA_SC_SPD_NO_SPEED     0x00000000
 144 #define         ATA_SC_SPD_SPEED_GEN1   0x00000010
 145 #define         ATA_SC_SPD_SPEED_GEN2   0x00000020
 146 #define         ATA_SC_SPD_SPEED_GEN3   0x00000030
 147
 148 #define         ATA_SC_IPM_MASK         0x00000f00
 149 #define         ATA_SC_IPM_NONE         0x00000000
 150 #define         ATA_SC_IPM_DIS_PARTIAL  0x00000100
 151 #define         ATA_SC_IPM_DIS_SLUMBER  0x00000200
 152
 153 #define ATA_SACTIVE                     16
 154
 155 /* SATA AHCI v1.0 register defines */
 156 #define ATA_AHCI_CAP                    0x00
 157 #define         ATA_AHCI_CAP_NPMASK     0x0000001f
 158 #define         ATA_AHCI_CAP_SXS        0x00000020
 159 #define         ATA_AHCI_CAP_EMS        0x00000040
 160 #define         ATA_AHCI_CAP_CCCS       0x00000080
 161 #define         ATA_AHCI_CAP_NCS        0x00001F00
 162 #define         ATA_AHCI_CAP_NCS_SHIFT  8
 163 #define         ATA_AHCI_CAP_PSC        0x00002000
 164 #define         ATA_AHCI_CAP_SSC        0x00004000
 165 #define         ATA_AHCI_CAP_PMD        0x00008000
 166 #define         ATA_AHCI_CAP_FBSS       0x00010000
 167 #define         ATA_AHCI_CAP_SPM        0x00020000
 168 #define         ATA_AHCI_CAP_SAM        0x00080000
 169 #define         ATA_AHCI_CAP_ISS        0x00F00000
 170 #define         ATA_AHCI_CAP_ISS_SHIFT  20
 171 #define         ATA_AHCI_CAP_SCLO       0x01000000
 172 #define         ATA_AHCI_CAP_SAL        0x02000000
 173 #define         ATA_AHCI_CAP_SALP       0x04000000
 174 #define         ATA_AHCI_CAP_SSS        0x08000000
 175 #define         ATA_AHCI_CAP_SMPS       0x10000000
 176 #define         ATA_AHCI_CAP_SSNTF      0x20000000
 177 #define         ATA_AHCI_CAP_SNCQ       0x40000000
 178 #define         ATA_AHCI_CAP_64BIT      0x80000000
 179
 180 #define ATA_AHCI_GHC                    0x04
 181 #define         ATA_AHCI_GHC_AE         0x80000000
 182 #define         ATA_AHCI_GHC_IE         0x00000002
 183 #define         ATA_AHCI_GHC_HR         0x00000001
 184
 185 #define ATA_AHCI_IS                     0x08
 186 #define ATA_AHCI_PI                     0x0c
 187 #define ATA_AHCI_VS                     0x10
 188
 189 #define ATA_AHCI_OFFSET                 0x80
 190
 191 #define ATA_AHCI_P_CLB                  0x100
 192 #define ATA_AHCI_P_CLBU                 0x104
 193 #define ATA_AHCI_P_FB                   0x108
 194 #define ATA_AHCI_P_FBU                  0x10c
 195 #define ATA_AHCI_P_IS                   0x110
 196 #define ATA_AHCI_P_IE                   0x114
 197 #define         ATA_AHCI_P_IX_DHR       0x00000001
 198 #define         ATA_AHCI_P_IX_PS        0x00000002
 199 #define         ATA_AHCI_P_IX_DS        0x00000004
 200 #define         ATA_AHCI_P_IX_SDB       0x00000008
 201 #define         ATA_AHCI_P_IX_UF        0x00000010
 202 #define         ATA_AHCI_P_IX_DP        0x00000020
 203 #define         ATA_AHCI_P_IX_PC        0x00000040
 204 #define         ATA_AHCI_P_IX_DI        0x00000080
 205
 206 #define         ATA_AHCI_P_IX_PRC       0x00400000
 207 #define         ATA_AHCI_P_IX_IPM       0x00800000
 208 #define         ATA_AHCI_P_IX_OF        0x01000000
 209 #define         ATA_AHCI_P_IX_INF       0x04000000
 210 #define         ATA_AHCI_P_IX_IF        0x08000000
 211 #define         ATA_AHCI_P_IX_HBD       0x10000000
 212 #define         ATA_AHCI_P_IX_HBF       0x20000000
 213 #define         ATA_AHCI_P_IX_TFE       0x40000000
 214 #define         ATA_AHCI_P_IX_CPD       0x80000000
 215
 216 #define ATA_AHCI_P_CMD                  0x118
 217 #define         ATA_AHCI_P_CMD_ST       0x00000001
 218 #define         ATA_AHCI_P_CMD_SUD      0x00000002
 219 #define         ATA_AHCI_P_CMD_POD      0x00000004
 220 #define         ATA_AHCI_P_CMD_CLO      0x00000008
 221 #define         ATA_AHCI_P_CMD_FRE      0x00000010
 222 #define         ATA_AHCI_P_CMD_CCS_MASK 0x00001f00
 223 #define         ATA_AHCI_P_CMD_ISS      0x00002000
 224 #define         ATA_AHCI_P_CMD_FR       0x00004000
 225 #define         ATA_AHCI_P_CMD_CR       0x00008000
 226 #define         ATA_AHCI_P_CMD_CPS      0x00010000
 227 #define         ATA_AHCI_P_CMD_PMA      0x00020000
 228 #define         ATA_AHCI_P_CMD_HPCP     0x00040000
 229 #define         ATA_AHCI_P_CMD_ISP      0x00080000
 230 #define         ATA_AHCI_P_CMD_CPD      0x00100000
 231 #define         ATA_AHCI_P_CMD_ATAPI    0x01000000
 232 #define         ATA_AHCI_P_CMD_DLAE     0x02000000
 233 #define         ATA_AHCI_P_CMD_ALPE     0x04000000
 234 #define         ATA_AHCI_P_CMD_ASP      0x08000000
 235 #define         ATA_AHCI_P_CMD_ICC_MASK 0xf0000000
 236 #define         ATA_AHCI_P_CMD_NOOP     0x00000000
 237 #define         ATA_AHCI_P_CMD_ACTIVE   0x10000000
 238 #define         ATA_AHCI_P_CMD_PARTIAL  0x20000000
 239 #define         ATA_AHCI_P_CMD_SLUMBER  0x60000000
 240
 241 #define ATA_AHCI_P_TFD                  0x120
 242 #define ATA_AHCI_P_SIG                  0x124
 243 #define ATA_AHCI_P_SSTS                 0x128
 244 #define ATA_AHCI_P_SCTL                 0x12c
 245 #define ATA_AHCI_P_SERR                 0x130
 246 #define ATA_AHCI_P_SACT                 0x134
 247 #define ATA_AHCI_P_CI                   0x138
 248 #define ATA_AHCI_P_SNTF                 0x13C
 249 #define ATA_AHCI_P_FBS                  0x140
 250
 251 #define ATA_AHCI_CL_SIZE                32
 252 #define ATA_AHCI_CL_OFFSET              0
 253 #define ATA_AHCI_FB_OFFSET              (ATA_AHCI_CL_SIZE * 32)
 254 #define ATA_AHCI_CT_OFFSET              (ATA_AHCI_FB_OFFSET + 4096)
 255 #define ATA_AHCI_CT_SIZE                (2176 + 128)
 256
 257 struct ata_ahci_dma_prd {
 258     u_int64_t                   dba;
 259     u_int32_t                   reserved;
 260     u_int32_t                   dbc;            /* 0 based */
 261 #define ATA_AHCI_PRD_MASK       0x003fffff      /* max 4MB */
 262 #define ATA_AHCI_PRD_IPC        (1<<31)
 263 } __packed;
 264
 265 struct ata_ahci_cmd_tab {
 266     u_int8_t                    cfis[64];
 267     u_int8_t                    acmd[32];
 268     u_int8_t                    reserved[32];
 269 #define ATA_AHCI_DMA_ENTRIES            129
 270     struct ata_ahci_dma_prd     prd_tab[ATA_AHCI_DMA_ENTRIES];
 271 } __packed;
 272
 273 struct ata_ahci_cmd_list {
 274     u_int16_t                   cmd_flags;
 275 #define ATA_AHCI_CMD_ATAPI              0x0020
 276 #define ATA_AHCI_CMD_WRITE              0x0040
 277 #define ATA_AHCI_CMD_PREFETCH           0x0080
 278 #define ATA_AHCI_CMD_RESET              0x0100
 279 #define ATA_AHCI_CMD_BIST               0x0200
 280 #define ATA_AHCI_CMD_CLR_BUSY           0x0400
 281
 282     u_int16_t                   prd_length;     /* PRD entries */
 283     u_int32_t                   bytecount;
 284     u_int64_t                   cmd_table_phys; /* 128byte aligned */
 285 } __packed;
 286
 287
 288 /* DMA register defines */
 289 #define ATA_DMA_ENTRIES                 256
 290 #define ATA_DMA_EOT                     0x80000000
 291
 292 #define ATA_BMCMD_PORT                  17
 293 #define         ATA_BMCMD_START_STOP    0x01
 294 #define         ATA_BMCMD_WRITE_READ    0x08
 295
 296 #define ATA_BMDEVSPEC_0                 18
 297 #define ATA_BMSTAT_PORT                 19
 298 #define         ATA_BMSTAT_ACTIVE       0x01
 299 #define         ATA_BMSTAT_ERROR        0x02
 300 #define         ATA_BMSTAT_INTERRUPT    0x04
 301 #define         ATA_BMSTAT_MASK         0x07
 302 #define         ATA_BMSTAT_DMA_MASTER   0x20
 303 #define         ATA_BMSTAT_DMA_SLAVE    0x40
 304 #define         ATA_BMSTAT_DMA_SIMPLEX  0x80
 305
 306 #define ATA_BMDEVSPEC_1                 20
 307 #define ATA_BMDTP_PORT                  21
 308
 309 #define ATA_IDX_ADDR                    22
 310 #define ATA_IDX_DATA                    23
 311 #define ATA_MAX_RES                     24
 312
 313 /* misc defines */
 314 #define ATA_PRIMARY                     0x1f0
 315 #define ATA_SECONDARY                   0x170
 316 #define ATA_PC98_BANK                   0x432
 317 #define ATA_IOSIZE                      0x08
 318 #define ATA_PC98_IOSIZE                 0x10
 319 #define ATA_CTLIOSIZE                   0x01
 320 #define ATA_BMIOSIZE                    0x08
 321 #define ATA_PC98_BANKIOSIZE             0x01
 322 #define ATA_IOADDR_RID                  0
 323 #define ATA_CTLADDR_RID                 1
 324 #define ATA_BMADDR_RID                  0x20
 325 #define ATA_PC98_CTLADDR_RID            8
 326 #define ATA_PC98_BANKADDR_RID           9
 327 #define ATA_IRQ_RID                     0
 328 #define ATA_DEV(unit)                   ((unit > 0) ? 0x10 : 0)
 329 #define ATA_CFA_MAGIC1                  0x844A
 330 #define ATA_CFA_MAGIC2                  0x848A
 331 #define ATA_CFA_MAGIC3                  0x8400
 332 #define ATAPI_MAGIC_LSB                 0x14
 333 #define ATAPI_MAGIC_MSB                 0xeb
 334 #define ATAPI_P_READ                    (ATA_S_DRQ | ATA_I_IN)
 335 #define ATAPI_P_WRITE                   (ATA_S_DRQ)
 336 #define ATAPI_P_CMDOUT                  (ATA_S_DRQ | ATA_I_CMD)
 337 #define ATAPI_P_DONEDRQ                 (ATA_S_DRQ | ATA_I_CMD | ATA_I_IN)
 338 #define ATAPI_P_DONE                    (ATA_I_CMD | ATA_I_IN)
 339 #define ATAPI_P_ABORT                   0
 340 #define ATA_INTR_FLAGS                  (INTR_MPSAFE|INTR_TYPE_BIO|INTR_ENTROPY)
 341 #define ATA_OP_CONTINUES                0
 342 #define ATA_OP_FINISHED                 1
 343 #define ATA_MAX_28BIT_LBA               268435455UL
 344
 345 #ifndef ATA_REQUEST_TIMEOUT
 346 #define ATA_REQUEST_TIMEOUT             10
 347 #endif
 348
 349 /* structure used for composite atomic operations */
 350 #define MAX_COMPOSITES          32              /* u_int32_t bits */
 351 struct ata_composite {
 352     struct mtx          lock;                   /* control lock */
 353     u_int32_t           rd_needed;              /* needed read subdisks */
 354     u_int32_t           rd_done;                /* done read subdisks */
 355     u_int32_t           wr_needed;              /* needed write subdisks */
 356     u_int32_t           wr_depend;              /* write depends on subdisks */
 357     u_int32_t           wr_done;                /* done write subdisks */
 358     struct ata_request  *request[MAX_COMPOSITES];
 359     u_int32_t           residual;               /* bytes still to transfer */
 360     caddr_t             data_1;
 361     caddr_t             data_2;
 362 };
 363
 364 /* structure used to queue an ATA/ATAPI request */
 365 struct ata_request {
 366     device_t                    dev;            /* device handle */
 367     device_t                    parent;         /* channel handle */
 368     int                         unit;           /* physical unit */
 369     union {
 370         struct {
 371             u_int8_t            command;        /* command reg */
 372             u_int16_t           feature;        /* feature reg */
 373             u_int16_t           count;          /* count reg */
 374             u_int64_t           lba;            /* lba reg */
 375         } ata;
 376         struct {
 377             u_int8_t            ccb[16];        /* ATAPI command block */
 378             struct atapi_sense  sense;          /* ATAPI request sense data */
 379             u_int8_t            saved_cmd;      /* ATAPI saved command */
 380         } atapi;
 381     } u;
 382     u_int32_t                   bytecount;      /* bytes to transfer */
 383     u_int32_t                   transfersize;   /* bytes pr transfer */
 384     caddr_t                     data;           /* pointer to data buf */
 385     u_int32_t                   tag;            /* HW tag of this request */
 386     int                         flags;
 387 #define         ATA_R_CONTROL           0x00000001
 388 #define         ATA_R_READ              0x00000002
 389 #define         ATA_R_WRITE             0x00000004
 390 #define         ATA_R_ATAPI             0x00000008
 391 #define         ATA_R_DMA               0x00000010
 392 #define         ATA_R_QUIET             0x00000020
 393 #define         ATA_R_TIMEOUT           0x00000040
 394 #define         ATA_R_48BIT             0x00000080
 395
 396 #define         ATA_R_ORDERED           0x00000100
 397 #define         ATA_R_AT_HEAD           0x00000200
 398 #define         ATA_R_REQUEUE           0x00000400
 399 #define         ATA_R_THREAD            0x00000800
 400 #define         ATA_R_DIRECT            0x00001000
 401 #define         ATA_R_NEEDRESULT        0x00002000
 402 #define         ATA_R_DATA_IN_CCB       0x00004000
 403
 404 #define         ATA_R_ATAPI16           0x00010000
 405 #define         ATA_R_ATAPI_INTR        0x00020000
 406
 407 #define         ATA_R_DEBUG             0x10000000
 408 #define         ATA_R_DANGER1           0x20000000
 409 #define         ATA_R_DANGER2           0x40000000
 410
 411     struct ata_dmaslot          *dma;           /* DMA slot of this request */
 412     u_int8_t                    status;         /* ATA status */
 413     u_int8_t                    error;          /* ATA error */
 414     u_int32_t                   donecount;      /* bytes transferred */
 415     int                         result;         /* result error code */
 416     void                        (*callback)(struct ata_request *request);
 417     struct sema                 done;           /* request done sema */
 418     int                         retries;        /* retry count */
 419     int                         timeout;        /* timeout for this cmd */
 420     struct callout              callout;        /* callout management */
 421     struct task                 task;           /* task management */
 422     struct bio                  *bio;           /* bio for this request */
 423     int                         this;           /* this request ID */
 424     struct ata_composite        *composite;     /* for composite atomic ops */
 425     void                        *driver;        /* driver specific */
 426     TAILQ_ENTRY(ata_request)    chain;          /* list management */
 427 #ifdef ATA_CAM
 428     union ccb                   *ccb;
 429 #endif
 430 };
 431
 432 /* define this for debugging request processing */
 433 #if 0
 434 #define ATA_DEBUG_RQ(request, string) \
 435     { \
 436     if (request->flags & ATA_R_DEBUG) \
 437         device_printf(request->parent, "req=%p %s " string "\n", \
 438                       request, ata_cmd2str(request)); \
 439     }
 440 #else
 441 #define ATA_DEBUG_RQ(request, string)
 442 #endif
 443
 444
 445 /* structure describing an ATA/ATAPI device */
 446 struct ata_device {
 447     device_t                    dev;            /* device handle */
 448     int                         unit;           /* physical unit */
 449 #define         ATA_MASTER              0x00
 450 #define         ATA_SLAVE               0x01
 451 #define         ATA_PM                  0x0f
 452
 453     struct ata_params           param;          /* ata param structure */
 454     int                         mode;           /* current transfermode */
 455     u_int32_t                   max_iosize;     /* max IO size */
 456     int                         spindown;       /* idle spindown timeout */
 457     struct callout              spindown_timer;
 458     int                         spindown_state;
 459     int                         flags;
 460 #define         ATA_D_USE_CHS           0x0001
 461 #define         ATA_D_MEDIA_CHANGED     0x0002
 462 #define         ATA_D_ENC_PRESENT       0x0004
 463 };
 464
 465 /* structure for holding DMA Physical Region Descriptors (PRD) entries */
 466 struct ata_dma_prdentry {
 467     u_int32_t addr;
 468     u_int32_t count;
 469 };
 470
 471 /* structure used by the setprd function */
 472 struct ata_dmasetprd_args {
 473     void *dmatab;
 474     int nsegs;
 475     int error;
 476 };
 477
 478 struct ata_dmaslot {
 479     u_int8_t                    status;         /* DMA status */
 480     bus_dma_tag_t               sg_tag;         /* SG list DMA tag */
 481     bus_dmamap_t                sg_map;         /* SG list DMA map */
 482     void                        *sg;            /* DMA transfer table */
 483     bus_addr_t                  sg_bus;         /* bus address of dmatab */
 484     bus_dma_tag_t               data_tag;       /* data DMA tag */
 485     bus_dmamap_t                data_map;       /* data DMA map */
 486 };
 487
 488 /* structure holding DMA related information */
 489 struct ata_dma {
 490     bus_dma_tag_t               dmatag;         /* parent DMA tag */
 491     bus_dma_tag_t               work_tag;       /* workspace DMA tag */
 492     bus_dmamap_t                work_map;       /* workspace DMA map */
 493     u_int8_t                    *work;          /* workspace */
 494     bus_addr_t                  work_bus;       /* bus address of dmatab */
 495
 496 #define ATA_DMA_SLOTS                   1
 497     int                         dma_slots;      /* DMA slots allocated */
 498     struct ata_dmaslot          slot[ATA_DMA_SLOTS];
 499     u_int32_t                   alignment;      /* DMA SG list alignment */
 500     u_int32_t                   boundary;       /* DMA SG list boundary */
 501     u_int32_t                   segsize;        /* DMA SG list segment size */
 502     u_int32_t                   max_iosize;     /* DMA data max IO size */
 503     u_int64_t                   max_address;    /* highest DMA'able address */
 504     int                         flags;
 505 #define ATA_DMA_ACTIVE                  0x01    /* DMA transfer in progress */
 506
 507     void (*alloc)(device_t dev);
 508     void (*free)(device_t dev);
 509     void (*setprd)(void *xsc, bus_dma_segment_t *segs, int nsegs, int error);
 510     int (*load)(struct ata_request *request, void *addr, int *nsegs);
 511     int (*unload)(struct ata_request *request);
 512     int (*start)(struct ata_request *request);
 513     int (*stop)(struct ata_request *request);
 514     void (*reset)(device_t dev);
 515 };
 516
 517 /* structure holding lowlevel functions */
 518 struct ata_lowlevel {
 519     u_int32_t (*softreset)(device_t dev, int pmport);
 520     int (*pm_read)(device_t dev, int port, int reg, u_int32_t *result);
 521     int (*pm_write)(device_t dev, int port, int reg, u_int32_t value);
 522     int (*status)(device_t dev);
 523     int (*begin_transaction)(struct ata_request *request);
 524     int (*end_transaction)(struct ata_request *request);
 525     int (*command)(struct ata_request *request);
 526     void (*tf_read)(struct ata_request *request);
 527     void (*tf_write)(struct ata_request *request);
 528 };
 529
 530 /* structure holding resources for an ATA channel */
 531 struct ata_resource {
 532     struct resource             *res;
 533     int                         offset;
 534 };
 535
 536 #ifdef ATA_CAM
 537 struct ata_cam_device {
 538         u_int                   revision;
 539         int                     mode;
 540         u_int                   bytecount;
 541         u_int                   atapi;
 542         u_int                   caps;
 543 };
 544 #endif
 545
 546 /* structure describing an ATA channel */
 547 struct ata_channel {
 548     device_t                    dev;            /* device handle */
 549     int                         unit;           /* physical channel */
 550     int                         attached;       /* channel is attached */
 551     struct ata_resource         r_io[ATA_MAX_RES];/* I/O resources */
 552     struct resource             *r_irq;         /* interrupt of this channel */
 553     void                        *ih;            /* interrupt handle */
 554     struct ata_lowlevel         hw;             /* lowlevel HW functions */
 555     struct ata_dma              dma;            /* DMA data / functions */
 556     int                         flags;          /* channel flags */
 557 #define         ATA_NO_SLAVE            0x01
 558 #define         ATA_USE_16BIT           0x02
 559 #define         ATA_ATAPI_DMA_RO        0x04
 560 #define         ATA_NO_48BIT_DMA        0x08
 561 #define         ATA_ALWAYS_DMASTAT      0x10
 562 #define         ATA_CHECKS_CABLE        0x20
 563 #define         ATA_NO_ATAPI_DMA        0x40
 564 #define         ATA_SATA                0x80
 565 #define         ATA_DMA_BEFORE_CMD      0x100
 566 #define         ATA_KNOWN_PRESENCE      0x200
 567 #define         ATA_STATUS_IS_LONG      0x400
 568 #define         ATA_PERIODIC_POLL       0x800
 569
 570     int                         pm_level;       /* power management level */
 571     int                         devices;        /* what is present */
 572 #define         ATA_ATA_MASTER          0x00000001
 573 #define         ATA_ATA_SLAVE           0x00000002
 574 #define         ATA_PORTMULTIPLIER      0x00008000
 575 #define         ATA_ATAPI_MASTER        0x00010000
 576 #define         ATA_ATAPI_SLAVE         0x00020000
 577
 578     struct mtx                  state_mtx;      /* state lock */
 579     int                         state;          /* ATA channel state */
 580 #define         ATA_IDLE                0x0000
 581 #define         ATA_ACTIVE              0x0001
 582 #define         ATA_STALL_QUEUE         0x0002
 583
 584 #ifndef ATA_CAM
 585     struct mtx                  queue_mtx;      /* queue lock */
 586     TAILQ_HEAD(, ata_request)   ata_queue;      /* head of ATA queue */
 587     struct ata_request          *freezepoint;   /* composite freezepoint */
 588 #endif
 589     struct ata_request          *running;       /* currently running request */
 590     struct task                 conntask;       /* PHY events handling task */
 591 #ifdef ATA_CAM
 592         struct cam_sim          *sim;
 593         struct cam_path         *path;
 594         struct ata_cam_device   user[16];       /* User-specified settings */
 595         struct ata_cam_device   curr[16];       /* Current settings */
 596         int                     requestsense;   /* CCB waiting for SENSE. */
 597 #endif
 598         struct callout          poll_callout;   /* Periodic status poll. */
 599 };
 600
 601 /* disk bay/enclosure related */
 602 #define         ATA_LED_OFF             0x00
 603 #define         ATA_LED_RED             0x01
 604 #define         ATA_LED_GREEN           0x02
 605 #define         ATA_LED_ORANGE          0x03
 606 #define         ATA_LED_MASK            0x03
 607
 608 /* externs */
 609 extern int (*ata_raid_ioctl_func)(u_long cmd, caddr_t data);
 610 extern struct intr_config_hook *ata_delayed_attach;
 611 extern devclass_t ata_devclass;
 612 extern int ata_wc;
 613 extern int ata_setmax;
 614 extern int ata_dma_check_80pin;
 615
 616 /* public prototypes */
 617 /* ata-all.c: */
 618 int ata_probe(device_t dev);
 619 int ata_attach(device_t dev);
 620 int ata_detach(device_t dev);
 621 int ata_reinit(device_t dev);
 622 int ata_suspend(device_t dev);
 623 int ata_resume(device_t dev);
 624 void ata_interrupt(void *data);
 625 int ata_device_ioctl(device_t dev, u_long cmd, caddr_t data);
 626 int ata_getparam(struct ata_device *atadev, int init);
 627 void ata_default_registers(device_t dev);
 628 void ata_udelay(int interval);
 629 const char *ata_unit2str(struct ata_device *atadev);
 630 const char *ata_cmd2str(struct ata_request *request);
 631 const char *ata_mode2str(int mode);
 632 void ata_setmode(device_t dev);
 633 void ata_print_cable(device_t dev, u_int8_t *who);
 634 const char *ata_satarev2str(int rev);
 635 int ata_atapi(device_t dev, int target);
 636 void ata_timeout(struct ata_request *);
 637 #ifndef ATA_CAM
 638 int ata_identify(device_t dev);
 639 void ata_modify_if_48bit(struct ata_request *request);
 640 int ata_pmode(struct ata_params *ap);
 641 int ata_wmode(struct ata_params *ap);
 642 int ata_umode(struct ata_params *ap);
 643 int ata_limit_mode(device_t dev, int mode, int maxmode);
 644 int ata_check_80pin(device_t dev, int mode);
 645 #endif
 646
 647 /* ata-queue.c: */
 648 int ata_controlcmd(device_t dev, u_int8_t command, u_int16_t feature, u_int64_t lba, u_int16_t count);
 649 int ata_atapicmd(device_t dev, u_int8_t *ccb, caddr_t data, int count, int flags, int timeout);
 650 void ata_queue_request(struct ata_request *request);
 651 void ata_start(device_t dev);
 652 void ata_finish(struct ata_request *request);
 653 void ata_catch_inflight(device_t dev);
 654 void ata_fail_requests(device_t dev);
 655 void ata_drop_requests(device_t dev);
 656
 657 /* ata-lowlevel.c: */
 658 void ata_generic_hw(device_t dev);
 659 int ata_begin_transaction(struct ata_request *);
 660 int ata_end_transaction(struct ata_request *);
 661 void ata_generic_reset(device_t dev);
 662 int ata_generic_command(struct ata_request *request);
 663
 664 /* ata-dma.c: */
 665 void ata_dmainit(device_t);
 666 void ata_dmafini(device_t dev);
 667
 668 /* ata-sata.c: */
 669 void ata_sata_phy_check_events(device_t dev, int port);
 670 int ata_sata_scr_read(struct ata_channel *ch, int port, int reg, uint32_t *val);
 671 int ata_sata_scr_write(struct ata_channel *ch, int port, int reg, uint32_t val);
 672 int ata_sata_phy_reset(device_t dev, int port, int quick);
 673 int ata_sata_setmode(device_t dev, int target, int mode);
 674 int ata_sata_getrev(device_t dev, int target);
 675 int ata_request2fis_h2d(struct ata_request *request, u_int8_t *fis);
 676 void ata_pm_identify(device_t dev);
 677
 678 /* macros for alloc/free of struct ata_request */
 679 extern uma_zone_t ata_request_zone;
 680 #define ata_alloc_request() uma_zalloc(ata_request_zone, M_NOWAIT | M_ZERO)
 681 #define ata_free_request(request) { \
 682         if (!(request->flags & ATA_R_DANGER2)) \
 683             uma_zfree(ata_request_zone, request); \
 684         }
 685
 686 /* macros for alloc/free of struct ata_composite */
 687 extern uma_zone_t ata_composite_zone;
 688 #define ata_alloc_composite() uma_zalloc(ata_composite_zone, M_NOWAIT | M_ZERO)
 689 #define ata_free_composite(composite) uma_zfree(ata_composite_zone, composite)
 690
 691 MALLOC_DECLARE(M_ATA);
 692
 693 /* misc newbus defines */
 694 #define GRANDPARENT(dev)        device_get_parent(device_get_parent(dev))
 695
 696 /* macros to hide busspace uglyness */
 697 #define ATA_INB(res, offset) \
 698         bus_read_1((res), (offset))
 699
 700 #define ATA_INW(res, offset) \
 701         bus_read_2((res), (offset))
 702 #define ATA_INW_STRM(res, offset) \
 703         bus_read_stream_2((res), (offset))
 704 #define ATA_INL(res, offset) \
 705         bus_read_4((res), (offset))
 706 #define ATA_INSW(res, offset, addr, count) \
 707         bus_read_multi_2((res), (offset), (addr), (count))
 708 #define ATA_INSW_STRM(res, offset, addr, count) \
 709         bus_read_multi_stream_2((res), (offset), (addr), (count))
 710 #define ATA_INSL(res, offset, addr, count) \
 711         bus_read_multi_4((res), (offset), (addr), (count))
 712 #define ATA_INSL_STRM(res, offset, addr, count) \
 713         bus_read_multi_stream_4((res), (offset), (addr), (count))
 714 #define ATA_OUTB(res, offset, value) \
 715         bus_write_1((res), (offset), (value))
 716 #define ATA_OUTW(res, offset, value) \
 717         bus_write_2((res), (offset), (value))
 718 #define ATA_OUTW_STRM(res, offset, value) \
 719         bus_write_stream_2((res), (offset), (value))
 720 #define ATA_OUTL(res, offset, value) \
 721         bus_write_4((res), (offset), (value))
 722 #define ATA_OUTSW(res, offset, addr, count) \
 723         bus_write_multi_2((res), (offset), (addr), (count))
 724 #define ATA_OUTSW_STRM(res, offset, addr, count) \
 725         bus_write_multi_stream_2((res), (offset), (addr), (count))
 726 #define ATA_OUTSL(res, offset, addr, count) \
 727         bus_write_multi_4((res), (offset), (addr), (count))
 728 #define ATA_OUTSL_STRM(res, offset, addr, count) \
 729         bus_write_multi_stream_4((res), (offset), (addr), (count))
 730
 731 #define ATA_IDX_INB(ch, idx) \
 732         ATA_INB(ch->r_io[idx].res, ch->r_io[idx].offset)
 733
 734 #define ATA_IDX_INW(ch, idx) \
 735         ATA_INW(ch->r_io[idx].res, ch->r_io[idx].offset)
 736
 737 #define ATA_IDX_INW_STRM(ch, idx) \
 738         ATA_INW_STRM(ch->r_io[idx].res, ch->r_io[idx].offset)
 739
 740 #define ATA_IDX_INL(ch, idx) \
 741         ATA_INL(ch->r_io[idx].res, ch->r_io[idx].offset)
 742
 743 #define ATA_IDX_INSW(ch, idx, addr, count) \
 744         ATA_INSW(ch->r_io[idx].res, ch->r_io[idx].offset, addr, count)
 745
 746 #define ATA_IDX_INSW_STRM(ch, idx, addr, count) \
 747         ATA_INSW_STRM(ch->r_io[idx].res, ch->r_io[idx].offset, addr, count)
 748
 749 #define ATA_IDX_INSL(ch, idx, addr, count) \
 750         ATA_INSL(ch->r_io[idx].res, ch->r_io[idx].offset, addr, count)
 751
 752 #define ATA_IDX_INSL_STRM(ch, idx, addr, count) \
 753         ATA_INSL_STRM(ch->r_io[idx].res, ch->r_io[idx].offset, addr, count)
 754
 755 #define ATA_IDX_OUTB(ch, idx, value) \
 756         ATA_OUTB(ch->r_io[idx].res, ch->r_io[idx].offset, value)
 757
 758 #define ATA_IDX_OUTW(ch, idx, value) \
 759         ATA_OUTW(ch->r_io[idx].res, ch->r_io[idx].offset, value)
 760
 761 #define ATA_IDX_OUTW_STRM(ch, idx, value) \
 762         ATA_OUTW_STRM(ch->r_io[idx].res, ch->r_io[idx].offset, value)
 763
 764 #define ATA_IDX_OUTL(ch, idx, value) \
 765         ATA_OUTL(ch->r_io[idx].res, ch->r_io[idx].offset, value)
 766
 767 #define ATA_IDX_OUTSW(ch, idx, addr, count) \
 768         ATA_OUTSW(ch->r_io[idx].res, ch->r_io[idx].offset, addr, count)
 769
 770 #define ATA_IDX_OUTSW_STRM(ch, idx, addr, count) \
 771         ATA_OUTSW_STRM(ch->r_io[idx].res, ch->r_io[idx].offset, addr, count)
 772
 773 #define ATA_IDX_OUTSL(ch, idx, addr, count) \
 774         ATA_OUTSL(ch->r_io[idx].res, ch->r_io[idx].offset, addr, count)
 775
 776 #define ATA_IDX_OUTSL_STRM(ch, idx, addr, count) \
 777         ATA_OUTSL_STRM(ch->r_io[idx].res, ch->r_io[idx].offset, addr, count)