sys/cam/ctl/ctl_private.h

   1 /*-
   2  * Copyright (c) 2003, 2004, 2005, 2008 Silicon Graphics International Corp.
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions, and the following disclaimer,
  10  *    without modification.
  11  * 2. Redistributions in binary form must reproduce at minimum a disclaimer
  12  *    substantially similar to the "NO WARRANTY" disclaimer below
  13  *    ("Disclaimer") and any redistribution must be conditioned upon
  14  *    including a substantially similar Disclaimer requirement for further
  15  *    binary redistribution.
  16  *
  17  * NO WARRANTY
  18  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  19  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  20  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTIBILITY AND FITNESS FOR
  21  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  22  * HOLDERS OR CONTRIBUTORS BE LIABLE FOR SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  23  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  24  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  25  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
  26  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING
  27  * IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  28  * POSSIBILITY OF SUCH DAMAGES.
  29  *
  30  * $Id: //depot/users/kenm/FreeBSD-test2/sys/cam/ctl/ctl_private.h#7 $
  31  * $FreeBSD$
  32  */
  33 /*
  34  * CAM Target Layer driver private data structures/definitions.
  35  *
  36  * Author: Ken Merry <ken@FreeBSD.org>
  37  */
  38
  39 #ifndef _CTL_PRIVATE_H_
  40 #define _CTL_PRIVATE_H_
  41
  42 /*
  43  * SCSI vendor and product names.
  44  */
  45 #define CTL_VENDOR              "FREEBSD "
  46 #define CTL_DIRECT_PRODUCT      "CTLDISK         "
  47 #define CTL_PROCESSOR_PRODUCT   "CTLPROCESSOR    "
  48 #define CTL_UNKNOWN_PRODUCT     "CTLDEVICE       "
  49
  50 struct ctl_fe_ioctl_startstop_info {
  51         struct cv                       sem;
  52         struct ctl_hard_startstop_info  hs_info;
  53 };
  54
  55 struct ctl_fe_ioctl_bbrread_info {
  56         struct cv                       sem;
  57         struct ctl_bbrread_info         *bbr_info;
  58         int                             wakeup_done;
  59         struct mtx                      *lock;
  60 };
  61
  62 typedef enum {
  63         CTL_IOCTL_INPROG,
  64         CTL_IOCTL_DATAMOVE,
  65         CTL_IOCTL_DONE
  66 } ctl_fe_ioctl_state;
  67
  68 struct ctl_fe_ioctl_params {
  69         struct cv               sem;
  70         struct mtx              ioctl_mtx;
  71         ctl_fe_ioctl_state      state;
  72 };
  73
  74 #define CTL_POOL_ENTRIES_INTERNAL       200
  75 #define CTL_POOL_ENTRIES_EMERGENCY      300
  76 #define CTL_POOL_ENTRIES_OTHER_SC   200
  77
  78 typedef enum {
  79         CTL_POOL_INTERNAL,
  80         CTL_POOL_FETD,
  81         CTL_POOL_EMERGENCY,
  82         CTL_POOL_IOCTL,
  83         CTL_POOL_4OTHERSC
  84 } ctl_pool_type;
  85
  86 typedef enum {
  87         CTL_POOL_FLAG_NONE      = 0x00,
  88         CTL_POOL_FLAG_INVALID   = 0x01
  89 } ctl_pool_flags;
  90
  91 struct ctl_io_pool {
  92         ctl_pool_type                   type;
  93         ctl_pool_flags                  flags;
  94         uint32_t                        id;
  95         struct ctl_softc                *ctl_softc;
  96         uint32_t                        refcount;
  97         uint64_t                        total_allocated;
  98         uint64_t                        total_freed;
  99         int32_t                         total_ctl_io;
 100         int32_t                         free_ctl_io;
 101         STAILQ_HEAD(, ctl_io_hdr)       free_queue;
 102         STAILQ_ENTRY(ctl_io_pool)       links;
 103 };
 104
 105 typedef enum {
 106         CTL_IOCTL_FLAG_NONE     = 0x00,
 107         CTL_IOCTL_FLAG_ENABLED  = 0x01
 108 } ctl_ioctl_flags;
 109
 110 struct ctl_ioctl_info {
 111         ctl_ioctl_flags         flags;
 112         uint32_t                cur_tag_num;
 113         struct ctl_frontend     fe;
 114         char                    port_name[24];
 115 };
 116
 117 typedef enum {
 118         CTL_SER_BLOCK,
 119         CTL_SER_EXTENT,
 120         CTL_SER_PASS,
 121         CTL_SER_SKIP
 122 } ctl_serialize_action;
 123
 124 typedef enum {
 125         CTL_ACTION_BLOCK,
 126         CTL_ACTION_OVERLAP,
 127         CTL_ACTION_OVERLAP_TAG,
 128         CTL_ACTION_PASS,
 129         CTL_ACTION_SKIP,
 130         CTL_ACTION_ERROR
 131 } ctl_action;
 132
 133 /*
 134  * WARNING:  Keep the bottom nibble here free, we OR in the data direction
 135  * flags for each command.
 136  *
 137  * Note:  "OK_ON_ALL_LUNS" == we don't have to have a lun configured
 138  *        "OK_ON_BOTH"     == we have to have a lun configured
 139  */
 140 typedef enum {
 141         CTL_CMD_FLAG_NONE               = 0x0000,
 142         CTL_CMD_FLAG_NO_SENSE           = 0x0010,
 143         CTL_CMD_FLAG_OK_ON_ALL_LUNS     = 0x0020,
 144         CTL_CMD_FLAG_ALLOW_ON_RESV      = 0x0040,
 145         CTL_CMD_FLAG_OK_ON_PROC         = 0x0100,
 146         CTL_CMD_FLAG_OK_ON_SLUN         = 0x0200,
 147         CTL_CMD_FLAG_OK_ON_BOTH         = 0x0300,
 148         CTL_CMD_FLAG_OK_ON_STOPPED      = 0x0400,
 149         CTL_CMD_FLAG_OK_ON_INOPERABLE   = 0x0800,
 150         CTL_CMD_FLAG_OK_ON_OFFLINE      = 0x1000,
 151         CTL_CMD_FLAG_OK_ON_SECONDARY    = 0x2000,
 152         CTL_CMD_FLAG_ALLOW_ON_PR_RESV   = 0x4000
 153 } ctl_cmd_flags;
 154
 155 typedef enum {
 156         CTL_SERIDX_TUR  = 0,
 157         CTL_SERIDX_READ,
 158         CTL_SERIDX_WRITE,
 159         CTL_SERIDX_MD_SNS,
 160         CTL_SERIDX_MD_SEL,
 161         CTL_SERIDX_RQ_SNS,
 162         CTL_SERIDX_INQ,
 163         CTL_SERIDX_RD_CAP,
 164         CTL_SERIDX_RESV,
 165         CTL_SERIDX_REL,
 166         CTL_SERIDX_LOG_SNS,
 167         CTL_SERIDX_FORMAT,
 168         CTL_SERIDX_START,
 169         CTL_SERIDX_PRES_IN,
 170         CTL_SERIDX_PRES_OUT,
 171         CTL_SERIDX_MAIN_IN,
 172         /* TBD: others to be filled in as needed */
 173         CTL_SERIDX_COUNT, /* LAST, not a normal code, provides # codes */
 174         CTL_SERIDX_INVLD = CTL_SERIDX_COUNT
 175 } ctl_seridx;
 176
 177 typedef int     ctl_opfunc(struct ctl_scsiio *ctsio);
 178
 179 struct ctl_cmd_entry {
 180         ctl_opfunc              *execute;
 181         ctl_seridx              seridx;
 182         ctl_cmd_flags           flags;
 183         ctl_lun_error_pattern   pattern;
 184 };
 185
 186 typedef enum {
 187         CTL_LUN_NONE            = 0x000,
 188         CTL_LUN_CONTROL         = 0x001,
 189         CTL_LUN_RESERVED        = 0x002,
 190         CTL_LUN_INVALID         = 0x004,
 191         CTL_LUN_DISABLED        = 0x008,
 192         CTL_LUN_MALLOCED        = 0x010,
 193         CTL_LUN_STOPPED         = 0x020,
 194         CTL_LUN_INOPERABLE      = 0x040,
 195         CTL_LUN_OFFLINE         = 0x080,
 196         CTL_LUN_PR_RESERVED     = 0x100,
 197         CTL_LUN_PRIMARY_SC      = 0x200,
 198         CTL_LUN_SENSE_DESC      = 0x400
 199 } ctl_lun_flags;
 200
 201 typedef enum {
 202         CTLBLOCK_FLAG_NONE      = 0x00,
 203         CTLBLOCK_FLAG_INVALID   = 0x01
 204 } ctlblock_flags;
 205
 206 union ctl_softcs {
 207         struct ctl_softc        *ctl_softc;
 208         struct ctlblock_softc   *ctlblock_softc;
 209 };
 210
 211 /*
 212  * Mode page defaults.
 213  */
 214 #if 0
 215 /*
 216  * These values make Solaris trim off some of the capacity.
 217  */
 218 #define CTL_DEFAULT_SECTORS_PER_TRACK   63
 219 #define CTL_DEFAULT_HEADS               255
 220 /*
 221  * These values seem to work okay.
 222  */
 223 #define CTL_DEFAULT_SECTORS_PER_TRACK   63
 224 #define CTL_DEFAULT_HEADS               16
 225 /*
 226  * These values work reasonably well.
 227  */
 228 #define CTL_DEFAULT_SECTORS_PER_TRACK   512
 229 #define CTL_DEFAULT_HEADS               64
 230 #endif
 231
 232 /*
 233  * Solaris is somewhat picky about how many heads and sectors per track you
 234  * have defined in mode pages 3 and 4.  These values seem to cause Solaris
 235  * to get the capacity more or less right when you run the format tool.
 236  * They still have problems when dealing with devices larger than 1TB,
 237  * but there isn't anything we can do about that.
 238  *
 239  * For smaller LUN sizes, this ends up causing the number of cylinders to
 240  * work out to 0.  Solaris actually recognizes that and comes up with its
 241  * own bogus geometry to fit the actual capacity of the drive.  They really
 242  * should just give up on geometry and stick to the read capacity
 243  * information alone for modern disk drives.
 244  *
 245  * One thing worth mentioning about Solaris' mkfs command is that it
 246  * doesn't like sectors per track values larger than 256.  512 seems to
 247  * work okay for format, but causes problems when you try to make a
 248  * filesystem.
 249  *
 250  * Another caveat about these values:  the product of these two values
 251  * really should be a power of 2.  This is because of the simplistic
 252  * shift-based calculation that we have to use on the i386 platform to
 253  * calculate the number of cylinders here.  (If you use a divide, you end
 254  * up calling __udivdi3(), which is a hardware FP call on the PC.  On the
 255  * XScale, it is done in software, so you can do that from inside the
 256  * kernel.)
 257  *
 258  * So for the current values (256 S/T, 128 H), we get 32768, which works
 259  * very nicely for calculating cylinders.
 260  *
 261  * If you want to change these values so that their product is no longer a
 262  * power of 2, re-visit the calculation in ctl_init_page_index().  You may
 263  * need to make it a bit more complicated to get the number of cylinders
 264  * right.
 265  */
 266 #define CTL_DEFAULT_SECTORS_PER_TRACK   256
 267 #define CTL_DEFAULT_HEADS               128
 268
 269 #define CTL_DEFAULT_ROTATION_RATE       10000
 270
 271 struct ctl_page_index;
 272
 273 typedef int     ctl_modesen_handler(struct ctl_scsiio *ctsio,
 274                                     struct ctl_page_index *page_index,
 275                                     int pc);
 276 typedef int     ctl_modesel_handler(struct ctl_scsiio *ctsio,
 277                                     struct ctl_page_index *page_index,
 278                                     uint8_t *page_ptr);
 279
 280 typedef enum {
 281         CTL_PAGE_FLAG_NONE       = 0x00,
 282         CTL_PAGE_FLAG_DISK_ONLY  = 0x01
 283 } ctl_page_flags;
 284
 285 struct ctl_page_index {
 286         uint8_t                 page_code;
 287         uint8_t                 subpage;
 288         uint16_t                page_len;
 289         uint8_t                 *page_data;
 290         ctl_page_flags          page_flags;
 291         ctl_modesen_handler     *sense_handler;
 292         ctl_modesel_handler     *select_handler;
 293 };
 294
 295 #define CTL_PAGE_CURRENT        0x00
 296 #define CTL_PAGE_CHANGEABLE     0x01
 297 #define CTL_PAGE_DEFAULT        0x02
 298 #define CTL_PAGE_SAVED          0x03
 299
 300 static const struct ctl_page_index page_index_template[] = {
 301         {SMS_FORMAT_DEVICE_PAGE, 0, sizeof(struct scsi_format_page), NULL,
 302          CTL_PAGE_FLAG_DISK_ONLY, NULL, NULL},
 303         {SMS_RIGID_DISK_PAGE, 0, sizeof(struct scsi_rigid_disk_page), NULL,
 304          CTL_PAGE_FLAG_DISK_ONLY, NULL, NULL},
 305         {SMS_CACHING_PAGE, 0, sizeof(struct scsi_caching_page), NULL,
 306          CTL_PAGE_FLAG_DISK_ONLY, NULL, NULL},
 307         {SMS_CONTROL_MODE_PAGE, 0, sizeof(struct scsi_control_page), NULL,
 308          CTL_PAGE_FLAG_NONE, NULL, ctl_control_page_handler},
 309         {SMS_VENDOR_SPECIFIC_PAGE | SMPH_SPF, PWR_SUBPAGE_CODE,
 310          sizeof(struct copan_power_subpage), NULL, CTL_PAGE_FLAG_NONE,
 311          ctl_power_sp_sense_handler, ctl_power_sp_handler},
 312         {SMS_VENDOR_SPECIFIC_PAGE | SMPH_SPF, APS_SUBPAGE_CODE,
 313          sizeof(struct copan_aps_subpage), NULL, CTL_PAGE_FLAG_NONE,
 314          NULL, ctl_aps_sp_handler},
 315         {SMS_VENDOR_SPECIFIC_PAGE | SMPH_SPF, DBGCNF_SUBPAGE_CODE,
 316          sizeof(struct copan_debugconf_subpage), NULL, CTL_PAGE_FLAG_NONE,
 317          ctl_debugconf_sp_sense_handler, ctl_debugconf_sp_select_handler},
 318 };
 319
 320 #define CTL_NUM_MODE_PAGES sizeof(page_index_template)/   \
 321                            sizeof(page_index_template[0])
 322
 323 struct ctl_mode_pages {
 324         struct scsi_format_page         format_page[4];
 325         struct scsi_rigid_disk_page     rigid_disk_page[4];
 326         struct scsi_caching_page        caching_page[4];
 327         struct scsi_control_page        control_page[4];
 328         struct copan_power_subpage      power_subpage[4];
 329         struct copan_aps_subpage        aps_subpage[4];
 330         struct copan_debugconf_subpage  debugconf_subpage[4];
 331         struct ctl_page_index           index[CTL_NUM_MODE_PAGES];
 332 };
 333
 334 struct ctl_pending_sense {
 335         ctl_ua_type             ua_pending;
 336         struct scsi_sense_data  sense;
 337 };
 338
 339 struct ctl_lun_delay_info {
 340         ctl_delay_type          datamove_type;
 341         uint32_t                datamove_delay;
 342         ctl_delay_type          done_type;
 343         uint32_t                done_delay;
 344 };
 345
 346 typedef enum {
 347         CTL_ERR_INJ_NONE        = 0x00,
 348         CTL_ERR_INJ_ABORTED     = 0x01
 349 } ctl_err_inject_flags;
 350
 351 typedef enum {
 352         CTL_PR_FLAG_NONE        = 0x00,
 353         CTL_PR_FLAG_REGISTERED  = 0x01,
 354         CTL_PR_FLAG_ACTIVE_RES  = 0x02
 355 } ctl_per_res_flags;
 356
 357 struct ctl_per_res_info {
 358         struct scsi_per_res_key res_key;
 359         uint8_t  registered;
 360 };
 361
 362 #define CTL_PR_ALL_REGISTRANTS  0xFFFF
 363 #define CTL_PR_NO_RESERVATION   0xFFF0
 364
 365 /*
 366  * For report target port groups.
 367  */
 368 #define NUM_TARGET_PORT_GROUPS  2
 369 #define NUM_PORTS_PER_GRP       2
 370
 371 struct ctl_lun {
 372         struct mtx                      lun_lock;
 373         struct ctl_id                   target;
 374         uint64_t                        lun;
 375         ctl_lun_flags                   flags;
 376         STAILQ_HEAD(,ctl_error_desc)    error_list;
 377         uint64_t                        error_serial;
 378         struct ctl_softc                *ctl_softc;
 379         struct ctl_be_lun               *be_lun;
 380         struct ctl_backend_driver       *backend;
 381         int                             io_count;
 382         struct ctl_lun_delay_info       delay_info;
 383         int                             sync_interval;
 384         int                             sync_count;
 385         TAILQ_HEAD(ctl_ooaq, ctl_io_hdr)  ooa_queue;
 386         TAILQ_HEAD(ctl_blockq,ctl_io_hdr) blocked_queue;
 387         STAILQ_ENTRY(ctl_lun)           links;
 388         STAILQ_ENTRY(ctl_lun)           run_links;
 389         struct ctl_nexus                rsv_nexus;
 390         uint32_t                        have_ca[CTL_MAX_INITIATORS >> 5];
 391         struct ctl_pending_sense        pending_sense[CTL_MAX_INITIATORS];
 392         struct ctl_mode_pages           mode_pages;
 393         struct ctl_lun_io_stats         stats;
 394         struct ctl_per_res_info         per_res[2*CTL_MAX_INITIATORS];
 395         unsigned int                    PRGeneration;
 396         int                             pr_key_count;
 397         uint16_t                        pr_res_idx;
 398         uint8_t                         res_type;
 399         uint8_t                         write_buffer[524288];
 400 };
 401
 402 typedef enum {
 403         CTL_FLAG_TASK_PENDING   = 0x01,
 404         CTL_FLAG_REAL_SYNC      = 0x02,
 405         CTL_FLAG_MASTER_SHELF   = 0x04
 406 } ctl_gen_flags;
 407
 408 struct ctl_wwpn_iid {
 409         int in_use;
 410         uint64_t wwpn;
 411         uint32_t iid;
 412         int32_t port;
 413 };
 414
 415 struct ctl_softc {
 416         struct mtx ctl_lock;
 417         struct cdev *dev;
 418         int open_count;
 419         struct ctl_id target;
 420         int num_disks;
 421         int num_luns;
 422         ctl_gen_flags flags;
 423         ctl_ha_mode ha_mode;
 424         int inquiry_pq_no_lun;
 425         struct sysctl_ctx_list sysctl_ctx;
 426         struct sysctl_oid *sysctl_tree;
 427         struct ctl_ioctl_info ioctl_info;
 428         struct ctl_lun lun;
 429         struct ctl_io_pool *internal_pool;
 430         struct ctl_io_pool *emergency_pool;
 431         struct ctl_io_pool *othersc_pool;
 432         struct proc *work_thread;
 433         int targ_online;
 434         uint32_t ctl_lun_mask[CTL_MAX_LUNS >> 5];
 435         struct ctl_lun *ctl_luns[CTL_MAX_LUNS];
 436         struct ctl_wwpn_iid wwpn_iid[CTL_MAX_PORTS][CTL_MAX_INIT_PER_PORT];
 437         uint32_t ctl_port_mask;
 438         uint64_t aps_locked_lun;
 439         STAILQ_HEAD(, ctl_lun) lun_list;
 440         STAILQ_HEAD(, ctl_be_lun) pending_lun_queue;
 441         STAILQ_HEAD(, ctl_io_hdr) task_queue;
 442         STAILQ_HEAD(, ctl_io_hdr) incoming_queue;
 443         STAILQ_HEAD(, ctl_io_hdr) rtr_queue;
 444         STAILQ_HEAD(, ctl_io_hdr) done_queue;
 445         STAILQ_HEAD(, ctl_io_hdr) isc_queue;
 446         uint32_t num_frontends;
 447         STAILQ_HEAD(, ctl_frontend) fe_list;
 448         struct ctl_frontend *ctl_ports[CTL_MAX_PORTS];
 449         uint32_t num_backends;
 450         STAILQ_HEAD(, ctl_backend_driver) be_list;
 451         uint32_t num_pools;
 452         uint32_t cur_pool_id;
 453         STAILQ_HEAD(, ctl_io_pool) io_pools;
 454         time_t last_print_jiffies;
 455         uint32_t skipped_prints;
 456 };
 457
 458 #ifdef _KERNEL
 459
 460 extern struct ctl_cmd_entry ctl_cmd_table[];
 461
 462 uint32_t ctl_get_initindex(struct ctl_nexus *nexus);
 463 int ctl_pool_create(struct ctl_softc *ctl_softc, ctl_pool_type pool_type,
 464                     uint32_t total_ctl_io, struct ctl_io_pool **npool);
 465 int ctl_pool_acquire(struct ctl_io_pool *pool);
 466 int ctl_pool_invalidate(struct ctl_io_pool *pool);
 467 int ctl_pool_release(struct ctl_io_pool *pool);
 468 void ctl_pool_free(struct ctl_softc *ctl_softc, struct ctl_io_pool *pool);
 469 int ctl_scsi_release(struct ctl_scsiio *ctsio);
 470 int ctl_scsi_reserve(struct ctl_scsiio *ctsio);
 471 int ctl_start_stop(struct ctl_scsiio *ctsio);
 472 int ctl_sync_cache(struct ctl_scsiio *ctsio);
 473 int ctl_format(struct ctl_scsiio *ctsio);
 474 int ctl_write_buffer(struct ctl_scsiio *ctsio);
 475 int ctl_mode_select(struct ctl_scsiio *ctsio);
 476 int ctl_mode_sense(struct ctl_scsiio *ctsio);
 477 int ctl_read_capacity(struct ctl_scsiio *ctsio);
 478 int ctl_service_action_in(struct ctl_scsiio *ctsio);
 479 int ctl_read_write(struct ctl_scsiio *ctsio);
 480 int ctl_report_luns(struct ctl_scsiio *ctsio);
 481 int ctl_request_sense(struct ctl_scsiio *ctsio);
 482 int ctl_tur(struct ctl_scsiio *ctsio);
 483 int ctl_inquiry(struct ctl_scsiio *ctsio);
 484 int ctl_persistent_reserve_in(struct ctl_scsiio *ctsio);
 485 int ctl_persistent_reserve_out(struct ctl_scsiio *ctsio);
 486 int ctl_maintenance_in(struct ctl_scsiio *ctsio);
 487 void ctl_done_lock(union ctl_io *io, int have_lock);
 488 int ctl_isc(struct ctl_scsiio *ctsio);
 489
 490 #endif  /* _KERNEL */
 491
 492 #endif  /* _CTL_PRIVATE_H_ */
 493
 494 /*
 495  * vim: ts=8
 496  */