sys/dev/isp/isp_inline.h

   1 /* $FreeBSD$ */
   2 /*-
   3  * Qlogic Host Adapter Inline Functions
   4  *
   5  * Copyright (c) 1999, 2000, 2001 by Matthew Jacob
   6  * Feral Software
   7  * All rights reserved.
   8  * mjacob@feral.com
   9  *
  10  * Redistribution and use in source and binary forms, with or without
  11  * modification, are permitted provided that the following conditions
  12  * are met:
  13  * 1. Redistributions of source code must retain the above copyright
  14  *    notice immediately at the beginning of the file, without modification,
  15  *    this list of conditions, and the following disclaimer.
  16  * 2. The name of the author may not be used to endorse or promote products
  17  *    derived from this software without specific prior written permission.
  18  *
  19  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  20  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  21  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  22  * ARE DISCLAIMED. IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE FOR
  23  * ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  24  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  25  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  26  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  27  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  28  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  29  * SUCH DAMAGE.
  30  *
  31  */
  32 #ifndef _ISP_INLINE_H
  33 #define _ISP_INLINE_H
  34
  35 /*
  36  * Handle Functions.
  37  * For each outstanding command there will be a non-zero handle.
  38  * There will be at most isp_maxcmds handles, and isp_lasthdls
  39  * will be a seed for the last handled allocated.
  40  */
  41
  42 static INLINE int isp_save_xs(struct ispsoftc *, XS_T *, u_int16_t *);
  43 static INLINE XS_T *isp_find_xs(struct ispsoftc *, u_int16_t);
  44 static INLINE u_int16_t isp_find_handle(struct ispsoftc *, XS_T *);
  45 static INLINE int isp_handle_index(u_int16_t);
  46 static INLINE u_int16_t isp_index_handle(int);
  47 static INLINE void isp_destroy_handle(struct ispsoftc *, u_int16_t);
  48
  49 static INLINE int
  50 isp_save_xs(struct ispsoftc *isp, XS_T *xs, u_int16_t *handlep)
  51 {
  52         int i, j;
  53
  54         for (j = isp->isp_lasthdls, i = 0; i < (int) isp->isp_maxcmds; i++) {
  55                 if (isp->isp_xflist[j] == NULL) {
  56                         break;
  57                 }
  58                 if (++j == isp->isp_maxcmds) {
  59                         j = 0;
  60                 }
  61         }
  62         if (i == isp->isp_maxcmds) {
  63                 return (-1);
  64         }
  65         isp->isp_xflist[j] = xs;
  66         *handlep = j+1;
  67         if (++j == isp->isp_maxcmds)
  68                 j = 0;
  69         isp->isp_lasthdls = (u_int16_t)j;
  70         return (0);
  71 }
  72
  73 static INLINE XS_T *
  74 isp_find_xs(struct ispsoftc *isp, u_int16_t handle)
  75 {
  76         if (handle < 1 || handle > (u_int16_t) isp->isp_maxcmds) {
  77                 return (NULL);
  78         } else {
  79                 return (isp->isp_xflist[handle - 1]);
  80         }
  81 }
  82
  83 static INLINE u_int16_t
  84 isp_find_handle(struct ispsoftc *isp, XS_T *xs)
  85 {
  86         int i;
  87         if (xs != NULL) {
  88                 for (i = 0; i < isp->isp_maxcmds; i++) {
  89                         if (isp->isp_xflist[i] == xs) {
  90                                 return ((u_int16_t) i+1);
  91                         }
  92                 }
  93         }
  94         return (0);
  95 }
  96
  97 static INLINE int
  98 isp_handle_index(u_int16_t handle)
  99 {
 100         return (handle-1);
 101 }
 102
 103 static INLINE u_int16_t
 104 isp_index_handle(int index)
 105 {
 106         return (index+1);
 107 }
 108
 109 static INLINE void
 110 isp_destroy_handle(struct ispsoftc *isp, u_int16_t handle)
 111 {
 112         if (handle > 0 && handle <= (u_int16_t) isp->isp_maxcmds) {
 113                 isp->isp_xflist[handle - 1] = NULL;
 114         }
 115 }
 116
 117 #ifdef  ISP_TARGET_MODE
 118 static INLINE int isp_save_xs_tgt(struct ispsoftc *, void *, u_int16_t *);
 119 static INLINE void *isp_find_xs_tgt(struct ispsoftc *, u_int16_t);
 120 static INLINE void isp_destroy_tgt_handle(struct ispsoftc *, u_int16_t);
 121
 122 static INLINE int
 123 isp_save_xs_tgt(struct ispsoftc *isp, void *xs, u_int16_t *handlep)
 124 {
 125         int i;
 126
 127         for (i = 0; i < (int) isp->isp_maxcmds; i++) {
 128                 if (isp->isp_tgtlist[i] == NULL) {
 129                         break;
 130                 }
 131         }
 132         if (i == isp->isp_maxcmds) {
 133                 return (-1);
 134         }
 135         isp->isp_tgtlist[i] = xs;
 136         *handlep = i+1;
 137         return (0);
 138 }
 139
 140 static INLINE void *
 141 isp_find_xs_tgt(struct ispsoftc *isp, u_int16_t handle)
 142 {
 143         if (handle < 1 || handle > (u_int16_t) isp->isp_maxcmds) {
 144                 return (NULL);
 145         } else {
 146                 return (isp->isp_tgtlist[handle - 1]);
 147         }
 148 }
 149
 150 static INLINE u_int16_t
 151 isp_find_tgt_handle(struct ispsoftc *isp, void *xs)
 152 {
 153         int i;
 154         if (xs != NULL) {
 155                 for (i = 0; i < isp->isp_maxcmds; i++) {
 156                         if (isp->isp_tgtlist[i] == xs) {
 157                                 return ((u_int16_t) i+1);
 158                         }
 159                 }
 160         }
 161         return (0);
 162 }
 163
 164 static INLINE void
 165 isp_destroy_tgt_handle(struct ispsoftc *isp, u_int16_t handle)
 166 {
 167         if (handle > 0 && handle <= (u_int16_t) isp->isp_maxcmds) {
 168                 isp->isp_tgtlist[handle - 1] = NULL;
 169         }
 170 }
 171 #endif
 172
 173
 174 static INLINE int
 175 isp_getrqentry(struct ispsoftc *, u_int16_t *, u_int16_t *, void **);
 176
 177 static INLINE int
 178 isp_getrqentry(struct ispsoftc *isp, u_int16_t *iptrp,
 179     u_int16_t *optrp, void **resultp)
 180 {
 181         volatile u_int16_t iptr, optr;
 182
 183         optr = isp->isp_reqodx = READ_REQUEST_QUEUE_OUT_POINTER(isp);
 184         iptr = isp->isp_reqidx;
 185         *resultp = ISP_QUEUE_ENTRY(isp->isp_rquest, iptr);
 186         iptr = ISP_NXT_QENTRY(iptr, RQUEST_QUEUE_LEN(isp));
 187         if (iptr == optr) {
 188                 return (1);
 189         }
 190         if (optrp)
 191                 *optrp = optr;
 192         if (iptrp)
 193                 *iptrp = iptr;
 194         return (0);
 195 }
 196
 197 static INLINE void isp_print_qentry (struct ispsoftc *, char *, int, void *);
 198
 199
 200 #define TBA     (4 * (((QENTRY_LEN >> 2) * 3) + 1) + 1)
 201 static INLINE void
 202 isp_print_qentry(struct ispsoftc *isp, char *msg, int idx, void *arg)
 203 {
 204         char buf[TBA];
 205         int amt, i, j;
 206         u_int8_t *ptr = arg;
 207
 208         isp_prt(isp, ISP_LOGALL, "%s index %d=>", msg, idx);
 209         for (buf[0] = 0, amt = i = 0; i < 4; i++) {
 210                 buf[0] = 0;
 211                 SNPRINTF(buf, TBA, "  ");
 212                 for (j = 0; j < (QENTRY_LEN >> 2); j++) {
 213                         SNPRINTF(buf, TBA, "%s %02x", buf, ptr[amt++] & 0xff);
 214                 }
 215                 isp_prt(isp, ISP_LOGALL, buf);
 216         }
 217 }
 218
 219 static INLINE void isp_print_bytes(struct ispsoftc *, char *, int, void *);
 220
 221 static INLINE void
 222 isp_print_bytes(struct ispsoftc *isp, char *msg, int amt, void *arg)
 223 {
 224         char buf[128];
 225         u_int8_t *ptr = arg;
 226         int off;
 227
 228         if (msg)
 229                 isp_prt(isp, ISP_LOGALL, "%s:", msg);
 230         off = 0;
 231         buf[0] = 0;
 232         while (off < amt) {
 233                 int j, to;
 234                 to = off;
 235                 for (j = 0; j < 16; j++) {
 236                         SNPRINTF(buf, 128, "%s %02x", buf, ptr[off++] & 0xff);
 237                         if (off == amt)
 238                                 break;
 239                 }
 240                 isp_prt(isp, ISP_LOGALL, "0x%08x:%s", to, buf);
 241                 buf[0] = 0;
 242         }
 243 }
 244
 245 /*
 246  * Do the common path to try and ensure that link is up, we've scanned
 247  * the fabric (if we're on a fabric), and that we've synchronized this
 248  * all with our own database and done the appropriate logins.
 249  *
 250  * We repeatedly check for firmware state and loop state after each
 251  * action because things may have changed while we were doing this.
 252  * Any failure or change of state causes us to return a nonzero value.
 253  *
 254  * We honor HBA roles in that if we're not in Initiator mode, we don't
 255  * attempt to sync up the database (that's for somebody else to do,
 256  * if ever).
 257  *
 258  * We assume we enter here with any locks held.
 259  */
 260
 261 static INLINE int isp_fc_runstate(struct ispsoftc *, int);
 262
 263 static INLINE int
 264 isp_fc_runstate(struct ispsoftc *isp, int tval)
 265 {
 266         fcparam *fcp;
 267         int *tptr;
 268
 269         if (IS_SCSI(isp))
 270                 return (0);
 271
 272         tptr = tval? &tval : NULL;
 273         if (isp_control(isp, ISPCTL_FCLINK_TEST, tptr) != 0) {
 274                 return (-1);
 275         }
 276         fcp = FCPARAM(isp);
 277         if (fcp->isp_fwstate != FW_READY || fcp->isp_loopstate < LOOP_PDB_RCVD)
 278                 return (-1);
 279         if (isp_control(isp, ISPCTL_SCAN_FABRIC, NULL) != 0) {
 280                 return (-1);
 281         }
 282         if (isp_control(isp, ISPCTL_SCAN_LOOP, NULL) != 0) {
 283                 return (-1);
 284         }
 285         if ((isp->isp_role & ISP_ROLE_INITIATOR) == 0) {
 286                 return (0);
 287         }
 288         if (isp_control(isp, ISPCTL_PDB_SYNC, NULL) != 0) {
 289                 return (-1);
 290         }
 291         if (fcp->isp_fwstate != FW_READY || fcp->isp_loopstate != LOOP_READY) {
 292                 return (-1);
 293         }
 294         return (0);
 295 }
 296
 297 /*
 298  * Functions to move stuff to a form that the QLogic RISC engine understands
 299  * and functions to move stuff back to a form the processor understands.
 300  *
 301  * Each platform is required to provide the 8, 16 and 32 bit
 302  * swizzle and unswizzle macros (ISP_IOX{PUT|GET}_{8,16,32})
 303  *
 304  * The assumption is that swizzling and unswizzling is mostly done 'in place'
 305  * (with a few exceptions for efficiency).
 306  */
 307
 308 static INLINE void isp_copy_out_hdr(struct ispsoftc *, isphdr_t *, isphdr_t *);
 309 static INLINE void isp_copy_in_hdr(struct ispsoftc *, isphdr_t *, isphdr_t *);
 310 static INLINE int isp_get_response_type(struct ispsoftc *, isphdr_t *);
 311
 312 static INLINE void
 313 isp_put_request(struct ispsoftc *, ispreq_t *, ispreq_t *);
 314 static INLINE void
 315 isp_put_request_t2(struct ispsoftc *, ispreqt2_t *, ispreqt2_t *);
 316 static INLINE void
 317 isp_put_request_t3(struct ispsoftc *, ispreqt3_t *, ispreqt3_t *);
 318 static INLINE void
 319 isp_put_extended_request(struct ispsoftc *, ispextreq_t *, ispextreq_t *);
 320 static INLINE void
 321 isp_put_cont_req(struct ispsoftc *, ispcontreq_t *, ispcontreq_t *);
 322 static INLINE void
 323 isp_put_cont64_req(struct ispsoftc *, ispcontreq64_t *, ispcontreq64_t *);
 324 static INLINE void
 325 isp_get_response(struct ispsoftc *, ispstatusreq_t *, ispstatusreq_t *);
 326 static INLINE void
 327 isp_get_response_x(struct ispsoftc *, ispstatus_cont_t *, ispstatus_cont_t *);
 328 static INLINE void
 329 isp_get_rio2(struct ispsoftc *, isp_rio2_t *, isp_rio2_t *);
 330 static INLINE void
 331 isp_put_icb(struct ispsoftc *, isp_icb_t *, isp_icb_t *);
 332 static INLINE void
 333 isp_get_pdb(struct ispsoftc *, isp_pdb_t *, isp_pdb_t *);
 334 static INLINE void
 335 isp_get_ct_hdr(struct ispsoftc *isp, ct_hdr_t *, ct_hdr_t *);
 336 static INLINE void
 337 isp_put_sns_request(struct ispsoftc *, sns_screq_t *, sns_screq_t *);
 338 static INLINE void
 339 isp_put_gid_ft_request(struct ispsoftc *, sns_gid_ft_req_t *,
 340     sns_gid_ft_req_t *);
 341 static INLINE void
 342 isp_put_gxn_id_request(struct ispsoftc *, sns_gxn_id_req_t *,
 343     sns_gxn_id_req_t *);
 344 static INLINE void
 345 isp_get_sns_response(struct ispsoftc *, sns_scrsp_t *, sns_scrsp_t *, int);
 346 static INLINE void
 347 isp_get_gid_ft_response(struct ispsoftc *, sns_gid_ft_rsp_t *,
 348     sns_gid_ft_rsp_t *, int);
 349 static INLINE void
 350 isp_get_gxn_id_response(struct ispsoftc *, sns_gxn_id_rsp_t *,
 351     sns_gxn_id_rsp_t *);
 352 static INLINE void
 353 isp_get_gff_id_response(struct ispsoftc *, sns_gff_id_rsp_t *,
 354     sns_gff_id_rsp_t *);
 355 static INLINE void
 356 isp_get_ga_nxt_response(struct ispsoftc *, sns_ga_nxt_rsp_t *,
 357     sns_ga_nxt_rsp_t *);
 358 #ifdef  ISP_TARGET_MODE
 359 #ifndef _ISP_TARGET_H
 360 #include "isp_target.h"
 361 #endif
 362 static INLINE void
 363 isp_put_atio(struct ispsoftc *, at_entry_t *, at_entry_t *);
 364 static INLINE void
 365 isp_get_atio(struct ispsoftc *, at_entry_t *, at_entry_t *);
 366 static INLINE void
 367 isp_put_atio2(struct ispsoftc *, at2_entry_t *, at2_entry_t *);
 368 static INLINE void
 369 isp_get_atio2(struct ispsoftc *, at2_entry_t *, at2_entry_t *);
 370 static INLINE void
 371 isp_put_ctio(struct ispsoftc *, ct_entry_t *, ct_entry_t *);
 372 static INLINE void
 373 isp_get_ctio(struct ispsoftc *, ct_entry_t *, ct_entry_t *);
 374 static INLINE void
 375 isp_put_ctio2(struct ispsoftc *, ct2_entry_t *, ct2_entry_t *);
 376 static INLINE void
 377 isp_get_ctio2(struct ispsoftc *, ct2_entry_t *, ct2_entry_t *);
 378 static INLINE void
 379 isp_put_enable_lun(struct ispsoftc *, lun_entry_t *, lun_entry_t *);
 380 static INLINE void
 381 isp_get_enable_lun(struct ispsoftc *, lun_entry_t *, lun_entry_t *);
 382 static INLINE void
 383 isp_put_notify(struct ispsoftc *, in_entry_t *, in_entry_t *);
 384 static INLINE void
 385 isp_get_notify(struct ispsoftc *, in_entry_t *, in_entry_t *);
 386 static INLINE void
 387 isp_put_notify_fc(struct ispsoftc *, in_fcentry_t *, in_fcentry_t *);
 388 static INLINE void
 389 isp_get_notify_fc(struct ispsoftc *, in_fcentry_t *, in_fcentry_t *);
 390 static INLINE void
 391 isp_put_notify_ack(struct ispsoftc *, na_entry_t *, na_entry_t *);
 392 static INLINE void
 393 isp_get_notify_ack(struct ispsoftc *, na_entry_t *, na_entry_t *);
 394 static INLINE void
 395 isp_put_notify_ack_fc(struct ispsoftc *, na_fcentry_t *, na_fcentry_t *);
 396 static INLINE void
 397 isp_get_notify_ack_fc(struct ispsoftc *, na_fcentry_t *, na_fcentry_t *);
 398 #endif
 399
 400 #define ISP_IS_SBUS(isp)        \
 401         (ISP_SBUS_SUPPORTED && (isp)->isp_bustype == ISP_BT_SBUS)
 402
 403 /*
 404  * Swizzle/Copy Functions
 405  */
 406 static INLINE void
 407 isp_copy_out_hdr(struct ispsoftc *isp, isphdr_t *hpsrc, isphdr_t *hpdst)
 408 {
 409         if (ISP_IS_SBUS(isp)) {
 410                 ISP_IOXPUT_8(isp, hpsrc->rqs_entry_type,
 411                     &hpdst->rqs_entry_count);
 412                 ISP_IOXPUT_8(isp, hpsrc->rqs_entry_count,
 413                     &hpdst->rqs_entry_type);
 414                 ISP_IOXPUT_8(isp, hpsrc->rqs_seqno,
 415                     &hpdst->rqs_flags);
 416                 ISP_IOXPUT_8(isp, hpsrc->rqs_flags,
 417                     &hpdst->rqs_seqno);
 418         } else {
 419                 ISP_IOXPUT_8(isp, hpsrc->rqs_entry_type,
 420                     &hpdst->rqs_entry_type);
 421                 ISP_IOXPUT_8(isp, hpsrc->rqs_entry_count,
 422                     &hpdst->rqs_entry_count);
 423                 ISP_IOXPUT_8(isp, hpsrc->rqs_seqno,
 424                     &hpdst->rqs_seqno);
 425                 ISP_IOXPUT_8(isp, hpsrc->rqs_flags,
 426                     &hpdst->rqs_flags);
 427         }
 428 }
 429
 430 static INLINE void
 431 isp_copy_in_hdr(struct ispsoftc *isp, isphdr_t *hpsrc, isphdr_t *hpdst)
 432 {
 433         if (ISP_IS_SBUS(isp)) {
 434                 ISP_IOXGET_8(isp, &hpsrc->rqs_entry_type,
 435                     hpdst->rqs_entry_count);
 436                 ISP_IOXGET_8(isp, &hpsrc->rqs_entry_count,
 437                     hpdst->rqs_entry_type);
 438                 ISP_IOXGET_8(isp, &hpsrc->rqs_seqno,
 439                     hpdst->rqs_flags);
 440                 ISP_IOXGET_8(isp, &hpsrc->rqs_flags,
 441                     hpdst->rqs_seqno);
 442         } else {
 443                 ISP_IOXGET_8(isp, &hpsrc->rqs_entry_type,
 444                     hpdst->rqs_entry_type);
 445                 ISP_IOXGET_8(isp, &hpsrc->rqs_entry_count,
 446                     hpdst->rqs_entry_count);
 447                 ISP_IOXGET_8(isp, &hpsrc->rqs_seqno,
 448                     hpdst->rqs_seqno);
 449                 ISP_IOXGET_8(isp, &hpsrc->rqs_flags,
 450                     hpdst->rqs_flags);
 451         }
 452 }
 453
 454 static INLINE int
 455 isp_get_response_type(struct ispsoftc *isp, isphdr_t *hp)
 456 {
 457         u_int8_t type;
 458         if (ISP_IS_SBUS(isp)) {
 459                 ISP_IOXGET_8(isp, &hp->rqs_entry_count, type);
 460         } else {
 461                 ISP_IOXGET_8(isp, &hp->rqs_entry_type, type);
 462         }
 463         return ((int)type);
 464 }
 465
 466 static INLINE void
 467 isp_put_request(struct ispsoftc *isp, ispreq_t *rqsrc, ispreq_t *rqdst)
 468 {
 469         int i;
 470         isp_copy_out_hdr(isp, &rqsrc->req_header, &rqdst->req_header);
 471         ISP_IOXPUT_32(isp, rqsrc->req_handle, &rqdst->req_handle);
 472         if (ISP_IS_SBUS(isp)) {
 473                 ISP_IOXPUT_8(isp, rqsrc->req_lun_trn, &rqdst->req_target);
 474                 ISP_IOXPUT_8(isp, rqsrc->req_target, &rqdst->req_lun_trn);
 475         } else {
 476                 ISP_IOXPUT_8(isp, rqsrc->req_lun_trn, &rqdst->req_lun_trn);
 477                 ISP_IOXPUT_8(isp, rqsrc->req_target, &rqdst->req_target);
 478         }
 479         ISP_IOXPUT_16(isp, rqsrc->req_cdblen, &rqdst->req_cdblen);
 480         ISP_IOXPUT_16(isp, rqsrc->req_flags, &rqdst->req_flags);
 481         ISP_IOXPUT_16(isp, rqsrc->req_time, &rqdst->req_time);
 482         ISP_IOXPUT_16(isp, rqsrc->req_seg_count, &rqdst->req_seg_count);
 483         for (i = 0; i < 12; i++) {
 484                 ISP_IOXPUT_8(isp, rqsrc->req_cdb[i], &rqdst->req_cdb[i]);
 485         }
 486         for (i = 0; i < ISP_RQDSEG; i++) {
 487                 ISP_IOXPUT_32(isp, rqsrc->req_dataseg[i].ds_base,
 488                     &rqdst->req_dataseg[i].ds_base);
 489                 ISP_IOXPUT_32(isp, rqsrc->req_dataseg[i].ds_count,
 490                     &rqdst->req_dataseg[i].ds_count);
 491         }
 492 }
 493
 494 static INLINE void
 495 isp_put_request_t2(struct ispsoftc *isp, ispreqt2_t *tqsrc, ispreqt2_t *tqdst)
 496 {
 497         int i;
 498         isp_copy_out_hdr(isp, &tqsrc->req_header, &tqdst->req_header);
 499         ISP_IOXPUT_32(isp, tqsrc->req_handle, &tqdst->req_handle);
 500         ISP_IOXPUT_8(isp, tqsrc->req_lun_trn, &tqdst->req_lun_trn);
 501         ISP_IOXPUT_8(isp, tqsrc->req_target, &tqdst->req_target);
 502         ISP_IOXPUT_16(isp, tqsrc->req_scclun, &tqdst->req_scclun);
 503         ISP_IOXPUT_16(isp, tqsrc->req_flags,  &tqdst->req_flags);
 504         ISP_IOXPUT_16(isp, tqsrc->_res2, &tqdst->_res2);
 505         ISP_IOXPUT_16(isp, tqsrc->req_time, &tqdst->req_time);
 506         ISP_IOXPUT_16(isp, tqsrc->req_seg_count, &tqdst->req_seg_count);
 507         for (i = 0; i < 16; i++) {
 508                 ISP_IOXPUT_8(isp, tqsrc->req_cdb[i], &tqdst->req_cdb[i]);
 509         }
 510         ISP_IOXPUT_32(isp, tqsrc->req_totalcnt, &tqdst->req_totalcnt);
 511         for (i = 0; i < ISP_RQDSEG_T2; i++) {
 512                 ISP_IOXPUT_32(isp, tqsrc->req_dataseg[i].ds_base,
 513                     &tqdst->req_dataseg[i].ds_base);
 514                 ISP_IOXPUT_32(isp, tqsrc->req_dataseg[i].ds_count,
 515                     &tqdst->req_dataseg[i].ds_count);
 516         }
 517 }
 518
 519 static INLINE void
 520 isp_put_request_t3(struct ispsoftc *isp, ispreqt3_t *tqsrc, ispreqt3_t *tqdst)
 521 {
 522         int i;
 523         isp_copy_out_hdr(isp, &tqsrc->req_header, &tqdst->req_header);
 524         ISP_IOXPUT_32(isp, tqsrc->req_handle, &tqdst->req_handle);
 525         ISP_IOXPUT_8(isp, tqsrc->req_lun_trn, &tqdst->req_lun_trn);
 526         ISP_IOXPUT_8(isp, tqsrc->req_target, &tqdst->req_target);
 527         ISP_IOXPUT_16(isp, tqsrc->req_scclun, &tqdst->req_scclun);
 528         ISP_IOXPUT_16(isp, tqsrc->req_flags,  &tqdst->req_flags);
 529         ISP_IOXPUT_16(isp, tqsrc->_res2, &tqdst->_res2);
 530         ISP_IOXPUT_16(isp, tqsrc->req_time, &tqdst->req_time);
 531         ISP_IOXPUT_16(isp, tqsrc->req_seg_count, &tqdst->req_seg_count);
 532         for (i = 0; i < 16; i++) {
 533                 ISP_IOXPUT_8(isp, tqsrc->req_cdb[i], &tqdst->req_cdb[i]);
 534         }
 535         ISP_IOXPUT_32(isp, tqsrc->req_totalcnt, &tqdst->req_totalcnt);
 536         for (i = 0; i < ISP_RQDSEG_T3; i++) {
 537                 ISP_IOXPUT_32(isp, tqsrc->req_dataseg[i].ds_base,
 538                     &tqdst->req_dataseg[i].ds_base);
 539                 ISP_IOXPUT_32(isp, tqsrc->req_dataseg[i].ds_basehi,
 540                     &tqdst->req_dataseg[i].ds_basehi);
 541                 ISP_IOXPUT_32(isp, tqsrc->req_dataseg[i].ds_count,
 542                     &tqdst->req_dataseg[i].ds_count);
 543         }
 544 }
 545
 546 static INLINE void
 547 isp_put_extended_request(struct ispsoftc *isp, ispextreq_t *xqsrc,
 548     ispextreq_t *xqdst)
 549 {
 550         int i;
 551         isp_copy_out_hdr(isp, &xqsrc->req_header, &xqdst->req_header);
 552         ISP_IOXPUT_32(isp, xqsrc->req_handle, &xqdst->req_handle);
 553         if (ISP_IS_SBUS(isp)) {
 554                 ISP_IOXPUT_8(isp, xqsrc->req_lun_trn, &xqdst->req_target);
 555                 ISP_IOXPUT_8(isp, xqsrc->req_target, &xqdst->req_lun_trn);
 556         } else {
 557                 ISP_IOXPUT_8(isp, xqsrc->req_lun_trn, &xqdst->req_lun_trn);
 558                 ISP_IOXPUT_8(isp, xqsrc->req_target, &xqdst->req_target);
 559         }
 560         ISP_IOXPUT_16(isp, xqsrc->req_cdblen, &xqdst->req_cdblen);
 561         ISP_IOXPUT_16(isp, xqsrc->req_flags, &xqdst->req_flags);
 562         ISP_IOXPUT_16(isp, xqsrc->req_time, &xqdst->req_time);
 563         ISP_IOXPUT_16(isp, xqsrc->req_seg_count, &xqdst->req_seg_count);
 564         for (i = 0; i < 44; i++) {
 565                 ISP_IOXPUT_8(isp, xqsrc->req_cdb[i], &xqdst->req_cdb[i]);
 566         }
 567 }
 568
 569 static INLINE void
 570 isp_put_cont_req(struct ispsoftc *isp, ispcontreq_t *cqsrc, ispcontreq_t *cqdst)
 571 {
 572         int i;
 573         isp_copy_out_hdr(isp, &cqsrc->req_header, &cqdst->req_header);
 574         for (i = 0; i < ISP_CDSEG; i++) {
 575                 ISP_IOXPUT_32(isp, cqsrc->req_dataseg[i].ds_base,
 576                     &cqdst->req_dataseg[i].ds_base);
 577                 ISP_IOXPUT_32(isp, cqsrc->req_dataseg[i].ds_count,
 578                     &cqdst->req_dataseg[i].ds_count);
 579         }
 580 }
 581
 582 static INLINE void
 583 isp_put_cont64_req(struct ispsoftc *isp, ispcontreq64_t *cqsrc,
 584     ispcontreq64_t *cqdst)
 585 {
 586         int i;
 587         isp_copy_out_hdr(isp, &cqsrc->req_header, &cqdst->req_header);
 588         for (i = 0; i < ISP_CDSEG64; i++) {
 589                 ISP_IOXPUT_32(isp, cqsrc->req_dataseg[i].ds_base,
 590                     &cqdst->req_dataseg[i].ds_base);
 591                 ISP_IOXPUT_32(isp, cqsrc->req_dataseg[i].ds_basehi,
 592                     &cqdst->req_dataseg[i].ds_basehi);
 593                 ISP_IOXPUT_32(isp, cqsrc->req_dataseg[i].ds_count,
 594                     &cqdst->req_dataseg[i].ds_count);
 595         }
 596 }
 597
 598 static INLINE void
 599 isp_get_response(struct ispsoftc *isp, ispstatusreq_t *spsrc,
 600     ispstatusreq_t *spdst)
 601 {
 602         int i;
 603         isp_copy_in_hdr(isp, &spsrc->req_header, &spdst->req_header);
 604         ISP_IOXGET_32(isp, &spsrc->req_handle, spdst->req_handle);
 605         ISP_IOXGET_16(isp, &spsrc->req_scsi_status, spdst->req_scsi_status);
 606         ISP_IOXGET_16(isp, &spsrc->req_completion_status,
 607             spdst->req_completion_status);
 608         ISP_IOXGET_16(isp, &spsrc->req_state_flags, spdst->req_state_flags);
 609         ISP_IOXGET_16(isp, &spsrc->req_status_flags, spdst->req_status_flags);
 610         ISP_IOXGET_16(isp, &spsrc->req_time, spdst->req_time);
 611         ISP_IOXGET_16(isp, &spsrc->req_sense_len, spdst->req_sense_len);
 612         ISP_IOXGET_32(isp, &spsrc->req_resid, spdst->req_resid);
 613         for (i = 0; i < 8; i++) {
 614                 ISP_IOXGET_8(isp, &spsrc->req_response[i],
 615                     spdst->req_response[i]);
 616         }
 617         for (i = 0; i < 32; i++) {
 618                 ISP_IOXGET_8(isp, &spsrc->req_sense_data[i],
 619                     spdst->req_sense_data[i]);
 620         }
 621 }
 622
 623 static INLINE void
 624 isp_get_response_x(struct ispsoftc *isp, ispstatus_cont_t *cpsrc,
 625     ispstatus_cont_t *cpdst)
 626 {
 627         int i;
 628         isp_copy_in_hdr(isp, &cpsrc->req_header, &cpdst->req_header);
 629         for (i = 0; i < 60; i++) {
 630                 ISP_IOXGET_8(isp, &cpsrc->req_sense_data[i],
 631                     cpdst->req_sense_data[i]);
 632         }
 633 }
 634
 635 static INLINE void
 636 isp_get_rio2(struct ispsoftc *isp, isp_rio2_t *r2src, isp_rio2_t *r2dst)
 637 {
 638         int i;
 639         isp_copy_in_hdr(isp, &r2src->req_header, &r2dst->req_header);
 640         if (r2dst->req_header.rqs_seqno > 30)
 641                 r2dst->req_header.rqs_seqno = 30;
 642         for (i = 0; i < r2dst->req_header.rqs_seqno; i++) {
 643                 ISP_IOXGET_16(isp, &r2src->req_handles[i],
 644                     r2dst->req_handles[i]);
 645         }
 646         while (i < 30) {
 647                 r2dst->req_handles[i++] = 0;
 648         }
 649 }
 650
 651 static INLINE void
 652 isp_put_icb(struct ispsoftc *isp, isp_icb_t *Is, isp_icb_t *Id)
 653 {
 654         int i;
 655         if (ISP_IS_SBUS(isp)) {
 656                 ISP_IOXPUT_8(isp, Is->icb_version, &Id->_reserved0);
 657                 ISP_IOXPUT_8(isp, Is->_reserved0, &Id->icb_version);
 658         } else {
 659                 ISP_IOXPUT_8(isp, Is->icb_version, &Id->icb_version);
 660                 ISP_IOXPUT_8(isp, Is->_reserved0, &Id->_reserved0);
 661         }
 662         ISP_IOXPUT_16(isp, Is->icb_fwoptions, &Id->icb_fwoptions);
 663         ISP_IOXPUT_16(isp, Is->icb_maxfrmlen, &Id->icb_maxfrmlen);
 664         ISP_IOXPUT_16(isp, Is->icb_maxalloc, &Id->icb_maxalloc);
 665         ISP_IOXPUT_16(isp, Is->icb_execthrottle, &Id->icb_execthrottle);
 666         if (ISP_IS_SBUS(isp)) {
 667                 ISP_IOXPUT_8(isp, Is->icb_retry_count, &Id->icb_retry_delay);
 668                 ISP_IOXPUT_8(isp, Is->icb_retry_delay, &Id->icb_retry_count);
 669         } else {
 670                 ISP_IOXPUT_8(isp, Is->icb_retry_count, &Id->icb_retry_count);
 671                 ISP_IOXPUT_8(isp, Is->icb_retry_delay, &Id->icb_retry_delay);
 672         }
 673         for (i = 0; i < 8; i++) {
 674                 ISP_IOXPUT_8(isp, Is->icb_portname[i], &Id->icb_portname[i]);
 675         }
 676         ISP_IOXPUT_16(isp, Is->icb_hardaddr, &Id->icb_hardaddr);
 677         if (ISP_IS_SBUS(isp)) {
 678                 ISP_IOXPUT_8(isp, Is->icb_iqdevtype, &Id->icb_logintime);
 679                 ISP_IOXPUT_8(isp, Is->icb_logintime, &Id->icb_iqdevtype);
 680         } else {
 681                 ISP_IOXPUT_8(isp, Is->icb_iqdevtype, &Id->icb_iqdevtype);
 682                 ISP_IOXPUT_8(isp, Is->icb_logintime, &Id->icb_logintime);
 683         }
 684         for (i = 0; i < 8; i++) {
 685                 ISP_IOXPUT_8(isp, Is->icb_nodename[i], &Id->icb_nodename[i]);
 686         }
 687         ISP_IOXPUT_16(isp, Is->icb_rqstout, &Id->icb_rqstout);
 688         ISP_IOXPUT_16(isp, Is->icb_rspnsin, &Id->icb_rspnsin);
 689         ISP_IOXPUT_16(isp, Is->icb_rqstqlen, &Id->icb_rqstqlen);
 690         ISP_IOXPUT_16(isp, Is->icb_rsltqlen, &Id->icb_rsltqlen);
 691         for (i = 0; i < 4; i++) {
 692                 ISP_IOXPUT_16(isp, Is->icb_rqstaddr[i], &Id->icb_rqstaddr[i]);
 693         }
 694         for (i = 0; i < 4; i++) {
 695                 ISP_IOXPUT_16(isp, Is->icb_respaddr[i], &Id->icb_respaddr[i]);
 696         }
 697         ISP_IOXPUT_16(isp, Is->icb_lunenables, &Id->icb_lunenables);
 698         if (ISP_IS_SBUS(isp)) {
 699                 ISP_IOXPUT_8(isp, Is->icb_ccnt, &Id->icb_icnt);
 700                 ISP_IOXPUT_8(isp, Is->icb_icnt, &Id->icb_ccnt);
 701         } else {
 702                 ISP_IOXPUT_8(isp, Is->icb_ccnt, &Id->icb_ccnt);
 703                 ISP_IOXPUT_8(isp, Is->icb_icnt, &Id->icb_icnt);
 704         }
 705         ISP_IOXPUT_16(isp, Is->icb_lunetimeout, &Id->icb_lunetimeout);
 706         ISP_IOXPUT_16(isp, Is->icb_xfwoptions, &Id->icb_xfwoptions);
 707         if (ISP_IS_SBUS(isp)) {
 708                 ISP_IOXPUT_8(isp, Is->icb_racctimer, &Id->icb_idelaytimer);
 709                 ISP_IOXPUT_8(isp, Is->icb_idelaytimer, &Id->icb_racctimer);
 710         } else {
 711                 ISP_IOXPUT_8(isp, Is->icb_racctimer, &Id->icb_racctimer);
 712                 ISP_IOXPUT_8(isp, Is->icb_idelaytimer, &Id->icb_idelaytimer);
 713         }
 714         ISP_IOXPUT_16(isp, Is->icb_zfwoptions, &Id->icb_zfwoptions);
 715 }
 716
 717 static INLINE void
 718 isp_get_pdb(struct ispsoftc *isp, isp_pdb_t *src, isp_pdb_t *dst)
 719 {
 720         int i;
 721         ISP_IOXGET_16(isp, &src->pdb_options, dst->pdb_options);
 722         ISP_IOXGET_8(isp, &src->pdb_mstate, dst->pdb_mstate);
 723         ISP_IOXGET_8(isp, &src->pdb_sstate, dst->pdb_sstate);
 724         for (i = 0; i < 4; i++) {
 725                 ISP_IOXGET_8(isp, &src->pdb_hardaddr_bits[i],
 726                     dst->pdb_hardaddr_bits[i]);
 727         }
 728         for (i = 0; i < 4; i++) {
 729                 ISP_IOXGET_8(isp, &src->pdb_portid_bits[i],
 730                     dst->pdb_portid_bits[i]);
 731         }
 732         for (i = 0; i < 8; i++) {
 733                 ISP_IOXGET_8(isp, &src->pdb_nodename[i], dst->pdb_nodename[i]);
 734         }
 735         for (i = 0; i < 8; i++) {
 736                 ISP_IOXGET_8(isp, &src->pdb_portname[i], dst->pdb_portname[i]);
 737         }
 738         ISP_IOXGET_16(isp, &src->pdb_execthrottle, dst->pdb_execthrottle);
 739         ISP_IOXGET_16(isp, &src->pdb_exec_count, dst->pdb_exec_count);
 740         ISP_IOXGET_8(isp, &src->pdb_retry_count, dst->pdb_retry_count);
 741         ISP_IOXGET_8(isp, &src->pdb_retry_delay, dst->pdb_retry_delay);
 742         ISP_IOXGET_16(isp, &src->pdb_resalloc, dst->pdb_resalloc);
 743         ISP_IOXGET_16(isp, &src->pdb_curalloc, dst->pdb_curalloc);
 744         ISP_IOXGET_16(isp, &src->pdb_qhead, dst->pdb_qhead);
 745         ISP_IOXGET_16(isp, &src->pdb_qtail, dst->pdb_qtail);
 746         ISP_IOXGET_16(isp, &src->pdb_tl_next, dst->pdb_tl_next);
 747         ISP_IOXGET_16(isp, &src->pdb_tl_last, dst->pdb_tl_last);
 748         ISP_IOXGET_16(isp, &src->pdb_features, dst->pdb_features);
 749         ISP_IOXGET_16(isp, &src->pdb_pconcurrnt, dst->pdb_pconcurrnt);
 750         ISP_IOXGET_16(isp, &src->pdb_roi, dst->pdb_roi);
 751         ISP_IOXGET_8(isp, &src->pdb_target, dst->pdb_target);
 752         ISP_IOXGET_8(isp, &src->pdb_initiator, dst->pdb_initiator);
 753         ISP_IOXGET_16(isp, &src->pdb_rdsiz, dst->pdb_rdsiz);
 754         ISP_IOXGET_16(isp, &src->pdb_ncseq, dst->pdb_ncseq);
 755         ISP_IOXGET_16(isp, &src->pdb_noseq, dst->pdb_noseq);
 756         ISP_IOXGET_16(isp, &src->pdb_labrtflg, dst->pdb_labrtflg);
 757         ISP_IOXGET_16(isp, &src->pdb_lstopflg, dst->pdb_lstopflg);
 758         ISP_IOXGET_16(isp, &src->pdb_sqhead, dst->pdb_sqhead);
 759         ISP_IOXGET_16(isp, &src->pdb_sqtail, dst->pdb_sqtail);
 760         ISP_IOXGET_16(isp, &src->pdb_ptimer, dst->pdb_ptimer);
 761         ISP_IOXGET_16(isp, &src->pdb_nxt_seqid, dst->pdb_nxt_seqid);
 762         ISP_IOXGET_16(isp, &src->pdb_fcount, dst->pdb_fcount);
 763         ISP_IOXGET_16(isp, &src->pdb_prli_len, dst->pdb_prli_len);
 764         ISP_IOXGET_16(isp, &src->pdb_prli_svc0, dst->pdb_prli_svc0);
 765         ISP_IOXGET_16(isp, &src->pdb_prli_svc3, dst->pdb_prli_svc3);
 766         ISP_IOXGET_16(isp, &src->pdb_loopid, dst->pdb_loopid);
 767         ISP_IOXGET_16(isp, &src->pdb_il_ptr, dst->pdb_il_ptr);
 768         ISP_IOXGET_16(isp, &src->pdb_sl_ptr, dst->pdb_sl_ptr);
 769 }
 770
 771
 772 /*
 773  * CT_HDR canonicalization- only needed for SNS responses
 774  */
 775 static INLINE void
 776 isp_get_ct_hdr(struct ispsoftc *isp, ct_hdr_t *src, ct_hdr_t *dst)
 777 {
 778         ISP_IOXGET_8(isp, &src->ct_revision, dst->ct_revision);
 779         ISP_IOXGET_8(isp, &src->ct_portid[0], dst->ct_portid[0]);
 780         ISP_IOXGET_8(isp, &src->ct_portid[1], dst->ct_portid[1]);
 781         ISP_IOXGET_8(isp, &src->ct_portid[2], dst->ct_portid[2]);
 782         ISP_IOXGET_8(isp, &src->ct_fcs_type, dst->ct_fcs_type);
 783         ISP_IOXGET_8(isp, &src->ct_fcs_subtype, dst->ct_fcs_subtype);
 784         ISP_IOXGET_8(isp, &src->ct_options, dst->ct_options);
 785         ISP_IOXGET_8(isp, &src->ct_res0, dst->ct_res0);
 786         ISP_IOXGET_16(isp, &src->ct_response, dst->ct_response);
 787         dst->ct_response = (dst->ct_response << 8) | (dst->ct_response >> 8);
 788         ISP_IOXGET_16(isp, &src->ct_resid, dst->ct_resid);
 789         dst->ct_resid = (dst->ct_resid << 8) | (dst->ct_resid >> 8);
 790         ISP_IOXGET_8(isp, &src->ct_res1, dst->ct_res1);
 791         ISP_IOXGET_8(isp, &src->ct_reason, dst->ct_reason);
 792         ISP_IOXGET_8(isp, &src->ct_explanation, dst->ct_explanation);
 793         ISP_IOXGET_8(isp, &src->ct_vunique, dst->ct_vunique);
 794 }
 795
 796 /*
 797  * Generic SNS request - not particularly useful since the per-command data
 798  * isn't always 16 bit words.
 799  */
 800 static INLINE void
 801 isp_put_sns_request(struct ispsoftc *isp, sns_screq_t *src, sns_screq_t *dst)
 802 {
 803         int i, nw = (int) src->snscb_sblen;
 804         ISP_IOXPUT_16(isp, src->snscb_rblen, &dst->snscb_rblen);
 805         for (i = 0; i < 4; i++) {
 806                 ISP_IOXPUT_16(isp, src->snscb_addr[i], &dst->snscb_addr[i]);
 807         }
 808         ISP_IOXPUT_16(isp, src->snscb_sblen, &dst->snscb_sblen);
 809         for (i = 0; i < nw; i++) {
 810                 ISP_IOXPUT_16(isp, src->snscb_data[i], &dst->snscb_data[i]);
 811         }
 812
 813 }
 814
 815 static INLINE void
 816 isp_put_gid_ft_request(struct ispsoftc *isp, sns_gid_ft_req_t *src,
 817     sns_gid_ft_req_t *dst)
 818 {
 819         ISP_IOXPUT_16(isp, src->snscb_rblen, &dst->snscb_rblen);
 820         ISP_IOXPUT_16(isp, src->snscb_res0, &dst->snscb_res0);
 821         ISP_IOXPUT_16(isp, src->snscb_addr[0], &dst->snscb_addr[0]);
 822         ISP_IOXPUT_16(isp, src->snscb_addr[1], &dst->snscb_addr[1]);
 823         ISP_IOXPUT_16(isp, src->snscb_addr[2], &dst->snscb_addr[2]);
 824         ISP_IOXPUT_16(isp, src->snscb_addr[3], &dst->snscb_addr[3]);
 825         ISP_IOXPUT_16(isp, src->snscb_sblen, &dst->snscb_sblen);
 826         ISP_IOXPUT_16(isp, src->snscb_res1, &dst->snscb_res1);
 827         ISP_IOXPUT_16(isp, src->snscb_cmd, &dst->snscb_cmd);
 828         ISP_IOXPUT_16(isp, src->snscb_mword_div_2, &dst->snscb_mword_div_2);
 829         ISP_IOXPUT_32(isp, src->snscb_res3, &dst->snscb_res3);
 830         ISP_IOXPUT_32(isp, src->snscb_fc4_type, &dst->snscb_fc4_type);
 831 }
 832
 833 static INLINE void
 834 isp_put_gxn_id_request(struct ispsoftc *isp, sns_gxn_id_req_t *src,
 835     sns_gxn_id_req_t *dst)
 836 {
 837         ISP_IOXPUT_16(isp, src->snscb_rblen, &dst->snscb_rblen);
 838         ISP_IOXPUT_16(isp, src->snscb_res0, &dst->snscb_res0);
 839         ISP_IOXPUT_16(isp, src->snscb_addr[0], &dst->snscb_addr[0]);
 840         ISP_IOXPUT_16(isp, src->snscb_addr[1], &dst->snscb_addr[1]);
 841         ISP_IOXPUT_16(isp, src->snscb_addr[2], &dst->snscb_addr[2]);
 842         ISP_IOXPUT_16(isp, src->snscb_addr[3], &dst->snscb_addr[3]);
 843         ISP_IOXPUT_16(isp, src->snscb_sblen, &dst->snscb_sblen);
 844         ISP_IOXPUT_16(isp, src->snscb_res1, &dst->snscb_res1);
 845         ISP_IOXPUT_16(isp, src->snscb_cmd, &dst->snscb_cmd);
 846         ISP_IOXPUT_16(isp, src->snscb_res2, &dst->snscb_res2);
 847         ISP_IOXPUT_32(isp, src->snscb_res3, &dst->snscb_res3);
 848         ISP_IOXPUT_32(isp, src->snscb_portid, &dst->snscb_portid);
 849 }
 850
 851 /*
 852  * Generic SNS response - not particularly useful since the per-command data
 853  * isn't always 16 bit words.
 854  */
 855 static INLINE void
 856 isp_get_sns_response(struct ispsoftc *isp, sns_scrsp_t *src,
 857     sns_scrsp_t *dst, int nwords)
 858 {
 859         int i;
 860         isp_get_ct_hdr(isp, &src->snscb_cthdr, &dst->snscb_cthdr);
 861         ISP_IOXGET_8(isp, &src->snscb_port_type, dst->snscb_port_type);
 862         for (i = 0; i < 3; i++) {
 863                 ISP_IOXGET_8(isp, &src->snscb_port_id[i],
 864                     dst->snscb_port_id[i]);
 865         }
 866         for (i = 0; i < 8; i++) {
 867                 ISP_IOXGET_8(isp, &src->snscb_portname[i],
 868                     dst->snscb_portname[i]);
 869         }
 870         for (i = 0; i < nwords; i++) {
 871                 ISP_IOXGET_16(isp, &src->snscb_data[i], dst->snscb_data[i]);
 872         }
 873 }
 874
 875 static INLINE void
 876 isp_get_gid_ft_response(struct ispsoftc *isp, sns_gid_ft_rsp_t *src,
 877     sns_gid_ft_rsp_t *dst, int nwords)
 878 {
 879         int i;
 880         isp_get_ct_hdr(isp, &src->snscb_cthdr, &dst->snscb_cthdr);
 881         for (i = 0; i < nwords; i++) {
 882                 int j;
 883                 ISP_IOXGET_8(isp,
 884                     &src->snscb_ports[i].control,
 885                     dst->snscb_ports[i].control);
 886                 for (j = 0; j < 3; j++) {
 887                         ISP_IOXGET_8(isp,
 888                             &src->snscb_ports[i].portid[j],
 889                             dst->snscb_ports[i].portid[j]);
 890                 }
 891                 if (dst->snscb_ports[i].control & 0x80) {
 892                         break;
 893                 }
 894         }
 895 }
 896
 897 static INLINE void
 898 isp_get_gxn_id_response(struct ispsoftc *isp, sns_gxn_id_rsp_t *src,
 899     sns_gxn_id_rsp_t *dst)
 900 {
 901         int i;
 902         isp_get_ct_hdr(isp, &src->snscb_cthdr, &dst->snscb_cthdr);
 903         for (i = 0; i < 8; i++)
 904                 ISP_IOXGET_8(isp, &src->snscb_wwn[i], dst->snscb_wwn[i]);
 905 }
 906
 907 static INLINE void
 908 isp_get_gff_id_response(struct ispsoftc *isp, sns_gff_id_rsp_t *src,
 909     sns_gff_id_rsp_t *dst)
 910 {
 911         int i;
 912         isp_get_ct_hdr(isp, &src->snscb_cthdr, &dst->snscb_cthdr);
 913         for (i = 0; i < 32; i++) {
 914                 ISP_IOXGET_32(isp, &src->snscb_fc4_features[i],
 915                     dst->snscb_fc4_features[i]);
 916         }
 917 }
 918
 919 static INLINE void
 920 isp_get_ga_nxt_response(struct ispsoftc *isp, sns_ga_nxt_rsp_t *src,
 921     sns_ga_nxt_rsp_t *dst)
 922 {
 923         int i;
 924         isp_get_ct_hdr(isp, &src->snscb_cthdr, &dst->snscb_cthdr);
 925         ISP_IOXGET_8(isp, &src->snscb_port_type, dst->snscb_port_type);
 926         for (i = 0; i < 3; i++) {
 927                 ISP_IOXGET_8(isp, &src->snscb_port_id[i],
 928                     dst->snscb_port_id[i]);
 929         }
 930         for (i = 0; i < 8; i++) {
 931                 ISP_IOXGET_8(isp, &src->snscb_portname[i],
 932                     dst->snscb_portname[i]);
 933         }
 934         ISP_IOXGET_8(isp, &src->snscb_pnlen, dst->snscb_pnlen);
 935         for (i = 0; i < 255; i++) {
 936                 ISP_IOXGET_8(isp, &src->snscb_pname[i], dst->snscb_pname[i]);
 937         }
 938         for (i = 0; i < 8; i++) {
 939                 ISP_IOXGET_8(isp, &src->snscb_nodename[i],
 940                     dst->snscb_nodename[i]);
 941         }
 942         ISP_IOXGET_8(isp, &src->snscb_nnlen, dst->snscb_nnlen);
 943         for (i = 0; i < 255; i++) {
 944                 ISP_IOXGET_8(isp, &src->snscb_nname[i], dst->snscb_nname[i]);
 945         }
 946         for (i = 0; i < 8; i++) {
 947                 ISP_IOXGET_8(isp, &src->snscb_ipassoc[i],
 948                     dst->snscb_ipassoc[i]);
 949         }
 950         for (i = 0; i < 16; i++) {
 951                 ISP_IOXGET_8(isp, &src->snscb_ipaddr[i], dst->snscb_ipaddr[i]);
 952         }
 953         for (i = 0; i < 4; i++) {
 954                 ISP_IOXGET_8(isp, &src->snscb_svc_class[i],
 955                     dst->snscb_svc_class[i]);
 956         }
 957         for (i = 0; i < 32; i++) {
 958                 ISP_IOXGET_8(isp, &src->snscb_fc4_types[i],
 959                     dst->snscb_fc4_types[i]);
 960         }
 961         for (i = 0; i < 8; i++) {
 962                 ISP_IOXGET_8(isp, &src->snscb_fpname[i], dst->snscb_fpname[i]);
 963         }
 964         ISP_IOXGET_8(isp, &src->snscb_reserved, dst->snscb_reserved);
 965         for (i = 0; i < 3; i++) {
 966                 ISP_IOXGET_8(isp, &src->snscb_hardaddr[i],
 967                     dst->snscb_hardaddr[i]);
 968         }
 969 }
 970
 971 #ifdef  ISP_TARGET_MODE
 972 static INLINE void
 973 isp_put_atio(struct ispsoftc *isp, at_entry_t *atsrc, at_entry_t *atdst)
 974 {
 975         int i;
 976         isp_copy_out_hdr(isp, &atsrc->at_header, &atdst->at_header);
 977         ISP_IOXPUT_16(isp, atsrc->at_reserved, &atdst->at_reserved);
 978         ISP_IOXPUT_16(isp, atsrc->at_handle, &atdst->at_handle);
 979         if (ISP_IS_SBUS(isp)) {
 980                 ISP_IOXPUT_8(isp, atsrc->at_lun, &atdst->at_iid);
 981                 ISP_IOXPUT_8(isp, atsrc->at_iid, &atdst->at_lun);
 982                 ISP_IOXPUT_8(isp, atsrc->at_cdblen, &atdst->at_tgt);
 983                 ISP_IOXPUT_8(isp, atsrc->at_tgt, &atdst->at_cdblen);
 984                 ISP_IOXPUT_8(isp, atsrc->at_status, &atdst->at_scsi_status);
 985                 ISP_IOXPUT_8(isp, atsrc->at_scsi_status, &atdst->at_status);
 986                 ISP_IOXPUT_8(isp, atsrc->at_tag_val, &atdst->at_tag_type);
 987                 ISP_IOXPUT_8(isp, atsrc->at_tag_type, &atdst->at_tag_val);
 988         } else {
 989                 ISP_IOXPUT_8(isp, atsrc->at_lun, &atdst->at_lun);
 990                 ISP_IOXPUT_8(isp, atsrc->at_iid, &atdst->at_iid);
 991                 ISP_IOXPUT_8(isp, atsrc->at_cdblen, &atdst->at_cdblen);
 992                 ISP_IOXPUT_8(isp, atsrc->at_tgt, &atdst->at_tgt);
 993                 ISP_IOXPUT_8(isp, atsrc->at_status, &atdst->at_status);
 994                 ISP_IOXPUT_8(isp, atsrc->at_scsi_status,
 995                     &atdst->at_scsi_status);
 996                 ISP_IOXPUT_8(isp, atsrc->at_tag_val, &atdst->at_tag_val);
 997                 ISP_IOXPUT_8(isp, atsrc->at_tag_type, &atdst->at_tag_type);
 998         }
 999         ISP_IOXPUT_32(isp, atsrc->at_flags, &atdst->at_flags);
1000         for (i = 0; i < ATIO_CDBLEN; i++) {
1001                 ISP_IOXPUT_8(isp, atsrc->at_cdb[i], &atdst->at_cdb[i]);
1002         }
1003         for (i = 0; i < QLTM_SENSELEN; i++) {
1004                 ISP_IOXPUT_8(isp, atsrc->at_sense[i], &atdst->at_sense[i]);
1005         }
1006 }
1007
1008 static INLINE void
1009 isp_get_atio(struct ispsoftc *isp, at_entry_t *atsrc, at_entry_t *atdst)
1010 {
1011         int i;
1012         isp_copy_in_hdr(isp, &atsrc->at_header, &atdst->at_header);
1013         ISP_IOXGET_16(isp, &atsrc->at_reserved, atdst->at_reserved);
1014         ISP_IOXGET_16(isp, &atsrc->at_handle, atdst->at_handle);
1015         if (ISP_IS_SBUS(isp)) {
1016                 ISP_IOXGET_8(isp, &atsrc->at_lun, atdst->at_iid);
1017                 ISP_IOXGET_8(isp, &atsrc->at_iid, atdst->at_lun);
1018                 ISP_IOXGET_8(isp, &atsrc->at_cdblen, atdst->at_tgt);
1019                 ISP_IOXGET_8(isp, &atsrc->at_tgt, atdst->at_cdblen);
1020                 ISP_IOXGET_8(isp, &atsrc->at_status, atdst->at_scsi_status);
1021                 ISP_IOXGET_8(isp, &atsrc->at_scsi_status, atdst->at_status);
1022                 ISP_IOXGET_8(isp, &atsrc->at_tag_val, atdst->at_tag_type);
1023                 ISP_IOXGET_8(isp, &atsrc->at_tag_type, atdst->at_tag_val);
1024         } else {
1025                 ISP_IOXGET_8(isp, &atsrc->at_lun, atdst->at_lun);
1026                 ISP_IOXGET_8(isp, &atsrc->at_iid, atdst->at_iid);
1027                 ISP_IOXGET_8(isp, &atsrc->at_cdblen, atdst->at_cdblen);
1028                 ISP_IOXGET_8(isp, &atsrc->at_tgt, atdst->at_tgt);
1029                 ISP_IOXGET_8(isp, &atsrc->at_status, atdst->at_status);
1030                 ISP_IOXGET_8(isp, &atsrc->at_scsi_status,
1031                     atdst->at_scsi_status);
1032                 ISP_IOXGET_8(isp, &atsrc->at_tag_val, atdst->at_tag_val);
1033                 ISP_IOXGET_8(isp, &atsrc->at_tag_type, atdst->at_tag_type);
1034         }
1035         ISP_IOXGET_32(isp, &atsrc->at_flags, atdst->at_flags);
1036         for (i = 0; i < ATIO_CDBLEN; i++) {
1037                 ISP_IOXGET_8(isp, &atsrc->at_cdb[i], atdst->at_cdb[i]);
1038         }
1039         for (i = 0; i < QLTM_SENSELEN; i++) {
1040                 ISP_IOXGET_8(isp, &atsrc->at_sense[i], atdst->at_sense[i]);
1041         }
1042 }
1043
1044 static INLINE void
1045 isp_put_atio2(struct ispsoftc *isp, at2_entry_t *atsrc, at2_entry_t *atdst)
1046 {
1047         int i;
1048         isp_copy_out_hdr(isp, &atsrc->at_header, &atdst->at_header);
1049         ISP_IOXPUT_32(isp, atsrc->at_reserved, &atdst->at_reserved);
1050         ISP_IOXPUT_8(isp, atsrc->at_lun, &atdst->at_lun);
1051         ISP_IOXPUT_8(isp, atsrc->at_iid, &atdst->at_iid);
1052         ISP_IOXPUT_16(isp, atsrc->at_rxid, &atdst->at_rxid);
1053         ISP_IOXPUT_16(isp, atsrc->at_flags, &atdst->at_flags);
1054         ISP_IOXPUT_16(isp, atsrc->at_status, &atdst->at_status);
1055         ISP_IOXPUT_8(isp, atsrc->at_crn, &atdst->at_crn);
1056         ISP_IOXPUT_8(isp, atsrc->at_taskcodes, &atdst->at_taskcodes);
1057         ISP_IOXPUT_8(isp, atsrc->at_taskflags, &atdst->at_taskflags);
1058         ISP_IOXPUT_8(isp, atsrc->at_execodes, &atdst->at_execodes);
1059         for (i = 0; i < ATIO2_CDBLEN; i++) {
1060                 ISP_IOXPUT_8(isp, atsrc->at_cdb[i], &atdst->at_cdb[i]);
1061         }
1062         ISP_IOXPUT_32(isp, atsrc->at_datalen, &atdst->at_datalen);
1063         ISP_IOXPUT_16(isp, atsrc->at_scclun, &atdst->at_scclun);
1064         for (i = 0; i < 4; i++) {
1065                 ISP_IOXPUT_16(isp, atsrc->at_wwpn[i], &atdst->at_wwpn[i]);
1066         }
1067         for (i = 0; i < 6; i++) {
1068                 ISP_IOXPUT_16(isp, atsrc->at_reserved2[i],
1069                     &atdst->at_reserved2[i]);
1070         }
1071         ISP_IOXPUT_16(isp, atsrc->at_oxid, &atdst->at_oxid);
1072 }
1073
1074 static INLINE void
1075 isp_get_atio2(struct ispsoftc *isp, at2_entry_t *atsrc, at2_entry_t *atdst)
1076 {
1077         int i;
1078         isp_copy_in_hdr(isp, &atsrc->at_header, &atdst->at_header);
1079         ISP_IOXGET_32(isp, &atsrc->at_reserved, atdst->at_reserved);
1080         ISP_IOXGET_8(isp, &atsrc->at_lun, atdst->at_lun);
1081         ISP_IOXGET_8(isp, &atsrc->at_iid, atdst->at_iid);
1082         ISP_IOXGET_16(isp, &atsrc->at_rxid, atdst->at_rxid);
1083         ISP_IOXGET_16(isp, &atsrc->at_flags, atdst->at_flags);
1084         ISP_IOXGET_16(isp, &atsrc->at_status, atdst->at_status);
1085         ISP_IOXGET_8(isp, &atsrc->at_crn, atdst->at_crn);
1086         ISP_IOXGET_8(isp, &atsrc->at_taskcodes, atdst->at_taskcodes);
1087         ISP_IOXGET_8(isp, &atsrc->at_taskflags, atdst->at_taskflags);
1088         ISP_IOXGET_8(isp, &atsrc->at_execodes, atdst->at_execodes);
1089         for (i = 0; i < ATIO2_CDBLEN; i++) {
1090                 ISP_IOXGET_8(isp, &atsrc->at_cdb[i], atdst->at_cdb[i]);
1091         }
1092         ISP_IOXGET_32(isp, &atsrc->at_datalen, atdst->at_datalen);
1093         ISP_IOXGET_16(isp, &atsrc->at_scclun, atdst->at_scclun);
1094         for (i = 0; i < 4; i++) {
1095                 ISP_IOXGET_16(isp, &atsrc->at_wwpn[i], atdst->at_wwpn[i]);
1096         }
1097         for (i = 0; i < 6; i++) {
1098                 ISP_IOXGET_16(isp, &atsrc->at_reserved2[i],
1099                     atdst->at_reserved2[i]);
1100         }
1101         ISP_IOXGET_16(isp, &atsrc->at_oxid, atdst->at_oxid);
1102 }
1103
1104 static INLINE void
1105 isp_put_ctio(struct ispsoftc *isp, ct_entry_t *ctsrc, ct_entry_t *ctdst)
1106 {
1107         int i;
1108         isp_copy_out_hdr(isp, &ctsrc->ct_header, &ctdst->ct_header);
1109         ISP_IOXPUT_16(isp, ctsrc->ct_reserved, &ctdst->ct_reserved);
1110         ISP_IOXPUT_16(isp, ctsrc->ct_fwhandle, &ctdst->ct_fwhandle);
1111         if (ISP_IS_SBUS(isp)) {
1112                 ISP_IOXPUT_8(isp, ctsrc->ct_iid, &ctdst->ct_lun);
1113                 ISP_IOXPUT_8(isp, ctsrc->ct_lun, &ctdst->ct_iid);
1114                 ISP_IOXPUT_8(isp, ctsrc->ct_tgt, &ctdst->ct_reserved2);
1115                 ISP_IOXPUT_8(isp, ctsrc->ct_reserved2, &ctdst->ct_tgt);
1116                 ISP_IOXPUT_8(isp, ctsrc->ct_status, &ctdst->ct_scsi_status);
1117                 ISP_IOXPUT_8(isp, ctsrc->ct_scsi_status, &ctdst->ct_status);
1118                 ISP_IOXPUT_8(isp, ctsrc->ct_tag_type, &ctdst->ct_tag_val);
1119                 ISP_IOXPUT_8(isp, ctsrc->ct_tag_val, &ctdst->ct_tag_type);
1120         } else {
1121                 ISP_IOXPUT_8(isp, ctsrc->ct_iid, &ctdst->ct_iid);
1122                 ISP_IOXPUT_8(isp, ctsrc->ct_lun, &ctdst->ct_lun);
1123                 ISP_IOXPUT_8(isp, ctsrc->ct_tgt, &ctdst->ct_tgt);
1124                 ISP_IOXPUT_8(isp, ctsrc->ct_reserved2, &ctdst->ct_reserved2);
1125                 ISP_IOXPUT_8(isp, ctsrc->ct_scsi_status,
1126                     &ctdst->ct_scsi_status);
1127                 ISP_IOXPUT_8(isp, ctsrc->ct_status, &ctdst->ct_status);
1128                 ISP_IOXPUT_8(isp, ctsrc->ct_tag_type, &ctdst->ct_tag_type);
1129                 ISP_IOXPUT_8(isp, ctsrc->ct_tag_val, &ctdst->ct_tag_val);
1130         }
1131         ISP_IOXPUT_32(isp, ctsrc->ct_flags, &ctdst->ct_flags);
1132         ISP_IOXPUT_32(isp, ctsrc->ct_xfrlen, &ctdst->ct_xfrlen);
1133         ISP_IOXPUT_32(isp, ctsrc->ct_resid, &ctdst->ct_resid);
1134         ISP_IOXPUT_16(isp, ctsrc->ct_timeout, &ctdst->ct_timeout);
1135         ISP_IOXPUT_16(isp, ctsrc->ct_seg_count, &ctdst->ct_seg_count);
1136         for (i = 0; i < ISP_RQDSEG; i++) {
1137                 ISP_IOXPUT_32(isp, ctsrc->ct_dataseg[i].ds_base,
1138                     &ctdst->ct_dataseg[i].ds_base);
1139                 ISP_IOXPUT_32(isp, ctsrc->ct_dataseg[i].ds_count,
1140                     &ctdst->ct_dataseg[i].ds_count);
1141         }
1142 }
1143
1144 static INLINE void
1145 isp_get_ctio(struct ispsoftc *isp, ct_entry_t *ctsrc, ct_entry_t *ctdst)
1146 {
1147         int i;
1148         isp_copy_in_hdr(isp, &ctsrc->ct_header, &ctdst->ct_header);
1149         ISP_IOXGET_16(isp, &ctsrc->ct_reserved, ctdst->ct_reserved);
1150         ISP_IOXGET_16(isp, &ctsrc->ct_fwhandle, ctdst->ct_fwhandle);
1151         if (ISP_IS_SBUS(isp)) {
1152                 ISP_IOXGET_8(isp, &ctsrc->ct_lun, ctdst->ct_iid);
1153                 ISP_IOXGET_8(isp, &ctsrc->ct_iid, ctdst->ct_lun);
1154                 ISP_IOXGET_8(isp, &ctsrc->ct_reserved2, ctdst->ct_tgt);
1155                 ISP_IOXGET_8(isp, &ctsrc->ct_tgt, ctdst->ct_reserved2);
1156                 ISP_IOXGET_8(isp, &ctsrc->ct_status, ctdst->ct_scsi_status);
1157                 ISP_IOXGET_8(isp, &ctsrc->ct_scsi_status, ctdst->ct_status);
1158                 ISP_IOXGET_8(isp, &ctsrc->ct_tag_val, ctdst->ct_tag_type);
1159                 ISP_IOXGET_8(isp, &ctsrc->ct_tag_type, ctdst->ct_tag_val);
1160         } else {
1161                 ISP_IOXGET_8(isp, &ctsrc->ct_lun, ctdst->ct_lun);
1162                 ISP_IOXGET_8(isp, &ctsrc->ct_iid, ctdst->ct_iid);
1163                 ISP_IOXGET_8(isp, &ctsrc->ct_reserved2, ctdst->ct_reserved2);
1164                 ISP_IOXGET_8(isp, &ctsrc->ct_tgt, ctdst->ct_tgt);
1165                 ISP_IOXGET_8(isp, &ctsrc->ct_status, ctdst->ct_status);
1166                 ISP_IOXGET_8(isp, &ctsrc->ct_scsi_status,
1167                     ctdst->ct_scsi_status);
1168                 ISP_IOXGET_8(isp, &ctsrc->ct_tag_val, ctdst->ct_tag_val);
1169                 ISP_IOXGET_8(isp, &ctsrc->ct_tag_type, ctdst->ct_tag_type);
1170         }
1171         ISP_IOXGET_32(isp, &ctsrc->ct_flags, ctdst->ct_flags);
1172         ISP_IOXGET_32(isp, &ctsrc->ct_xfrlen, ctdst->ct_xfrlen);
1173         ISP_IOXGET_32(isp, &ctsrc->ct_resid, ctdst->ct_resid);
1174         ISP_IOXGET_16(isp, &ctsrc->ct_timeout, ctdst->ct_timeout);
1175         ISP_IOXGET_16(isp, &ctsrc->ct_seg_count, ctdst->ct_seg_count);
1176         for (i = 0; i < ISP_RQDSEG; i++) {
1177                 ISP_IOXGET_32(isp,
1178                     &ctsrc->ct_dataseg[i].ds_base,
1179                     ctdst->ct_dataseg[i].ds_base);
1180                 ISP_IOXGET_32(isp,
1181                     &ctsrc->ct_dataseg[i].ds_count,
1182                     ctdst->ct_dataseg[i].ds_count);
1183         }
1184 }
1185
1186 static INLINE void
1187 isp_put_ctio2(struct ispsoftc *isp, ct2_entry_t *ctsrc, ct2_entry_t *ctdst)
1188 {
1189         int i;
1190         isp_copy_out_hdr(isp, &ctsrc->ct_header, &ctdst->ct_header);
1191         ISP_IOXPUT_16(isp, ctsrc->ct_reserved, &ctdst->ct_reserved);
1192         ISP_IOXPUT_16(isp, ctsrc->ct_fwhandle, &ctdst->ct_fwhandle);
1193         ISP_IOXPUT_8(isp, ctsrc->ct_lun, &ctdst->ct_lun);
1194         ISP_IOXPUT_8(isp, ctsrc->ct_iid, &ctdst->ct_iid);
1195         ISP_IOXPUT_16(isp, ctsrc->ct_rxid, &ctdst->ct_rxid);
1196         ISP_IOXPUT_16(isp, ctsrc->ct_flags, &ctdst->ct_flags);
1197         ISP_IOXPUT_16(isp, ctsrc->ct_timeout, &ctdst->ct_timeout);
1198         ISP_IOXPUT_16(isp, ctsrc->ct_seg_count, &ctdst->ct_seg_count);
1199         ISP_IOXPUT_32(isp, ctsrc->ct_resid, &ctdst->ct_resid);
1200         ISP_IOXPUT_32(isp, ctsrc->ct_reloff, &ctdst->ct_reloff);
1201         if ((ctsrc->ct_flags & CT2_FLAG_MMASK) == CT2_FLAG_MODE0) {
1202                 ISP_IOXPUT_32(isp, ctsrc->rsp.m0._reserved,
1203                     &ctdst->rsp.m0._reserved);
1204                 ISP_IOXPUT_16(isp, ctsrc->rsp.m0._reserved2,
1205                     &ctdst->rsp.m0._reserved2);
1206                 ISP_IOXPUT_16(isp, ctsrc->rsp.m0.ct_scsi_status,
1207                     &ctdst->rsp.m0.ct_scsi_status);
1208                 ISP_IOXPUT_32(isp, ctsrc->rsp.m0.ct_xfrlen,
1209                     &ctdst->rsp.m0.ct_xfrlen);
1210                 if (ctsrc->ct_header.rqs_entry_type == RQSTYPE_CTIO2) {
1211                         for (i = 0; i < ISP_RQDSEG_T2; i++) {
1212                                 ISP_IOXPUT_32(isp,
1213                                     ctsrc->rsp.m0.ct_dataseg[i].ds_base,
1214                                     &ctdst->rsp.m0.ct_dataseg[i].ds_base);
1215                                 ISP_IOXPUT_32(isp,
1216                                     ctsrc->rsp.m0.ct_dataseg[i].ds_count,
1217                                     &ctdst->rsp.m0.ct_dataseg[i].ds_count);
1218                         }
1219                 } else if (ctsrc->ct_header.rqs_entry_type == RQSTYPE_CTIO3) {
1220                         for (i = 0; i < ISP_RQDSEG_T3; i++) {
1221                                 ISP_IOXPUT_32(isp,
1222                                     ctsrc->rsp.m0.ct_dataseg64[i].ds_base,
1223                                     &ctdst->rsp.m0.ct_dataseg64[i].ds_base);
1224                                 ISP_IOXPUT_32(isp,
1225                                     ctsrc->rsp.m0.ct_dataseg64[i].ds_basehi,
1226                                     &ctdst->rsp.m0.ct_dataseg64[i].ds_basehi);
1227                                 ISP_IOXPUT_32(isp,
1228                                     ctsrc->rsp.m0.ct_dataseg64[i].ds_count,
1229                                     &ctdst->rsp.m0.ct_dataseg64[i].ds_count);
1230                         }
1231                 } else if (ctsrc->ct_header.rqs_entry_type == RQSTYPE_CTIO4) {
1232                         ISP_IOXPUT_16(isp, ctsrc->rsp.m0.ct_dslist.ds_type,
1233                             &ctdst->rsp.m0.ct_dslist.ds_type);
1234                         ISP_IOXPUT_32(isp, ctsrc->rsp.m0.ct_dslist.ds_segment,
1235                             &ctdst->rsp.m0.ct_dslist.ds_segment);
1236                         ISP_IOXPUT_32(isp, ctsrc->rsp.m0.ct_dslist.ds_base,
1237                             &ctdst->rsp.m0.ct_dslist.ds_base);
1238                 }
1239         } else if ((ctsrc->ct_flags & CT2_FLAG_MMASK) == CT2_FLAG_MODE1) {
1240                 ISP_IOXPUT_16(isp, ctsrc->rsp.m1._reserved,
1241                     &ctdst->rsp.m1._reserved);
1242                 ISP_IOXPUT_16(isp, ctsrc->rsp.m1._reserved2,
1243                     &ctdst->rsp.m1._reserved2);
1244                 ISP_IOXPUT_16(isp, ctsrc->rsp.m1.ct_senselen,
1245                     &ctdst->rsp.m1.ct_senselen);
1246                 ISP_IOXPUT_16(isp, ctsrc->rsp.m1.ct_scsi_status,
1247                     &ctdst->rsp.m1.ct_scsi_status);
1248                 ISP_IOXPUT_16(isp, ctsrc->rsp.m1.ct_resplen,
1249                     &ctdst->rsp.m1.ct_resplen);
1250                 for (i = 0; i < MAXRESPLEN; i++) {
1251                         ISP_IOXPUT_8(isp, ctsrc->rsp.m1.ct_resp[i],
1252                             &ctdst->rsp.m1.ct_resp[i]);
1253                 }
1254         } else {
1255                 ISP_IOXPUT_32(isp, ctsrc->rsp.m2._reserved,
1256                     &ctdst->rsp.m2._reserved);
1257                 ISP_IOXPUT_16(isp, ctsrc->rsp.m2._reserved2,
1258                     &ctdst->rsp.m2._reserved2);
1259                 ISP_IOXPUT_16(isp, ctsrc->rsp.m2._reserved3,
1260                     &ctdst->rsp.m2._reserved3);
1261                 ISP_IOXPUT_32(isp, ctsrc->rsp.m2.ct_datalen,
1262                     &ctdst->rsp.m2.ct_datalen);
1263                 ISP_IOXPUT_32(isp, ctsrc->rsp.m2.ct_fcp_rsp_iudata.ds_base,
1264                     &ctdst->rsp.m2.ct_fcp_rsp_iudata.ds_base);
1265                 ISP_IOXPUT_32(isp, ctsrc->rsp.m2.ct_fcp_rsp_iudata.ds_count,
1266                     &ctdst->rsp.m2.ct_fcp_rsp_iudata.ds_count);
1267         }
1268 }
1269
1270 static INLINE void
1271 isp_get_ctio2(struct ispsoftc *isp, ct2_entry_t *ctsrc, ct2_entry_t *ctdst)
1272 {
1273         isp_copy_in_hdr(isp, &ctsrc->ct_header, &ctdst->ct_header);
1274         ISP_IOXGET_16(isp, &ctsrc->ct_reserved, ctdst->ct_reserved);
1275         ISP_IOXGET_16(isp, &ctsrc->ct_fwhandle, ctdst->ct_fwhandle);
1276         ISP_IOXGET_8(isp, &ctsrc->ct_lun, ctdst->ct_lun);
1277         ISP_IOXGET_8(isp, &ctsrc->ct_iid, ctdst->ct_iid);
1278         ISP_IOXGET_16(isp, &ctsrc->ct_rxid, ctdst->ct_rxid);
1279         ISP_IOXGET_16(isp, &ctsrc->ct_flags, ctdst->ct_flags);
1280         ISP_IOXGET_16(isp, &ctsrc->ct_status, ctdst->ct_status);
1281         ISP_IOXGET_16(isp, &ctsrc->ct_timeout, ctdst->ct_timeout);
1282         ISP_IOXGET_16(isp, &ctsrc->ct_seg_count, ctdst->ct_seg_count);
1283         ISP_IOXGET_32(isp, &ctsrc->ct_reloff, ctdst->ct_reloff);
1284         ISP_IOXGET_32(isp, &ctsrc->ct_resid, ctdst->ct_resid);
1285 }
1286
1287 static INLINE void
1288 isp_put_enable_lun(struct ispsoftc *isp, lun_entry_t *lesrc, lun_entry_t *ledst)
1289 {
1290         int i;
1291         isp_copy_out_hdr(isp, &lesrc->le_header, &ledst->le_header);
1292         ISP_IOXPUT_32(isp, lesrc->le_reserved, &ledst->le_reserved);
1293         if (ISP_IS_SBUS(isp)) {
1294                 ISP_IOXPUT_8(isp, lesrc->le_lun, &ledst->le_rsvd);
1295                 ISP_IOXPUT_8(isp, lesrc->le_rsvd, &ledst->le_lun);
1296                 ISP_IOXPUT_8(isp, lesrc->le_ops, &ledst->le_tgt);
1297                 ISP_IOXPUT_8(isp, lesrc->le_tgt, &ledst->le_ops);
1298                 ISP_IOXPUT_8(isp, lesrc->le_status, &ledst->le_reserved2);
1299                 ISP_IOXPUT_8(isp, lesrc->le_reserved2, &ledst->le_status);
1300                 ISP_IOXPUT_8(isp, lesrc->le_cmd_count, &ledst->le_in_count);
1301                 ISP_IOXPUT_8(isp, lesrc->le_in_count, &ledst->le_cmd_count);
1302                 ISP_IOXPUT_8(isp, lesrc->le_cdb6len, &ledst->le_cdb7len);
1303                 ISP_IOXPUT_8(isp, lesrc->le_cdb7len, &ledst->le_cdb6len);
1304         } else {
1305                 ISP_IOXPUT_8(isp, lesrc->le_lun, &ledst->le_lun);
1306                 ISP_IOXPUT_8(isp, lesrc->le_rsvd, &ledst->le_rsvd);
1307                 ISP_IOXPUT_8(isp, lesrc->le_ops, &ledst->le_ops);
1308                 ISP_IOXPUT_8(isp, lesrc->le_tgt, &ledst->le_tgt);
1309                 ISP_IOXPUT_8(isp, lesrc->le_status, &ledst->le_status);
1310                 ISP_IOXPUT_8(isp, lesrc->le_reserved2, &ledst->le_reserved2);
1311                 ISP_IOXPUT_8(isp, lesrc->le_cmd_count, &ledst->le_cmd_count);
1312                 ISP_IOXPUT_8(isp, lesrc->le_in_count, &ledst->le_in_count);
1313                 ISP_IOXPUT_8(isp, lesrc->le_cdb6len, &ledst->le_cdb6len);
1314                 ISP_IOXPUT_8(isp, lesrc->le_cdb7len, &ledst->le_cdb7len);
1315         }
1316         ISP_IOXPUT_32(isp, lesrc->le_flags, &ledst->le_flags);
1317         ISP_IOXPUT_16(isp, lesrc->le_timeout, &ledst->le_timeout);
1318         for (i = 0; i < 20; i++) {
1319                 ISP_IOXPUT_8(isp, lesrc->le_reserved3[i],
1320                     &ledst->le_reserved3[i]);
1321         }
1322 }
1323
1324 static INLINE void
1325 isp_get_enable_lun(struct ispsoftc *isp, lun_entry_t *lesrc, lun_entry_t *ledst)
1326 {
1327         int i;
1328         isp_copy_in_hdr(isp, &lesrc->le_header, &ledst->le_header);
1329         ISP_IOXGET_32(isp, &lesrc->le_reserved, ledst->le_reserved);
1330         if (ISP_IS_SBUS(isp)) {
1331                 ISP_IOXGET_8(isp, &lesrc->le_lun, ledst->le_rsvd);
1332                 ISP_IOXGET_8(isp, &lesrc->le_rsvd, ledst->le_lun);
1333                 ISP_IOXGET_8(isp, &lesrc->le_ops, ledst->le_tgt);
1334                 ISP_IOXGET_8(isp, &lesrc->le_tgt, ledst->le_ops);
1335                 ISP_IOXGET_8(isp, &lesrc->le_status, ledst->le_reserved2);
1336                 ISP_IOXGET_8(isp, &lesrc->le_reserved2, ledst->le_status);
1337                 ISP_IOXGET_8(isp, &lesrc->le_cmd_count, ledst->le_in_count);
1338                 ISP_IOXGET_8(isp, &lesrc->le_in_count, ledst->le_cmd_count);
1339                 ISP_IOXGET_8(isp, &lesrc->le_cdb6len, ledst->le_cdb7len);
1340                 ISP_IOXGET_8(isp, &lesrc->le_cdb7len, ledst->le_cdb6len);
1341         } else {
1342                 ISP_IOXGET_8(isp, &lesrc->le_lun, ledst->le_lun);
1343                 ISP_IOXGET_8(isp, &lesrc->le_rsvd, ledst->le_rsvd);
1344                 ISP_IOXGET_8(isp, &lesrc->le_ops, ledst->le_ops);
1345                 ISP_IOXGET_8(isp, &lesrc->le_tgt, ledst->le_tgt);
1346                 ISP_IOXGET_8(isp, &lesrc->le_status, ledst->le_status);
1347                 ISP_IOXGET_8(isp, &lesrc->le_reserved2, ledst->le_reserved2);
1348                 ISP_IOXGET_8(isp, &lesrc->le_cmd_count, ledst->le_cmd_count);
1349                 ISP_IOXGET_8(isp, &lesrc->le_in_count, ledst->le_in_count);
1350                 ISP_IOXGET_8(isp, &lesrc->le_cdb6len, ledst->le_cdb6len);
1351                 ISP_IOXGET_8(isp, &lesrc->le_cdb7len, ledst->le_cdb7len);
1352         }
1353         ISP_IOXGET_32(isp, &lesrc->le_flags, ledst->le_flags);
1354         ISP_IOXGET_16(isp, &lesrc->le_timeout, ledst->le_timeout);
1355         for (i = 0; i < 20; i++) {
1356                 ISP_IOXGET_8(isp, &lesrc->le_reserved3[i],
1357                     ledst->le_reserved3[i]);
1358         }
1359 }
1360
1361 static INLINE void
1362 isp_put_notify(struct ispsoftc *isp, in_entry_t *insrc, in_entry_t *indst)
1363 {
1364         int i;
1365         isp_copy_out_hdr(isp, &insrc->in_header, &indst->in_header);
1366         ISP_IOXPUT_32(isp, insrc->in_reserved, &indst->in_reserved);
1367         if (ISP_IS_SBUS(isp)) {
1368                 ISP_IOXPUT_8(isp, insrc->in_lun, &indst->in_iid);
1369                 ISP_IOXPUT_8(isp, insrc->in_iid, &indst->in_lun);
1370                 ISP_IOXPUT_8(isp, insrc->in_reserved2, &indst->in_tgt);
1371                 ISP_IOXPUT_8(isp, insrc->in_tgt, &indst->in_reserved2);
1372                 ISP_IOXPUT_8(isp, insrc->in_status, &indst->in_rsvd2);
1373                 ISP_IOXPUT_8(isp, insrc->in_rsvd2, &indst->in_status);
1374                 ISP_IOXPUT_8(isp, insrc->in_tag_val, &indst->in_tag_type);
1375                 ISP_IOXPUT_8(isp, insrc->in_tag_type, &indst->in_tag_val);
1376         } else {
1377                 ISP_IOXPUT_8(isp, insrc->in_lun, &indst->in_lun);
1378                 ISP_IOXPUT_8(isp, insrc->in_iid, &indst->in_iid);
1379                 ISP_IOXPUT_8(isp, insrc->in_reserved2, &indst->in_reserved2);
1380                 ISP_IOXPUT_8(isp, insrc->in_tgt, &indst->in_tgt);
1381                 ISP_IOXPUT_8(isp, insrc->in_status, &indst->in_status);
1382                 ISP_IOXPUT_8(isp, insrc->in_rsvd2, &indst->in_rsvd2);
1383                 ISP_IOXPUT_8(isp, insrc->in_tag_val, &indst->in_tag_val);
1384                 ISP_IOXPUT_8(isp, insrc->in_tag_type, &indst->in_tag_type);
1385         }
1386         ISP_IOXPUT_32(isp, insrc->in_flags, &indst->in_flags);
1387         ISP_IOXPUT_16(isp, insrc->in_seqid, &indst->in_seqid);
1388         for (i = 0; i < IN_MSGLEN; i++) {
1389                 ISP_IOXPUT_8(isp, insrc->in_msg[i], &indst->in_msg[i]);
1390         }
1391         for (i = 0; i < IN_RSVDLEN; i++) {
1392                 ISP_IOXPUT_8(isp, insrc->in_reserved3[i],
1393                     &indst->in_reserved3[i]);
1394         }
1395         for (i = 0; i < QLTM_SENSELEN; i++) {
1396                 ISP_IOXPUT_8(isp, insrc->in_sense[i],
1397                     &indst->in_sense[i]);
1398         }
1399 }
1400
1401 static INLINE void
1402 isp_get_notify(struct ispsoftc *isp, in_entry_t *insrc, in_entry_t *indst)
1403 {
1404         int i;
1405         isp_copy_in_hdr(isp, &insrc->in_header, &indst->in_header);
1406         ISP_IOXGET_32(isp, &insrc->in_reserved, indst->in_reserved);
1407         if (ISP_IS_SBUS(isp)) {
1408                 ISP_IOXGET_8(isp, &insrc->in_lun, indst->in_iid);
1409                 ISP_IOXGET_8(isp, &insrc->in_iid, indst->in_lun);
1410                 ISP_IOXGET_8(isp, &insrc->in_reserved2, indst->in_tgt);
1411                 ISP_IOXGET_8(isp, &insrc->in_tgt, indst->in_reserved2);
1412                 ISP_IOXGET_8(isp, &insrc->in_status, indst->in_rsvd2);
1413                 ISP_IOXGET_8(isp, &insrc->in_rsvd2, indst->in_status);
1414                 ISP_IOXGET_8(isp, &insrc->in_tag_val, indst->in_tag_type);
1415                 ISP_IOXGET_8(isp, &insrc->in_tag_type, indst->in_tag_val);
1416         } else {
1417                 ISP_IOXGET_8(isp, &insrc->in_lun, indst->in_lun);
1418                 ISP_IOXGET_8(isp, &insrc->in_iid, indst->in_iid);
1419                 ISP_IOXGET_8(isp, &insrc->in_reserved2, indst->in_reserved2);
1420                 ISP_IOXGET_8(isp, &insrc->in_tgt, indst->in_tgt);
1421                 ISP_IOXGET_8(isp, &insrc->in_status, indst->in_status);
1422                 ISP_IOXGET_8(isp, &insrc->in_rsvd2, indst->in_rsvd2);
1423                 ISP_IOXGET_8(isp, &insrc->in_tag_val, indst->in_tag_val);
1424                 ISP_IOXGET_8(isp, &insrc->in_tag_type, indst->in_tag_type);
1425         }
1426         ISP_IOXGET_32(isp, &insrc->in_flags, indst->in_flags);
1427         ISP_IOXGET_16(isp, &insrc->in_seqid, indst->in_seqid);
1428         for (i = 0; i < IN_MSGLEN; i++) {
1429                 ISP_IOXGET_8(isp, &insrc->in_msg[i], indst->in_msg[i]);
1430         }
1431         for (i = 0; i < IN_RSVDLEN; i++) {
1432                 ISP_IOXGET_8(isp, &insrc->in_reserved3[i],
1433                     indst->in_reserved3[i]);
1434         }
1435         for (i = 0; i < QLTM_SENSELEN; i++) {
1436                 ISP_IOXGET_8(isp, &insrc->in_sense[i],
1437                     indst->in_sense[i]);
1438         }
1439 }
1440
1441 static INLINE void
1442 isp_put_notify_fc(struct ispsoftc *isp, in_fcentry_t *insrc,
1443     in_fcentry_t *indst)
1444 {
1445         isp_copy_out_hdr(isp, &insrc->in_header, &indst->in_header);
1446         ISP_IOXPUT_32(isp, insrc->in_reserved, &indst->in_reserved);
1447         ISP_IOXPUT_8(isp, insrc->in_lun, &indst->in_lun);
1448         ISP_IOXPUT_8(isp, insrc->in_iid, &indst->in_iid);
1449         ISP_IOXPUT_16(isp, insrc->in_scclun, &indst->in_scclun);
1450         ISP_IOXPUT_32(isp, insrc->in_reserved2, &indst->in_reserved2);
1451         ISP_IOXPUT_16(isp, insrc->in_status, &indst->in_status);
1452         ISP_IOXPUT_16(isp, insrc->in_task_flags, &indst->in_task_flags);
1453         ISP_IOXPUT_16(isp, insrc->in_seqid, &indst->in_seqid);
1454 }
1455
1456 static INLINE void
1457 isp_get_notify_fc(struct ispsoftc *isp, in_fcentry_t *insrc,
1458     in_fcentry_t *indst)
1459 {
1460         isp_copy_in_hdr(isp, &insrc->in_header, &indst->in_header);
1461         ISP_IOXGET_32(isp, &insrc->in_reserved, indst->in_reserved);
1462         ISP_IOXGET_8(isp, &insrc->in_lun, indst->in_lun);
1463         ISP_IOXGET_8(isp, &insrc->in_iid, indst->in_iid);
1464         ISP_IOXGET_16(isp, &insrc->in_scclun, indst->in_scclun);
1465         ISP_IOXGET_32(isp, &insrc->in_reserved2, indst->in_reserved2);
1466         ISP_IOXGET_16(isp, &insrc->in_status, indst->in_status);
1467         ISP_IOXGET_16(isp, &insrc->in_task_flags, indst->in_task_flags);
1468         ISP_IOXGET_16(isp, &insrc->in_seqid, indst->in_seqid);
1469 }
1470
1471 static INLINE void
1472 isp_put_notify_ack(struct ispsoftc *isp, na_entry_t *nasrc,  na_entry_t *nadst)
1473 {
1474         int i;
1475         isp_copy_out_hdr(isp, &nasrc->na_header, &nadst->na_header);
1476         ISP_IOXPUT_32(isp, nasrc->na_reserved, &nadst->na_reserved);
1477         if (ISP_IS_SBUS(isp)) {
1478                 ISP_IOXPUT_8(isp, nasrc->na_lun, &nadst->na_iid);
1479                 ISP_IOXPUT_8(isp, nasrc->na_iid, &nadst->na_lun);
1480                 ISP_IOXPUT_8(isp, nasrc->na_status, &nadst->na_event);
1481                 ISP_IOXPUT_8(isp, nasrc->na_event, &nadst->na_status);
1482         } else {
1483                 ISP_IOXPUT_8(isp, nasrc->na_lun, &nadst->na_lun);
1484                 ISP_IOXPUT_8(isp, nasrc->na_iid, &nadst->na_iid);
1485                 ISP_IOXPUT_8(isp, nasrc->na_status, &nadst->na_status);
1486                 ISP_IOXPUT_8(isp, nasrc->na_event, &nadst->na_event);
1487         }
1488         ISP_IOXPUT_32(isp, nasrc->na_flags, &nadst->na_flags);
1489         for (i = 0; i < NA_RSVDLEN; i++) {
1490                 ISP_IOXPUT_16(isp, nasrc->na_reserved3[i],
1491                     &nadst->na_reserved3[i]);
1492         }
1493 }
1494
1495 static INLINE void
1496 isp_get_notify_ack(struct ispsoftc *isp, na_entry_t *nasrc, na_entry_t *nadst)
1497 {
1498         int i;
1499         isp_copy_in_hdr(isp, &nasrc->na_header, &nadst->na_header);
1500         ISP_IOXGET_32(isp, &nasrc->na_reserved, nadst->na_reserved);
1501         if (ISP_IS_SBUS(isp)) {
1502                 ISP_IOXGET_8(isp, &nasrc->na_lun, nadst->na_iid);
1503                 ISP_IOXGET_8(isp, &nasrc->na_iid, nadst->na_lun);
1504                 ISP_IOXGET_8(isp, &nasrc->na_status, nadst->na_event);
1505                 ISP_IOXGET_8(isp, &nasrc->na_event, nadst->na_status);
1506         } else {
1507                 ISP_IOXGET_8(isp, &nasrc->na_lun, nadst->na_lun);
1508                 ISP_IOXGET_8(isp, &nasrc->na_iid, nadst->na_iid);
1509                 ISP_IOXGET_8(isp, &nasrc->na_status, nadst->na_status);
1510                 ISP_IOXGET_8(isp, &nasrc->na_event, nadst->na_event);
1511         }
1512         ISP_IOXGET_32(isp, &nasrc->na_flags, nadst->na_flags);
1513         for (i = 0; i < NA_RSVDLEN; i++) {
1514                 ISP_IOXGET_16(isp, &nasrc->na_reserved3[i],
1515                     nadst->na_reserved3[i]);
1516         }
1517 }
1518
1519 static INLINE void
1520 isp_put_notify_ack_fc(struct ispsoftc *isp, na_fcentry_t *nasrc,
1521     na_fcentry_t *nadst)
1522 {
1523         int i;
1524         isp_copy_out_hdr(isp, &nasrc->na_header, &nadst->na_header);
1525         ISP_IOXPUT_32(isp, nasrc->na_reserved, &nadst->na_reserved);
1526         ISP_IOXPUT_8(isp, nasrc->na_lun, &nadst->na_lun);
1527         ISP_IOXPUT_8(isp, nasrc->na_iid, &nadst->na_iid);
1528         ISP_IOXPUT_16(isp, nasrc->na_scclun, &nadst->na_scclun);
1529         ISP_IOXPUT_16(isp, nasrc->na_flags, &nadst->na_flags);
1530         ISP_IOXPUT_16(isp, nasrc->na_reserved2, &nadst->na_reserved2);
1531         ISP_IOXPUT_16(isp, nasrc->na_status, &nadst->na_status);
1532         ISP_IOXPUT_16(isp, nasrc->na_task_flags, &nadst->na_task_flags);
1533         ISP_IOXPUT_16(isp, nasrc->na_seqid, &nadst->na_seqid);
1534         for (i = 0; i < NA2_RSVDLEN; i++) {
1535                 ISP_IOXPUT_16(isp, nasrc->na_reserved3[i],
1536                     &nadst->na_reserved3[i]);
1537         }
1538 }
1539
1540 static INLINE void
1541 isp_get_notify_ack_fc(struct ispsoftc *isp, na_fcentry_t *nasrc,
1542     na_fcentry_t *nadst)
1543 {
1544         int i;
1545         isp_copy_in_hdr(isp, &nasrc->na_header, &nadst->na_header);
1546         ISP_IOXGET_32(isp, &nasrc->na_reserved, nadst->na_reserved);
1547         ISP_IOXGET_8(isp, &nasrc->na_lun, nadst->na_lun);
1548         ISP_IOXGET_8(isp, &nasrc->na_iid, nadst->na_iid);
1549         ISP_IOXGET_16(isp, &nasrc->na_scclun, nadst->na_scclun);
1550         ISP_IOXGET_16(isp, &nasrc->na_flags, nadst->na_flags);
1551         ISP_IOXGET_16(isp, &nasrc->na_reserved2, nadst->na_reserved2);
1552         ISP_IOXGET_16(isp, &nasrc->na_status, nadst->na_status);
1553         ISP_IOXGET_16(isp, &nasrc->na_task_flags, nadst->na_task_flags);
1554         ISP_IOXGET_16(isp, &nasrc->na_seqid, nadst->na_seqid);
1555         for (i = 0; i < NA2_RSVDLEN; i++) {
1556                 ISP_IOXGET_16(isp, &nasrc->na_reserved3[i],
1557                     nadst->na_reserved3[i]);
1558         }
1559 }
1560 #endif
1561 #endif  /* _ISP_INLINE_H */