sys/dev/cas/if_cas.c

   1 /*-
   2  * Copyright (C) 2001 Eduardo Horvath.
   3  * Copyright (c) 2001-2003 Thomas Moestl
   4  * Copyright (c) 2007-2009 Marius Strobl <marius@FreeBSD.org>
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR  ``AS IS'' AND
  17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR  BE LIABLE
  20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  *
  28  *      from: NetBSD: gem.c,v 1.21 2002/06/01 23:50:58 lukem Exp
  29  *      from: FreeBSD: if_gem.c 182060 2008-08-23 15:03:26Z marius
  30  */
  31
  32 #include <sys/cdefs.h>
  33 __FBSDID("$FreeBSD$");
  34
  35 /*
  36  * driver for Sun Cassini/Cassini+ and National Semiconductor DP83065
  37  * Saturn Gigabit Ethernet controllers
  38  */
  39
  40 #if 0
  41 #define CAS_DEBUG
  42 #endif
  43
  44 #include <sys/param.h>
  45 #include <sys/systm.h>
  46 #include <sys/bus.h>
  47 #include <sys/callout.h>
  48 #include <sys/endian.h>
  49 #include <sys/mbuf.h>
  50 #include <sys/malloc.h>
  51 #include <sys/kernel.h>
  52 #include <sys/lock.h>
  53 #include <sys/module.h>
  54 #include <sys/mutex.h>
  55 #include <sys/refcount.h>
  56 #include <sys/resource.h>
  57 #include <sys/rman.h>
  58 #include <sys/socket.h>
  59 #include <sys/sockio.h>
  60 #include <sys/taskqueue.h>
  61
  62 #include <net/bpf.h>
  63 #include <net/ethernet.h>
  64 #include <net/if.h>
  65 #include <net/if_arp.h>
  66 #include <net/if_dl.h>
  67 #include <net/if_media.h>
  68 #include <net/if_types.h>
  69 #include <net/if_vlan_var.h>
  70
  71 #include <netinet/in.h>
  72 #include <netinet/in_systm.h>
  73 #include <netinet/ip.h>
  74 #include <netinet/tcp.h>
  75 #include <netinet/udp.h>
  76
  77 #include <machine/bus.h>
  78 #if defined(__powerpc__) || defined(__sparc64__)
  79 #include <dev/ofw/ofw_bus.h>
  80 #include <dev/ofw/openfirm.h>
  81 #include <machine/ofw_machdep.h>
  82 #endif
  83 #include <machine/resource.h>
  84
  85 #include <dev/mii/mii.h>
  86 #include <dev/mii/miivar.h>
  87
  88 #include <dev/cas/if_casreg.h>
  89 #include <dev/cas/if_casvar.h>
  90
  91 #include <dev/pci/pcireg.h>
  92 #include <dev/pci/pcivar.h>
  93
  94 #include "miibus_if.h"
  95
  96 #define RINGASSERT(n , min, max)                                        \
  97         CTASSERT(powerof2(n) && (n) >= (min) && (n) <= (max))
  98
  99 RINGASSERT(CAS_NRXCOMP, 128, 32768);
 100 RINGASSERT(CAS_NRXDESC, 32, 8192);
 101 RINGASSERT(CAS_NRXDESC2, 32, 8192);
 102 RINGASSERT(CAS_NTXDESC, 32, 8192);
 103
 104 #undef RINGASSERT
 105
 106 #define CCDASSERT(m, a)                                                 \
 107         CTASSERT((offsetof(struct cas_control_data, m) & ((a) - 1)) == 0)
 108
 109 CCDASSERT(ccd_rxcomps, CAS_RX_COMP_ALIGN);
 110 CCDASSERT(ccd_rxdescs, CAS_RX_DESC_ALIGN);
 111 CCDASSERT(ccd_rxdescs2, CAS_RX_DESC_ALIGN);
 112
 113 #undef CCDASSERT
 114
 115 #define CAS_TRIES       10000
 116
 117 /*
 118  * According to documentation, the hardware has support for basic TCP
 119  * checksum offloading only, in practice this can be also used for UDP
 120  * however (i.e. the problem of previous Sun NICs that a checksum of 0x0
 121  * is not converted to 0xffff no longer exists).
 122  */
 123 #define CAS_CSUM_FEATURES       (CSUM_TCP | CSUM_UDP)
 124
 125 static inline void cas_add_rxdesc(struct cas_softc *sc, u_int idx);
 126 static int      cas_attach(struct cas_softc *sc);
 127 static int      cas_bitwait(struct cas_softc *sc, bus_addr_t r, uint32_t clr,
 128                     uint32_t set);
 129 static void     cas_cddma_callback(void *xsc, bus_dma_segment_t *segs,
 130                     int nsegs, int error);
 131 static void     cas_detach(struct cas_softc *sc);
 132 static int      cas_disable_rx(struct cas_softc *sc);
 133 static int      cas_disable_tx(struct cas_softc *sc);
 134 static void     cas_eint(struct cas_softc *sc, u_int status);
 135 static int      cas_free(struct mbuf *m, void *arg1, void* arg2);
 136 static void     cas_init(void *xsc);
 137 static void     cas_init_locked(struct cas_softc *sc);
 138 static void     cas_init_regs(struct cas_softc *sc);
 139 static int      cas_intr(void *v);
 140 static void     cas_intr_task(void *arg, int pending __unused);
 141 static int      cas_ioctl(struct ifnet *ifp, u_long cmd, caddr_t data);
 142 static int      cas_load_txmbuf(struct cas_softc *sc, struct mbuf **m_head);
 143 static int      cas_mediachange(struct ifnet *ifp);
 144 static void     cas_mediastatus(struct ifnet *ifp, struct ifmediareq *ifmr);
 145 static void     cas_meminit(struct cas_softc *sc);
 146 static void     cas_mifinit(struct cas_softc *sc);
 147 static int      cas_mii_readreg(device_t dev, int phy, int reg);
 148 static void     cas_mii_statchg(device_t dev);
 149 static int      cas_mii_writereg(device_t dev, int phy, int reg, int val);
 150 static void     cas_reset(struct cas_softc *sc);
 151 static int      cas_reset_rx(struct cas_softc *sc);
 152 static int      cas_reset_tx(struct cas_softc *sc);
 153 static void     cas_resume(struct cas_softc *sc);
 154 static u_int    cas_descsize(u_int sz);
 155 static void     cas_rint(struct cas_softc *sc);
 156 static void     cas_rint_timeout(void *arg);
 157 static inline void cas_rxcksum(struct mbuf *m, uint16_t cksum);
 158 static inline void cas_rxcompinit(struct cas_rx_comp *rxcomp);
 159 static u_int    cas_rxcompsize(u_int sz);
 160 static void     cas_rxdma_callback(void *xsc, bus_dma_segment_t *segs,
 161                     int nsegs, int error);
 162 static void     cas_setladrf(struct cas_softc *sc);
 163 static void     cas_start(struct ifnet *ifp);
 164 static void     cas_stop(struct ifnet *ifp);
 165 static void     cas_suspend(struct cas_softc *sc);
 166 static void     cas_tick(void *arg);
 167 static void     cas_tint(struct cas_softc *sc);
 168 static void     cas_tx_task(void *arg, int pending __unused);
 169 static inline void cas_txkick(struct cas_softc *sc);
 170 static void     cas_watchdog(struct cas_softc *sc);
 171
 172 static devclass_t cas_devclass;
 173
 174 MODULE_DEPEND(cas, ether, 1, 1, 1);
 175 MODULE_DEPEND(cas, miibus, 1, 1, 1);
 176
 177 #ifdef CAS_DEBUG
 178 #include <sys/ktr.h>
 179 #define KTR_CAS         KTR_SPARE2
 180 #endif
 181
 182 static int
 183 cas_attach(struct cas_softc *sc)
 184 {
 185         struct cas_txsoft *txs;
 186         struct ifnet *ifp;
 187         int error, i;
 188         uint32_t v;
 189
 190         /* Set up ifnet structure. */
 191         ifp = sc->sc_ifp = if_alloc(IFT_ETHER);
 192         if (ifp == NULL)
 193                 return (ENOSPC);
 194         ifp->if_softc = sc;
 195         if_initname(ifp, device_get_name(sc->sc_dev),
 196             device_get_unit(sc->sc_dev));
 197         ifp->if_flags = IFF_BROADCAST | IFF_SIMPLEX | IFF_MULTICAST;
 198         ifp->if_start = cas_start;
 199         ifp->if_ioctl = cas_ioctl;
 200         ifp->if_init = cas_init;
 201         IFQ_SET_MAXLEN(&ifp->if_snd, CAS_TXQUEUELEN);
 202         ifp->if_snd.ifq_drv_maxlen = CAS_TXQUEUELEN;
 203         IFQ_SET_READY(&ifp->if_snd);
 204
 205         callout_init_mtx(&sc->sc_tick_ch, &sc->sc_mtx, 0);
 206         callout_init_mtx(&sc->sc_rx_ch, &sc->sc_mtx, 0);
 207         /* Create local taskq. */
 208         TASK_INIT(&sc->sc_intr_task, 0, cas_intr_task, sc);
 209         TASK_INIT(&sc->sc_tx_task, 1, cas_tx_task, ifp);
 210         sc->sc_tq = taskqueue_create_fast("cas_taskq", M_WAITOK,
 211             taskqueue_thread_enqueue, &sc->sc_tq);
 212         if (sc->sc_tq == NULL) {
 213                 device_printf(sc->sc_dev, "could not create taskqueue\n");
 214                 error = ENXIO;
 215                 goto fail_ifnet;
 216         }
 217         error = taskqueue_start_threads(&sc->sc_tq, 1, PI_NET, "%s taskq",
 218             device_get_nameunit(sc->sc_dev));
 219         if (error != 0) {
 220                 device_printf(sc->sc_dev, "could not start threads\n");
 221                 goto fail_taskq;
 222         }
 223
 224         /* Make sure the chip is stopped. */
 225         cas_reset(sc);
 226
 227         error = bus_dma_tag_create(bus_get_dma_tag(sc->sc_dev), 1, 0,
 228             BUS_SPACE_MAXADDR, BUS_SPACE_MAXADDR, NULL, NULL,
 229             BUS_SPACE_MAXSIZE, 0, BUS_SPACE_MAXSIZE, 0, NULL, NULL,
 230             &sc->sc_pdmatag);
 231         if (error != 0)
 232                 goto fail_taskq;
 233
 234         error = bus_dma_tag_create(sc->sc_pdmatag, 1, 0,
 235             BUS_SPACE_MAXADDR, BUS_SPACE_MAXADDR, NULL, NULL,
 236             CAS_PAGE_SIZE, 1, CAS_PAGE_SIZE, 0, NULL, NULL, &sc->sc_rdmatag);
 237         if (error != 0)
 238                 goto fail_ptag;
 239
 240         error = bus_dma_tag_create(sc->sc_pdmatag, 1, 0,
 241             BUS_SPACE_MAXADDR, BUS_SPACE_MAXADDR, NULL, NULL,
 242             MCLBYTES * CAS_NTXSEGS, CAS_NTXSEGS, MCLBYTES,
 243             BUS_DMA_ALLOCNOW, NULL, NULL, &sc->sc_tdmatag);
 244         if (error != 0)
 245                 goto fail_rtag;
 246
 247         error = bus_dma_tag_create(sc->sc_pdmatag, CAS_TX_DESC_ALIGN, 0,
 248             BUS_SPACE_MAXADDR, BUS_SPACE_MAXADDR, NULL, NULL,
 249             sizeof(struct cas_control_data), 1,
 250             sizeof(struct cas_control_data), 0,
 251             NULL, NULL, &sc->sc_cdmatag);
 252         if (error != 0)
 253                 goto fail_ttag;
 254
 255         /*
 256          * Allocate the control data structures, create and load the
 257          * DMA map for it.
 258          */
 259         if ((error = bus_dmamem_alloc(sc->sc_cdmatag,
 260             (void **)&sc->sc_control_data,
 261             BUS_DMA_WAITOK | BUS_DMA_COHERENT | BUS_DMA_ZERO,
 262             &sc->sc_cddmamap)) != 0) {
 263                 device_printf(sc->sc_dev,
 264                     "unable to allocate control data, error = %d\n", error);
 265                 goto fail_ctag;
 266         }
 267
 268         sc->sc_cddma = 0;
 269         if ((error = bus_dmamap_load(sc->sc_cdmatag, sc->sc_cddmamap,
 270             sc->sc_control_data, sizeof(struct cas_control_data),
 271             cas_cddma_callback, sc, 0)) != 0 || sc->sc_cddma == 0) {
 272                 device_printf(sc->sc_dev,
 273                     "unable to load control data DMA map, error = %d\n",
 274                     error);
 275                 goto fail_cmem;
 276         }
 277
 278         /*
 279          * Initialize the transmit job descriptors.
 280          */
 281         STAILQ_INIT(&sc->sc_txfreeq);
 282         STAILQ_INIT(&sc->sc_txdirtyq);
 283
 284         /*
 285          * Create the transmit buffer DMA maps.
 286          */
 287         error = ENOMEM;
 288         for (i = 0; i < CAS_TXQUEUELEN; i++) {
 289                 txs = &sc->sc_txsoft[i];
 290                 txs->txs_mbuf = NULL;
 291                 txs->txs_ndescs = 0;
 292                 if ((error = bus_dmamap_create(sc->sc_tdmatag, 0,
 293                     &txs->txs_dmamap)) != 0) {
 294                         device_printf(sc->sc_dev,
 295                             "unable to create TX DMA map %d, error = %d\n",
 296                             i, error);
 297                         goto fail_txd;
 298                 }
 299                 STAILQ_INSERT_TAIL(&sc->sc_txfreeq, txs, txs_q);
 300         }
 301
 302         /*
 303          * Allocate the receive buffers, create and load the DMA maps
 304          * for them.
 305          */
 306         for (i = 0; i < CAS_NRXDESC; i++) {
 307                 if ((error = bus_dmamem_alloc(sc->sc_rdmatag,
 308                     &sc->sc_rxdsoft[i].rxds_buf, BUS_DMA_WAITOK,
 309                     &sc->sc_rxdsoft[i].rxds_dmamap)) != 0) {
 310                         device_printf(sc->sc_dev,
 311                             "unable to allocate RX buffer %d, error = %d\n",
 312                             i, error);
 313                         goto fail_rxmem;
 314                 }
 315
 316                 sc->sc_rxdptr = i;
 317                 sc->sc_rxdsoft[i].rxds_paddr = 0;
 318                 if ((error = bus_dmamap_load(sc->sc_rdmatag,
 319                     sc->sc_rxdsoft[i].rxds_dmamap, sc->sc_rxdsoft[i].rxds_buf,
 320                     CAS_PAGE_SIZE, cas_rxdma_callback, sc, 0)) != 0 ||
 321                     sc->sc_rxdsoft[i].rxds_paddr == 0) {
 322                         device_printf(sc->sc_dev,
 323                             "unable to load RX DMA map %d, error = %d\n",
 324                             i, error);
 325                         goto fail_rxmap;
 326                 }
 327         }
 328
 329         if ((sc->sc_flags & CAS_SERDES) == 0) {
 330                 CAS_WRITE_4(sc, CAS_PCS_DATAPATH, CAS_PCS_DATAPATH_MII);
 331                 CAS_BARRIER(sc, CAS_PCS_DATAPATH, 4,
 332                     BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 333                 cas_mifinit(sc);
 334                 /*
 335                  * Look for an external PHY.
 336                  */
 337                 error = ENXIO;
 338                 v = CAS_READ_4(sc, CAS_MIF_CONF);
 339                 if ((v & CAS_MIF_CONF_MDI1) != 0) {
 340                         v |= CAS_MIF_CONF_PHY_SELECT;
 341                         CAS_WRITE_4(sc, CAS_MIF_CONF, v);
 342                         CAS_BARRIER(sc, CAS_MIF_CONF, 4,
 343                             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 344                         /* Enable/unfreeze the GMII pins of Saturn. */
 345                         if (sc->sc_variant == CAS_SATURN) {
 346                                 CAS_WRITE_4(sc, CAS_SATURN_PCFG,
 347                                     CAS_READ_4(sc, CAS_SATURN_PCFG) &
 348                                     ~CAS_SATURN_PCFG_FSI);
 349                                 CAS_BARRIER(sc, CAS_SATURN_PCFG, 4,
 350                                     BUS_SPACE_BARRIER_READ |
 351                                     BUS_SPACE_BARRIER_WRITE);
 352                                 DELAY(10000);
 353                         }
 354                         error = mii_attach(sc->sc_dev, &sc->sc_miibus, ifp,
 355                             cas_mediachange, cas_mediastatus, BMSR_DEFCAPMASK,
 356                             MII_PHY_ANY, MII_OFFSET_ANY, MIIF_DOPAUSE);
 357                 }
 358                 /*
 359                  * Fall back on an internal PHY if no external PHY was found.
 360                  */
 361                 if (error != 0 && (v & CAS_MIF_CONF_MDI0) != 0) {
 362                         v &= ~CAS_MIF_CONF_PHY_SELECT;
 363                         CAS_WRITE_4(sc, CAS_MIF_CONF, v);
 364                         CAS_BARRIER(sc, CAS_MIF_CONF, 4,
 365                             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 366                         /* Freeze the GMII pins of Saturn for saving power. */
 367                         if (sc->sc_variant == CAS_SATURN) {
 368                                 CAS_WRITE_4(sc, CAS_SATURN_PCFG,
 369                                     CAS_READ_4(sc, CAS_SATURN_PCFG) |
 370                                     CAS_SATURN_PCFG_FSI);
 371                                 CAS_BARRIER(sc, CAS_SATURN_PCFG, 4,
 372                                     BUS_SPACE_BARRIER_READ |
 373                                     BUS_SPACE_BARRIER_WRITE);
 374                                 DELAY(10000);
 375                         }
 376                         error = mii_attach(sc->sc_dev, &sc->sc_miibus, ifp,
 377                             cas_mediachange, cas_mediastatus, BMSR_DEFCAPMASK,
 378                             MII_PHY_ANY, MII_OFFSET_ANY, MIIF_DOPAUSE);
 379                 }
 380         } else {
 381                 /*
 382                  * Use the external PCS SERDES.
 383                  */
 384                 CAS_WRITE_4(sc, CAS_PCS_DATAPATH, CAS_PCS_DATAPATH_SERDES);
 385                 CAS_BARRIER(sc, CAS_PCS_DATAPATH, 4, BUS_SPACE_BARRIER_WRITE);
 386                 /* Enable/unfreeze the SERDES pins of Saturn. */
 387                 if (sc->sc_variant == CAS_SATURN) {
 388                         CAS_WRITE_4(sc, CAS_SATURN_PCFG, 0);
 389                         CAS_BARRIER(sc, CAS_SATURN_PCFG, 4,
 390                             BUS_SPACE_BARRIER_WRITE);
 391                 }
 392                 CAS_WRITE_4(sc, CAS_PCS_SERDES_CTRL, CAS_PCS_SERDES_CTRL_ESD);
 393                 CAS_BARRIER(sc, CAS_PCS_SERDES_CTRL, 4,
 394                     BUS_SPACE_BARRIER_WRITE);
 395                 CAS_WRITE_4(sc, CAS_PCS_CONF, CAS_PCS_CONF_EN);
 396                 CAS_BARRIER(sc, CAS_PCS_CONF, 4,
 397                     BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 398                 error = mii_attach(sc->sc_dev, &sc->sc_miibus, ifp,
 399                     cas_mediachange, cas_mediastatus, BMSR_DEFCAPMASK,
 400                     CAS_PHYAD_EXTERNAL, MII_OFFSET_ANY, MIIF_DOPAUSE);
 401         }
 402         if (error != 0) {
 403                 device_printf(sc->sc_dev, "attaching PHYs failed\n");
 404                 goto fail_rxmap;
 405         }
 406         sc->sc_mii = device_get_softc(sc->sc_miibus);
 407
 408         /*
 409          * From this point forward, the attachment cannot fail.  A failure
 410          * before this point releases all resources that may have been
 411          * allocated.
 412          */
 413
 414         /* Announce FIFO sizes. */
 415         v = CAS_READ_4(sc, CAS_TX_FIFO_SIZE);
 416         device_printf(sc->sc_dev, "%ukB RX FIFO, %ukB TX FIFO\n",
 417             CAS_RX_FIFO_SIZE / 1024, v / 16);
 418
 419         /* Attach the interface. */
 420         ether_ifattach(ifp, sc->sc_enaddr);
 421
 422         /*
 423          * Tell the upper layer(s) we support long frames/checksum offloads.
 424          */
 425         ifp->if_data.ifi_hdrlen = sizeof(struct ether_vlan_header);
 426         ifp->if_capabilities = IFCAP_VLAN_MTU;
 427         if ((sc->sc_flags & CAS_NO_CSUM) == 0) {
 428                 ifp->if_capabilities |= IFCAP_HWCSUM;
 429                 ifp->if_hwassist = CAS_CSUM_FEATURES;
 430         }
 431         ifp->if_capenable = ifp->if_capabilities;
 432
 433         return (0);
 434
 435         /*
 436          * Free any resources we've allocated during the failed attach
 437          * attempt.  Do this in reverse order and fall through.
 438          */
 439  fail_rxmap:
 440         for (i = 0; i < CAS_NRXDESC; i++)
 441                 if (sc->sc_rxdsoft[i].rxds_paddr != 0)
 442                         bus_dmamap_unload(sc->sc_rdmatag,
 443                             sc->sc_rxdsoft[i].rxds_dmamap);
 444  fail_rxmem:
 445         for (i = 0; i < CAS_NRXDESC; i++)
 446                 if (sc->sc_rxdsoft[i].rxds_buf != NULL)
 447                         bus_dmamem_free(sc->sc_rdmatag,
 448                             sc->sc_rxdsoft[i].rxds_buf,
 449                             sc->sc_rxdsoft[i].rxds_dmamap);
 450  fail_txd:
 451         for (i = 0; i < CAS_TXQUEUELEN; i++)
 452                 if (sc->sc_txsoft[i].txs_dmamap != NULL)
 453                         bus_dmamap_destroy(sc->sc_tdmatag,
 454                             sc->sc_txsoft[i].txs_dmamap);
 455         bus_dmamap_unload(sc->sc_cdmatag, sc->sc_cddmamap);
 456  fail_cmem:
 457         bus_dmamem_free(sc->sc_cdmatag, sc->sc_control_data,
 458             sc->sc_cddmamap);
 459  fail_ctag:
 460         bus_dma_tag_destroy(sc->sc_cdmatag);
 461  fail_ttag:
 462         bus_dma_tag_destroy(sc->sc_tdmatag);
 463  fail_rtag:
 464         bus_dma_tag_destroy(sc->sc_rdmatag);
 465  fail_ptag:
 466         bus_dma_tag_destroy(sc->sc_pdmatag);
 467  fail_taskq:
 468         taskqueue_free(sc->sc_tq);
 469  fail_ifnet:
 470         if_free(ifp);
 471         return (error);
 472 }
 473
 474 static void
 475 cas_detach(struct cas_softc *sc)
 476 {
 477         struct ifnet *ifp = sc->sc_ifp;
 478         int i;
 479
 480         ether_ifdetach(ifp);
 481         CAS_LOCK(sc);
 482         cas_stop(ifp);
 483         CAS_UNLOCK(sc);
 484         callout_drain(&sc->sc_tick_ch);
 485         callout_drain(&sc->sc_rx_ch);
 486         taskqueue_drain(sc->sc_tq, &sc->sc_intr_task);
 487         taskqueue_drain(sc->sc_tq, &sc->sc_tx_task);
 488         if_free(ifp);
 489         taskqueue_free(sc->sc_tq);
 490         device_delete_child(sc->sc_dev, sc->sc_miibus);
 491
 492         for (i = 0; i < CAS_NRXDESC; i++)
 493                 if (sc->sc_rxdsoft[i].rxds_dmamap != NULL)
 494                         bus_dmamap_sync(sc->sc_rdmatag,
 495                             sc->sc_rxdsoft[i].rxds_dmamap,
 496                             BUS_DMASYNC_POSTREAD | BUS_DMASYNC_POSTWRITE);
 497         for (i = 0; i < CAS_NRXDESC; i++)
 498                 if (sc->sc_rxdsoft[i].rxds_paddr != 0)
 499                         bus_dmamap_unload(sc->sc_rdmatag,
 500                             sc->sc_rxdsoft[i].rxds_dmamap);
 501         for (i = 0; i < CAS_NRXDESC; i++)
 502                 if (sc->sc_rxdsoft[i].rxds_buf != NULL)
 503                         bus_dmamem_free(sc->sc_rdmatag,
 504                             sc->sc_rxdsoft[i].rxds_buf,
 505                             sc->sc_rxdsoft[i].rxds_dmamap);
 506         for (i = 0; i < CAS_TXQUEUELEN; i++)
 507                 if (sc->sc_txsoft[i].txs_dmamap != NULL)
 508                         bus_dmamap_destroy(sc->sc_tdmatag,
 509                             sc->sc_txsoft[i].txs_dmamap);
 510         CAS_CDSYNC(sc, BUS_DMASYNC_POSTREAD | BUS_DMASYNC_POSTWRITE);
 511         bus_dmamap_unload(sc->sc_cdmatag, sc->sc_cddmamap);
 512         bus_dmamem_free(sc->sc_cdmatag, sc->sc_control_data,
 513             sc->sc_cddmamap);
 514         bus_dma_tag_destroy(sc->sc_cdmatag);
 515         bus_dma_tag_destroy(sc->sc_tdmatag);
 516         bus_dma_tag_destroy(sc->sc_rdmatag);
 517         bus_dma_tag_destroy(sc->sc_pdmatag);
 518 }
 519
 520 static void
 521 cas_suspend(struct cas_softc *sc)
 522 {
 523         struct ifnet *ifp = sc->sc_ifp;
 524
 525         CAS_LOCK(sc);
 526         cas_stop(ifp);
 527         CAS_UNLOCK(sc);
 528 }
 529
 530 static void
 531 cas_resume(struct cas_softc *sc)
 532 {
 533         struct ifnet *ifp = sc->sc_ifp;
 534
 535         CAS_LOCK(sc);
 536         /*
 537          * On resume all registers have to be initialized again like
 538          * after power-on.
 539          */
 540         sc->sc_flags &= ~CAS_INITED;
 541         if (ifp->if_flags & IFF_UP)
 542                 cas_init_locked(sc);
 543         CAS_UNLOCK(sc);
 544 }
 545
 546 static inline void
 547 cas_rxcksum(struct mbuf *m, uint16_t cksum)
 548 {
 549         struct ether_header *eh;
 550         struct ip *ip;
 551         struct udphdr *uh;
 552         uint16_t *opts;
 553         int32_t hlen, len, pktlen;
 554         uint32_t temp32;
 555
 556         pktlen = m->m_pkthdr.len;
 557         if (pktlen < sizeof(struct ether_header) + sizeof(struct ip))
 558                 return;
 559         eh = mtod(m, struct ether_header *);
 560         if (eh->ether_type != htons(ETHERTYPE_IP))
 561                 return;
 562         ip = (struct ip *)(eh + 1);
 563         if (ip->ip_v != IPVERSION)
 564                 return;
 565
 566         hlen = ip->ip_hl << 2;
 567         pktlen -= sizeof(struct ether_header);
 568         if (hlen < sizeof(struct ip))
 569                 return;
 570         if (ntohs(ip->ip_len) < hlen)
 571                 return;
 572         if (ntohs(ip->ip_len) != pktlen)
 573                 return;
 574         if (ip->ip_off & htons(IP_MF | IP_OFFMASK))
 575                 return; /* Cannot handle fragmented packet. */
 576
 577         switch (ip->ip_p) {
 578         case IPPROTO_TCP:
 579                 if (pktlen < (hlen + sizeof(struct tcphdr)))
 580                         return;
 581                 break;
 582         case IPPROTO_UDP:
 583                 if (pktlen < (hlen + sizeof(struct udphdr)))
 584                         return;
 585                 uh = (struct udphdr *)((uint8_t *)ip + hlen);
 586                 if (uh->uh_sum == 0)
 587                         return; /* no checksum */
 588                 break;
 589         default:
 590                 return;
 591         }
 592
 593         cksum = ~cksum;
 594         /* checksum fixup for IP options */
 595         len = hlen - sizeof(struct ip);
 596         if (len > 0) {
 597                 opts = (uint16_t *)(ip + 1);
 598                 for (; len > 0; len -= sizeof(uint16_t), opts++) {
 599                         temp32 = cksum - *opts;
 600                         temp32 = (temp32 >> 16) + (temp32 & 65535);
 601                         cksum = temp32 & 65535;
 602                 }
 603         }
 604         m->m_pkthdr.csum_flags |= CSUM_DATA_VALID;
 605         m->m_pkthdr.csum_data = cksum;
 606 }
 607
 608 static void
 609 cas_cddma_callback(void *xsc, bus_dma_segment_t *segs, int nsegs, int error)
 610 {
 611         struct cas_softc *sc = xsc;
 612
 613         if (error != 0)
 614                 return;
 615         if (nsegs != 1)
 616                 panic("%s: bad control buffer segment count", __func__);
 617         sc->sc_cddma = segs[0].ds_addr;
 618 }
 619
 620 static void
 621 cas_rxdma_callback(void *xsc, bus_dma_segment_t *segs, int nsegs, int error)
 622 {
 623         struct cas_softc *sc = xsc;
 624
 625         if (error != 0)
 626                 return;
 627         if (nsegs != 1)
 628                 panic("%s: bad RX buffer segment count", __func__);
 629         sc->sc_rxdsoft[sc->sc_rxdptr].rxds_paddr = segs[0].ds_addr;
 630 }
 631
 632 static void
 633 cas_tick(void *arg)
 634 {
 635         struct cas_softc *sc = arg;
 636         struct ifnet *ifp = sc->sc_ifp;
 637         uint32_t v;
 638
 639         CAS_LOCK_ASSERT(sc, MA_OWNED);
 640
 641         /*
 642          * Unload collision and error counters.
 643          */
 644         ifp->if_collisions +=
 645             CAS_READ_4(sc, CAS_MAC_NORM_COLL_CNT) +
 646             CAS_READ_4(sc, CAS_MAC_FIRST_COLL_CNT);
 647         v = CAS_READ_4(sc, CAS_MAC_EXCESS_COLL_CNT) +
 648             CAS_READ_4(sc, CAS_MAC_LATE_COLL_CNT);
 649         ifp->if_collisions += v;
 650         ifp->if_oerrors += v;
 651         ifp->if_ierrors +=
 652             CAS_READ_4(sc, CAS_MAC_RX_LEN_ERR_CNT) +
 653             CAS_READ_4(sc, CAS_MAC_RX_ALIGN_ERR) +
 654             CAS_READ_4(sc, CAS_MAC_RX_CRC_ERR_CNT) +
 655             CAS_READ_4(sc, CAS_MAC_RX_CODE_VIOL);
 656
 657         /*
 658          * Then clear the hardware counters.
 659          */
 660         CAS_WRITE_4(sc, CAS_MAC_NORM_COLL_CNT, 0);
 661         CAS_WRITE_4(sc, CAS_MAC_FIRST_COLL_CNT, 0);
 662         CAS_WRITE_4(sc, CAS_MAC_EXCESS_COLL_CNT, 0);
 663         CAS_WRITE_4(sc, CAS_MAC_LATE_COLL_CNT, 0);
 664         CAS_WRITE_4(sc, CAS_MAC_RX_LEN_ERR_CNT, 0);
 665         CAS_WRITE_4(sc, CAS_MAC_RX_ALIGN_ERR, 0);
 666         CAS_WRITE_4(sc, CAS_MAC_RX_CRC_ERR_CNT, 0);
 667         CAS_WRITE_4(sc, CAS_MAC_RX_CODE_VIOL, 0);
 668
 669         mii_tick(sc->sc_mii);
 670
 671         if (sc->sc_txfree != CAS_MAXTXFREE)
 672                 cas_tint(sc);
 673
 674         cas_watchdog(sc);
 675
 676         callout_reset(&sc->sc_tick_ch, hz, cas_tick, sc);
 677 }
 678
 679 static int
 680 cas_bitwait(struct cas_softc *sc, bus_addr_t r, uint32_t clr, uint32_t set)
 681 {
 682         int i;
 683         uint32_t reg;
 684
 685         for (i = CAS_TRIES; i--; DELAY(100)) {
 686                 reg = CAS_READ_4(sc, r);
 687                 if ((reg & clr) == 0 && (reg & set) == set)
 688                         return (1);
 689         }
 690         return (0);
 691 }
 692
 693 static void
 694 cas_reset(struct cas_softc *sc)
 695 {
 696
 697 #ifdef CAS_DEBUG
 698         CTR2(KTR_CAS, "%s: %s", device_get_name(sc->sc_dev), __func__);
 699 #endif
 700         /* Disable all interrupts in order to avoid spurious ones. */
 701         CAS_WRITE_4(sc, CAS_INTMASK, 0xffffffff);
 702
 703         cas_reset_rx(sc);
 704         cas_reset_tx(sc);
 705
 706         /*
 707          * Do a full reset modulo the result of the last auto-negotiation
 708          * when using the SERDES.
 709          */
 710         CAS_WRITE_4(sc, CAS_RESET, CAS_RESET_RX | CAS_RESET_TX |
 711             ((sc->sc_flags & CAS_SERDES) != 0 ? CAS_RESET_PCS_DIS : 0));
 712         CAS_BARRIER(sc, CAS_RESET, 4,
 713             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 714         DELAY(3000);
 715         if (!cas_bitwait(sc, CAS_RESET, CAS_RESET_RX | CAS_RESET_TX, 0))
 716                 device_printf(sc->sc_dev, "cannot reset device\n");
 717 }
 718
 719 static void
 720 cas_stop(struct ifnet *ifp)
 721 {
 722         struct cas_softc *sc = ifp->if_softc;
 723         struct cas_txsoft *txs;
 724
 725 #ifdef CAS_DEBUG
 726         CTR2(KTR_CAS, "%s: %s", device_get_name(sc->sc_dev), __func__);
 727 #endif
 728
 729         callout_stop(&sc->sc_tick_ch);
 730         callout_stop(&sc->sc_rx_ch);
 731
 732         /* Disable all interrupts in order to avoid spurious ones. */
 733         CAS_WRITE_4(sc, CAS_INTMASK, 0xffffffff);
 734
 735         cas_reset_tx(sc);
 736         cas_reset_rx(sc);
 737
 738         /*
 739          * Release any queued transmit buffers.
 740          */
 741         while ((txs = STAILQ_FIRST(&sc->sc_txdirtyq)) != NULL) {
 742                 STAILQ_REMOVE_HEAD(&sc->sc_txdirtyq, txs_q);
 743                 if (txs->txs_ndescs != 0) {
 744                         bus_dmamap_sync(sc->sc_tdmatag, txs->txs_dmamap,
 745                             BUS_DMASYNC_POSTWRITE);
 746                         bus_dmamap_unload(sc->sc_tdmatag, txs->txs_dmamap);
 747                         if (txs->txs_mbuf != NULL) {
 748                                 m_freem(txs->txs_mbuf);
 749                                 txs->txs_mbuf = NULL;
 750                         }
 751                 }
 752                 STAILQ_INSERT_TAIL(&sc->sc_txfreeq, txs, txs_q);
 753         }
 754
 755         /*
 756          * Mark the interface down and cancel the watchdog timer.
 757          */
 758         ifp->if_drv_flags &= ~(IFF_DRV_RUNNING | IFF_DRV_OACTIVE);
 759         sc->sc_flags &= ~CAS_LINK;
 760         sc->sc_wdog_timer = 0;
 761 }
 762
 763 static int
 764 cas_reset_rx(struct cas_softc *sc)
 765 {
 766
 767         /*
 768          * Resetting while DMA is in progress can cause a bus hang, so we
 769          * disable DMA first.
 770          */
 771         (void)cas_disable_rx(sc);
 772         CAS_WRITE_4(sc, CAS_RX_CONF, 0);
 773         CAS_BARRIER(sc, CAS_RX_CONF, 4,
 774             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 775         if (!cas_bitwait(sc, CAS_RX_CONF, CAS_RX_CONF_RXDMA_EN, 0))
 776                 device_printf(sc->sc_dev, "cannot disable RX DMA\n");
 777
 778         /* Finally, reset the ERX. */
 779         CAS_WRITE_4(sc, CAS_RESET, CAS_RESET_RX |
 780             ((sc->sc_flags & CAS_SERDES) != 0 ? CAS_RESET_PCS_DIS : 0));
 781         CAS_BARRIER(sc, CAS_RESET, 4,
 782             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 783         if (!cas_bitwait(sc, CAS_RESET, CAS_RESET_RX, 0)) {
 784                 device_printf(sc->sc_dev, "cannot reset receiver\n");
 785                 return (1);
 786         }
 787         return (0);
 788 }
 789
 790 static int
 791 cas_reset_tx(struct cas_softc *sc)
 792 {
 793
 794         /*
 795          * Resetting while DMA is in progress can cause a bus hang, so we
 796          * disable DMA first.
 797          */
 798         (void)cas_disable_tx(sc);
 799         CAS_WRITE_4(sc, CAS_TX_CONF, 0);
 800         CAS_BARRIER(sc, CAS_TX_CONF, 4,
 801             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 802         if (!cas_bitwait(sc, CAS_TX_CONF, CAS_TX_CONF_TXDMA_EN, 0))
 803                 device_printf(sc->sc_dev, "cannot disable TX DMA\n");
 804
 805         /* Finally, reset the ETX. */
 806         CAS_WRITE_4(sc, CAS_RESET, CAS_RESET_TX |
 807             ((sc->sc_flags & CAS_SERDES) != 0 ? CAS_RESET_PCS_DIS : 0));
 808         CAS_BARRIER(sc, CAS_RESET, 4,
 809             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 810         if (!cas_bitwait(sc, CAS_RESET, CAS_RESET_TX, 0)) {
 811                 device_printf(sc->sc_dev, "cannot reset transmitter\n");
 812                 return (1);
 813         }
 814         return (0);
 815 }
 816
 817 static int
 818 cas_disable_rx(struct cas_softc *sc)
 819 {
 820
 821         CAS_WRITE_4(sc, CAS_MAC_RX_CONF,
 822             CAS_READ_4(sc, CAS_MAC_RX_CONF) & ~CAS_MAC_RX_CONF_EN);
 823         CAS_BARRIER(sc, CAS_MAC_RX_CONF, 4,
 824             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 825         if (cas_bitwait(sc, CAS_MAC_RX_CONF, CAS_MAC_RX_CONF_EN, 0))
 826                 return (1);
 827         if (bootverbose)
 828                 device_printf(sc->sc_dev, "cannot disable RX MAC\n");
 829         return (0);
 830 }
 831
 832 static int
 833 cas_disable_tx(struct cas_softc *sc)
 834 {
 835
 836         CAS_WRITE_4(sc, CAS_MAC_TX_CONF,
 837             CAS_READ_4(sc, CAS_MAC_TX_CONF) & ~CAS_MAC_TX_CONF_EN);
 838         CAS_BARRIER(sc, CAS_MAC_TX_CONF, 4,
 839             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
 840         if (cas_bitwait(sc, CAS_MAC_TX_CONF, CAS_MAC_TX_CONF_EN, 0))
 841                 return (1);
 842         if (bootverbose)
 843                 device_printf(sc->sc_dev, "cannot disable TX MAC\n");
 844         return (0);
 845 }
 846
 847 static inline void
 848 cas_rxcompinit(struct cas_rx_comp *rxcomp)
 849 {
 850
 851         rxcomp->crc_word1 = 0;
 852         rxcomp->crc_word2 = 0;
 853         rxcomp->crc_word3 =
 854             htole64(CAS_SET(ETHER_HDR_LEN + sizeof(struct ip), CAS_RC3_CSO));
 855         rxcomp->crc_word4 = htole64(CAS_RC4_ZERO);
 856 }
 857
 858 static void
 859 cas_meminit(struct cas_softc *sc)
 860 {
 861         int i;
 862
 863         CAS_LOCK_ASSERT(sc, MA_OWNED);
 864
 865         /*
 866          * Initialize the transmit descriptor ring.
 867          */
 868         for (i = 0; i < CAS_NTXDESC; i++) {
 869                 sc->sc_txdescs[i].cd_flags = 0;
 870                 sc->sc_txdescs[i].cd_buf_ptr = 0;
 871         }
 872         sc->sc_txfree = CAS_MAXTXFREE;
 873         sc->sc_txnext = 0;
 874         sc->sc_txwin = 0;
 875
 876         /*
 877          * Initialize the receive completion ring.
 878          */
 879         for (i = 0; i < CAS_NRXCOMP; i++)
 880                 cas_rxcompinit(&sc->sc_rxcomps[i]);
 881         sc->sc_rxcptr = 0;
 882
 883         /*
 884          * Initialize the first receive descriptor ring.  We leave
 885          * the second one zeroed as we don't actually use it.
 886          */
 887         for (i = 0; i < CAS_NRXDESC; i++)
 888                 CAS_INIT_RXDESC(sc, i, i);
 889         sc->sc_rxdptr = 0;
 890
 891         CAS_CDSYNC(sc, BUS_DMASYNC_PREREAD | BUS_DMASYNC_PREWRITE);
 892 }
 893
 894 static u_int
 895 cas_descsize(u_int sz)
 896 {
 897
 898         switch (sz) {
 899         case 32:
 900                 return (CAS_DESC_32);
 901         case 64:
 902                 return (CAS_DESC_64);
 903         case 128:
 904                 return (CAS_DESC_128);
 905         case 256:
 906                 return (CAS_DESC_256);
 907         case 512:
 908                 return (CAS_DESC_512);
 909         case 1024:
 910                 return (CAS_DESC_1K);
 911         case 2048:
 912                 return (CAS_DESC_2K);
 913         case 4096:
 914                 return (CAS_DESC_4K);
 915         case 8192:
 916                 return (CAS_DESC_8K);
 917         default:
 918                 printf("%s: invalid descriptor ring size %d\n", __func__, sz);
 919                 return (CAS_DESC_32);
 920         }
 921 }
 922
 923 static u_int
 924 cas_rxcompsize(u_int sz)
 925 {
 926
 927         switch (sz) {
 928         case 128:
 929                 return (CAS_RX_CONF_COMP_128);
 930         case 256:
 931                 return (CAS_RX_CONF_COMP_256);
 932         case 512:
 933                 return (CAS_RX_CONF_COMP_512);
 934         case 1024:
 935                 return (CAS_RX_CONF_COMP_1K);
 936         case 2048:
 937                 return (CAS_RX_CONF_COMP_2K);
 938         case 4096:
 939                 return (CAS_RX_CONF_COMP_4K);
 940         case 8192:
 941                 return (CAS_RX_CONF_COMP_8K);
 942         case 16384:
 943                 return (CAS_RX_CONF_COMP_16K);
 944         case 32768:
 945                 return (CAS_RX_CONF_COMP_32K);
 946         default:
 947                 printf("%s: invalid dcompletion ring size %d\n", __func__, sz);
 948                 return (CAS_RX_CONF_COMP_128);
 949         }
 950 }
 951
 952 static void
 953 cas_init(void *xsc)
 954 {
 955         struct cas_softc *sc = xsc;
 956
 957         CAS_LOCK(sc);
 958         cas_init_locked(sc);
 959         CAS_UNLOCK(sc);
 960 }
 961
 962 /*
 963  * Initialization of interface; set up initialization block
 964  * and transmit/receive descriptor rings.
 965  */
 966 static void
 967 cas_init_locked(struct cas_softc *sc)
 968 {
 969         struct ifnet *ifp = sc->sc_ifp;
 970         uint32_t v;
 971
 972         CAS_LOCK_ASSERT(sc, MA_OWNED);
 973
 974         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) != 0)
 975                 return;
 976
 977 #ifdef CAS_DEBUG
 978         CTR2(KTR_CAS, "%s: %s: calling stop", device_get_name(sc->sc_dev),
 979             __func__);
 980 #endif
 981         /*
 982          * Initialization sequence.  The numbered steps below correspond
 983          * to the sequence outlined in section 6.3.5.1 in the Ethernet
 984          * Channel Engine manual (part of the PCIO manual).
 985          * See also the STP2002-STQ document from Sun Microsystems.
 986          */
 987
 988         /* step 1 & 2.  Reset the Ethernet Channel. */
 989         cas_stop(ifp);
 990         cas_reset(sc);
 991 #ifdef CAS_DEBUG
 992         CTR2(KTR_CAS, "%s: %s: restarting", device_get_name(sc->sc_dev),
 993             __func__);
 994 #endif
 995
 996         if ((sc->sc_flags & CAS_SERDES) == 0)
 997                 /* Re-initialize the MIF. */
 998                 cas_mifinit(sc);
 999
1000         /* step 3.  Setup data structures in host memory. */
1001         cas_meminit(sc);
1002
1003         /* step 4.  TX MAC registers & counters */
1004         cas_init_regs(sc);
1005
1006         /* step 5.  RX MAC registers & counters */
1007
1008         /* step 6 & 7.  Program Ring Base Addresses. */
1009         CAS_WRITE_4(sc, CAS_TX_DESC3_BASE_HI,
1010             (((uint64_t)CAS_CDTXDADDR(sc, 0)) >> 32));
1011         CAS_WRITE_4(sc, CAS_TX_DESC3_BASE_LO,
1012             CAS_CDTXDADDR(sc, 0) & 0xffffffff);
1013
1014         CAS_WRITE_4(sc, CAS_RX_COMP_BASE_HI,
1015             (((uint64_t)CAS_CDRXCADDR(sc, 0)) >> 32));
1016         CAS_WRITE_4(sc, CAS_RX_COMP_BASE_LO,
1017             CAS_CDRXCADDR(sc, 0) & 0xffffffff);
1018
1019         CAS_WRITE_4(sc, CAS_RX_DESC_BASE_HI,
1020             (((uint64_t)CAS_CDRXDADDR(sc, 0)) >> 32));
1021         CAS_WRITE_4(sc, CAS_RX_DESC_BASE_LO,
1022             CAS_CDRXDADDR(sc, 0) & 0xffffffff);
1023
1024         if ((sc->sc_flags & CAS_REG_PLUS) != 0) {
1025                 CAS_WRITE_4(sc, CAS_RX_DESC2_BASE_HI,
1026                     (((uint64_t)CAS_CDRXD2ADDR(sc, 0)) >> 32));
1027                 CAS_WRITE_4(sc, CAS_RX_DESC2_BASE_LO,
1028                     CAS_CDRXD2ADDR(sc, 0) & 0xffffffff);
1029         }
1030
1031 #ifdef CAS_DEBUG
1032         CTR5(KTR_CAS,
1033             "loading TXDR %lx, RXCR %lx, RXDR %lx, RXD2R %lx, cddma %lx",
1034             CAS_CDTXDADDR(sc, 0), CAS_CDRXCADDR(sc, 0), CAS_CDRXDADDR(sc, 0),
1035             CAS_CDRXD2ADDR(sc, 0), sc->sc_cddma);
1036 #endif
1037
1038         /* step 8.  Global Configuration & Interrupt Masks */
1039
1040         /* Disable weighted round robin. */
1041         CAS_WRITE_4(sc, CAS_CAW, CAS_CAW_RR_DIS);
1042
1043         /*
1044          * Enable infinite bursts for revisions without PCI issues if
1045          * applicable.  Doing so greatly improves the TX performance on
1046          * !__sparc64__ (on sparc64, setting CAS_INF_BURST improves TX
1047          * performance only marginally but hurts RX throughput quite a bit).
1048          */
1049         CAS_WRITE_4(sc, CAS_INF_BURST,
1050 #if !defined(__sparc64__)
1051             (sc->sc_flags & CAS_TABORT) == 0 ? CAS_INF_BURST_EN :
1052 #endif
1053             0);
1054
1055         /* Set up interrupts. */
1056         CAS_WRITE_4(sc, CAS_INTMASK,
1057             ~(CAS_INTR_TX_INT_ME | CAS_INTR_TX_TAG_ERR |
1058             CAS_INTR_RX_DONE | CAS_INTR_RX_BUF_NA | CAS_INTR_RX_TAG_ERR |
1059             CAS_INTR_RX_COMP_FULL | CAS_INTR_RX_BUF_AEMPTY |
1060             CAS_INTR_RX_COMP_AFULL | CAS_INTR_RX_LEN_MMATCH |
1061             CAS_INTR_PCI_ERROR_INT
1062 #ifdef CAS_DEBUG
1063             | CAS_INTR_PCS_INT | CAS_INTR_MIF
1064 #endif
1065             ));
1066         /* Don't clear top level interrupts when CAS_STATUS_ALIAS is read. */
1067         CAS_WRITE_4(sc, CAS_CLEAR_ALIAS, 0);
1068         CAS_WRITE_4(sc, CAS_MAC_RX_MASK, ~CAS_MAC_RX_OVERFLOW);
1069         CAS_WRITE_4(sc, CAS_MAC_TX_MASK,
1070             ~(CAS_MAC_TX_UNDERRUN | CAS_MAC_TX_MAX_PKT_ERR));
1071 #ifdef CAS_DEBUG
1072         CAS_WRITE_4(sc, CAS_MAC_CTRL_MASK,
1073             ~(CAS_MAC_CTRL_PAUSE_RCVD | CAS_MAC_CTRL_PAUSE |
1074             CAS_MAC_CTRL_NON_PAUSE));
1075 #else
1076         CAS_WRITE_4(sc, CAS_MAC_CTRL_MASK,
1077             CAS_MAC_CTRL_PAUSE_RCVD | CAS_MAC_CTRL_PAUSE |
1078             CAS_MAC_CTRL_NON_PAUSE);
1079 #endif
1080
1081         /* Enable PCI error interrupts. */
1082         CAS_WRITE_4(sc, CAS_ERROR_MASK,
1083             ~(CAS_ERROR_DTRTO | CAS_ERROR_OTHER | CAS_ERROR_DMAW_ZERO |
1084             CAS_ERROR_DMAR_ZERO | CAS_ERROR_RTRTO));
1085
1086         /* Enable PCI error interrupts in BIM configuration. */
1087         CAS_WRITE_4(sc, CAS_BIM_CONF,
1088             CAS_BIM_CONF_DPAR_EN | CAS_BIM_CONF_RMA_EN | CAS_BIM_CONF_RTA_EN);
1089
1090         /*
1091          * step 9.  ETX Configuration: encode receive descriptor ring size,
1092          * enable DMA and disable pre-interrupt writeback completion.
1093          */
1094         v = cas_descsize(CAS_NTXDESC) << CAS_TX_CONF_DESC3_SHFT;
1095         CAS_WRITE_4(sc, CAS_TX_CONF, v | CAS_TX_CONF_TXDMA_EN |
1096             CAS_TX_CONF_RDPP_DIS | CAS_TX_CONF_PICWB_DIS);
1097
1098         /* step 10.  ERX Configuration */
1099
1100         /*
1101          * Encode receive completion and descriptor ring sizes, set the
1102          * swivel offset.
1103          */
1104         v = cas_rxcompsize(CAS_NRXCOMP) << CAS_RX_CONF_COMP_SHFT;
1105         v |= cas_descsize(CAS_NRXDESC) << CAS_RX_CONF_DESC_SHFT;
1106         if ((sc->sc_flags & CAS_REG_PLUS) != 0)
1107                 v |= cas_descsize(CAS_NRXDESC2) << CAS_RX_CONF_DESC2_SHFT;
1108         CAS_WRITE_4(sc, CAS_RX_CONF,
1109             v | (ETHER_ALIGN << CAS_RX_CONF_SOFF_SHFT));
1110
1111         /* Set the PAUSE thresholds.  We use the maximum OFF threshold. */
1112         CAS_WRITE_4(sc, CAS_RX_PTHRS,
1113             (111 << CAS_RX_PTHRS_XOFF_SHFT) | (15 << CAS_RX_PTHRS_XON_SHFT));
1114
1115         /* RX blanking */
1116         CAS_WRITE_4(sc, CAS_RX_BLANK,
1117             (15 << CAS_RX_BLANK_TIME_SHFT) | (5 << CAS_RX_BLANK_PKTS_SHFT));
1118
1119         /* Set RX_COMP_AFULL threshold to half of the RX completions. */
1120         CAS_WRITE_4(sc, CAS_RX_AEMPTY_THRS,
1121             (CAS_NRXCOMP / 2) << CAS_RX_AEMPTY_COMP_SHFT);
1122
1123         /* Initialize the RX page size register as appropriate for 8k. */
1124         CAS_WRITE_4(sc, CAS_RX_PSZ,
1125             (CAS_RX_PSZ_8K << CAS_RX_PSZ_SHFT) |
1126             (4 << CAS_RX_PSZ_MB_CNT_SHFT) |
1127             (CAS_RX_PSZ_MB_STRD_2K << CAS_RX_PSZ_MB_STRD_SHFT) |
1128             (CAS_RX_PSZ_MB_OFF_64 << CAS_RX_PSZ_MB_OFF_SHFT));
1129
1130         /* Disable RX random early detection. */
1131         CAS_WRITE_4(sc, CAS_RX_RED, 0);
1132
1133         /* Zero the RX reassembly DMA table. */
1134         for (v = 0; v <= CAS_RX_REAS_DMA_ADDR_LC; v++) {
1135                 CAS_WRITE_4(sc, CAS_RX_REAS_DMA_ADDR, v);
1136                 CAS_WRITE_4(sc, CAS_RX_REAS_DMA_DATA_LO, 0);
1137                 CAS_WRITE_4(sc, CAS_RX_REAS_DMA_DATA_MD, 0);
1138                 CAS_WRITE_4(sc, CAS_RX_REAS_DMA_DATA_HI, 0);
1139         }
1140
1141         /* Ensure the RX control FIFO and RX IPP FIFO addresses are zero. */
1142         CAS_WRITE_4(sc, CAS_RX_CTRL_FIFO, 0);
1143         CAS_WRITE_4(sc, CAS_RX_IPP_ADDR, 0);
1144
1145         /* Finally, enable RX DMA. */
1146         CAS_WRITE_4(sc, CAS_RX_CONF,
1147             CAS_READ_4(sc, CAS_RX_CONF) | CAS_RX_CONF_RXDMA_EN);
1148
1149         /* step 11.  Configure Media. */
1150
1151         /* step 12.  RX_MAC Configuration Register */
1152         v = CAS_READ_4(sc, CAS_MAC_RX_CONF);
1153         v &= ~(CAS_MAC_RX_CONF_STRPPAD | CAS_MAC_RX_CONF_EN);
1154         v |= CAS_MAC_RX_CONF_STRPFCS;
1155         sc->sc_mac_rxcfg = v;
1156         /*
1157          * Clear the RX filter and reprogram it.  This will also set the
1158          * current RX MAC configuration and enable it.
1159          */
1160         cas_setladrf(sc);
1161
1162         /* step 13.  TX_MAC Configuration Register */
1163         v = CAS_READ_4(sc, CAS_MAC_TX_CONF);
1164         v |= CAS_MAC_TX_CONF_EN;
1165         (void)cas_disable_tx(sc);
1166         CAS_WRITE_4(sc, CAS_MAC_TX_CONF, v);
1167
1168         /* step 14.  Issue Transmit Pending command. */
1169
1170         /* step 15.  Give the receiver a swift kick. */
1171         CAS_WRITE_4(sc, CAS_RX_KICK, CAS_NRXDESC - 4);
1172         CAS_WRITE_4(sc, CAS_RX_COMP_TAIL, 0);
1173         if ((sc->sc_flags & CAS_REG_PLUS) != 0)
1174                 CAS_WRITE_4(sc, CAS_RX_KICK2, CAS_NRXDESC2 - 4);
1175
1176         ifp->if_drv_flags |= IFF_DRV_RUNNING;
1177         ifp->if_drv_flags &= ~IFF_DRV_OACTIVE;
1178
1179         mii_mediachg(sc->sc_mii);
1180
1181         /* Start the one second timer. */
1182         sc->sc_wdog_timer = 0;
1183         callout_reset(&sc->sc_tick_ch, hz, cas_tick, sc);
1184 }
1185
1186 static int
1187 cas_load_txmbuf(struct cas_softc *sc, struct mbuf **m_head)
1188 {
1189         bus_dma_segment_t txsegs[CAS_NTXSEGS];
1190         struct cas_txsoft *txs;
1191         struct ip *ip;
1192         struct mbuf *m;
1193         uint64_t cflags;
1194         int error, nexttx, nsegs, offset, seg;
1195
1196         CAS_LOCK_ASSERT(sc, MA_OWNED);
1197
1198         /* Get a work queue entry. */
1199         if ((txs = STAILQ_FIRST(&sc->sc_txfreeq)) == NULL) {
1200                 /* Ran out of descriptors. */
1201                 return (ENOBUFS);
1202         }
1203
1204         cflags = 0;
1205         if (((*m_head)->m_pkthdr.csum_flags & CAS_CSUM_FEATURES) != 0) {
1206                 if (M_WRITABLE(*m_head) == 0) {
1207                         m = m_dup(*m_head, M_NOWAIT);
1208                         m_freem(*m_head);
1209                         *m_head = m;
1210                         if (m == NULL)
1211                                 return (ENOBUFS);
1212                 }
1213                 offset = sizeof(struct ether_header);
1214                 m = m_pullup(*m_head, offset + sizeof(struct ip));
1215                 if (m == NULL) {
1216                         *m_head = NULL;
1217                         return (ENOBUFS);
1218                 }
1219                 ip = (struct ip *)(mtod(m, caddr_t) + offset);
1220                 offset += (ip->ip_hl << 2);
1221                 cflags = (offset << CAS_TD_CKSUM_START_SHFT) |
1222                     ((offset + m->m_pkthdr.csum_data) <<
1223                     CAS_TD_CKSUM_STUFF_SHFT) | CAS_TD_CKSUM_EN;
1224                 *m_head = m;
1225         }
1226
1227         error = bus_dmamap_load_mbuf_sg(sc->sc_tdmatag, txs->txs_dmamap,
1228             *m_head, txsegs, &nsegs, BUS_DMA_NOWAIT);
1229         if (error == EFBIG) {
1230                 m = m_collapse(*m_head, M_NOWAIT, CAS_NTXSEGS);
1231                 if (m == NULL) {
1232                         m_freem(*m_head);
1233                         *m_head = NULL;
1234                         return (ENOBUFS);
1235                 }
1236                 *m_head = m;
1237                 error = bus_dmamap_load_mbuf_sg(sc->sc_tdmatag,
1238                     txs->txs_dmamap, *m_head, txsegs, &nsegs,
1239                     BUS_DMA_NOWAIT);
1240                 if (error != 0) {
1241                         m_freem(*m_head);
1242                         *m_head = NULL;
1243                         return (error);
1244                 }
1245         } else if (error != 0)
1246                 return (error);
1247         /* If nsegs is wrong then the stack is corrupt. */
1248         KASSERT(nsegs <= CAS_NTXSEGS,
1249             ("%s: too many DMA segments (%d)", __func__, nsegs));
1250         if (nsegs == 0) {
1251                 m_freem(*m_head);
1252                 *m_head = NULL;
1253                 return (EIO);
1254         }
1255
1256         /*
1257          * Ensure we have enough descriptors free to describe
1258          * the packet.  Note, we always reserve one descriptor
1259          * at the end of the ring as a termination point, in
1260          * order to prevent wrap-around.
1261          */
1262         if (nsegs > sc->sc_txfree - 1) {
1263                 txs->txs_ndescs = 0;
1264                 bus_dmamap_unload(sc->sc_tdmatag, txs->txs_dmamap);
1265                 return (ENOBUFS);
1266         }
1267
1268         txs->txs_ndescs = nsegs;
1269         txs->txs_firstdesc = sc->sc_txnext;
1270         nexttx = txs->txs_firstdesc;
1271         for (seg = 0; seg < nsegs; seg++, nexttx = CAS_NEXTTX(nexttx)) {
1272 #ifdef CAS_DEBUG
1273                 CTR6(KTR_CAS,
1274                     "%s: mapping seg %d (txd %d), len %lx, addr %#lx (%#lx)",
1275                     __func__, seg, nexttx, txsegs[seg].ds_len,
1276                     txsegs[seg].ds_addr, htole64(txsegs[seg].ds_addr));
1277 #endif
1278                 sc->sc_txdescs[nexttx].cd_buf_ptr =
1279                     htole64(txsegs[seg].ds_addr);
1280                 KASSERT(txsegs[seg].ds_len <
1281                     CAS_TD_BUF_LEN_MASK >> CAS_TD_BUF_LEN_SHFT,
1282                     ("%s: segment size too large!", __func__));
1283                 sc->sc_txdescs[nexttx].cd_flags =
1284                     htole64(txsegs[seg].ds_len << CAS_TD_BUF_LEN_SHFT);
1285                 txs->txs_lastdesc = nexttx;
1286         }
1287
1288         /* Set EOF on the last descriptor. */
1289 #ifdef CAS_DEBUG
1290         CTR3(KTR_CAS, "%s: end of frame at segment %d, TX %d",
1291             __func__, seg, nexttx);
1292 #endif
1293         sc->sc_txdescs[txs->txs_lastdesc].cd_flags |=
1294             htole64(CAS_TD_END_OF_FRAME);
1295
1296         /* Lastly set SOF on the first descriptor. */
1297 #ifdef CAS_DEBUG
1298         CTR3(KTR_CAS, "%s: start of frame at segment %d, TX %d",
1299             __func__, seg, nexttx);
1300 #endif
1301         if (sc->sc_txwin += nsegs > CAS_MAXTXFREE * 2 / 3) {
1302                 sc->sc_txwin = 0;
1303                 sc->sc_txdescs[txs->txs_firstdesc].cd_flags |=
1304                     htole64(cflags | CAS_TD_START_OF_FRAME | CAS_TD_INT_ME);
1305         } else
1306                 sc->sc_txdescs[txs->txs_firstdesc].cd_flags |=
1307                     htole64(cflags | CAS_TD_START_OF_FRAME);
1308
1309         /* Sync the DMA map. */
1310         bus_dmamap_sync(sc->sc_tdmatag, txs->txs_dmamap,
1311             BUS_DMASYNC_PREWRITE);
1312
1313 #ifdef CAS_DEBUG
1314         CTR4(KTR_CAS, "%s: setting firstdesc=%d, lastdesc=%d, ndescs=%d",
1315             __func__, txs->txs_firstdesc, txs->txs_lastdesc,
1316             txs->txs_ndescs);
1317 #endif
1318         STAILQ_REMOVE_HEAD(&sc->sc_txfreeq, txs_q);
1319         STAILQ_INSERT_TAIL(&sc->sc_txdirtyq, txs, txs_q);
1320         txs->txs_mbuf = *m_head;
1321
1322         sc->sc_txnext = CAS_NEXTTX(txs->txs_lastdesc);
1323         sc->sc_txfree -= txs->txs_ndescs;
1324
1325         return (0);
1326 }
1327
1328 static void
1329 cas_init_regs(struct cas_softc *sc)
1330 {
1331         int i;
1332         const u_char *laddr = IF_LLADDR(sc->sc_ifp);
1333
1334         CAS_LOCK_ASSERT(sc, MA_OWNED);
1335
1336         /* These registers are not cleared on reset. */
1337         if ((sc->sc_flags & CAS_INITED) == 0) {
1338                 /* magic values */
1339                 CAS_WRITE_4(sc, CAS_MAC_IPG0, 0);
1340                 CAS_WRITE_4(sc, CAS_MAC_IPG1, 8);
1341                 CAS_WRITE_4(sc, CAS_MAC_IPG2, 4);
1342
1343                 /* min frame length */
1344                 CAS_WRITE_4(sc, CAS_MAC_MIN_FRAME, ETHER_MIN_LEN);
1345                 /* max frame length and max burst size */
1346                 CAS_WRITE_4(sc, CAS_MAC_MAX_BF,
1347                     ((ETHER_MAX_LEN_JUMBO + ETHER_VLAN_ENCAP_LEN) <<
1348                     CAS_MAC_MAX_BF_FRM_SHFT) |
1349                     (0x2000 << CAS_MAC_MAX_BF_BST_SHFT));
1350
1351                 /* more magic values */
1352                 CAS_WRITE_4(sc, CAS_MAC_PREAMBLE_LEN, 0x7);
1353                 CAS_WRITE_4(sc, CAS_MAC_JAM_SIZE, 0x4);
1354                 CAS_WRITE_4(sc, CAS_MAC_ATTEMPT_LIMIT, 0x10);
1355                 CAS_WRITE_4(sc, CAS_MAC_CTRL_TYPE, 0x8808);
1356
1357                 /* random number seed */
1358                 CAS_WRITE_4(sc, CAS_MAC_RANDOM_SEED,
1359                     ((laddr[5] << 8) | laddr[4]) & 0x3ff);
1360
1361                 /* secondary MAC addresses: 0:0:0:0:0:0 */
1362                 for (i = CAS_MAC_ADDR3; i <= CAS_MAC_ADDR41;
1363                     i += CAS_MAC_ADDR4 - CAS_MAC_ADDR3)
1364                         CAS_WRITE_4(sc, i, 0);
1365
1366                 /* MAC control address: 01:80:c2:00:00:01 */
1367                 CAS_WRITE_4(sc, CAS_MAC_ADDR42, 0x0001);
1368                 CAS_WRITE_4(sc, CAS_MAC_ADDR43, 0xc200);
1369                 CAS_WRITE_4(sc, CAS_MAC_ADDR44, 0x0180);
1370
1371                 /* MAC filter address: 0:0:0:0:0:0 */
1372                 CAS_WRITE_4(sc, CAS_MAC_AFILTER0, 0);
1373                 CAS_WRITE_4(sc, CAS_MAC_AFILTER1, 0);
1374                 CAS_WRITE_4(sc, CAS_MAC_AFILTER2, 0);
1375                 CAS_WRITE_4(sc, CAS_MAC_AFILTER_MASK1_2, 0);
1376                 CAS_WRITE_4(sc, CAS_MAC_AFILTER_MASK0, 0);
1377
1378                 /* Zero the hash table. */
1379                 for (i = CAS_MAC_HASH0; i <= CAS_MAC_HASH15;
1380                     i += CAS_MAC_HASH1 - CAS_MAC_HASH0)
1381                         CAS_WRITE_4(sc, i, 0);
1382
1383                 sc->sc_flags |= CAS_INITED;
1384         }
1385
1386         /* Counters need to be zeroed. */
1387         CAS_WRITE_4(sc, CAS_MAC_NORM_COLL_CNT, 0);
1388         CAS_WRITE_4(sc, CAS_MAC_FIRST_COLL_CNT, 0);
1389         CAS_WRITE_4(sc, CAS_MAC_EXCESS_COLL_CNT, 0);
1390         CAS_WRITE_4(sc, CAS_MAC_LATE_COLL_CNT, 0);
1391         CAS_WRITE_4(sc, CAS_MAC_DEFER_TMR_CNT, 0);
1392         CAS_WRITE_4(sc, CAS_MAC_PEAK_ATTEMPTS, 0);
1393         CAS_WRITE_4(sc, CAS_MAC_RX_FRAME_COUNT, 0);
1394         CAS_WRITE_4(sc, CAS_MAC_RX_LEN_ERR_CNT, 0);
1395         CAS_WRITE_4(sc, CAS_MAC_RX_ALIGN_ERR, 0);
1396         CAS_WRITE_4(sc, CAS_MAC_RX_CRC_ERR_CNT, 0);
1397         CAS_WRITE_4(sc, CAS_MAC_RX_CODE_VIOL, 0);
1398
1399         /* Set XOFF PAUSE time. */
1400         CAS_WRITE_4(sc, CAS_MAC_SPC, 0x1BF0 << CAS_MAC_SPC_TIME_SHFT);
1401
1402         /* Set the station address. */
1403         CAS_WRITE_4(sc, CAS_MAC_ADDR0, (laddr[4] << 8) | laddr[5]);
1404         CAS_WRITE_4(sc, CAS_MAC_ADDR1, (laddr[2] << 8) | laddr[3]);
1405         CAS_WRITE_4(sc, CAS_MAC_ADDR2, (laddr[0] << 8) | laddr[1]);
1406
1407         /* Enable MII outputs. */
1408         CAS_WRITE_4(sc, CAS_MAC_XIF_CONF, CAS_MAC_XIF_CONF_TX_OE);
1409 }
1410
1411 static void
1412 cas_tx_task(void *arg, int pending __unused)
1413 {
1414         struct ifnet *ifp;
1415
1416         ifp = (struct ifnet *)arg;
1417         cas_start(ifp);
1418 }
1419
1420 static inline void
1421 cas_txkick(struct cas_softc *sc)
1422 {
1423
1424         /*
1425          * Update the TX kick register.  This register has to point to the
1426          * descriptor after the last valid one and for optimum performance
1427          * should be incremented in multiples of 4 (the DMA engine fetches/
1428          * updates descriptors in batches of 4).
1429          */
1430 #ifdef CAS_DEBUG
1431         CTR3(KTR_CAS, "%s: %s: kicking TX %d",
1432             device_get_name(sc->sc_dev), __func__, sc->sc_txnext);
1433 #endif
1434         CAS_CDSYNC(sc, BUS_DMASYNC_PREREAD | BUS_DMASYNC_PREWRITE);
1435         CAS_WRITE_4(sc, CAS_TX_KICK3, sc->sc_txnext);
1436 }
1437
1438 static void
1439 cas_start(struct ifnet *ifp)
1440 {
1441         struct cas_softc *sc = ifp->if_softc;
1442         struct mbuf *m;
1443         int kicked, ntx;
1444
1445         CAS_LOCK(sc);
1446
1447         if ((ifp->if_drv_flags & (IFF_DRV_RUNNING | IFF_DRV_OACTIVE)) !=
1448             IFF_DRV_RUNNING || (sc->sc_flags & CAS_LINK) == 0) {
1449                 CAS_UNLOCK(sc);
1450                 return;
1451         }
1452
1453         if (sc->sc_txfree < CAS_MAXTXFREE / 4)
1454                 cas_tint(sc);
1455
1456 #ifdef CAS_DEBUG
1457         CTR4(KTR_CAS, "%s: %s: txfree %d, txnext %d",
1458             device_get_name(sc->sc_dev), __func__, sc->sc_txfree,
1459             sc->sc_txnext);
1460 #endif
1461         ntx = 0;
1462         kicked = 0;
1463         for (; !IFQ_DRV_IS_EMPTY(&ifp->if_snd) && sc->sc_txfree > 1;) {
1464                 IFQ_DRV_DEQUEUE(&ifp->if_snd, m);
1465                 if (m == NULL)
1466                         break;
1467                 if (cas_load_txmbuf(sc, &m) != 0) {
1468                         if (m == NULL)
1469                                 break;
1470                         ifp->if_drv_flags |= IFF_DRV_OACTIVE;
1471                         IFQ_DRV_PREPEND(&ifp->if_snd, m);
1472                         break;
1473                 }
1474                 if ((sc->sc_txnext % 4) == 0) {
1475                         cas_txkick(sc);
1476                         kicked = 1;
1477                 } else
1478                         kicked = 0;
1479                 ntx++;
1480                 BPF_MTAP(ifp, m);
1481         }
1482
1483         if (ntx > 0) {
1484                 if (kicked == 0)
1485                         cas_txkick(sc);
1486 #ifdef CAS_DEBUG
1487                 CTR2(KTR_CAS, "%s: packets enqueued, OWN on %d",
1488                     device_get_name(sc->sc_dev), sc->sc_txnext);
1489 #endif
1490
1491                 /* Set a watchdog timer in case the chip flakes out. */
1492                 sc->sc_wdog_timer = 5;
1493 #ifdef CAS_DEBUG
1494                 CTR3(KTR_CAS, "%s: %s: watchdog %d",
1495                     device_get_name(sc->sc_dev), __func__,
1496                     sc->sc_wdog_timer);
1497 #endif
1498         }
1499
1500         CAS_UNLOCK(sc);
1501 }
1502
1503 static void
1504 cas_tint(struct cas_softc *sc)
1505 {
1506         struct ifnet *ifp = sc->sc_ifp;
1507         struct cas_txsoft *txs;
1508         int progress;
1509         uint32_t txlast;
1510 #ifdef CAS_DEBUG
1511         int i;
1512
1513         CAS_LOCK_ASSERT(sc, MA_OWNED);
1514
1515         CTR2(KTR_CAS, "%s: %s", device_get_name(sc->sc_dev), __func__);
1516 #endif
1517
1518         /*
1519          * Go through our TX list and free mbufs for those
1520          * frames that have been transmitted.
1521          */
1522         progress = 0;
1523         CAS_CDSYNC(sc, BUS_DMASYNC_POSTREAD);
1524         while ((txs = STAILQ_FIRST(&sc->sc_txdirtyq)) != NULL) {
1525 #ifdef CAS_DEBUG
1526                 if ((ifp->if_flags & IFF_DEBUG) != 0) {
1527                         printf("    txsoft %p transmit chain:\n", txs);
1528                         for (i = txs->txs_firstdesc;; i = CAS_NEXTTX(i)) {
1529                                 printf("descriptor %d: ", i);
1530                                 printf("cd_flags: 0x%016llx\t",
1531                                     (long long)le64toh(
1532                                     sc->sc_txdescs[i].cd_flags));
1533                                 printf("cd_buf_ptr: 0x%016llx\n",
1534                                     (long long)le64toh(
1535                                     sc->sc_txdescs[i].cd_buf_ptr));
1536                                 if (i == txs->txs_lastdesc)
1537                                         break;
1538                         }
1539                 }
1540 #endif
1541
1542                 /*
1543                  * In theory, we could harvest some descriptors before
1544                  * the ring is empty, but that's a bit complicated.
1545                  *
1546                  * CAS_TX_COMPn points to the last descriptor
1547                  * processed + 1.
1548                  */
1549                 txlast = CAS_READ_4(sc, CAS_TX_COMP3);
1550 #ifdef CAS_DEBUG
1551                 CTR4(KTR_CAS, "%s: txs->txs_firstdesc = %d, "
1552                     "txs->txs_lastdesc = %d, txlast = %d",
1553                     __func__, txs->txs_firstdesc, txs->txs_lastdesc, txlast);
1554 #endif
1555                 if (txs->txs_firstdesc <= txs->txs_lastdesc) {
1556                         if ((txlast >= txs->txs_firstdesc) &&
1557                             (txlast <= txs->txs_lastdesc))
1558                                 break;
1559                 } else {
1560                         /* Ick -- this command wraps. */
1561                         if ((txlast >= txs->txs_firstdesc) ||
1562                             (txlast <= txs->txs_lastdesc))
1563                                 break;
1564                 }
1565
1566 #ifdef CAS_DEBUG
1567                 CTR1(KTR_CAS, "%s: releasing a descriptor", __func__);
1568 #endif
1569                 STAILQ_REMOVE_HEAD(&sc->sc_txdirtyq, txs_q);
1570
1571                 sc->sc_txfree += txs->txs_ndescs;
1572
1573                 bus_dmamap_sync(sc->sc_tdmatag, txs->txs_dmamap,
1574                     BUS_DMASYNC_POSTWRITE);
1575                 bus_dmamap_unload(sc->sc_tdmatag, txs->txs_dmamap);
1576                 if (txs->txs_mbuf != NULL) {
1577                         m_freem(txs->txs_mbuf);
1578                         txs->txs_mbuf = NULL;
1579                 }
1580
1581                 STAILQ_INSERT_TAIL(&sc->sc_txfreeq, txs, txs_q);
1582
1583                 ifp->if_opackets++;
1584                 progress = 1;
1585         }
1586
1587 #ifdef CAS_DEBUG
1588         CTR5(KTR_CAS, "%s: CAS_TX_SM1 %x CAS_TX_SM2 %x CAS_TX_DESC_BASE %llx "
1589             "CAS_TX_COMP3 %x",
1590             __func__, CAS_READ_4(sc, CAS_TX_SM1), CAS_READ_4(sc, CAS_TX_SM2),
1591             ((long long)CAS_READ_4(sc, CAS_TX_DESC3_BASE_HI) << 32) |
1592             CAS_READ_4(sc, CAS_TX_DESC3_BASE_LO),
1593             CAS_READ_4(sc, CAS_TX_COMP3));
1594 #endif
1595
1596         if (progress) {
1597                 /* We freed some descriptors, so reset IFF_DRV_OACTIVE. */
1598                 ifp->if_drv_flags &= ~IFF_DRV_OACTIVE;
1599                 if (STAILQ_EMPTY(&sc->sc_txdirtyq))
1600                         sc->sc_wdog_timer = 0;
1601         }
1602
1603 #ifdef CAS_DEBUG
1604         CTR3(KTR_CAS, "%s: %s: watchdog %d",
1605             device_get_name(sc->sc_dev), __func__, sc->sc_wdog_timer);
1606 #endif
1607 }
1608
1609 static void
1610 cas_rint_timeout(void *arg)
1611 {
1612         struct cas_softc *sc = arg;
1613
1614         CAS_LOCK_ASSERT(sc, MA_OWNED);
1615
1616         cas_rint(sc);
1617 }
1618
1619 static void
1620 cas_rint(struct cas_softc *sc)
1621 {
1622         struct cas_rxdsoft *rxds, *rxds2;
1623         struct ifnet *ifp = sc->sc_ifp;
1624         struct mbuf *m, *m2;
1625         uint64_t word1, word2, word3, word4;
1626         uint32_t rxhead;
1627         u_int idx, idx2, len, off, skip;
1628
1629         CAS_LOCK_ASSERT(sc, MA_OWNED);
1630
1631         callout_stop(&sc->sc_rx_ch);
1632
1633 #ifdef CAS_DEBUG
1634         CTR2(KTR_CAS, "%s: %s", device_get_name(sc->sc_dev), __func__);
1635 #endif
1636
1637 #define PRINTWORD(n, delimiter)                                         \
1638         printf("word ## n: 0x%016llx%c", (long long)word ## n, delimiter)
1639
1640 #define SKIPASSERT(n)                                                   \
1641         KASSERT(sc->sc_rxcomps[sc->sc_rxcptr].crc_word ## n == 0,       \
1642             ("%s: word ## n not 0", __func__))
1643
1644 #define WORDTOH(n)                                                      \
1645         word ## n = le64toh(sc->sc_rxcomps[sc->sc_rxcptr].crc_word ## n)
1646
1647         /*
1648          * Read the completion head register once.  This limits
1649          * how long the following loop can execute.
1650          */
1651         rxhead = CAS_READ_4(sc, CAS_RX_COMP_HEAD);
1652 #ifdef CAS_DEBUG
1653         CTR4(KTR_CAS, "%s: sc->sc_rxcptr %d, sc->sc_rxdptr %d, head %d",
1654             __func__, sc->sc_rxcptr, sc->sc_rxdptr, rxhead);
1655 #endif
1656         skip = 0;
1657         CAS_CDSYNC(sc, BUS_DMASYNC_POSTREAD | BUS_DMASYNC_POSTWRITE);
1658         for (; sc->sc_rxcptr != rxhead;
1659             sc->sc_rxcptr = CAS_NEXTRXCOMP(sc->sc_rxcptr)) {
1660                 if (skip != 0) {
1661                         SKIPASSERT(1);
1662                         SKIPASSERT(2);
1663                         SKIPASSERT(3);
1664
1665                         --skip;
1666                         goto skip;
1667                 }
1668
1669                 WORDTOH(1);
1670                 WORDTOH(2);
1671                 WORDTOH(3);
1672                 WORDTOH(4);
1673
1674 #ifdef CAS_DEBUG
1675                 if ((ifp->if_flags & IFF_DEBUG) != 0) {
1676                         printf("    completion %d: ", sc->sc_rxcptr);
1677                         PRINTWORD(1, '\t');
1678                         PRINTWORD(2, '\t');
1679                         PRINTWORD(3, '\t');
1680                         PRINTWORD(4, '\n');
1681                 }
1682 #endif
1683
1684                 if (__predict_false(
1685                     (word1 & CAS_RC1_TYPE_MASK) == CAS_RC1_TYPE_HW ||
1686                     (word4 & CAS_RC4_ZERO) != 0)) {
1687                         /*
1688                          * The descriptor is still marked as owned, although
1689                          * it is supposed to have completed.  This has been
1690                          * observed on some machines.  Just exiting here
1691                          * might leave the packet sitting around until another
1692                          * one arrives to trigger a new interrupt, which is
1693                          * generally undesirable, so set up a timeout.
1694                          */
1695                         callout_reset(&sc->sc_rx_ch, CAS_RXOWN_TICKS,
1696                             cas_rint_timeout, sc);
1697                         break;
1698                 }
1699
1700                 if (__predict_false(
1701                     (word4 & (CAS_RC4_BAD | CAS_RC4_LEN_MMATCH)) != 0)) {
1702                         ifp->if_ierrors++;
1703                         device_printf(sc->sc_dev,
1704                             "receive error: CRC error\n");
1705                         continue;
1706                 }
1707
1708                 KASSERT(CAS_GET(word1, CAS_RC1_DATA_SIZE) == 0 ||
1709                     CAS_GET(word2, CAS_RC2_HDR_SIZE) == 0,
1710                     ("%s: data and header present", __func__));
1711                 KASSERT((word1 & CAS_RC1_SPLIT_PKT) == 0 ||
1712                     CAS_GET(word2, CAS_RC2_HDR_SIZE) == 0,
1713                     ("%s: split and header present", __func__));
1714                 KASSERT(CAS_GET(word1, CAS_RC1_DATA_SIZE) == 0 ||
1715                     (word1 & CAS_RC1_RELEASE_HDR) == 0,
1716                     ("%s: data present but header release", __func__));
1717                 KASSERT(CAS_GET(word2, CAS_RC2_HDR_SIZE) == 0 ||
1718                     (word1 & CAS_RC1_RELEASE_DATA) == 0,
1719                     ("%s: header present but data release", __func__));
1720
1721                 if ((len = CAS_GET(word2, CAS_RC2_HDR_SIZE)) != 0) {
1722                         idx = CAS_GET(word2, CAS_RC2_HDR_INDEX);
1723                         off = CAS_GET(word2, CAS_RC2_HDR_OFF);
1724 #ifdef CAS_DEBUG
1725                         CTR4(KTR_CAS, "%s: hdr at idx %d, off %d, len %d",
1726                             __func__, idx, off, len);
1727 #endif
1728                         rxds = &sc->sc_rxdsoft[idx];
1729                         MGETHDR(m, M_NOWAIT, MT_DATA);
1730                         if (m != NULL) {
1731                                 refcount_acquire(&rxds->rxds_refcount);
1732                                 bus_dmamap_sync(sc->sc_rdmatag,
1733                                     rxds->rxds_dmamap, BUS_DMASYNC_POSTREAD);
1734 #if __FreeBSD_version < 800016
1735                                 MEXTADD(m, (caddr_t)rxds->rxds_buf +
1736                                     off * 256 + ETHER_ALIGN, len, cas_free,
1737                                     rxds, M_RDONLY, EXT_NET_DRV);
1738 #else
1739                                 MEXTADD(m, (caddr_t)rxds->rxds_buf +
1740                                     off * 256 + ETHER_ALIGN, len, cas_free,
1741                                     sc, (void *)(uintptr_t)idx,
1742                                     M_RDONLY, EXT_NET_DRV);
1743 #endif
1744                                 if ((m->m_flags & M_EXT) == 0) {
1745                                         m_freem(m);
1746                                         m = NULL;
1747                                 }
1748                         }
1749                         if (m != NULL) {
1750                                 m->m_pkthdr.rcvif = ifp;
1751                                 m->m_pkthdr.len = m->m_len = len;
1752                                 ifp->if_ipackets++;
1753                                 if ((ifp->if_capenable & IFCAP_RXCSUM) != 0)
1754                                         cas_rxcksum(m, CAS_GET(word4,
1755                                             CAS_RC4_TCP_CSUM));
1756                                 /* Pass it on. */
1757                                 CAS_UNLOCK(sc);
1758                                 (*ifp->if_input)(ifp, m);
1759                                 CAS_LOCK(sc);
1760                         } else
1761                                 ifp->if_iqdrops++;
1762
1763                         if ((word1 & CAS_RC1_RELEASE_HDR) != 0 &&
1764                             refcount_release(&rxds->rxds_refcount) != 0)
1765                                 cas_add_rxdesc(sc, idx);
1766                 } else if ((len = CAS_GET(word1, CAS_RC1_DATA_SIZE)) != 0) {
1767                         idx = CAS_GET(word1, CAS_RC1_DATA_INDEX);
1768                         off = CAS_GET(word1, CAS_RC1_DATA_OFF);
1769 #ifdef CAS_DEBUG
1770                         CTR4(KTR_CAS, "%s: data at idx %d, off %d, len %d",
1771                             __func__, idx, off, len);
1772 #endif
1773                         rxds = &sc->sc_rxdsoft[idx];
1774                         MGETHDR(m, M_NOWAIT, MT_DATA);
1775                         if (m != NULL) {
1776                                 refcount_acquire(&rxds->rxds_refcount);
1777                                 off += ETHER_ALIGN;
1778                                 m->m_len = min(CAS_PAGE_SIZE - off, len);
1779                                 bus_dmamap_sync(sc->sc_rdmatag,
1780                                     rxds->rxds_dmamap, BUS_DMASYNC_POSTREAD);
1781 #if __FreeBSD_version < 800016
1782                                 MEXTADD(m, (caddr_t)rxds->rxds_buf + off,
1783                                     m->m_len, cas_free, rxds, M_RDONLY,
1784                                     EXT_NET_DRV);
1785 #else
1786                                 MEXTADD(m, (caddr_t)rxds->rxds_buf + off,
1787                                     m->m_len, cas_free, sc,
1788                                     (void *)(uintptr_t)idx, M_RDONLY,
1789                                     EXT_NET_DRV);
1790 #endif
1791                                 if ((m->m_flags & M_EXT) == 0) {
1792                                         m_freem(m);
1793                                         m = NULL;
1794                                 }
1795                         }
1796                         idx2 = 0;
1797                         m2 = NULL;
1798                         rxds2 = NULL;
1799                         if ((word1 & CAS_RC1_SPLIT_PKT) != 0) {
1800                                 KASSERT((word1 & CAS_RC1_RELEASE_NEXT) != 0,
1801                                     ("%s: split but no release next",
1802                                     __func__));
1803
1804                                 idx2 = CAS_GET(word2, CAS_RC2_NEXT_INDEX);
1805 #ifdef CAS_DEBUG
1806                                 CTR2(KTR_CAS, "%s: split at idx %d",
1807                                     __func__, idx2);
1808 #endif
1809                                 rxds2 = &sc->sc_rxdsoft[idx2];
1810                                 if (m != NULL) {
1811                                         MGET(m2, M_NOWAIT, MT_DATA);
1812                                         if (m2 != NULL) {
1813                                                 refcount_acquire(
1814                                                     &rxds2->rxds_refcount);
1815                                                 m2->m_len = len - m->m_len;
1816                                                 bus_dmamap_sync(
1817                                                     sc->sc_rdmatag,
1818                                                     rxds2->rxds_dmamap,
1819                                                     BUS_DMASYNC_POSTREAD);
1820 #if __FreeBSD_version < 800016
1821                                                 MEXTADD(m2,
1822                                                     (caddr_t)rxds2->rxds_buf,
1823                                                     m2->m_len, cas_free,
1824                                                     rxds2, M_RDONLY,
1825                                                     EXT_NET_DRV);
1826 #else
1827                                                 MEXTADD(m2,
1828                                                     (caddr_t)rxds2->rxds_buf,
1829                                                     m2->m_len, cas_free, sc,
1830                                                     (void *)(uintptr_t)idx2,
1831                                                     M_RDONLY, EXT_NET_DRV);
1832 #endif
1833                                                 if ((m2->m_flags & M_EXT) ==
1834                                                     0) {
1835                                                         m_freem(m2);
1836                                                         m2 = NULL;
1837                                                 }
1838                                         }
1839                                 }
1840                                 if (m2 != NULL)
1841                                         m->m_next = m2;
1842                                 else if (m != NULL) {
1843                                         m_freem(m);
1844                                         m = NULL;
1845                                 }
1846                         }
1847                         if (m != NULL) {
1848                                 m->m_pkthdr.rcvif = ifp;
1849                                 m->m_pkthdr.len = len;
1850                                 ifp->if_ipackets++;
1851                                 if ((ifp->if_capenable & IFCAP_RXCSUM) != 0)
1852                                         cas_rxcksum(m, CAS_GET(word4,
1853                                             CAS_RC4_TCP_CSUM));
1854                                 /* Pass it on. */
1855                                 CAS_UNLOCK(sc);
1856                                 (*ifp->if_input)(ifp, m);
1857                                 CAS_LOCK(sc);
1858                         } else
1859                                 ifp->if_iqdrops++;
1860
1861                         if ((word1 & CAS_RC1_RELEASE_DATA) != 0 &&
1862                             refcount_release(&rxds->rxds_refcount) != 0)
1863                                 cas_add_rxdesc(sc, idx);
1864                         if ((word1 & CAS_RC1_SPLIT_PKT) != 0 &&
1865                             refcount_release(&rxds2->rxds_refcount) != 0)
1866                                 cas_add_rxdesc(sc, idx2);
1867                 }
1868
1869                 skip = CAS_GET(word1, CAS_RC1_SKIP);
1870
1871  skip:
1872                 cas_rxcompinit(&sc->sc_rxcomps[sc->sc_rxcptr]);
1873                 if ((ifp->if_drv_flags & IFF_DRV_RUNNING) == 0)
1874                         break;
1875         }
1876         CAS_CDSYNC(sc, BUS_DMASYNC_PREREAD | BUS_DMASYNC_PREWRITE);
1877         CAS_WRITE_4(sc, CAS_RX_COMP_TAIL, sc->sc_rxcptr);
1878
1879 #undef PRINTWORD
1880 #undef SKIPASSERT
1881 #undef WORDTOH
1882
1883 #ifdef CAS_DEBUG
1884         CTR4(KTR_CAS, "%s: done sc->sc_rxcptr %d, sc->sc_rxdptr %d, head %d",
1885             __func__, sc->sc_rxcptr, sc->sc_rxdptr,
1886             CAS_READ_4(sc, CAS_RX_COMP_HEAD));
1887 #endif
1888 }
1889
1890 static int
1891 cas_free(struct mbuf *m, void *arg1, void *arg2)
1892 {
1893         struct cas_rxdsoft *rxds;
1894         struct cas_softc *sc;
1895         u_int idx, locked;
1896
1897 #if __FreeBSD_version < 800016
1898         rxds = arg2;
1899         sc = rxds->rxds_sc;
1900         idx = rxds->rxds_idx;
1901 #else
1902         sc = arg1;
1903         idx = (uintptr_t)arg2;
1904         rxds = &sc->sc_rxdsoft[idx];
1905 #endif
1906         if (refcount_release(&rxds->rxds_refcount) == 0)
1907                 return (EXT_FREE_OK);
1908
1909         /*
1910          * NB: this function can be called via m_freem(9) within
1911          * this driver!
1912          */
1913         if ((locked = CAS_LOCK_OWNED(sc)) == 0)
1914                 CAS_LOCK(sc);
1915         cas_add_rxdesc(sc, idx);
1916         if (locked == 0)
1917                 CAS_UNLOCK(sc);
1918         return (EXT_FREE_OK);
1919 }
1920
1921 static inline void
1922 cas_add_rxdesc(struct cas_softc *sc, u_int idx)
1923 {
1924
1925         CAS_LOCK_ASSERT(sc, MA_OWNED);
1926
1927         bus_dmamap_sync(sc->sc_rdmatag, sc->sc_rxdsoft[idx].rxds_dmamap,
1928             BUS_DMASYNC_PREREAD);
1929         CAS_UPDATE_RXDESC(sc, sc->sc_rxdptr, idx);
1930         sc->sc_rxdptr = CAS_NEXTRXDESC(sc->sc_rxdptr);
1931
1932         /*
1933          * Update the RX kick register.  This register has to point to the
1934          * descriptor after the last valid one (before the current batch)
1935          * and for optimum performance should be incremented in multiples
1936          * of 4 (the DMA engine fetches/updates descriptors in batches of 4).
1937          */
1938         if ((sc->sc_rxdptr % 4) == 0) {
1939                 CAS_CDSYNC(sc, BUS_DMASYNC_PREREAD | BUS_DMASYNC_PREWRITE);
1940                 CAS_WRITE_4(sc, CAS_RX_KICK,
1941                     (sc->sc_rxdptr + CAS_NRXDESC - 4) & CAS_NRXDESC_MASK);
1942         }
1943 }
1944
1945 static void
1946 cas_eint(struct cas_softc *sc, u_int status)
1947 {
1948         struct ifnet *ifp = sc->sc_ifp;
1949
1950         CAS_LOCK_ASSERT(sc, MA_OWNED);
1951
1952         ifp->if_ierrors++;
1953
1954         device_printf(sc->sc_dev, "%s: status 0x%x", __func__, status);
1955         if ((status & CAS_INTR_PCI_ERROR_INT) != 0) {
1956                 status = CAS_READ_4(sc, CAS_ERROR_STATUS);
1957                 printf(", PCI bus error 0x%x", status);
1958                 if ((status & CAS_ERROR_OTHER) != 0) {
1959                         status = pci_read_config(sc->sc_dev, PCIR_STATUS, 2);
1960                         printf(", PCI status 0x%x", status);
1961                         pci_write_config(sc->sc_dev, PCIR_STATUS, status, 2);
1962                 }
1963         }
1964         printf("\n");
1965
1966         ifp->if_drv_flags &= ~IFF_DRV_RUNNING;
1967         cas_init_locked(sc);
1968         if (!IFQ_DRV_IS_EMPTY(&ifp->if_snd))
1969                 taskqueue_enqueue(sc->sc_tq, &sc->sc_tx_task);
1970 }
1971
1972 static int
1973 cas_intr(void *v)
1974 {
1975         struct cas_softc *sc = v;
1976
1977         if (__predict_false((CAS_READ_4(sc, CAS_STATUS_ALIAS) &
1978             CAS_INTR_SUMMARY) == 0))
1979                 return (FILTER_STRAY);
1980
1981         /* Disable interrupts. */
1982         CAS_WRITE_4(sc, CAS_INTMASK, 0xffffffff);
1983         taskqueue_enqueue(sc->sc_tq, &sc->sc_intr_task);
1984
1985         return (FILTER_HANDLED);
1986 }
1987
1988 static void
1989 cas_intr_task(void *arg, int pending __unused)
1990 {
1991         struct cas_softc *sc = arg;
1992         struct ifnet *ifp = sc->sc_ifp;
1993         uint32_t status, status2;
1994
1995         CAS_LOCK_ASSERT(sc, MA_NOTOWNED);
1996
1997         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) == 0)
1998                 return;
1999
2000         status = CAS_READ_4(sc, CAS_STATUS);
2001         if (__predict_false((status & CAS_INTR_SUMMARY) == 0))
2002                 goto done;
2003
2004         CAS_LOCK(sc);
2005 #ifdef CAS_DEBUG
2006         CTR4(KTR_CAS, "%s: %s: cplt %x, status %x",
2007             device_get_name(sc->sc_dev), __func__,
2008             (status >> CAS_STATUS_TX_COMP3_SHFT), (u_int)status);
2009
2010         /*
2011          * PCS interrupts must be cleared, otherwise no traffic is passed!
2012          */
2013         if ((status & CAS_INTR_PCS_INT) != 0) {
2014                 status2 =
2015                     CAS_READ_4(sc, CAS_PCS_INTR_STATUS) |
2016                     CAS_READ_4(sc, CAS_PCS_INTR_STATUS);
2017                 if ((status2 & CAS_PCS_INTR_LINK) != 0)
2018                         device_printf(sc->sc_dev,
2019                             "%s: PCS link status changed\n", __func__);
2020         }
2021         if ((status & CAS_MAC_CTRL_STATUS) != 0) {
2022                 status2 = CAS_READ_4(sc, CAS_MAC_CTRL_STATUS);
2023                 if ((status2 & CAS_MAC_CTRL_PAUSE) != 0)
2024                         device_printf(sc->sc_dev,
2025                             "%s: PAUSE received (PAUSE time %d slots)\n",
2026                             __func__,
2027                             (status2 & CAS_MAC_CTRL_STATUS_PT_MASK) >>
2028                             CAS_MAC_CTRL_STATUS_PT_SHFT);
2029                 if ((status2 & CAS_MAC_CTRL_PAUSE) != 0)
2030                         device_printf(sc->sc_dev,
2031                             "%s: transited to PAUSE state\n", __func__);
2032                 if ((status2 & CAS_MAC_CTRL_NON_PAUSE) != 0)
2033                         device_printf(sc->sc_dev,
2034                             "%s: transited to non-PAUSE state\n", __func__);
2035         }
2036         if ((status & CAS_INTR_MIF) != 0)
2037                 device_printf(sc->sc_dev, "%s: MIF interrupt\n", __func__);
2038 #endif
2039
2040         if (__predict_false((status &
2041             (CAS_INTR_TX_TAG_ERR | CAS_INTR_RX_TAG_ERR |
2042             CAS_INTR_RX_LEN_MMATCH | CAS_INTR_PCI_ERROR_INT)) != 0)) {
2043                 cas_eint(sc, status);
2044                 CAS_UNLOCK(sc);
2045                 return;
2046         }
2047
2048         if (__predict_false(status & CAS_INTR_TX_MAC_INT)) {
2049                 status2 = CAS_READ_4(sc, CAS_MAC_TX_STATUS);
2050                 if ((status2 &
2051                     (CAS_MAC_TX_UNDERRUN | CAS_MAC_TX_MAX_PKT_ERR)) != 0)
2052                         ifp->if_oerrors++;
2053                 else if ((status2 & ~CAS_MAC_TX_FRAME_XMTD) != 0)
2054                         device_printf(sc->sc_dev,
2055                             "MAC TX fault, status %x\n", status2);
2056         }
2057
2058         if (__predict_false(status & CAS_INTR_RX_MAC_INT)) {
2059                 status2 = CAS_READ_4(sc, CAS_MAC_RX_STATUS);
2060                 if ((status2 & CAS_MAC_RX_OVERFLOW) != 0)
2061                         ifp->if_ierrors++;
2062                 else if ((status2 & ~CAS_MAC_RX_FRAME_RCVD) != 0)
2063                         device_printf(sc->sc_dev,
2064                             "MAC RX fault, status %x\n", status2);
2065         }
2066
2067         if ((status &
2068             (CAS_INTR_RX_DONE | CAS_INTR_RX_BUF_NA | CAS_INTR_RX_COMP_FULL |
2069             CAS_INTR_RX_BUF_AEMPTY | CAS_INTR_RX_COMP_AFULL)) != 0) {
2070                 cas_rint(sc);
2071 #ifdef CAS_DEBUG
2072                 if (__predict_false((status &
2073                     (CAS_INTR_RX_BUF_NA | CAS_INTR_RX_COMP_FULL |
2074                     CAS_INTR_RX_BUF_AEMPTY | CAS_INTR_RX_COMP_AFULL)) != 0))
2075                         device_printf(sc->sc_dev,
2076                             "RX fault, status %x\n", status);
2077 #endif
2078         }
2079
2080         if ((status &
2081             (CAS_INTR_TX_INT_ME | CAS_INTR_TX_ALL | CAS_INTR_TX_DONE)) != 0)
2082                 cas_tint(sc);
2083
2084         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) == 0) {
2085                 CAS_UNLOCK(sc);
2086                 return;
2087         } else if (!IFQ_DRV_IS_EMPTY(&ifp->if_snd))
2088                 taskqueue_enqueue(sc->sc_tq, &sc->sc_tx_task);
2089         CAS_UNLOCK(sc);
2090
2091         status = CAS_READ_4(sc, CAS_STATUS_ALIAS);
2092         if (__predict_false((status & CAS_INTR_SUMMARY) != 0)) {
2093                 taskqueue_enqueue(sc->sc_tq, &sc->sc_intr_task);
2094                 return;
2095         }
2096
2097  done:
2098         /* Re-enable interrupts. */
2099         CAS_WRITE_4(sc, CAS_INTMASK,
2100             ~(CAS_INTR_TX_INT_ME | CAS_INTR_TX_TAG_ERR |
2101             CAS_INTR_RX_DONE | CAS_INTR_RX_BUF_NA | CAS_INTR_RX_TAG_ERR |
2102             CAS_INTR_RX_COMP_FULL | CAS_INTR_RX_BUF_AEMPTY |
2103             CAS_INTR_RX_COMP_AFULL | CAS_INTR_RX_LEN_MMATCH |
2104             CAS_INTR_PCI_ERROR_INT
2105 #ifdef CAS_DEBUG
2106             | CAS_INTR_PCS_INT | CAS_INTR_MIF
2107 #endif
2108         ));
2109 }
2110
2111 static void
2112 cas_watchdog(struct cas_softc *sc)
2113 {
2114         struct ifnet *ifp = sc->sc_ifp;
2115
2116         CAS_LOCK_ASSERT(sc, MA_OWNED);
2117
2118 #ifdef CAS_DEBUG
2119         CTR4(KTR_CAS,
2120             "%s: CAS_RX_CONF %x CAS_MAC_RX_STATUS %x CAS_MAC_RX_CONF %x",
2121             __func__, CAS_READ_4(sc, CAS_RX_CONF),
2122             CAS_READ_4(sc, CAS_MAC_RX_STATUS),
2123             CAS_READ_4(sc, CAS_MAC_RX_CONF));
2124         CTR4(KTR_CAS,
2125             "%s: CAS_TX_CONF %x CAS_MAC_TX_STATUS %x CAS_MAC_TX_CONF %x",
2126             __func__, CAS_READ_4(sc, CAS_TX_CONF),
2127             CAS_READ_4(sc, CAS_MAC_TX_STATUS),
2128             CAS_READ_4(sc, CAS_MAC_TX_CONF));
2129 #endif
2130
2131         if (sc->sc_wdog_timer == 0 || --sc->sc_wdog_timer != 0)
2132                 return;
2133
2134         if ((sc->sc_flags & CAS_LINK) != 0)
2135                 device_printf(sc->sc_dev, "device timeout\n");
2136         else if (bootverbose)
2137                 device_printf(sc->sc_dev, "device timeout (no link)\n");
2138         ++ifp->if_oerrors;
2139
2140         /* Try to get more packets going. */
2141         ifp->if_drv_flags &= ~IFF_DRV_RUNNING;
2142         cas_init_locked(sc);
2143         if (!IFQ_DRV_IS_EMPTY(&ifp->if_snd))
2144                 taskqueue_enqueue(sc->sc_tq, &sc->sc_tx_task);
2145 }
2146
2147 static void
2148 cas_mifinit(struct cas_softc *sc)
2149 {
2150
2151         /* Configure the MIF in frame mode. */
2152         CAS_WRITE_4(sc, CAS_MIF_CONF,
2153             CAS_READ_4(sc, CAS_MIF_CONF) & ~CAS_MIF_CONF_BB_MODE);
2154         CAS_BARRIER(sc, CAS_MIF_CONF, 4,
2155             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
2156 }
2157
2158 /*
2159  * MII interface
2160  *
2161  * The MII interface supports at least three different operating modes:
2162  *
2163  * Bitbang mode is implemented using data, clock and output enable registers.
2164  *
2165  * Frame mode is implemented by loading a complete frame into the frame
2166  * register and polling the valid bit for completion.
2167  *
2168  * Polling mode uses the frame register but completion is indicated by
2169  * an interrupt.
2170  *
2171  */
2172 static int
2173 cas_mii_readreg(device_t dev, int phy, int reg)
2174 {
2175         struct cas_softc *sc;
2176         int n;
2177         uint32_t v;
2178
2179 #ifdef CAS_DEBUG_PHY
2180         printf("%s: phy %d reg %d\n", __func__, phy, reg);
2181 #endif
2182
2183         sc = device_get_softc(dev);
2184         if ((sc->sc_flags & CAS_SERDES) != 0) {
2185                 switch (reg) {
2186                 case MII_BMCR:
2187                         reg = CAS_PCS_CTRL;
2188                         break;
2189                 case MII_BMSR:
2190                         reg = CAS_PCS_STATUS;
2191                         break;
2192                 case MII_PHYIDR1:
2193                 case MII_PHYIDR2:
2194                         return (0);
2195                 case MII_ANAR:
2196                         reg = CAS_PCS_ANAR;
2197                         break;
2198                 case MII_ANLPAR:
2199                         reg = CAS_PCS_ANLPAR;
2200                         break;
2201                 case MII_EXTSR:
2202                         return (EXTSR_1000XFDX | EXTSR_1000XHDX);
2203                 default:
2204                         device_printf(sc->sc_dev,
2205                             "%s: unhandled register %d\n", __func__, reg);
2206                         return (0);
2207                 }
2208                 return (CAS_READ_4(sc, reg));
2209         }
2210
2211         /* Construct the frame command. */
2212         v = CAS_MIF_FRAME_READ |
2213             (phy << CAS_MIF_FRAME_PHY_SHFT) |
2214             (reg << CAS_MIF_FRAME_REG_SHFT);
2215
2216         CAS_WRITE_4(sc, CAS_MIF_FRAME, v);
2217         CAS_BARRIER(sc, CAS_MIF_FRAME, 4,
2218             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
2219         for (n = 0; n < 100; n++) {
2220                 DELAY(1);
2221                 v = CAS_READ_4(sc, CAS_MIF_FRAME);
2222                 if (v & CAS_MIF_FRAME_TA_LSB)
2223                         return (v & CAS_MIF_FRAME_DATA);
2224         }
2225
2226         device_printf(sc->sc_dev, "%s: timed out\n", __func__);
2227         return (0);
2228 }
2229
2230 static int
2231 cas_mii_writereg(device_t dev, int phy, int reg, int val)
2232 {
2233         struct cas_softc *sc;
2234         int n;
2235         uint32_t v;
2236
2237 #ifdef CAS_DEBUG_PHY
2238         printf("%s: phy %d reg %d val %x\n", phy, reg, val, __func__);
2239 #endif
2240
2241         sc = device_get_softc(dev);
2242         if ((sc->sc_flags & CAS_SERDES) != 0) {
2243                 switch (reg) {
2244                 case MII_BMSR:
2245                         reg = CAS_PCS_STATUS;
2246                         break;
2247                 case MII_BMCR:
2248                         reg = CAS_PCS_CTRL;
2249                         if ((val & CAS_PCS_CTRL_RESET) == 0)
2250                                 break;
2251                         CAS_WRITE_4(sc, CAS_PCS_CTRL, val);
2252                         CAS_BARRIER(sc, CAS_PCS_CTRL, 4,
2253                             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
2254                         if (!cas_bitwait(sc, CAS_PCS_CTRL,
2255                             CAS_PCS_CTRL_RESET, 0))
2256                                 device_printf(sc->sc_dev,
2257                                     "cannot reset PCS\n");
2258                         /* FALLTHROUGH */
2259                 case MII_ANAR:
2260                         CAS_WRITE_4(sc, CAS_PCS_CONF, 0);
2261                         CAS_BARRIER(sc, CAS_PCS_CONF, 4,
2262                             BUS_SPACE_BARRIER_WRITE);
2263                         CAS_WRITE_4(sc, CAS_PCS_ANAR, val);
2264                         CAS_BARRIER(sc, CAS_PCS_ANAR, 4,
2265                             BUS_SPACE_BARRIER_WRITE);
2266                         CAS_WRITE_4(sc, CAS_PCS_SERDES_CTRL,
2267                             CAS_PCS_SERDES_CTRL_ESD);
2268                         CAS_BARRIER(sc, CAS_PCS_CONF, 4,
2269                             BUS_SPACE_BARRIER_WRITE);
2270                         CAS_WRITE_4(sc, CAS_PCS_CONF,
2271                             CAS_PCS_CONF_EN);
2272                         CAS_BARRIER(sc, CAS_PCS_CONF, 4,
2273                             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
2274                         return (0);
2275                 case MII_ANLPAR:
2276                         reg = CAS_PCS_ANLPAR;
2277                         break;
2278                 default:
2279                         device_printf(sc->sc_dev,
2280                             "%s: unhandled register %d\n", __func__, reg);
2281                         return (0);
2282                 }
2283                 CAS_WRITE_4(sc, reg, val);
2284                 CAS_BARRIER(sc, reg, 4,
2285                     BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
2286                 return (0);
2287         }
2288
2289         /* Construct the frame command. */
2290         v = CAS_MIF_FRAME_WRITE |
2291             (phy << CAS_MIF_FRAME_PHY_SHFT) |
2292             (reg << CAS_MIF_FRAME_REG_SHFT) |
2293             (val & CAS_MIF_FRAME_DATA);
2294
2295         CAS_WRITE_4(sc, CAS_MIF_FRAME, v);
2296         CAS_BARRIER(sc, CAS_MIF_FRAME, 4,
2297             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
2298         for (n = 0; n < 100; n++) {
2299                 DELAY(1);
2300                 v = CAS_READ_4(sc, CAS_MIF_FRAME);
2301                 if (v & CAS_MIF_FRAME_TA_LSB)
2302                         return (1);
2303         }
2304
2305         device_printf(sc->sc_dev, "%s: timed out\n", __func__);
2306         return (0);
2307 }
2308
2309 static void
2310 cas_mii_statchg(device_t dev)
2311 {
2312         struct cas_softc *sc;
2313         struct ifnet *ifp;
2314         int gigabit;
2315         uint32_t rxcfg, txcfg, v;
2316
2317         sc = device_get_softc(dev);
2318         ifp = sc->sc_ifp;
2319
2320         CAS_LOCK_ASSERT(sc, MA_OWNED);
2321
2322 #ifdef CAS_DEBUG
2323         if ((ifp->if_flags & IFF_DEBUG) != 0)
2324                 device_printf(sc->sc_dev, "%s: status changen", __func__);
2325 #endif
2326
2327         if ((sc->sc_mii->mii_media_status & IFM_ACTIVE) != 0 &&
2328             IFM_SUBTYPE(sc->sc_mii->mii_media_active) != IFM_NONE)
2329                 sc->sc_flags |= CAS_LINK;
2330         else
2331                 sc->sc_flags &= ~CAS_LINK;
2332
2333         switch (IFM_SUBTYPE(sc->sc_mii->mii_media_active)) {
2334         case IFM_1000_SX:
2335         case IFM_1000_LX:
2336         case IFM_1000_CX:
2337         case IFM_1000_T:
2338                 gigabit = 1;
2339                 break;
2340         default:
2341                 gigabit = 0;
2342         }
2343
2344         /*
2345          * The configuration done here corresponds to the steps F) and
2346          * G) and as far as enabling of RX and TX MAC goes also step H)
2347          * of the initialization sequence outlined in section 11.2.1 of
2348          * the Cassini+ ASIC Specification.
2349          */
2350
2351         rxcfg = sc->sc_mac_rxcfg;
2352         rxcfg &= ~CAS_MAC_RX_CONF_CARR;
2353         txcfg = CAS_MAC_TX_CONF_EN_IPG0 | CAS_MAC_TX_CONF_NGU |
2354             CAS_MAC_TX_CONF_NGUL;
2355         if ((IFM_OPTIONS(sc->sc_mii->mii_media_active) & IFM_FDX) != 0)
2356                 txcfg |= CAS_MAC_TX_CONF_ICARR | CAS_MAC_TX_CONF_ICOLLIS;
2357         else if (gigabit != 0) {
2358                 rxcfg |= CAS_MAC_RX_CONF_CARR;
2359                 txcfg |= CAS_MAC_TX_CONF_CARR;
2360         }
2361         (void)cas_disable_tx(sc);
2362         CAS_WRITE_4(sc, CAS_MAC_TX_CONF, txcfg);
2363         (void)cas_disable_rx(sc);
2364         CAS_WRITE_4(sc, CAS_MAC_RX_CONF, rxcfg);
2365
2366         v = CAS_READ_4(sc, CAS_MAC_CTRL_CONF) &
2367             ~(CAS_MAC_CTRL_CONF_TXP | CAS_MAC_CTRL_CONF_RXP);
2368         if ((IFM_OPTIONS(sc->sc_mii->mii_media_active) &
2369             IFM_ETH_RXPAUSE) != 0)
2370                 v |= CAS_MAC_CTRL_CONF_RXP;
2371         if ((IFM_OPTIONS(sc->sc_mii->mii_media_active) &
2372             IFM_ETH_TXPAUSE) != 0)
2373                 v |= CAS_MAC_CTRL_CONF_TXP;
2374         CAS_WRITE_4(sc, CAS_MAC_CTRL_CONF, v);
2375
2376         /*
2377          * All supported chips have a bug causing incorrect checksum
2378          * to be calculated when letting them strip the FCS in half-
2379          * duplex mode.  In theory we could disable FCS stripping and
2380          * manually adjust the checksum accordingly.  It seems to make
2381          * more sense to optimze for the common case and just disable
2382          * hardware checksumming in half-duplex mode though.
2383          */
2384         if ((IFM_OPTIONS(sc->sc_mii->mii_media_active) & IFM_FDX) == 0) {
2385                 ifp->if_capenable &= ~IFCAP_HWCSUM;
2386                 ifp->if_hwassist = 0;
2387         } else if ((sc->sc_flags & CAS_NO_CSUM) == 0) {
2388                 ifp->if_capenable = ifp->if_capabilities;
2389                 ifp->if_hwassist = CAS_CSUM_FEATURES;
2390         }
2391
2392         if (sc->sc_variant == CAS_SATURN) {
2393                 if ((IFM_OPTIONS(sc->sc_mii->mii_media_active) & IFM_FDX) == 0)
2394                         /* silicon bug workaround */
2395                         CAS_WRITE_4(sc, CAS_MAC_PREAMBLE_LEN, 0x41);
2396                 else
2397                         CAS_WRITE_4(sc, CAS_MAC_PREAMBLE_LEN, 0x7);
2398         }
2399
2400         if ((IFM_OPTIONS(sc->sc_mii->mii_media_active) & IFM_FDX) == 0 &&
2401             gigabit != 0)
2402                 CAS_WRITE_4(sc, CAS_MAC_SLOT_TIME,
2403                     CAS_MAC_SLOT_TIME_CARR);
2404         else
2405                 CAS_WRITE_4(sc, CAS_MAC_SLOT_TIME,
2406                     CAS_MAC_SLOT_TIME_NORM);
2407
2408         /* XIF Configuration */
2409         v = CAS_MAC_XIF_CONF_TX_OE | CAS_MAC_XIF_CONF_LNKLED;
2410         if ((sc->sc_flags & CAS_SERDES) == 0) {
2411                 if ((IFM_OPTIONS(sc->sc_mii->mii_media_active) & IFM_FDX) == 0)
2412                         v |= CAS_MAC_XIF_CONF_NOECHO;
2413                 v |= CAS_MAC_XIF_CONF_BUF_OE;
2414         }
2415         if (gigabit != 0)
2416                 v |= CAS_MAC_XIF_CONF_GMII;
2417         if ((IFM_OPTIONS(sc->sc_mii->mii_media_active) & IFM_FDX) != 0)
2418                 v |= CAS_MAC_XIF_CONF_FDXLED;
2419         CAS_WRITE_4(sc, CAS_MAC_XIF_CONF, v);
2420
2421         sc->sc_mac_rxcfg = rxcfg;
2422         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) != 0 &&
2423             (sc->sc_flags & CAS_LINK) != 0) {
2424                 CAS_WRITE_4(sc, CAS_MAC_TX_CONF,
2425                     txcfg | CAS_MAC_TX_CONF_EN);
2426                 CAS_WRITE_4(sc, CAS_MAC_RX_CONF,
2427                     rxcfg | CAS_MAC_RX_CONF_EN);
2428         }
2429 }
2430
2431 static int
2432 cas_mediachange(struct ifnet *ifp)
2433 {
2434         struct cas_softc *sc = ifp->if_softc;
2435         int error;
2436
2437         /* XXX add support for serial media. */
2438
2439         CAS_LOCK(sc);
2440         error = mii_mediachg(sc->sc_mii);
2441         CAS_UNLOCK(sc);
2442         return (error);
2443 }
2444
2445 static void
2446 cas_mediastatus(struct ifnet *ifp, struct ifmediareq *ifmr)
2447 {
2448         struct cas_softc *sc = ifp->if_softc;
2449
2450         CAS_LOCK(sc);
2451         if ((ifp->if_flags & IFF_UP) == 0) {
2452                 CAS_UNLOCK(sc);
2453                 return;
2454         }
2455
2456         mii_pollstat(sc->sc_mii);
2457         ifmr->ifm_active = sc->sc_mii->mii_media_active;
2458         ifmr->ifm_status = sc->sc_mii->mii_media_status;
2459         CAS_UNLOCK(sc);
2460 }
2461
2462 static int
2463 cas_ioctl(struct ifnet *ifp, u_long cmd, caddr_t data)
2464 {
2465         struct cas_softc *sc = ifp->if_softc;
2466         struct ifreq *ifr = (struct ifreq *)data;
2467         int error;
2468
2469         error = 0;
2470         switch (cmd) {
2471         case SIOCSIFFLAGS:
2472                 CAS_LOCK(sc);
2473                 if ((ifp->if_flags & IFF_UP) != 0) {
2474                         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) != 0 &&
2475                             ((ifp->if_flags ^ sc->sc_ifflags) &
2476                             (IFF_ALLMULTI | IFF_PROMISC)) != 0)
2477                                 cas_setladrf(sc);
2478                         else
2479                                 cas_init_locked(sc);
2480                 } else if ((ifp->if_drv_flags & IFF_DRV_RUNNING) != 0)
2481                         cas_stop(ifp);
2482                 sc->sc_ifflags = ifp->if_flags;
2483                 CAS_UNLOCK(sc);
2484                 break;
2485         case SIOCSIFCAP:
2486                 CAS_LOCK(sc);
2487                 if ((sc->sc_flags & CAS_NO_CSUM) != 0) {
2488                         error = EINVAL;
2489                         CAS_UNLOCK(sc);
2490                         break;
2491                 }
2492                 ifp->if_capenable = ifr->ifr_reqcap;
2493                 if ((ifp->if_capenable & IFCAP_TXCSUM) != 0)
2494                         ifp->if_hwassist = CAS_CSUM_FEATURES;
2495                 else
2496                         ifp->if_hwassist = 0;
2497                 CAS_UNLOCK(sc);
2498                 break;
2499         case SIOCADDMULTI:
2500         case SIOCDELMULTI:
2501                 CAS_LOCK(sc);
2502                 if ((ifp->if_drv_flags & IFF_DRV_RUNNING) != 0)
2503                         cas_setladrf(sc);
2504                 CAS_UNLOCK(sc);
2505                 break;
2506         case SIOCSIFMTU:
2507                 if ((ifr->ifr_mtu < ETHERMIN) ||
2508                     (ifr->ifr_mtu > ETHERMTU_JUMBO))
2509                         error = EINVAL;
2510                 else
2511                         ifp->if_mtu = ifr->ifr_mtu;
2512                 break;
2513         case SIOCGIFMEDIA:
2514         case SIOCSIFMEDIA:
2515                 error = ifmedia_ioctl(ifp, ifr, &sc->sc_mii->mii_media, cmd);
2516                 break;
2517         default:
2518                 error = ether_ioctl(ifp, cmd, data);
2519                 break;
2520         }
2521
2522         return (error);
2523 }
2524
2525 static void
2526 cas_setladrf(struct cas_softc *sc)
2527 {
2528         struct ifnet *ifp = sc->sc_ifp;
2529         struct ifmultiaddr *inm;
2530         int i;
2531         uint32_t hash[16];
2532         uint32_t crc, v;
2533
2534         CAS_LOCK_ASSERT(sc, MA_OWNED);
2535
2536         /*
2537          * Turn off the RX MAC and the hash filter as required by the Sun
2538          * Cassini programming restrictions.
2539          */
2540         v = sc->sc_mac_rxcfg & ~(CAS_MAC_RX_CONF_HFILTER |
2541             CAS_MAC_RX_CONF_EN);
2542         CAS_WRITE_4(sc, CAS_MAC_RX_CONF, v);
2543         CAS_BARRIER(sc, CAS_MAC_RX_CONF, 4,
2544             BUS_SPACE_BARRIER_READ | BUS_SPACE_BARRIER_WRITE);
2545         if (!cas_bitwait(sc, CAS_MAC_RX_CONF, CAS_MAC_RX_CONF_HFILTER |
2546             CAS_MAC_RX_CONF_EN, 0))
2547                 device_printf(sc->sc_dev,
2548                     "cannot disable RX MAC or hash filter\n");
2549
2550         v &= ~(CAS_MAC_RX_CONF_PROMISC | CAS_MAC_RX_CONF_PGRP);
2551         if ((ifp->if_flags & IFF_PROMISC) != 0) {
2552                 v |= CAS_MAC_RX_CONF_PROMISC;
2553                 goto chipit;
2554         }
2555         if ((ifp->if_flags & IFF_ALLMULTI) != 0) {
2556                 v |= CAS_MAC_RX_CONF_PGRP;
2557                 goto chipit;
2558         }
2559
2560         /*
2561          * Set up multicast address filter by passing all multicast
2562          * addresses through a crc generator, and then using the high
2563          * order 8 bits as an index into the 256 bit logical address
2564          * filter.  The high order 4 bits selects the word, while the
2565          * other 4 bits select the bit within the word (where bit 0
2566          * is the MSB).
2567          */
2568
2569         /* Clear the hash table. */
2570         memset(hash, 0, sizeof(hash));
2571
2572         if_maddr_rlock(ifp);
2573         TAILQ_FOREACH(inm, &ifp->if_multiaddrs, ifma_link) {
2574                 if (inm->ifma_addr->sa_family != AF_LINK)
2575                         continue;
2576                 crc = ether_crc32_le(LLADDR((struct sockaddr_dl *)
2577                     inm->ifma_addr), ETHER_ADDR_LEN);
2578
2579                 /* We just want the 8 most significant bits. */
2580                 crc >>= 24;
2581
2582                 /* Set the corresponding bit in the filter. */
2583                 hash[crc >> 4] |= 1 << (15 - (crc & 15));
2584         }
2585         if_maddr_runlock(ifp);
2586
2587         v |= CAS_MAC_RX_CONF_HFILTER;
2588
2589         /* Now load the hash table into the chip (if we are using it). */
2590         for (i = 0; i < 16; i++)
2591                 CAS_WRITE_4(sc,
2592                     CAS_MAC_HASH0 + i * (CAS_MAC_HASH1 - CAS_MAC_HASH0),
2593                     hash[i]);
2594
2595  chipit:
2596         sc->sc_mac_rxcfg = v;
2597         CAS_WRITE_4(sc, CAS_MAC_RX_CONF, v | CAS_MAC_RX_CONF_EN);
2598 }
2599
2600 static int      cas_pci_attach(device_t dev);
2601 static int      cas_pci_detach(device_t dev);
2602 static int      cas_pci_probe(device_t dev);
2603 static int      cas_pci_resume(device_t dev);
2604 static int      cas_pci_suspend(device_t dev);
2605
2606 static device_method_t cas_pci_methods[] = {
2607         /* Device interface */
2608         DEVMETHOD(device_probe,         cas_pci_probe),
2609         DEVMETHOD(device_attach,        cas_pci_attach),
2610         DEVMETHOD(device_detach,        cas_pci_detach),
2611         DEVMETHOD(device_suspend,       cas_pci_suspend),
2612         DEVMETHOD(device_resume,        cas_pci_resume),
2613         /* Use the suspend handler here, it is all that is required. */
2614         DEVMETHOD(device_shutdown,      cas_pci_suspend),
2615
2616         /* MII interface */
2617         DEVMETHOD(miibus_readreg,       cas_mii_readreg),
2618         DEVMETHOD(miibus_writereg,      cas_mii_writereg),
2619         DEVMETHOD(miibus_statchg,       cas_mii_statchg),
2620
2621         DEVMETHOD_END
2622 };
2623
2624 static driver_t cas_pci_driver = {
2625         "cas",
2626         cas_pci_methods,
2627         sizeof(struct cas_softc)
2628 };
2629
2630 DRIVER_MODULE(cas, pci, cas_pci_driver, cas_devclass, 0, 0);
2631 DRIVER_MODULE(miibus, cas, miibus_driver, miibus_devclass, 0, 0);
2632 MODULE_DEPEND(cas, pci, 1, 1, 1);
2633
2634 static const struct cas_pci_dev {
2635         uint32_t        cpd_devid;
2636         uint8_t         cpd_revid;
2637         int             cpd_variant;
2638         const char      *cpd_desc;
2639 } cas_pci_devlist[] = {
2640         { 0x0035100b, 0x0, CAS_SATURN, "NS DP83065 Saturn Gigabit Ethernet" },
2641         { 0xabba108e, 0x10, CAS_CASPLUS, "Sun Cassini+ Gigabit Ethernet" },
2642         { 0xabba108e, 0x0, CAS_CAS, "Sun Cassini Gigabit Ethernet" },
2643         { 0, 0, 0, NULL }
2644 };
2645
2646 static int
2647 cas_pci_probe(device_t dev)
2648 {
2649         int i;
2650
2651         for (i = 0; cas_pci_devlist[i].cpd_desc != NULL; i++) {
2652                 if (pci_get_devid(dev) == cas_pci_devlist[i].cpd_devid &&
2653                     pci_get_revid(dev) >= cas_pci_devlist[i].cpd_revid) {
2654                         device_set_desc(dev, cas_pci_devlist[i].cpd_desc);
2655                         return (BUS_PROBE_DEFAULT);
2656                 }
2657         }
2658
2659         return (ENXIO);
2660 }
2661
2662 static struct resource_spec cas_pci_res_spec[] = {
2663         { SYS_RES_IRQ, 0, RF_SHAREABLE | RF_ACTIVE },   /* CAS_RES_INTR */
2664         { SYS_RES_MEMORY, PCIR_BAR(0), RF_ACTIVE },     /* CAS_RES_MEM */
2665         { -1, 0 }
2666 };
2667
2668 #define CAS_LOCAL_MAC_ADDRESS   "local-mac-address"
2669 #define CAS_PHY_INTERFACE       "phy-interface"
2670 #define CAS_PHY_TYPE            "phy-type"
2671 #define CAS_PHY_TYPE_PCS        "pcs"
2672
2673 static int
2674 cas_pci_attach(device_t dev)
2675 {
2676         char buf[sizeof(CAS_LOCAL_MAC_ADDRESS)];
2677         struct cas_softc *sc;
2678         int i;
2679 #if !(defined(__powerpc__) || defined(__sparc64__))
2680         u_char enaddr[4][ETHER_ADDR_LEN];
2681         u_int j, k, lma, pcs[4], phy;
2682 #endif
2683
2684         sc = device_get_softc(dev);
2685         sc->sc_variant = CAS_UNKNOWN;
2686         for (i = 0; cas_pci_devlist[i].cpd_desc != NULL; i++) {
2687                 if (pci_get_devid(dev) == cas_pci_devlist[i].cpd_devid &&
2688                     pci_get_revid(dev) >= cas_pci_devlist[i].cpd_revid) {
2689                         sc->sc_variant = cas_pci_devlist[i].cpd_variant;
2690                         break;
2691                 }
2692         }
2693         if (sc->sc_variant == CAS_UNKNOWN) {
2694                 device_printf(dev, "unknown adaptor\n");
2695                 return (ENXIO);
2696         }
2697
2698         /* PCI configuration */
2699         pci_write_config(dev, PCIR_COMMAND,
2700             pci_read_config(dev, PCIR_COMMAND, 2) | PCIM_CMD_BUSMASTEREN |
2701             PCIM_CMD_MWRICEN | PCIM_CMD_PERRESPEN | PCIM_CMD_SERRESPEN, 2);
2702
2703         sc->sc_dev = dev;
2704         if (sc->sc_variant == CAS_CAS && pci_get_devid(dev) < 0x02)
2705                 /* Hardware checksumming may hang TX. */
2706                 sc->sc_flags |= CAS_NO_CSUM;
2707         if (sc->sc_variant == CAS_CASPLUS || sc->sc_variant == CAS_SATURN)
2708                 sc->sc_flags |= CAS_REG_PLUS;
2709         if (sc->sc_variant == CAS_CAS ||
2710             (sc->sc_variant == CAS_CASPLUS && pci_get_revid(dev) < 0x11))
2711                 sc->sc_flags |= CAS_TABORT;
2712         if (bootverbose)
2713                 device_printf(dev, "flags=0x%x\n", sc->sc_flags);
2714
2715         if (bus_alloc_resources(dev, cas_pci_res_spec, sc->sc_res)) {
2716                 device_printf(dev, "failed to allocate resources\n");
2717                 bus_release_resources(dev, cas_pci_res_spec, sc->sc_res);
2718                 return (ENXIO);
2719         }
2720
2721         CAS_LOCK_INIT(sc, device_get_nameunit(dev));
2722
2723 #if defined(__powerpc__) || defined(__sparc64__)
2724         OF_getetheraddr(dev, sc->sc_enaddr);
2725         if (OF_getprop(ofw_bus_get_node(dev), CAS_PHY_INTERFACE, buf,
2726             sizeof(buf)) > 0 || OF_getprop(ofw_bus_get_node(dev),
2727             CAS_PHY_TYPE, buf, sizeof(buf)) > 0) {
2728                 buf[sizeof(buf) - 1] = '\0';
2729                 if (strcmp(buf, CAS_PHY_TYPE_PCS) == 0)
2730                         sc->sc_flags |= CAS_SERDES;
2731         }
2732 #else
2733         /*
2734          * Dig out VPD (vital product data) and read the MAC address as well
2735          * as the PHY type.  The VPD resides in the PCI Expansion ROM (PCI
2736          * FCode) and can't be accessed via the PCI capability pointer.
2737          * SUNW,pci-ce and SUNW,pci-qge use the Enhanced VPD format described
2738          * in the free US Patent 7149820.
2739          */
2740
2741 #define PCI_ROMHDR_SIZE                 0x1c
2742 #define PCI_ROMHDR_SIG                  0x00
2743 #define PCI_ROMHDR_SIG_MAGIC            0xaa55          /* little endian */
2744 #define PCI_ROMHDR_PTR_DATA             0x18
2745 #define PCI_ROM_SIZE                    0x18
2746 #define PCI_ROM_SIG                     0x00
2747 #define PCI_ROM_SIG_MAGIC               0x52494350      /* "PCIR", endian */
2748                                                         /* reversed */
2749 #define PCI_ROM_VENDOR                  0x04
2750 #define PCI_ROM_DEVICE                  0x06
2751 #define PCI_ROM_PTR_VPD                 0x08
2752 #define PCI_VPDRES_BYTE0                0x00
2753 #define PCI_VPDRES_ISLARGE(x)           ((x) & 0x80)
2754 #define PCI_VPDRES_LARGE_NAME(x)        ((x) & 0x7f)
2755 #define PCI_VPDRES_LARGE_LEN_LSB        0x01
2756 #define PCI_VPDRES_LARGE_LEN_MSB        0x02
2757 #define PCI_VPDRES_LARGE_SIZE           0x03
2758 #define PCI_VPDRES_TYPE_ID_STRING       0x02            /* large */
2759 #define PCI_VPDRES_TYPE_VPD             0x10            /* large */
2760 #define PCI_VPD_KEY0                    0x00
2761 #define PCI_VPD_KEY1                    0x01
2762 #define PCI_VPD_LEN                     0x02
2763 #define PCI_VPD_SIZE                    0x03
2764
2765 #define CAS_ROM_READ_1(sc, offs)                                        \
2766         CAS_READ_1((sc), CAS_PCI_ROM_OFFSET + (offs))
2767 #define CAS_ROM_READ_2(sc, offs)                                        \
2768         CAS_READ_2((sc), CAS_PCI_ROM_OFFSET + (offs))
2769 #define CAS_ROM_READ_4(sc, offs)                                        \
2770         CAS_READ_4((sc), CAS_PCI_ROM_OFFSET + (offs))
2771
2772         lma = phy = 0;
2773         memset(enaddr, 0, sizeof(enaddr));
2774         memset(pcs, 0, sizeof(pcs));
2775
2776         /* Enable PCI Expansion ROM access. */
2777         CAS_WRITE_4(sc, CAS_BIM_LDEV_OEN,
2778             CAS_BIM_LDEV_OEN_PAD | CAS_BIM_LDEV_OEN_PROM);
2779
2780         /* Read PCI Expansion ROM header. */
2781         if (CAS_ROM_READ_2(sc, PCI_ROMHDR_SIG) != PCI_ROMHDR_SIG_MAGIC ||
2782             (i = CAS_ROM_READ_2(sc, PCI_ROMHDR_PTR_DATA)) <
2783             PCI_ROMHDR_SIZE) {
2784                 device_printf(dev, "unexpected PCI Expansion ROM header\n");
2785                 goto fail_prom;
2786         }
2787
2788         /* Read PCI Expansion ROM data. */
2789         if (CAS_ROM_READ_4(sc, i + PCI_ROM_SIG) != PCI_ROM_SIG_MAGIC ||
2790             CAS_ROM_READ_2(sc, i + PCI_ROM_VENDOR) != pci_get_vendor(dev) ||
2791             CAS_ROM_READ_2(sc, i + PCI_ROM_DEVICE) != pci_get_device(dev) ||
2792             (j = CAS_ROM_READ_2(sc, i + PCI_ROM_PTR_VPD)) <
2793             i + PCI_ROM_SIZE) {
2794                 device_printf(dev, "unexpected PCI Expansion ROM data\n");
2795                 goto fail_prom;
2796         }
2797
2798         /* Read PCI VPD. */
2799  next:
2800         if (PCI_VPDRES_ISLARGE(CAS_ROM_READ_1(sc,
2801             j + PCI_VPDRES_BYTE0)) == 0) {
2802                 device_printf(dev, "no large PCI VPD\n");
2803                 goto fail_prom;
2804         }
2805
2806         i = (CAS_ROM_READ_1(sc, j + PCI_VPDRES_LARGE_LEN_MSB) << 8) |
2807             CAS_ROM_READ_1(sc, j + PCI_VPDRES_LARGE_LEN_LSB);
2808         switch (PCI_VPDRES_LARGE_NAME(CAS_ROM_READ_1(sc,
2809             j + PCI_VPDRES_BYTE0))) {
2810         case PCI_VPDRES_TYPE_ID_STRING:
2811                 /* Skip identifier string. */
2812                 j += PCI_VPDRES_LARGE_SIZE + i;
2813                 goto next;
2814         case PCI_VPDRES_TYPE_VPD:
2815                 for (j += PCI_VPDRES_LARGE_SIZE; i > 0;
2816                     i -= PCI_VPD_SIZE + CAS_ROM_READ_1(sc, j + PCI_VPD_LEN),
2817                     j += PCI_VPD_SIZE + CAS_ROM_READ_1(sc, j + PCI_VPD_LEN)) {
2818                         if (CAS_ROM_READ_1(sc, j + PCI_VPD_KEY0) != 'Z')
2819                                 /* no Enhanced VPD */
2820                                 continue;
2821                         if (CAS_ROM_READ_1(sc, j + PCI_VPD_SIZE) != 'I')
2822                                 /* no instance property */
2823                                 continue;
2824                         if (CAS_ROM_READ_1(sc, j + PCI_VPD_SIZE + 3) == 'B') {
2825                                 /* byte array */
2826                                 if (CAS_ROM_READ_1(sc,
2827                                     j + PCI_VPD_SIZE + 4) != ETHER_ADDR_LEN)
2828                                         continue;
2829                                 bus_read_region_1(sc->sc_res[CAS_RES_MEM],
2830                                     CAS_PCI_ROM_OFFSET + j + PCI_VPD_SIZE + 5,
2831                                     buf, sizeof(buf));
2832                                 buf[sizeof(buf) - 1] = '\0';
2833                                 if (strcmp(buf, CAS_LOCAL_MAC_ADDRESS) != 0)
2834                                         continue;
2835                                 bus_read_region_1(sc->sc_res[CAS_RES_MEM],
2836                                     CAS_PCI_ROM_OFFSET + j + PCI_VPD_SIZE +
2837                                     5 + sizeof(CAS_LOCAL_MAC_ADDRESS),
2838                                     enaddr[lma], sizeof(enaddr[lma]));
2839                                 lma++;
2840                                 if (lma == 4 && phy == 4)
2841                                         break;
2842                         } else if (CAS_ROM_READ_1(sc, j + PCI_VPD_SIZE + 3) ==
2843                            'S') {
2844                                 /* string */
2845                                 if (CAS_ROM_READ_1(sc,
2846                                     j + PCI_VPD_SIZE + 4) !=
2847                                     sizeof(CAS_PHY_TYPE_PCS))
2848                                         continue;
2849                                 bus_read_region_1(sc->sc_res[CAS_RES_MEM],
2850                                     CAS_PCI_ROM_OFFSET + j + PCI_VPD_SIZE + 5,
2851                                     buf, sizeof(buf));
2852                                 buf[sizeof(buf) - 1] = '\0';
2853                                 if (strcmp(buf, CAS_PHY_INTERFACE) == 0)
2854                                         k = sizeof(CAS_PHY_INTERFACE);
2855                                 else if (strcmp(buf, CAS_PHY_TYPE) == 0)
2856                                         k = sizeof(CAS_PHY_TYPE);
2857                                 else
2858                                         continue;
2859                                 bus_read_region_1(sc->sc_res[CAS_RES_MEM],
2860                                     CAS_PCI_ROM_OFFSET + j + PCI_VPD_SIZE +
2861                                     5 + k, buf, sizeof(buf));
2862                                 buf[sizeof(buf) - 1] = '\0';
2863                                 if (strcmp(buf, CAS_PHY_TYPE_PCS) == 0)
2864                                         pcs[phy] = 1;
2865                                 phy++;
2866                                 if (lma == 4 && phy == 4)
2867                                         break;
2868                         }
2869                 }
2870                 break;
2871         default:
2872                 device_printf(dev, "unexpected PCI VPD\n");
2873                 goto fail_prom;
2874         }
2875
2876  fail_prom:
2877         CAS_WRITE_4(sc, CAS_BIM_LDEV_OEN, 0);
2878
2879         if (lma == 0) {
2880                 device_printf(dev, "could not determine Ethernet address\n");
2881                 goto fail;
2882         }
2883         i = 0;
2884         if (lma > 1 && pci_get_slot(dev) < nitems(enaddr))
2885                 i = pci_get_slot(dev);
2886         memcpy(sc->sc_enaddr, enaddr[i], ETHER_ADDR_LEN);
2887
2888         if (phy == 0) {
2889                 device_printf(dev, "could not determine PHY type\n");
2890                 goto fail;
2891         }
2892         i = 0;
2893         if (phy > 1 && pci_get_slot(dev) < nitems(pcs))
2894                 i = pci_get_slot(dev);
2895         if (pcs[i] != 0)
2896                 sc->sc_flags |= CAS_SERDES;
2897 #endif
2898
2899         if (cas_attach(sc) != 0) {
2900                 device_printf(dev, "could not be attached\n");
2901                 goto fail;
2902         }
2903
2904         if (bus_setup_intr(dev, sc->sc_res[CAS_RES_INTR], INTR_TYPE_NET |
2905             INTR_MPSAFE, cas_intr, NULL, sc, &sc->sc_ih) != 0) {
2906                 device_printf(dev, "failed to set up interrupt\n");
2907                 cas_detach(sc);
2908                 goto fail;
2909         }
2910         return (0);
2911
2912  fail:
2913         CAS_LOCK_DESTROY(sc);
2914         bus_release_resources(dev, cas_pci_res_spec, sc->sc_res);
2915         return (ENXIO);
2916 }
2917
2918 static int
2919 cas_pci_detach(device_t dev)
2920 {
2921         struct cas_softc *sc;
2922
2923         sc = device_get_softc(dev);
2924         bus_teardown_intr(dev, sc->sc_res[CAS_RES_INTR], sc->sc_ih);
2925         cas_detach(sc);
2926         CAS_LOCK_DESTROY(sc);
2927         bus_release_resources(dev, cas_pci_res_spec, sc->sc_res);
2928         return (0);
2929 }
2930
2931 static int
2932 cas_pci_suspend(device_t dev)
2933 {
2934
2935         cas_suspend(device_get_softc(dev));
2936         return (0);
2937 }
2938
2939 static int
2940 cas_pci_resume(device_t dev)
2941 {
2942
2943         cas_resume(device_get_softc(dev));
2944         return (0);
2945 }