]> CyberLeo.Net >> Repos - FreeBSD/stable/9.git/blob - sys/dev/bm/if_bm.c
Copy head to stable/9 as part of 9.0-RELEASE release cycle.
[FreeBSD/stable/9.git] / sys / dev / bm / if_bm.c
1 /*-
2  * Copyright 2008 Nathan Whitehorn. All rights reserved.
3  * Copyright 2003 by Peter Grehan. All rights reserved.
4  * Copyright (C) 1998, 1999, 2000 Tsubai Masanari.  All rights reserved.
5  *
6  * Redistribution and use in source and binary forms, with or without
7  * modification, are permitted provided that the following conditions
8  * are met:
9  * 1. Redistributions of source code must retain the above copyright
10  *    notice, this list of conditions and the following disclaimer.
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in the
13  *    documentation and/or other materials provided with the distribution.
14  * 3. The name of the author may not be used to endorse or promote products
15  *    derived from this software without specific prior written permission.
16  *
17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING,
22  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
23  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
24  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
25  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
26  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
27  * SUCH DAMAGE.
28  *
29  * From:
30  *   NetBSD: if_bm.c,v 1.9.2.1 2000/11/01 15:02:49 tv Exp
31  */
32
33 /*
34  * BMAC/BMAC+ Macio cell 10/100 ethernet driver
35  *      The low-cost, low-feature Apple variant of the Sun HME
36  */
37
38 #include <sys/cdefs.h>
39 __FBSDID("$FreeBSD$");
40
41 #include <sys/param.h>
42 #include <sys/systm.h>
43 #include <sys/sockio.h>
44 #include <sys/endian.h>
45 #include <sys/mbuf.h>
46 #include <sys/module.h>
47 #include <sys/malloc.h>
48 #include <sys/kernel.h>
49 #include <sys/socket.h>
50
51 #include <net/bpf.h>
52 #include <net/if.h>
53 #include <net/if_arp.h>
54 #include <net/ethernet.h>
55 #include <net/if_dl.h>
56 #include <net/if_media.h>
57 #include <net/if_types.h>
58
59 #include <machine/pio.h>
60 #include <machine/bus.h>
61 #include <machine/resource.h>
62 #include <sys/bus.h>
63 #include <sys/rman.h>
64
65 #include <dev/mii/mii.h>
66 #include <dev/mii/miivar.h>
67
68 #include <dev/ofw/ofw_bus.h>
69 #include <dev/ofw/openfirm.h>
70 #include <machine/dbdma.h>
71
72 MODULE_DEPEND(bm, ether, 1, 1, 1);
73 MODULE_DEPEND(bm, miibus, 1, 1, 1);
74
75 /* "controller miibus0" required.  See GENERIC if you get errors here. */
76 #include "miibus_if.h"
77
78 #include "if_bmreg.h"
79 #include "if_bmvar.h"
80
81 static int bm_probe             (device_t);
82 static int bm_attach            (device_t);
83 static int bm_detach            (device_t);
84 static int bm_shutdown          (device_t);
85
86 static void bm_start            (struct ifnet *);
87 static void bm_start_locked     (struct ifnet *);
88 static int bm_encap             (struct bm_softc *sc, struct mbuf **m_head);
89 static int bm_ioctl             (struct ifnet *, u_long, caddr_t);
90 static void bm_init             (void *);
91 static void bm_init_locked      (struct bm_softc *sc);
92 static void bm_chip_setup       (struct bm_softc *sc);
93 static void bm_stop             (struct bm_softc *sc);
94 static void bm_setladrf         (struct bm_softc *sc);
95 static void bm_dummypacket      (struct bm_softc *sc);
96 static void bm_txintr           (void *xsc);
97 static void bm_rxintr           (void *xsc);
98
99 static int bm_add_rxbuf         (struct bm_softc *sc, int i);
100 static int bm_add_rxbuf_dma     (struct bm_softc *sc, int i);
101 static void bm_enable_interrupts (struct bm_softc *sc);
102 static void bm_disable_interrupts (struct bm_softc *sc);
103 static void bm_tick             (void *xsc);
104
105 static int bm_ifmedia_upd       (struct ifnet *);
106 static void bm_ifmedia_sts      (struct ifnet *, struct ifmediareq *);
107
108 static void bm_miicsr_dwrite    (struct bm_softc *, u_int16_t);
109 static void bm_mii_writebit     (struct bm_softc *, int);
110 static int bm_mii_readbit       (struct bm_softc *);
111 static void bm_mii_sync         (struct bm_softc *);
112 static void bm_mii_send         (struct bm_softc *, u_int32_t, int);
113 static int bm_mii_readreg       (struct bm_softc *, struct bm_mii_frame *);
114 static int bm_mii_writereg      (struct bm_softc *, struct bm_mii_frame *);
115 static int bm_miibus_readreg    (device_t, int, int);
116 static int bm_miibus_writereg   (device_t, int, int, int);
117 static void bm_miibus_statchg   (device_t);
118
119 static device_method_t bm_methods[] = {
120         /* Device interface */
121         DEVMETHOD(device_probe,         bm_probe),
122         DEVMETHOD(device_attach,        bm_attach),
123         DEVMETHOD(device_detach,        bm_detach),
124         DEVMETHOD(device_shutdown,      bm_shutdown),
125
126         /* bus interface, for miibus */
127         DEVMETHOD(bus_print_child,      bus_generic_print_child),
128         DEVMETHOD(bus_driver_added,     bus_generic_driver_added),
129
130         /* MII interface */
131         DEVMETHOD(miibus_readreg,       bm_miibus_readreg),
132         DEVMETHOD(miibus_writereg,      bm_miibus_writereg),
133         DEVMETHOD(miibus_statchg,       bm_miibus_statchg),
134         { 0, 0 }
135 };
136
137 static driver_t bm_macio_driver = {
138         "bm",
139         bm_methods,
140         sizeof(struct bm_softc)
141 };
142
143 static devclass_t bm_devclass;
144
145 DRIVER_MODULE(bm, macio, bm_macio_driver, bm_devclass, 0, 0);
146 DRIVER_MODULE(miibus, bm, miibus_driver, miibus_devclass, 0, 0);
147
148 /*
149  * MII internal routines
150  */
151
152 /*
153  * Write to the MII csr, introducing a delay to allow valid
154  * MII clock pulses to be formed
155  */
156 static void
157 bm_miicsr_dwrite(struct bm_softc *sc, u_int16_t val)
158 {
159         CSR_WRITE_2(sc, BM_MII_CSR, val);
160         /*
161          * Assume this is a clock toggle and generate a 1us delay
162          * to cover both MII's 160ns high/low minimum and 400ns
163          * cycle miniumum
164          */
165         DELAY(1);
166 }
167
168 /*
169  * Write a bit to the MII bus.
170  */
171 static void
172 bm_mii_writebit(struct bm_softc *sc, int bit)
173 {
174         u_int16_t regval;
175
176         regval = BM_MII_OENABLE;
177         if (bit)
178                 regval |= BM_MII_DATAOUT;
179
180         bm_miicsr_dwrite(sc, regval);
181         bm_miicsr_dwrite(sc, regval | BM_MII_CLK);
182         bm_miicsr_dwrite(sc, regval);
183 }
184
185 /*
186  * Read a bit from the MII bus.
187  */
188 static int
189 bm_mii_readbit(struct bm_softc *sc)
190 {
191         u_int16_t regval, bitin;
192
193         /* ~BM_MII_OENABLE */
194         regval = 0;
195
196         bm_miicsr_dwrite(sc, regval);
197         bm_miicsr_dwrite(sc, regval | BM_MII_CLK);
198         bm_miicsr_dwrite(sc, regval);
199         bitin = CSR_READ_2(sc, BM_MII_CSR) & BM_MII_DATAIN;
200
201         return (bitin == BM_MII_DATAIN);
202 }
203
204 /*
205  * Sync the PHYs by setting data bit and strobing the clock 32 times.
206  */
207 static void
208 bm_mii_sync(struct bm_softc *sc)
209 {
210         int i;
211         u_int16_t regval;
212
213         regval = BM_MII_OENABLE | BM_MII_DATAOUT;
214
215         bm_miicsr_dwrite(sc, regval);
216         for (i = 0; i < 32; i++) {
217                 bm_miicsr_dwrite(sc, regval | BM_MII_CLK);
218                 bm_miicsr_dwrite(sc, regval);
219         }
220 }
221
222 /*
223  * Clock a series of bits through the MII.
224  */
225 static void
226 bm_mii_send(struct bm_softc *sc, u_int32_t bits, int cnt)
227 {
228         int i;
229
230         for (i = (0x1 << (cnt - 1)); i; i >>= 1)
231                 bm_mii_writebit(sc, bits & i);
232 }
233
234 /*
235  * Read a PHY register through the MII.
236  */
237 static int
238 bm_mii_readreg(struct bm_softc *sc, struct bm_mii_frame *frame)
239 {
240         int i, ack, bit;
241
242         /*
243          * Set up frame for RX.
244          */
245         frame->mii_stdelim = BM_MII_STARTDELIM;
246         frame->mii_opcode = BM_MII_READOP;
247         frame->mii_turnaround = 0;
248         frame->mii_data = 0;
249
250         /*
251          * Sync the PHYs
252          */
253         bm_mii_sync(sc);
254
255         /*
256          * Send command/address info
257          */
258         bm_mii_send(sc, frame->mii_stdelim, 2);
259         bm_mii_send(sc, frame->mii_opcode, 2);
260         bm_mii_send(sc, frame->mii_phyaddr, 5);
261         bm_mii_send(sc, frame->mii_regaddr, 5);
262
263         /*
264          * Check for ack.
265          */
266         ack = bm_mii_readbit(sc);
267
268         /*
269          * Now try reading data bits. If the ack failed, we still
270          * need to clock through 16 cycles to keep the PHY(s) in sync.
271          */
272         for (i = 0x8000; i; i >>= 1) {
273                 bit = bm_mii_readbit(sc);
274                 if (!ack && bit)
275                         frame->mii_data |= i;
276         }
277
278         /*
279          * Skip through idle bit-times
280          */
281         bm_mii_writebit(sc, 0);
282         bm_mii_writebit(sc, 0);
283
284         return ((ack) ? 1 : 0);
285 }
286
287 /*
288  * Write to a PHY register through the MII.
289  */
290 static int
291 bm_mii_writereg(struct bm_softc *sc, struct bm_mii_frame *frame)
292 {
293         /*
294          * Set up frame for tx
295          */
296         frame->mii_stdelim = BM_MII_STARTDELIM;
297         frame->mii_opcode = BM_MII_WRITEOP;
298         frame->mii_turnaround = BM_MII_TURNAROUND;
299
300         /*
301          * Sync the phy and start the bitbang write sequence
302          */
303         bm_mii_sync(sc);
304
305         bm_mii_send(sc, frame->mii_stdelim, 2);
306         bm_mii_send(sc, frame->mii_opcode, 2);
307         bm_mii_send(sc, frame->mii_phyaddr, 5);
308         bm_mii_send(sc, frame->mii_regaddr, 5);
309         bm_mii_send(sc, frame->mii_turnaround, 2);
310         bm_mii_send(sc, frame->mii_data, 16);
311
312         /*
313          * Idle bit.
314          */
315         bm_mii_writebit(sc, 0);
316
317         return (0);
318 }
319
320 /*
321  * MII bus i/f
322  */
323 static int
324 bm_miibus_readreg(device_t dev, int phy, int reg)
325 {
326         struct bm_softc *sc;
327         struct bm_mii_frame frame;
328
329         sc = device_get_softc(dev);
330         bzero(&frame, sizeof(frame));
331
332         frame.mii_phyaddr = phy;
333         frame.mii_regaddr = reg;
334
335         bm_mii_readreg(sc, &frame);
336
337         return (frame.mii_data);
338 }
339
340 static int
341 bm_miibus_writereg(device_t dev, int phy, int reg, int data)
342 {
343         struct bm_softc *sc;
344         struct bm_mii_frame frame;
345
346         sc = device_get_softc(dev);
347         bzero(&frame, sizeof(frame));
348
349         frame.mii_phyaddr = phy;
350         frame.mii_regaddr = reg;
351         frame.mii_data = data;
352
353         bm_mii_writereg(sc, &frame);
354
355         return (0);
356 }
357
358 static void
359 bm_miibus_statchg(device_t dev)
360 {
361         struct bm_softc *sc = device_get_softc(dev);
362         uint16_t reg;
363         int new_duplex;
364
365         reg = CSR_READ_2(sc, BM_TX_CONFIG);
366         new_duplex = IFM_OPTIONS(sc->sc_mii->mii_media_active) & IFM_FDX;
367
368         if (new_duplex != sc->sc_duplex) {
369                 /* Turn off TX MAC while we fiddle its settings */
370                 reg &= ~BM_ENABLE;
371
372                 CSR_WRITE_2(sc, BM_TX_CONFIG, reg);
373                 while (CSR_READ_2(sc, BM_TX_CONFIG) & BM_ENABLE)
374                         DELAY(10);
375         }
376
377         if (new_duplex && !sc->sc_duplex)
378                 reg |= BM_TX_IGNORECOLL | BM_TX_FULLDPX;
379         else if (!new_duplex && sc->sc_duplex)
380                 reg &= ~(BM_TX_IGNORECOLL | BM_TX_FULLDPX);
381
382         if (new_duplex != sc->sc_duplex) {
383                 /* Turn TX MAC back on */
384                 reg |= BM_ENABLE;
385
386                 CSR_WRITE_2(sc, BM_TX_CONFIG, reg);
387                 sc->sc_duplex = new_duplex;
388         }
389 }
390
391 /*
392  * ifmedia/mii callbacks
393  */
394 static int
395 bm_ifmedia_upd(struct ifnet *ifp)
396 {
397         struct bm_softc *sc = ifp->if_softc;
398         int error;
399
400         BM_LOCK(sc);
401         error = mii_mediachg(sc->sc_mii);
402         BM_UNLOCK(sc);
403         return (error);
404 }
405
406 static void
407 bm_ifmedia_sts(struct ifnet *ifp, struct ifmediareq *ifm)
408 {
409         struct bm_softc *sc = ifp->if_softc;
410
411         BM_LOCK(sc);
412         mii_pollstat(sc->sc_mii);
413         ifm->ifm_active = sc->sc_mii->mii_media_active;
414         ifm->ifm_status = sc->sc_mii->mii_media_status;
415         BM_UNLOCK(sc);
416 }
417
418 /*
419  * Macio probe/attach
420  */
421 static int
422 bm_probe(device_t dev)
423 {
424         const char *dname = ofw_bus_get_name(dev);
425         const char *dcompat = ofw_bus_get_compat(dev);
426
427         /*
428          * BMAC+ cells have a name of "ethernet" and
429          * a compatible property of "bmac+"
430          */
431         if (strcmp(dname, "bmac") == 0) {
432                 device_set_desc(dev, "Apple BMAC Ethernet Adaptor");
433         } else if (strcmp(dcompat, "bmac+") == 0) {
434                 device_set_desc(dev, "Apple BMAC+ Ethernet Adaptor");
435         } else
436                 return (ENXIO);
437
438         return (0);
439 }
440
441 static int
442 bm_attach(device_t dev)
443 {
444         phandle_t node;
445         u_char *eaddr;
446         struct ifnet *ifp;
447         int error, cellid, i;
448         struct bm_txsoft *txs;
449         struct bm_softc *sc = device_get_softc(dev);
450
451         ifp = sc->sc_ifp = if_alloc(IFT_ETHER);
452         ifp->if_softc = sc;
453         sc->sc_dev = dev;
454         sc->sc_duplex = ~IFM_FDX;
455
456         error = 0;
457         mtx_init(&sc->sc_mtx, device_get_nameunit(dev), MTX_NETWORK_LOCK,
458             MTX_DEF);
459         callout_init_mtx(&sc->sc_tick_ch, &sc->sc_mtx, 0);
460
461         /* Check for an improved version of Paddington */
462         sc->sc_streaming = 0;
463         cellid = -1;
464         node = ofw_bus_get_node(dev);
465
466         OF_getprop(node, "cell-id", &cellid, sizeof(cellid));
467         if (cellid >= 0xc4)
468                 sc->sc_streaming = 1;
469
470         sc->sc_memrid = 0;
471         sc->sc_memr = bus_alloc_resource_any(dev, SYS_RES_MEMORY,
472             &sc->sc_memrid, RF_ACTIVE);
473         if (sc->sc_memr == NULL) {
474                 device_printf(dev, "Could not alloc chip registers!\n");
475                 return (ENXIO);
476         }
477
478         sc->sc_txdmarid = BM_TXDMA_REGISTERS;
479         sc->sc_rxdmarid = BM_RXDMA_REGISTERS;
480
481         sc->sc_txdmar = bus_alloc_resource_any(dev, SYS_RES_MEMORY,
482             &sc->sc_txdmarid, RF_ACTIVE);
483         sc->sc_rxdmar = bus_alloc_resource_any(dev, SYS_RES_MEMORY,
484             &sc->sc_rxdmarid, RF_ACTIVE);
485
486         if (sc->sc_txdmar == NULL || sc->sc_rxdmar == NULL) {
487                 device_printf(dev, "Could not map DBDMA registers!\n");
488                 return (ENXIO);
489         }
490
491         error = dbdma_allocate_channel(sc->sc_txdmar, 0, bus_get_dma_tag(dev),
492             BM_MAX_DMA_COMMANDS, &sc->sc_txdma);
493         error += dbdma_allocate_channel(sc->sc_rxdmar, 0, bus_get_dma_tag(dev),
494             BM_MAX_DMA_COMMANDS, &sc->sc_rxdma);
495
496         if (error) {
497                 device_printf(dev,"Could not allocate DBDMA channel!\n");
498                 return (ENXIO);
499         }
500
501         /* alloc DMA tags and buffers */
502         error = bus_dma_tag_create(bus_get_dma_tag(dev), 1, 0,
503             BUS_SPACE_MAXADDR_32BIT, BUS_SPACE_MAXADDR, NULL, NULL,
504             BUS_SPACE_MAXSIZE_32BIT, 0, BUS_SPACE_MAXSIZE_32BIT, 0, NULL,
505             NULL, &sc->sc_pdma_tag);
506
507         if (error) {
508                 device_printf(dev,"Could not allocate DMA tag!\n");
509                 return (ENXIO);
510         }
511
512         error = bus_dma_tag_create(sc->sc_pdma_tag, 1, 0, BUS_SPACE_MAXADDR,
513             BUS_SPACE_MAXADDR, NULL, NULL, MCLBYTES, 1, MCLBYTES,
514             BUS_DMA_ALLOCNOW, NULL, NULL, &sc->sc_rdma_tag);
515
516         if (error) {
517                 device_printf(dev,"Could not allocate RX DMA channel!\n");
518                 return (ENXIO);
519         }
520
521         error = bus_dma_tag_create(sc->sc_pdma_tag, 1, 0, BUS_SPACE_MAXADDR,
522             BUS_SPACE_MAXADDR, NULL, NULL, MCLBYTES * BM_NTXSEGS, BM_NTXSEGS,
523             MCLBYTES, BUS_DMA_ALLOCNOW, NULL, NULL, &sc->sc_tdma_tag);
524
525         if (error) {
526                 device_printf(dev,"Could not allocate TX DMA tag!\n");
527                 return (ENXIO);
528         }
529
530         /* init transmit descriptors */
531         STAILQ_INIT(&sc->sc_txfreeq);
532         STAILQ_INIT(&sc->sc_txdirtyq);
533
534         /* create TX DMA maps */
535         error = ENOMEM;
536         for (i = 0; i < BM_MAX_TX_PACKETS; i++) {
537                 txs = &sc->sc_txsoft[i];
538                 txs->txs_mbuf = NULL;
539                 error = bus_dmamap_create(sc->sc_tdma_tag, 0, &txs->txs_dmamap);
540                 if (error) {
541                         device_printf(sc->sc_dev,
542                             "unable to create TX DMA map %d, error = %d\n",
543                             i, error);
544                 }
545                 STAILQ_INSERT_TAIL(&sc->sc_txfreeq, txs, txs_q);
546         }
547
548         /* Create the receive buffer DMA maps. */
549         for (i = 0; i < BM_MAX_RX_PACKETS; i++) {
550                 error = bus_dmamap_create(sc->sc_rdma_tag, 0,
551                     &sc->sc_rxsoft[i].rxs_dmamap);
552                 if (error) {
553                         device_printf(sc->sc_dev,
554                             "unable to create RX DMA map %d, error = %d\n",
555                             i, error);
556                 }
557                 sc->sc_rxsoft[i].rxs_mbuf = NULL;
558         }
559
560         /* alloc interrupt */
561         bm_disable_interrupts(sc);
562
563         sc->sc_txdmairqid = BM_TXDMA_INTERRUPT;
564         sc->sc_txdmairq = bus_alloc_resource_any(dev, SYS_RES_IRQ,
565             &sc->sc_txdmairqid, RF_ACTIVE);
566
567         if (error) {
568                 device_printf(dev,"Could not allocate TX interrupt!\n");
569                 return (ENXIO);
570         }
571
572         bus_setup_intr(dev,sc->sc_txdmairq,
573             INTR_TYPE_MISC | INTR_MPSAFE | INTR_ENTROPY, NULL, bm_txintr, sc,
574             &sc->sc_txihtx);
575
576         sc->sc_rxdmairqid = BM_RXDMA_INTERRUPT;
577         sc->sc_rxdmairq = bus_alloc_resource_any(dev, SYS_RES_IRQ,
578             &sc->sc_rxdmairqid, RF_ACTIVE);
579
580         if (error) {
581                 device_printf(dev,"Could not allocate RX interrupt!\n");
582                 return (ENXIO);
583         }
584
585         bus_setup_intr(dev,sc->sc_rxdmairq,
586             INTR_TYPE_MISC | INTR_MPSAFE | INTR_ENTROPY, NULL, bm_rxintr, sc,
587             &sc->sc_rxih);
588
589         /*
590          * Get the ethernet address from OpenFirmware
591          */
592         eaddr = sc->sc_enaddr;
593         OF_getprop(node, "local-mac-address", eaddr, ETHER_ADDR_LEN);
594
595         /*
596          * Setup MII
597          * On Apple BMAC controllers, we end up in a weird state of
598          * partially-completed autonegotiation on boot.  So we force
599          * autonegotation to try again.
600          */
601         error = mii_attach(dev, &sc->sc_miibus, ifp, bm_ifmedia_upd,
602             bm_ifmedia_sts, BMSR_DEFCAPMASK, MII_PHY_ANY, MII_OFFSET_ANY,
603             MIIF_FORCEANEG);
604         if (error != 0) {
605                 device_printf(dev, "attaching PHYs failed\n");
606                 return (error);
607         }
608
609         /* reset the adapter  */
610         bm_chip_setup(sc);
611
612         sc->sc_mii = device_get_softc(sc->sc_miibus);
613
614         if_initname(ifp, device_get_name(sc->sc_dev),
615             device_get_unit(sc->sc_dev));
616         ifp->if_mtu = ETHERMTU;
617         ifp->if_flags = IFF_BROADCAST | IFF_SIMPLEX | IFF_MULTICAST;
618         ifp->if_start = bm_start;
619         ifp->if_ioctl = bm_ioctl;
620         ifp->if_init = bm_init;
621         IFQ_SET_MAXLEN(&ifp->if_snd, BM_MAX_TX_PACKETS);
622         ifp->if_snd.ifq_drv_maxlen = BM_MAX_TX_PACKETS;
623         IFQ_SET_READY(&ifp->if_snd);
624
625         /* Attach the interface. */
626         ether_ifattach(ifp, sc->sc_enaddr);
627         ifp->if_hwassist = 0;
628
629         return (0);
630 }
631
632 static int
633 bm_detach(device_t dev)
634 {
635         struct bm_softc *sc = device_get_softc(dev);
636
637         BM_LOCK(sc);
638         bm_stop(sc);
639         BM_UNLOCK(sc);
640
641         callout_drain(&sc->sc_tick_ch);
642         ether_ifdetach(sc->sc_ifp);
643         bus_teardown_intr(dev, sc->sc_txdmairq, sc->sc_txihtx);
644         bus_teardown_intr(dev, sc->sc_rxdmairq, sc->sc_rxih);
645
646         dbdma_free_channel(sc->sc_txdma);
647         dbdma_free_channel(sc->sc_rxdma);
648
649         bus_release_resource(dev, SYS_RES_MEMORY, sc->sc_memrid, sc->sc_memr);
650         bus_release_resource(dev, SYS_RES_MEMORY, sc->sc_txdmarid,
651             sc->sc_txdmar);
652         bus_release_resource(dev, SYS_RES_MEMORY, sc->sc_rxdmarid,
653             sc->sc_rxdmar);
654
655         bus_release_resource(dev, SYS_RES_IRQ, sc->sc_txdmairqid,
656             sc->sc_txdmairq);
657         bus_release_resource(dev, SYS_RES_IRQ, sc->sc_rxdmairqid,
658             sc->sc_rxdmairq);
659
660         mtx_destroy(&sc->sc_mtx);
661         if_free(sc->sc_ifp);
662
663         return (0);
664 }
665
666 static int
667 bm_shutdown(device_t dev)
668 {
669         struct bm_softc *sc;
670         
671         sc = device_get_softc(dev);
672
673         BM_LOCK(sc);
674         bm_stop(sc);
675         BM_UNLOCK(sc);
676
677         return (0);
678 }
679
680 static void
681 bm_dummypacket(struct bm_softc *sc)
682 {
683         struct mbuf *m;
684         struct ifnet *ifp;
685
686         ifp = sc->sc_ifp;
687
688         MGETHDR(m, M_DONTWAIT, MT_DATA);
689
690         if (m == NULL)
691                 return;
692
693         bcopy(sc->sc_enaddr,
694             mtod(m, struct ether_header *)->ether_dhost, ETHER_ADDR_LEN);
695         bcopy(sc->sc_enaddr,
696             mtod(m, struct ether_header *)->ether_shost, ETHER_ADDR_LEN);
697         mtod(m, struct ether_header *)->ether_type = htons(3);
698         mtod(m, unsigned char *)[14] = 0;
699         mtod(m, unsigned char *)[15] = 0;
700         mtod(m, unsigned char *)[16] = 0xE3;
701         m->m_len = m->m_pkthdr.len = sizeof(struct ether_header) + 3;
702         IF_ENQUEUE(&ifp->if_snd, m);
703         bm_start_locked(ifp);
704 }
705
706 static void
707 bm_rxintr(void *xsc)
708 {
709         struct bm_softc *sc = xsc;
710         struct ifnet *ifp = sc->sc_ifp;
711         struct mbuf *m;
712         int i, prev_stop, new_stop;
713         uint16_t status;
714
715         BM_LOCK(sc);
716
717         status = dbdma_get_chan_status(sc->sc_rxdma);
718         if (status & DBDMA_STATUS_DEAD) {
719                 dbdma_reset(sc->sc_rxdma);
720                 BM_UNLOCK(sc);
721                 return;
722         }
723         if (!(status & DBDMA_STATUS_RUN)) {
724                 device_printf(sc->sc_dev,"Bad RX Interrupt!\n");
725                 BM_UNLOCK(sc);
726                 return;
727         }
728
729         prev_stop = sc->next_rxdma_slot - 1;
730         if (prev_stop < 0)
731                 prev_stop = sc->rxdma_loop_slot - 1;
732
733         if (prev_stop < 0) {
734                 BM_UNLOCK(sc);
735                 return;
736         }
737
738         new_stop = -1;
739         dbdma_sync_commands(sc->sc_rxdma, BUS_DMASYNC_POSTREAD);
740
741         for (i = sc->next_rxdma_slot; i < BM_MAX_RX_PACKETS; i++) {
742                 if (i == sc->rxdma_loop_slot)
743                         i = 0;
744
745                 if (i == prev_stop)
746                         break;
747
748                 status = dbdma_get_cmd_status(sc->sc_rxdma, i);
749
750                 if (status == 0)
751                         break;
752
753                 m = sc->sc_rxsoft[i].rxs_mbuf;
754
755                 if (bm_add_rxbuf(sc, i)) {
756                         ifp->if_ierrors++;
757                         m = NULL;
758                         continue;
759                 }
760
761                 if (m == NULL)
762                         continue;
763
764                 ifp->if_ipackets++;
765                 m->m_pkthdr.rcvif = ifp;
766                 m->m_len -= (dbdma_get_residuals(sc->sc_rxdma, i) + 2);
767                 m->m_pkthdr.len = m->m_len;
768
769                 /* Send up the stack */
770                 BM_UNLOCK(sc);
771                 (*ifp->if_input)(ifp, m);
772                 BM_LOCK(sc);
773
774                 /* Clear all fields on this command */
775                 bm_add_rxbuf_dma(sc, i);
776
777                 new_stop = i;
778         }
779
780         /* Change the last packet we processed to the ring buffer terminator,
781          * and restore a receive buffer to the old terminator */
782         if (new_stop >= 0) {
783                 dbdma_insert_stop(sc->sc_rxdma, new_stop);
784                 bm_add_rxbuf_dma(sc, prev_stop);
785                 if (i < sc->rxdma_loop_slot)
786                         sc->next_rxdma_slot = i;
787                 else
788                         sc->next_rxdma_slot = 0;
789         }
790         dbdma_sync_commands(sc->sc_rxdma, BUS_DMASYNC_PREWRITE);
791
792         dbdma_wake(sc->sc_rxdma);
793
794         BM_UNLOCK(sc);
795 }
796
797 static void
798 bm_txintr(void *xsc)
799 {
800         struct bm_softc *sc = xsc;
801         struct ifnet *ifp = sc->sc_ifp;
802         struct bm_txsoft *txs;
803         int progress = 0;
804
805         BM_LOCK(sc);
806
807         while ((txs = STAILQ_FIRST(&sc->sc_txdirtyq)) != NULL) {
808                 if (!dbdma_get_cmd_status(sc->sc_txdma, txs->txs_lastdesc))
809                         break;
810
811                 STAILQ_REMOVE_HEAD(&sc->sc_txdirtyq, txs_q);
812                 bus_dmamap_unload(sc->sc_tdma_tag, txs->txs_dmamap);
813
814                 if (txs->txs_mbuf != NULL) {
815                         m_freem(txs->txs_mbuf);
816                         txs->txs_mbuf = NULL;
817                 }
818
819                 /* Set the first used TXDMA slot to the location of the
820                  * STOP/NOP command associated with this packet. */
821
822                 sc->first_used_txdma_slot = txs->txs_stopdesc;
823
824                 STAILQ_INSERT_TAIL(&sc->sc_txfreeq, txs, txs_q);
825
826                 ifp->if_opackets++;
827                 progress = 1;
828         }
829
830         if (progress) {
831                 /*
832                  * We freed some descriptors, so reset IFF_DRV_OACTIVE
833                  * and restart.
834                  */
835                 ifp->if_drv_flags &= ~IFF_DRV_OACTIVE;
836                 sc->sc_wdog_timer = STAILQ_EMPTY(&sc->sc_txdirtyq) ? 0 : 5;
837
838                 if ((ifp->if_drv_flags & IFF_DRV_RUNNING) &&
839                     !IFQ_DRV_IS_EMPTY(&ifp->if_snd))
840                         bm_start_locked(ifp);
841         }
842
843         BM_UNLOCK(sc);
844 }
845
846 static void
847 bm_start(struct ifnet *ifp)
848 {
849         struct bm_softc *sc = ifp->if_softc;
850
851         BM_LOCK(sc);
852         bm_start_locked(ifp);
853         BM_UNLOCK(sc);
854 }
855
856 static void
857 bm_start_locked(struct ifnet *ifp)
858 {
859         struct bm_softc *sc = ifp->if_softc;
860         struct mbuf *mb_head;
861         int prev_stop;
862         int txqueued = 0;
863
864         /*
865          * We lay out our DBDMA program in the following manner:
866          *      OUTPUT_MORE
867          *      ...
868          *      OUTPUT_LAST (+ Interrupt)
869          *      STOP
870          *
871          * To extend the channel, we append a new program,
872          * then replace STOP with NOP and wake the channel.
873          * If we stalled on the STOP already, the program proceeds,
874          * if not it will sail through the NOP.
875          */
876
877         while (!IFQ_DRV_IS_EMPTY(&ifp->if_snd)) {
878                 IFQ_DRV_DEQUEUE(&ifp->if_snd, mb_head);
879
880                 if (mb_head == NULL)
881                         break;
882
883                 prev_stop = sc->next_txdma_slot - 1;
884
885                 if (bm_encap(sc, &mb_head)) {
886                         /* Put the packet back and stop */
887                         ifp->if_drv_flags |= IFF_DRV_OACTIVE;
888                         IFQ_DRV_PREPEND(&ifp->if_snd, mb_head);
889                         break;
890                 }
891
892                 dbdma_insert_nop(sc->sc_txdma, prev_stop);
893
894                 txqueued = 1;
895
896                 BPF_MTAP(ifp, mb_head);
897         }
898
899         dbdma_sync_commands(sc->sc_txdma, BUS_DMASYNC_PREWRITE);
900
901         if (txqueued) {
902                 dbdma_wake(sc->sc_txdma);
903                 sc->sc_wdog_timer = 5;
904         }
905 }
906
907 static int
908 bm_encap(struct bm_softc *sc, struct mbuf **m_head)
909 {
910         bus_dma_segment_t segs[BM_NTXSEGS];
911         struct bm_txsoft *txs;
912         struct mbuf *m;
913         int nsegs = BM_NTXSEGS;
914         int error = 0;
915         uint8_t branch_type;
916         int i;
917
918         /* Limit the command size to the number of free DBDMA slots */
919
920         if (sc->next_txdma_slot >= sc->first_used_txdma_slot)
921                 nsegs = BM_MAX_DMA_COMMANDS - 2 - sc->next_txdma_slot +
922                     sc->first_used_txdma_slot;  /* -2 for branch and indexing */
923         else
924                 nsegs = sc->first_used_txdma_slot - sc->next_txdma_slot;
925
926         /* Remove one slot for the STOP/NOP terminator */
927         nsegs--;
928
929         if (nsegs > BM_NTXSEGS)
930                 nsegs = BM_NTXSEGS;
931
932         /* Get a work queue entry. */
933         if ((txs = STAILQ_FIRST(&sc->sc_txfreeq)) == NULL) {
934                 /* Ran out of descriptors. */
935                 return (ENOBUFS);
936         }
937
938         error = bus_dmamap_load_mbuf_sg(sc->sc_tdma_tag, txs->txs_dmamap,
939             *m_head, segs, &nsegs, BUS_DMA_NOWAIT);
940
941         if (error == EFBIG) {
942                 m = m_collapse(*m_head, M_DONTWAIT, nsegs);
943                 if (m == NULL) {
944                         m_freem(*m_head);
945                         *m_head = NULL;
946                         return (ENOBUFS);
947                 }
948                 *m_head = m;
949
950                 error = bus_dmamap_load_mbuf_sg(sc->sc_tdma_tag,
951                     txs->txs_dmamap, *m_head, segs, &nsegs, BUS_DMA_NOWAIT);
952                 if (error != 0) {
953                         m_freem(*m_head);
954                         *m_head = NULL;
955                         return (error);
956                 }
957         } else if (error != 0)
958                 return (error);
959
960         if (nsegs == 0) {
961                 m_freem(*m_head);
962                 *m_head = NULL;
963                 return (EIO);
964         }
965
966         txs->txs_ndescs = nsegs;
967         txs->txs_firstdesc = sc->next_txdma_slot;
968
969         for (i = 0; i < nsegs; i++) {
970                 /* Loop back to the beginning if this is our last slot */
971                 if (sc->next_txdma_slot == (BM_MAX_DMA_COMMANDS - 1))
972                         branch_type = DBDMA_ALWAYS;
973                 else
974                         branch_type = DBDMA_NEVER;
975
976                 if (i+1 == nsegs)
977                         txs->txs_lastdesc = sc->next_txdma_slot;
978
979                 dbdma_insert_command(sc->sc_txdma, sc->next_txdma_slot++,
980                     (i + 1 < nsegs) ? DBDMA_OUTPUT_MORE : DBDMA_OUTPUT_LAST,
981                     0, segs[i].ds_addr, segs[i].ds_len,
982                     (i + 1 < nsegs) ? DBDMA_NEVER : DBDMA_ALWAYS,
983                     branch_type, DBDMA_NEVER, 0);
984
985                 if (branch_type == DBDMA_ALWAYS)
986                         sc->next_txdma_slot = 0;
987         }
988
989         /* We have a corner case where the STOP command is the last slot,
990          * but you can't branch in STOP commands. So add a NOP branch here
991          * and the STOP in slot 0. */
992
993         if (sc->next_txdma_slot == (BM_MAX_DMA_COMMANDS - 1)) {
994                 dbdma_insert_branch(sc->sc_txdma, sc->next_txdma_slot, 0);
995                 sc->next_txdma_slot = 0;
996         }
997
998         txs->txs_stopdesc = sc->next_txdma_slot;
999         dbdma_insert_stop(sc->sc_txdma, sc->next_txdma_slot++);
1000
1001         STAILQ_REMOVE_HEAD(&sc->sc_txfreeq, txs_q);
1002         STAILQ_INSERT_TAIL(&sc->sc_txdirtyq, txs, txs_q);
1003         txs->txs_mbuf = *m_head;
1004
1005         return (0);
1006 }
1007
1008 static int
1009 bm_ioctl(struct ifnet *ifp, u_long cmd, caddr_t data)
1010 {
1011         struct bm_softc *sc = ifp->if_softc;
1012         struct ifreq *ifr = (struct ifreq *)data;
1013         int error;
1014
1015         error = 0;
1016
1017         switch(cmd) {
1018         case SIOCSIFFLAGS:
1019                 BM_LOCK(sc);
1020                 if ((ifp->if_flags & IFF_UP) != 0) {
1021                         if ((ifp->if_drv_flags & IFF_DRV_RUNNING) != 0 &&
1022                            ((ifp->if_flags ^ sc->sc_ifpflags) &
1023                             (IFF_ALLMULTI | IFF_PROMISC)) != 0)
1024                                 bm_setladrf(sc);
1025                         else
1026                                 bm_init_locked(sc);
1027                 } else if ((ifp->if_drv_flags & IFF_DRV_RUNNING) != 0)
1028                         bm_stop(sc);
1029                 sc->sc_ifpflags = ifp->if_flags;
1030                 BM_UNLOCK(sc);
1031                 break;
1032         case SIOCADDMULTI:
1033         case SIOCDELMULTI:
1034                 BM_LOCK(sc);
1035                 bm_setladrf(sc);
1036                 BM_UNLOCK(sc);
1037         case SIOCGIFMEDIA:
1038         case SIOCSIFMEDIA:
1039                 error = ifmedia_ioctl(ifp, ifr, &sc->sc_mii->mii_media, cmd);
1040                 break;
1041         default:
1042                 error = ether_ioctl(ifp, cmd, data);
1043                 break;
1044         }
1045
1046         return (error);
1047 }
1048
1049 static void
1050 bm_setladrf(struct bm_softc *sc)
1051 {
1052         struct ifnet *ifp = sc->sc_ifp;
1053         struct ifmultiaddr *inm;
1054         uint16_t hash[4];
1055         uint16_t reg;
1056         uint32_t crc;
1057
1058         reg = BM_CRC_ENABLE | BM_REJECT_OWN_PKTS;
1059
1060         /* Turn off RX MAC while we fiddle its settings */
1061         CSR_WRITE_2(sc, BM_RX_CONFIG, reg);
1062         while (CSR_READ_2(sc, BM_RX_CONFIG) & BM_ENABLE)
1063                 DELAY(10);
1064
1065         if ((ifp->if_flags & IFF_PROMISC) != 0) {
1066                 reg |= BM_PROMISC;
1067
1068                 CSR_WRITE_2(sc, BM_RX_CONFIG, reg);
1069
1070                 DELAY(15);
1071
1072                 reg = CSR_READ_2(sc, BM_RX_CONFIG);
1073                 reg |= BM_ENABLE;
1074                 CSR_WRITE_2(sc, BM_RX_CONFIG, reg);
1075                 return;
1076         }
1077
1078         if ((ifp->if_flags & IFF_ALLMULTI) != 0) {
1079                 hash[3] = hash[2] = hash[1] = hash[0] = 0xffff;
1080         } else {
1081                 /* Clear the hash table. */
1082                 memset(hash, 0, sizeof(hash));
1083
1084                 if_maddr_rlock(ifp);
1085                 TAILQ_FOREACH(inm, &ifp->if_multiaddrs, ifma_link) {
1086                         if (inm->ifma_addr->sa_family != AF_LINK)
1087                                 continue;
1088                         crc = ether_crc32_le(LLADDR((struct sockaddr_dl *)
1089                             inm->ifma_addr), ETHER_ADDR_LEN);
1090
1091                         /* We just want the 6 most significant bits */
1092                         crc >>= 26;
1093
1094                         /* Set the corresponding bit in the filter. */
1095                         hash[crc >> 4] |= 1 << (crc & 0xf);
1096                 }
1097                 if_maddr_runlock(ifp);
1098         }
1099
1100         /* Write out new hash table */
1101         CSR_WRITE_2(sc, BM_HASHTAB0, hash[0]);
1102         CSR_WRITE_2(sc, BM_HASHTAB1, hash[1]);
1103         CSR_WRITE_2(sc, BM_HASHTAB2, hash[2]);
1104         CSR_WRITE_2(sc, BM_HASHTAB3, hash[3]);
1105
1106         /* And turn the RX MAC back on, this time with the hash bit set */
1107         reg |= BM_HASH_FILTER_ENABLE;
1108         CSR_WRITE_2(sc, BM_RX_CONFIG, reg);
1109
1110         while (!(CSR_READ_2(sc, BM_RX_CONFIG) & BM_HASH_FILTER_ENABLE))
1111                 DELAY(10);
1112
1113         reg = CSR_READ_2(sc, BM_RX_CONFIG);
1114         reg |= BM_ENABLE;
1115         CSR_WRITE_2(sc, BM_RX_CONFIG, reg);
1116 }
1117
1118 static void
1119 bm_init(void *xsc)
1120 {
1121         struct bm_softc *sc = xsc;
1122
1123         BM_LOCK(sc);
1124         bm_init_locked(sc);
1125         BM_UNLOCK(sc);
1126 }
1127
1128 static void
1129 bm_chip_setup(struct bm_softc *sc)
1130 {
1131         uint16_t reg;
1132         uint16_t *eaddr_sect;
1133
1134         eaddr_sect = (uint16_t *)(sc->sc_enaddr);
1135         dbdma_stop(sc->sc_txdma);
1136         dbdma_stop(sc->sc_rxdma);
1137
1138         /* Reset chip */
1139         CSR_WRITE_2(sc, BM_RX_RESET, 0x0000);
1140         CSR_WRITE_2(sc, BM_TX_RESET, 0x0001);
1141         do {
1142                 DELAY(10);
1143                 reg = CSR_READ_2(sc, BM_TX_RESET);
1144         } while (reg & 0x0001);
1145
1146         /* Some random junk. OS X uses the system time. We use
1147          * the low 16 bits of the MAC address. */
1148         CSR_WRITE_2(sc, BM_TX_RANDSEED, eaddr_sect[2]);
1149
1150         /* Enable transmit */
1151         reg = CSR_READ_2(sc, BM_TX_IFC);
1152         reg |= BM_ENABLE;
1153         CSR_WRITE_2(sc, BM_TX_IFC, reg);
1154
1155         CSR_READ_2(sc, BM_TX_PEAKCNT);
1156 }
1157
1158 static void
1159 bm_stop(struct bm_softc *sc)
1160 {
1161         struct bm_txsoft *txs;
1162         uint16_t reg;
1163
1164         /* Disable TX and RX MACs */
1165         reg = CSR_READ_2(sc, BM_TX_CONFIG);
1166         reg &= ~BM_ENABLE;
1167         CSR_WRITE_2(sc, BM_TX_CONFIG, reg);
1168
1169         reg = CSR_READ_2(sc, BM_RX_CONFIG);
1170         reg &= ~BM_ENABLE;
1171         CSR_WRITE_2(sc, BM_RX_CONFIG, reg);
1172
1173         DELAY(100);
1174
1175         /* Stop DMA engine */
1176         dbdma_stop(sc->sc_rxdma);
1177         dbdma_stop(sc->sc_txdma);
1178         sc->next_rxdma_slot = 0;
1179         sc->rxdma_loop_slot = 0;
1180
1181         /* Disable interrupts */
1182         bm_disable_interrupts(sc);
1183
1184         /* Don't worry about pending transmits anymore */
1185         while ((txs = STAILQ_FIRST(&sc->sc_txdirtyq)) != NULL) {
1186                 STAILQ_REMOVE_HEAD(&sc->sc_txdirtyq, txs_q);
1187                 if (txs->txs_ndescs != 0) {
1188                         bus_dmamap_sync(sc->sc_tdma_tag, txs->txs_dmamap,
1189                             BUS_DMASYNC_POSTWRITE);
1190                         bus_dmamap_unload(sc->sc_tdma_tag, txs->txs_dmamap);
1191                         if (txs->txs_mbuf != NULL) {
1192                                 m_freem(txs->txs_mbuf);
1193                                 txs->txs_mbuf = NULL;
1194                         }
1195                 }
1196                 STAILQ_INSERT_TAIL(&sc->sc_txfreeq, txs, txs_q);
1197         }
1198
1199         /* And we're down */
1200         sc->sc_ifp->if_drv_flags &= ~(IFF_DRV_RUNNING | IFF_DRV_OACTIVE);
1201         sc->sc_wdog_timer = 0;
1202         callout_stop(&sc->sc_tick_ch);
1203 }
1204
1205 static void
1206 bm_init_locked(struct bm_softc *sc)
1207 {
1208         uint16_t reg;
1209         uint16_t *eaddr_sect;
1210         struct bm_rxsoft *rxs;
1211         int i;
1212
1213         eaddr_sect = (uint16_t *)(sc->sc_enaddr);
1214
1215         /* Zero RX slot info and stop DMA */
1216         dbdma_stop(sc->sc_rxdma);
1217         dbdma_stop(sc->sc_txdma);
1218         sc->next_rxdma_slot = 0;
1219         sc->rxdma_loop_slot = 0;
1220
1221         /* Initialize TX/RX DBDMA programs */
1222         dbdma_insert_stop(sc->sc_rxdma, 0);
1223         dbdma_insert_stop(sc->sc_txdma, 0);
1224         dbdma_set_current_cmd(sc->sc_rxdma, 0);
1225         dbdma_set_current_cmd(sc->sc_txdma, 0);
1226
1227         sc->next_rxdma_slot = 0;
1228         sc->next_txdma_slot = 1;
1229         sc->first_used_txdma_slot = 0;
1230
1231         for (i = 0; i < BM_MAX_RX_PACKETS; i++) {
1232                 rxs = &sc->sc_rxsoft[i];
1233                 rxs->dbdma_slot = i;
1234
1235                 if (rxs->rxs_mbuf == NULL) {
1236                         bm_add_rxbuf(sc, i);
1237
1238                         if (rxs->rxs_mbuf == NULL) {
1239                                 /* If we can't add anymore, mark the problem */
1240                                 rxs->dbdma_slot = -1;
1241                                 break;
1242                         }
1243                 }
1244
1245                 if (i > 0)
1246                         bm_add_rxbuf_dma(sc, i);
1247         }
1248
1249         /*
1250          * Now terminate the RX ring buffer, and follow with the loop to
1251          * the beginning.
1252          */
1253         dbdma_insert_stop(sc->sc_rxdma, i - 1);
1254         dbdma_insert_branch(sc->sc_rxdma, i, 0);
1255         sc->rxdma_loop_slot = i;
1256
1257         /* Now add in the first element of the RX DMA chain */
1258         bm_add_rxbuf_dma(sc, 0);
1259
1260         dbdma_sync_commands(sc->sc_rxdma, BUS_DMASYNC_PREWRITE);
1261         dbdma_sync_commands(sc->sc_txdma, BUS_DMASYNC_PREWRITE);
1262
1263         /* Zero collision counters */
1264         CSR_WRITE_2(sc, BM_TX_NCCNT, 0);
1265         CSR_WRITE_2(sc, BM_TX_FCCNT, 0);
1266         CSR_WRITE_2(sc, BM_TX_EXCNT, 0);
1267         CSR_WRITE_2(sc, BM_TX_LTCNT, 0);
1268
1269         /* Zero receive counters */
1270         CSR_WRITE_2(sc, BM_RX_FRCNT, 0);
1271         CSR_WRITE_2(sc, BM_RX_LECNT, 0);
1272         CSR_WRITE_2(sc, BM_RX_AECNT, 0);
1273         CSR_WRITE_2(sc, BM_RX_FECNT, 0);
1274         CSR_WRITE_2(sc, BM_RXCV, 0);
1275
1276         /* Prime transmit */
1277         CSR_WRITE_2(sc, BM_TX_THRESH, 0xff);
1278
1279         CSR_WRITE_2(sc, BM_TXFIFO_CSR, 0);
1280         CSR_WRITE_2(sc, BM_TXFIFO_CSR, 0x0001);
1281
1282         /* Prime receive */
1283         CSR_WRITE_2(sc, BM_RXFIFO_CSR, 0);
1284         CSR_WRITE_2(sc, BM_RXFIFO_CSR, 0x0001);
1285
1286         /* Clear status reg */
1287         CSR_READ_2(sc, BM_STATUS);
1288
1289         /* Zero hash filters */
1290         CSR_WRITE_2(sc, BM_HASHTAB0, 0);
1291         CSR_WRITE_2(sc, BM_HASHTAB1, 0);
1292         CSR_WRITE_2(sc, BM_HASHTAB2, 0);
1293         CSR_WRITE_2(sc, BM_HASHTAB3, 0);
1294
1295         /* Write MAC address to chip */
1296         CSR_WRITE_2(sc, BM_MACADDR0, eaddr_sect[0]);
1297         CSR_WRITE_2(sc, BM_MACADDR1, eaddr_sect[1]);
1298         CSR_WRITE_2(sc, BM_MACADDR2, eaddr_sect[2]);
1299
1300         /* Final receive engine setup */
1301         reg = BM_CRC_ENABLE | BM_REJECT_OWN_PKTS | BM_HASH_FILTER_ENABLE;
1302         CSR_WRITE_2(sc, BM_RX_CONFIG, reg);
1303
1304         /* Now turn it all on! */
1305         dbdma_reset(sc->sc_rxdma);
1306         dbdma_reset(sc->sc_txdma);
1307
1308         /* Enable RX and TX MACs. Setting the address filter has
1309          * the side effect of enabling the RX MAC. */
1310         bm_setladrf(sc);
1311
1312         reg = CSR_READ_2(sc, BM_TX_CONFIG);
1313         reg |= BM_ENABLE;
1314         CSR_WRITE_2(sc, BM_TX_CONFIG, reg);
1315
1316         /*
1317          * Enable interrupts, unwedge the controller with a dummy packet,
1318          * and nudge the DMA queue.
1319          */
1320         bm_enable_interrupts(sc);
1321         bm_dummypacket(sc);
1322         dbdma_wake(sc->sc_rxdma); /* Nudge RXDMA */
1323
1324         sc->sc_ifp->if_drv_flags |= IFF_DRV_RUNNING;
1325         sc->sc_ifp->if_drv_flags &= ~IFF_DRV_OACTIVE;
1326         sc->sc_ifpflags = sc->sc_ifp->if_flags;
1327
1328         /* Resync PHY and MAC states */
1329         sc->sc_mii = device_get_softc(sc->sc_miibus);
1330         sc->sc_duplex = ~IFM_FDX;
1331         mii_mediachg(sc->sc_mii);
1332
1333         /* Start the one second timer. */
1334         sc->sc_wdog_timer = 0;
1335         callout_reset(&sc->sc_tick_ch, hz, bm_tick, sc);
1336 }
1337
1338 static void
1339 bm_tick(void *arg)
1340 {
1341         struct bm_softc *sc = arg;
1342
1343         /* Read error counters */
1344         sc->sc_ifp->if_collisions += CSR_READ_2(sc, BM_TX_NCCNT) +
1345             CSR_READ_2(sc, BM_TX_FCCNT) + CSR_READ_2(sc, BM_TX_EXCNT) +
1346             CSR_READ_2(sc, BM_TX_LTCNT);
1347
1348         sc->sc_ifp->if_ierrors += CSR_READ_2(sc, BM_RX_LECNT) +
1349             CSR_READ_2(sc, BM_RX_AECNT) + CSR_READ_2(sc, BM_RX_FECNT);
1350
1351         /* Zero collision counters */
1352         CSR_WRITE_2(sc, BM_TX_NCCNT, 0);
1353         CSR_WRITE_2(sc, BM_TX_FCCNT, 0);
1354         CSR_WRITE_2(sc, BM_TX_EXCNT, 0);
1355         CSR_WRITE_2(sc, BM_TX_LTCNT, 0);
1356
1357         /* Zero receive counters */
1358         CSR_WRITE_2(sc, BM_RX_FRCNT, 0);
1359         CSR_WRITE_2(sc, BM_RX_LECNT, 0);
1360         CSR_WRITE_2(sc, BM_RX_AECNT, 0);
1361         CSR_WRITE_2(sc, BM_RX_FECNT, 0);
1362         CSR_WRITE_2(sc, BM_RXCV, 0);
1363
1364         /* Check for link changes and run watchdog */
1365         mii_tick(sc->sc_mii);
1366         bm_miibus_statchg(sc->sc_dev);
1367
1368         if (sc->sc_wdog_timer == 0 || --sc->sc_wdog_timer != 0) {
1369                 callout_reset(&sc->sc_tick_ch, hz, bm_tick, sc);
1370                 return;
1371         }
1372
1373         /* Problems */
1374         device_printf(sc->sc_dev, "device timeout\n");
1375
1376         bm_init_locked(sc);
1377 }
1378
1379 static int
1380 bm_add_rxbuf(struct bm_softc *sc, int idx)
1381 {
1382         struct bm_rxsoft *rxs = &sc->sc_rxsoft[idx];
1383         struct mbuf *m;
1384         bus_dma_segment_t segs[1];
1385         int error, nsegs;
1386
1387         m = m_getcl(M_DONTWAIT, MT_DATA, M_PKTHDR);
1388         if (m == NULL)
1389                 return (ENOBUFS);
1390         m->m_len = m->m_pkthdr.len = m->m_ext.ext_size;
1391
1392         if (rxs->rxs_mbuf != NULL) {
1393                 bus_dmamap_sync(sc->sc_rdma_tag, rxs->rxs_dmamap,
1394                     BUS_DMASYNC_POSTREAD);
1395                 bus_dmamap_unload(sc->sc_rdma_tag, rxs->rxs_dmamap);
1396         }
1397
1398         error = bus_dmamap_load_mbuf_sg(sc->sc_rdma_tag, rxs->rxs_dmamap, m,
1399             segs, &nsegs, BUS_DMA_NOWAIT);
1400         if (error != 0) {
1401                 device_printf(sc->sc_dev,
1402                     "cannot load RS DMA map %d, error = %d\n", idx, error);
1403                 m_freem(m);
1404                 return (error);
1405         }
1406         /* If nsegs is wrong then the stack is corrupt. */
1407         KASSERT(nsegs == 1,
1408             ("%s: too many DMA segments (%d)", __func__, nsegs));
1409         rxs->rxs_mbuf = m;
1410         rxs->segment = segs[0];
1411
1412         bus_dmamap_sync(sc->sc_rdma_tag, rxs->rxs_dmamap, BUS_DMASYNC_PREREAD);
1413
1414         return (0);
1415 }
1416
1417 static int
1418 bm_add_rxbuf_dma(struct bm_softc *sc, int idx)
1419 {
1420         struct bm_rxsoft *rxs = &sc->sc_rxsoft[idx];
1421
1422         dbdma_insert_command(sc->sc_rxdma, idx, DBDMA_INPUT_LAST, 0,
1423             rxs->segment.ds_addr, rxs->segment.ds_len, DBDMA_ALWAYS,
1424             DBDMA_NEVER, DBDMA_NEVER, 0);
1425
1426         return (0);
1427 }
1428
1429 static void
1430 bm_enable_interrupts(struct bm_softc *sc)
1431 {
1432         CSR_WRITE_2(sc, BM_INTR_DISABLE,
1433             (sc->sc_streaming) ? BM_INTR_NONE : BM_INTR_NORMAL);
1434 }
1435
1436 static void
1437 bm_disable_interrupts(struct bm_softc *sc)
1438 {
1439         CSR_WRITE_2(sc, BM_INTR_DISABLE, BM_INTR_NONE);
1440 }