]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/arm64/arm64/nexus.c
Support non-posted MMIO on arm64 with FDT
[FreeBSD/FreeBSD.git] / sys / arm64 / arm64 / nexus.c
1 /*-
2  * Copyright 1998 Massachusetts Institute of Technology
3  *
4  * Permission to use, copy, modify, and distribute this software and
5  * its documentation for any purpose and without fee is hereby
6  * granted, provided that both the above copyright notice and this
7  * permission notice appear in all copies, that both the above
8  * copyright notice and this permission notice appear in all
9  * supporting documentation, and that the name of M.I.T. not be used
10  * in advertising or publicity pertaining to distribution of the
11  * software without specific, written prior permission.  M.I.T. makes
12  * no representations about the suitability of this software for any
13  * purpose.  It is provided "as is" without express or implied
14  * warranty.
15  *
16  * THIS SOFTWARE IS PROVIDED BY M.I.T. ``AS IS''.  M.I.T. DISCLAIMS
17  * ALL EXPRESS OR IMPLIED WARRANTIES WITH REGARD TO THIS SOFTWARE,
18  * INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF
19  * MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE. IN NO EVENT
20  * SHALL M.I.T. BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
21  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
22  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
23  * USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
24  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
25  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
26  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
27  * SUCH DAMAGE.
28  *
29  */
30
31 /*
32  * This code implements a `root nexus' for Arm Architecture
33  * machines.  The function of the root nexus is to serve as an
34  * attachment point for both processors and buses, and to manage
35  * resources which are common to all of them.  In particular,
36  * this code implements the core resource managers for interrupt
37  * requests and I/O memory address space.
38  */
39
40 #include "opt_acpi.h"
41 #include "opt_platform.h"
42
43 #include <sys/cdefs.h>
44 __FBSDID("$FreeBSD$");
45
46 #include <sys/param.h>
47 #include <sys/systm.h>
48 #include <sys/bus.h>
49 #include <sys/kernel.h>
50 #include <sys/malloc.h>
51 #include <sys/module.h>
52 #include <machine/bus.h>
53 #include <sys/rman.h>
54 #include <sys/interrupt.h>
55
56 #include <machine/machdep.h>
57 #include <machine/vmparam.h>
58 #include <machine/pcb.h>
59 #include <vm/vm.h>
60 #include <vm/pmap.h>
61
62 #include <machine/resource.h>
63 #include <machine/intr.h>
64
65 #ifdef FDT
66 #include <dev/ofw/ofw_bus_subr.h>
67 #include <dev/ofw/ofw_bus.h>
68 #include <dev/ofw/openfirm.h>
69 #include "ofw_bus_if.h"
70 #endif
71 #ifdef DEV_ACPI
72 #include <contrib/dev/acpica/include/acpi.h>
73 #include <dev/acpica/acpivar.h>
74 #include "acpi_bus_if.h"
75 #include "pcib_if.h"
76 #endif
77
78 extern struct bus_space memmap_bus;
79
80 static MALLOC_DEFINE(M_NEXUSDEV, "nexusdev", "Nexus device");
81
82 struct nexus_device {
83         struct resource_list    nx_resources;
84 };
85
86 #define DEVTONX(dev)    ((struct nexus_device *)device_get_ivars(dev))
87
88 static struct rman mem_rman;
89 static struct rman irq_rman;
90
91 static  int nexus_attach(device_t);
92
93 #ifdef FDT
94 static device_probe_t   nexus_fdt_probe;
95 static device_attach_t  nexus_fdt_attach;
96 static bus_activate_resource_t nexus_fdt_activate_resource;
97 #endif
98 #ifdef DEV_ACPI
99 static device_probe_t   nexus_acpi_probe;
100 static device_attach_t  nexus_acpi_attach;
101 #endif
102
103 static  int nexus_print_child(device_t, device_t);
104 static  device_t nexus_add_child(device_t, u_int, const char *, int);
105 static  struct resource *nexus_alloc_resource(device_t, device_t, int, int *,
106     rman_res_t, rman_res_t, rman_res_t, u_int);
107 static  int nexus_activate_resource(device_t, device_t, int, int,
108     struct resource *);
109 static  int nexus_adjust_resource(device_t, device_t, int, struct resource *,
110     rman_res_t, rman_res_t);
111 static  int nexus_map_resource(device_t, device_t, int, struct resource *,
112     struct resource_map_request *, struct resource_map *);
113 static int nexus_config_intr(device_t dev, int irq, enum intr_trigger trig,
114     enum intr_polarity pol);
115 static struct resource_list *nexus_get_reslist(device_t, device_t);
116 static  int nexus_set_resource(device_t, device_t, int, int,
117     rman_res_t, rman_res_t);
118 static  int nexus_deactivate_resource(device_t, device_t, int, int,
119     struct resource *);
120 static int nexus_release_resource(device_t, device_t, int, int,
121     struct resource *);
122
123 static int nexus_setup_intr(device_t dev, device_t child, struct resource *res,
124     int flags, driver_filter_t *filt, driver_intr_t *intr, void *arg, void **cookiep);
125 static int nexus_teardown_intr(device_t, device_t, struct resource *, void *);
126 static bus_space_tag_t nexus_get_bus_tag(device_t, device_t);
127 #ifdef SMP
128 static int nexus_bind_intr(device_t, device_t, struct resource *, int);
129 #endif
130
131 #ifdef FDT
132 static int nexus_ofw_map_intr(device_t dev, device_t child, phandle_t iparent,
133     int icells, pcell_t *intr);
134 #endif
135
136 static device_method_t nexus_methods[] = {
137         /* Bus interface */
138         DEVMETHOD(bus_print_child,      nexus_print_child),
139         DEVMETHOD(bus_add_child,        nexus_add_child),
140         DEVMETHOD(bus_alloc_resource,   nexus_alloc_resource),
141         DEVMETHOD(bus_activate_resource,        nexus_activate_resource),
142         DEVMETHOD(bus_adjust_resource,  nexus_adjust_resource),
143         DEVMETHOD(bus_map_resource,     nexus_map_resource),
144         DEVMETHOD(bus_config_intr,      nexus_config_intr),
145         DEVMETHOD(bus_get_resource_list, nexus_get_reslist),
146         DEVMETHOD(bus_set_resource,     nexus_set_resource),
147         DEVMETHOD(bus_deactivate_resource,      nexus_deactivate_resource),
148         DEVMETHOD(bus_release_resource, nexus_release_resource),
149         DEVMETHOD(bus_setup_intr,       nexus_setup_intr),
150         DEVMETHOD(bus_teardown_intr,    nexus_teardown_intr),
151         DEVMETHOD(bus_get_bus_tag,      nexus_get_bus_tag),
152 #ifdef SMP
153         DEVMETHOD(bus_bind_intr,        nexus_bind_intr),
154 #endif
155         { 0, 0 }
156 };
157
158 static driver_t nexus_driver = {
159         "nexus",
160         nexus_methods,
161         1                       /* no softc */
162 };
163
164 static int
165 nexus_attach(device_t dev)
166 {
167
168         mem_rman.rm_start = 0;
169         mem_rman.rm_end = BUS_SPACE_MAXADDR;
170         mem_rman.rm_type = RMAN_ARRAY;
171         mem_rman.rm_descr = "I/O memory addresses";
172         if (rman_init(&mem_rman) ||
173             rman_manage_region(&mem_rman, 0, BUS_SPACE_MAXADDR))
174                 panic("nexus_attach mem_rman");
175         irq_rman.rm_start = 0;
176         irq_rman.rm_end = ~0;
177         irq_rman.rm_type = RMAN_ARRAY;
178         irq_rman.rm_descr = "Interrupts";
179         if (rman_init(&irq_rman) || rman_manage_region(&irq_rman, 0, ~0))
180                 panic("nexus_attach irq_rman");
181
182         bus_generic_probe(dev);
183         bus_generic_attach(dev);
184
185         return (0);
186 }
187
188 static int
189 nexus_print_child(device_t bus, device_t child)
190 {
191         int retval = 0;
192
193         retval += bus_print_child_header(bus, child);
194         retval += printf("\n");
195
196         return (retval);
197 }
198
199 static device_t
200 nexus_add_child(device_t bus, u_int order, const char *name, int unit)
201 {
202         device_t child;
203         struct nexus_device *ndev;
204
205         ndev = malloc(sizeof(struct nexus_device), M_NEXUSDEV, M_NOWAIT|M_ZERO);
206         if (!ndev)
207                 return (0);
208         resource_list_init(&ndev->nx_resources);
209
210         child = device_add_child_ordered(bus, order, name, unit);
211
212         /* should we free this in nexus_child_detached? */
213         device_set_ivars(child, ndev);
214
215         return (child);
216 }
217
218 /*
219  * Allocate a resource on behalf of child.  NB: child is usually going to be a
220  * child of one of our descendants, not a direct child of nexus0.
221  * (Exceptions include footbridge.)
222  */
223 static struct resource *
224 nexus_alloc_resource(device_t bus, device_t child, int type, int *rid,
225     rman_res_t start, rman_res_t end, rman_res_t count, u_int flags)
226 {
227         struct nexus_device *ndev = DEVTONX(child);
228         struct resource *rv;
229         struct resource_list_entry *rle;
230         struct rman *rm;
231         int needactivate = flags & RF_ACTIVE;
232
233         /*
234          * If this is an allocation of the "default" range for a given
235          * RID, and we know what the resources for this device are
236          * (ie. they aren't maintained by a child bus), then work out
237          * the start/end values.
238          */
239         if (RMAN_IS_DEFAULT_RANGE(start, end) && (count == 1)) {
240                 if (device_get_parent(child) != bus || ndev == NULL)
241                         return(NULL);
242                 rle = resource_list_find(&ndev->nx_resources, type, *rid);
243                 if (rle == NULL)
244                         return(NULL);
245                 start = rle->start;
246                 end = rle->end;
247                 count = rle->count;
248         }
249
250         switch (type) {
251         case SYS_RES_IRQ:
252                 rm = &irq_rman;
253                 break;
254
255         case SYS_RES_MEMORY:
256         case SYS_RES_IOPORT:
257                 rm = &mem_rman;
258                 break;
259
260         default:
261                 return (NULL);
262         }
263
264         rv = rman_reserve_resource(rm, start, end, count, flags, child);
265         if (rv == NULL)
266                 return (NULL);
267
268         rman_set_rid(rv, *rid);
269         rman_set_bushandle(rv, rman_get_start(rv));
270
271         if (needactivate) {
272                 if (bus_activate_resource(child, type, *rid, rv)) {
273                         rman_release_resource(rv);
274                         return (NULL);
275                 }
276         }
277
278         return (rv);
279 }
280
281 static int
282 nexus_adjust_resource(device_t bus __unused, device_t child __unused, int type,
283     struct resource *r, rman_res_t start, rman_res_t end)
284 {
285         struct rman *rm;
286
287         switch (type) {
288         case SYS_RES_IRQ:
289                 rm = &irq_rman;
290                 break;
291         case SYS_RES_MEMORY:
292                 rm = &mem_rman;
293                 break;
294         default:
295                 return (EINVAL);
296         }
297         if (rman_is_region_manager(r, rm) == 0)
298                 return (EINVAL);
299         return (rman_adjust_resource(r, start, end));
300 }
301
302 static int
303 nexus_release_resource(device_t bus, device_t child, int type, int rid,
304     struct resource *res)
305 {
306         int error;
307
308         if (rman_get_flags(res) & RF_ACTIVE) {
309                 error = bus_deactivate_resource(child, type, rid, res);
310                 if (error)
311                         return (error);
312         }
313         return (rman_release_resource(res));
314 }
315
316 static int
317 nexus_config_intr(device_t dev, int irq, enum intr_trigger trig,
318     enum intr_polarity pol)
319 {
320
321         /*
322          * On arm64 (due to INTRNG), ACPI interrupt configuration is 
323          * done in nexus_acpi_map_intr().
324          */
325         return (0);
326 }
327
328 static int
329 nexus_setup_intr(device_t dev, device_t child, struct resource *res, int flags,
330     driver_filter_t *filt, driver_intr_t *intr, void *arg, void **cookiep)
331 {
332         int error;
333
334         if ((rman_get_flags(res) & RF_SHAREABLE) == 0)
335                 flags |= INTR_EXCL;
336
337         /* We depend here on rman_activate_resource() being idempotent. */
338         error = rman_activate_resource(res);
339         if (error)
340                 return (error);
341
342         error = intr_setup_irq(child, res, filt, intr, arg, flags, cookiep);
343
344         return (error);
345 }
346
347 static int
348 nexus_teardown_intr(device_t dev, device_t child, struct resource *r, void *ih)
349 {
350
351         return (intr_teardown_irq(child, r, ih));
352 }
353
354 #ifdef SMP
355 static int
356 nexus_bind_intr(device_t dev, device_t child, struct resource *irq, int cpu)
357 {
358
359         return (intr_bind_irq(child, irq, cpu));
360 }
361 #endif
362
363 static bus_space_tag_t
364 nexus_get_bus_tag(device_t bus __unused, device_t child __unused)
365 {
366
367         return(&memmap_bus);
368 }
369
370 static int
371 nexus_activate_resource_flags(device_t bus, device_t child, int type, int rid,
372     struct resource *r, int flags)
373 {
374         struct resource_map_request args;
375         struct resource_map map;
376         int err;
377
378         if ((err = rman_activate_resource(r)) != 0)
379                 return (err);
380
381         /*
382          * If this is a memory resource, map it into the kernel.
383          */
384         switch (type) {
385         case SYS_RES_IOPORT:
386         case SYS_RES_MEMORY:
387                 if ((rman_get_flags(r) & RF_UNMAPPED) == 0) {
388                         resource_init_map_request(&args);
389                         if ((flags & BUS_SPACE_MAP_NONPOSTED) != 0)
390                                 args.memattr = VM_MEMATTR_DEVICE_NP;
391                         err = nexus_map_resource(bus, child, type, r, &args,
392                             &map);
393                         if (err != 0) {
394                                 rman_deactivate_resource(r);
395                                 return (err);
396                         }
397
398                         rman_set_mapping(r, &map);
399                 }
400                 break;
401         case SYS_RES_IRQ:
402                 err = intr_activate_irq(child, r);
403                 if (err != 0) {
404                         rman_deactivate_resource(r);
405                         return (err);
406                 }
407         }
408         return (0);
409 }
410
411 static int
412 nexus_activate_resource(device_t dev, device_t child, int type, int rid,
413     struct resource *r)
414 {
415         return (nexus_activate_resource_flags(dev, child, type, rid, r, 0));
416 }
417
418 static struct resource_list *
419 nexus_get_reslist(device_t dev, device_t child)
420 {
421         struct nexus_device *ndev = DEVTONX(child);
422
423         return (&ndev->nx_resources);
424 }
425
426 static int
427 nexus_set_resource(device_t dev, device_t child, int type, int rid,
428     rman_res_t start, rman_res_t count)
429 {
430         struct nexus_device     *ndev = DEVTONX(child);
431         struct resource_list    *rl = &ndev->nx_resources;
432
433         /* XXX this should return a success/failure indicator */
434         resource_list_add(rl, type, rid, start, start + count - 1, count);
435
436         return(0);
437 }
438
439 static int
440 nexus_deactivate_resource(device_t bus, device_t child, int type, int rid,
441     struct resource *r)
442 {
443         bus_size_t psize;
444         bus_space_handle_t vaddr;
445
446         if (type == SYS_RES_MEMORY || type == SYS_RES_IOPORT) {
447                 psize = (bus_size_t)rman_get_size(r);
448                 vaddr = rman_get_bushandle(r);
449
450                 if (vaddr != 0) {
451                         bus_space_unmap(&memmap_bus, vaddr, psize);
452                         rman_set_virtual(r, NULL);
453                         rman_set_bushandle(r, 0);
454                 }
455         } else if (type == SYS_RES_IRQ) {
456                 intr_deactivate_irq(child, r);
457         }
458
459         return (rman_deactivate_resource(r));
460 }
461
462 static int
463 nexus_map_resource(device_t bus, device_t child, int type, struct resource *r,
464     struct resource_map_request *argsp, struct resource_map *map)
465 {
466         struct resource_map_request args;
467         rman_res_t end, length, start;
468
469         /* Resources must be active to be mapped. */
470         if ((rman_get_flags(r) & RF_ACTIVE) == 0)
471                 return (ENXIO);
472
473         /* Mappings are only supported on I/O and memory resources. */
474         switch (type) {
475         case SYS_RES_IOPORT:
476         case SYS_RES_MEMORY:
477                 break;
478         default:
479                 return (EINVAL);
480         }
481
482         resource_init_map_request(&args);
483         if (argsp != NULL)
484                 bcopy(argsp, &args, imin(argsp->size, args.size));
485         start = rman_get_start(r) + args.offset;
486         if (args.length == 0)
487                 length = rman_get_size(r);
488         else
489                 length = args.length;
490         end = start + length - 1;
491         if (start > rman_get_end(r) || start < rman_get_start(r))
492                 return (EINVAL);
493         if (end > rman_get_end(r) || end < start)
494                 return (EINVAL);
495
496         map->r_vaddr = pmap_mapdev_attr(start, length, args.memattr);
497         map->r_bustag = &memmap_bus;
498         map->r_size = length;
499
500         /*
501          * The handle is the virtual address.
502          */
503         map->r_bushandle = (bus_space_handle_t)map->r_vaddr;
504         return (0);
505 }
506
507 #ifdef FDT
508 static device_method_t nexus_fdt_methods[] = {
509         /* Device interface */
510         DEVMETHOD(device_probe,         nexus_fdt_probe),
511         DEVMETHOD(device_attach,        nexus_fdt_attach),
512
513         /* Bus interface */
514         DEVMETHOD(bus_activate_resource,        nexus_fdt_activate_resource),
515
516         /* OFW interface */
517         DEVMETHOD(ofw_bus_map_intr,     nexus_ofw_map_intr),
518
519         DEVMETHOD_END,
520 };
521
522 #define nexus_baseclasses nexus_fdt_baseclasses
523 DEFINE_CLASS_1(nexus, nexus_fdt_driver, nexus_fdt_methods, 1, nexus_driver);
524 #undef nexus_baseclasses
525
526 EARLY_DRIVER_MODULE(nexus_fdt, root, nexus_fdt_driver, 0, 0,
527     BUS_PASS_BUS + BUS_PASS_ORDER_FIRST);
528
529 static int
530 nexus_fdt_probe(device_t dev)
531 {
532
533         if (arm64_bus_method != ARM64_BUS_FDT)
534                 return (ENXIO);
535
536         device_quiet(dev);
537         return (BUS_PROBE_DEFAULT);
538 }
539
540 static int
541 nexus_fdt_attach(device_t dev)
542 {
543
544         nexus_add_child(dev, 10, "ofwbus", 0);
545         return (nexus_attach(dev));
546 }
547
548 static int
549 nexus_fdt_activate_resource(device_t bus, device_t child, int type, int rid,
550     struct resource *r)
551 {
552         phandle_t node, parent;
553         int flags;
554
555         flags = 0;
556         switch (type) {
557         case SYS_RES_MEMORY:
558         case SYS_RES_IOPORT:
559                 /*
560                  * If the fdt parent has the nonposted-mmio property we
561                  * need to use non-posted IO to access the device. When
562                  * we find this property set the BUS_SPACE_MAP_NONPOSTED
563                  * flag to be passed to bus_space_map.
564                  */
565                 node = ofw_bus_get_node(child);
566                 if (node != -1) {
567                         parent = OF_parent(node);
568                         if (parent != -1 &&
569                             OF_hasprop(parent, "nonposted-mmio")) {
570                                 flags |= BUS_SPACE_MAP_NONPOSTED;
571                         }
572                 }
573                 break;
574         default:
575                 break;
576         }
577
578         return (nexus_activate_resource_flags(bus, child, type, rid, r, flags));
579 }
580
581 static int
582 nexus_ofw_map_intr(device_t dev, device_t child, phandle_t iparent, int icells,
583     pcell_t *intr)
584 {
585         u_int irq;
586         struct intr_map_data_fdt *fdt_data;
587         size_t len;
588
589         len = sizeof(*fdt_data) + icells * sizeof(pcell_t);
590         fdt_data = (struct intr_map_data_fdt *)intr_alloc_map_data(
591             INTR_MAP_DATA_FDT, len, M_WAITOK | M_ZERO);
592         fdt_data->iparent = iparent;
593         fdt_data->ncells = icells;
594         memcpy(fdt_data->cells, intr, icells * sizeof(pcell_t));
595         irq = intr_map_irq(NULL, iparent, (struct intr_map_data *)fdt_data);
596         return (irq);
597 }
598 #endif
599
600 #ifdef DEV_ACPI
601 static int nexus_acpi_map_intr(device_t dev, device_t child, u_int irq, int trig, int pol);
602
603 static device_method_t nexus_acpi_methods[] = {
604         /* Device interface */
605         DEVMETHOD(device_probe,         nexus_acpi_probe),
606         DEVMETHOD(device_attach,        nexus_acpi_attach),
607
608         /* ACPI interface */
609         DEVMETHOD(acpi_bus_map_intr,    nexus_acpi_map_intr),
610
611         DEVMETHOD_END,
612 };
613
614 #define nexus_baseclasses nexus_acpi_baseclasses
615 DEFINE_CLASS_1(nexus, nexus_acpi_driver, nexus_acpi_methods, 1,
616     nexus_driver);
617 #undef nexus_baseclasses
618
619 EARLY_DRIVER_MODULE(nexus_acpi, root, nexus_acpi_driver, 0, 0,
620     BUS_PASS_BUS + BUS_PASS_ORDER_FIRST);
621
622 static int
623 nexus_acpi_probe(device_t dev)
624 {
625
626         if (arm64_bus_method != ARM64_BUS_ACPI || acpi_identify() != 0)
627                 return (ENXIO);
628
629         device_quiet(dev);
630         return (BUS_PROBE_LOW_PRIORITY);
631 }
632
633 static int
634 nexus_acpi_attach(device_t dev)
635 {
636
637         nexus_add_child(dev, 10, "acpi", 0);
638         return (nexus_attach(dev));
639 }
640
641 static int
642 nexus_acpi_map_intr(device_t dev, device_t child, u_int irq, int trig, int pol)
643 {
644         struct intr_map_data_acpi *acpi_data;
645         size_t len;
646
647         len = sizeof(*acpi_data);
648         acpi_data = (struct intr_map_data_acpi *)intr_alloc_map_data(
649             INTR_MAP_DATA_ACPI, len, M_WAITOK | M_ZERO);
650         acpi_data->irq = irq;
651         acpi_data->pol = pol;
652         acpi_data->trig = trig;
653
654         /*
655          * TODO: This will only handle a single interrupt controller.
656          * ACPI will map multiple controllers into a single virtual IRQ
657          * space. Each controller has a System Vector Base to hold the
658          * first irq it handles in this space. As such the correct way
659          * to handle interrupts with ACPI is to search through the
660          * controllers for the largest base value that is no larger than
661          * the IRQ value.
662          */
663         irq = intr_map_irq(NULL, ACPI_INTR_XREF,
664             (struct intr_map_data *)acpi_data);
665         return (irq);
666 }
667 #endif