sys/arm/arm/devmap.c

   1 /*-
   2  * Copyright (c) 2013 Ian Lepore <ian@freebsd.org>
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  */
  26
  27 #include <sys/cdefs.h>
  28 __FBSDID("$FreeBSD$");
  29
  30 /*
  31  * Routines for mapping device memory.
  32  *
  33  * This is used on both arm and arm64.
  34  */
  35
  36 #include "opt_ddb.h"
  37
  38 #include <sys/param.h>
  39 #include <sys/systm.h>
  40 #include <vm/vm.h>
  41 #include <vm/vm_extern.h>
  42 #include <vm/pmap.h>
  43 #ifdef __arm__
  44 #include <machine/acle-compat.h>
  45 #endif
  46 #include <machine/armreg.h>
  47 #include <machine/devmap.h>
  48 #include <machine/vmparam.h>
  49
  50 static const struct arm_devmap_entry *devmap_table;
  51 static boolean_t devmap_bootstrap_done = false;
  52
  53 #if defined(__aarch64__)
  54 #define MAX_VADDR       VM_MAX_KERNEL_ADDRESS
  55 #elif defined(__arm__)
  56 #define MAX_VADDR       ARM_VECTORS_HIGH
  57 #endif
  58
  59 /*
  60  * The allocated-kva (akva) devmap table and metadata.  Platforms can call
  61  * arm_devmap_add_entry() to add static device mappings to this table using
  62  * automatically allocated virtual addresses carved out of the top of kva space.
  63  * Allocation begins immediately below the ARM_VECTORS_HIGH address.
  64  */
  65 #define AKVA_DEVMAP_MAX_ENTRIES 32
  66 static struct arm_devmap_entry  akva_devmap_entries[AKVA_DEVMAP_MAX_ENTRIES];
  67 static u_int                    akva_devmap_idx;
  68 static vm_offset_t              akva_devmap_vaddr = MAX_VADDR;
  69
  70 #ifdef __aarch64__
  71 extern int early_boot;
  72 #endif
  73
  74 /*
  75  * Print the contents of the static mapping table using the provided printf-like
  76  * output function (which will be either printf or db_printf).
  77  */
  78 static void
  79 devmap_dump_table(int (*prfunc)(const char *, ...))
  80 {
  81         const struct arm_devmap_entry *pd;
  82
  83         if (devmap_table == NULL || devmap_table[0].pd_size == 0) {
  84                 prfunc("No static device mappings.\n");
  85                 return;
  86         }
  87
  88         prfunc("Static device mappings:\n");
  89         for (pd = devmap_table; pd->pd_size != 0; ++pd) {
  90                 prfunc("  0x%08x - 0x%08x mapped at VA 0x%08x\n",
  91                     pd->pd_pa, pd->pd_pa + pd->pd_size - 1, pd->pd_va);
  92         }
  93 }
  94
  95 /*
  96  * Print the contents of the static mapping table.  Used for bootverbose.
  97  */
  98 void
  99 arm_devmap_print_table()
 100 {
 101         devmap_dump_table(printf);
 102 }
 103
 104 /*
 105  * Return the "last" kva address used by the registered devmap table.  It's
 106  * actually the lowest address used by the static mappings, i.e., the address of
 107  * the first unusable byte of KVA.
 108  */
 109 vm_offset_t
 110 arm_devmap_lastaddr()
 111 {
 112         const struct arm_devmap_entry *pd;
 113         vm_offset_t lowaddr;
 114
 115         if (akva_devmap_idx > 0)
 116                 return (akva_devmap_vaddr);
 117
 118         lowaddr = MAX_VADDR;
 119         for (pd = devmap_table; pd != NULL && pd->pd_size != 0; ++pd) {
 120                 if (lowaddr > pd->pd_va)
 121                         lowaddr = pd->pd_va;
 122         }
 123
 124         return (lowaddr);
 125 }
 126
 127 /*
 128  * Add an entry to the internal "akva" static devmap table using the given
 129  * physical address and size and a virtual address allocated from the top of
 130  * kva.  This automatically registers the akva table on the first call, so all a
 131  * platform has to do is call this routine to install as many mappings as it
 132  * needs and when initarm() calls arm_devmap_bootstrap() it will pick up all the
 133  * entries in the akva table automatically.
 134  */
 135 void
 136 arm_devmap_add_entry(vm_paddr_t pa, vm_size_t sz)
 137 {
 138         struct arm_devmap_entry *m;
 139
 140         if (devmap_bootstrap_done)
 141                 panic("arm_devmap_add_entry() after arm_devmap_bootstrap()");
 142
 143         if (akva_devmap_idx == (AKVA_DEVMAP_MAX_ENTRIES - 1))
 144                 panic("AKVA_DEVMAP_MAX_ENTRIES is too small");
 145
 146         if (akva_devmap_idx == 0)
 147                 arm_devmap_register_table(akva_devmap_entries);
 148
 149         /*
 150          * Allocate virtual address space from the top of kva downwards.  If the
 151          * range being mapped is aligned and sized to 1MB boundaries then also
 152          * align the virtual address to the next-lower 1MB boundary so that we
 153          * end up with a nice efficient section mapping.
 154          */
 155 #ifdef __arm__
 156         if ((pa & 0x000fffff) == 0 && (sz & 0x000fffff) == 0) {
 157                 akva_devmap_vaddr = trunc_1mpage(akva_devmap_vaddr - sz);
 158         } else
 159 #endif
 160         {
 161                 akva_devmap_vaddr = trunc_page(akva_devmap_vaddr - sz);
 162         }
 163         m = &akva_devmap_entries[akva_devmap_idx++];
 164         m->pd_va    = akva_devmap_vaddr;
 165         m->pd_pa    = pa;
 166         m->pd_size  = sz;
 167 }
 168
 169 /*
 170  * Register the given table as the one to use in arm_devmap_bootstrap().
 171  */
 172 void
 173 arm_devmap_register_table(const struct arm_devmap_entry *table)
 174 {
 175
 176         devmap_table = table;
 177 }
 178
 179 /*
 180  * Map all of the static regions in the devmap table, and remember the devmap
 181  * table so the mapdev, ptov, and vtop functions can do lookups later.
 182  *
 183  * If a non-NULL table pointer is given it is used unconditionally, otherwise
 184  * the previously-registered table is used.  This smooths transition from legacy
 185  * code that fills in a local table then calls this function passing that table,
 186  * and newer code that uses arm_devmap_register_table() in platform-specific
 187  * code, then lets the common initarm() call this function with a NULL pointer.
 188  */
 189 void
 190 arm_devmap_bootstrap(vm_offset_t l1pt, const struct arm_devmap_entry *table)
 191 {
 192         const struct arm_devmap_entry *pd;
 193
 194         devmap_bootstrap_done = true;
 195
 196         /*
 197          * If given a table pointer, use it.  Otherwise, if a table was
 198          * previously registered, use it.  Otherwise, no work to do.
 199          */
 200         if (table != NULL)
 201                 devmap_table = table;
 202         else if (devmap_table == NULL)
 203                 return;
 204
 205         for (pd = devmap_table; pd->pd_size != 0; ++pd) {
 206 #if defined(__arm__)
 207 #if __ARM_ARCH >= 6
 208                 pmap_preboot_map_attr(pd->pd_pa, pd->pd_va, pd->pd_size,
 209                     VM_PROT_READ | VM_PROT_WRITE, VM_MEMATTR_DEVICE);
 210 #else
 211                 pmap_map_chunk(l1pt, pd->pd_va, pd->pd_pa, pd->pd_size,
 212                     VM_PROT_READ | VM_PROT_WRITE, PTE_DEVICE);
 213 #endif
 214 #elif defined(__aarch64__)
 215                 pmap_kenter_device(pd->pd_va, pd->pd_size, pd->pd_pa);
 216 #endif
 217         }
 218 }
 219
 220 /*
 221  * Look up the given physical address in the static mapping data and return the
 222  * corresponding virtual address, or NULL if not found.
 223  */
 224 void *
 225 arm_devmap_ptov(vm_paddr_t pa, vm_size_t size)
 226 {
 227         const struct arm_devmap_entry *pd;
 228
 229         if (devmap_table == NULL)
 230                 return (NULL);
 231
 232         for (pd = devmap_table; pd->pd_size != 0; ++pd) {
 233                 if (pa >= pd->pd_pa && pa + size <= pd->pd_pa + pd->pd_size)
 234                         return ((void *)(pd->pd_va + (pa - pd->pd_pa)));
 235         }
 236
 237         return (NULL);
 238 }
 239
 240 /*
 241  * Look up the given virtual address in the static mapping data and return the
 242  * corresponding physical address, or DEVMAP_PADDR_NOTFOUND if not found.
 243  */
 244 vm_paddr_t
 245 arm_devmap_vtop(void * vpva, vm_size_t size)
 246 {
 247         const struct arm_devmap_entry *pd;
 248         vm_offset_t va;
 249
 250         if (devmap_table == NULL)
 251                 return (DEVMAP_PADDR_NOTFOUND);
 252
 253         va = (vm_offset_t)vpva;
 254         for (pd = devmap_table; pd->pd_size != 0; ++pd) {
 255                 if (va >= pd->pd_va && va + size <= pd->pd_va + pd->pd_size)
 256                         return ((vm_paddr_t)(pd->pd_pa + (va - pd->pd_va)));
 257         }
 258
 259         return (DEVMAP_PADDR_NOTFOUND);
 260 }
 261
 262 /*
 263  * Map a set of physical memory pages into the kernel virtual address space.
 264  * Return a pointer to where it is mapped.
 265  *
 266  * This uses a pre-established static mapping if one exists for the requested
 267  * range, otherwise it allocates kva space and maps the physical pages into it.
 268  *
 269  * This routine is intended to be used for mapping device memory, NOT real
 270  * memory; the mapping type is inherently VM_MEMATTR_DEVICE in
 271  * pmap_kenter_device().
 272  */
 273 void *
 274 pmap_mapdev(vm_offset_t pa, vm_size_t size)
 275 {
 276         vm_offset_t va, offset;
 277         void * rva;
 278
 279         /* First look in the static mapping table. */
 280         if ((rva = arm_devmap_ptov(pa, size)) != NULL)
 281                 return (rva);
 282
 283         offset = pa & PAGE_MASK;
 284         pa = trunc_page(pa);
 285         size = round_page(size + offset);
 286
 287 #ifdef __aarch64__
 288         if (early_boot) {
 289                 akva_devmap_vaddr = trunc_page(akva_devmap_vaddr - size);
 290                 va = akva_devmap_vaddr;
 291                 KASSERT(va >= VM_MAX_KERNEL_ADDRESS - L2_SIZE,
 292                     ("Too many early devmap mappings"));
 293         } else
 294 #endif
 295                 va = kva_alloc(size);
 296         if (!va)
 297                 panic("pmap_mapdev: Couldn't alloc kernel virtual memory");
 298
 299         pmap_kenter_device(va, size, pa);
 300
 301         return ((void *)(va + offset));
 302 }
 303
 304 /*
 305  * Unmap device memory and free the kva space.
 306  */
 307 void
 308 pmap_unmapdev(vm_offset_t va, vm_size_t size)
 309 {
 310         vm_offset_t offset;
 311
 312         /* Nothing to do if we find the mapping in the static table. */
 313         if (arm_devmap_vtop((void*)va, size) != DEVMAP_PADDR_NOTFOUND)
 314                 return;
 315
 316         offset = va & PAGE_MASK;
 317         va = trunc_page(va);
 318         size = round_page(size + offset);
 319
 320         pmap_kremove_device(va, size);
 321         kva_free(va, size);
 322 }
 323
 324 #ifdef DDB
 325 #include <ddb/ddb.h>
 326
 327 DB_SHOW_COMMAND(devmap, db_show_devmap)
 328 {
 329         devmap_dump_table(db_printf);
 330 }
 331
 332 #endif /* DDB */
 333