sys/boot/sparc64/loader/main.c

   1 /*-
   2  * Initial implementation:
   3  * Copyright (c) 2001 Robert Drehmel
   4  * All rights reserved.
   5  *
   6  * As long as the above copyright statement and this notice remain
   7  * unchanged, you can do what ever you want with this file.
   8  */
   9 /*-
  10  * Copyright (c) 2008 Marius Strobl <marius@FreeBSD.org>
  11  * All rights reserved.
  12  *
  13  * Redistribution and use in source and binary forms, with or without
  14  * modification, are permitted provided that the following conditions
  15  * are met:
  16  * 1. Redistributions of source code must retain the above copyright
  17  *    notice, this list of conditions and the following disclaimer.
  18  * 2. Redistributions in binary form must reproduce the above copyright
  19  *    notice, this list of conditions and the following disclaimer in the
  20  *    documentation and/or other materials provided with the distribution.
  21  *
  22  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  23  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  24  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  25  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  26  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  27  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  28  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  29  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  30  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  31  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  */
  34
  35 #include <sys/cdefs.h>
  36 __FBSDID("$FreeBSD$");
  37
  38 /*
  39  * FreeBSD/sparc64 kernel loader - machine dependent part
  40  *
  41  *  - implements copyin and readin functions that map kernel
  42  *    pages on demand.  The machine independent code does not
  43  *    know the size of the kernel early enough to pre-enter
  44  *    TTEs and install just one 4MB mapping seemed to limiting
  45  *    to me.
  46  */
  47
  48 #include <stand.h>
  49 #include <sys/param.h>
  50 #include <sys/exec.h>
  51 #include <sys/linker.h>
  52 #include <sys/queue.h>
  53 #include <sys/types.h>
  54
  55 #include <vm/vm.h>
  56 #include <machine/asi.h>
  57 #include <machine/cmt.h>
  58 #include <machine/cpufunc.h>
  59 #include <machine/elf.h>
  60 #include <machine/fireplane.h>
  61 #include <machine/jbus.h>
  62 #include <machine/lsu.h>
  63 #include <machine/metadata.h>
  64 #include <machine/tte.h>
  65 #include <machine/tlb.h>
  66 #include <machine/upa.h>
  67 #include <machine/ver.h>
  68 #include <machine/vmparam.h>
  69
  70 #include "bootstrap.h"
  71 #include "libofw.h"
  72 #include "dev_net.h"
  73
  74 #ifndef CTASSERT
  75 #define CTASSERT(x)             _CTASSERT(x, __LINE__)
  76 #define _CTASSERT(x, y)         __CTASSERT(x, y)
  77 #define __CTASSERT(x, y)        typedef char __assert ## y[(x) ? 1 : -1]
  78 #endif
  79
  80 extern char bootprog_name[], bootprog_rev[], bootprog_date[], bootprog_maker[];
  81
  82 enum {
  83         HEAPVA          = 0x800000,
  84         HEAPSZ          = 0x1000000,
  85         LOADSZ          = 0x1000000     /* for kernel and modules */
  86 };
  87
  88 /* At least Sun Fire V1280 require page sized allocations to be claimed. */
  89 CTASSERT(HEAPSZ % PAGE_SIZE == 0);
  90
  91 static struct mmu_ops {
  92         void (*tlb_init)(void);
  93         int (*mmu_mapin)(vm_offset_t va, vm_size_t len);
  94 } *mmu_ops;
  95
  96 typedef void kernel_entry_t(vm_offset_t mdp, u_long o1, u_long o2, u_long o3,
  97     void *openfirmware);
  98
  99 static inline u_long dtlb_get_data_sun4u(u_int, u_int);
 100 static int dtlb_enter_sun4u(u_int, u_long data, vm_offset_t);
 101 static vm_offset_t dtlb_va_to_pa_sun4u(vm_offset_t);
 102 static inline u_long itlb_get_data_sun4u(u_int, u_int);
 103 static int itlb_enter_sun4u(u_int, u_long data, vm_offset_t);
 104 static vm_offset_t itlb_va_to_pa_sun4u(vm_offset_t);
 105 static void itlb_relocate_locked0_sun4u(void);
 106 extern vm_offset_t md_load(char *, vm_offset_t *);
 107 static int sparc64_autoload(void);
 108 static ssize_t sparc64_readin(const int, vm_offset_t, const size_t);
 109 static ssize_t sparc64_copyin(const void *, vm_offset_t, size_t);
 110 static void sparc64_maphint(vm_offset_t, size_t);
 111 static vm_offset_t claim_virt(vm_offset_t, size_t, int);
 112 static vm_offset_t alloc_phys(size_t, int);
 113 static int map_phys(int, size_t, vm_offset_t, vm_offset_t);
 114 static void release_phys(vm_offset_t, u_int);
 115 static int __elfN(exec)(struct preloaded_file *);
 116 static int mmu_mapin_sun4u(vm_offset_t, vm_size_t);
 117 static int mmu_mapin_sun4v(vm_offset_t, vm_size_t);
 118 static vm_offset_t init_heap(void);
 119 static phandle_t find_bsp_sun4u(phandle_t, uint32_t);
 120 const char *cpu_cpuid_prop_sun4u(void);
 121 uint32_t cpu_get_mid_sun4u(void);
 122 static void tlb_init_sun4u(void);
 123 static void tlb_init_sun4v(void);
 124
 125 #ifdef LOADER_DEBUG
 126 typedef u_int64_t tte_t;
 127
 128 static void pmap_print_tlb_sun4u(void);
 129 static void pmap_print_tte_sun4u(tte_t, tte_t);
 130 #endif
 131
 132 static struct mmu_ops mmu_ops_sun4u = { tlb_init_sun4u, mmu_mapin_sun4u };
 133 static struct mmu_ops mmu_ops_sun4v = { tlb_init_sun4v, mmu_mapin_sun4v };
 134
 135 /* sun4u */
 136 struct tlb_entry *dtlb_store;
 137 struct tlb_entry *itlb_store;
 138 u_int dtlb_slot;
 139 u_int itlb_slot;
 140 static int cpu_impl;
 141 static u_int dtlb_slot_max;
 142 static u_int itlb_slot_max;
 143 static u_int tlb_locked;
 144
 145 /* sun4v */
 146 static struct tlb_entry *tlb_store;
 147 static int is_sun4v = 0;
 148 /*
 149  * no direct TLB access on sun4v
 150  * we somewhat arbitrarily declare enough
 151  * slots to cover a 4GB AS with 4MB pages
 152  */
 153 #define SUN4V_TLB_SLOT_MAX      (1 << 10)
 154
 155 static vm_offset_t curkva = 0;
 156 static vm_offset_t heapva;
 157
 158 static phandle_t root;
 159
 160 /*
 161  * Machine dependent structures that the machine independent
 162  * loader part uses.
 163  */
 164 struct devsw *devsw[] = {
 165 #ifdef LOADER_DISK_SUPPORT
 166         &ofwdisk,
 167 #endif
 168 #ifdef LOADER_NET_SUPPORT
 169         &netdev,
 170 #endif
 171         0
 172 };
 173 struct arch_switch archsw;
 174
 175 static struct file_format sparc64_elf = {
 176         __elfN(loadfile),
 177         __elfN(exec)
 178 };
 179 struct file_format *file_formats[] = {
 180         &sparc64_elf,
 181         0
 182 };
 183 struct fs_ops *file_system[] = {
 184 #ifdef LOADER_UFS_SUPPORT
 185         &ufs_fsops,
 186 #endif
 187 #ifdef LOADER_CD9660_SUPPORT
 188         &cd9660_fsops,
 189 #endif
 190 #ifdef LOADER_ZIP_SUPPORT
 191         &zipfs_fsops,
 192 #endif
 193 #ifdef LOADER_GZIP_SUPPORT
 194         &gzipfs_fsops,
 195 #endif
 196 #ifdef LOADER_BZIP2_SUPPORT
 197         &bzipfs_fsops,
 198 #endif
 199 #ifdef LOADER_NFS_SUPPORT
 200         &nfs_fsops,
 201 #endif
 202 #ifdef LOADER_TFTP_SUPPORT
 203         &tftp_fsops,
 204 #endif
 205         0
 206 };
 207 struct netif_driver *netif_drivers[] = {
 208 #ifdef LOADER_NET_SUPPORT
 209         &ofwnet,
 210 #endif
 211         0
 212 };
 213
 214 extern struct console ofwconsole;
 215 struct console *consoles[] = {
 216         &ofwconsole,
 217         0
 218 };
 219
 220 #ifdef LOADER_DEBUG
 221 static int
 222 watch_phys_set_mask(vm_offset_t pa, u_long mask)
 223 {
 224         u_long lsucr;
 225
 226         stxa(AA_DMMU_PWPR, ASI_DMMU, pa & (((2UL << 38) - 1) << 3));
 227         lsucr = ldxa(0, ASI_LSU_CTL_REG);
 228         lsucr = ((lsucr | LSU_PW) & ~LSU_PM_MASK) |
 229             (mask << LSU_PM_SHIFT);
 230         stxa(0, ASI_LSU_CTL_REG, lsucr);
 231         return (0);
 232 }
 233
 234 static int
 235 watch_phys_set(vm_offset_t pa, int sz)
 236 {
 237         u_long off;
 238
 239         off = (u_long)pa & 7;
 240         /* Test for misaligned watch points. */
 241         if (off + sz > 8)
 242                 return (-1);
 243         return (watch_phys_set_mask(pa, ((1 << sz) - 1) << off));
 244 }
 245
 246
 247 static int
 248 watch_virt_set_mask(vm_offset_t va, u_long mask)
 249 {
 250         u_long lsucr;
 251
 252         stxa(AA_DMMU_VWPR, ASI_DMMU, va & (((2UL << 41) - 1) << 3));
 253         lsucr = ldxa(0, ASI_LSU_CTL_REG);
 254         lsucr = ((lsucr | LSU_VW) & ~LSU_VM_MASK) |
 255             (mask << LSU_VM_SHIFT);
 256         stxa(0, ASI_LSU_CTL_REG, lsucr);
 257         return (0);
 258 }
 259
 260 static int
 261 watch_virt_set(vm_offset_t va, int sz)
 262 {
 263         u_long off;
 264
 265         off = (u_long)va & 7;
 266         /* Test for misaligned watch points. */
 267         if (off + sz > 8)
 268                 return (-1);
 269         return (watch_virt_set_mask(va, ((1 << sz) - 1) << off));
 270 }
 271 #endif
 272
 273 /*
 274  * archsw functions
 275  */
 276 static int
 277 sparc64_autoload(void)
 278 {
 279
 280         return (0);
 281 }
 282
 283 static ssize_t
 284 sparc64_readin(const int fd, vm_offset_t va, const size_t len)
 285 {
 286
 287         mmu_ops->mmu_mapin(va, len);
 288         return (read(fd, (void *)va, len));
 289 }
 290
 291 static ssize_t
 292 sparc64_copyin(const void *src, vm_offset_t dest, size_t len)
 293 {
 294
 295         mmu_ops->mmu_mapin(dest, len);
 296         memcpy((void *)dest, src, len);
 297         return (len);
 298 }
 299
 300 static void
 301 sparc64_maphint(vm_offset_t va, size_t len)
 302 {
 303         vm_paddr_t pa;
 304         vm_offset_t mva;
 305         size_t size;
 306         int i, free_excess = 0;
 307
 308         if (!is_sun4v)
 309                 return;
 310
 311         if (tlb_store[va >> 22].te_pa != -1)
 312                 return;
 313
 314         /* round up to nearest 4MB page */
 315         size = (len + PAGE_MASK_4M) & ~PAGE_MASK_4M;
 316 #if 0
 317         pa = alloc_phys(PAGE_SIZE_256M, PAGE_SIZE_256M);
 318
 319         if (pa != -1)
 320                 free_excess = 1;
 321         else
 322 #endif
 323                 pa = alloc_phys(size, PAGE_SIZE_256M);
 324         if (pa == -1)
 325                 pa = alloc_phys(size, PAGE_SIZE_4M);
 326         if (pa == -1)
 327                 panic("%s: out of memory", __func__);
 328
 329         for (i = 0; i < size; i += PAGE_SIZE_4M) {
 330                 mva = claim_virt(va + i, PAGE_SIZE_4M, 0);
 331                 if (mva != (va + i))
 332                         panic("%s: can't claim virtual page "
 333                             "(wanted %#lx, got %#lx)",
 334                             __func__, va, mva);
 335
 336                 tlb_store[mva >> 22].te_pa = pa + i;
 337                 if (map_phys(-1, PAGE_SIZE_4M, mva, pa + i) != 0)
 338                         printf("%s: can't map physical page\n", __func__);
 339         }
 340         if (free_excess)
 341                 release_phys(pa, PAGE_SIZE_256M);
 342 }
 343
 344 /*
 345  * other MD functions
 346  */
 347 static vm_offset_t
 348 claim_virt(vm_offset_t virt, size_t size, int align)
 349 {
 350         vm_offset_t mva;
 351
 352         if (OF_call_method("claim", mmu, 3, 1, virt, size, align, &mva) == -1)
 353                 return ((vm_offset_t)-1);
 354         return (mva);
 355 }
 356
 357 static vm_offset_t
 358 alloc_phys(size_t size, int align)
 359 {
 360         cell_t phys_hi, phys_low;
 361
 362         if (OF_call_method("claim", memory, 2, 2, size, align, &phys_low,
 363             &phys_hi) == -1)
 364                 return ((vm_offset_t)-1);
 365         return ((vm_offset_t)phys_hi << 32 | phys_low);
 366 }
 367
 368 static int
 369 map_phys(int mode, size_t size, vm_offset_t virt, vm_offset_t phys)
 370 {
 371
 372         return (OF_call_method("map", mmu, 5, 0, (uint32_t)phys,
 373             (uint32_t)(phys >> 32), virt, size, mode));
 374 }
 375
 376 static void
 377 release_phys(vm_offset_t phys, u_int size)
 378 {
 379
 380         (void)OF_call_method("release", memory, 3, 0, (uint32_t)phys,
 381             (uint32_t)(phys >> 32), size);
 382 }
 383
 384 static int
 385 __elfN(exec)(struct preloaded_file *fp)
 386 {
 387         struct file_metadata *fmp;
 388         vm_offset_t mdp;
 389         Elf_Addr entry;
 390         Elf_Ehdr *e;
 391         int error;
 392
 393         if ((fmp = file_findmetadata(fp, MODINFOMD_ELFHDR)) == 0)
 394                 return (EFTYPE);
 395         e = (Elf_Ehdr *)&fmp->md_data;
 396
 397         if ((error = md_load(fp->f_args, &mdp)) != 0)
 398                 return (error);
 399
 400         printf("jumping to kernel entry at %#lx.\n", e->e_entry);
 401 #ifdef LOADER_DEBUG
 402         pmap_print_tlb_sun4u();
 403 #endif
 404
 405         dev_cleanup();
 406
 407         entry = e->e_entry;
 408
 409         OF_release((void *)heapva, HEAPSZ);
 410
 411         ((kernel_entry_t *)entry)(mdp, 0, 0, 0, openfirmware);
 412
 413         panic("%s: exec returned", __func__);
 414 }
 415
 416 static inline u_long
 417 dtlb_get_data_sun4u(u_int tlb, u_int slot)
 418 {
 419         u_long data, pstate;
 420
 421         slot = TLB_DAR_SLOT(tlb, slot);
 422         /*
 423          * We read ASI_DTLB_DATA_ACCESS_REG twice back-to-back in order to
 424          * work around errata of USIII and beyond.
 425          */
 426         pstate = rdpr(pstate);
 427         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 428         (void)ldxa(slot, ASI_DTLB_DATA_ACCESS_REG);
 429         data = ldxa(slot, ASI_DTLB_DATA_ACCESS_REG);
 430         wrpr(pstate, pstate, 0);
 431         return (data);
 432 }
 433
 434 static inline u_long
 435 itlb_get_data_sun4u(u_int tlb, u_int slot)
 436 {
 437         u_long data, pstate;
 438
 439         slot = TLB_DAR_SLOT(tlb, slot);
 440         /*
 441          * We read ASI_DTLB_DATA_ACCESS_REG twice back-to-back in order to
 442          * work around errata of USIII and beyond.
 443          */
 444         pstate = rdpr(pstate);
 445         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 446         (void)ldxa(slot, ASI_ITLB_DATA_ACCESS_REG);
 447         data = ldxa(slot, ASI_ITLB_DATA_ACCESS_REG);
 448         wrpr(pstate, pstate, 0);
 449         return (data);
 450 }
 451
 452 static vm_offset_t
 453 dtlb_va_to_pa_sun4u(vm_offset_t va)
 454 {
 455         u_long pstate, reg;
 456         u_int i, tlb;
 457
 458         pstate = rdpr(pstate);
 459         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 460         for (i = 0; i < dtlb_slot_max; i++) {
 461                 reg = ldxa(TLB_DAR_SLOT(tlb_locked, i),
 462                     ASI_DTLB_TAG_READ_REG);
 463                 if (TLB_TAR_VA(reg) != va)
 464                         continue;
 465                 reg = dtlb_get_data_sun4u(tlb_locked, i);
 466                 wrpr(pstate, pstate, 0);
 467                 reg >>= TD_PA_SHIFT;
 468                 if (cpu_impl == CPU_IMPL_SPARC64V ||
 469                     cpu_impl >= CPU_IMPL_ULTRASPARCIII)
 470                         return (reg & TD_PA_CH_MASK);
 471                 return (reg & TD_PA_SF_MASK);
 472         }
 473         wrpr(pstate, pstate, 0);
 474         return (-1);
 475 }
 476
 477 static vm_offset_t
 478 itlb_va_to_pa_sun4u(vm_offset_t va)
 479 {
 480         u_long pstate, reg;
 481         int i;
 482
 483         pstate = rdpr(pstate);
 484         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 485         for (i = 0; i < itlb_slot_max; i++) {
 486                 reg = ldxa(TLB_DAR_SLOT(tlb_locked, i),
 487                     ASI_ITLB_TAG_READ_REG);
 488                 if (TLB_TAR_VA(reg) != va)
 489                         continue;
 490                 reg = itlb_get_data_sun4u(tlb_locked, i);
 491                 wrpr(pstate, pstate, 0);
 492                 reg >>= TD_PA_SHIFT;
 493                 if (cpu_impl == CPU_IMPL_SPARC64V ||
 494                     cpu_impl >= CPU_IMPL_ULTRASPARCIII)
 495                         return (reg & TD_PA_CH_MASK);
 496                 return (reg & TD_PA_SF_MASK);
 497         }
 498         wrpr(pstate, pstate, 0);
 499         return (-1);
 500 }
 501
 502 static int
 503 dtlb_enter_sun4u(u_int index, u_long data, vm_offset_t virt)
 504 {
 505
 506         return (OF_call_method("SUNW,dtlb-load", mmu, 3, 0, index, data,
 507             virt));
 508 }
 509
 510 static int
 511 itlb_enter_sun4u(u_int index, u_long data, vm_offset_t virt)
 512 {
 513
 514         if (cpu_impl == CPU_IMPL_ULTRASPARCIIIp && index == 0 &&
 515             (data & TD_L) != 0)
 516                 panic("%s: won't enter locked TLB entry at index 0 on USIII+",
 517                     __func__);
 518         return (OF_call_method("SUNW,itlb-load", mmu, 3, 0, index, data,
 519             virt));
 520 }
 521
 522 static void
 523 itlb_relocate_locked0_sun4u(void)
 524 {
 525         u_long data, pstate, tag;
 526         int i;
 527
 528         if (cpu_impl != CPU_IMPL_ULTRASPARCIIIp)
 529                 return;
 530
 531         pstate = rdpr(pstate);
 532         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 533
 534         data = itlb_get_data_sun4u(tlb_locked, 0);
 535         if ((data & (TD_V | TD_L)) != (TD_V | TD_L)) {
 536                 wrpr(pstate, pstate, 0);
 537                 return;
 538         }
 539
 540         /* Flush the mapping of slot 0. */
 541         tag = ldxa(TLB_DAR_SLOT(tlb_locked, 0), ASI_ITLB_TAG_READ_REG);
 542         stxa(TLB_DEMAP_VA(TLB_TAR_VA(tag)) | TLB_DEMAP_PRIMARY |
 543             TLB_DEMAP_PAGE, ASI_IMMU_DEMAP, 0);
 544         flush(0);       /* The USIII-family ignores the address. */
 545
 546         /*
 547          * Search a replacement slot != 0 and enter the data and tag
 548          * that formerly were in slot 0.
 549          */
 550         for (i = 1; i < itlb_slot_max; i++) {
 551                 if ((itlb_get_data_sun4u(tlb_locked, i) & TD_V) != 0)
 552                         continue;
 553
 554                 stxa(AA_IMMU_TAR, ASI_IMMU, tag);
 555                 stxa(TLB_DAR_SLOT(tlb_locked, i), ASI_ITLB_DATA_ACCESS_REG,
 556                     data);
 557                 flush(0);       /* The USIII-family ignores the address. */
 558                 break;
 559         }
 560         wrpr(pstate, pstate, 0);
 561         if (i == itlb_slot_max)
 562                 panic("%s: could not find a replacement slot", __func__);
 563 }
 564
 565 static int
 566 mmu_mapin_sun4u(vm_offset_t va, vm_size_t len)
 567 {
 568         vm_offset_t pa, mva;
 569         u_long data;
 570         u_int index;
 571
 572         if (va + len > curkva)
 573                 curkva = va + len;
 574
 575         pa = (vm_offset_t)-1;
 576         len += va & PAGE_MASK_4M;
 577         va &= ~PAGE_MASK_4M;
 578         while (len) {
 579                 if (dtlb_va_to_pa_sun4u(va) == (vm_offset_t)-1 ||
 580                     itlb_va_to_pa_sun4u(va) == (vm_offset_t)-1) {
 581                         /* Allocate a physical page, claim the virtual area. */
 582                         if (pa == (vm_offset_t)-1) {
 583                                 pa = alloc_phys(PAGE_SIZE_4M, PAGE_SIZE_4M);
 584                                 if (pa == (vm_offset_t)-1)
 585                                         panic("%s: out of memory", __func__);
 586                                 mva = claim_virt(va, PAGE_SIZE_4M, 0);
 587                                 if (mva != va)
 588                                         panic("%s: can't claim virtual page "
 589                                             "(wanted %#lx, got %#lx)",
 590                                             __func__, va, mva);
 591                                 /*
 592                                  * The mappings may have changed, be paranoid.
 593                                  */
 594                                 continue;
 595                         }
 596                         /*
 597                          * Actually, we can only allocate two pages less at
 598                          * most (depending on the kernel TSB size).
 599                          */
 600                         if (dtlb_slot >= dtlb_slot_max)
 601                                 panic("%s: out of dtlb_slots", __func__);
 602                         if (itlb_slot >= itlb_slot_max)
 603                                 panic("%s: out of itlb_slots", __func__);
 604                         data = TD_V | TD_4M | TD_PA(pa) | TD_L | TD_CP |
 605                             TD_CV | TD_P | TD_W;
 606                         dtlb_store[dtlb_slot].te_pa = pa;
 607                         dtlb_store[dtlb_slot].te_va = va;
 608                         index = dtlb_slot_max - dtlb_slot - 1;
 609                         if (dtlb_enter_sun4u(index, data, va) < 0)
 610                                 panic("%s: can't enter dTLB slot %d data "
 611                                     "%#lx va %#lx", __func__, index, data,
 612                                     va);
 613                         dtlb_slot++;
 614                         itlb_store[itlb_slot].te_pa = pa;
 615                         itlb_store[itlb_slot].te_va = va;
 616                         index = itlb_slot_max - itlb_slot - 1;
 617                         if (itlb_enter_sun4u(index, data, va) < 0)
 618                                 panic("%s: can't enter iTLB slot %d data "
 619                                     "%#lx va %#lxd", __func__, index, data,
 620                                     va);
 621                         itlb_slot++;
 622                         pa = (vm_offset_t)-1;
 623                 }
 624                 len -= len > PAGE_SIZE_4M ? PAGE_SIZE_4M : len;
 625                 va += PAGE_SIZE_4M;
 626         }
 627         if (pa != (vm_offset_t)-1)
 628                 release_phys(pa, PAGE_SIZE_4M);
 629         return (0);
 630 }
 631
 632 static int
 633 mmu_mapin_sun4v(vm_offset_t va, vm_size_t len)
 634 {
 635         vm_offset_t pa, mva;
 636
 637         if (va + len > curkva)
 638                 curkva = va + len;
 639
 640         pa = (vm_offset_t)-1;
 641         len += va & PAGE_MASK_4M;
 642         va &= ~PAGE_MASK_4M;
 643         while (len) {
 644                 if ((va >> 22) > SUN4V_TLB_SLOT_MAX)
 645                         panic("%s: trying to map more than 4GB", __func__);
 646                 if (tlb_store[va >> 22].te_pa == -1) {
 647                         /* Allocate a physical page, claim the virtual area */
 648                         if (pa == (vm_offset_t)-1) {
 649                                 pa = alloc_phys(PAGE_SIZE_4M, PAGE_SIZE_4M);
 650                                 if (pa == (vm_offset_t)-1)
 651                                     panic("%s: out of memory", __func__);
 652                                 mva = claim_virt(va, PAGE_SIZE_4M, 0);
 653                                 if (mva != va)
 654                                         panic("%s: can't claim virtual page "
 655                                             "(wanted %#lx, got %#lx)",
 656                                             __func__, va, mva);
 657                         }
 658
 659                         tlb_store[va >> 22].te_pa = pa;
 660                         if (map_phys(-1, PAGE_SIZE_4M, va, pa) == -1)
 661                                 printf("%s: can't map physical page\n",
 662                                     __func__);
 663                         pa = (vm_offset_t)-1;
 664                 }
 665                 len -= len > PAGE_SIZE_4M ? PAGE_SIZE_4M : len;
 666                 va += PAGE_SIZE_4M;
 667         }
 668         if (pa != (vm_offset_t)-1)
 669                 release_phys(pa, PAGE_SIZE_4M);
 670         return (0);
 671 }
 672
 673 static vm_offset_t
 674 init_heap(void)
 675 {
 676
 677         /* There is no need for continuous physical heap memory. */
 678         heapva = (vm_offset_t)OF_claim((void *)HEAPVA, HEAPSZ, 32);
 679         return (heapva);
 680 }
 681
 682 static phandle_t
 683 find_bsp_sun4u(phandle_t node, uint32_t bspid)
 684 {
 685         char type[sizeof("cpu")];
 686         phandle_t child;
 687         uint32_t cpuid;
 688
 689         for (; node > 0; node = OF_peer(node)) {
 690                 child = OF_child(node);
 691                 if (child > 0) {
 692                         child = find_bsp_sun4u(child, bspid);
 693                         if (child > 0)
 694                                 return (child);
 695                 } else {
 696                         if (OF_getprop(node, "device_type", type,
 697                             sizeof(type)) <= 0)
 698                                 continue;
 699                         if (strcmp(type, "cpu") != 0)
 700                                 continue;
 701                         if (OF_getprop(node, cpu_cpuid_prop_sun4u(), &cpuid,
 702                             sizeof(cpuid)) <= 0)
 703                                 continue;
 704                         if (cpuid == bspid)
 705                                 return (node);
 706                 }
 707         }
 708         return (0);
 709 }
 710
 711 const char *
 712 cpu_cpuid_prop_sun4u(void)
 713 {
 714
 715         switch (cpu_impl) {
 716         case CPU_IMPL_SPARC64:
 717         case CPU_IMPL_SPARC64V:
 718         case CPU_IMPL_ULTRASPARCI:
 719         case CPU_IMPL_ULTRASPARCII:
 720         case CPU_IMPL_ULTRASPARCIIi:
 721         case CPU_IMPL_ULTRASPARCIIe:
 722                 return ("upa-portid");
 723         case CPU_IMPL_ULTRASPARCIII:
 724         case CPU_IMPL_ULTRASPARCIIIp:
 725         case CPU_IMPL_ULTRASPARCIIIi:
 726         case CPU_IMPL_ULTRASPARCIIIip:
 727                 return ("portid");
 728         case CPU_IMPL_ULTRASPARCIV:
 729         case CPU_IMPL_ULTRASPARCIVp:
 730                 return ("cpuid");
 731         default:
 732                 return ("");
 733         }
 734 }
 735
 736 uint32_t
 737 cpu_get_mid_sun4u(void)
 738 {
 739
 740         switch (cpu_impl) {
 741         case CPU_IMPL_SPARC64:
 742         case CPU_IMPL_SPARC64V:
 743         case CPU_IMPL_ULTRASPARCI:
 744         case CPU_IMPL_ULTRASPARCII:
 745         case CPU_IMPL_ULTRASPARCIIi:
 746         case CPU_IMPL_ULTRASPARCIIe:
 747                 return (UPA_CR_GET_MID(ldxa(0, ASI_UPA_CONFIG_REG)));
 748         case CPU_IMPL_ULTRASPARCIII:
 749         case CPU_IMPL_ULTRASPARCIIIp:
 750                 return (FIREPLANE_CR_GET_AID(ldxa(AA_FIREPLANE_CONFIG,
 751                     ASI_FIREPLANE_CONFIG_REG)));
 752         case CPU_IMPL_ULTRASPARCIIIi:
 753         case CPU_IMPL_ULTRASPARCIIIip:
 754                 return (JBUS_CR_GET_JID(ldxa(0, ASI_JBUS_CONFIG_REG)));
 755         case CPU_IMPL_ULTRASPARCIV:
 756         case CPU_IMPL_ULTRASPARCIVp:
 757                 return (INTR_ID_GET_ID(ldxa(AA_INTR_ID, ASI_INTR_ID)));
 758         default:
 759                 return (0);
 760         }
 761 }
 762
 763 static void
 764 tlb_init_sun4u(void)
 765 {
 766         phandle_t bsp;
 767
 768         cpu_impl = VER_IMPL(rdpr(ver));
 769         switch (cpu_impl) {
 770         case CPU_IMPL_SPARC64:
 771         case CPU_IMPL_ULTRASPARCI:
 772         case CPU_IMPL_ULTRASPARCII:
 773         case CPU_IMPL_ULTRASPARCIIi:
 774         case CPU_IMPL_ULTRASPARCIIe:
 775                 tlb_locked = TLB_DAR_T32;
 776                 break;
 777         case CPU_IMPL_ULTRASPARCIII:
 778         case CPU_IMPL_ULTRASPARCIIIp:
 779         case CPU_IMPL_ULTRASPARCIIIi:
 780         case CPU_IMPL_ULTRASPARCIIIip:
 781         case CPU_IMPL_ULTRASPARCIV:
 782         case CPU_IMPL_ULTRASPARCIVp:
 783                 tlb_locked = TLB_DAR_T16;
 784                 break;
 785         case CPU_IMPL_SPARC64V:
 786                 tlb_locked = TLB_DAR_FTLB;
 787                 break;
 788         }
 789         bsp = find_bsp_sun4u(OF_child(root), cpu_get_mid_sun4u());
 790         if (bsp == 0)
 791                 panic("%s: no node for bootcpu?!?!", __func__);
 792
 793         if (OF_getprop(bsp, "#dtlb-entries", &dtlb_slot_max,
 794             sizeof(dtlb_slot_max)) == -1 ||
 795             OF_getprop(bsp, "#itlb-entries", &itlb_slot_max,
 796             sizeof(itlb_slot_max)) == -1)
 797                 panic("%s: can't get TLB slot max.", __func__);
 798
 799         if (cpu_impl == CPU_IMPL_ULTRASPARCIIIp) {
 800 #ifdef LOADER_DEBUG
 801                 printf("pre fixup:\n");
 802                 pmap_print_tlb_sun4u();
 803 #endif
 804
 805                 /*
 806                  * Relocate the locked entry in it16 slot 0 (if existent)
 807                  * as part of working around Cheetah+ erratum 34.
 808                  */
 809                 itlb_relocate_locked0_sun4u();
 810
 811 #ifdef LOADER_DEBUG
 812                 printf("post fixup:\n");
 813                 pmap_print_tlb_sun4u();
 814 #endif
 815         }
 816
 817         dtlb_store = malloc(dtlb_slot_max * sizeof(*dtlb_store));
 818         itlb_store = malloc(itlb_slot_max * sizeof(*itlb_store));
 819         if (dtlb_store == NULL || itlb_store == NULL)
 820                 panic("%s: can't allocate TLB store", __func__);
 821 }
 822
 823 static void
 824 tlb_init_sun4v(void)
 825 {
 826
 827         tlb_store = malloc(SUN4V_TLB_SLOT_MAX * sizeof(*tlb_store));
 828         memset(tlb_store, 0xFF, SUN4V_TLB_SLOT_MAX * sizeof(*tlb_store));
 829 }
 830
 831 int
 832 main(int (*openfirm)(void *))
 833 {
 834         char bootpath[64];
 835         char compatible[32];
 836         struct devsw **dp;
 837
 838         /*
 839          * Tell the Open Firmware functions where they find the OFW gate.
 840          */
 841         OF_init(openfirm);
 842
 843         archsw.arch_getdev = ofw_getdev;
 844         archsw.arch_copyin = sparc64_copyin;
 845         archsw.arch_copyout = ofw_copyout;
 846         archsw.arch_readin = sparc64_readin;
 847         archsw.arch_autoload = sparc64_autoload;
 848         archsw.arch_maphint = sparc64_maphint;
 849
 850         if (init_heap() == (vm_offset_t)-1)
 851                 OF_exit();
 852         setheap((void *)heapva, (void *)(heapva + HEAPSZ));
 853
 854         /*
 855          * Probe for a console.
 856          */
 857         cons_probe();
 858
 859         if ((root = OF_peer(0)) == -1)
 860                 panic("%s: can't get root phandle", __func__);
 861         OF_getprop(root, "compatible", compatible, sizeof(compatible));
 862         if (!strcmp(compatible, "sun4v")) {
 863                 printf("\nBooting with sun4v support.\n");
 864                 mmu_ops = &mmu_ops_sun4v;
 865                 is_sun4v = 1;
 866         } else {
 867                 printf("\nBooting with sun4u support.\n");
 868                 mmu_ops = &mmu_ops_sun4u;
 869         }
 870
 871         mmu_ops->tlb_init();
 872
 873         /*
 874          * Initialize devices.
 875          */
 876         for (dp = devsw; *dp != 0; dp++) {
 877                 if ((*dp)->dv_init != 0)
 878                         (*dp)->dv_init();
 879         }
 880
 881         /*
 882          * Set up the current device.
 883          */
 884         OF_getprop(chosen, "bootpath", bootpath, sizeof(bootpath));
 885
 886         /*
 887          * Sun compatible bootable CD-ROMs have a disk label placed
 888          * before the cd9660 data, with the actual filesystem being
 889          * in the first partition, while the other partitions contain
 890          * pseudo disk labels with embedded boot blocks for different
 891          * architectures, which may be followed by UFS filesystems.
 892          * The firmware will set the boot path to the partition it
 893          * boots from ('f' in the sun4u case), but we want the kernel
 894          * to be loaded from the cd9660 fs ('a'), so the boot path
 895          * needs to be altered.
 896          */
 897         if (bootpath[strlen(bootpath) - 2] == ':' &&
 898             bootpath[strlen(bootpath) - 1] == 'f') {
 899                 bootpath[strlen(bootpath) - 1] = 'a';
 900                 printf("Boot path set to %s\n", bootpath);
 901         }
 902
 903         env_setenv("currdev", EV_VOLATILE, bootpath,
 904             ofw_setcurrdev, env_nounset);
 905         env_setenv("loaddev", EV_VOLATILE, bootpath,
 906             env_noset, env_nounset);
 907
 908         printf("\n");
 909         printf("%s, Revision %s\n", bootprog_name, bootprog_rev);
 910         printf("(%s, %s)\n", bootprog_maker, bootprog_date);
 911         printf("bootpath=\"%s\"\n", bootpath);
 912
 913         /* Give control to the machine independent loader code. */
 914         interact();
 915         return (1);
 916 }
 917
 918 COMMAND_SET(heap, "heap", "show heap usage", command_heap);
 919
 920 static int
 921 command_heap(int argc, char *argv[])
 922 {
 923
 924         mallocstats();
 925         printf("heap base at %p, top at %p, upper limit at %p\n", heapva,
 926             sbrk(0), heapva + HEAPSZ);
 927         return(CMD_OK);
 928 }
 929
 930 COMMAND_SET(reboot, "reboot", "reboot the system", command_reboot);
 931
 932 static int
 933 command_reboot(int argc, char *argv[])
 934 {
 935         int i;
 936
 937         for (i = 0; devsw[i] != NULL; ++i)
 938                 if (devsw[i]->dv_cleanup != NULL)
 939                         (devsw[i]->dv_cleanup)();
 940
 941         printf("Rebooting...\n");
 942         OF_exit();
 943 }
 944
 945 /* provide this for panic, as it's not in the startup code */
 946 void
 947 exit(int code)
 948 {
 949
 950         OF_exit();
 951 }
 952
 953 #ifdef LOADER_DEBUG
 954 static const char *const page_sizes[] = {
 955         "  8k", " 64k", "512k", "  4m"
 956 };
 957
 958 static void
 959 pmap_print_tte_sun4u(tte_t tag, tte_t tte)
 960 {
 961
 962         printf("%s %s ",
 963             page_sizes[(tte >> TD_SIZE_SHIFT) & TD_SIZE_MASK],
 964             tag & TD_G ? "G" : " ");
 965         printf(tte & TD_W ? "W " : "  ");
 966         printf(tte & TD_P ? "\e[33mP\e[0m " : "  ");
 967         printf(tte & TD_E ? "E " : "  ");
 968         printf(tte & TD_CV ? "CV " : "   ");
 969         printf(tte & TD_CP ? "CP " : "   ");
 970         printf(tte & TD_L ? "\e[32mL\e[0m " : "  ");
 971         printf(tte & TD_IE ? "IE " : "   ");
 972         printf(tte & TD_NFO ? "NFO " : "    ");
 973         printf("pa=0x%lx va=0x%lx ctx=%ld\n",
 974             TD_PA(tte), TLB_TAR_VA(tag), TLB_TAR_CTX(tag));
 975 }
 976
 977 static void
 978 pmap_print_tlb_sun4u(void)
 979 {
 980         tte_t tag, tte;
 981         u_long pstate;
 982         int i;
 983
 984         pstate = rdpr(pstate);
 985         for (i = 0; i < itlb_slot_max; i++) {
 986                 wrpr(pstate, pstate & ~PSTATE_IE, 0);
 987                 tte = itlb_get_data_sun4u(tlb_locked, i);
 988                 wrpr(pstate, pstate, 0);
 989                 if (!(tte & TD_V))
 990                         continue;
 991                 tag = ldxa(TLB_DAR_SLOT(tlb_locked, i),
 992                     ASI_ITLB_TAG_READ_REG);
 993                 printf("iTLB-%2u: ", i);
 994                 pmap_print_tte_sun4u(tag, tte);
 995         }
 996         for (i = 0; i < dtlb_slot_max; i++) {
 997                 wrpr(pstate, pstate & ~PSTATE_IE, 0);
 998                 tte = dtlb_get_data_sun4u(tlb_locked, i);
 999                 wrpr(pstate, pstate, 0);
1000                 if (!(tte & TD_V))
1001                         continue;
1002                 tag = ldxa(TLB_DAR_SLOT(tlb_locked, i),
1003                     ASI_DTLB_TAG_READ_REG);
1004                 printf("dTLB-%2u: ", i);
1005                 pmap_print_tte_sun4u(tag, tte);
1006         }
1007 }
1008 #endif