sys/boot/sparc64/loader/main.c

   1 /*-
   2  * Initial implementation:
   3  * Copyright (c) 2001 Robert Drehmel
   4  * All rights reserved.
   5  *
   6  * As long as the above copyright statement and this notice remain
   7  * unchanged, you can do what ever you want with this file.
   8  */
   9 /*-
  10  * Copyright (c) 2008 Marius Strobl <marius@FreeBSD.org>
  11  * All rights reserved.
  12  *
  13  * Redistribution and use in source and binary forms, with or without
  14  * modification, are permitted provided that the following conditions
  15  * are met:
  16  * 1. Redistributions of source code must retain the above copyright
  17  *    notice, this list of conditions and the following disclaimer.
  18  * 2. Redistributions in binary form must reproduce the above copyright
  19  *    notice, this list of conditions and the following disclaimer in the
  20  *    documentation and/or other materials provided with the distribution.
  21  *
  22  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  23  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  24  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  25  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  26  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  27  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  28  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  29  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  30  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  31  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  */
  34
  35 #include <sys/cdefs.h>
  36 __FBSDID("$FreeBSD$");
  37
  38 /*
  39  * FreeBSD/sparc64 kernel loader - machine dependent part
  40  *
  41  *  - implements copyin and readin functions that map kernel
  42  *    pages on demand.  The machine independent code does not
  43  *    know the size of the kernel early enough to pre-enter
  44  *    TTEs and install just one 4MB mapping seemed to limiting
  45  *    to me.
  46  */
  47
  48 #include <stand.h>
  49 #include <sys/param.h>
  50 #include <sys/exec.h>
  51 #include <sys/linker.h>
  52 #include <sys/queue.h>
  53 #include <sys/types.h>
  54 #ifdef LOADER_ZFS_SUPPORT
  55 #include <sys/vtoc.h>
  56 #endif
  57
  58 #include <vm/vm.h>
  59 #include <machine/asi.h>
  60 #include <machine/cmt.h>
  61 #include <machine/cpufunc.h>
  62 #include <machine/elf.h>
  63 #include <machine/fireplane.h>
  64 #include <machine/jbus.h>
  65 #include <machine/lsu.h>
  66 #include <machine/metadata.h>
  67 #include <machine/tte.h>
  68 #include <machine/tlb.h>
  69 #include <machine/upa.h>
  70 #include <machine/ver.h>
  71 #include <machine/vmparam.h>
  72
  73 #include "bootstrap.h"
  74 #include "libofw.h"
  75 #include "dev_net.h"
  76
  77 #ifndef CTASSERT
  78 #define CTASSERT(x)             _CTASSERT(x, __LINE__)
  79 #define _CTASSERT(x, y)         __CTASSERT(x, y)
  80 #define __CTASSERT(x, y)        typedef char __assert ## y[(x) ? 1 : -1]
  81 #endif
  82
  83 extern char bootprog_name[], bootprog_rev[], bootprog_date[], bootprog_maker[];
  84
  85 enum {
  86         HEAPVA          = 0x800000,
  87         HEAPSZ          = 0x1000000,
  88         LOADSZ          = 0x1000000     /* for kernel and modules */
  89 };
  90
  91 /* At least Sun Fire V1280 require page sized allocations to be claimed. */
  92 CTASSERT(HEAPSZ % PAGE_SIZE == 0);
  93
  94 static struct mmu_ops {
  95         void (*tlb_init)(void);
  96         int (*mmu_mapin)(vm_offset_t va, vm_size_t len);
  97 } *mmu_ops;
  98
  99 typedef void kernel_entry_t(vm_offset_t mdp, u_long o1, u_long o2, u_long o3,
 100     void *openfirmware);
 101
 102 static inline u_long dtlb_get_data_sun4u(u_int, u_int);
 103 static int dtlb_enter_sun4u(u_int, u_long data, vm_offset_t);
 104 static vm_offset_t dtlb_va_to_pa_sun4u(vm_offset_t);
 105 static inline u_long itlb_get_data_sun4u(u_int, u_int);
 106 static int itlb_enter_sun4u(u_int, u_long data, vm_offset_t);
 107 static vm_offset_t itlb_va_to_pa_sun4u(vm_offset_t);
 108 static void itlb_relocate_locked0_sun4u(void);
 109 extern vm_offset_t md_load(char *, vm_offset_t *);
 110 static int sparc64_autoload(void);
 111 static ssize_t sparc64_readin(const int, vm_offset_t, const size_t);
 112 static ssize_t sparc64_copyin(const void *, vm_offset_t, size_t);
 113 static void sparc64_maphint(vm_offset_t, size_t);
 114 static vm_offset_t claim_virt(vm_offset_t, size_t, int);
 115 static vm_offset_t alloc_phys(size_t, int);
 116 static int map_phys(int, size_t, vm_offset_t, vm_offset_t);
 117 static void release_phys(vm_offset_t, u_int);
 118 static int __elfN(exec)(struct preloaded_file *);
 119 static int mmu_mapin_sun4u(vm_offset_t, vm_size_t);
 120 static int mmu_mapin_sun4v(vm_offset_t, vm_size_t);
 121 static vm_offset_t init_heap(void);
 122 static phandle_t find_bsp_sun4u(phandle_t, uint32_t);
 123 const char *cpu_cpuid_prop_sun4u(void);
 124 uint32_t cpu_get_mid_sun4u(void);
 125 static void tlb_init_sun4u(void);
 126 static void tlb_init_sun4v(void);
 127
 128 #ifdef LOADER_DEBUG
 129 typedef u_int64_t tte_t;
 130
 131 static void pmap_print_tlb_sun4u(void);
 132 static void pmap_print_tte_sun4u(tte_t, tte_t);
 133 #endif
 134
 135 static struct mmu_ops mmu_ops_sun4u = { tlb_init_sun4u, mmu_mapin_sun4u };
 136 static struct mmu_ops mmu_ops_sun4v = { tlb_init_sun4v, mmu_mapin_sun4v };
 137
 138 /* sun4u */
 139 struct tlb_entry *dtlb_store;
 140 struct tlb_entry *itlb_store;
 141 u_int dtlb_slot;
 142 u_int itlb_slot;
 143 static int cpu_impl;
 144 static u_int dtlb_slot_max;
 145 static u_int itlb_slot_max;
 146 static u_int tlb_locked;
 147
 148 /* sun4v */
 149 static struct tlb_entry *tlb_store;
 150 static int is_sun4v = 0;
 151 /*
 152  * no direct TLB access on sun4v
 153  * we somewhat arbitrarily declare enough
 154  * slots to cover a 4GB AS with 4MB pages
 155  */
 156 #define SUN4V_TLB_SLOT_MAX      (1 << 10)
 157
 158 static vm_offset_t curkva = 0;
 159 static vm_offset_t heapva;
 160
 161 static phandle_t root;
 162
 163 #ifdef LOADER_ZFS_SUPPORT
 164 static int zfs_dev_init(void);
 165 #include "zfs.c"
 166 #endif
 167
 168 /*
 169  * Machine dependent structures that the machine independent
 170  * loader part uses.
 171  */
 172 struct devsw *devsw[] = {
 173 #ifdef LOADER_DISK_SUPPORT
 174         &ofwdisk,
 175 #endif
 176 #ifdef LOADER_NET_SUPPORT
 177         &netdev,
 178 #endif
 179 #ifdef LOADER_ZFS_SUPPORT
 180         &zfs_dev,
 181 #endif
 182         0
 183 };
 184 struct arch_switch archsw;
 185
 186 static struct file_format sparc64_elf = {
 187         __elfN(loadfile),
 188         __elfN(exec)
 189 };
 190 struct file_format *file_formats[] = {
 191         &sparc64_elf,
 192         0
 193 };
 194
 195 struct fs_ops *file_system[] = {
 196 #ifdef LOADER_UFS_SUPPORT
 197         &ufs_fsops,
 198 #endif
 199 #ifdef LOADER_CD9660_SUPPORT
 200         &cd9660_fsops,
 201 #endif
 202 #ifdef LOADER_ZFS_SUPPORT
 203         &zfs_fsops,
 204 #endif
 205 #ifdef LOADER_ZIP_SUPPORT
 206         &zipfs_fsops,
 207 #endif
 208 #ifdef LOADER_GZIP_SUPPORT
 209         &gzipfs_fsops,
 210 #endif
 211 #ifdef LOADER_BZIP2_SUPPORT
 212         &bzipfs_fsops,
 213 #endif
 214 #ifdef LOADER_NFS_SUPPORT
 215         &nfs_fsops,
 216 #endif
 217 #ifdef LOADER_TFTP_SUPPORT
 218         &tftp_fsops,
 219 #endif
 220         0
 221 };
 222 struct netif_driver *netif_drivers[] = {
 223 #ifdef LOADER_NET_SUPPORT
 224         &ofwnet,
 225 #endif
 226         0
 227 };
 228
 229 extern struct console ofwconsole;
 230 struct console *consoles[] = {
 231         &ofwconsole,
 232         0
 233 };
 234
 235 #ifdef LOADER_DEBUG
 236 static int
 237 watch_phys_set_mask(vm_offset_t pa, u_long mask)
 238 {
 239         u_long lsucr;
 240
 241         stxa(AA_DMMU_PWPR, ASI_DMMU, pa & (((2UL << 38) - 1) << 3));
 242         lsucr = ldxa(0, ASI_LSU_CTL_REG);
 243         lsucr = ((lsucr | LSU_PW) & ~LSU_PM_MASK) |
 244             (mask << LSU_PM_SHIFT);
 245         stxa(0, ASI_LSU_CTL_REG, lsucr);
 246         return (0);
 247 }
 248
 249 static int
 250 watch_phys_set(vm_offset_t pa, int sz)
 251 {
 252         u_long off;
 253
 254         off = (u_long)pa & 7;
 255         /* Test for misaligned watch points. */
 256         if (off + sz > 8)
 257                 return (-1);
 258         return (watch_phys_set_mask(pa, ((1 << sz) - 1) << off));
 259 }
 260
 261
 262 static int
 263 watch_virt_set_mask(vm_offset_t va, u_long mask)
 264 {
 265         u_long lsucr;
 266
 267         stxa(AA_DMMU_VWPR, ASI_DMMU, va & (((2UL << 41) - 1) << 3));
 268         lsucr = ldxa(0, ASI_LSU_CTL_REG);
 269         lsucr = ((lsucr | LSU_VW) & ~LSU_VM_MASK) |
 270             (mask << LSU_VM_SHIFT);
 271         stxa(0, ASI_LSU_CTL_REG, lsucr);
 272         return (0);
 273 }
 274
 275 static int
 276 watch_virt_set(vm_offset_t va, int sz)
 277 {
 278         u_long off;
 279
 280         off = (u_long)va & 7;
 281         /* Test for misaligned watch points. */
 282         if (off + sz > 8)
 283                 return (-1);
 284         return (watch_virt_set_mask(va, ((1 << sz) - 1) << off));
 285 }
 286 #endif
 287
 288 /*
 289  * archsw functions
 290  */
 291 static int
 292 sparc64_autoload(void)
 293 {
 294
 295         return (0);
 296 }
 297
 298 static ssize_t
 299 sparc64_readin(const int fd, vm_offset_t va, const size_t len)
 300 {
 301
 302         mmu_ops->mmu_mapin(va, len);
 303         return (read(fd, (void *)va, len));
 304 }
 305
 306 static ssize_t
 307 sparc64_copyin(const void *src, vm_offset_t dest, size_t len)
 308 {
 309
 310         mmu_ops->mmu_mapin(dest, len);
 311         memcpy((void *)dest, src, len);
 312         return (len);
 313 }
 314
 315 static void
 316 sparc64_maphint(vm_offset_t va, size_t len)
 317 {
 318         vm_paddr_t pa;
 319         vm_offset_t mva;
 320         size_t size;
 321         int i, free_excess = 0;
 322
 323         if (!is_sun4v)
 324                 return;
 325
 326         if (tlb_store[va >> 22].te_pa != -1)
 327                 return;
 328
 329         /* round up to nearest 4MB page */
 330         size = (len + PAGE_MASK_4M) & ~PAGE_MASK_4M;
 331 #if 0
 332         pa = alloc_phys(PAGE_SIZE_256M, PAGE_SIZE_256M);
 333
 334         if (pa != -1)
 335                 free_excess = 1;
 336         else
 337 #endif
 338                 pa = alloc_phys(size, PAGE_SIZE_256M);
 339         if (pa == -1)
 340                 pa = alloc_phys(size, PAGE_SIZE_4M);
 341         if (pa == -1)
 342                 panic("%s: out of memory", __func__);
 343
 344         for (i = 0; i < size; i += PAGE_SIZE_4M) {
 345                 mva = claim_virt(va + i, PAGE_SIZE_4M, 0);
 346                 if (mva != (va + i))
 347                         panic("%s: can't claim virtual page "
 348                             "(wanted %#lx, got %#lx)",
 349                             __func__, va, mva);
 350
 351                 tlb_store[mva >> 22].te_pa = pa + i;
 352                 if (map_phys(-1, PAGE_SIZE_4M, mva, pa + i) != 0)
 353                         printf("%s: can't map physical page\n", __func__);
 354         }
 355         if (free_excess)
 356                 release_phys(pa, PAGE_SIZE_256M);
 357 }
 358
 359 /*
 360  * other MD functions
 361  */
 362 static vm_offset_t
 363 claim_virt(vm_offset_t virt, size_t size, int align)
 364 {
 365         vm_offset_t mva;
 366
 367         if (OF_call_method("claim", mmu, 3, 1, virt, size, align, &mva) == -1)
 368                 return ((vm_offset_t)-1);
 369         return (mva);
 370 }
 371
 372 static vm_offset_t
 373 alloc_phys(size_t size, int align)
 374 {
 375         cell_t phys_hi, phys_low;
 376
 377         if (OF_call_method("claim", memory, 2, 2, size, align, &phys_low,
 378             &phys_hi) == -1)
 379                 return ((vm_offset_t)-1);
 380         return ((vm_offset_t)phys_hi << 32 | phys_low);
 381 }
 382
 383 static int
 384 map_phys(int mode, size_t size, vm_offset_t virt, vm_offset_t phys)
 385 {
 386
 387         return (OF_call_method("map", mmu, 5, 0, (uint32_t)phys,
 388             (uint32_t)(phys >> 32), virt, size, mode));
 389 }
 390
 391 static void
 392 release_phys(vm_offset_t phys, u_int size)
 393 {
 394
 395         (void)OF_call_method("release", memory, 3, 0, (uint32_t)phys,
 396             (uint32_t)(phys >> 32), size);
 397 }
 398
 399 static int
 400 __elfN(exec)(struct preloaded_file *fp)
 401 {
 402         struct file_metadata *fmp;
 403         vm_offset_t mdp;
 404         Elf_Addr entry;
 405         Elf_Ehdr *e;
 406         int error;
 407
 408         if ((fmp = file_findmetadata(fp, MODINFOMD_ELFHDR)) == 0)
 409                 return (EFTYPE);
 410         e = (Elf_Ehdr *)&fmp->md_data;
 411
 412         if ((error = md_load(fp->f_args, &mdp)) != 0)
 413                 return (error);
 414
 415         printf("jumping to kernel entry at %#lx.\n", e->e_entry);
 416 #ifdef LOADER_DEBUG
 417         pmap_print_tlb_sun4u();
 418 #endif
 419
 420         dev_cleanup();
 421
 422         entry = e->e_entry;
 423
 424         OF_release((void *)heapva, HEAPSZ);
 425
 426         ((kernel_entry_t *)entry)(mdp, 0, 0, 0, openfirmware);
 427
 428         panic("%s: exec returned", __func__);
 429 }
 430
 431 static inline u_long
 432 dtlb_get_data_sun4u(u_int tlb, u_int slot)
 433 {
 434         u_long data, pstate;
 435
 436         slot = TLB_DAR_SLOT(tlb, slot);
 437         /*
 438          * We read ASI_DTLB_DATA_ACCESS_REG twice back-to-back in order to
 439          * work around errata of USIII and beyond.
 440          */
 441         pstate = rdpr(pstate);
 442         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 443         (void)ldxa(slot, ASI_DTLB_DATA_ACCESS_REG);
 444         data = ldxa(slot, ASI_DTLB_DATA_ACCESS_REG);
 445         wrpr(pstate, pstate, 0);
 446         return (data);
 447 }
 448
 449 static inline u_long
 450 itlb_get_data_sun4u(u_int tlb, u_int slot)
 451 {
 452         u_long data, pstate;
 453
 454         slot = TLB_DAR_SLOT(tlb, slot);
 455         /*
 456          * We read ASI_DTLB_DATA_ACCESS_REG twice back-to-back in order to
 457          * work around errata of USIII and beyond.
 458          */
 459         pstate = rdpr(pstate);
 460         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 461         (void)ldxa(slot, ASI_ITLB_DATA_ACCESS_REG);
 462         data = ldxa(slot, ASI_ITLB_DATA_ACCESS_REG);
 463         wrpr(pstate, pstate, 0);
 464         return (data);
 465 }
 466
 467 static vm_offset_t
 468 dtlb_va_to_pa_sun4u(vm_offset_t va)
 469 {
 470         u_long pstate, reg;
 471         u_int i, tlb;
 472
 473         pstate = rdpr(pstate);
 474         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 475         for (i = 0; i < dtlb_slot_max; i++) {
 476                 reg = ldxa(TLB_DAR_SLOT(tlb_locked, i),
 477                     ASI_DTLB_TAG_READ_REG);
 478                 if (TLB_TAR_VA(reg) != va)
 479                         continue;
 480                 reg = dtlb_get_data_sun4u(tlb_locked, i);
 481                 wrpr(pstate, pstate, 0);
 482                 reg >>= TD_PA_SHIFT;
 483                 if (cpu_impl == CPU_IMPL_SPARC64V ||
 484                     cpu_impl >= CPU_IMPL_ULTRASPARCIII)
 485                         return (reg & TD_PA_CH_MASK);
 486                 return (reg & TD_PA_SF_MASK);
 487         }
 488         wrpr(pstate, pstate, 0);
 489         return (-1);
 490 }
 491
 492 static vm_offset_t
 493 itlb_va_to_pa_sun4u(vm_offset_t va)
 494 {
 495         u_long pstate, reg;
 496         int i;
 497
 498         pstate = rdpr(pstate);
 499         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 500         for (i = 0; i < itlb_slot_max; i++) {
 501                 reg = ldxa(TLB_DAR_SLOT(tlb_locked, i),
 502                     ASI_ITLB_TAG_READ_REG);
 503                 if (TLB_TAR_VA(reg) != va)
 504                         continue;
 505                 reg = itlb_get_data_sun4u(tlb_locked, i);
 506                 wrpr(pstate, pstate, 0);
 507                 reg >>= TD_PA_SHIFT;
 508                 if (cpu_impl == CPU_IMPL_SPARC64V ||
 509                     cpu_impl >= CPU_IMPL_ULTRASPARCIII)
 510                         return (reg & TD_PA_CH_MASK);
 511                 return (reg & TD_PA_SF_MASK);
 512         }
 513         wrpr(pstate, pstate, 0);
 514         return (-1);
 515 }
 516
 517 static int
 518 dtlb_enter_sun4u(u_int index, u_long data, vm_offset_t virt)
 519 {
 520
 521         return (OF_call_method("SUNW,dtlb-load", mmu, 3, 0, index, data,
 522             virt));
 523 }
 524
 525 static int
 526 itlb_enter_sun4u(u_int index, u_long data, vm_offset_t virt)
 527 {
 528
 529         if (cpu_impl == CPU_IMPL_ULTRASPARCIIIp && index == 0 &&
 530             (data & TD_L) != 0)
 531                 panic("%s: won't enter locked TLB entry at index 0 on USIII+",
 532                     __func__);
 533         return (OF_call_method("SUNW,itlb-load", mmu, 3, 0, index, data,
 534             virt));
 535 }
 536
 537 static void
 538 itlb_relocate_locked0_sun4u(void)
 539 {
 540         u_long data, pstate, tag;
 541         int i;
 542
 543         if (cpu_impl != CPU_IMPL_ULTRASPARCIIIp)
 544                 return;
 545
 546         pstate = rdpr(pstate);
 547         wrpr(pstate, pstate & ~PSTATE_IE, 0);
 548
 549         data = itlb_get_data_sun4u(tlb_locked, 0);
 550         if ((data & (TD_V | TD_L)) != (TD_V | TD_L)) {
 551                 wrpr(pstate, pstate, 0);
 552                 return;
 553         }
 554
 555         /* Flush the mapping of slot 0. */
 556         tag = ldxa(TLB_DAR_SLOT(tlb_locked, 0), ASI_ITLB_TAG_READ_REG);
 557         stxa(TLB_DEMAP_VA(TLB_TAR_VA(tag)) | TLB_DEMAP_PRIMARY |
 558             TLB_DEMAP_PAGE, ASI_IMMU_DEMAP, 0);
 559         flush(0);       /* The USIII-family ignores the address. */
 560
 561         /*
 562          * Search a replacement slot != 0 and enter the data and tag
 563          * that formerly were in slot 0.
 564          */
 565         for (i = 1; i < itlb_slot_max; i++) {
 566                 if ((itlb_get_data_sun4u(tlb_locked, i) & TD_V) != 0)
 567                         continue;
 568
 569                 stxa(AA_IMMU_TAR, ASI_IMMU, tag);
 570                 stxa(TLB_DAR_SLOT(tlb_locked, i), ASI_ITLB_DATA_ACCESS_REG,
 571                     data);
 572                 flush(0);       /* The USIII-family ignores the address. */
 573                 break;
 574         }
 575         wrpr(pstate, pstate, 0);
 576         if (i == itlb_slot_max)
 577                 panic("%s: could not find a replacement slot", __func__);
 578 }
 579
 580 static int
 581 mmu_mapin_sun4u(vm_offset_t va, vm_size_t len)
 582 {
 583         vm_offset_t pa, mva;
 584         u_long data;
 585         u_int index;
 586
 587         if (va + len > curkva)
 588                 curkva = va + len;
 589
 590         pa = (vm_offset_t)-1;
 591         len += va & PAGE_MASK_4M;
 592         va &= ~PAGE_MASK_4M;
 593         while (len) {
 594                 if (dtlb_va_to_pa_sun4u(va) == (vm_offset_t)-1 ||
 595                     itlb_va_to_pa_sun4u(va) == (vm_offset_t)-1) {
 596                         /* Allocate a physical page, claim the virtual area. */
 597                         if (pa == (vm_offset_t)-1) {
 598                                 pa = alloc_phys(PAGE_SIZE_4M, PAGE_SIZE_4M);
 599                                 if (pa == (vm_offset_t)-1)
 600                                         panic("%s: out of memory", __func__);
 601                                 mva = claim_virt(va, PAGE_SIZE_4M, 0);
 602                                 if (mva != va)
 603                                         panic("%s: can't claim virtual page "
 604                                             "(wanted %#lx, got %#lx)",
 605                                             __func__, va, mva);
 606                                 /*
 607                                  * The mappings may have changed, be paranoid.
 608                                  */
 609                                 continue;
 610                         }
 611                         /*
 612                          * Actually, we can only allocate two pages less at
 613                          * most (depending on the kernel TSB size).
 614                          */
 615                         if (dtlb_slot >= dtlb_slot_max)
 616                                 panic("%s: out of dtlb_slots", __func__);
 617                         if (itlb_slot >= itlb_slot_max)
 618                                 panic("%s: out of itlb_slots", __func__);
 619                         data = TD_V | TD_4M | TD_PA(pa) | TD_L | TD_CP |
 620                             TD_CV | TD_P | TD_W;
 621                         dtlb_store[dtlb_slot].te_pa = pa;
 622                         dtlb_store[dtlb_slot].te_va = va;
 623                         index = dtlb_slot_max - dtlb_slot - 1;
 624                         if (dtlb_enter_sun4u(index, data, va) < 0)
 625                                 panic("%s: can't enter dTLB slot %d data "
 626                                     "%#lx va %#lx", __func__, index, data,
 627                                     va);
 628                         dtlb_slot++;
 629                         itlb_store[itlb_slot].te_pa = pa;
 630                         itlb_store[itlb_slot].te_va = va;
 631                         index = itlb_slot_max - itlb_slot - 1;
 632                         if (itlb_enter_sun4u(index, data, va) < 0)
 633                                 panic("%s: can't enter iTLB slot %d data "
 634                                     "%#lx va %#lxd", __func__, index, data,
 635                                     va);
 636                         itlb_slot++;
 637                         pa = (vm_offset_t)-1;
 638                 }
 639                 len -= len > PAGE_SIZE_4M ? PAGE_SIZE_4M : len;
 640                 va += PAGE_SIZE_4M;
 641         }
 642         if (pa != (vm_offset_t)-1)
 643                 release_phys(pa, PAGE_SIZE_4M);
 644         return (0);
 645 }
 646
 647 static int
 648 mmu_mapin_sun4v(vm_offset_t va, vm_size_t len)
 649 {
 650         vm_offset_t pa, mva;
 651
 652         if (va + len > curkva)
 653                 curkva = va + len;
 654
 655         pa = (vm_offset_t)-1;
 656         len += va & PAGE_MASK_4M;
 657         va &= ~PAGE_MASK_4M;
 658         while (len) {
 659                 if ((va >> 22) > SUN4V_TLB_SLOT_MAX)
 660                         panic("%s: trying to map more than 4GB", __func__);
 661                 if (tlb_store[va >> 22].te_pa == -1) {
 662                         /* Allocate a physical page, claim the virtual area */
 663                         if (pa == (vm_offset_t)-1) {
 664                                 pa = alloc_phys(PAGE_SIZE_4M, PAGE_SIZE_4M);
 665                                 if (pa == (vm_offset_t)-1)
 666                                     panic("%s: out of memory", __func__);
 667                                 mva = claim_virt(va, PAGE_SIZE_4M, 0);
 668                                 if (mva != va)
 669                                         panic("%s: can't claim virtual page "
 670                                             "(wanted %#lx, got %#lx)",
 671                                             __func__, va, mva);
 672                         }
 673
 674                         tlb_store[va >> 22].te_pa = pa;
 675                         if (map_phys(-1, PAGE_SIZE_4M, va, pa) == -1)
 676                                 printf("%s: can't map physical page\n",
 677                                     __func__);
 678                         pa = (vm_offset_t)-1;
 679                 }
 680                 len -= len > PAGE_SIZE_4M ? PAGE_SIZE_4M : len;
 681                 va += PAGE_SIZE_4M;
 682         }
 683         if (pa != (vm_offset_t)-1)
 684                 release_phys(pa, PAGE_SIZE_4M);
 685         return (0);
 686 }
 687
 688 static vm_offset_t
 689 init_heap(void)
 690 {
 691
 692         /* There is no need for continuous physical heap memory. */
 693         heapva = (vm_offset_t)OF_claim((void *)HEAPVA, HEAPSZ, 32);
 694         return (heapva);
 695 }
 696
 697 static phandle_t
 698 find_bsp_sun4u(phandle_t node, uint32_t bspid)
 699 {
 700         char type[sizeof("cpu")];
 701         phandle_t child;
 702         uint32_t cpuid;
 703
 704         for (; node > 0; node = OF_peer(node)) {
 705                 child = OF_child(node);
 706                 if (child > 0) {
 707                         child = find_bsp_sun4u(child, bspid);
 708                         if (child > 0)
 709                                 return (child);
 710                 } else {
 711                         if (OF_getprop(node, "device_type", type,
 712                             sizeof(type)) <= 0)
 713                                 continue;
 714                         if (strcmp(type, "cpu") != 0)
 715                                 continue;
 716                         if (OF_getprop(node, cpu_cpuid_prop_sun4u(), &cpuid,
 717                             sizeof(cpuid)) <= 0)
 718                                 continue;
 719                         if (cpuid == bspid)
 720                                 return (node);
 721                 }
 722         }
 723         return (0);
 724 }
 725
 726 const char *
 727 cpu_cpuid_prop_sun4u(void)
 728 {
 729
 730         switch (cpu_impl) {
 731         case CPU_IMPL_SPARC64:
 732         case CPU_IMPL_SPARC64V:
 733         case CPU_IMPL_ULTRASPARCI:
 734         case CPU_IMPL_ULTRASPARCII:
 735         case CPU_IMPL_ULTRASPARCIIi:
 736         case CPU_IMPL_ULTRASPARCIIe:
 737                 return ("upa-portid");
 738         case CPU_IMPL_ULTRASPARCIII:
 739         case CPU_IMPL_ULTRASPARCIIIp:
 740         case CPU_IMPL_ULTRASPARCIIIi:
 741         case CPU_IMPL_ULTRASPARCIIIip:
 742                 return ("portid");
 743         case CPU_IMPL_ULTRASPARCIV:
 744         case CPU_IMPL_ULTRASPARCIVp:
 745                 return ("cpuid");
 746         default:
 747                 return ("");
 748         }
 749 }
 750
 751 uint32_t
 752 cpu_get_mid_sun4u(void)
 753 {
 754
 755         switch (cpu_impl) {
 756         case CPU_IMPL_SPARC64:
 757         case CPU_IMPL_SPARC64V:
 758         case CPU_IMPL_ULTRASPARCI:
 759         case CPU_IMPL_ULTRASPARCII:
 760         case CPU_IMPL_ULTRASPARCIIi:
 761         case CPU_IMPL_ULTRASPARCIIe:
 762                 return (UPA_CR_GET_MID(ldxa(0, ASI_UPA_CONFIG_REG)));
 763         case CPU_IMPL_ULTRASPARCIII:
 764         case CPU_IMPL_ULTRASPARCIIIp:
 765                 return (FIREPLANE_CR_GET_AID(ldxa(AA_FIREPLANE_CONFIG,
 766                     ASI_FIREPLANE_CONFIG_REG)));
 767         case CPU_IMPL_ULTRASPARCIIIi:
 768         case CPU_IMPL_ULTRASPARCIIIip:
 769                 return (JBUS_CR_GET_JID(ldxa(0, ASI_JBUS_CONFIG_REG)));
 770         case CPU_IMPL_ULTRASPARCIV:
 771         case CPU_IMPL_ULTRASPARCIVp:
 772                 return (INTR_ID_GET_ID(ldxa(AA_INTR_ID, ASI_INTR_ID)));
 773         default:
 774                 return (0);
 775         }
 776 }
 777
 778 static void
 779 tlb_init_sun4u(void)
 780 {
 781         phandle_t bsp;
 782
 783         cpu_impl = VER_IMPL(rdpr(ver));
 784         switch (cpu_impl) {
 785         case CPU_IMPL_SPARC64:
 786         case CPU_IMPL_ULTRASPARCI:
 787         case CPU_IMPL_ULTRASPARCII:
 788         case CPU_IMPL_ULTRASPARCIIi:
 789         case CPU_IMPL_ULTRASPARCIIe:
 790                 tlb_locked = TLB_DAR_T32;
 791                 break;
 792         case CPU_IMPL_ULTRASPARCIII:
 793         case CPU_IMPL_ULTRASPARCIIIp:
 794         case CPU_IMPL_ULTRASPARCIIIi:
 795         case CPU_IMPL_ULTRASPARCIIIip:
 796         case CPU_IMPL_ULTRASPARCIV:
 797         case CPU_IMPL_ULTRASPARCIVp:
 798                 tlb_locked = TLB_DAR_T16;
 799                 break;
 800         case CPU_IMPL_SPARC64V:
 801                 tlb_locked = TLB_DAR_FTLB;
 802                 break;
 803         }
 804         bsp = find_bsp_sun4u(OF_child(root), cpu_get_mid_sun4u());
 805         if (bsp == 0)
 806                 panic("%s: no node for bootcpu?!?!", __func__);
 807
 808         if (OF_getprop(bsp, "#dtlb-entries", &dtlb_slot_max,
 809             sizeof(dtlb_slot_max)) == -1 ||
 810             OF_getprop(bsp, "#itlb-entries", &itlb_slot_max,
 811             sizeof(itlb_slot_max)) == -1)
 812                 panic("%s: can't get TLB slot max.", __func__);
 813
 814         if (cpu_impl == CPU_IMPL_ULTRASPARCIIIp) {
 815 #ifdef LOADER_DEBUG
 816                 printf("pre fixup:\n");
 817                 pmap_print_tlb_sun4u();
 818 #endif
 819
 820                 /*
 821                  * Relocate the locked entry in it16 slot 0 (if existent)
 822                  * as part of working around Cheetah+ erratum 34.
 823                  */
 824                 itlb_relocate_locked0_sun4u();
 825
 826 #ifdef LOADER_DEBUG
 827                 printf("post fixup:\n");
 828                 pmap_print_tlb_sun4u();
 829 #endif
 830         }
 831
 832         dtlb_store = malloc(dtlb_slot_max * sizeof(*dtlb_store));
 833         itlb_store = malloc(itlb_slot_max * sizeof(*itlb_store));
 834         if (dtlb_store == NULL || itlb_store == NULL)
 835                 panic("%s: can't allocate TLB store", __func__);
 836 }
 837
 838 static void
 839 tlb_init_sun4v(void)
 840 {
 841
 842         tlb_store = malloc(SUN4V_TLB_SLOT_MAX * sizeof(*tlb_store));
 843         memset(tlb_store, 0xFF, SUN4V_TLB_SLOT_MAX * sizeof(*tlb_store));
 844 }
 845
 846 #ifdef LOADER_ZFS_SUPPORT
 847
 848 static int
 849 zfs_dev_init(void)
 850 {
 851         struct vtoc8 vtoc;
 852         char devname[512];
 853         spa_t *spa;
 854         vdev_t *vdev;
 855         uint64_t guid;
 856         int fd, part, unit;
 857
 858         zfs_init();
 859
 860         guid = 0;
 861         /* Get the GUID of the ZFS pool on the boot device. */
 862         fd = open(getenv("currdev"), O_RDONLY);
 863         if (fd != -1) {
 864                 if (vdev_probe(vdev_read, (void *)(uintptr_t) fd, &spa) == 0)
 865                         guid = spa->spa_guid;
 866                 close(fd);
 867         }
 868
 869         /* Clean up the environment to let ZFS work. */
 870         while ((vdev = STAILQ_FIRST(&zfs_vdevs)) != NULL) {
 871                 STAILQ_REMOVE_HEAD(&zfs_vdevs, v_alllink);
 872                 free(vdev);
 873         }
 874         while ((spa = STAILQ_FIRST(&zfs_pools)) != NULL) {
 875                 STAILQ_REMOVE_HEAD(&zfs_pools, spa_link);
 876                 free(spa);
 877         }
 878
 879         for (unit = 0; unit < MAXBDDEV; unit++) {
 880                 /* Find freebsd-zfs slices in the VTOC. */
 881                 sprintf(devname, "disk%d:", unit);
 882                 fd = open(devname, O_RDONLY);
 883                 if (fd == -1)
 884                         continue;
 885                 lseek(fd, 0, SEEK_SET);
 886                 if (read(fd, &vtoc, sizeof(vtoc)) != sizeof(vtoc)) {
 887                         close(fd);
 888                         continue;
 889                 }
 890                 close(fd);
 891
 892                 for (part = 0; part < 8; part++) {
 893                         if (part == 2 || vtoc.part[part].tag !=
 894                              VTOC_TAG_FREEBSD_ZFS)
 895                                 continue;
 896                         sprintf(devname, "disk%d:%c", unit, part + 'a');
 897                         fd = open(devname, O_RDONLY);
 898                         if (fd == -1)
 899                                 break;
 900
 901                         if (vdev_probe(vdev_read, (void*)(uintptr_t) fd, 0))
 902                                 close(fd);
 903                 }
 904         }
 905
 906         if (guid != 0) {
 907                 unit = zfs_guid_to_unit(guid);
 908                 if (unit >= 0) {
 909                         /* Update the environment for ZFS. */
 910                         sprintf(devname, "zfs%d", unit);
 911                         env_setenv("currdev", EV_VOLATILE, devname,
 912                            ofw_setcurrdev, env_nounset);
 913                         env_setenv("loaddev", EV_VOLATILE, devname,
 914                            env_noset, env_nounset);
 915                 }
 916         }
 917         return (0);
 918 }
 919
 920 #endif /* LOADER_ZFS_SUPPORT */
 921
 922 int
 923 main(int (*openfirm)(void *))
 924 {
 925         char bootpath[64];
 926         char compatible[32];
 927         struct devsw **dp;
 928
 929         /*
 930          * Tell the Open Firmware functions where they find the OFW gate.
 931          */
 932         OF_init(openfirm);
 933
 934         archsw.arch_getdev = ofw_getdev;
 935         archsw.arch_copyin = sparc64_copyin;
 936         archsw.arch_copyout = ofw_copyout;
 937         archsw.arch_readin = sparc64_readin;
 938         archsw.arch_autoload = sparc64_autoload;
 939         archsw.arch_maphint = sparc64_maphint;
 940
 941         if (init_heap() == (vm_offset_t)-1)
 942                 OF_exit();
 943         setheap((void *)heapva, (void *)(heapva + HEAPSZ));
 944
 945         /*
 946          * Probe for a console.
 947          */
 948         cons_probe();
 949
 950         if ((root = OF_peer(0)) == -1)
 951                 panic("%s: can't get root phandle", __func__);
 952         OF_getprop(root, "compatible", compatible, sizeof(compatible));
 953         if (!strcmp(compatible, "sun4v")) {
 954                 printf("\nBooting with sun4v support.\n");
 955                 mmu_ops = &mmu_ops_sun4v;
 956                 is_sun4v = 1;
 957         } else {
 958                 printf("\nBooting with sun4u support.\n");
 959                 mmu_ops = &mmu_ops_sun4u;
 960         }
 961
 962         mmu_ops->tlb_init();
 963
 964         /*
 965          * Set up the current device.
 966          */
 967         OF_getprop(chosen, "bootpath", bootpath, sizeof(bootpath));
 968
 969         /*
 970          * Sun compatible bootable CD-ROMs have a disk label placed
 971          * before the cd9660 data, with the actual filesystem being
 972          * in the first partition, while the other partitions contain
 973          * pseudo disk labels with embedded boot blocks for different
 974          * architectures, which may be followed by UFS filesystems.
 975          * The firmware will set the boot path to the partition it
 976          * boots from ('f' in the sun4u case), but we want the kernel
 977          * to be loaded from the cd9660 fs ('a'), so the boot path
 978          * needs to be altered.
 979          */
 980         if (bootpath[strlen(bootpath) - 2] == ':' &&
 981             bootpath[strlen(bootpath) - 1] == 'f' &&
 982             strstr(bootpath, "cdrom")) {
 983                 bootpath[strlen(bootpath) - 1] = 'a';
 984                 printf("Boot path set to %s\n", bootpath);
 985         }
 986
 987         env_setenv("currdev", EV_VOLATILE, bootpath,
 988             ofw_setcurrdev, env_nounset);
 989         env_setenv("loaddev", EV_VOLATILE, bootpath,
 990             env_noset, env_nounset);
 991
 992         /*
 993          * Initialize devices.
 994          */
 995         for (dp = devsw; *dp != 0; dp++)
 996                 if ((*dp)->dv_init != 0)
 997                         (*dp)->dv_init();
 998
 999         printf("\n");
1000         printf("%s, Revision %s\n", bootprog_name, bootprog_rev);
1001         printf("(%s, %s)\n", bootprog_maker, bootprog_date);
1002         printf("bootpath=\"%s\"\n", bootpath);
1003
1004         /* Give control to the machine independent loader code. */
1005         interact();
1006         return (1);
1007 }
1008
1009 COMMAND_SET(heap, "heap", "show heap usage", command_heap);
1010
1011 static int
1012 command_heap(int argc, char *argv[])
1013 {
1014
1015         mallocstats();
1016         printf("heap base at %p, top at %p, upper limit at %p\n", heapva,
1017             sbrk(0), heapva + HEAPSZ);
1018         return(CMD_OK);
1019 }
1020
1021 COMMAND_SET(reboot, "reboot", "reboot the system", command_reboot);
1022
1023 static int
1024 command_reboot(int argc, char *argv[])
1025 {
1026         int i;
1027
1028         for (i = 0; devsw[i] != NULL; ++i)
1029                 if (devsw[i]->dv_cleanup != NULL)
1030                         (devsw[i]->dv_cleanup)();
1031
1032         printf("Rebooting...\n");
1033         OF_exit();
1034 }
1035
1036 /* provide this for panic, as it's not in the startup code */
1037 void
1038 exit(int code)
1039 {
1040
1041         OF_exit();
1042 }
1043
1044 #ifdef LOADER_DEBUG
1045 static const char *const page_sizes[] = {
1046         "  8k", " 64k", "512k", "  4m"
1047 };
1048
1049 static void
1050 pmap_print_tte_sun4u(tte_t tag, tte_t tte)
1051 {
1052
1053         printf("%s %s ",
1054             page_sizes[(tte >> TD_SIZE_SHIFT) & TD_SIZE_MASK],
1055             tag & TD_G ? "G" : " ");
1056         printf(tte & TD_W ? "W " : "  ");
1057         printf(tte & TD_P ? "\e[33mP\e[0m " : "  ");
1058         printf(tte & TD_E ? "E " : "  ");
1059         printf(tte & TD_CV ? "CV " : "   ");
1060         printf(tte & TD_CP ? "CP " : "   ");
1061         printf(tte & TD_L ? "\e[32mL\e[0m " : "  ");
1062         printf(tte & TD_IE ? "IE " : "   ");
1063         printf(tte & TD_NFO ? "NFO " : "    ");
1064         printf("pa=0x%lx va=0x%lx ctx=%ld\n",
1065             TD_PA(tte), TLB_TAR_VA(tag), TLB_TAR_CTX(tag));
1066 }
1067
1068 static void
1069 pmap_print_tlb_sun4u(void)
1070 {
1071         tte_t tag, tte;
1072         u_long pstate;
1073         int i;
1074
1075         pstate = rdpr(pstate);
1076         for (i = 0; i < itlb_slot_max; i++) {
1077                 wrpr(pstate, pstate & ~PSTATE_IE, 0);
1078                 tte = itlb_get_data_sun4u(tlb_locked, i);
1079                 wrpr(pstate, pstate, 0);
1080                 if (!(tte & TD_V))
1081                         continue;
1082                 tag = ldxa(TLB_DAR_SLOT(tlb_locked, i),
1083                     ASI_ITLB_TAG_READ_REG);
1084                 printf("iTLB-%2u: ", i);
1085                 pmap_print_tte_sun4u(tag, tte);
1086         }
1087         for (i = 0; i < dtlb_slot_max; i++) {
1088                 wrpr(pstate, pstate & ~PSTATE_IE, 0);
1089                 tte = dtlb_get_data_sun4u(tlb_locked, i);
1090                 wrpr(pstate, pstate, 0);
1091                 if (!(tte & TD_V))
1092                         continue;
1093                 tag = ldxa(TLB_DAR_SLOT(tlb_locked, i),
1094                     ASI_DTLB_TAG_READ_REG);
1095                 printf("dTLB-%2u: ", i);
1096                 pmap_print_tte_sun4u(tag, tte);
1097         }
1098 }
1099 #endif