sys/powerpc/aim/mp_cpudep.c

   1 /*-
   2  * Copyright (c) 2008 Marcel Moolenaar
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  *
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  16  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  17  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  18  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  19  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  20  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  21  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  22  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  23  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  24  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  25  */
  26
  27 #include <sys/cdefs.h>
  28 __FBSDID("$FreeBSD$");
  29
  30 #include <sys/param.h>
  31 #include <sys/systm.h>
  32 #include <sys/kernel.h>
  33 #include <sys/bus.h>
  34 #include <sys/pcpu.h>
  35 #include <sys/proc.h>
  36 #include <sys/smp.h>
  37
  38 #include <machine/bus.h>
  39 #include <machine/cpu.h>
  40 #include <machine/hid.h>
  41 #include <machine/intr_machdep.h>
  42 #include <machine/pcb.h>
  43 #include <machine/psl.h>
  44 #include <machine/smp.h>
  45 #include <machine/spr.h>
  46 #include <machine/trap.h>
  47
  48 #include <dev/ofw/openfirm.h>
  49 #include <machine/ofw_machdep.h>
  50
  51 void *ap_pcpu;
  52
  53 static register_t bsp_state[8] __aligned(8);
  54
  55 static void cpudep_save_config(void *dummy);
  56 SYSINIT(cpu_save_config, SI_SUB_CPU, SI_ORDER_ANY, cpudep_save_config, NULL);
  57
  58 void
  59 cpudep_ap_early_bootstrap(void)
  60 {
  61 #ifndef __powerpc64__
  62         register_t reg;
  63 #endif
  64
  65         __asm __volatile("mtsprg 0, %0" :: "r"(ap_pcpu));
  66         powerpc_sync();
  67
  68         switch (mfpvr() >> 16) {
  69         case IBM970:
  70         case IBM970FX:
  71         case IBM970MP:
  72                 /* Restore HID4 and HID5, which are necessary for the MMU */
  73
  74 #ifdef __powerpc64__
  75                 mtspr(SPR_HID4, bsp_state[2]); powerpc_sync(); isync();
  76                 mtspr(SPR_HID5, bsp_state[3]); powerpc_sync(); isync();
  77 #else
  78                 __asm __volatile("ld %0, 16(%2); sync; isync;   \
  79                     mtspr %1, %0; sync; isync;"
  80                     : "=r"(reg) : "K"(SPR_HID4), "b"(bsp_state));
  81                 __asm __volatile("ld %0, 24(%2); sync; isync;   \
  82                     mtspr %1, %0; sync; isync;"
  83                     : "=r"(reg) : "K"(SPR_HID5), "b"(bsp_state));
  84 #endif
  85                 powerpc_sync();
  86                 break;
  87         }
  88 }
  89
  90 uintptr_t
  91 cpudep_ap_bootstrap(void)
  92 {
  93         register_t msr, sp;
  94
  95         msr = PSL_KERNSET & ~PSL_EE;
  96         mtmsr(msr);
  97
  98         pcpup->pc_curthread = pcpup->pc_idlethread;
  99 #ifdef __powerpc64__
 100         __asm __volatile("mr 13,%0" :: "r"(pcpup->pc_curthread));
 101 #else
 102         __asm __volatile("mr 2,%0" :: "r"(pcpup->pc_curthread));
 103 #endif
 104         pcpup->pc_curpcb = pcpup->pc_curthread->td_pcb;
 105         sp = pcpup->pc_curpcb->pcb_sp;
 106
 107         return (sp);
 108 }
 109
 110 static register_t
 111 mpc74xx_l2_enable(register_t l2cr_config)
 112 {
 113         register_t ccr, bit;
 114         uint16_t        vers;
 115
 116         vers = mfpvr() >> 16;
 117         switch (vers) {
 118         case MPC7400:
 119         case MPC7410:
 120                 bit = L2CR_L2IP;
 121                 break;
 122         default:
 123                 bit = L2CR_L2I;
 124                 break;
 125         }
 126
 127         ccr = mfspr(SPR_L2CR);
 128         if (ccr & L2CR_L2E)
 129                 return (ccr);
 130
 131         /* Configure L2 cache. */
 132         ccr = l2cr_config & ~L2CR_L2E;
 133         mtspr(SPR_L2CR, ccr | L2CR_L2I);
 134         do {
 135                 ccr = mfspr(SPR_L2CR);
 136         } while (ccr & bit);
 137         powerpc_sync();
 138         mtspr(SPR_L2CR, l2cr_config);
 139         powerpc_sync();
 140
 141         return (l2cr_config);
 142 }
 143
 144 static register_t
 145 mpc745x_l3_enable(register_t l3cr_config)
 146 {
 147         register_t ccr;
 148
 149         ccr = mfspr(SPR_L3CR);
 150         if (ccr & L3CR_L3E)
 151                 return (ccr);
 152
 153         /* Configure L3 cache. */
 154         ccr = l3cr_config & ~(L3CR_L3E | L3CR_L3I | L3CR_L3PE | L3CR_L3CLKEN);
 155         mtspr(SPR_L3CR, ccr);
 156         ccr |= 0x4000000;       /* Magic, but documented. */
 157         mtspr(SPR_L3CR, ccr);
 158         ccr |= L3CR_L3CLKEN;
 159         mtspr(SPR_L3CR, ccr);
 160         mtspr(SPR_L3CR, ccr | L3CR_L3I);
 161         while (mfspr(SPR_L3CR) & L3CR_L3I)
 162                 ;
 163         mtspr(SPR_L3CR, ccr & ~L3CR_L3CLKEN);
 164         powerpc_sync();
 165         DELAY(100);
 166         mtspr(SPR_L3CR, ccr);
 167         powerpc_sync();
 168         DELAY(100);
 169         ccr |= L3CR_L3E;
 170         mtspr(SPR_L3CR, ccr);
 171         powerpc_sync();
 172
 173         return(ccr);
 174 }
 175
 176 static register_t
 177 mpc74xx_l1d_enable(void)
 178 {
 179         register_t hid;
 180
 181         hid = mfspr(SPR_HID0);
 182         if (hid & HID0_DCE)
 183                 return (hid);
 184
 185         /* Enable L1 D-cache */
 186         hid |= HID0_DCE;
 187         powerpc_sync();
 188         mtspr(SPR_HID0, hid | HID0_DCFI);
 189         powerpc_sync();
 190
 191         return (hid);
 192 }
 193
 194 static register_t
 195 mpc74xx_l1i_enable(void)
 196 {
 197         register_t hid;
 198
 199         hid = mfspr(SPR_HID0);
 200         if (hid & HID0_ICE)
 201                 return (hid);
 202
 203         /* Enable L1 I-cache */
 204         hid |= HID0_ICE;
 205         isync();
 206         mtspr(SPR_HID0, hid | HID0_ICFI);
 207         isync();
 208
 209         return (hid);
 210 }
 211
 212 static void
 213 cpudep_save_config(void *dummy)
 214 {
 215         uint16_t        vers;
 216
 217         vers = mfpvr() >> 16;
 218
 219         switch(vers) {
 220         case IBM970:
 221         case IBM970FX:
 222         case IBM970MP:
 223                 #ifdef __powerpc64__
 224                 bsp_state[0] = mfspr(SPR_HID0);
 225                 bsp_state[1] = mfspr(SPR_HID1);
 226                 bsp_state[2] = mfspr(SPR_HID4);
 227                 bsp_state[3] = mfspr(SPR_HID5);
 228                 #else
 229                 __asm __volatile ("mfspr %0,%2; mr %1,%0; srdi %0,%0,32"
 230                     : "=r" (bsp_state[0]),"=r" (bsp_state[1]) : "K" (SPR_HID0));
 231                 __asm __volatile ("mfspr %0,%2; mr %1,%0; srdi %0,%0,32"
 232                     : "=r" (bsp_state[2]),"=r" (bsp_state[3]) : "K" (SPR_HID1));
 233                 __asm __volatile ("mfspr %0,%2; mr %1,%0; srdi %0,%0,32"
 234                     : "=r" (bsp_state[4]),"=r" (bsp_state[5]) : "K" (SPR_HID4));
 235                 __asm __volatile ("mfspr %0,%2; mr %1,%0; srdi %0,%0,32"
 236                     : "=r" (bsp_state[6]),"=r" (bsp_state[7]) : "K" (SPR_HID5));
 237                 #endif
 238
 239                 powerpc_sync();
 240
 241                 break;
 242         case IBMCELLBE:
 243                 #ifdef NOTYET /* Causes problems if in instruction stream on 970 */
 244                 if (mfmsr() & PSL_HV) {
 245                         bsp_state[0] = mfspr(SPR_HID0);
 246                         bsp_state[1] = mfspr(SPR_HID1);
 247                         bsp_state[2] = mfspr(SPR_HID4);
 248                         bsp_state[3] = mfspr(SPR_HID6);
 249
 250                         bsp_state[4] = mfspr(SPR_CELL_TSCR);
 251                 }
 252                 #endif
 253
 254                 bsp_state[5] = mfspr(SPR_CELL_TSRL);
 255
 256                 break;
 257         case MPC7450:
 258         case MPC7455:
 259         case MPC7457:
 260                 /* Only MPC745x CPUs have an L3 cache. */
 261                 bsp_state[3] = mfspr(SPR_L3CR);
 262
 263                 /* Fallthrough */
 264         case MPC7400:
 265         case MPC7410:
 266         case MPC7447A:
 267         case MPC7448:
 268                 bsp_state[2] = mfspr(SPR_L2CR);
 269                 bsp_state[1] = mfspr(SPR_HID1);
 270                 bsp_state[0] = mfspr(SPR_HID0);
 271                 break;
 272         }
 273 }
 274
 275 void
 276 cpudep_ap_setup()
 277 {
 278         register_t      reg;
 279         uint16_t        vers;
 280
 281         vers = mfpvr() >> 16;
 282
 283         /* The following is needed for restoring from sleep. */
 284         platform_smp_timebase_sync(0, 1);
 285
 286         switch(vers) {
 287         case IBM970:
 288         case IBM970FX:
 289         case IBM970MP:
 290                 /* Set HIOR to 0 */
 291                 __asm __volatile("mtspr 311,%0" :: "r"(0));
 292                 powerpc_sync();
 293
 294                 /*
 295                  * The 970 has strange rules about how to update HID registers.
 296                  * See Table 2-3, 970MP manual
 297                  *
 298                  * Note: HID4 and HID5 restored already in
 299                  * cpudep_ap_early_bootstrap()
 300                  */
 301
 302                 __asm __volatile("mtasr %0; sync" :: "r"(0));
 303         #ifdef __powerpc64__
 304                 __asm __volatile(" \
 305                         sync; isync;                                    \
 306                         mtspr   %1, %0;                                 \
 307                         mfspr   %0, %1; mfspr   %0, %1; mfspr   %0, %1; \
 308                         mfspr   %0, %1; mfspr   %0, %1; mfspr   %0, %1; \
 309                         sync; isync"
 310                     :: "r"(bsp_state[0]), "K"(SPR_HID0));
 311                 __asm __volatile("sync; isync;  \
 312                     mtspr %1, %0; mtspr %1, %0; sync; isync"
 313                     :: "r"(bsp_state[1]), "K"(SPR_HID1));
 314         #else
 315                 __asm __volatile(" \
 316                         ld      %0,0(%2);                               \
 317                         sync; isync;                                    \
 318                         mtspr   %1, %0;                                 \
 319                         mfspr   %0, %1; mfspr   %0, %1; mfspr   %0, %1; \
 320                         mfspr   %0, %1; mfspr   %0, %1; mfspr   %0, %1; \
 321                         sync; isync"
 322                     : "=r"(reg) : "K"(SPR_HID0), "b"(bsp_state));
 323                 __asm __volatile("ld %0, 8(%2); sync; isync;    \
 324                     mtspr %1, %0; mtspr %1, %0; sync; isync"
 325                     : "=r"(reg) : "K"(SPR_HID1), "b"(bsp_state));
 326         #endif
 327
 328                 powerpc_sync();
 329                 break;
 330         case IBMCELLBE:
 331                 #ifdef NOTYET /* Causes problems if in instruction stream on 970 */
 332                 if (mfmsr() & PSL_HV) {
 333                         mtspr(SPR_HID0, bsp_state[0]);
 334                         mtspr(SPR_HID1, bsp_state[1]);
 335                         mtspr(SPR_HID4, bsp_state[2]);
 336                         mtspr(SPR_HID6, bsp_state[3]);
 337
 338                         mtspr(SPR_CELL_TSCR, bsp_state[4]);
 339                 }
 340                 #endif
 341
 342                 mtspr(SPR_CELL_TSRL, bsp_state[5]);
 343
 344                 break;
 345         case MPC7400:
 346         case MPC7410:
 347         case MPC7447A:
 348         case MPC7448:
 349         case MPC7450:
 350         case MPC7455:
 351         case MPC7457:
 352                 /* XXX: Program the CPU ID into PIR */
 353                 __asm __volatile("mtspr 1023,%0" :: "r"(PCPU_GET(cpuid)));
 354
 355                 powerpc_sync();
 356                 isync();
 357
 358                 mtspr(SPR_HID0, bsp_state[0]); isync();
 359                 mtspr(SPR_HID1, bsp_state[1]); isync();
 360
 361                 /* Now enable the L3 cache. */
 362                 switch (vers) {
 363                 case MPC7450:
 364                 case MPC7455:
 365                 case MPC7457:
 366                         /* Only MPC745x CPUs have an L3 cache. */
 367                         reg = mpc745x_l3_enable(bsp_state[3]);
 368                 default:
 369                         break;
 370                 }
 371
 372                 reg = mpc74xx_l2_enable(bsp_state[2]);
 373                 reg = mpc74xx_l1d_enable();
 374                 reg = mpc74xx_l1i_enable();
 375
 376                 break;
 377         case IBMPOWER7:
 378         case IBMPOWER7PLUS:
 379         case IBMPOWER8:
 380         case IBMPOWER8E:
 381                 if (mfmsr() & PSL_HV)
 382                         mtspr(SPR_LPCR, mfspr(SPR_LPCR) | LPCR_LPES);
 383                 break;
 384         default:
 385 #ifdef __powerpc64__
 386                 if (!(mfmsr() & PSL_HV)) /* Rely on HV to have set things up */
 387                         break;
 388 #endif
 389                 printf("WARNING: Unknown CPU type. Cache performace may be "
 390                     "suboptimal.\n");
 391                 break;
 392         }
 393 }
 394