sys/powerpc/powerpc/swtch64.S

   1 /* $FreeBSD$ */
   2 /* $NetBSD: locore.S,v 1.24 2000/05/31 05:09:17 thorpej Exp $ */
   3
   4 /*-
   5  * Copyright (C) 2001 Benno Rice
   6  * All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY Benno Rice ``AS IS'' AND ANY EXPRESS OR
  18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20  * IN NO EVENT SHALL TOOLS GMBH BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  21  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  22  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
  23  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
  24  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
  25  * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
  26  * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27 */
  28 /*-
  29  * Copyright (C) 1995, 1996 Wolfgang Solfrank.
  30  * Copyright (C) 1995, 1996 TooLs GmbH.
  31  * All rights reserved.
  32  *
  33  * Redistribution and use in source and binary forms, with or without
  34  * modification, are permitted provided that the following conditions
  35  * are met:
  36  * 1. Redistributions of source code must retain the above copyright
  37  *    notice, this list of conditions and the following disclaimer.
  38  * 2. Redistributions in binary form must reproduce the above copyright
  39  *    notice, this list of conditions and the following disclaimer in the
  40  *    documentation and/or other materials provided with the distribution.
  41  * 3. All advertising materials mentioning features or use of this software
  42  *    must display the following acknowledgement:
  43  *      This product includes software developed by TooLs GmbH.
  44  * 4. The name of TooLs GmbH may not be used to endorse or promote products
  45  *    derived from this software without specific prior written permission.
  46  *
  47  * THIS SOFTWARE IS PROVIDED BY TOOLS GMBH ``AS IS'' AND ANY EXPRESS OR
  48  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  49  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  50  * IN NO EVENT SHALL TOOLS GMBH BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  51  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  52  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
  53  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
  54  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
  55  * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
  56  * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  57  */
  58
  59 #include "assym.s"
  60 #include "opt_sched.h"
  61
  62 #include <sys/syscall.h>
  63
  64 #include <machine/trap.h>
  65 #include <machine/param.h>
  66 #include <machine/asm.h>
  67
  68 TOC_ENTRY(blocked_lock)
  69
  70 /*
  71  * void cpu_throw(struct thread *old, struct thread *new)
  72  */
  73 ENTRY(cpu_throw)
  74         mr      %r13, %r4
  75         b       cpu_switchin
  76
  77 /*
  78  * void cpu_switch(struct thread *old,
  79  *                 struct thread *new,
  80  *                 struct mutex *mtx);
  81  *
  82  * Switch to a new thread saving the current state in the old thread.
  83  */
  84 ENTRY(cpu_switch)
  85         ld      %r6,TD_PCB(%r3)         /* Get the old thread's PCB ptr */
  86         std     %r12,PCB_CONTEXT(%r6)   /* Save the non-volatile GP regs.
  87                                            These can now be used for scratch */
  88         std     %r14,PCB_CONTEXT+2*8(%r6)
  89         std     %r15,PCB_CONTEXT+3*8(%r6)
  90         std     %r16,PCB_CONTEXT+4*8(%r6)
  91         std     %r17,PCB_CONTEXT+5*8(%r6)
  92         std     %r18,PCB_CONTEXT+6*8(%r6)
  93         std     %r19,PCB_CONTEXT+7*8(%r6)
  94         std     %r20,PCB_CONTEXT+8*8(%r6)
  95         std     %r21,PCB_CONTEXT+9*8(%r6)
  96         std     %r22,PCB_CONTEXT+10*8(%r6)
  97         std     %r23,PCB_CONTEXT+11*8(%r6)
  98         std     %r24,PCB_CONTEXT+12*8(%r6)
  99         std     %r25,PCB_CONTEXT+13*8(%r6)
 100         std     %r26,PCB_CONTEXT+14*8(%r6)
 101         std     %r27,PCB_CONTEXT+15*8(%r6)
 102         std     %r28,PCB_CONTEXT+16*8(%r6)
 103         std     %r29,PCB_CONTEXT+17*8(%r6)
 104         std     %r30,PCB_CONTEXT+18*8(%r6)
 105         std     %r31,PCB_CONTEXT+19*8(%r6)
 106
 107         mfcr    %r16                    /* Save the condition register */
 108         std     %r16,PCB_CR(%r6)
 109         mflr    %r16                    /* Save the link register */
 110         std     %r16,PCB_LR(%r6)
 111         std     %r1,PCB_SP(%r6)         /* Save the stack pointer */
 112         std     %r2,PCB_TOC(%r6)        /* Save the TOC pointer */
 113
 114         mr      %r14,%r3                /* Copy the old thread ptr... */
 115         mr      %r13,%r4                /* and the new thread ptr in curthread*/
 116         mr      %r16,%r5                /* and the new lock */
 117         mr      %r17,%r6                /* and the PCB */
 118
 119         stdu    %r1,-48(%r1)
 120
 121         lwz     %r7,PCB_FLAGS(%r17)
 122         /* Save FPU context if needed */
 123         andi.   %r7, %r7, PCB_FPU
 124         beq     .L1
 125         bl      save_fpu
 126         nop
 127
 128 .L1:
 129         mr      %r3,%r14                /* restore old thread ptr */
 130         lwz     %r7,PCB_FLAGS(%r17)
 131         /* Save Altivec context if needed */
 132         andi.   %r7, %r7, PCB_VEC
 133         beq     .L2
 134         bl      save_vec
 135         nop
 136
 137 .L2:
 138         mr      %r3,%r14                /* restore old thread ptr */
 139         bl      pmap_deactivate /* Deactivate the current pmap */
 140         nop
 141
 142         addi    %r1,%r1,48
 143
 144         sync                            /* Make sure all of that finished */
 145         std     %r16,TD_LOCK(%r14)      /* ULE: update old thread's lock */
 146
 147 cpu_switchin:
 148 #if defined(SMP) && defined(SCHED_ULE)
 149         /* Wait for the new thread to become unblocked */
 150         ld      %r6,TOC_REF(blocked_lock)(%r2)
 151 blocked_loop:
 152         ld      %r7,TD_LOCK(%r13)
 153         cmpd    %r6,%r7
 154         beq-    blocked_loop
 155         isync
 156 #endif
 157
 158         mfsprg  %r7,0                   /* Get the pcpu pointer */
 159         std     %r13,PC_CURTHREAD(%r7)  /* Store new current thread */
 160         ld      %r17,TD_PCB(%r13)       /* Store new current PCB */
 161         std     %r17,PC_CURPCB(%r7)
 162
 163         stdu    %r1,-48(%r1)
 164
 165         mr      %r3,%r13                /* Get new thread ptr */
 166         bl      pmap_activate           /* Activate the new address space */
 167         nop
 168
 169         lwz     %r6, PCB_FLAGS(%r17)
 170         /* Restore FPU context if needed */
 171         andi.   %r6, %r6, PCB_FPU
 172         beq     .L3
 173         mr      %r3,%r13                /* Pass curthread to enable_fpu */
 174         bl      enable_fpu
 175         nop
 176
 177 .L3:
 178         lwz     %r6, PCB_FLAGS(%r17)
 179         /* Restore Altivec context if needed */
 180         andi.   %r6, %r6, PCB_VEC
 181         beq     .L4
 182         mr      %r3,%r13                /* Pass curthread to enable_vec */
 183         bl      enable_vec
 184         nop
 185
 186         /* thread to restore is in r3 */
 187 .L4:
 188         addi    %r1,%r1,48
 189         mr      %r3,%r17                /* Recover PCB ptr */
 190         ld      %r12,PCB_CONTEXT(%r3)   /* Load the non-volatile GP regs. */
 191         ld      %r14,PCB_CONTEXT+2*8(%r3)
 192         ld      %r15,PCB_CONTEXT+3*8(%r3)
 193         ld      %r16,PCB_CONTEXT+4*8(%r3)
 194         ld      %r17,PCB_CONTEXT+5*8(%r3)
 195         ld      %r18,PCB_CONTEXT+6*8(%r3)
 196         ld      %r19,PCB_CONTEXT+7*8(%r3)
 197         ld      %r20,PCB_CONTEXT+8*8(%r3)
 198         ld      %r21,PCB_CONTEXT+9*8(%r3)
 199         ld      %r22,PCB_CONTEXT+10*8(%r3)
 200         ld      %r23,PCB_CONTEXT+11*8(%r3)
 201         ld      %r24,PCB_CONTEXT+12*8(%r3)
 202         ld      %r25,PCB_CONTEXT+13*8(%r3)
 203         ld      %r26,PCB_CONTEXT+14*8(%r3)
 204         ld      %r27,PCB_CONTEXT+15*8(%r3)
 205         ld      %r28,PCB_CONTEXT+16*8(%r3)
 206         ld      %r29,PCB_CONTEXT+17*8(%r3)
 207         ld      %r30,PCB_CONTEXT+18*8(%r3)
 208         ld      %r31,PCB_CONTEXT+19*8(%r3)
 209         ld      %r5,PCB_CR(%r3)         /* Load the condition register */
 210         mtcr    %r5
 211         ld      %r5,PCB_LR(%r3)         /* Load the link register */
 212         mtlr    %r5
 213         ld      %r1,PCB_SP(%r3)         /* Load the stack pointer */
 214         ld      %r2,PCB_TOC(%r3)        /* Load the TOC pointer */
 215
 216         lis     %r5,USER_ADDR@highesta  /* Load the copyin/out segment reg */
 217         ori     %r5,%r5,USER_ADDR@highera
 218         sldi    %r5,%r5,32
 219         oris    %r5,%r5,USER_ADDR@ha
 220         isync
 221         slbie   %r5
 222         lis     %r6,USER_SLB_SLBE@highesta
 223         ori     %r6,%r6,USER_SLB_SLBE@highera
 224         sldi    %r6,%r6,32
 225         oris    %r6,%r6,USER_SLB_SLBE@ha
 226         ori     %r6,%r6,USER_SLB_SLBE@l
 227         ld      %r5,PCB_AIM_USR_VSID(%r3)
 228         slbmte  %r5,%r6
 229         isync
 230
 231         /*
 232          * Perform a dummy stdcx. to clear any reservations we may have
 233          * inherited from the previous thread. It doesn't matter if the
 234          * stdcx succeeds or not. pcb_context[0] can be clobbered.
 235          */
 236         stdcx.  %r1, 0, %r3
 237         blr
 238
 239 /*
 240  * savectx(pcb)
 241  * Update pcb, saving current processor state
 242  */
 243 ENTRY(savectx)
 244         std     %r12,PCB_CONTEXT(%r3)   /* Save the non-volatile GP regs. */
 245         std     %r13,PCB_CONTEXT+1*8(%r3)
 246         std     %r14,PCB_CONTEXT+2*8(%r3)
 247         std     %r15,PCB_CONTEXT+3*8(%r3)
 248         std     %r16,PCB_CONTEXT+4*8(%r3)
 249         std     %r17,PCB_CONTEXT+5*8(%r3)
 250         std     %r18,PCB_CONTEXT+6*8(%r3)
 251         std     %r19,PCB_CONTEXT+7*8(%r3)
 252         std     %r20,PCB_CONTEXT+8*8(%r3)
 253         std     %r21,PCB_CONTEXT+9*8(%r3)
 254         std     %r22,PCB_CONTEXT+10*8(%r3)
 255         std     %r23,PCB_CONTEXT+11*8(%r3)
 256         std     %r24,PCB_CONTEXT+12*8(%r3)
 257         std     %r25,PCB_CONTEXT+13*8(%r3)
 258         std     %r26,PCB_CONTEXT+14*8(%r3)
 259         std     %r27,PCB_CONTEXT+15*8(%r3)
 260         std     %r28,PCB_CONTEXT+16*8(%r3)
 261         std     %r29,PCB_CONTEXT+17*8(%r3)
 262         std     %r30,PCB_CONTEXT+18*8(%r3)
 263         std     %r31,PCB_CONTEXT+19*8(%r3)
 264
 265         mfcr    %r4                     /* Save the condition register */
 266         std     %r4,PCB_CR(%r3)
 267         std     %r2,PCB_TOC(%r3)        /* Save the TOC pointer */
 268         blr
 269
 270 /*
 271  * fork_trampoline()
 272  * Set up the return from cpu_fork()
 273  */
 274
 275 ENTRY_NOPROF(fork_trampoline)
 276         ld      %r3,CF_FUNC(%r1)
 277         ld      %r4,CF_ARG0(%r1)
 278         ld      %r5,CF_ARG1(%r1)
 279
 280         stdu    %r1,-48(%r1)
 281         bl      fork_exit
 282         nop
 283         addi    %r1,%r1,48+CF_SIZE-FSP  /* Allow 8 bytes in front of
 284                                            trapframe to simulate FRAME_SETUP
 285                                            does when allocating space for
 286                                            a frame pointer/saved LR */
 287         b       trapexit
 288         nop