sys/powerpc/powerpc/swtch32.S

   1 /* $FreeBSD$ */
   2 /* $NetBSD: locore.S,v 1.24 2000/05/31 05:09:17 thorpej Exp $ */
   3
   4 /*-
   5  * Copyright (C) 2001 Benno Rice
   6  * All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY Benno Rice ``AS IS'' AND ANY EXPRESS OR
  18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20  * IN NO EVENT SHALL TOOLS GMBH BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  21  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  22  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
  23  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
  24  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
  25  * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
  26  * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27 */
  28 /*-
  29  * Copyright (C) 1995, 1996 Wolfgang Solfrank.
  30  * Copyright (C) 1995, 1996 TooLs GmbH.
  31  * All rights reserved.
  32  *
  33  * Redistribution and use in source and binary forms, with or without
  34  * modification, are permitted provided that the following conditions
  35  * are met:
  36  * 1. Redistributions of source code must retain the above copyright
  37  *    notice, this list of conditions and the following disclaimer.
  38  * 2. Redistributions in binary form must reproduce the above copyright
  39  *    notice, this list of conditions and the following disclaimer in the
  40  *    documentation and/or other materials provided with the distribution.
  41  * 3. All advertising materials mentioning features or use of this software
  42  *    must display the following acknowledgement:
  43  *      This product includes software developed by TooLs GmbH.
  44  * 4. The name of TooLs GmbH may not be used to endorse or promote products
  45  *    derived from this software without specific prior written permission.
  46  *
  47  * THIS SOFTWARE IS PROVIDED BY TOOLS GMBH ``AS IS'' AND ANY EXPRESS OR
  48  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  49  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  50  * IN NO EVENT SHALL TOOLS GMBH BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  51  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  52  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
  53  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
  54  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
  55  * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
  56  * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  57  */
  58
  59 #include "assym.inc"
  60 #include "opt_sched.h"
  61
  62 #include <sys/syscall.h>
  63
  64 #include <machine/trap.h>
  65 #include <machine/param.h>
  66 #include <machine/asm.h>
  67 #include <machine/spr.h>
  68
  69 /*
  70  * void cpu_throw(struct thread *old, struct thread *new)
  71  */
  72 ENTRY(cpu_throw)
  73         mr      %r2, %r4
  74         li      %r14,0  /* Tell cpu_switchin not to release a thread */
  75
  76         b       cpu_switchin
  77
  78 /*
  79  * void cpu_switch(struct thread *old,
  80  *                 struct thread *new,
  81  *                 struct mutex *mtx);
  82  *
  83  * Switch to a new thread saving the current state in the old thread.
  84  */
  85 ENTRY(cpu_switch)
  86         lwz     %r6,TD_PCB(%r3)         /* Get the old thread's PCB ptr */
  87         stmw    %r12,PCB_CONTEXT(%r6)   /* Save the non-volatile GP regs.
  88                                            These can now be used for scratch */
  89
  90         mfcr    %r16                    /* Save the condition register */
  91         stw     %r16,PCB_CR(%r6)
  92         mflr    %r16                    /* Save the link register */
  93         stw     %r16,PCB_LR(%r6)
  94         stw     %r1,PCB_SP(%r6)         /* Save the stack pointer */
  95         bl      1f
  96 1:
  97         mflr    %r30                    /* Prepare for secure-PLT calls */
  98         addis   %r30, %r30, (_GLOBAL_OFFSET_TABLE_-1b)@ha
  99         addi    %r30, %r30, (_GLOBAL_OFFSET_TABLE_-1b)@l
 100
 101         mr      %r14,%r3                /* Copy the old thread ptr... */
 102         mr      %r2,%r4                 /* and the new thread ptr in curthread */
 103         mr      %r16,%r5                /* and the new lock */
 104         mr      %r17,%r6                /* and the PCB */
 105
 106         lwz     %r18,PCB_FLAGS(%r17)
 107         /* Save FPU context if needed */
 108         andi.   %r7, %r18, PCB_FPU
 109         beq     .L1
 110         bl      save_fpu
 111
 112 .L1:
 113         mr      %r3,%r14                /* restore old thread ptr */
 114         /* Save Altivec context if needed */
 115         andi.   %r7, %r18, PCB_VEC
 116         beq     .L2
 117         bl      save_vec
 118
 119 .L2:
 120 #if defined(__SPE__)
 121         mfspr   %r3,SPR_SPEFSCR
 122         stw     %r3,PCB_VSCR(%r17)
 123 #endif
 124         mr      %r3,%r14                /* restore old thread ptr */
 125         bl      pmap_deactivate         /* Deactivate the current pmap */
 126
 127         sync                            /* Make sure all of that finished */
 128
 129 cpu_switchin:
 130 #if defined(SMP) && defined(SCHED_ULE)
 131         /* Wait for the new thread to become unblocked */
 132         bl      1f
 133 1:
 134         mflr    %r6
 135         addis   %r6,%r6,(_GLOBAL_OFFSET_TABLE_-1b)@ha
 136         addi    %r6,%r6,(_GLOBAL_OFFSET_TABLE_-1b)@l
 137         mr      %r30, %r6               /* Prepare for secure-PLT calls */
 138         lwz     %r6,blocked_lock@got(%r6)
 139 blocked_loop:
 140         lwz     %r7,TD_LOCK(%r2)
 141         cmpw    %r6,%r7
 142         beq-    blocked_loop
 143         isync
 144 #endif
 145
 146         lwz     %r17,TD_PCB(%r2)        /* Get new current PCB */
 147         lwz     %r1,PCB_SP(%r17)        /* Load new stack pointer */
 148
 149         /* Release old thread now that we have a stack pointer set up */
 150         cmpwi   %r14,0
 151         beq-    1f
 152         stw     %r16,TD_LOCK(%r14)      /* ULE: update old thread's lock */
 153
 154 1:      mfsprg  %r7,0                   /* Get the pcpu pointer */
 155         stw     %r2,PC_CURTHREAD(%r7)   /* Store new current thread */
 156         lwz     %r17,TD_PCB(%r2)        /* Store new current PCB */
 157         stw     %r17,PC_CURPCB(%r7)
 158
 159         mr      %r3,%r2                 /* Get new thread ptr */
 160         bl      pmap_activate           /* Activate the new address space */
 161
 162         lwz     %r19, PCB_FLAGS(%r17)
 163         /* Restore FPU context if needed */
 164         andi.   %r6, %r19, PCB_FPU
 165         beq     .L3
 166         mr      %r3,%r2                 /* Pass curthread to enable_fpu */
 167         bl      enable_fpu
 168
 169 .L3:
 170         /* Restore Altivec context if needed */
 171         andi.   %r6, %r19, PCB_VEC
 172         beq     .L4
 173         mr      %r3,%r2                 /* Pass curthread to enable_vec */
 174         bl      enable_vec
 175
 176 .L4:
 177 #if defined(__SPE__)
 178         lwz     %r3,PCB_VSCR(%r17)
 179         mtspr   SPR_SPEFSCR,%r3
 180 #endif
 181         /* thread to restore is in r3 */
 182         mr      %r3,%r17                /* Recover PCB ptr */
 183         lmw     %r12,PCB_CONTEXT(%r3)   /* Load the non-volatile GP regs */
 184         lwz     %r5,PCB_CR(%r3)         /* Load the condition register */
 185         mtcr    %r5
 186         lwz     %r5,PCB_LR(%r3)         /* Load the link register */
 187         mtlr    %r5
 188         lwz     %r1,PCB_SP(%r3)         /* Load the stack pointer */
 189         /*
 190          * Perform a dummy stwcx. to clear any reservations we may have
 191          * inherited from the previous thread. It doesn't matter if the
 192          * stwcx succeeds or not. pcb_context[0] can be clobbered.
 193          */
 194         stwcx.  %r1, 0, %r3
 195         blr
 196
 197 /*
 198  * savectx(pcb)
 199  * Update pcb, saving current processor state
 200  */
 201 ENTRY(savectx)
 202         stmw    %r12,PCB_CONTEXT(%r3)   /* Save the non-volatile GP regs */
 203         mfcr    %r4                     /* Save the condition register */
 204         stw     %r4,PCB_CR(%r3)
 205         stw     %r1,PCB_SP(%r3)         /* Save the stack pointer */
 206         mflr    %r4                     /* Save the link register */
 207         stw     %r4,PCB_LR(%r3)
 208         blr
 209
 210 /*
 211  * fork_trampoline()
 212  * Set up the return from cpu_fork()
 213  */
 214 ENTRY(fork_trampoline)
 215         lwz     %r3,CF_FUNC(%r1)
 216         lwz     %r4,CF_ARG0(%r1)
 217         lwz     %r5,CF_ARG1(%r1)
 218         bl      fork_exit
 219         addi    %r1,%r1,CF_SIZE-FSP     /* Allow 8 bytes in front of
 220                                            trapframe to simulate FRAME_SETUP
 221                                            does when allocating space for
 222                                            a frame pointer/saved LR */
 223 #ifdef __SPE__
 224         li      %r3,SPEFSCR_FINVE|SPEFSCR_FDBZE|SPEFSCR_FUNFE|SPEFSCR_FOVFE
 225         mtspr   SPR_SPEFSCR, %r3
 226 #endif
 227         b       trapexit