sys/x86/x86/stack_machdep.c

   1 /*-
   2  * Copyright (c) 2015 EMC Corporation
   3  * Copyright (c) 2005 Antoine Brodin
   4  * All rights reserved.
   5  *
   6  * Redistribution and use in source and binary forms, with or without
   7  * modification, are permitted provided that the following conditions
   8  * are met:
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  16  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  17  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  18  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  19  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  20  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  21  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  22  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  23  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  24  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  25  * SUCH DAMAGE.
  26  */
  27
  28 #include <sys/cdefs.h>
  29 __FBSDID("$FreeBSD$");
  30
  31 #include "opt_stack.h"
  32
  33 #include <sys/param.h>
  34 #include <sys/systm.h>
  35 #include <sys/kernel.h>
  36 #include <sys/lock.h>
  37 #include <sys/mutex.h>
  38 #include <sys/proc.h>
  39 #include <sys/stack.h>
  40
  41 #include <machine/pcb.h>
  42 #include <machine/smp.h>
  43
  44 #include <vm/vm.h>
  45 #include <vm/vm_param.h>
  46 #include <vm/pmap.h>
  47
  48 #include <x86/stack.h>
  49
  50 #ifdef __i386__
  51 #define PCB_FP(pcb)     ((pcb)->pcb_ebp)
  52 #define TF_FLAGS(tf)    ((tf)->tf_eflags)
  53 #define TF_FP(tf)       ((tf)->tf_ebp)
  54 #define TF_PC(tf)       ((tf)->tf_eip)
  55
  56 typedef struct i386_frame *x86_frame_t;
  57 #else
  58 #define PCB_FP(pcb)     ((pcb)->pcb_rbp)
  59 #define TF_FLAGS(tf)    ((tf)->tf_rflags)
  60 #define TF_FP(tf)       ((tf)->tf_rbp)
  61 #define TF_PC(tf)       ((tf)->tf_rip)
  62
  63 typedef struct amd64_frame *x86_frame_t;
  64 #endif
  65
  66 #ifdef SMP
  67 static struct stack *stack_intr_stack;
  68 static struct thread *stack_intr_td;
  69 static struct mtx intr_lock;
  70 MTX_SYSINIT(intr_lock, &intr_lock, "stack intr", MTX_DEF);
  71 #endif
  72
  73 static void
  74 stack_capture(struct thread *td, struct stack *st, register_t fp)
  75 {
  76         x86_frame_t frame;
  77         vm_offset_t callpc;
  78
  79         stack_zero(st);
  80         frame = (x86_frame_t)fp;
  81         while (1) {
  82                 if ((vm_offset_t)frame < td->td_kstack ||
  83                     (vm_offset_t)frame >= td->td_kstack +
  84                     td->td_kstack_pages * PAGE_SIZE)
  85                         break;
  86                 callpc = frame->f_retaddr;
  87                 if (!INKERNEL(callpc))
  88                         break;
  89                 if (stack_put(st, callpc) == -1)
  90                         break;
  91                 if (frame->f_frame <= frame)
  92                         break;
  93                 frame = frame->f_frame;
  94         }
  95 }
  96
  97 #ifdef SMP
  98 void
  99 stack_capture_intr(void)
 100 {
 101         struct thread *td;
 102
 103         td = curthread;
 104         stack_capture(td, stack_intr_stack, TF_FP(td->td_intr_frame));
 105         atomic_store_rel_ptr((void *)&stack_intr_td, (uintptr_t)td);
 106 }
 107 #endif
 108
 109 int
 110 stack_save_td(struct stack *st, struct thread *td)
 111 {
 112         int cpuid, error;
 113         bool done;
 114
 115         THREAD_LOCK_ASSERT(td, MA_OWNED);
 116         KASSERT(!TD_IS_SWAPPED(td),
 117             ("stack_save_td: thread %p is swapped", td));
 118         if (TD_IS_RUNNING(td) && td != curthread)
 119                 PROC_LOCK_ASSERT(td->td_proc, MA_OWNED);
 120
 121         if (td == curthread) {
 122                 stack_save(st);
 123                 return (0);
 124         }
 125
 126         for (done = false, error = 0; !done;) {
 127                 if (!TD_IS_RUNNING(td)) {
 128                         /*
 129                          * The thread will not start running so long as we hold
 130                          * its lock.
 131                          */
 132                         stack_capture(td, st, PCB_FP(td->td_pcb));
 133                         error = 0;
 134                         break;
 135                 }
 136
 137 #ifdef SMP
 138                 thread_unlock(td);
 139                 cpuid = atomic_load_int(&td->td_oncpu);
 140                 if (cpuid == NOCPU) {
 141                         cpu_spinwait();
 142                 } else {
 143                         mtx_lock(&intr_lock);
 144                         stack_intr_td = NULL;
 145                         stack_intr_stack = st;
 146                         ipi_cpu(cpuid, IPI_TRACE);
 147                         while (atomic_load_acq_ptr((void *)&stack_intr_td) ==
 148                             (uintptr_t)NULL)
 149                                 cpu_spinwait();
 150                         if (stack_intr_td == td) {
 151                                 done = true;
 152                                 error = st->depth > 0 ? 0 : EBUSY;
 153                         }
 154                         stack_intr_td = NULL;
 155                         mtx_unlock(&intr_lock);
 156                 }
 157                 thread_lock(td);
 158 #else
 159                 (void)cpuid;
 160                 KASSERT(0, ("%s: multiple running threads", __func__));
 161 #endif
 162         }
 163
 164         return (error);
 165 }
 166
 167 void
 168 stack_save(struct stack *st)
 169 {
 170         register_t fp;
 171
 172 #ifdef __i386__
 173         __asm __volatile("movl %%ebp,%0" : "=g" (fp));
 174 #else
 175         __asm __volatile("movq %%rbp,%0" : "=g" (fp));
 176 #endif
 177         stack_capture(curthread, st, fp);
 178 }