sys/x86/x86/stack_machdep.c

   1 /*-
   2  * Copyright (c) 2015 EMC Corporation
   3  * Copyright (c) 2005 Antoine Brodin
   4  * All rights reserved.
   5  *
   6  * Redistribution and use in source and binary forms, with or without
   7  * modification, are permitted provided that the following conditions
   8  * are met:
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  16  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  17  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  18  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  19  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  20  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  21  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  22  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  23  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  24  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  25  * SUCH DAMAGE.
  26  */
  27
  28 #include <sys/cdefs.h>
  29 __FBSDID("$FreeBSD$");
  30
  31 #include "opt_stack.h"
  32
  33 #include <sys/param.h>
  34 #include <sys/systm.h>
  35 #include <sys/kernel.h>
  36 #include <sys/lock.h>
  37 #include <sys/mutex.h>
  38 #include <sys/proc.h>
  39 #include <sys/stack.h>
  40
  41 #include <machine/pcb.h>
  42 #include <machine/smp.h>
  43
  44 #include <vm/vm.h>
  45 #include <vm/vm_param.h>
  46 #include <vm/pmap.h>
  47
  48 #include <x86/stack.h>
  49
  50 #ifdef __i386__
  51 #define PCB_FP(pcb)     ((pcb)->pcb_ebp)
  52 #define TF_FP(tf)       ((tf)->tf_ebp)
  53 #define TF_PC(tf)       ((tf)->tf_eip)
  54
  55 typedef struct i386_frame *x86_frame_t;
  56 #else
  57 #define PCB_FP(pcb)     ((pcb)->pcb_rbp)
  58 #define TF_FP(tf)       ((tf)->tf_rbp)
  59 #define TF_PC(tf)       ((tf)->tf_rip)
  60
  61 typedef struct amd64_frame *x86_frame_t;
  62 #endif
  63
  64 #ifdef STACK
  65 static struct stack *nmi_stack;
  66 static volatile struct thread *nmi_pending;
  67
  68 #ifdef SMP
  69 static struct mtx nmi_lock;
  70 MTX_SYSINIT(nmi_lock, &nmi_lock, "stack_nmi", MTX_SPIN);
  71 #endif
  72 #endif
  73
  74 static void
  75 stack_capture(struct thread *td, struct stack *st, register_t fp)
  76 {
  77         x86_frame_t frame;
  78         vm_offset_t callpc;
  79
  80         stack_zero(st);
  81         frame = (x86_frame_t)fp;
  82         while (1) {
  83                 if (!INKERNEL((long)frame))
  84                         break;
  85                 callpc = frame->f_retaddr;
  86                 if (!INKERNEL(callpc))
  87                         break;
  88                 if (stack_put(st, callpc) == -1)
  89                         break;
  90                 if (frame->f_frame <= frame ||
  91                     (vm_offset_t)frame->f_frame >= td->td_kstack +
  92                     td->td_kstack_pages * PAGE_SIZE)
  93                         break;
  94                 frame = frame->f_frame;
  95         }
  96 }
  97
  98 int
  99 stack_nmi_handler(struct trapframe *tf)
 100 {
 101
 102 #ifdef STACK
 103         /* Don't consume an NMI that wasn't meant for us. */
 104         if (nmi_stack == NULL || curthread != nmi_pending)
 105                 return (0);
 106
 107         if (INKERNEL(TF_PC(tf)))
 108                 stack_capture(curthread, nmi_stack, TF_FP(tf));
 109         else
 110                 /* We interrupted a thread in user mode. */
 111                 nmi_stack->depth = 0;
 112
 113         atomic_store_rel_ptr((long *)&nmi_pending, (long)NULL);
 114         return (1);
 115 #else
 116         return (0);
 117 #endif
 118 }
 119
 120 void
 121 stack_save_td(struct stack *st, struct thread *td)
 122 {
 123
 124         if (TD_IS_SWAPPED(td))
 125                 panic("stack_save_td: swapped");
 126         if (TD_IS_RUNNING(td))
 127                 panic("stack_save_td: running");
 128
 129         stack_capture(td, st, PCB_FP(td->td_pcb));
 130 }
 131
 132 int
 133 stack_save_td_running(struct stack *st, struct thread *td)
 134 {
 135
 136 #ifdef STACK
 137         THREAD_LOCK_ASSERT(td, MA_OWNED);
 138         MPASS(TD_IS_RUNNING(td));
 139
 140         if (td == curthread) {
 141                 stack_save(st);
 142                 return (0);
 143         }
 144
 145 #ifdef SMP
 146         mtx_lock_spin(&nmi_lock);
 147
 148         nmi_stack = st;
 149         nmi_pending = td;
 150         ipi_cpu(td->td_oncpu, IPI_TRACE);
 151         while ((void *)atomic_load_acq_ptr((long *)&nmi_pending) != NULL)
 152                 cpu_spinwait();
 153         nmi_stack = NULL;
 154
 155         mtx_unlock_spin(&nmi_lock);
 156
 157         if (st->depth == 0)
 158                 /* We interrupted a thread in user mode. */
 159                 return (EAGAIN);
 160 #else /* !SMP */
 161         KASSERT(0, ("curthread isn't running"));
 162 #endif /* SMP */
 163         return (0);
 164 #else /* !STACK */
 165         return (EOPNOTSUPP);
 166 #endif /* STACK */
 167 }
 168
 169 void
 170 stack_save(struct stack *st)
 171 {
 172         register_t fp;
 173
 174 #ifdef __i386__
 175         __asm __volatile("movl %%ebp,%0" : "=g" (fp));
 176 #else
 177         __asm __volatile("movq %%rbp,%0" : "=g" (fp));
 178 #endif
 179         stack_capture(curthread, st, fp);
 180 }