]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/amd64/amd64/genassym.c
Mitigations for Microarchitectural Data Sampling.
[FreeBSD/FreeBSD.git] / sys / amd64 / amd64 / genassym.c
1 /*-
2  * Copyright (c) 1982, 1990 The Regents of the University of California.
3  * All rights reserved.
4  *
5  * This code is derived from software contributed to Berkeley by
6  * William Jolitz.
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted provided that the following conditions
10  * are met:
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer.
13  * 2. Redistributions in binary form must reproduce the above copyright
14  *    notice, this list of conditions and the following disclaimer in the
15  *    documentation and/or other materials provided with the distribution.
16  * 4. Neither the name of the University nor the names of its contributors
17  *    may be used to endorse or promote products derived from this software
18  *    without specific prior written permission.
19  *
20  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
23  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
24  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
30  * SUCH DAMAGE.
31  *
32  *      from: @(#)genassym.c    5.11 (Berkeley) 5/10/91
33  */
34
35 #include <sys/cdefs.h>
36 __FBSDID("$FreeBSD$");
37
38 #include "opt_compat.h"
39 #include "opt_hwpmc_hooks.h"
40 #include "opt_kstack_pages.h"
41
42 #include <sys/param.h>
43 #include <sys/systm.h>
44 #include <sys/assym.h>
45 #include <sys/bio.h>
46 #include <sys/buf.h>
47 #include <sys/proc.h>
48 #ifdef  HWPMC_HOOKS
49 #include <sys/pmckern.h>
50 #endif
51 #include <sys/errno.h>
52 #include <sys/mount.h>
53 #include <sys/mutex.h>
54 #include <sys/socket.h>
55 #include <sys/resourcevar.h>
56 #include <sys/ucontext.h>
57 #include <machine/tss.h>
58 #include <sys/vmmeter.h>
59 #include <vm/vm.h>
60 #include <vm/vm_param.h>
61 #include <vm/pmap.h>
62 #include <vm/vm_map.h>
63 #include <sys/proc.h>
64 #include <x86/apicreg.h>
65 #include <machine/cpu.h>
66 #include <machine/pcb.h>
67 #include <machine/sigframe.h>
68 #include <machine/proc.h>
69 #include <machine/segments.h>
70
71 ASSYM(P_VMSPACE, offsetof(struct proc, p_vmspace));
72 ASSYM(VM_PMAP, offsetof(struct vmspace, vm_pmap));
73 ASSYM(PM_ACTIVE, offsetof(struct pmap, pm_active));
74
75 ASSYM(P_MD, offsetof(struct proc, p_md));
76 ASSYM(MD_LDT, offsetof(struct mdproc, md_ldt));
77 ASSYM(MD_LDT_SD, offsetof(struct mdproc, md_ldt_sd));
78
79 ASSYM(TD_LOCK, offsetof(struct thread, td_lock));
80 ASSYM(TD_FLAGS, offsetof(struct thread, td_flags));
81 ASSYM(TD_PCB, offsetof(struct thread, td_pcb));
82 ASSYM(TD_PFLAGS, offsetof(struct thread, td_pflags));
83 ASSYM(TD_PROC, offsetof(struct thread, td_proc));
84 ASSYM(TD_FRAME, offsetof(struct thread, td_frame));
85
86 ASSYM(TDF_ASTPENDING, TDF_ASTPENDING);
87 ASSYM(TDF_NEEDRESCHED, TDF_NEEDRESCHED);
88
89 ASSYM(TDP_CALLCHAIN, TDP_CALLCHAIN);
90 ASSYM(TDP_KTHREAD, TDP_KTHREAD);
91
92 ASSYM(V_TRAP, offsetof(struct vmmeter, v_trap));
93 ASSYM(V_SYSCALL, offsetof(struct vmmeter, v_syscall));
94 ASSYM(V_INTR, offsetof(struct vmmeter, v_intr));
95 ASSYM(PAGE_SIZE, PAGE_SIZE);
96 ASSYM(NPTEPG, NPTEPG);
97 ASSYM(NPDEPG, NPDEPG);
98 ASSYM(addr_PTmap, addr_PTmap);
99 ASSYM(addr_PDmap, addr_PDmap);
100 ASSYM(addr_PDPmap, addr_PDPmap);
101 ASSYM(addr_PML4map, addr_PML4map);
102 ASSYM(addr_PML4pml4e, addr_PML4pml4e);
103 ASSYM(PDESIZE, sizeof(pd_entry_t));
104 ASSYM(PTESIZE, sizeof(pt_entry_t));
105 ASSYM(PAGE_SHIFT, PAGE_SHIFT);
106 ASSYM(PAGE_MASK, PAGE_MASK);
107 ASSYM(PDRSHIFT, PDRSHIFT);
108 ASSYM(PDPSHIFT, PDPSHIFT);
109 ASSYM(PML4SHIFT, PML4SHIFT);
110 ASSYM(val_KPDPI, KPDPI);
111 ASSYM(val_KPML4I, KPML4I);
112 ASSYM(val_PML4PML4I, PML4PML4I);
113 ASSYM(VM_MAXUSER_ADDRESS, VM_MAXUSER_ADDRESS);
114 ASSYM(KERNBASE, KERNBASE);
115 ASSYM(DMAP_MIN_ADDRESS, DMAP_MIN_ADDRESS);
116 ASSYM(DMAP_MAX_ADDRESS, DMAP_MAX_ADDRESS);
117
118 ASSYM(PCB_R15, offsetof(struct pcb, pcb_r15));
119 ASSYM(PCB_R14, offsetof(struct pcb, pcb_r14));
120 ASSYM(PCB_R13, offsetof(struct pcb, pcb_r13));
121 ASSYM(PCB_R12, offsetof(struct pcb, pcb_r12));
122 ASSYM(PCB_RBP, offsetof(struct pcb, pcb_rbp));
123 ASSYM(PCB_RSP, offsetof(struct pcb, pcb_rsp));
124 ASSYM(PCB_RBX, offsetof(struct pcb, pcb_rbx));
125 ASSYM(PCB_RIP, offsetof(struct pcb, pcb_rip));
126 ASSYM(PCB_FSBASE, offsetof(struct pcb, pcb_fsbase));
127 ASSYM(PCB_GSBASE, offsetof(struct pcb, pcb_gsbase));
128 ASSYM(PCB_KGSBASE, offsetof(struct pcb, pcb_kgsbase));
129 ASSYM(PCB_CR0, offsetof(struct pcb, pcb_cr0));
130 ASSYM(PCB_CR2, offsetof(struct pcb, pcb_cr2));
131 ASSYM(PCB_CR3, offsetof(struct pcb, pcb_cr3));
132 ASSYM(PCB_CR4, offsetof(struct pcb, pcb_cr4));
133 ASSYM(PCB_DR0, offsetof(struct pcb, pcb_dr0));
134 ASSYM(PCB_DR1, offsetof(struct pcb, pcb_dr1));
135 ASSYM(PCB_DR2, offsetof(struct pcb, pcb_dr2));
136 ASSYM(PCB_DR3, offsetof(struct pcb, pcb_dr3));
137 ASSYM(PCB_DR6, offsetof(struct pcb, pcb_dr6));
138 ASSYM(PCB_DR7, offsetof(struct pcb, pcb_dr7));
139 ASSYM(PCB_GDT, offsetof(struct pcb, pcb_gdt));
140 ASSYM(PCB_IDT, offsetof(struct pcb, pcb_idt));
141 ASSYM(PCB_LDT, offsetof(struct pcb, pcb_ldt));
142 ASSYM(PCB_TR, offsetof(struct pcb, pcb_tr));
143 ASSYM(PCB_FLAGS, offsetof(struct pcb, pcb_flags));
144 ASSYM(PCB_ONFAULT, offsetof(struct pcb, pcb_onfault));
145 ASSYM(PCB_SAVED_UCR3, offsetof(struct pcb, pcb_saved_ucr3));
146 ASSYM(PCB_TSSP, offsetof(struct pcb, pcb_tssp));
147 ASSYM(PCB_SAVEFPU, offsetof(struct pcb, pcb_save));
148 ASSYM(PCB_EFER, offsetof(struct pcb, pcb_efer));
149 ASSYM(PCB_STAR, offsetof(struct pcb, pcb_star));
150 ASSYM(PCB_LSTAR, offsetof(struct pcb, pcb_lstar));
151 ASSYM(PCB_CSTAR, offsetof(struct pcb, pcb_cstar));
152 ASSYM(PCB_SFMASK, offsetof(struct pcb, pcb_sfmask));
153 ASSYM(PCB_SIZE, sizeof(struct pcb));
154 ASSYM(PCB_FULL_IRET, PCB_FULL_IRET);
155 ASSYM(PCB_DBREGS, PCB_DBREGS);
156 ASSYM(PCB_32BIT, PCB_32BIT);
157
158 ASSYM(TSS_RSP0, offsetof(struct amd64tss, tss_rsp0));
159
160 ASSYM(TF_R15, offsetof(struct trapframe, tf_r15));
161 ASSYM(TF_R14, offsetof(struct trapframe, tf_r14));
162 ASSYM(TF_R13, offsetof(struct trapframe, tf_r13));
163 ASSYM(TF_R12, offsetof(struct trapframe, tf_r12));
164 ASSYM(TF_R11, offsetof(struct trapframe, tf_r11));
165 ASSYM(TF_R10, offsetof(struct trapframe, tf_r10));
166 ASSYM(TF_R9, offsetof(struct trapframe, tf_r9));
167 ASSYM(TF_R8, offsetof(struct trapframe, tf_r8));
168 ASSYM(TF_RDI, offsetof(struct trapframe, tf_rdi));
169 ASSYM(TF_RSI, offsetof(struct trapframe, tf_rsi));
170 ASSYM(TF_RBP, offsetof(struct trapframe, tf_rbp));
171 ASSYM(TF_RBX, offsetof(struct trapframe, tf_rbx));
172 ASSYM(TF_RDX, offsetof(struct trapframe, tf_rdx));
173 ASSYM(TF_RCX, offsetof(struct trapframe, tf_rcx));
174 ASSYM(TF_RAX, offsetof(struct trapframe, tf_rax));
175 ASSYM(TF_TRAPNO, offsetof(struct trapframe, tf_trapno));
176 ASSYM(TF_ADDR, offsetof(struct trapframe, tf_addr));
177 ASSYM(TF_ERR, offsetof(struct trapframe, tf_err));
178 ASSYM(TF_RIP, offsetof(struct trapframe, tf_rip));
179 ASSYM(TF_CS, offsetof(struct trapframe, tf_cs));
180 ASSYM(TF_RFLAGS, offsetof(struct trapframe, tf_rflags));
181 ASSYM(TF_RSP, offsetof(struct trapframe, tf_rsp));
182 ASSYM(TF_SS, offsetof(struct trapframe, tf_ss));
183 ASSYM(TF_DS, offsetof(struct trapframe, tf_ds));
184 ASSYM(TF_ES, offsetof(struct trapframe, tf_es));
185 ASSYM(TF_FS, offsetof(struct trapframe, tf_fs));
186 ASSYM(TF_GS, offsetof(struct trapframe, tf_gs));
187 ASSYM(TF_FLAGS, offsetof(struct trapframe, tf_flags));
188 ASSYM(TF_SIZE, sizeof(struct trapframe));
189 ASSYM(TF_HASSEGS, TF_HASSEGS);
190
191 ASSYM(PTI_RDX, offsetof(struct pti_frame, pti_rdx));
192 ASSYM(PTI_RAX, offsetof(struct pti_frame, pti_rax));
193 ASSYM(PTI_ERR, offsetof(struct pti_frame, pti_err));
194 ASSYM(PTI_RIP, offsetof(struct pti_frame, pti_rip));
195 ASSYM(PTI_CS, offsetof(struct pti_frame, pti_cs));
196 ASSYM(PTI_RFLAGS, offsetof(struct pti_frame, pti_rflags));
197 ASSYM(PTI_RSP, offsetof(struct pti_frame, pti_rsp));
198 ASSYM(PTI_SS, offsetof(struct pti_frame, pti_ss));
199 ASSYM(PTI_SIZE, sizeof(struct pti_frame));
200
201 ASSYM(SIGF_HANDLER, offsetof(struct sigframe, sf_ahu.sf_handler));
202 ASSYM(SIGF_UC, offsetof(struct sigframe, sf_uc));
203 ASSYM(UC_EFLAGS, offsetof(ucontext_t, uc_mcontext.mc_rflags));
204 ASSYM(ENOENT, ENOENT);
205 ASSYM(EFAULT, EFAULT);
206 ASSYM(ENAMETOOLONG, ENAMETOOLONG);
207 ASSYM(MAXCOMLEN, MAXCOMLEN);
208 ASSYM(MAXPATHLEN, MAXPATHLEN);
209 ASSYM(PC_SIZEOF, sizeof(struct pcpu));
210 ASSYM(PC_PRVSPACE, offsetof(struct pcpu, pc_prvspace));
211 ASSYM(PC_CURTHREAD, offsetof(struct pcpu, pc_curthread));
212 ASSYM(PC_FPCURTHREAD, offsetof(struct pcpu, pc_fpcurthread));
213 ASSYM(PC_IDLETHREAD, offsetof(struct pcpu, pc_idlethread));
214 ASSYM(PC_CURPCB, offsetof(struct pcpu, pc_curpcb));
215 ASSYM(PC_CPUID, offsetof(struct pcpu, pc_cpuid));
216 ASSYM(PC_SCRATCH_RSP, offsetof(struct pcpu, pc_scratch_rsp));
217 ASSYM(PC_SCRATCH_RAX, offsetof(struct pcpu, pc_scratch_rax));
218 ASSYM(PC_CURPMAP, offsetof(struct pcpu, pc_curpmap));
219 ASSYM(PC_TSSP, offsetof(struct pcpu, pc_tssp));
220 ASSYM(PC_RSP0, offsetof(struct pcpu, pc_rsp0));
221 ASSYM(PC_FS32P, offsetof(struct pcpu, pc_fs32p));
222 ASSYM(PC_GS32P, offsetof(struct pcpu, pc_gs32p));
223 ASSYM(PC_LDT, offsetof(struct pcpu, pc_ldt));
224 ASSYM(PC_COMMONTSSP, offsetof(struct pcpu, pc_commontssp));
225 ASSYM(PC_TSS, offsetof(struct pcpu, pc_tss));
226 ASSYM(PC_PM_SAVE_CNT, offsetof(struct pcpu, pc_pm_save_cnt));
227 ASSYM(PC_KCR3, offsetof(struct pcpu, pc_kcr3));
228 ASSYM(PC_UCR3, offsetof(struct pcpu, pc_ucr3));
229 ASSYM(PC_SAVED_UCR3, offsetof(struct pcpu, pc_saved_ucr3));
230 ASSYM(PC_PTI_STACK, offsetof(struct pcpu, pc_pti_stack));
231 ASSYM(PC_PTI_STACK_SZ, PC_PTI_STACK_SZ);
232 ASSYM(PC_IBPB_SET, offsetof(struct pcpu, pc_ibpb_set));
233 ASSYM(PC_MDS_TMP, offsetof(struct pcpu, pc_mds_tmp));
234 ASSYM(PC_MDS_BUF, offsetof(struct pcpu, pc_mds_buf));
235 ASSYM(PC_MDS_BUF64, offsetof(struct pcpu, pc_mds_buf64));
236  
237 ASSYM(LA_EOI, LAPIC_EOI * LAPIC_MEM_MUL);
238 ASSYM(LA_ISR, LAPIC_ISR0 * LAPIC_MEM_MUL);
239
240 ASSYM(KCSEL, GSEL(GCODE_SEL, SEL_KPL));
241 ASSYM(KDSEL, GSEL(GDATA_SEL, SEL_KPL));
242 ASSYM(KUCSEL, GSEL(GUCODE_SEL, SEL_UPL));
243 ASSYM(KUDSEL, GSEL(GUDATA_SEL, SEL_UPL));
244 ASSYM(KUC32SEL, GSEL(GUCODE32_SEL, SEL_UPL));
245 ASSYM(KUF32SEL, GSEL(GUFS32_SEL, SEL_UPL));
246 ASSYM(KUG32SEL, GSEL(GUGS32_SEL, SEL_UPL));
247 ASSYM(TSSSEL, GSEL(GPROC0_SEL, SEL_KPL));
248 ASSYM(LDTSEL, GSEL(GUSERLDT_SEL, SEL_KPL));
249 ASSYM(SEL_RPL_MASK, SEL_RPL_MASK);
250
251 ASSYM(__FreeBSD_version, __FreeBSD_version);
252
253 #ifdef  HWPMC_HOOKS
254 ASSYM(PMC_FN_USER_CALLCHAIN, PMC_FN_USER_CALLCHAIN);
255 #endif