]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/amd64/amd64/elf_machdep.c
MFC r330110: Add kernel retpoline option for amd64
[FreeBSD/FreeBSD.git] / sys / amd64 / amd64 / elf_machdep.c
1 /*-
2  * Copyright 1996-1998 John D. Polstra.
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
15  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
16  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
17  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
18  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
19  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
20  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
21  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
23  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24  */
25
26 #include <sys/cdefs.h>
27 __FBSDID("$FreeBSD$");
28
29 #include <sys/param.h>
30 #include <sys/kernel.h>
31 #include <sys/systm.h>
32 #include <sys/exec.h>
33 #include <sys/imgact.h>
34 #include <sys/linker.h>
35 #include <sys/proc.h>
36 #include <sys/sysent.h>
37 #include <sys/imgact_elf.h>
38 #include <sys/syscall.h>
39 #include <sys/signalvar.h>
40 #include <sys/vnode.h>
41
42 #include <vm/vm.h>
43 #include <vm/pmap.h>
44 #include <vm/vm_param.h>
45
46 #include <machine/elf.h>
47 #include <machine/fpu.h>
48 #include <machine/md_var.h>
49
50 struct sysentvec elf64_freebsd_sysvec = {
51         .sv_size        = SYS_MAXSYSCALL,
52         .sv_table       = sysent,
53         .sv_mask        = 0,
54         .sv_errsize     = 0,
55         .sv_errtbl      = NULL,
56         .sv_transtrap   = NULL,
57         .sv_fixup       = __elfN(freebsd_fixup),
58         .sv_sendsig     = sendsig,
59         .sv_sigcode     = sigcode,
60         .sv_szsigcode   = &szsigcode,
61         .sv_name        = "FreeBSD ELF64",
62         .sv_coredump    = __elfN(coredump),
63         .sv_imgact_try  = NULL,
64         .sv_minsigstksz = MINSIGSTKSZ,
65         .sv_pagesize    = PAGE_SIZE,
66         .sv_minuser     = VM_MIN_ADDRESS,
67         .sv_maxuser     = VM_MAXUSER_ADDRESS,
68         .sv_usrstack    = USRSTACK,
69         .sv_psstrings   = PS_STRINGS,
70         .sv_stackprot   = VM_PROT_ALL,
71         .sv_copyout_strings     = exec_copyout_strings,
72         .sv_setregs     = exec_setregs,
73         .sv_fixlimit    = NULL,
74         .sv_maxssiz     = NULL,
75         .sv_flags       = SV_ABI_FREEBSD | SV_LP64 | SV_SHP | SV_TIMEKEEP,
76         .sv_set_syscall_retval = cpu_set_syscall_retval,
77         .sv_fetch_syscall_args = cpu_fetch_syscall_args,
78         .sv_syscallnames = syscallnames,
79         .sv_shared_page_base = SHAREDPAGE,
80         .sv_shared_page_len = PAGE_SIZE,
81         .sv_schedtail   = NULL,
82         .sv_thread_detach = NULL,
83         .sv_trap        = NULL,
84 };
85 INIT_SYSENTVEC(elf64_sysvec, &elf64_freebsd_sysvec);
86
87 void
88 amd64_lower_shared_page(struct sysentvec *sv)
89 {
90         if (hw_lower_amd64_sharedpage != 0) {
91                 sv->sv_maxuser -= PAGE_SIZE;
92                 sv->sv_shared_page_base -= PAGE_SIZE;
93                 sv->sv_usrstack -= PAGE_SIZE;
94                 sv->sv_psstrings -= PAGE_SIZE;
95         }
96 }
97
98 /*
99  * Do this fixup before INIT_SYSENTVEC (SI_ORDER_ANY) because the latter
100  * uses the value of sv_shared_page_base.
101  */
102 SYSINIT(elf64_sysvec_fixup, SI_SUB_EXEC, SI_ORDER_FIRST,
103         (sysinit_cfunc_t) amd64_lower_shared_page,
104         &elf64_freebsd_sysvec);
105
106 static Elf64_Brandinfo freebsd_brand_info = {
107         .brand          = ELFOSABI_FREEBSD,
108         .machine        = EM_X86_64,
109         .compat_3_brand = "FreeBSD",
110         .emul_path      = NULL,
111         .interp_path    = "/libexec/ld-elf.so.1",
112         .sysvec         = &elf64_freebsd_sysvec,
113         .interp_newpath = NULL,
114         .brand_note     = &elf64_freebsd_brandnote,
115         .flags          = BI_CAN_EXEC_DYN | BI_BRAND_NOTE
116 };
117
118 SYSINIT(elf64, SI_SUB_EXEC, SI_ORDER_FIRST,
119         (sysinit_cfunc_t) elf64_insert_brand_entry,
120         &freebsd_brand_info);
121
122 static Elf64_Brandinfo freebsd_brand_oinfo = {
123         .brand          = ELFOSABI_FREEBSD,
124         .machine        = EM_X86_64,
125         .compat_3_brand = "FreeBSD",
126         .emul_path      = NULL,
127         .interp_path    = "/usr/libexec/ld-elf.so.1",
128         .sysvec         = &elf64_freebsd_sysvec,
129         .interp_newpath = NULL,
130         .brand_note     = &elf64_freebsd_brandnote,
131         .flags          = BI_CAN_EXEC_DYN | BI_BRAND_NOTE
132 };
133
134 SYSINIT(oelf64, SI_SUB_EXEC, SI_ORDER_ANY,
135         (sysinit_cfunc_t) elf64_insert_brand_entry,
136         &freebsd_brand_oinfo);
137
138 static Elf64_Brandinfo kfreebsd_brand_info = {
139         .brand          = ELFOSABI_FREEBSD,
140         .machine        = EM_X86_64,
141         .compat_3_brand = "FreeBSD",
142         .emul_path      = NULL,
143         .interp_path    = "/lib/ld-kfreebsd-x86-64.so.1",
144         .sysvec         = &elf64_freebsd_sysvec,
145         .interp_newpath = NULL,
146         .brand_note     = &elf64_kfreebsd_brandnote,
147         .flags          = BI_CAN_EXEC_DYN | BI_BRAND_NOTE_MANDATORY
148 };
149
150 SYSINIT(kelf64, SI_SUB_EXEC, SI_ORDER_ANY,
151         (sysinit_cfunc_t) elf64_insert_brand_entry,
152         &kfreebsd_brand_info);
153
154 void
155 elf64_dump_thread(struct thread *td, void *dst, size_t *off)
156 {
157         void *buf;
158         size_t len;
159
160         len = 0;
161         if (use_xsave) {
162                 if (dst != NULL) {
163                         fpugetregs(td);
164                         len += elf64_populate_note(NT_X86_XSTATE,
165                             get_pcb_user_save_td(td), dst,
166                             cpu_max_ext_state_size, &buf);
167                         *(uint64_t *)((char *)buf + X86_XSTATE_XCR0_OFFSET) =
168                             xsave_mask;
169                 } else
170                         len += elf64_populate_note(NT_X86_XSTATE, NULL, NULL,
171                             cpu_max_ext_state_size, NULL);
172         }
173         *off = len;
174 }
175
176 /* Process one elf relocation with addend. */
177 static int
178 elf_reloc_internal(linker_file_t lf, Elf_Addr relocbase, const void *data,
179     int type, int local, elf_lookup_fn lookup)
180 {
181         Elf64_Addr *where, val;
182         Elf32_Addr *where32, val32;
183         Elf_Addr addr;
184         Elf_Addr addend;
185         Elf_Size rtype, symidx;
186         const Elf_Rel *rel;
187         const Elf_Rela *rela;
188         int error;
189
190         switch (type) {
191         case ELF_RELOC_REL:
192                 rel = (const Elf_Rel *)data;
193                 where = (Elf_Addr *) (relocbase + rel->r_offset);
194                 rtype = ELF_R_TYPE(rel->r_info);
195                 symidx = ELF_R_SYM(rel->r_info);
196                 /* Addend is 32 bit on 32 bit relocs */
197                 switch (rtype) {
198                 case R_X86_64_PC32:
199                 case R_X86_64_32S:
200                         addend = *(Elf32_Addr *)where;
201                         break;
202                 default:
203                         addend = *where;
204                         break;
205                 }
206                 break;
207         case ELF_RELOC_RELA:
208                 rela = (const Elf_Rela *)data;
209                 where = (Elf_Addr *) (relocbase + rela->r_offset);
210                 addend = rela->r_addend;
211                 rtype = ELF_R_TYPE(rela->r_info);
212                 symidx = ELF_R_SYM(rela->r_info);
213                 break;
214         default:
215                 panic("unknown reloc type %d\n", type);
216         }
217
218         switch (rtype) {
219
220                 case R_X86_64_NONE:     /* none */
221                         break;
222
223                 case R_X86_64_64:               /* S + A */
224                         error = lookup(lf, symidx, 1, &addr);
225                         val = addr + addend;
226                         if (error != 0)
227                                 return -1;
228                         if (*where != val)
229                                 *where = val;
230                         break;
231
232                 case R_X86_64_PC32:     /* S + A - P */
233                         error = lookup(lf, symidx, 1, &addr);
234                         where32 = (Elf32_Addr *)where;
235                         val32 = (Elf32_Addr)(addr + addend - (Elf_Addr)where);
236                         if (error != 0)
237                                 return -1;
238                         if (*where32 != val32)
239                                 *where32 = val32;
240                         break;
241
242                 case R_X86_64_32S:      /* S + A sign extend */
243                         error = lookup(lf, symidx, 1, &addr);
244                         val32 = (Elf32_Addr)(addr + addend);
245                         where32 = (Elf32_Addr *)where;
246                         if (error != 0)
247                                 return -1;
248                         if (*where32 != val32)
249                                 *where32 = val32;
250                         break;
251
252                 case R_X86_64_COPY:     /* none */
253                         /*
254                          * There shouldn't be copy relocations in kernel
255                          * objects.
256                          */
257                         printf("kldload: unexpected R_COPY relocation\n");
258                         return -1;
259                         break;
260
261                 case R_X86_64_GLOB_DAT: /* S */
262                 case R_X86_64_JMP_SLOT: /* XXX need addend + offset */
263                         error = lookup(lf, symidx, 1, &addr);
264                         if (error != 0)
265                                 return -1;
266                         if (*where != addr)
267                                 *where = addr;
268                         break;
269
270                 case R_X86_64_RELATIVE: /* B + A */
271                         addr = relocbase + addend;
272                         val = addr;
273                         if (*where != val)
274                                 *where = val;
275                         break;
276
277                 default:
278                         printf("kldload: unexpected relocation type %ld\n",
279                                rtype);
280                         return -1;
281         }
282         return(0);
283 }
284
285 int
286 elf_reloc(linker_file_t lf, Elf_Addr relocbase, const void *data, int type,
287     elf_lookup_fn lookup)
288 {
289
290         return (elf_reloc_internal(lf, relocbase, data, type, 0, lookup));
291 }
292
293 int
294 elf_reloc_local(linker_file_t lf, Elf_Addr relocbase, const void *data,
295     int type, elf_lookup_fn lookup)
296 {
297
298         return (elf_reloc_internal(lf, relocbase, data, type, 1, lookup));
299 }
300
301 int
302 elf_cpu_load_file(linker_file_t lf __unused)
303 {
304
305         return (0);
306 }
307
308 int
309 elf_cpu_unload_file(linker_file_t lf __unused)
310 {
311
312         return (0);
313 }