]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/arm64/linux/linux_sysvec.c
Merge release 1.14 of bsnmp.
[FreeBSD/FreeBSD.git] / sys / arm64 / linux / linux_sysvec.c
1 /*-
2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
3  *
4  * Copyright (c) 1994-1996 Søren Schmidt
5  * Copyright (c) 2018 Turing Robotic Industries Inc.
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 1. Redistributions of source code must retain the above copyright
11  *    notice, this list of conditions and the following disclaimer.
12  * 2. Redistributions in binary form must reproduce the above copyright
13  *    notice, this list of conditions and the following disclaimer in the
14  *    documentation and/or other materials provided with the distribution.
15  *
16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
26  * SUCH DAMAGE.
27  */
28
29 #include <sys/cdefs.h>
30 __FBSDID("$FreeBSD$");
31
32 #include <sys/param.h>
33 #include <sys/systm.h>
34 #include <sys/cdefs.h>
35 #include <sys/elf.h>
36 #include <sys/exec.h>
37 #include <sys/imgact.h>
38 #include <sys/imgact_elf.h>
39 #include <sys/kernel.h>
40 #include <sys/lock.h>
41 #include <sys/module.h>
42 #include <sys/mutex.h>
43 #include <sys/proc.h>
44 #include <sys/signalvar.h>
45 #include <sys/sysctl.h>
46 #include <sys/sysent.h>
47
48 #include <vm/vm_param.h>
49
50 #include <arm64/linux/linux.h>
51 #include <arm64/linux/linux_proto.h>
52 #include <compat/linux/linux_dtrace.h>
53 #include <compat/linux/linux_emul.h>
54 #include <compat/linux/linux_ioctl.h>
55 #include <compat/linux/linux_mib.h>
56 #include <compat/linux/linux_misc.h>
57 #include <compat/linux/linux_util.h>
58 #include <compat/linux/linux_vdso.h>
59
60 MODULE_VERSION(linux64elf, 1);
61
62 const char *linux_kplatform;
63 static int linux_szsigcode;
64 static vm_object_t linux_shared_page_obj;
65 static char *linux_shared_page_mapping;
66 extern char _binary_linux_locore_o_start;
67 extern char _binary_linux_locore_o_end;
68
69 extern struct sysent linux_sysent[LINUX_SYS_MAXSYSCALL];
70
71 SET_DECLARE(linux_ioctl_handler_set, struct linux_ioctl_handler);
72
73 static int      linux_copyout_strings(struct image_params *imgp,
74                     uintptr_t *stack_base);
75 static int      linux_elf_fixup(uintptr_t *stack_base,
76                     struct image_params *iparams);
77 static bool     linux_trans_osrel(const Elf_Note *note, int32_t *osrel);
78 static void     linux_vdso_install(const void *param);
79 static void     linux_vdso_deinstall(const void *param);
80 static void     linux_set_syscall_retval(struct thread *td, int error);
81 static int      linux_fetch_syscall_args(struct thread *td);
82 static void     linux_exec_setregs(struct thread *td, struct image_params *imgp,
83                     uintptr_t stack);
84 static int      linux_vsyscall(struct thread *td);
85
86 /* DTrace init */
87 LIN_SDT_PROVIDER_DECLARE(LINUX_DTRACE);
88
89 /* DTrace probes */
90 LIN_SDT_PROBE_DEFINE2(sysvec, linux_translate_traps, todo, "int", "int");
91 LIN_SDT_PROBE_DEFINE0(sysvec, linux_exec_setregs, todo);
92 LIN_SDT_PROBE_DEFINE0(sysvec, linux_copyout_auxargs, todo);
93 LIN_SDT_PROBE_DEFINE0(sysvec, linux_elf_fixup, todo);
94 LIN_SDT_PROBE_DEFINE0(sysvec, linux_rt_sigreturn, todo);
95 LIN_SDT_PROBE_DEFINE0(sysvec, linux_rt_sendsig, todo);
96 LIN_SDT_PROBE_DEFINE0(sysvec, linux_vsyscall, todo);
97 LIN_SDT_PROBE_DEFINE0(sysvec, linux_vdso_install, todo);
98 LIN_SDT_PROBE_DEFINE0(sysvec, linux_vdso_deinstall, todo);
99
100 /* LINUXTODO: do we have traps to translate? */
101 static int
102 linux_translate_traps(int signal, int trap_code)
103 {
104
105         LIN_SDT_PROBE2(sysvec, linux_translate_traps, todo, signal, trap_code);
106         return (signal);
107 }
108
109 LINUX_VDSO_SYM_CHAR(linux_platform);
110
111 static int
112 linux_fetch_syscall_args(struct thread *td)
113 {
114         struct proc *p;
115         struct syscall_args *sa;
116         register_t *ap;
117
118         p = td->td_proc;
119         ap = td->td_frame->tf_x;
120         sa = &td->td_sa;
121
122         sa->code = td->td_frame->tf_x[8];
123         /* LINUXTODO: generic syscall? */
124         if (sa->code >= p->p_sysent->sv_size)
125                 sa->callp = &p->p_sysent->sv_table[0];
126         else
127                 sa->callp = &p->p_sysent->sv_table[sa->code];
128
129         sa->narg = sa->callp->sy_narg;
130         if (sa->narg > 8)
131                 panic("ARM64TODO: Could we have more than 8 args?");
132         memcpy(sa->args, ap, 8 * sizeof(register_t));
133
134         td->td_retval[0] = 0;
135         return (0);
136 }
137
138 static void
139 linux_set_syscall_retval(struct thread *td, int error)
140 {
141
142         td->td_retval[1] = td->td_frame->tf_x[1];
143         cpu_set_syscall_retval(td, error);
144 }
145
146 static int
147 linux_copyout_auxargs(struct image_params *imgp, uintptr_t base)
148 {
149         Elf_Auxargs *args;
150         Elf_Auxinfo *argarray, *pos;
151         struct proc *p;
152         int error, issetugid;
153
154         LIN_SDT_PROBE0(sysvec, linux_copyout_auxargs, todo);
155         p = imgp->proc;
156
157         args = (Elf64_Auxargs *)imgp->auxargs;
158         argarray = pos = malloc(LINUX_AT_COUNT * sizeof(*pos), M_TEMP,
159             M_WAITOK | M_ZERO);
160
161         issetugid = p->p_flag & P_SUGID ? 1 : 0;
162         AUXARGS_ENTRY(pos, LINUX_AT_SYSINFO_EHDR,
163             imgp->proc->p_sysent->sv_shared_page_base);
164 #if 0   /* LINUXTODO: implement arm64 LINUX_AT_HWCAP */
165         AUXARGS_ENTRY(pos, LINUX_AT_HWCAP, cpu_feature);
166 #endif
167         AUXARGS_ENTRY(pos, LINUX_AT_CLKTCK, stclohz);
168         AUXARGS_ENTRY(pos, AT_PHDR, args->phdr);
169         AUXARGS_ENTRY(pos, AT_PHENT, args->phent);
170         AUXARGS_ENTRY(pos, AT_PHNUM, args->phnum);
171         AUXARGS_ENTRY(pos, AT_PAGESZ, args->pagesz);
172         AUXARGS_ENTRY(pos, AT_BASE, args->base);
173         AUXARGS_ENTRY(pos, AT_FLAGS, args->flags);
174         AUXARGS_ENTRY(pos, AT_ENTRY, args->entry);
175         AUXARGS_ENTRY(pos, AT_UID, imgp->proc->p_ucred->cr_ruid);
176         AUXARGS_ENTRY(pos, AT_EUID, imgp->proc->p_ucred->cr_svuid);
177         AUXARGS_ENTRY(pos, AT_GID, imgp->proc->p_ucred->cr_rgid);
178         AUXARGS_ENTRY(pos, AT_EGID, imgp->proc->p_ucred->cr_svgid);
179         AUXARGS_ENTRY(pos, LINUX_AT_SECURE, issetugid);
180 #if 0   /* LINUXTODO: implement arm64 LINUX_AT_PLATFORM */
181         AUXARGS_ENTRY(pos, LINUX_AT_PLATFORM, PTROUT(linux_platform));
182 #endif
183         AUXARGS_ENTRY(pos, LINUX_AT_RANDOM, imgp->canary);
184         if (imgp->execpathp != 0)
185                 AUXARGS_ENTRY(pos, LINUX_AT_EXECFN, imgp->execpathp);
186         if (args->execfd != -1)
187                 AUXARGS_ENTRY(pos, AT_EXECFD, args->execfd);
188         AUXARGS_ENTRY(pos, AT_NULL, 0);
189         free(imgp->auxargs, M_TEMP);
190         imgp->auxargs = NULL;
191         KASSERT(pos - argarray <= LINUX_AT_COUNT, ("Too many auxargs"));
192
193         error = copyout(argarray, (void *)base,
194             sizeof(*argarray) * LINUX_AT_COUNT);
195         free(argarray, M_TEMP);
196         return (error);
197 }
198
199 static int
200 linux_elf_fixup(uintptr_t *stack_base, struct image_params *imgp)
201 {
202
203         LIN_SDT_PROBE0(sysvec, linux_elf_fixup, todo);
204
205         return (0);
206 }
207
208 /*
209  * Copy strings out to the new process address space, constructing new arg
210  * and env vector tables. Return a pointer to the base so that it can be used
211  * as the initial stack pointer.
212  * LINUXTODO: deduplicate against other linuxulator archs
213  */
214 static int
215 linux_copyout_strings(struct image_params *imgp, uintptr_t *stack_base)
216 {
217         char **vectp;
218         char *stringp;
219         uintptr_t destp, ustringp;
220         struct ps_strings *arginfo;
221         char canary[LINUX_AT_RANDOM_LEN];
222         size_t execpath_len;
223         struct proc *p;
224         int argc, envc, error;
225
226         /* Calculate string base and vector table pointers. */
227         if (imgp->execpath != NULL && imgp->auxargs != NULL)
228                 execpath_len = strlen(imgp->execpath) + 1;
229         else
230                 execpath_len = 0;
231
232         p = imgp->proc;
233         arginfo = (struct ps_strings *)p->p_sysent->sv_psstrings;
234         destp = (uintptr_t)arginfo;
235
236         if (execpath_len != 0) {
237                 destp -= execpath_len;
238                 destp = rounddown2(destp, sizeof(void *));
239                 imgp->execpathp = destp;
240                 error = copyout(imgp->execpath, (void *)destp, execpath_len);
241                 if (error != 0)
242                         return (error);
243         }
244
245         /* Prepare the canary for SSP. */
246         arc4rand(canary, sizeof(canary), 0);
247         destp -= roundup(sizeof(canary), sizeof(void *));
248         imgp->canary = destp;
249         error = copyout(canary, (void *)destp, sizeof(canary));
250         if (error != 0)
251                 return (error);
252
253         /* Allocate room for the argument and environment strings. */
254         destp -= ARG_MAX - imgp->args->stringspace;
255         destp = rounddown2(destp, sizeof(void *));
256         ustringp = destp;
257
258         if (imgp->auxargs) {
259                 /*
260                  * Allocate room on the stack for the ELF auxargs
261                  * array.  It has up to LINUX_AT_COUNT entries.
262                  */
263                 destp -= LINUX_AT_COUNT * sizeof(Elf64_Auxinfo);
264                 destp = rounddown2(destp, sizeof(void *));
265         }
266
267         vectp = (char **)destp;
268
269         /*
270          * Allocate room for argc and the argv[] and env vectors including the
271          * terminating NULL pointers.
272          */
273         vectp -= 1 + imgp->args->argc + 1 + imgp->args->envc + 1;
274         vectp = (char **)STACKALIGN(vectp);
275
276         /* vectp also becomes our initial stack base. */
277         *stack_base = (uintptr_t)vectp;
278
279         stringp = imgp->args->begin_argv;
280         argc = imgp->args->argc;
281         envc = imgp->args->envc;
282
283         /* Copy out strings - arguments and environment. */
284         error = copyout(stringp, (void *)ustringp,
285             ARG_MAX - imgp->args->stringspace);
286         if (error != 0)
287                 return (error);
288
289         /* Fill in "ps_strings" struct for ps, w, etc. */
290         if (suword(&arginfo->ps_argvstr, (long)(intptr_t)vectp) != 0 ||
291             suword(&arginfo->ps_nargvstr, argc) != 0)
292                 return (EFAULT);
293
294         if (suword(vectp++, argc) != 0)
295                 return (EFAULT);
296
297         /* Fill in argument portion of vector table. */
298         for (; argc > 0; --argc) {
299                 if (suword(vectp++, ustringp) != 0)
300                         return (EFAULT);
301                 while (*stringp++ != 0)
302                         ustringp++;
303                 ustringp++;
304         }
305
306         /* A null vector table pointer separates the argp's from the envp's. */
307         if (suword(vectp++, 0) != 0)
308                 return (EFAULT);
309
310         if (suword(&arginfo->ps_envstr, (long)(intptr_t)vectp) != 0 ||
311             suword(&arginfo->ps_nenvstr, envc) != 0)
312                 return (EFAULT);
313
314         /* Fill in environment portion of vector table. */
315         for (; envc > 0; --envc) {
316                 if (suword(vectp++, ustringp) != 0)
317                         return (EFAULT);
318                 while (*stringp++ != 0)
319                         ustringp++;
320                 ustringp++;
321         }
322
323         /* The end of the vector table is a null pointer. */
324         if (suword(vectp, 0) != 0)
325                 return (EFAULT);
326
327         if (imgp->auxargs) {
328                 vectp++;
329                 error = imgp->sysent->sv_copyout_auxargs(imgp,
330                     (uintptr_t)vectp);
331                 if (error != 0)
332                         return (error);
333         }
334
335         return (0);
336 }
337
338 /*
339  * Reset registers to default values on exec.
340  */
341 static void
342 linux_exec_setregs(struct thread *td, struct image_params *imgp,
343     uintptr_t stack)
344 {
345         struct trapframe *regs = td->td_frame;
346
347         /* LINUXTODO: validate */
348         LIN_SDT_PROBE0(sysvec, linux_exec_setregs, todo);
349
350         memset(regs, 0, sizeof(*regs));
351         /* glibc start.S registers function pointer in x0 with atexit. */
352         regs->tf_sp = stack;
353 #if 0   /* LINUXTODO: See if this is used. */
354         regs->tf_lr = imgp->entry_addr;
355 #else
356         regs->tf_lr = 0xffffffffffffffff;
357 #endif
358         regs->tf_elr = imgp->entry_addr;
359 }
360
361 int
362 linux_rt_sigreturn(struct thread *td, struct linux_rt_sigreturn_args *args)
363 {
364
365         /* LINUXTODO: implement */
366         LIN_SDT_PROBE0(sysvec, linux_rt_sigreturn, todo);
367         return (EDOOFUS);
368 }
369
370 static void
371 linux_rt_sendsig(sig_t catcher, ksiginfo_t *ksi, sigset_t *mask)
372 {
373
374         /* LINUXTODO: implement */
375         LIN_SDT_PROBE0(sysvec, linux_rt_sendsig, todo);
376 }
377
378 static int
379 linux_vsyscall(struct thread *td)
380 {
381
382         /* LINUXTODO: implement */
383         LIN_SDT_PROBE0(sysvec, linux_vsyscall, todo);
384         return (EDOOFUS);
385 }
386
387 struct sysentvec elf_linux_sysvec = {
388         .sv_size        = LINUX_SYS_MAXSYSCALL,
389         .sv_table       = linux_sysent,
390         .sv_errsize     = ELAST + 1,
391         .sv_errtbl      = linux_errtbl,
392         .sv_transtrap   = linux_translate_traps,
393         .sv_fixup       = linux_elf_fixup,
394         .sv_sendsig     = linux_rt_sendsig,
395         .sv_sigcode     = &_binary_linux_locore_o_start,
396         .sv_szsigcode   = &linux_szsigcode,
397         .sv_name        = "Linux ELF64",
398         .sv_coredump    = elf64_coredump,
399         .sv_imgact_try  = linux_exec_imgact_try,
400         .sv_minsigstksz = LINUX_MINSIGSTKSZ,
401         .sv_minuser     = VM_MIN_ADDRESS,
402         .sv_maxuser     = VM_MAXUSER_ADDRESS,
403         .sv_usrstack    = USRSTACK,
404         .sv_psstrings   = PS_STRINGS, /* XXX */
405         .sv_stackprot   = VM_PROT_READ | VM_PROT_WRITE,
406         .sv_copyout_auxargs = linux_copyout_auxargs,
407         .sv_copyout_strings = linux_copyout_strings,
408         .sv_setregs     = linux_exec_setregs,
409         .sv_fixlimit    = NULL,
410         .sv_maxssiz     = NULL,
411         .sv_flags       = SV_ABI_LINUX | SV_LP64 | SV_SHP,
412         .sv_set_syscall_retval = linux_set_syscall_retval,
413         .sv_fetch_syscall_args = linux_fetch_syscall_args,
414         .sv_syscallnames = NULL,
415         .sv_shared_page_base = SHAREDPAGE,
416         .sv_shared_page_len = PAGE_SIZE,
417         .sv_schedtail   = linux_schedtail,
418         .sv_thread_detach = linux_thread_detach,
419         .sv_trap        = linux_vsyscall,
420 };
421
422 static void
423 linux_vdso_install(const void *param)
424 {
425
426         linux_szsigcode = (&_binary_linux_locore_o_end -
427             &_binary_linux_locore_o_start);
428
429         if (linux_szsigcode > elf_linux_sysvec.sv_shared_page_len)
430                 panic("invalid Linux VDSO size\n");
431
432         __elfN(linux_vdso_fixup)(&elf_linux_sysvec);
433
434         linux_shared_page_obj = __elfN(linux_shared_page_init)
435             (&linux_shared_page_mapping);
436
437         __elfN(linux_vdso_reloc)(&elf_linux_sysvec);
438
439         memcpy(linux_shared_page_mapping, elf_linux_sysvec.sv_sigcode,
440             linux_szsigcode);
441         elf_linux_sysvec.sv_shared_page_obj = linux_shared_page_obj;
442
443         printf("LINUXTODO: %s: fix linux_kplatform\n", __func__);
444 #if 0
445         linux_kplatform = linux_shared_page_mapping +
446             (linux_platform - (caddr_t)elf_linux_sysvec.sv_shared_page_base);
447 #else
448         linux_kplatform = "arm64";
449 #endif
450 }
451 SYSINIT(elf_linux_vdso_init, SI_SUB_EXEC, SI_ORDER_ANY,
452     linux_vdso_install, NULL);
453
454 static void
455 linux_vdso_deinstall(const void *param)
456 {
457
458         LIN_SDT_PROBE0(sysvec, linux_vdso_deinstall, todo);
459         __elfN(linux_shared_page_fini)(linux_shared_page_obj);
460 }
461 SYSUNINIT(elf_linux_vdso_uninit, SI_SUB_EXEC, SI_ORDER_FIRST,
462     linux_vdso_deinstall, NULL);
463
464 static char GNU_ABI_VENDOR[] = "GNU";
465 static int GNU_ABI_LINUX = 0;
466
467 /* LINUXTODO: deduplicate */
468 static bool
469 linux_trans_osrel(const Elf_Note *note, int32_t *osrel)
470 {
471         const Elf32_Word *desc;
472         uintptr_t p;
473
474         p = (uintptr_t)(note + 1);
475         p += roundup2(note->n_namesz, sizeof(Elf32_Addr));
476
477         desc = (const Elf32_Word *)p;
478         if (desc[0] != GNU_ABI_LINUX)
479                 return (false);
480
481         *osrel = LINUX_KERNVER(desc[1], desc[2], desc[3]);
482         return (true);
483 }
484
485 static Elf_Brandnote linux64_brandnote = {
486         .hdr.n_namesz   = sizeof(GNU_ABI_VENDOR),
487         .hdr.n_descsz   = 16,
488         .hdr.n_type     = 1,
489         .vendor         = GNU_ABI_VENDOR,
490         .flags          = BN_TRANSLATE_OSREL,
491         .trans_osrel    = linux_trans_osrel
492 };
493
494 static Elf64_Brandinfo linux_glibc2brand = {
495         .brand          = ELFOSABI_LINUX,
496         .machine        = EM_AARCH64,
497         .compat_3_brand = "Linux",
498         .emul_path      = linux_emul_path,
499         .interp_path    = "/lib64/ld-linux-x86-64.so.2",
500         .sysvec         = &elf_linux_sysvec,
501         .interp_newpath = NULL,
502         .brand_note     = &linux64_brandnote,
503         .flags          = BI_CAN_EXEC_DYN | BI_BRAND_NOTE
504 };
505
506 Elf64_Brandinfo *linux_brandlist[] = {
507         &linux_glibc2brand,
508         NULL
509 };
510
511 static int
512 linux64_elf_modevent(module_t mod, int type, void *data)
513 {
514         Elf64_Brandinfo **brandinfo;
515         struct linux_ioctl_handler**lihp;
516         int error;
517
518         error = 0;
519         switch(type) {
520         case MOD_LOAD:
521                 for (brandinfo = &linux_brandlist[0]; *brandinfo != NULL;
522                     ++brandinfo)
523                         if (elf64_insert_brand_entry(*brandinfo) < 0)
524                                 error = EINVAL;
525                 if (error == 0) {
526                         SET_FOREACH(lihp, linux_ioctl_handler_set)
527                                 linux_ioctl_register_handler(*lihp);
528                         stclohz = (stathz ? stathz : hz);
529                         if (bootverbose)
530                                 printf("Linux arm64 ELF exec handler installed\n");
531                 }
532                 break;
533         case MOD_UNLOAD:
534                 for (brandinfo = &linux_brandlist[0]; *brandinfo != NULL;
535                     ++brandinfo)
536                         if (elf64_brand_inuse(*brandinfo))
537                                 error = EBUSY;
538                 if (error == 0) {
539                         for (brandinfo = &linux_brandlist[0];
540                             *brandinfo != NULL; ++brandinfo)
541                                 if (elf64_remove_brand_entry(*brandinfo) < 0)
542                                         error = EINVAL;
543                 }
544                 if (error == 0) {
545                         SET_FOREACH(lihp, linux_ioctl_handler_set)
546                                 linux_ioctl_unregister_handler(*lihp);
547                         if (bootverbose)
548                                 printf("Linux ELF exec handler removed\n");
549                 } else
550                         printf("Could not deinstall ELF interpreter entry\n");
551                 break;
552         default:
553                 return (EOPNOTSUPP);
554         }
555         return (error);
556 }
557
558 static moduledata_t linux64_elf_mod = {
559         "linux64elf",
560         linux64_elf_modevent,
561         0
562 };
563
564 DECLARE_MODULE_TIED(linux64elf, linux64_elf_mod, SI_SUB_EXEC, SI_ORDER_ANY);
565 MODULE_DEPEND(linux64elf, linux_common, 1, 1, 1);
566 FEATURE(linux64, "AArch64 Linux 64bit support");