]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/arm64/linux/linux_sysvec.c
Check for errors from copyout() and suword*() in sv_copyout_args/strings.
[FreeBSD/FreeBSD.git] / sys / arm64 / linux / linux_sysvec.c
1 /*-
2  * SPDX-License-Identifier: BSD-2-Clause-FreeBSD
3  *
4  * Copyright (c) 1994-1996 Søren Schmidt
5  * Copyright (c) 2018 Turing Robotic Industries Inc.
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 1. Redistributions of source code must retain the above copyright
11  *    notice, this list of conditions and the following disclaimer.
12  * 2. Redistributions in binary form must reproduce the above copyright
13  *    notice, this list of conditions and the following disclaimer in the
14  *    documentation and/or other materials provided with the distribution.
15  *
16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
26  * SUCH DAMAGE.
27  */
28
29 #include <sys/cdefs.h>
30 __FBSDID("$FreeBSD$");
31
32 #include <sys/param.h>
33 #include <sys/systm.h>
34 #include <sys/cdefs.h>
35 #include <sys/elf.h>
36 #include <sys/exec.h>
37 #include <sys/imgact.h>
38 #include <sys/imgact_elf.h>
39 #include <sys/kernel.h>
40 #include <sys/lock.h>
41 #include <sys/module.h>
42 #include <sys/mutex.h>
43 #include <sys/proc.h>
44 #include <sys/signalvar.h>
45 #include <sys/sysctl.h>
46 #include <sys/sysent.h>
47
48 #include <vm/vm_param.h>
49
50 #include <arm64/linux/linux.h>
51 #include <arm64/linux/linux_proto.h>
52 #include <compat/linux/linux_dtrace.h>
53 #include <compat/linux/linux_emul.h>
54 #include <compat/linux/linux_ioctl.h>
55 #include <compat/linux/linux_mib.h>
56 #include <compat/linux/linux_misc.h>
57 #include <compat/linux/linux_vdso.h>
58
59 MODULE_VERSION(linux64elf, 1);
60
61 const char *linux_kplatform;
62 static int linux_szsigcode;
63 static vm_object_t linux_shared_page_obj;
64 static char *linux_shared_page_mapping;
65 extern char _binary_linux_locore_o_start;
66 extern char _binary_linux_locore_o_end;
67
68 extern struct sysent linux_sysent[LINUX_SYS_MAXSYSCALL];
69
70 SET_DECLARE(linux_ioctl_handler_set, struct linux_ioctl_handler);
71
72 static int      linux_copyout_strings(struct image_params *imgp,
73                     register_t **stack_base);
74 static int      linux_elf_fixup(register_t **stack_base,
75                     struct image_params *iparams);
76 static bool     linux_trans_osrel(const Elf_Note *note, int32_t *osrel);
77 static void     linux_vdso_install(const void *param);
78 static void     linux_vdso_deinstall(const void *param);
79 static void     linux_set_syscall_retval(struct thread *td, int error);
80 static int      linux_fetch_syscall_args(struct thread *td);
81 static void     linux_exec_setregs(struct thread *td, struct image_params *imgp,
82                     u_long stack);
83 static int      linux_vsyscall(struct thread *td);
84
85 /* DTrace init */
86 LIN_SDT_PROVIDER_DECLARE(LINUX_DTRACE);
87
88 /* DTrace probes */
89 LIN_SDT_PROBE_DEFINE2(sysvec, linux_translate_traps, todo, "int", "int");
90 LIN_SDT_PROBE_DEFINE0(sysvec, linux_exec_setregs, todo);
91 LIN_SDT_PROBE_DEFINE0(sysvec, linux_copyout_auxargs, todo);
92 LIN_SDT_PROBE_DEFINE0(sysvec, linux_elf_fixup, todo);
93 LIN_SDT_PROBE_DEFINE0(sysvec, linux_rt_sigreturn, todo);
94 LIN_SDT_PROBE_DEFINE0(sysvec, linux_rt_sendsig, todo);
95 LIN_SDT_PROBE_DEFINE0(sysvec, linux_vsyscall, todo);
96 LIN_SDT_PROBE_DEFINE0(sysvec, linux_vdso_install, todo);
97 LIN_SDT_PROBE_DEFINE0(sysvec, linux_vdso_deinstall, todo);
98
99 /* LINUXTODO: do we have traps to translate? */
100 static int
101 linux_translate_traps(int signal, int trap_code)
102 {
103
104         LIN_SDT_PROBE2(sysvec, linux_translate_traps, todo, signal, trap_code);
105         return (signal);
106 }
107
108 LINUX_VDSO_SYM_CHAR(linux_platform);
109
110 static int
111 linux_fetch_syscall_args(struct thread *td)
112 {
113         struct proc *p;
114         struct syscall_args *sa;
115         register_t *ap;
116
117         p = td->td_proc;
118         ap = td->td_frame->tf_x;
119         sa = &td->td_sa;
120
121         sa->code = td->td_frame->tf_x[8];
122         /* LINUXTODO: generic syscall? */
123         if (sa->code >= p->p_sysent->sv_size)
124                 sa->callp = &p->p_sysent->sv_table[0];
125         else
126                 sa->callp = &p->p_sysent->sv_table[sa->code];
127
128         sa->narg = sa->callp->sy_narg;
129         if (sa->narg > 8)
130                 panic("ARM64TODO: Could we have more than 8 args?");
131         memcpy(sa->args, ap, 8 * sizeof(register_t));
132
133         td->td_retval[0] = 0;
134         return (0);
135 }
136
137 static void
138 linux_set_syscall_retval(struct thread *td, int error)
139 {
140
141         td->td_retval[1] = td->td_frame->tf_x[1];
142         cpu_set_syscall_retval(td, error);
143 }
144
145 static int
146 linux_copyout_auxargs(struct image_params *imgp, u_long *base)
147 {
148         Elf_Auxargs *args;
149         Elf_Auxinfo *argarray, *pos;
150         u_long auxlen;
151         struct proc *p;
152         int error, issetugid;
153
154         LIN_SDT_PROBE0(sysvec, linux_copyout_auxargs, todo);
155         p = imgp->proc;
156
157         args = (Elf64_Auxargs *)imgp->auxargs;
158         argarray = pos = malloc(LINUX_AT_COUNT * sizeof(*pos), M_TEMP,
159             M_WAITOK | M_ZERO);
160
161         issetugid = p->p_flag & P_SUGID ? 1 : 0;
162         AUXARGS_ENTRY(pos, LINUX_AT_SYSINFO_EHDR,
163             imgp->proc->p_sysent->sv_shared_page_base);
164 #if 0   /* LINUXTODO: implement arm64 LINUX_AT_HWCAP */
165         AUXARGS_ENTRY(pos, LINUX_AT_HWCAP, cpu_feature);
166 #endif
167         AUXARGS_ENTRY(pos, LINUX_AT_CLKTCK, stclohz);
168         AUXARGS_ENTRY(pos, AT_PHDR, args->phdr);
169         AUXARGS_ENTRY(pos, AT_PHENT, args->phent);
170         AUXARGS_ENTRY(pos, AT_PHNUM, args->phnum);
171         AUXARGS_ENTRY(pos, AT_PAGESZ, args->pagesz);
172         AUXARGS_ENTRY(pos, AT_BASE, args->base);
173         AUXARGS_ENTRY(pos, AT_FLAGS, args->flags);
174         AUXARGS_ENTRY(pos, AT_ENTRY, args->entry);
175         AUXARGS_ENTRY(pos, AT_UID, imgp->proc->p_ucred->cr_ruid);
176         AUXARGS_ENTRY(pos, AT_EUID, imgp->proc->p_ucred->cr_svuid);
177         AUXARGS_ENTRY(pos, AT_GID, imgp->proc->p_ucred->cr_rgid);
178         AUXARGS_ENTRY(pos, AT_EGID, imgp->proc->p_ucred->cr_svgid);
179         AUXARGS_ENTRY(pos, LINUX_AT_SECURE, issetugid);
180 #if 0   /* LINUXTODO: implement arm64 LINUX_AT_PLATFORM */
181         AUXARGS_ENTRY(pos, LINUX_AT_PLATFORM, PTROUT(linux_platform));
182 #endif
183         AUXARGS_ENTRY(pos, LINUX_AT_RANDOM, imgp->canary);
184         if (imgp->execpathp != 0)
185                 AUXARGS_ENTRY(pos, LINUX_AT_EXECFN, imgp->execpathp);
186         if (args->execfd != -1)
187                 AUXARGS_ENTRY(pos, AT_EXECFD, args->execfd);
188         AUXARGS_ENTRY(pos, AT_NULL, 0);
189         free(imgp->auxargs, M_TEMP);
190         imgp->auxargs = NULL;
191         KASSERT(pos - argarray <= LINUX_AT_COUNT, ("Too many auxargs"));
192
193         auxlen = sizeof(*argarray) * (pos - argarray);
194         *base -= auxlen;
195         error = copyout(argarray, (void *)*base, auxlen);
196         free(argarray, M_TEMP);
197         return (error);
198 }
199
200 static int
201 linux_elf_fixup(register_t **stack_base, struct image_params *imgp)
202 {
203
204         LIN_SDT_PROBE0(sysvec, linux_elf_fixup, todo);
205
206         return (0);
207 }
208
209 /*
210  * Copy strings out to the new process address space, constructing new arg
211  * and env vector tables. Return a pointer to the base so that it can be used
212  * as the initial stack pointer.
213  * LINUXTODO: deduplicate against other linuxulator archs
214  */
215 static int
216 linux_copyout_strings(struct image_params *imgp, register_t **stack_base)
217 {
218         char **vectp;
219         char *stringp, *destp;
220         struct ps_strings *arginfo;
221         char canary[LINUX_AT_RANDOM_LEN];
222         size_t execpath_len;
223         struct proc *p;
224         int argc, envc, error;
225
226         /* Calculate string base and vector table pointers. */
227         if (imgp->execpath != NULL && imgp->auxargs != NULL)
228                 execpath_len = strlen(imgp->execpath) + 1;
229         else
230                 execpath_len = 0;
231
232         p = imgp->proc;
233         arginfo = (struct ps_strings *)p->p_sysent->sv_psstrings;
234         destp = (caddr_t)arginfo - SPARE_USRSPACE -
235             roundup(sizeof(canary), sizeof(char *)) -
236             roundup(execpath_len, sizeof(char *)) -
237             roundup(ARG_MAX - imgp->args->stringspace, sizeof(char *));
238
239         if (execpath_len != 0) {
240                 imgp->execpathp = (uintptr_t)arginfo - execpath_len;
241                 error = copyout(imgp->execpath, (void *)imgp->execpathp,
242                     execpath_len);
243                 if (error != 0)
244                         return (error);
245         }
246
247         /* Prepare the canary for SSP. */
248         arc4rand(canary, sizeof(canary), 0);
249         imgp->canary = (uintptr_t)arginfo -
250             roundup(execpath_len, sizeof(char *)) -
251             roundup(sizeof(canary), sizeof(char *));
252         error = copyout(canary, (void *)imgp->canary, sizeof(canary));
253         if (error != 0)
254                 return (error);
255
256         vectp = (char **)destp;
257         if (imgp->auxargs) {
258                 error = imgp->sysent->sv_copyout_auxargs(imgp,
259                     (u_long *)&vectp);
260                 if (error != 0)
261                         return (error);
262         }
263
264         /*
265          * Allocate room for argc and the argv[] and env vectors including the
266          * terminating NULL pointers.
267          */
268         vectp -= 1 + imgp->args->argc + 1 + imgp->args->envc + 1;
269         vectp = (char **)STACKALIGN(vectp);
270
271         /* vectp also becomes our initial stack base. */
272         *stack_base = (register_t *)vectp;
273
274         stringp = imgp->args->begin_argv;
275         argc = imgp->args->argc;
276         envc = imgp->args->envc;
277
278         /* Copy out strings - arguments and environment. */
279         error = copyout(stringp, destp, ARG_MAX - imgp->args->stringspace);
280         if (error != 0)
281                 return (error);
282
283         /* Fill in "ps_strings" struct for ps, w, etc. */
284         if (suword(&arginfo->ps_argvstr, (long)(intptr_t)vectp) != 0 ||
285             suword(&arginfo->ps_nargvstr, argc) != 0)
286                 return (EFAULT);
287
288         if (suword(vectp++, argc) != 0)
289                 return (EFAULT);
290
291         /* Fill in argument portion of vector table. */
292         for (; argc > 0; --argc) {
293                 if (suword(vectp++, (long)(intptr_t)destp) != 0)
294                         return (EFAULT);
295                 while (*stringp++ != 0)
296                         destp++;
297                 destp++;
298         }
299
300         /* A null vector table pointer separates the argp's from the envp's. */
301         if (suword(vectp++, 0) != 0)
302                 return (EFAULT);
303
304         if (suword(&arginfo->ps_envstr, (long)(intptr_t)vectp) != 0 ||
305             suword(&arginfo->ps_nenvstr, envc) != 0)
306                 return (EFAULT);
307
308         /* Fill in environment portion of vector table. */
309         for (; envc > 0; --envc) {
310                 if (suword(vectp++, (long)(intptr_t)destp) != 0)
311                         return (EFAULT);
312                 while (*stringp++ != 0)
313                         destp++;
314                 destp++;
315         }
316
317         /* The end of the vector table is a null pointer. */
318         if (suword(vectp, 0) != 0)
319                 return (EFAULT);
320
321         return (0);
322 }
323
324 /*
325  * Reset registers to default values on exec.
326  */
327 static void
328 linux_exec_setregs(struct thread *td, struct image_params *imgp, u_long stack)
329 {
330         struct trapframe *regs = td->td_frame;
331
332         /* LINUXTODO: validate */
333         LIN_SDT_PROBE0(sysvec, linux_exec_setregs, todo);
334
335         memset(regs, 0, sizeof(*regs));
336         /* glibc start.S registers function pointer in x0 with atexit. */
337         regs->tf_sp = stack;
338 #if 0   /* LINUXTODO: See if this is used. */
339         regs->tf_lr = imgp->entry_addr;
340 #else
341         regs->tf_lr = 0xffffffffffffffff;
342 #endif
343         regs->tf_elr = imgp->entry_addr;
344 }
345
346 int
347 linux_rt_sigreturn(struct thread *td, struct linux_rt_sigreturn_args *args)
348 {
349
350         /* LINUXTODO: implement */
351         LIN_SDT_PROBE0(sysvec, linux_rt_sigreturn, todo);
352         return (EDOOFUS);
353 }
354
355 static void
356 linux_rt_sendsig(sig_t catcher, ksiginfo_t *ksi, sigset_t *mask)
357 {
358
359         /* LINUXTODO: implement */
360         LIN_SDT_PROBE0(sysvec, linux_rt_sendsig, todo);
361 }
362
363 static int
364 linux_vsyscall(struct thread *td)
365 {
366
367         /* LINUXTODO: implement */
368         LIN_SDT_PROBE0(sysvec, linux_vsyscall, todo);
369         return (EDOOFUS);
370 }
371
372 struct sysentvec elf_linux_sysvec = {
373         .sv_size        = LINUX_SYS_MAXSYSCALL,
374         .sv_table       = linux_sysent,
375         .sv_errsize     = ELAST + 1,
376         .sv_errtbl      = linux_errtbl,
377         .sv_transtrap   = linux_translate_traps,
378         .sv_fixup       = linux_elf_fixup,
379         .sv_sendsig     = linux_rt_sendsig,
380         .sv_sigcode     = &_binary_linux_locore_o_start,
381         .sv_szsigcode   = &linux_szsigcode,
382         .sv_name        = "Linux ELF64",
383         .sv_coredump    = elf64_coredump,
384         .sv_imgact_try  = linux_exec_imgact_try,
385         .sv_minsigstksz = LINUX_MINSIGSTKSZ,
386         .sv_minuser     = VM_MIN_ADDRESS,
387         .sv_maxuser     = VM_MAXUSER_ADDRESS,
388         .sv_usrstack    = USRSTACK,
389         .sv_psstrings   = PS_STRINGS, /* XXX */
390         .sv_stackprot   = VM_PROT_READ | VM_PROT_WRITE,
391         .sv_copyout_auxargs = linux_copyout_auxargs,
392         .sv_copyout_strings = linux_copyout_strings,
393         .sv_setregs     = linux_exec_setregs,
394         .sv_fixlimit    = NULL,
395         .sv_maxssiz     = NULL,
396         .sv_flags       = SV_ABI_LINUX | SV_LP64 | SV_SHP,
397         .sv_set_syscall_retval = linux_set_syscall_retval,
398         .sv_fetch_syscall_args = linux_fetch_syscall_args,
399         .sv_syscallnames = NULL,
400         .sv_shared_page_base = SHAREDPAGE,
401         .sv_shared_page_len = PAGE_SIZE,
402         .sv_schedtail   = linux_schedtail,
403         .sv_thread_detach = linux_thread_detach,
404         .sv_trap        = linux_vsyscall,
405 };
406
407 static void
408 linux_vdso_install(const void *param)
409 {
410
411         linux_szsigcode = (&_binary_linux_locore_o_end -
412             &_binary_linux_locore_o_start);
413
414         if (linux_szsigcode > elf_linux_sysvec.sv_shared_page_len)
415                 panic("invalid Linux VDSO size\n");
416
417         __elfN(linux_vdso_fixup)(&elf_linux_sysvec);
418
419         linux_shared_page_obj = __elfN(linux_shared_page_init)
420             (&linux_shared_page_mapping);
421
422         __elfN(linux_vdso_reloc)(&elf_linux_sysvec);
423
424         memcpy(linux_shared_page_mapping, elf_linux_sysvec.sv_sigcode,
425             linux_szsigcode);
426         elf_linux_sysvec.sv_shared_page_obj = linux_shared_page_obj;
427
428         printf("LINUXTODO: %s: fix linux_kplatform\n", __func__);
429 #if 0
430         linux_kplatform = linux_shared_page_mapping +
431             (linux_platform - (caddr_t)elf_linux_sysvec.sv_shared_page_base);
432 #else
433         linux_kplatform = "arm64";
434 #endif
435 }
436 SYSINIT(elf_linux_vdso_init, SI_SUB_EXEC, SI_ORDER_ANY,
437     linux_vdso_install, NULL);
438
439 static void
440 linux_vdso_deinstall(const void *param)
441 {
442
443         LIN_SDT_PROBE0(sysvec, linux_vdso_deinstall, todo);
444         __elfN(linux_shared_page_fini)(linux_shared_page_obj);
445 }
446 SYSUNINIT(elf_linux_vdso_uninit, SI_SUB_EXEC, SI_ORDER_FIRST,
447     linux_vdso_deinstall, NULL);
448
449 static char GNU_ABI_VENDOR[] = "GNU";
450 static int GNU_ABI_LINUX = 0;
451
452 /* LINUXTODO: deduplicate */
453 static bool
454 linux_trans_osrel(const Elf_Note *note, int32_t *osrel)
455 {
456         const Elf32_Word *desc;
457         uintptr_t p;
458
459         p = (uintptr_t)(note + 1);
460         p += roundup2(note->n_namesz, sizeof(Elf32_Addr));
461
462         desc = (const Elf32_Word *)p;
463         if (desc[0] != GNU_ABI_LINUX)
464                 return (false);
465
466         *osrel = LINUX_KERNVER(desc[1], desc[2], desc[3]);
467         return (true);
468 }
469
470 static Elf_Brandnote linux64_brandnote = {
471         .hdr.n_namesz   = sizeof(GNU_ABI_VENDOR),
472         .hdr.n_descsz   = 16,
473         .hdr.n_type     = 1,
474         .vendor         = GNU_ABI_VENDOR,
475         .flags          = BN_TRANSLATE_OSREL,
476         .trans_osrel    = linux_trans_osrel
477 };
478
479 static Elf64_Brandinfo linux_glibc2brand = {
480         .brand          = ELFOSABI_LINUX,
481         .machine        = EM_AARCH64,
482         .compat_3_brand = "Linux",
483         .emul_path      = "/compat/linux",
484         .interp_path    = "/lib64/ld-linux-x86-64.so.2",
485         .sysvec         = &elf_linux_sysvec,
486         .interp_newpath = NULL,
487         .brand_note     = &linux64_brandnote,
488         .flags          = BI_CAN_EXEC_DYN | BI_BRAND_NOTE
489 };
490
491 Elf64_Brandinfo *linux_brandlist[] = {
492         &linux_glibc2brand,
493         NULL
494 };
495
496 static int
497 linux64_elf_modevent(module_t mod, int type, void *data)
498 {
499         Elf64_Brandinfo **brandinfo;
500         struct linux_ioctl_handler**lihp;
501         int error;
502
503         error = 0;
504         switch(type) {
505         case MOD_LOAD:
506                 for (brandinfo = &linux_brandlist[0]; *brandinfo != NULL;
507                     ++brandinfo)
508                         if (elf64_insert_brand_entry(*brandinfo) < 0)
509                                 error = EINVAL;
510                 if (error == 0) {
511                         SET_FOREACH(lihp, linux_ioctl_handler_set)
512                                 linux_ioctl_register_handler(*lihp);
513                         stclohz = (stathz ? stathz : hz);
514                         if (bootverbose)
515                                 printf("Linux arm64 ELF exec handler installed\n");
516                 }
517                 break;
518         case MOD_UNLOAD:
519                 for (brandinfo = &linux_brandlist[0]; *brandinfo != NULL;
520                     ++brandinfo)
521                         if (elf64_brand_inuse(*brandinfo))
522                                 error = EBUSY;
523                 if (error == 0) {
524                         for (brandinfo = &linux_brandlist[0];
525                             *brandinfo != NULL; ++brandinfo)
526                                 if (elf64_remove_brand_entry(*brandinfo) < 0)
527                                         error = EINVAL;
528                 }
529                 if (error == 0) {
530                         SET_FOREACH(lihp, linux_ioctl_handler_set)
531                                 linux_ioctl_unregister_handler(*lihp);
532                         if (bootverbose)
533                                 printf("Linux ELF exec handler removed\n");
534                 } else
535                         printf("Could not deinstall ELF interpreter entry\n");
536                 break;
537         default:
538                 return (EOPNOTSUPP);
539         }
540         return (error);
541 }
542
543 static moduledata_t linux64_elf_mod = {
544         "linux64elf",
545         linux64_elf_modevent,
546         0
547 };
548
549 DECLARE_MODULE_TIED(linux64elf, linux64_elf_mod, SI_SUB_EXEC, SI_ORDER_ANY);
550 MODULE_DEPEND(linux64elf, linux_common, 1, 1, 1);
551 FEATURE(linux64, "AArch64 Linux 64bit support");