]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/kern/imgact_binmisc.c
imgact_binmisc: move some calculations out of the exec path
[FreeBSD/FreeBSD.git] / sys / kern / imgact_binmisc.c
1 /*-
2  * Copyright (c) 2013-16, Stacey D. Son
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer.
10  * 2. Redistributions in binary form must reproduce the above copyright
11  *    notice, this list of conditions and the following disclaimer in the
12  *    documentation and/or other materials provided with the distribution.
13  *
14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
24  * SUCH DAMAGE.
25  */
26
27 #include <sys/cdefs.h>
28 __FBSDID("$FreeBSD$");
29
30 #include <sys/param.h>
31 #include <sys/ctype.h>
32 #include <sys/exec.h>
33 #include <sys/imgact.h>
34 #include <sys/imgact_binmisc.h>
35 #include <sys/kernel.h>
36 #include <sys/lock.h>
37 #include <sys/malloc.h>
38 #include <sys/mutex.h>
39 #include <sys/sbuf.h>
40 #include <sys/sysctl.h>
41 #include <sys/sx.h>
42
43 #include <machine/atomic.h>
44
45 /**
46  * Miscellaneous binary interpreter image activator.
47  *
48  * If the given target executable's header matches 'xbe_magic' field in the
49  * 'interpreter_list' then it will use the user-level interpreter specified in
50  * the 'xbe_interpreter' field to execute the binary. The 'xbe_magic' field may
51  * be adjusted to a given offset using the value in the 'xbe_moffset' field
52  * and bits of the header may be masked using the 'xbe_mask' field.  The
53  * 'interpreter_list' entries are managed using sysctl(3) as described in the
54  * <sys/imgact_binmisc.h> file.
55  */
56
57 /*
58  * Node of the interpreter list.
59  */
60 typedef struct imgact_binmisc_entry {
61         SLIST_ENTRY(imgact_binmisc_entry) link;
62         char                             *ibe_name;
63         uint8_t                          *ibe_magic;
64         uint8_t                          *ibe_mask;
65         uint8_t                          *ibe_interpreter;
66         ssize_t                           ibe_interp_offset;
67         uint32_t                          ibe_interp_argcnt;
68         uint32_t                          ibe_interp_length;
69         uint32_t                          ibe_argv0_cnt;
70         uint32_t                          ibe_flags;
71         uint32_t                          ibe_moffset;
72         uint32_t                          ibe_msize;
73 } imgact_binmisc_entry_t;
74
75 /*
76  * sysctl() commands.
77  */
78 #define IBC_ADD         1       /* Add given entry. */
79 #define IBC_REMOVE      2       /* Remove entry for a given name. */
80 #define IBC_DISABLE     3       /* Disable entry for a given name. */
81 #define IBC_ENABLE      4       /* Enable entry for a given name. */
82 #define IBC_LOOKUP      5       /* Lookup and return entry for given name. */
83 #define IBC_LIST        6       /* Get a snapshot of the interpretor list. */
84
85 /*
86  * Interpreter string macros.
87  *
88  * They all start with '#' followed by a single letter:
89  */
90 #define ISM_POUND       '#'     /* "##" is the escape sequence for single #. */
91 #define ISM_OLD_ARGV0   'a'     /* "#a" is replaced with the old argv0. */
92
93 MALLOC_DEFINE(M_BINMISC, KMOD_NAME, "misc binary image activator");
94
95 /* The interpreter list. */
96 static SLIST_HEAD(, imgact_binmisc_entry) interpreter_list =
97         SLIST_HEAD_INITIALIZER(interpreter_list);
98
99 static int interp_list_entry_count;
100
101 static struct sx interp_list_sx;
102
103 #define INTERP_LIST_WLOCK()             sx_xlock(&interp_list_sx)
104 #define INTERP_LIST_RLOCK()             sx_slock(&interp_list_sx)
105 #define INTERP_LIST_WUNLOCK()           sx_xunlock(&interp_list_sx)
106 #define INTERP_LIST_RUNLOCK()           sx_sunlock(&interp_list_sx)
107
108 #define INTERP_LIST_LOCK_INIT()         sx_init(&interp_list_sx, KMOD_NAME)
109 #define INTERP_LIST_LOCK_DESTROY()      sx_destroy(&interp_list_sx)
110
111 #define INTERP_LIST_ASSERT_LOCKED()     sx_assert(&interp_list_sx, SA_LOCKED)
112
113 /*
114  * Populate the entry with the information about the interpreter.
115  */
116 static void
117 imgact_binmisc_populate_interp(char *str, imgact_binmisc_entry_t *ibe)
118 {
119         uint32_t len = 0, argc = 1;
120         char t[IBE_INTERP_LEN_MAX];
121         char *sp, *tp;
122
123         memset(t, 0, sizeof(t));
124
125         /*
126          * Normalize interpreter string. Replace white space between args with
127          * single space.
128          */
129         sp = str; tp = t;
130         while (*sp != '\0') {
131                 if (*sp == ' ' || *sp == '\t') {
132                         if (++len >= IBE_INTERP_LEN_MAX)
133                                 break;
134                         *tp++ = ' ';
135                         argc++;
136                         while (*sp == ' ' || *sp == '\t')
137                                 sp++;
138                         continue;
139                 } else {
140                         *tp++ = *sp++;
141                         len++;
142                 }
143         }
144         *tp = '\0';
145         len++;
146
147         ibe->ibe_interpreter = malloc(len, M_BINMISC, M_WAITOK|M_ZERO);
148
149         /* Populate all the ibe fields for the interpreter. */
150         memcpy(ibe->ibe_interpreter, t, len);
151         ibe->ibe_interp_argcnt = argc;
152         ibe->ibe_interp_length = len;
153 }
154
155 /*
156  * Allocate memory and populate a new entry for the interpreter table.
157  */
158 static imgact_binmisc_entry_t *
159 imgact_binmisc_new_entry(ximgact_binmisc_entry_t *xbe, ssize_t interp_offset,
160     int argv0_cnt)
161 {
162         imgact_binmisc_entry_t *ibe = NULL;
163         size_t namesz = min(strlen(xbe->xbe_name) + 1, IBE_NAME_MAX);
164
165         ibe = malloc(sizeof(*ibe), M_BINMISC, M_WAITOK|M_ZERO);
166
167         ibe->ibe_name = malloc(namesz, M_BINMISC, M_WAITOK|M_ZERO);
168         strlcpy(ibe->ibe_name, xbe->xbe_name, namesz);
169
170         imgact_binmisc_populate_interp(xbe->xbe_interpreter, ibe);
171
172         ibe->ibe_magic = malloc(xbe->xbe_msize, M_BINMISC, M_WAITOK|M_ZERO);
173         memcpy(ibe->ibe_magic, xbe->xbe_magic, xbe->xbe_msize);
174
175         ibe->ibe_mask = malloc(xbe->xbe_msize, M_BINMISC, M_WAITOK|M_ZERO);
176         memcpy(ibe->ibe_mask, xbe->xbe_mask, xbe->xbe_msize);
177
178         ibe->ibe_moffset = xbe->xbe_moffset;
179         ibe->ibe_msize = xbe->xbe_msize;
180         ibe->ibe_flags = xbe->xbe_flags;
181         ibe->ibe_interp_offset = interp_offset;
182         ibe->ibe_argv0_cnt = argv0_cnt;
183         return (ibe);
184 }
185
186 /*
187  * Free the allocated memory for a given list item.
188  */
189 static void
190 imgact_binmisc_destroy_entry(imgact_binmisc_entry_t *ibe)
191 {
192         if (!ibe)
193                 return;
194         if (ibe->ibe_magic)
195                 free(ibe->ibe_magic, M_BINMISC);
196         if (ibe->ibe_mask)
197                 free(ibe->ibe_mask, M_BINMISC);
198         if (ibe->ibe_interpreter)
199                 free(ibe->ibe_interpreter, M_BINMISC);
200         if (ibe->ibe_name)
201                 free(ibe->ibe_name, M_BINMISC);
202         if (ibe)
203                 free(ibe, M_BINMISC);
204 }
205
206 /*
207  * Find the interpreter in the list by the given name.  Return NULL if not
208  * found.
209  */
210 static imgact_binmisc_entry_t *
211 imgact_binmisc_find_entry(char *name)
212 {
213         imgact_binmisc_entry_t *ibe;
214
215         INTERP_LIST_ASSERT_LOCKED();
216
217         SLIST_FOREACH(ibe, &interpreter_list, link) {
218                 if (strncmp(name, ibe->ibe_name, IBE_NAME_MAX) == 0)
219                         return (ibe);
220         }
221
222         return (NULL);
223 }
224
225 /*
226  * Add the given interpreter if it doesn't already exist.  Return EEXIST
227  * if the name already exist in the interpreter list.
228  */
229 static int
230 imgact_binmisc_add_entry(ximgact_binmisc_entry_t *xbe)
231 {
232         imgact_binmisc_entry_t *ibe;
233         char *p;
234         ssize_t interp_offset;
235         int argv0_cnt, cnt;
236
237         if (xbe->xbe_msize > IBE_MAGIC_MAX)
238                 return (EINVAL);
239
240         for(cnt = 0, p = xbe->xbe_name; *p != 0; cnt++, p++)
241                 if (cnt >= IBE_NAME_MAX || !isascii((int)*p))
242                         return (EINVAL);
243
244         for(cnt = 0, p = xbe->xbe_interpreter; *p != 0; cnt++, p++)
245                 if (cnt >= IBE_INTERP_LEN_MAX || !isascii((int)*p))
246                         return (EINVAL);
247
248         /* Make sure we don't have any invalid #'s. */
249         p = xbe->xbe_interpreter;
250         interp_offset = 0;
251         argv0_cnt = 0;
252         while ((p = strchr(p, '#')) != NULL) {
253                 p++;
254                 switch(*p) {
255                 case ISM_POUND:
256                         /* "##" */
257                         p++;
258                         interp_offset--;
259                         break;
260                 case ISM_OLD_ARGV0:
261                         /* "#a" */
262                         p++;
263                         argv0_cnt++;
264                         break;
265                 case 0:
266                 default:
267                         /* Anything besides the above is invalid. */
268                         return (EINVAL);
269                 }
270         }
271
272         INTERP_LIST_WLOCK();
273         if (imgact_binmisc_find_entry(xbe->xbe_name) != NULL) {
274                 INTERP_LIST_WUNLOCK();
275                 return (EEXIST);
276         }
277
278         /* Preallocate a new entry. */
279         ibe = imgact_binmisc_new_entry(xbe, interp_offset, argv0_cnt);
280
281         SLIST_INSERT_HEAD(&interpreter_list, ibe, link);
282         interp_list_entry_count++;
283         INTERP_LIST_WUNLOCK();
284
285         return (0);
286 }
287
288 /*
289  * Remove the interpreter in the list with the given name. Return ENOENT
290  * if not found.
291  */
292 static int
293 imgact_binmisc_remove_entry(char *name)
294 {
295         imgact_binmisc_entry_t *ibe;
296
297         INTERP_LIST_WLOCK();
298         if ((ibe = imgact_binmisc_find_entry(name)) == NULL) {
299                 INTERP_LIST_WUNLOCK();
300                 return (ENOENT);
301         }
302         SLIST_REMOVE(&interpreter_list, ibe, imgact_binmisc_entry, link);
303         interp_list_entry_count--;
304         INTERP_LIST_WUNLOCK();
305
306         imgact_binmisc_destroy_entry(ibe);
307
308         return (0);
309 }
310
311 /*
312  * Disable the interpreter in the list with the given name. Return ENOENT
313  * if not found.
314  */
315 static int
316 imgact_binmisc_disable_entry(char *name)
317 {
318         imgact_binmisc_entry_t *ibe;
319
320         INTERP_LIST_WLOCK();
321         if ((ibe = imgact_binmisc_find_entry(name)) == NULL) {
322                 INTERP_LIST_WUNLOCK();
323                 return (ENOENT);
324         }
325
326         ibe->ibe_flags &= ~IBF_ENABLED;
327         INTERP_LIST_WUNLOCK();
328
329         return (0);
330 }
331
332 /*
333  * Enable the interpreter in the list with the given name. Return ENOENT
334  * if not found.
335  */
336 static int
337 imgact_binmisc_enable_entry(char *name)
338 {
339         imgact_binmisc_entry_t *ibe;
340
341         INTERP_LIST_WLOCK();
342         if ((ibe = imgact_binmisc_find_entry(name)) == NULL) {
343                 INTERP_LIST_WUNLOCK();
344                 return (ENOENT);
345         }
346
347         ibe->ibe_flags |= IBF_ENABLED;
348         INTERP_LIST_WUNLOCK();
349
350         return (0);
351 }
352
353 static int
354 imgact_binmisc_populate_xbe(ximgact_binmisc_entry_t *xbe,
355     imgact_binmisc_entry_t *ibe)
356 {
357         uint32_t i;
358
359         INTERP_LIST_ASSERT_LOCKED();
360         memset(xbe, 0, sizeof(*xbe));
361         strlcpy(xbe->xbe_name, ibe->ibe_name, IBE_NAME_MAX);
362
363         /* Copy interpreter string.  Replace NULL breaks with space. */
364         memcpy(xbe->xbe_interpreter, ibe->ibe_interpreter,
365             ibe->ibe_interp_length);
366         for(i = 0; i < (ibe->ibe_interp_length - 1); i++)
367                 if (xbe->xbe_interpreter[i] == '\0')
368                         xbe->xbe_interpreter[i] = ' ';
369
370         memcpy(xbe->xbe_magic, ibe->ibe_magic, ibe->ibe_msize);
371         memcpy(xbe->xbe_mask, ibe->ibe_mask, ibe->ibe_msize);
372         xbe->xbe_version = IBE_VERSION;
373         xbe->xbe_flags = ibe->ibe_flags;
374         xbe->xbe_moffset = ibe->ibe_moffset;
375         xbe->xbe_msize = ibe->ibe_msize;
376
377         return (0);
378 }
379
380 /*
381  * Retrieve the interpreter with the give name and populate the
382  * ximgact_binmisc_entry structure.  Return ENOENT if not found.
383  */
384 static int
385 imgact_binmisc_lookup_entry(char *name, ximgact_binmisc_entry_t *xbe)
386 {
387         imgact_binmisc_entry_t *ibe;
388         int error = 0;
389
390         INTERP_LIST_RLOCK();
391         if ((ibe = imgact_binmisc_find_entry(name)) == NULL) {
392                 INTERP_LIST_RUNLOCK();
393                 return (ENOENT);
394         }
395
396         error = imgact_binmisc_populate_xbe(xbe, ibe);
397         INTERP_LIST_RUNLOCK();
398
399         return (error);
400 }
401
402 /*
403  * Get a snapshot of all the interpreter entries in the list.
404  */
405 static int
406 imgact_binmisc_get_all_entries(struct sysctl_req *req)
407 {
408         ximgact_binmisc_entry_t *xbe, *xbep;
409         imgact_binmisc_entry_t *ibe;
410         int error = 0, count;
411
412         INTERP_LIST_RLOCK();
413         count = interp_list_entry_count;
414         xbe = malloc(sizeof(*xbe) * count, M_BINMISC, M_WAITOK|M_ZERO);
415
416         xbep = xbe;
417         SLIST_FOREACH(ibe, &interpreter_list, link) {
418                 error = imgact_binmisc_populate_xbe(xbep++, ibe);
419                 if (error)
420                         break;
421         }
422         INTERP_LIST_RUNLOCK();
423
424         if (!error)
425                 error = SYSCTL_OUT(req, xbe, sizeof(*xbe) * count);
426
427         free(xbe, M_BINMISC);
428         return (error);
429 }
430
431 /*
432  * sysctl() handler for munipulating interpretor table.
433  * Not MP safe (locked by sysctl).
434  */
435 static int
436 sysctl_kern_binmisc(SYSCTL_HANDLER_ARGS)
437 {
438         ximgact_binmisc_entry_t xbe;
439         int error = 0;
440
441         switch(arg2) {
442         case IBC_ADD:
443                 /* Add an entry. Limited to IBE_MAX_ENTRIES. */
444                 error = SYSCTL_IN(req, &xbe, sizeof(xbe));
445                 if (error)
446                         return (error);
447                 if (IBE_VERSION != xbe.xbe_version)
448                         return (EINVAL);
449                 if ((xbe.xbe_flags & ~IBF_VALID_UFLAGS) != 0)
450                         return (EINVAL);
451                 if (interp_list_entry_count == IBE_MAX_ENTRIES)
452                         return (ENOSPC);
453                 error = imgact_binmisc_add_entry(&xbe);
454                 break;
455
456         case IBC_REMOVE:
457                 /* Remove an entry. */
458                 error = SYSCTL_IN(req, &xbe, sizeof(xbe));
459                 if (error)
460                         return (error);
461                 if (IBE_VERSION != xbe.xbe_version)
462                         return (EINVAL);
463                 error = imgact_binmisc_remove_entry(xbe.xbe_name);
464                 break;
465
466         case IBC_DISABLE:
467                 /* Disable an entry. */
468                 error = SYSCTL_IN(req, &xbe, sizeof(xbe));
469                 if (error)
470                         return (error);
471                 if (IBE_VERSION != xbe.xbe_version)
472                         return (EINVAL);
473                 error = imgact_binmisc_disable_entry(xbe.xbe_name);
474                 break;
475
476         case IBC_ENABLE:
477                 /* Enable an entry. */
478                 error = SYSCTL_IN(req, &xbe, sizeof(xbe));
479                 if (error)
480                         return (error);
481                 if (IBE_VERSION != xbe.xbe_version)
482                         return (EINVAL);
483                 error = imgact_binmisc_enable_entry(xbe.xbe_name);
484                 break;
485
486         case IBC_LOOKUP:
487                 /* Lookup an entry. */
488                 error = SYSCTL_IN(req, &xbe, sizeof(xbe));
489                 if (error)
490                         return (error);
491                 if (IBE_VERSION != xbe.xbe_version)
492                         return (EINVAL);
493                 error = imgact_binmisc_lookup_entry(xbe.xbe_name, &xbe);
494                 if (!error)
495                         error = SYSCTL_OUT(req, &xbe, sizeof(xbe));
496                 break;
497
498         case IBC_LIST:
499                 /* Return a snapshot of the interpretor list. */
500
501                 if (!req->oldptr) {
502                         /* No pointer then just return the list size. */
503                         error = SYSCTL_OUT(req, 0, interp_list_entry_count *
504                             sizeof(ximgact_binmisc_entry_t));
505                         return (error);
506                 } else
507                         if (!req->oldlen)
508                                 return (EINVAL);
509
510                 error = imgact_binmisc_get_all_entries(req);
511                 break;
512
513         default:
514                 return (EINVAL);
515         }
516
517         return (error);
518 }
519
520 SYSCTL_NODE(_kern, OID_AUTO, binmisc, CTLFLAG_RW | CTLFLAG_MPSAFE, 0,
521     "Image activator for miscellaneous binaries");
522
523 SYSCTL_PROC(_kern_binmisc, OID_AUTO, add,
524     CTLFLAG_MPSAFE|CTLTYPE_STRUCT|CTLFLAG_WR, NULL, IBC_ADD,
525     sysctl_kern_binmisc, "S,ximgact_binmisc_entry",
526     "Add an activator entry");
527
528 SYSCTL_PROC(_kern_binmisc, OID_AUTO, remove,
529     CTLFLAG_MPSAFE|CTLTYPE_STRUCT|CTLFLAG_WR, NULL, IBC_REMOVE,
530     sysctl_kern_binmisc, "S,ximgact_binmisc_entry",
531     "Remove an activator entry");
532
533 SYSCTL_PROC(_kern_binmisc, OID_AUTO, disable,
534     CTLFLAG_MPSAFE|CTLTYPE_STRUCT|CTLFLAG_WR, NULL, IBC_DISABLE,
535     sysctl_kern_binmisc, "S,ximgact_binmisc_entry",
536     "Disable an activator entry");
537
538 SYSCTL_PROC(_kern_binmisc, OID_AUTO, enable,
539     CTLFLAG_MPSAFE|CTLTYPE_STRUCT|CTLFLAG_WR, NULL, IBC_ENABLE,
540     sysctl_kern_binmisc, "S,ximgact_binmisc_entry",
541     "Enable an activator entry");
542
543 SYSCTL_PROC(_kern_binmisc, OID_AUTO, lookup,
544     CTLFLAG_MPSAFE|CTLTYPE_STRUCT|CTLFLAG_RW|CTLFLAG_ANYBODY, NULL, IBC_LOOKUP,
545     sysctl_kern_binmisc, "S,ximgact_binmisc_entry",
546     "Lookup an activator entry");
547
548 SYSCTL_PROC(_kern_binmisc, OID_AUTO, list,
549     CTLFLAG_MPSAFE|CTLTYPE_STRUCT|CTLFLAG_RD|CTLFLAG_ANYBODY, NULL, IBC_LIST,
550     sysctl_kern_binmisc, "S,ximgact_binmisc_entry",
551     "Get snapshot of all the activator entries");
552
553 static imgact_binmisc_entry_t *
554 imgact_binmisc_find_interpreter(const char *image_header)
555 {
556         imgact_binmisc_entry_t *ibe;
557         const char *p;
558         int i;
559         size_t sz;
560
561         INTERP_LIST_ASSERT_LOCKED();
562
563         SLIST_FOREACH(ibe, &interpreter_list, link) {
564                 if (!(IBF_ENABLED & ibe->ibe_flags))
565                         continue;
566
567                 p = image_header + ibe->ibe_moffset;
568                 sz = ibe->ibe_msize;
569                 if (IBF_USE_MASK & ibe->ibe_flags) {
570                         /* Compare using mask. */
571                         for (i = 0; i < sz; i++)
572                                 if ((*p++ ^ ibe->ibe_magic[i]) &
573                                     ibe->ibe_mask[i])
574                                         break;
575                 } else {
576                         for (i = 0; i < sz; i++)
577                                 if (*p++ ^ ibe->ibe_magic[i])
578                                         break;
579                 }
580                 if (i == ibe->ibe_msize)
581                         return (ibe);
582         }
583         return (NULL);
584 }
585
586 static int
587 imgact_binmisc_exec(struct image_params *imgp)
588 {
589         const char *image_header = imgp->image_header;
590         const char *fname = NULL;
591         int error = 0;
592 #ifdef INVARIANTS
593         int argv0_cnt = 0;
594 #endif
595         size_t namelen, offset;
596         imgact_binmisc_entry_t *ibe;
597         struct sbuf *sname;
598         char *s, *d;
599
600         sname = NULL;
601         namelen = 0;
602         /* Do we have an interpreter for the given image header? */
603         INTERP_LIST_RLOCK();
604         if ((ibe = imgact_binmisc_find_interpreter(image_header)) == NULL) {
605                 error = -1;
606                 goto done;
607         }
608
609         /* No interpreter nesting allowed. */
610         if (imgp->interpreted & IMGACT_BINMISC) {
611                 error = ENOEXEC;
612                 goto done;
613         }
614
615         imgp->interpreted |= IMGACT_BINMISC;
616
617         /*
618          * Don't bother with the overhead of putting fname together if we're not
619          * using #a.
620          */
621         if (ibe->ibe_argv0_cnt != 0) {
622                 if (imgp->args->fname != NULL) {
623                         fname = imgp->args->fname;
624                 } else {
625                         /* Use the fdescfs(5) path for fexecve(2). */
626                         sname = sbuf_new_auto();
627                         sbuf_printf(sname, "/dev/fd/%d", imgp->args->fd);
628                         sbuf_finish(sname);
629                         fname = sbuf_data(sname);
630                 }
631
632                 namelen = strlen(fname);
633         }
634
635         /*
636          * We need to "push" the interpreter in the arg[] list.  To do this,
637          * we first shift all the other values in the `begin_argv' area to
638          * provide the exact amount of room for the values added.  Set up
639          * `offset' as the number of bytes to be added to the `begin_argv'
640          * area.  ibe_interp_offset is the fixed offset from macros present in
641          * the interpreter string.
642          */
643         offset = ibe->ibe_interp_length + ibe->ibe_interp_offset;
644
645         /* Variable offset to be added from macros to the interpreter string. */
646         MPASS(ibe->ibe_argv0_cnt == 0 || namelen > 0);
647         offset += ibe->ibe_argv0_cnt * (namelen - 2);
648
649         /* Make room for the interpreter */
650         error = exec_args_adjust_args(imgp->args, 0, offset);
651         if (error != 0) {
652                 goto done;
653         }
654
655         /* Add the new argument(s) in the count. */
656         imgp->args->argc += ibe->ibe_interp_argcnt;
657
658         /*
659          * The original arg[] list has been shifted appropriately.  Copy in
660          * the interpreter path.
661          */
662         s = ibe->ibe_interpreter;
663         d = imgp->args->begin_argv;
664         while(*s != '\0') {
665                 switch (*s) {
666                 case '#':
667                         /* Handle "#" in interpreter string. */
668                         s++;
669                         switch(*s) {
670                         case ISM_POUND:
671                                 /* "##": Replace with a single '#' */
672                                 *d++ = '#';
673                                 break;
674                         case ISM_OLD_ARGV0:
675                                 /* "#a": Replace with old arg0 (fname). */
676                                 MPASS(ibe->ibe_argv0_cnt >= ++argv0_cnt);
677                                 memcpy(d, fname, namelen);
678                                 d += namelen;
679                                 break;
680                         default:
681                                 __assert_unreachable();
682                         }
683                         break;
684                 case ' ':
685                         /* Replace space with NUL to separate arguments. */
686                         *d++ = '\0';
687                         break;
688                 default:
689                         *d++ = *s;
690                         break;
691                 }
692                 s++;
693         }
694         *d = '\0';
695
696         /* Catch ibe->ibe_argv0_cnt counting more #a than we did. */
697         MPASS(ibe->ibe_argv0_cnt == argv0_cnt);
698         imgp->interpreter_name = imgp->args->begin_argv;
699
700 done:
701         INTERP_LIST_RUNLOCK();
702         if (sname)
703                 sbuf_delete(sname);
704         return (error);
705 }
706
707 static void
708 imgact_binmisc_init(void *arg)
709 {
710
711         INTERP_LIST_LOCK_INIT();
712 }
713
714 static void
715 imgact_binmisc_fini(void *arg)
716 {
717         imgact_binmisc_entry_t *ibe, *ibe_tmp;
718
719         /* Free all the interpreters. */
720         INTERP_LIST_WLOCK();
721         SLIST_FOREACH_SAFE(ibe, &interpreter_list, link, ibe_tmp) {
722                 SLIST_REMOVE(&interpreter_list, ibe, imgact_binmisc_entry,
723                     link);
724                 imgact_binmisc_destroy_entry(ibe);
725         }
726         INTERP_LIST_WUNLOCK();
727
728         INTERP_LIST_LOCK_DESTROY();
729 }
730
731 SYSINIT(imgact_binmisc, SI_SUB_EXEC, SI_ORDER_MIDDLE, imgact_binmisc_init,
732     NULL);
733 SYSUNINIT(imgact_binmisc, SI_SUB_EXEC, SI_ORDER_MIDDLE, imgact_binmisc_fini,
734     NULL);
735
736 /*
737  * Tell kern_execve.c about it, with a little help from the linker.
738  */
739 static struct execsw imgact_binmisc_execsw = {
740         .ex_imgact = imgact_binmisc_exec,
741         .ex_name = KMOD_NAME
742 };
743 EXEC_SET(imgact_binmisc, imgact_binmisc_execsw);