]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/kern/kern_exit.c
Fix DEBUG build on 64-bit arch after r303099
[FreeBSD/FreeBSD.git] / sys / kern / kern_exit.c
1 /*-
2  * Copyright (c) 1982, 1986, 1989, 1991, 1993
3  *      The Regents of the University of California.  All rights reserved.
4  * (c) UNIX System Laboratories, Inc.
5  * All or some portions of this file are derived from material licensed
6  * to the University of California by American Telephone and Telegraph
7  * Co. or Unix System Laboratories, Inc. and are reproduced herein with
8  * the permission of UNIX System Laboratories, Inc.
9  *
10  * Redistribution and use in source and binary forms, with or without
11  * modification, are permitted provided that the following conditions
12  * are met:
13  * 1. Redistributions of source code must retain the above copyright
14  *    notice, this list of conditions and the following disclaimer.
15  * 2. Redistributions in binary form must reproduce the above copyright
16  *    notice, this list of conditions and the following disclaimer in the
17  *    documentation and/or other materials provided with the distribution.
18  * 4. Neither the name of the University nor the names of its contributors
19  *    may be used to endorse or promote products derived from this software
20  *    without specific prior written permission.
21  *
22  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
23  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
24  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
25  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
26  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
27  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
28  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
29  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
30  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
31  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
32  * SUCH DAMAGE.
33  *
34  *      @(#)kern_exit.c 8.7 (Berkeley) 2/12/94
35  */
36
37 #include <sys/cdefs.h>
38 __FBSDID("$FreeBSD$");
39
40 #include "opt_compat.h"
41 #include "opt_ktrace.h"
42
43 #include <sys/param.h>
44 #include <sys/systm.h>
45 #include <sys/sysproto.h>
46 #include <sys/capsicum.h>
47 #include <sys/eventhandler.h>
48 #include <sys/kernel.h>
49 #include <sys/malloc.h>
50 #include <sys/lock.h>
51 #include <sys/mutex.h>
52 #include <sys/proc.h>
53 #include <sys/procdesc.h>
54 #include <sys/pioctl.h>
55 #include <sys/jail.h>
56 #include <sys/tty.h>
57 #include <sys/wait.h>
58 #include <sys/vmmeter.h>
59 #include <sys/vnode.h>
60 #include <sys/racct.h>
61 #include <sys/resourcevar.h>
62 #include <sys/sbuf.h>
63 #include <sys/signalvar.h>
64 #include <sys/sched.h>
65 #include <sys/sx.h>
66 #include <sys/syscallsubr.h>
67 #include <sys/syslog.h>
68 #include <sys/ptrace.h>
69 #include <sys/acct.h>           /* for acct_process() function prototype */
70 #include <sys/filedesc.h>
71 #include <sys/sdt.h>
72 #include <sys/shm.h>
73 #include <sys/sem.h>
74 #include <sys/umtx.h>
75 #ifdef KTRACE
76 #include <sys/ktrace.h>
77 #endif
78
79 #include <security/audit/audit.h>
80 #include <security/mac/mac_framework.h>
81
82 #include <vm/vm.h>
83 #include <vm/vm_extern.h>
84 #include <vm/vm_param.h>
85 #include <vm/pmap.h>
86 #include <vm/vm_map.h>
87 #include <vm/vm_page.h>
88 #include <vm/uma.h>
89 #include <vm/vm_domain.h>
90
91 #ifdef KDTRACE_HOOKS
92 #include <sys/dtrace_bsd.h>
93 dtrace_execexit_func_t  dtrace_fasttrap_exit;
94 #endif
95
96 SDT_PROVIDER_DECLARE(proc);
97 SDT_PROBE_DEFINE1(proc, , , exit, "int");
98
99 /* Hook for NFS teardown procedure. */
100 void (*nlminfo_release_p)(struct proc *p);
101
102 struct proc *
103 proc_realparent(struct proc *child)
104 {
105         struct proc *p, *parent;
106
107         sx_assert(&proctree_lock, SX_LOCKED);
108         if ((child->p_treeflag & P_TREE_ORPHANED) == 0) {
109                 if (child->p_oppid == 0 ||
110                     child->p_pptr->p_pid == child->p_oppid)
111                         parent = child->p_pptr;
112                 else
113                         parent = initproc;
114                 return (parent);
115         }
116         for (p = child; (p->p_treeflag & P_TREE_FIRST_ORPHAN) == 0;) {
117                 /* Cannot use LIST_PREV(), since the list head is not known. */
118                 p = __containerof(p->p_orphan.le_prev, struct proc,
119                     p_orphan.le_next);
120                 KASSERT((p->p_treeflag & P_TREE_ORPHANED) != 0,
121                     ("missing P_ORPHAN %p", p));
122         }
123         parent = __containerof(p->p_orphan.le_prev, struct proc,
124             p_orphans.lh_first);
125         return (parent);
126 }
127
128 void
129 reaper_abandon_children(struct proc *p, bool exiting)
130 {
131         struct proc *p1, *p2, *ptmp;
132
133         sx_assert(&proctree_lock, SX_LOCKED);
134         KASSERT(p != initproc, ("reaper_abandon_children for initproc"));
135         if ((p->p_treeflag & P_TREE_REAPER) == 0)
136                 return;
137         p1 = p->p_reaper;
138         LIST_FOREACH_SAFE(p2, &p->p_reaplist, p_reapsibling, ptmp) {
139                 LIST_REMOVE(p2, p_reapsibling);
140                 p2->p_reaper = p1;
141                 p2->p_reapsubtree = p->p_reapsubtree;
142                 LIST_INSERT_HEAD(&p1->p_reaplist, p2, p_reapsibling);
143                 if (exiting && p2->p_pptr == p) {
144                         PROC_LOCK(p2);
145                         proc_reparent(p2, p1);
146                         PROC_UNLOCK(p2);
147                 }
148         }
149         KASSERT(LIST_EMPTY(&p->p_reaplist), ("p_reaplist not empty"));
150         p->p_treeflag &= ~P_TREE_REAPER;
151 }
152
153 static void
154 clear_orphan(struct proc *p)
155 {
156         struct proc *p1;
157
158         sx_assert(&proctree_lock, SA_XLOCKED);
159         if ((p->p_treeflag & P_TREE_ORPHANED) == 0)
160                 return;
161         if ((p->p_treeflag & P_TREE_FIRST_ORPHAN) != 0) {
162                 p1 = LIST_NEXT(p, p_orphan);
163                 if (p1 != NULL)
164                         p1->p_treeflag |= P_TREE_FIRST_ORPHAN;
165                 p->p_treeflag &= ~P_TREE_FIRST_ORPHAN;
166         }
167         LIST_REMOVE(p, p_orphan);
168         p->p_treeflag &= ~P_TREE_ORPHANED;
169 }
170
171 /*
172  * exit -- death of process.
173  */
174 void
175 sys_sys_exit(struct thread *td, struct sys_exit_args *uap)
176 {
177
178         exit1(td, uap->rval, 0);
179         /* NOTREACHED */
180 }
181
182 /*
183  * Exit: deallocate address space and other resources, change proc state to
184  * zombie, and unlink proc from allproc and parent's lists.  Save exit status
185  * and rusage for wait().  Check for child processes and orphan them.
186  */
187 void
188 exit1(struct thread *td, int rval, int signo)
189 {
190         struct proc *p, *nq, *q, *t;
191         struct thread *tdt;
192
193         mtx_assert(&Giant, MA_NOTOWNED);
194         KASSERT(rval == 0 || signo == 0, ("exit1 rv %d sig %d", rval, signo));
195
196         p = td->td_proc;
197         /*
198          * XXX in case we're rebooting we just let init die in order to
199          * work around an unsolved stack overflow seen very late during
200          * shutdown on sparc64 when the gmirror worker process exists.
201          */
202         if (p == initproc && rebooting == 0) {
203                 printf("init died (signal %d, exit %d)\n", signo, rval);
204                 panic("Going nowhere without my init!");
205         }
206
207         /*
208          * Deref SU mp, since the thread does not return to userspace.
209          */
210         if (softdep_ast_cleanup != NULL)
211                 softdep_ast_cleanup();
212
213         /*
214          * MUST abort all other threads before proceeding past here.
215          */
216         PROC_LOCK(p);
217         /*
218          * First check if some other thread or external request got
219          * here before us.  If so, act appropriately: exit or suspend.
220          * We must ensure that stop requests are handled before we set
221          * P_WEXIT.
222          */
223         thread_suspend_check(0);
224         while (p->p_flag & P_HADTHREADS) {
225                 /*
226                  * Kill off the other threads. This requires
227                  * some co-operation from other parts of the kernel
228                  * so it may not be instantaneous.  With this state set
229                  * any thread entering the kernel from userspace will
230                  * thread_exit() in trap().  Any thread attempting to
231                  * sleep will return immediately with EINTR or EWOULDBLOCK
232                  * which will hopefully force them to back out to userland
233                  * freeing resources as they go.  Any thread attempting
234                  * to return to userland will thread_exit() from userret().
235                  * thread_exit() will unsuspend us when the last of the
236                  * other threads exits.
237                  * If there is already a thread singler after resumption,
238                  * calling thread_single will fail; in that case, we just
239                  * re-check all suspension request, the thread should
240                  * either be suspended there or exit.
241                  */
242                 if (!thread_single(p, SINGLE_EXIT))
243                         /*
244                          * All other activity in this process is now
245                          * stopped.  Threading support has been turned
246                          * off.
247                          */
248                         break;
249                 /*
250                  * Recheck for new stop or suspend requests which
251                  * might appear while process lock was dropped in
252                  * thread_single().
253                  */
254                 thread_suspend_check(0);
255         }
256         KASSERT(p->p_numthreads == 1,
257             ("exit1: proc %p exiting with %d threads", p, p->p_numthreads));
258         racct_sub(p, RACCT_NTHR, 1);
259
260         /* Let event handler change exit status */
261         p->p_xexit = rval;
262         p->p_xsig = signo;
263
264         /*
265          * Wakeup anyone in procfs' PIOCWAIT.  They should have a hold
266          * on our vmspace, so we should block below until they have
267          * released their reference to us.  Note that if they have
268          * requested S_EXIT stops we will block here until they ack
269          * via PIOCCONT.
270          */
271         _STOPEVENT(p, S_EXIT, 0);
272
273         /*
274          * Ignore any pending request to stop due to a stop signal.
275          * Once P_WEXIT is set, future requests will be ignored as
276          * well.
277          */
278         p->p_flag &= ~P_STOPPED_SIG;
279         KASSERT(!P_SHOULDSTOP(p), ("exiting process is stopped"));
280
281         /*
282          * Note that we are exiting and do another wakeup of anyone in
283          * PIOCWAIT in case they aren't listening for S_EXIT stops or
284          * decided to wait again after we told them we are exiting.
285          */
286         p->p_flag |= P_WEXIT;
287         wakeup(&p->p_stype);
288
289         /*
290          * Wait for any processes that have a hold on our vmspace to
291          * release their reference.
292          */
293         while (p->p_lock > 0)
294                 msleep(&p->p_lock, &p->p_mtx, PWAIT, "exithold", 0);
295
296         PROC_UNLOCK(p);
297         /* Drain the limit callout while we don't have the proc locked */
298         callout_drain(&p->p_limco);
299
300 #ifdef AUDIT
301         /*
302          * The Sun BSM exit token contains two components: an exit status as
303          * passed to exit(), and a return value to indicate what sort of exit
304          * it was.  The exit status is WEXITSTATUS(rv), but it's not clear
305          * what the return value is.
306          */
307         AUDIT_ARG_EXIT(rval, 0);
308         AUDIT_SYSCALL_EXIT(0, td);
309 #endif
310
311         /* Are we a task leader with peers? */
312         if (p->p_peers != NULL && p == p->p_leader) {
313                 mtx_lock(&ppeers_lock);
314                 q = p->p_peers;
315                 while (q != NULL) {
316                         PROC_LOCK(q);
317                         kern_psignal(q, SIGKILL);
318                         PROC_UNLOCK(q);
319                         q = q->p_peers;
320                 }
321                 while (p->p_peers != NULL)
322                         msleep(p, &ppeers_lock, PWAIT, "exit1", 0);
323                 mtx_unlock(&ppeers_lock);
324         }
325
326         /*
327          * Check if any loadable modules need anything done at process exit.
328          * E.g. SYSV IPC stuff.
329          * Event handler could change exit status.
330          * XXX what if one of these generates an error?
331          */
332         EVENTHANDLER_INVOKE(process_exit, p);
333
334         /*
335          * If parent is waiting for us to exit or exec,
336          * P_PPWAIT is set; we will wakeup the parent below.
337          */
338         PROC_LOCK(p);
339         stopprofclock(p);
340         p->p_flag &= ~(P_TRACED | P_PPWAIT | P_PPTRACE);
341         p->p_ptevents = 0;
342
343         /*
344          * Stop the real interval timer.  If the handler is currently
345          * executing, prevent it from rearming itself and let it finish.
346          */
347         if (timevalisset(&p->p_realtimer.it_value) &&
348             _callout_stop_safe(&p->p_itcallout, CS_EXECUTING, NULL) == 0) {
349                 timevalclear(&p->p_realtimer.it_interval);
350                 msleep(&p->p_itcallout, &p->p_mtx, PWAIT, "ritwait", 0);
351                 KASSERT(!timevalisset(&p->p_realtimer.it_value),
352                     ("realtime timer is still armed"));
353         }
354
355         PROC_UNLOCK(p);
356
357         umtx_thread_exit(td);
358
359         /*
360          * Reset any sigio structures pointing to us as a result of
361          * F_SETOWN with our pid.
362          */
363         funsetownlst(&p->p_sigiolst);
364
365         /*
366          * If this process has an nlminfo data area (for lockd), release it
367          */
368         if (nlminfo_release_p != NULL && p->p_nlminfo != NULL)
369                 (*nlminfo_release_p)(p);
370
371         /*
372          * Close open files and release open-file table.
373          * This may block!
374          */
375         fdescfree(td);
376
377         /*
378          * If this thread tickled GEOM, we need to wait for the giggling to
379          * stop before we return to userland
380          */
381         if (td->td_pflags & TDP_GEOM)
382                 g_waitidle();
383
384         /*
385          * Remove ourself from our leader's peer list and wake our leader.
386          */
387         if (p->p_leader->p_peers != NULL) {
388                 mtx_lock(&ppeers_lock);
389                 if (p->p_leader->p_peers != NULL) {
390                         q = p->p_leader;
391                         while (q->p_peers != p)
392                                 q = q->p_peers;
393                         q->p_peers = p->p_peers;
394                         wakeup(p->p_leader);
395                 }
396                 mtx_unlock(&ppeers_lock);
397         }
398
399         vmspace_exit(td);
400         killjobc();
401         (void)acct_process(td);
402
403 #ifdef KTRACE
404         ktrprocexit(td);
405 #endif
406         /*
407          * Release reference to text vnode
408          */
409         if (p->p_textvp != NULL) {
410                 vrele(p->p_textvp);
411                 p->p_textvp = NULL;
412         }
413
414         /*
415          * Release our limits structure.
416          */
417         lim_free(p->p_limit);
418         p->p_limit = NULL;
419
420         tidhash_remove(td);
421
422         /*
423          * Remove proc from allproc queue and pidhash chain.
424          * Place onto zombproc.  Unlink from parent's child list.
425          */
426         sx_xlock(&allproc_lock);
427         LIST_REMOVE(p, p_list);
428         LIST_INSERT_HEAD(&zombproc, p, p_list);
429         LIST_REMOVE(p, p_hash);
430         sx_xunlock(&allproc_lock);
431
432         /*
433          * Call machine-dependent code to release any
434          * machine-dependent resources other than the address space.
435          * The address space is released by "vmspace_exitfree(p)" in
436          * vm_waitproc().
437          */
438         cpu_exit(td);
439
440         WITNESS_WARN(WARN_PANIC, NULL, "process (pid %d) exiting", p->p_pid);
441
442         /*
443          * Reparent all children processes:
444          * - traced ones to the original parent (or init if we are that parent)
445          * - the rest to init
446          */
447         sx_xlock(&proctree_lock);
448         q = LIST_FIRST(&p->p_children);
449         if (q != NULL)          /* only need this if any child is S_ZOMB */
450                 wakeup(q->p_reaper);
451         for (; q != NULL; q = nq) {
452                 nq = LIST_NEXT(q, p_sibling);
453                 PROC_LOCK(q);
454                 q->p_sigparent = SIGCHLD;
455
456                 if (!(q->p_flag & P_TRACED)) {
457                         proc_reparent(q, q->p_reaper);
458                 } else {
459                         /*
460                          * Traced processes are killed since their existence
461                          * means someone is screwing up.
462                          */
463                         t = proc_realparent(q);
464                         if (t == p) {
465                                 proc_reparent(q, q->p_reaper);
466                         } else {
467                                 PROC_LOCK(t);
468                                 proc_reparent(q, t);
469                                 PROC_UNLOCK(t);
470                         }
471                         /*
472                          * Since q was found on our children list, the
473                          * proc_reparent() call moved q to the orphan
474                          * list due to present P_TRACED flag. Clear
475                          * orphan link for q now while q is locked.
476                          */
477                         clear_orphan(q);
478                         q->p_flag &= ~(P_TRACED | P_STOPPED_TRACE);
479                         q->p_ptevents = 0;
480                         FOREACH_THREAD_IN_PROC(q, tdt)
481                                 tdt->td_dbgflags &= ~TDB_SUSPEND;
482                         kern_psignal(q, SIGKILL);
483                 }
484                 PROC_UNLOCK(q);
485         }
486
487         /*
488          * Also get rid of our orphans.
489          */
490         while ((q = LIST_FIRST(&p->p_orphans)) != NULL) {
491                 PROC_LOCK(q);
492                 CTR2(KTR_PTRACE, "exit: pid %d, clearing orphan %d", p->p_pid,
493                     q->p_pid);
494                 clear_orphan(q);
495                 PROC_UNLOCK(q);
496         }
497
498         /* Save exit status. */
499         PROC_LOCK(p);
500         p->p_xthread = td;
501
502         /* Tell the prison that we are gone. */
503         prison_proc_free(p->p_ucred->cr_prison);
504
505 #ifdef KDTRACE_HOOKS
506         /*
507          * Tell the DTrace fasttrap provider about the exit if it
508          * has declared an interest.
509          */
510         if (dtrace_fasttrap_exit)
511                 dtrace_fasttrap_exit(p);
512 #endif
513
514         /*
515          * Notify interested parties of our demise.
516          */
517         KNOTE_LOCKED(p->p_klist, NOTE_EXIT);
518
519 #ifdef KDTRACE_HOOKS
520         int reason = CLD_EXITED;
521         if (WCOREDUMP(signo))
522                 reason = CLD_DUMPED;
523         else if (WIFSIGNALED(signo))
524                 reason = CLD_KILLED;
525         SDT_PROBE1(proc, , , exit, reason);
526 #endif
527
528         /*
529          * If this is a process with a descriptor, we may not need to deliver
530          * a signal to the parent.  proctree_lock is held over
531          * procdesc_exit() to serialize concurrent calls to close() and
532          * exit().
533          */
534         if (p->p_procdesc == NULL || procdesc_exit(p)) {
535                 /*
536                  * Notify parent that we're gone.  If parent has the
537                  * PS_NOCLDWAIT flag set, or if the handler is set to SIG_IGN,
538                  * notify process 1 instead (and hope it will handle this
539                  * situation).
540                  */
541                 PROC_LOCK(p->p_pptr);
542                 mtx_lock(&p->p_pptr->p_sigacts->ps_mtx);
543                 if (p->p_pptr->p_sigacts->ps_flag &
544                     (PS_NOCLDWAIT | PS_CLDSIGIGN)) {
545                         struct proc *pp;
546
547                         mtx_unlock(&p->p_pptr->p_sigacts->ps_mtx);
548                         pp = p->p_pptr;
549                         PROC_UNLOCK(pp);
550                         proc_reparent(p, p->p_reaper);
551                         p->p_sigparent = SIGCHLD;
552                         PROC_LOCK(p->p_pptr);
553
554                         /*
555                          * Notify parent, so in case he was wait(2)ing or
556                          * executing waitpid(2) with our pid, he will
557                          * continue.
558                          */
559                         wakeup(pp);
560                 } else
561                         mtx_unlock(&p->p_pptr->p_sigacts->ps_mtx);
562
563                 if (p->p_pptr == p->p_reaper || p->p_pptr == initproc)
564                         childproc_exited(p);
565                 else if (p->p_sigparent != 0) {
566                         if (p->p_sigparent == SIGCHLD)
567                                 childproc_exited(p);
568                         else    /* LINUX thread */
569                                 kern_psignal(p->p_pptr, p->p_sigparent);
570                 }
571         } else
572                 PROC_LOCK(p->p_pptr);
573         sx_xunlock(&proctree_lock);
574
575         /*
576          * The state PRS_ZOMBIE prevents other proesses from sending
577          * signal to the process, to avoid memory leak, we free memory
578          * for signal queue at the time when the state is set.
579          */
580         sigqueue_flush(&p->p_sigqueue);
581         sigqueue_flush(&td->td_sigqueue);
582
583         /*
584          * We have to wait until after acquiring all locks before
585          * changing p_state.  We need to avoid all possible context
586          * switches (including ones from blocking on a mutex) while
587          * marked as a zombie.  We also have to set the zombie state
588          * before we release the parent process' proc lock to avoid
589          * a lost wakeup.  So, we first call wakeup, then we grab the
590          * sched lock, update the state, and release the parent process'
591          * proc lock.
592          */
593         wakeup(p->p_pptr);
594         cv_broadcast(&p->p_pwait);
595         sched_exit(p->p_pptr, td);
596         PROC_SLOCK(p);
597         p->p_state = PRS_ZOMBIE;
598         PROC_UNLOCK(p->p_pptr);
599
600         /*
601          * Save our children's rusage information in our exit rusage.
602          */
603         PROC_STATLOCK(p);
604         ruadd(&p->p_ru, &p->p_rux, &p->p_stats->p_cru, &p->p_crux);
605         PROC_STATUNLOCK(p);
606
607         /*
608          * Make sure the scheduler takes this thread out of its tables etc.
609          * This will also release this thread's reference to the ucred.
610          * Other thread parts to release include pcb bits and such.
611          */
612         thread_exit();
613 }
614
615
616 #ifndef _SYS_SYSPROTO_H_
617 struct abort2_args {
618         char *why;
619         int nargs;
620         void **args;
621 };
622 #endif
623
624 int
625 sys_abort2(struct thread *td, struct abort2_args *uap)
626 {
627         struct proc *p = td->td_proc;
628         struct sbuf *sb;
629         void *uargs[16];
630         int error, i, sig;
631
632         /*
633          * Do it right now so we can log either proper call of abort2(), or
634          * note, that invalid argument was passed. 512 is big enough to
635          * handle 16 arguments' descriptions with additional comments.
636          */
637         sb = sbuf_new(NULL, NULL, 512, SBUF_FIXEDLEN);
638         sbuf_clear(sb);
639         sbuf_printf(sb, "%s(pid %d uid %d) aborted: ",
640             p->p_comm, p->p_pid, td->td_ucred->cr_uid);
641         /*
642          * Since we can't return from abort2(), send SIGKILL in cases, where
643          * abort2() was called improperly
644          */
645         sig = SIGKILL;
646         /* Prevent from DoSes from user-space. */
647         if (uap->nargs < 0 || uap->nargs > 16)
648                 goto out;
649         if (uap->nargs > 0) {
650                 if (uap->args == NULL)
651                         goto out;
652                 error = copyin(uap->args, uargs, uap->nargs * sizeof(void *));
653                 if (error != 0)
654                         goto out;
655         }
656         /*
657          * Limit size of 'reason' string to 128. Will fit even when
658          * maximal number of arguments was chosen to be logged.
659          */
660         if (uap->why != NULL) {
661                 error = sbuf_copyin(sb, uap->why, 128);
662                 if (error < 0)
663                         goto out;
664         } else {
665                 sbuf_printf(sb, "(null)");
666         }
667         if (uap->nargs > 0) {
668                 sbuf_printf(sb, "(");
669                 for (i = 0;i < uap->nargs; i++)
670                         sbuf_printf(sb, "%s%p", i == 0 ? "" : ", ", uargs[i]);
671                 sbuf_printf(sb, ")");
672         }
673         /*
674          * Final stage: arguments were proper, string has been
675          * successfully copied from userspace, and copying pointers
676          * from user-space succeed.
677          */
678         sig = SIGABRT;
679 out:
680         if (sig == SIGKILL) {
681                 sbuf_trim(sb);
682                 sbuf_printf(sb, " (Reason text inaccessible)");
683         }
684         sbuf_cat(sb, "\n");
685         sbuf_finish(sb);
686         log(LOG_INFO, "%s", sbuf_data(sb));
687         sbuf_delete(sb);
688         exit1(td, 0, sig);
689         return (0);
690 }
691
692
693 #ifdef COMPAT_43
694 /*
695  * The dirty work is handled by kern_wait().
696  */
697 int
698 owait(struct thread *td, struct owait_args *uap __unused)
699 {
700         int error, status;
701
702         error = kern_wait(td, WAIT_ANY, &status, 0, NULL);
703         if (error == 0)
704                 td->td_retval[1] = status;
705         return (error);
706 }
707 #endif /* COMPAT_43 */
708
709 /*
710  * The dirty work is handled by kern_wait().
711  */
712 int
713 sys_wait4(struct thread *td, struct wait4_args *uap)
714 {
715         struct rusage ru, *rup;
716         int error, status;
717
718         if (uap->rusage != NULL)
719                 rup = &ru;
720         else
721                 rup = NULL;
722         error = kern_wait(td, uap->pid, &status, uap->options, rup);
723         if (uap->status != NULL && error == 0)
724                 error = copyout(&status, uap->status, sizeof(status));
725         if (uap->rusage != NULL && error == 0)
726                 error = copyout(&ru, uap->rusage, sizeof(struct rusage));
727         return (error);
728 }
729
730 int
731 sys_wait6(struct thread *td, struct wait6_args *uap)
732 {
733         struct __wrusage wru, *wrup;
734         siginfo_t si, *sip;
735         idtype_t idtype;
736         id_t id;
737         int error, status;
738
739         idtype = uap->idtype;
740         id = uap->id;
741
742         if (uap->wrusage != NULL)
743                 wrup = &wru;
744         else
745                 wrup = NULL;
746
747         if (uap->info != NULL) {
748                 sip = &si;
749                 bzero(sip, sizeof(*sip));
750         } else
751                 sip = NULL;
752
753         /*
754          *  We expect all callers of wait6() to know about WEXITED and
755          *  WTRAPPED.
756          */
757         error = kern_wait6(td, idtype, id, &status, uap->options, wrup, sip);
758
759         if (uap->status != NULL && error == 0)
760                 error = copyout(&status, uap->status, sizeof(status));
761         if (uap->wrusage != NULL && error == 0)
762                 error = copyout(&wru, uap->wrusage, sizeof(wru));
763         if (uap->info != NULL && error == 0)
764                 error = copyout(&si, uap->info, sizeof(si));
765         return (error);
766 }
767
768 /*
769  * Reap the remains of a zombie process and optionally return status and
770  * rusage.  Asserts and will release both the proctree_lock and the process
771  * lock as part of its work.
772  */
773 void
774 proc_reap(struct thread *td, struct proc *p, int *status, int options)
775 {
776         struct proc *q, *t;
777
778         sx_assert(&proctree_lock, SA_XLOCKED);
779         PROC_LOCK_ASSERT(p, MA_OWNED);
780         PROC_SLOCK_ASSERT(p, MA_OWNED);
781         KASSERT(p->p_state == PRS_ZOMBIE, ("proc_reap: !PRS_ZOMBIE"));
782
783         q = td->td_proc;
784
785         PROC_SUNLOCK(p);
786         if (status)
787                 *status = KW_EXITCODE(p->p_xexit, p->p_xsig);
788         if (options & WNOWAIT) {
789                 /*
790                  *  Only poll, returning the status.  Caller does not wish to
791                  * release the proc struct just yet.
792                  */
793                 PROC_UNLOCK(p);
794                 sx_xunlock(&proctree_lock);
795                 return;
796         }
797
798         PROC_LOCK(q);
799         sigqueue_take(p->p_ksi);
800         PROC_UNLOCK(q);
801
802         /*
803          * If we got the child via a ptrace 'attach', we need to give it back
804          * to the old parent.
805          */
806         if (p->p_oppid != 0 && p->p_oppid != p->p_pptr->p_pid) {
807                 PROC_UNLOCK(p);
808                 t = proc_realparent(p);
809                 PROC_LOCK(t);
810                 PROC_LOCK(p);
811                 CTR2(KTR_PTRACE,
812                     "wait: traced child %d moved back to parent %d", p->p_pid,
813                     t->p_pid);
814                 proc_reparent(p, t);
815                 p->p_oppid = 0;
816                 PROC_UNLOCK(p);
817                 pksignal(t, SIGCHLD, p->p_ksi);
818                 wakeup(t);
819                 cv_broadcast(&p->p_pwait);
820                 PROC_UNLOCK(t);
821                 sx_xunlock(&proctree_lock);
822                 return;
823         }
824         p->p_oppid = 0;
825         PROC_UNLOCK(p);
826
827         /*
828          * Remove other references to this process to ensure we have an
829          * exclusive reference.
830          */
831         sx_xlock(&allproc_lock);
832         LIST_REMOVE(p, p_list); /* off zombproc */
833         sx_xunlock(&allproc_lock);
834         LIST_REMOVE(p, p_sibling);
835         reaper_abandon_children(p, true);
836         LIST_REMOVE(p, p_reapsibling);
837         PROC_LOCK(p);
838         clear_orphan(p);
839         PROC_UNLOCK(p);
840         leavepgrp(p);
841         if (p->p_procdesc != NULL)
842                 procdesc_reap(p);
843         sx_xunlock(&proctree_lock);
844
845         PROC_LOCK(p);
846         knlist_detach(p->p_klist);
847         p->p_klist = NULL;
848         PROC_UNLOCK(p);
849
850         /*
851          * Removal from allproc list and process group list paired with
852          * PROC_LOCK which was executed during that time should guarantee
853          * nothing can reach this process anymore. As such further locking
854          * is unnecessary.
855          */
856         p->p_xexit = p->p_xsig = 0;             /* XXX: why? */
857
858         PROC_LOCK(q);
859         ruadd(&q->p_stats->p_cru, &q->p_crux, &p->p_ru, &p->p_rux);
860         PROC_UNLOCK(q);
861
862         /*
863          * Decrement the count of procs running with this uid.
864          */
865         (void)chgproccnt(p->p_ucred->cr_ruidinfo, -1, 0);
866
867         /*
868          * Destroy resource accounting information associated with the process.
869          */
870 #ifdef RACCT
871         if (racct_enable) {
872                 PROC_LOCK(p);
873                 racct_sub(p, RACCT_NPROC, 1);
874                 PROC_UNLOCK(p);
875         }
876 #endif
877         racct_proc_exit(p);
878
879         /*
880          * Free credentials, arguments, and sigacts.
881          */
882         crfree(p->p_ucred);
883         proc_set_cred(p, NULL);
884         pargs_drop(p->p_args);
885         p->p_args = NULL;
886         sigacts_free(p->p_sigacts);
887         p->p_sigacts = NULL;
888
889         /*
890          * Do any thread-system specific cleanups.
891          */
892         thread_wait(p);
893
894         /*
895          * Give vm and machine-dependent layer a chance to free anything that
896          * cpu_exit couldn't release while still running in process context.
897          */
898         vm_waitproc(p);
899 #ifdef MAC
900         mac_proc_destroy(p);
901 #endif
902         /*
903          * Free any domain policy that's still hiding around.
904          */
905         vm_domain_policy_cleanup(&p->p_vm_dom_policy);
906
907         KASSERT(FIRST_THREAD_IN_PROC(p),
908             ("proc_reap: no residual thread!"));
909         uma_zfree(proc_zone, p);
910         atomic_add_int(&nprocs, -1);
911 }
912
913 static int
914 proc_to_reap(struct thread *td, struct proc *p, idtype_t idtype, id_t id,
915     int *status, int options, struct __wrusage *wrusage, siginfo_t *siginfo,
916     int check_only)
917 {
918         struct rusage *rup;
919
920         sx_assert(&proctree_lock, SA_XLOCKED);
921
922         PROC_LOCK(p);
923
924         switch (idtype) {
925         case P_ALL:
926                 if (p->p_procdesc != NULL) {
927                         PROC_UNLOCK(p);
928                         return (0);
929                 }
930                 break;
931         case P_PID:
932                 if (p->p_pid != (pid_t)id) {
933                         PROC_UNLOCK(p);
934                         return (0);
935                 }
936                 break;
937         case P_PGID:
938                 if (p->p_pgid != (pid_t)id) {
939                         PROC_UNLOCK(p);
940                         return (0);
941                 }
942                 break;
943         case P_SID:
944                 if (p->p_session->s_sid != (pid_t)id) {
945                         PROC_UNLOCK(p);
946                         return (0);
947                 }
948                 break;
949         case P_UID:
950                 if (p->p_ucred->cr_uid != (uid_t)id) {
951                         PROC_UNLOCK(p);
952                         return (0);
953                 }
954                 break;
955         case P_GID:
956                 if (p->p_ucred->cr_gid != (gid_t)id) {
957                         PROC_UNLOCK(p);
958                         return (0);
959                 }
960                 break;
961         case P_JAILID:
962                 if (p->p_ucred->cr_prison->pr_id != (int)id) {
963                         PROC_UNLOCK(p);
964                         return (0);
965                 }
966                 break;
967         /*
968          * It seems that the thread structures get zeroed out
969          * at process exit.  This makes it impossible to
970          * support P_SETID, P_CID or P_CPUID.
971          */
972         default:
973                 PROC_UNLOCK(p);
974                 return (0);
975         }
976
977         if (p_canwait(td, p)) {
978                 PROC_UNLOCK(p);
979                 return (0);
980         }
981
982         if (((options & WEXITED) == 0) && (p->p_state == PRS_ZOMBIE)) {
983                 PROC_UNLOCK(p);
984                 return (0);
985         }
986
987         /*
988          * This special case handles a kthread spawned by linux_clone
989          * (see linux_misc.c).  The linux_wait4 and linux_waitpid
990          * functions need to be able to distinguish between waiting
991          * on a process and waiting on a thread.  It is a thread if
992          * p_sigparent is not SIGCHLD, and the WLINUXCLONE option
993          * signifies we want to wait for threads and not processes.
994          */
995         if ((p->p_sigparent != SIGCHLD) ^
996             ((options & WLINUXCLONE) != 0)) {
997                 PROC_UNLOCK(p);
998                 return (0);
999         }
1000
1001         if (siginfo != NULL) {
1002                 bzero(siginfo, sizeof(*siginfo));
1003                 siginfo->si_errno = 0;
1004
1005                 /*
1006                  * SUSv4 requires that the si_signo value is always
1007                  * SIGCHLD. Obey it despite the rfork(2) interface
1008                  * allows to request other signal for child exit
1009                  * notification.
1010                  */
1011                 siginfo->si_signo = SIGCHLD;
1012
1013                 /*
1014                  *  This is still a rough estimate.  We will fix the
1015                  *  cases TRAPPED, STOPPED, and CONTINUED later.
1016                  */
1017                 if (WCOREDUMP(p->p_xsig)) {
1018                         siginfo->si_code = CLD_DUMPED;
1019                         siginfo->si_status = WTERMSIG(p->p_xsig);
1020                 } else if (WIFSIGNALED(p->p_xsig)) {
1021                         siginfo->si_code = CLD_KILLED;
1022                         siginfo->si_status = WTERMSIG(p->p_xsig);
1023                 } else {
1024                         siginfo->si_code = CLD_EXITED;
1025                         siginfo->si_status = p->p_xexit;
1026                 }
1027
1028                 siginfo->si_pid = p->p_pid;
1029                 siginfo->si_uid = p->p_ucred->cr_uid;
1030
1031                 /*
1032                  * The si_addr field would be useful additional
1033                  * detail, but apparently the PC value may be lost
1034                  * when we reach this point.  bzero() above sets
1035                  * siginfo->si_addr to NULL.
1036                  */
1037         }
1038
1039         /*
1040          * There should be no reason to limit resources usage info to
1041          * exited processes only.  A snapshot about any resources used
1042          * by a stopped process may be exactly what is needed.
1043          */
1044         if (wrusage != NULL) {
1045                 rup = &wrusage->wru_self;
1046                 *rup = p->p_ru;
1047                 PROC_STATLOCK(p);
1048                 calcru(p, &rup->ru_utime, &rup->ru_stime);
1049                 PROC_STATUNLOCK(p);
1050
1051                 rup = &wrusage->wru_children;
1052                 *rup = p->p_stats->p_cru;
1053                 calccru(p, &rup->ru_utime, &rup->ru_stime);
1054         }
1055
1056         if (p->p_state == PRS_ZOMBIE && !check_only) {
1057                 PROC_SLOCK(p);
1058                 proc_reap(td, p, status, options);
1059                 return (-1);
1060         }
1061         PROC_UNLOCK(p);
1062         return (1);
1063 }
1064
1065 int
1066 kern_wait(struct thread *td, pid_t pid, int *status, int options,
1067     struct rusage *rusage)
1068 {
1069         struct __wrusage wru, *wrup;
1070         idtype_t idtype;
1071         id_t id;
1072         int ret;
1073
1074         /*
1075          * Translate the special pid values into the (idtype, pid)
1076          * pair for kern_wait6.  The WAIT_MYPGRP case is handled by
1077          * kern_wait6() on its own.
1078          */
1079         if (pid == WAIT_ANY) {
1080                 idtype = P_ALL;
1081                 id = 0;
1082         } else if (pid < 0) {
1083                 idtype = P_PGID;
1084                 id = (id_t)-pid;
1085         } else {
1086                 idtype = P_PID;
1087                 id = (id_t)pid;
1088         }
1089
1090         if (rusage != NULL)
1091                 wrup = &wru;
1092         else
1093                 wrup = NULL;
1094
1095         /*
1096          * For backward compatibility we implicitly add flags WEXITED
1097          * and WTRAPPED here.
1098          */
1099         options |= WEXITED | WTRAPPED;
1100         ret = kern_wait6(td, idtype, id, status, options, wrup, NULL);
1101         if (rusage != NULL)
1102                 *rusage = wru.wru_self;
1103         return (ret);
1104 }
1105
1106 int
1107 kern_wait6(struct thread *td, idtype_t idtype, id_t id, int *status,
1108     int options, struct __wrusage *wrusage, siginfo_t *siginfo)
1109 {
1110         struct proc *p, *q;
1111         pid_t pid;
1112         int error, nfound, ret;
1113
1114         AUDIT_ARG_VALUE((int)idtype);   /* XXX - This is likely wrong! */
1115         AUDIT_ARG_PID((pid_t)id);       /* XXX - This may be wrong! */
1116         AUDIT_ARG_VALUE(options);
1117
1118         q = td->td_proc;
1119
1120         if ((pid_t)id == WAIT_MYPGRP && (idtype == P_PID || idtype == P_PGID)) {
1121                 PROC_LOCK(q);
1122                 id = (id_t)q->p_pgid;
1123                 PROC_UNLOCK(q);
1124                 idtype = P_PGID;
1125         }
1126
1127         /* If we don't know the option, just return. */
1128         if ((options & ~(WUNTRACED | WNOHANG | WCONTINUED | WNOWAIT |
1129             WEXITED | WTRAPPED | WLINUXCLONE)) != 0)
1130                 return (EINVAL);
1131         if ((options & (WEXITED | WUNTRACED | WCONTINUED | WTRAPPED)) == 0) {
1132                 /*
1133                  * We will be unable to find any matching processes,
1134                  * because there are no known events to look for.
1135                  * Prefer to return error instead of blocking
1136                  * indefinitely.
1137                  */
1138                 return (EINVAL);
1139         }
1140
1141 loop:
1142         if (q->p_flag & P_STATCHILD) {
1143                 PROC_LOCK(q);
1144                 q->p_flag &= ~P_STATCHILD;
1145                 PROC_UNLOCK(q);
1146         }
1147         nfound = 0;
1148         sx_xlock(&proctree_lock);
1149         LIST_FOREACH(p, &q->p_children, p_sibling) {
1150                 pid = p->p_pid;
1151                 ret = proc_to_reap(td, p, idtype, id, status, options,
1152                     wrusage, siginfo, 0);
1153                 if (ret == 0)
1154                         continue;
1155                 else if (ret == 1)
1156                         nfound++;
1157                 else {
1158                         td->td_retval[0] = pid;
1159                         return (0);
1160                 }
1161
1162                 PROC_LOCK(p);
1163                 PROC_SLOCK(p);
1164
1165                 if ((options & WTRAPPED) != 0 &&
1166                     (p->p_flag & P_TRACED) != 0 &&
1167                     (p->p_flag & (P_STOPPED_TRACE | P_STOPPED_SIG)) != 0 &&
1168                     (p->p_suspcount == p->p_numthreads) &&
1169                     ((p->p_flag & P_WAITED) == 0)) {
1170                         PROC_SUNLOCK(p);
1171                         if ((options & WNOWAIT) == 0)
1172                                 p->p_flag |= P_WAITED;
1173                         sx_xunlock(&proctree_lock);
1174
1175                         if (status != NULL)
1176                                 *status = W_STOPCODE(p->p_xsig);
1177                         if (siginfo != NULL) {
1178                                 siginfo->si_status = p->p_xsig;
1179                                 siginfo->si_code = CLD_TRAPPED;
1180                         }
1181                         if ((options & WNOWAIT) == 0) {
1182                                 PROC_LOCK(q);
1183                                 sigqueue_take(p->p_ksi);
1184                                 PROC_UNLOCK(q);
1185                         }
1186
1187                         CTR4(KTR_PTRACE,
1188             "wait: returning trapped pid %d status %#x (xstat %d) xthread %d",
1189                             p->p_pid, W_STOPCODE(p->p_xsig), p->p_xsig,
1190                             p->p_xthread != NULL ? p->p_xthread->td_tid : -1);
1191                         PROC_UNLOCK(p);
1192                         td->td_retval[0] = pid;
1193                         return (0);
1194                 }
1195                 if ((options & WUNTRACED) != 0 &&
1196                     (p->p_flag & P_STOPPED_SIG) != 0 &&
1197                     (p->p_suspcount == p->p_numthreads) &&
1198                     ((p->p_flag & P_WAITED) == 0)) {
1199                         PROC_SUNLOCK(p);
1200                         if ((options & WNOWAIT) == 0)
1201                                 p->p_flag |= P_WAITED;
1202                         sx_xunlock(&proctree_lock);
1203
1204                         if (status != NULL)
1205                                 *status = W_STOPCODE(p->p_xsig);
1206                         if (siginfo != NULL) {
1207                                 siginfo->si_status = p->p_xsig;
1208                                 siginfo->si_code = CLD_STOPPED;
1209                         }
1210                         if ((options & WNOWAIT) == 0) {
1211                                 PROC_LOCK(q);
1212                                 sigqueue_take(p->p_ksi);
1213                                 PROC_UNLOCK(q);
1214                         }
1215
1216                         PROC_UNLOCK(p);
1217                         td->td_retval[0] = pid;
1218                         return (0);
1219                 }
1220                 PROC_SUNLOCK(p);
1221                 if ((options & WCONTINUED) != 0 &&
1222                     (p->p_flag & P_CONTINUED) != 0) {
1223                         sx_xunlock(&proctree_lock);
1224                         if ((options & WNOWAIT) == 0) {
1225                                 p->p_flag &= ~P_CONTINUED;
1226                                 PROC_LOCK(q);
1227                                 sigqueue_take(p->p_ksi);
1228                                 PROC_UNLOCK(q);
1229                         }
1230                         PROC_UNLOCK(p);
1231
1232                         if (status != NULL)
1233                                 *status = SIGCONT;
1234                         if (siginfo != NULL) {
1235                                 siginfo->si_status = SIGCONT;
1236                                 siginfo->si_code = CLD_CONTINUED;
1237                         }
1238                         td->td_retval[0] = pid;
1239                         return (0);
1240                 }
1241                 PROC_UNLOCK(p);
1242         }
1243
1244         /*
1245          * Look in the orphans list too, to allow the parent to
1246          * collect it's child exit status even if child is being
1247          * debugged.
1248          *
1249          * Debugger detaches from the parent upon successful
1250          * switch-over from parent to child.  At this point due to
1251          * re-parenting the parent loses the child to debugger and a
1252          * wait4(2) call would report that it has no children to wait
1253          * for.  By maintaining a list of orphans we allow the parent
1254          * to successfully wait until the child becomes a zombie.
1255          */
1256         if (nfound == 0) {
1257                 LIST_FOREACH(p, &q->p_orphans, p_orphan) {
1258                         ret = proc_to_reap(td, p, idtype, id, NULL, options,
1259                             NULL, NULL, 1);
1260                         if (ret != 0) {
1261                                 KASSERT(ret != -1, ("reaped an orphan (pid %d)",
1262                                     (int)td->td_retval[0]));
1263                                 nfound++;
1264                                 break;
1265                         }
1266                 }
1267         }
1268         if (nfound == 0) {
1269                 sx_xunlock(&proctree_lock);
1270                 return (ECHILD);
1271         }
1272         if (options & WNOHANG) {
1273                 sx_xunlock(&proctree_lock);
1274                 td->td_retval[0] = 0;
1275                 return (0);
1276         }
1277         PROC_LOCK(q);
1278         sx_xunlock(&proctree_lock);
1279         if (q->p_flag & P_STATCHILD) {
1280                 q->p_flag &= ~P_STATCHILD;
1281                 error = 0;
1282         } else
1283                 error = msleep(q, &q->p_mtx, PWAIT | PCATCH, "wait", 0);
1284         PROC_UNLOCK(q);
1285         if (error)
1286                 return (error);
1287         goto loop;
1288 }
1289
1290 /*
1291  * Make process 'parent' the new parent of process 'child'.
1292  * Must be called with an exclusive hold of proctree lock.
1293  */
1294 void
1295 proc_reparent(struct proc *child, struct proc *parent)
1296 {
1297
1298         sx_assert(&proctree_lock, SX_XLOCKED);
1299         PROC_LOCK_ASSERT(child, MA_OWNED);
1300         if (child->p_pptr == parent)
1301                 return;
1302
1303         PROC_LOCK(child->p_pptr);
1304         sigqueue_take(child->p_ksi);
1305         PROC_UNLOCK(child->p_pptr);
1306         LIST_REMOVE(child, p_sibling);
1307         LIST_INSERT_HEAD(&parent->p_children, child, p_sibling);
1308
1309         clear_orphan(child);
1310         if (child->p_flag & P_TRACED) {
1311                 if (LIST_EMPTY(&child->p_pptr->p_orphans)) {
1312                         child->p_treeflag |= P_TREE_FIRST_ORPHAN;
1313                         LIST_INSERT_HEAD(&child->p_pptr->p_orphans, child,
1314                             p_orphan);
1315                 } else {
1316                         LIST_INSERT_AFTER(LIST_FIRST(&child->p_pptr->p_orphans),
1317                             child, p_orphan);
1318                 }
1319                 child->p_treeflag |= P_TREE_ORPHANED;
1320         }
1321
1322         child->p_pptr = parent;
1323 }