]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/kern/vfs_mount.c
acct: reduce code duplication by using acct_disable as cleanup for
[FreeBSD/FreeBSD.git] / sys / kern / vfs_mount.c
1 /*-
2  * Copyright (c) 1999-2004 Poul-Henning Kamp
3  * Copyright (c) 1999 Michael Smith
4  * Copyright (c) 1989, 1993
5  *      The Regents of the University of California.  All rights reserved.
6  * (c) UNIX System Laboratories, Inc.
7  * All or some portions of this file are derived from material licensed
8  * to the University of California by American Telephone and Telegraph
9  * Co. or Unix System Laboratories, Inc. and are reproduced herein with
10  * the permission of UNIX System Laboratories, Inc.
11  *
12  * Redistribution and use in source and binary forms, with or without
13  * modification, are permitted provided that the following conditions
14  * are met:
15  * 1. Redistributions of source code must retain the above copyright
16  *    notice, this list of conditions and the following disclaimer.
17  * 2. Redistributions in binary form must reproduce the above copyright
18  *    notice, this list of conditions and the following disclaimer in the
19  *    documentation and/or other materials provided with the distribution.
20  * 4. Neither the name of the University nor the names of its contributors
21  *    may be used to endorse or promote products derived from this software
22  *    without specific prior written permission.
23  *
24  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
25  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
26  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
27  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
28  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
29  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
30  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
31  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
32  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
33  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
34  * SUCH DAMAGE.
35  */
36
37 #include <sys/cdefs.h>
38 __FBSDID("$FreeBSD$");
39
40 #include <sys/param.h>
41 #include <sys/conf.h>
42 #include <sys/fcntl.h>
43 #include <sys/jail.h>
44 #include <sys/kernel.h>
45 #include <sys/libkern.h>
46 #include <sys/malloc.h>
47 #include <sys/mount.h>
48 #include <sys/mutex.h>
49 #include <sys/namei.h>
50 #include <sys/priv.h>
51 #include <sys/proc.h>
52 #include <sys/filedesc.h>
53 #include <sys/reboot.h>
54 #include <sys/sbuf.h>
55 #include <sys/syscallsubr.h>
56 #include <sys/sysproto.h>
57 #include <sys/sx.h>
58 #include <sys/sysctl.h>
59 #include <sys/sysent.h>
60 #include <sys/systm.h>
61 #include <sys/vnode.h>
62 #include <vm/uma.h>
63
64 #include <geom/geom.h>
65
66 #include <machine/stdarg.h>
67
68 #include <security/audit/audit.h>
69 #include <security/mac/mac_framework.h>
70
71 #define VFS_MOUNTARG_SIZE_MAX   (1024 * 64)
72
73 static int      vfs_domount(struct thread *td, const char *fstype, char *fspath,
74                     uint64_t fsflags, struct vfsoptlist **optlist);
75 static void     free_mntarg(struct mntarg *ma);
76
77 static int      usermount = 0;
78 SYSCTL_INT(_vfs, OID_AUTO, usermount, CTLFLAG_RW, &usermount, 0,
79     "Unprivileged users may mount and unmount file systems");
80
81 MALLOC_DEFINE(M_MOUNT, "mount", "vfs mount structure");
82 static uma_zone_t mount_zone;
83
84 /* List of mounted filesystems. */
85 struct mntlist mountlist = TAILQ_HEAD_INITIALIZER(mountlist);
86
87 /* For any iteration/modification of mountlist */
88 struct mtx mountlist_mtx;
89 MTX_SYSINIT(mountlist, &mountlist_mtx, "mountlist", MTX_DEF);
90
91 /*
92  * Global opts, taken by all filesystems
93  */
94 static const char *global_opts[] = {
95         "errmsg",
96         "fstype",
97         "fspath",
98         "ro",
99         "rw",
100         "nosuid",
101         "noexec",
102         NULL
103 };
104
105 static int
106 mount_init(void *mem, int size, int flags)
107 {
108         struct mount *mp;
109
110         mp = (struct mount *)mem;
111         mtx_init(&mp->mnt_mtx, "struct mount mtx", NULL, MTX_DEF);
112         lockinit(&mp->mnt_explock, PVFS, "explock", 0, 0);
113         return (0);
114 }
115
116 static void
117 mount_fini(void *mem, int size)
118 {
119         struct mount *mp;
120
121         mp = (struct mount *)mem;
122         lockdestroy(&mp->mnt_explock);
123         mtx_destroy(&mp->mnt_mtx);
124 }
125
126 static void
127 vfs_mount_init(void *dummy __unused)
128 {
129
130         mount_zone = uma_zcreate("Mountpoints", sizeof(struct mount), NULL,
131             NULL, mount_init, mount_fini, UMA_ALIGN_PTR, UMA_ZONE_NOFREE);
132 }
133 SYSINIT(vfs_mount, SI_SUB_VFS, SI_ORDER_ANY, vfs_mount_init, NULL);
134
135 /*
136  * ---------------------------------------------------------------------
137  * Functions for building and sanitizing the mount options
138  */
139
140 /* Remove one mount option. */
141 static void
142 vfs_freeopt(struct vfsoptlist *opts, struct vfsopt *opt)
143 {
144
145         TAILQ_REMOVE(opts, opt, link);
146         free(opt->name, M_MOUNT);
147         if (opt->value != NULL)
148                 free(opt->value, M_MOUNT);
149         free(opt, M_MOUNT);
150 }
151
152 /* Release all resources related to the mount options. */
153 void
154 vfs_freeopts(struct vfsoptlist *opts)
155 {
156         struct vfsopt *opt;
157
158         while (!TAILQ_EMPTY(opts)) {
159                 opt = TAILQ_FIRST(opts);
160                 vfs_freeopt(opts, opt);
161         }
162         free(opts, M_MOUNT);
163 }
164
165 void
166 vfs_deleteopt(struct vfsoptlist *opts, const char *name)
167 {
168         struct vfsopt *opt, *temp;
169
170         if (opts == NULL)
171                 return;
172         TAILQ_FOREACH_SAFE(opt, opts, link, temp)  {
173                 if (strcmp(opt->name, name) == 0)
174                         vfs_freeopt(opts, opt);
175         }
176 }
177
178 static int
179 vfs_isopt_ro(const char *opt)
180 {
181
182         if (strcmp(opt, "ro") == 0 || strcmp(opt, "rdonly") == 0 ||
183             strcmp(opt, "norw") == 0)
184                 return (1);
185         return (0);
186 }
187
188 static int
189 vfs_isopt_rw(const char *opt)
190 {
191
192         if (strcmp(opt, "rw") == 0 || strcmp(opt, "noro") == 0)
193                 return (1);
194         return (0);
195 }
196
197 /*
198  * Check if options are equal (with or without the "no" prefix).
199  */
200 static int
201 vfs_equalopts(const char *opt1, const char *opt2)
202 {
203         char *p;
204
205         /* "opt" vs. "opt" or "noopt" vs. "noopt" */
206         if (strcmp(opt1, opt2) == 0)
207                 return (1);
208         /* "noopt" vs. "opt" */
209         if (strncmp(opt1, "no", 2) == 0 && strcmp(opt1 + 2, opt2) == 0)
210                 return (1);
211         /* "opt" vs. "noopt" */
212         if (strncmp(opt2, "no", 2) == 0 && strcmp(opt1, opt2 + 2) == 0)
213                 return (1);
214         while ((p = strchr(opt1, '.')) != NULL &&
215             !strncmp(opt1, opt2, ++p - opt1)) {
216                 opt2 += p - opt1;
217                 opt1 = p;
218                 /* "foo.noopt" vs. "foo.opt" */
219                 if (strncmp(opt1, "no", 2) == 0 && strcmp(opt1 + 2, opt2) == 0)
220                         return (1);
221                 /* "foo.opt" vs. "foo.noopt" */
222                 if (strncmp(opt2, "no", 2) == 0 && strcmp(opt1, opt2 + 2) == 0)
223                         return (1);
224         }
225         /* "ro" / "rdonly" / "norw" / "rw" / "noro" */
226         if ((vfs_isopt_ro(opt1) || vfs_isopt_rw(opt1)) &&
227             (vfs_isopt_ro(opt2) || vfs_isopt_rw(opt2)))
228                 return (1);
229         return (0);
230 }
231
232 /*
233  * If a mount option is specified several times,
234  * (with or without the "no" prefix) only keep
235  * the last occurrence of it.
236  */
237 static void
238 vfs_sanitizeopts(struct vfsoptlist *opts)
239 {
240         struct vfsopt *opt, *opt2, *tmp;
241
242         TAILQ_FOREACH_REVERSE(opt, opts, vfsoptlist, link) {
243                 opt2 = TAILQ_PREV(opt, vfsoptlist, link);
244                 while (opt2 != NULL) {
245                         if (vfs_equalopts(opt->name, opt2->name)) {
246                                 tmp = TAILQ_PREV(opt2, vfsoptlist, link);
247                                 vfs_freeopt(opts, opt2);
248                                 opt2 = tmp;
249                         } else {
250                                 opt2 = TAILQ_PREV(opt2, vfsoptlist, link);
251                         }
252                 }
253         }
254 }
255
256 /*
257  * Build a linked list of mount options from a struct uio.
258  */
259 int
260 vfs_buildopts(struct uio *auio, struct vfsoptlist **options)
261 {
262         struct vfsoptlist *opts;
263         struct vfsopt *opt;
264         size_t memused, namelen, optlen;
265         unsigned int i, iovcnt;
266         int error;
267
268         opts = malloc(sizeof(struct vfsoptlist), M_MOUNT, M_WAITOK);
269         TAILQ_INIT(opts);
270         memused = 0;
271         iovcnt = auio->uio_iovcnt;
272         for (i = 0; i < iovcnt; i += 2) {
273                 namelen = auio->uio_iov[i].iov_len;
274                 optlen = auio->uio_iov[i + 1].iov_len;
275                 memused += sizeof(struct vfsopt) + optlen + namelen;
276                 /*
277                  * Avoid consuming too much memory, and attempts to overflow
278                  * memused.
279                  */
280                 if (memused > VFS_MOUNTARG_SIZE_MAX ||
281                     optlen > VFS_MOUNTARG_SIZE_MAX ||
282                     namelen > VFS_MOUNTARG_SIZE_MAX) {
283                         error = EINVAL;
284                         goto bad;
285                 }
286
287                 opt = malloc(sizeof(struct vfsopt), M_MOUNT, M_WAITOK);
288                 opt->name = malloc(namelen, M_MOUNT, M_WAITOK);
289                 opt->value = NULL;
290                 opt->len = 0;
291                 opt->pos = i / 2;
292                 opt->seen = 0;
293
294                 /*
295                  * Do this early, so jumps to "bad" will free the current
296                  * option.
297                  */
298                 TAILQ_INSERT_TAIL(opts, opt, link);
299
300                 if (auio->uio_segflg == UIO_SYSSPACE) {
301                         bcopy(auio->uio_iov[i].iov_base, opt->name, namelen);
302                 } else {
303                         error = copyin(auio->uio_iov[i].iov_base, opt->name,
304                             namelen);
305                         if (error)
306                                 goto bad;
307                 }
308                 /* Ensure names are null-terminated strings. */
309                 if (namelen == 0 || opt->name[namelen - 1] != '\0') {
310                         error = EINVAL;
311                         goto bad;
312                 }
313                 if (optlen != 0) {
314                         opt->len = optlen;
315                         opt->value = malloc(optlen, M_MOUNT, M_WAITOK);
316                         if (auio->uio_segflg == UIO_SYSSPACE) {
317                                 bcopy(auio->uio_iov[i + 1].iov_base, opt->value,
318                                     optlen);
319                         } else {
320                                 error = copyin(auio->uio_iov[i + 1].iov_base,
321                                     opt->value, optlen);
322                                 if (error)
323                                         goto bad;
324                         }
325                 }
326         }
327         vfs_sanitizeopts(opts);
328         *options = opts;
329         return (0);
330 bad:
331         vfs_freeopts(opts);
332         return (error);
333 }
334
335 /*
336  * Merge the old mount options with the new ones passed
337  * in the MNT_UPDATE case.
338  *
339  * XXX: This function will keep a "nofoo" option in the new
340  * options.  E.g, if the option's canonical name is "foo",
341  * "nofoo" ends up in the mount point's active options.
342  */
343 static void
344 vfs_mergeopts(struct vfsoptlist *toopts, struct vfsoptlist *oldopts)
345 {
346         struct vfsopt *opt, *new;
347
348         TAILQ_FOREACH(opt, oldopts, link) {
349                 new = malloc(sizeof(struct vfsopt), M_MOUNT, M_WAITOK);
350                 new->name = strdup(opt->name, M_MOUNT);
351                 if (opt->len != 0) {
352                         new->value = malloc(opt->len, M_MOUNT, M_WAITOK);
353                         bcopy(opt->value, new->value, opt->len);
354                 } else
355                         new->value = NULL;
356                 new->len = opt->len;
357                 new->seen = opt->seen;
358                 TAILQ_INSERT_HEAD(toopts, new, link);
359         }
360         vfs_sanitizeopts(toopts);
361 }
362
363 /*
364  * Mount a filesystem.
365  */
366 int
367 sys_nmount(td, uap)
368         struct thread *td;
369         struct nmount_args /* {
370                 struct iovec *iovp;
371                 unsigned int iovcnt;
372                 int flags;
373         } */ *uap;
374 {
375         struct uio *auio;
376         int error;
377         u_int iovcnt;
378         uint64_t flags;
379
380         /*
381          * Mount flags are now 64-bits. On 32-bit archtectures only
382          * 32-bits are passed in, but from here on everything handles
383          * 64-bit flags correctly.
384          */
385         flags = uap->flags;
386
387         AUDIT_ARG_FFLAGS(flags);
388         CTR4(KTR_VFS, "%s: iovp %p with iovcnt %d and flags %d", __func__,
389             uap->iovp, uap->iovcnt, flags);
390
391         /*
392          * Filter out MNT_ROOTFS.  We do not want clients of nmount() in
393          * userspace to set this flag, but we must filter it out if we want
394          * MNT_UPDATE on the root file system to work.
395          * MNT_ROOTFS should only be set by the kernel when mounting its
396          * root file system.
397          */
398         flags &= ~MNT_ROOTFS;
399
400         iovcnt = uap->iovcnt;
401         /*
402          * Check that we have an even number of iovec's
403          * and that we have at least two options.
404          */
405         if ((iovcnt & 1) || (iovcnt < 4)) {
406                 CTR2(KTR_VFS, "%s: failed for invalid iovcnt %d", __func__,
407                     uap->iovcnt);
408                 return (EINVAL);
409         }
410
411         error = copyinuio(uap->iovp, iovcnt, &auio);
412         if (error) {
413                 CTR2(KTR_VFS, "%s: failed for invalid uio op with %d errno",
414                     __func__, error);
415                 return (error);
416         }
417         error = vfs_donmount(td, flags, auio);
418
419         free(auio, M_IOV);
420         return (error);
421 }
422
423 /*
424  * ---------------------------------------------------------------------
425  * Various utility functions
426  */
427
428 void
429 vfs_ref(struct mount *mp)
430 {
431
432         CTR2(KTR_VFS, "%s: mp %p", __func__, mp);
433         MNT_ILOCK(mp);
434         MNT_REF(mp);
435         MNT_IUNLOCK(mp);
436 }
437
438 void
439 vfs_rel(struct mount *mp)
440 {
441
442         CTR2(KTR_VFS, "%s: mp %p", __func__, mp);
443         MNT_ILOCK(mp);
444         MNT_REL(mp);
445         MNT_IUNLOCK(mp);
446 }
447
448 /*
449  * Allocate and initialize the mount point struct.
450  */
451 struct mount *
452 vfs_mount_alloc(struct vnode *vp, struct vfsconf *vfsp, const char *fspath,
453     struct ucred *cred)
454 {
455         struct mount *mp;
456
457         mp = uma_zalloc(mount_zone, M_WAITOK);
458         bzero(&mp->mnt_startzero,
459             __rangeof(struct mount, mnt_startzero, mnt_endzero));
460         TAILQ_INIT(&mp->mnt_nvnodelist);
461         mp->mnt_nvnodelistsize = 0;
462         TAILQ_INIT(&mp->mnt_activevnodelist);
463         mp->mnt_activevnodelistsize = 0;
464         mp->mnt_ref = 0;
465         (void) vfs_busy(mp, MBF_NOWAIT);
466         mp->mnt_op = vfsp->vfc_vfsops;
467         mp->mnt_vfc = vfsp;
468         vfsp->vfc_refcount++;   /* XXX Unlocked */
469         mp->mnt_stat.f_type = vfsp->vfc_typenum;
470         mp->mnt_gen++;
471         strlcpy(mp->mnt_stat.f_fstypename, vfsp->vfc_name, MFSNAMELEN);
472         mp->mnt_vnodecovered = vp;
473         mp->mnt_cred = crdup(cred);
474         mp->mnt_stat.f_owner = cred->cr_uid;
475         strlcpy(mp->mnt_stat.f_mntonname, fspath, MNAMELEN);
476         mp->mnt_iosize_max = DFLTPHYS;
477 #ifdef MAC
478         mac_mount_init(mp);
479         mac_mount_create(cred, mp);
480 #endif
481         arc4rand(&mp->mnt_hashseed, sizeof mp->mnt_hashseed, 0);
482         TAILQ_INIT(&mp->mnt_uppers);
483         return (mp);
484 }
485
486 /*
487  * Destroy the mount struct previously allocated by vfs_mount_alloc().
488  */
489 void
490 vfs_mount_destroy(struct mount *mp)
491 {
492
493         MNT_ILOCK(mp);
494         mp->mnt_kern_flag |= MNTK_REFEXPIRE;
495         if (mp->mnt_kern_flag & MNTK_MWAIT) {
496                 mp->mnt_kern_flag &= ~MNTK_MWAIT;
497                 wakeup(mp);
498         }
499         while (mp->mnt_ref)
500                 msleep(mp, MNT_MTX(mp), PVFS, "mntref", 0);
501         KASSERT(mp->mnt_ref == 0,
502             ("%s: invalid refcount in the drain path @ %s:%d", __func__,
503             __FILE__, __LINE__));
504         if (mp->mnt_writeopcount != 0)
505                 panic("vfs_mount_destroy: nonzero writeopcount");
506         if (mp->mnt_secondary_writes != 0)
507                 panic("vfs_mount_destroy: nonzero secondary_writes");
508         mp->mnt_vfc->vfc_refcount--;
509         if (!TAILQ_EMPTY(&mp->mnt_nvnodelist)) {
510                 struct vnode *vp;
511
512                 TAILQ_FOREACH(vp, &mp->mnt_nvnodelist, v_nmntvnodes)
513                         vprint("", vp);
514                 panic("unmount: dangling vnode");
515         }
516         KASSERT(TAILQ_EMPTY(&mp->mnt_uppers), ("mnt_uppers"));
517         if (mp->mnt_nvnodelistsize != 0)
518                 panic("vfs_mount_destroy: nonzero nvnodelistsize");
519         if (mp->mnt_activevnodelistsize != 0)
520                 panic("vfs_mount_destroy: nonzero activevnodelistsize");
521         if (mp->mnt_lockref != 0)
522                 panic("vfs_mount_destroy: nonzero lock refcount");
523         MNT_IUNLOCK(mp);
524 #ifdef MAC
525         mac_mount_destroy(mp);
526 #endif
527         if (mp->mnt_opt != NULL)
528                 vfs_freeopts(mp->mnt_opt);
529         crfree(mp->mnt_cred);
530         uma_zfree(mount_zone, mp);
531 }
532
533 int
534 vfs_donmount(struct thread *td, uint64_t fsflags, struct uio *fsoptions)
535 {
536         struct vfsoptlist *optlist;
537         struct vfsopt *opt, *tmp_opt;
538         char *fstype, *fspath, *errmsg;
539         int error, fstypelen, fspathlen, errmsg_len, errmsg_pos;
540
541         errmsg = fspath = NULL;
542         errmsg_len = fspathlen = 0;
543         errmsg_pos = -1;
544
545         error = vfs_buildopts(fsoptions, &optlist);
546         if (error)
547                 return (error);
548
549         if (vfs_getopt(optlist, "errmsg", (void **)&errmsg, &errmsg_len) == 0)
550                 errmsg_pos = vfs_getopt_pos(optlist, "errmsg");
551
552         /*
553          * We need these two options before the others,
554          * and they are mandatory for any filesystem.
555          * Ensure they are NUL terminated as well.
556          */
557         fstypelen = 0;
558         error = vfs_getopt(optlist, "fstype", (void **)&fstype, &fstypelen);
559         if (error || fstype[fstypelen - 1] != '\0') {
560                 error = EINVAL;
561                 if (errmsg != NULL)
562                         strncpy(errmsg, "Invalid fstype", errmsg_len);
563                 goto bail;
564         }
565         fspathlen = 0;
566         error = vfs_getopt(optlist, "fspath", (void **)&fspath, &fspathlen);
567         if (error || fspath[fspathlen - 1] != '\0') {
568                 error = EINVAL;
569                 if (errmsg != NULL)
570                         strncpy(errmsg, "Invalid fspath", errmsg_len);
571                 goto bail;
572         }
573
574         /*
575          * We need to see if we have the "update" option
576          * before we call vfs_domount(), since vfs_domount() has special
577          * logic based on MNT_UPDATE.  This is very important
578          * when we want to update the root filesystem.
579          */
580         TAILQ_FOREACH_SAFE(opt, optlist, link, tmp_opt) {
581                 if (strcmp(opt->name, "update") == 0) {
582                         fsflags |= MNT_UPDATE;
583                         vfs_freeopt(optlist, opt);
584                 }
585                 else if (strcmp(opt->name, "async") == 0)
586                         fsflags |= MNT_ASYNC;
587                 else if (strcmp(opt->name, "force") == 0) {
588                         fsflags |= MNT_FORCE;
589                         vfs_freeopt(optlist, opt);
590                 }
591                 else if (strcmp(opt->name, "reload") == 0) {
592                         fsflags |= MNT_RELOAD;
593                         vfs_freeopt(optlist, opt);
594                 }
595                 else if (strcmp(opt->name, "multilabel") == 0)
596                         fsflags |= MNT_MULTILABEL;
597                 else if (strcmp(opt->name, "noasync") == 0)
598                         fsflags &= ~MNT_ASYNC;
599                 else if (strcmp(opt->name, "noatime") == 0)
600                         fsflags |= MNT_NOATIME;
601                 else if (strcmp(opt->name, "atime") == 0) {
602                         free(opt->name, M_MOUNT);
603                         opt->name = strdup("nonoatime", M_MOUNT);
604                 }
605                 else if (strcmp(opt->name, "noclusterr") == 0)
606                         fsflags |= MNT_NOCLUSTERR;
607                 else if (strcmp(opt->name, "clusterr") == 0) {
608                         free(opt->name, M_MOUNT);
609                         opt->name = strdup("nonoclusterr", M_MOUNT);
610                 }
611                 else if (strcmp(opt->name, "noclusterw") == 0)
612                         fsflags |= MNT_NOCLUSTERW;
613                 else if (strcmp(opt->name, "clusterw") == 0) {
614                         free(opt->name, M_MOUNT);
615                         opt->name = strdup("nonoclusterw", M_MOUNT);
616                 }
617                 else if (strcmp(opt->name, "noexec") == 0)
618                         fsflags |= MNT_NOEXEC;
619                 else if (strcmp(opt->name, "exec") == 0) {
620                         free(opt->name, M_MOUNT);
621                         opt->name = strdup("nonoexec", M_MOUNT);
622                 }
623                 else if (strcmp(opt->name, "nosuid") == 0)
624                         fsflags |= MNT_NOSUID;
625                 else if (strcmp(opt->name, "suid") == 0) {
626                         free(opt->name, M_MOUNT);
627                         opt->name = strdup("nonosuid", M_MOUNT);
628                 }
629                 else if (strcmp(opt->name, "nosymfollow") == 0)
630                         fsflags |= MNT_NOSYMFOLLOW;
631                 else if (strcmp(opt->name, "symfollow") == 0) {
632                         free(opt->name, M_MOUNT);
633                         opt->name = strdup("nonosymfollow", M_MOUNT);
634                 }
635                 else if (strcmp(opt->name, "noro") == 0)
636                         fsflags &= ~MNT_RDONLY;
637                 else if (strcmp(opt->name, "rw") == 0)
638                         fsflags &= ~MNT_RDONLY;
639                 else if (strcmp(opt->name, "ro") == 0)
640                         fsflags |= MNT_RDONLY;
641                 else if (strcmp(opt->name, "rdonly") == 0) {
642                         free(opt->name, M_MOUNT);
643                         opt->name = strdup("ro", M_MOUNT);
644                         fsflags |= MNT_RDONLY;
645                 }
646                 else if (strcmp(opt->name, "suiddir") == 0)
647                         fsflags |= MNT_SUIDDIR;
648                 else if (strcmp(opt->name, "sync") == 0)
649                         fsflags |= MNT_SYNCHRONOUS;
650                 else if (strcmp(opt->name, "union") == 0)
651                         fsflags |= MNT_UNION;
652         }
653
654         /*
655          * Be ultra-paranoid about making sure the type and fspath
656          * variables will fit in our mp buffers, including the
657          * terminating NUL.
658          */
659         if (fstypelen >= MFSNAMELEN - 1 || fspathlen >= MNAMELEN - 1) {
660                 error = ENAMETOOLONG;
661                 goto bail;
662         }
663
664         error = vfs_domount(td, fstype, fspath, fsflags, &optlist);
665 bail:
666         /* copyout the errmsg */
667         if (errmsg_pos != -1 && ((2 * errmsg_pos + 1) < fsoptions->uio_iovcnt)
668             && errmsg_len > 0 && errmsg != NULL) {
669                 if (fsoptions->uio_segflg == UIO_SYSSPACE) {
670                         bcopy(errmsg,
671                             fsoptions->uio_iov[2 * errmsg_pos + 1].iov_base,
672                             fsoptions->uio_iov[2 * errmsg_pos + 1].iov_len);
673                 } else {
674                         copyout(errmsg,
675                             fsoptions->uio_iov[2 * errmsg_pos + 1].iov_base,
676                             fsoptions->uio_iov[2 * errmsg_pos + 1].iov_len);
677                 }
678         }
679
680         if (optlist != NULL)
681                 vfs_freeopts(optlist);
682         return (error);
683 }
684
685 /*
686  * Old mount API.
687  */
688 #ifndef _SYS_SYSPROTO_H_
689 struct mount_args {
690         char    *type;
691         char    *path;
692         int     flags;
693         caddr_t data;
694 };
695 #endif
696 /* ARGSUSED */
697 int
698 sys_mount(td, uap)
699         struct thread *td;
700         struct mount_args /* {
701                 char *type;
702                 char *path;
703                 int flags;
704                 caddr_t data;
705         } */ *uap;
706 {
707         char *fstype;
708         struct vfsconf *vfsp = NULL;
709         struct mntarg *ma = NULL;
710         uint64_t flags;
711         int error;
712
713         /*
714          * Mount flags are now 64-bits. On 32-bit architectures only
715          * 32-bits are passed in, but from here on everything handles
716          * 64-bit flags correctly.
717          */
718         flags = uap->flags;
719
720         AUDIT_ARG_FFLAGS(flags);
721
722         /*
723          * Filter out MNT_ROOTFS.  We do not want clients of mount() in
724          * userspace to set this flag, but we must filter it out if we want
725          * MNT_UPDATE on the root file system to work.
726          * MNT_ROOTFS should only be set by the kernel when mounting its
727          * root file system.
728          */
729         flags &= ~MNT_ROOTFS;
730
731         fstype = malloc(MFSNAMELEN, M_TEMP, M_WAITOK);
732         error = copyinstr(uap->type, fstype, MFSNAMELEN, NULL);
733         if (error) {
734                 free(fstype, M_TEMP);
735                 return (error);
736         }
737
738         AUDIT_ARG_TEXT(fstype);
739         mtx_lock(&Giant);
740         vfsp = vfs_byname_kld(fstype, td, &error);
741         free(fstype, M_TEMP);
742         if (vfsp == NULL) {
743                 mtx_unlock(&Giant);
744                 return (ENOENT);
745         }
746         if (vfsp->vfc_vfsops->vfs_cmount == NULL) {
747                 mtx_unlock(&Giant);
748                 return (EOPNOTSUPP);
749         }
750
751         ma = mount_argsu(ma, "fstype", uap->type, MNAMELEN);
752         ma = mount_argsu(ma, "fspath", uap->path, MNAMELEN);
753         ma = mount_argb(ma, flags & MNT_RDONLY, "noro");
754         ma = mount_argb(ma, !(flags & MNT_NOSUID), "nosuid");
755         ma = mount_argb(ma, !(flags & MNT_NOEXEC), "noexec");
756
757         error = vfsp->vfc_vfsops->vfs_cmount(ma, uap->data, flags);
758         mtx_unlock(&Giant);
759         return (error);
760 }
761
762 /*
763  * vfs_domount_first(): first file system mount (not update)
764  */
765 static int
766 vfs_domount_first(
767         struct thread *td,              /* Calling thread. */
768         struct vfsconf *vfsp,           /* File system type. */
769         char *fspath,                   /* Mount path. */
770         struct vnode *vp,               /* Vnode to be covered. */
771         uint64_t fsflags,               /* Flags common to all filesystems. */
772         struct vfsoptlist **optlist     /* Options local to the filesystem. */
773         )
774 {
775         struct vattr va;
776         struct mount *mp;
777         struct vnode *newdp;
778         int error;
779
780         mtx_assert(&Giant, MA_OWNED);
781         ASSERT_VOP_ELOCKED(vp, __func__);
782         KASSERT((fsflags & MNT_UPDATE) == 0, ("MNT_UPDATE shouldn't be here"));
783
784         /*
785          * If the user is not root, ensure that they own the directory
786          * onto which we are attempting to mount.
787          */
788         error = VOP_GETATTR(vp, &va, td->td_ucred);
789         if (error == 0 && va.va_uid != td->td_ucred->cr_uid)
790                 error = priv_check_cred(td->td_ucred, PRIV_VFS_ADMIN, 0);
791         if (error == 0)
792                 error = vinvalbuf(vp, V_SAVE, 0, 0);
793         if (error == 0 && vp->v_type != VDIR)
794                 error = ENOTDIR;
795         if (error == 0) {
796                 VI_LOCK(vp);
797                 if ((vp->v_iflag & VI_MOUNT) == 0 && vp->v_mountedhere == NULL)
798                         vp->v_iflag |= VI_MOUNT;
799                 else
800                         error = EBUSY;
801                 VI_UNLOCK(vp);
802         }
803         if (error != 0) {
804                 vput(vp);
805                 return (error);
806         }
807         VOP_UNLOCK(vp, 0);
808
809         /* Allocate and initialize the filesystem. */
810         mp = vfs_mount_alloc(vp, vfsp, fspath, td->td_ucred);
811         /* XXXMAC: pass to vfs_mount_alloc? */
812         mp->mnt_optnew = *optlist;
813         /* Set the mount level flags. */
814         mp->mnt_flag = (fsflags & (MNT_UPDATEMASK | MNT_ROOTFS | MNT_RDONLY));
815
816         /*
817          * Mount the filesystem.
818          * XXX The final recipients of VFS_MOUNT just overwrite the ndp they
819          * get.  No freeing of cn_pnbuf.
820          */
821         error = VFS_MOUNT(mp);
822         if (error != 0) {
823                 vfs_unbusy(mp);
824                 vfs_mount_destroy(mp);
825                 VI_LOCK(vp);
826                 vp->v_iflag &= ~VI_MOUNT;
827                 VI_UNLOCK(vp);
828                 vrele(vp);
829                 return (error);
830         }
831
832         if (mp->mnt_opt != NULL)
833                 vfs_freeopts(mp->mnt_opt);
834         mp->mnt_opt = mp->mnt_optnew;
835         *optlist = NULL;
836         (void)VFS_STATFS(mp, &mp->mnt_stat);
837
838         /*
839          * Prevent external consumers of mount options from reading mnt_optnew.
840          */
841         mp->mnt_optnew = NULL;
842
843         MNT_ILOCK(mp);
844         if ((mp->mnt_flag & MNT_ASYNC) != 0 &&
845             (mp->mnt_kern_flag & MNTK_NOASYNC) == 0)
846                 mp->mnt_kern_flag |= MNTK_ASYNC;
847         else
848                 mp->mnt_kern_flag &= ~MNTK_ASYNC;
849         MNT_IUNLOCK(mp);
850
851         vn_lock(vp, LK_EXCLUSIVE | LK_RETRY);
852         cache_purge(vp);
853         VI_LOCK(vp);
854         vp->v_iflag &= ~VI_MOUNT;
855         VI_UNLOCK(vp);
856         vp->v_mountedhere = mp;
857         /* Place the new filesystem at the end of the mount list. */
858         mtx_lock(&mountlist_mtx);
859         TAILQ_INSERT_TAIL(&mountlist, mp, mnt_list);
860         mtx_unlock(&mountlist_mtx);
861         vfs_event_signal(NULL, VQ_MOUNT, 0);
862         if (VFS_ROOT(mp, LK_EXCLUSIVE, &newdp))
863                 panic("mount: lost mount");
864         VOP_UNLOCK(newdp, 0);
865         VOP_UNLOCK(vp, 0);
866         mountcheckdirs(vp, newdp);
867         vrele(newdp);
868         if ((mp->mnt_flag & MNT_RDONLY) == 0)
869                 vfs_allocate_syncvnode(mp);
870         vfs_unbusy(mp);
871         return (0);
872 }
873
874 /*
875  * vfs_domount_update(): update of mounted file system
876  */
877 static int
878 vfs_domount_update(
879         struct thread *td,              /* Calling thread. */
880         struct vnode *vp,               /* Mount point vnode. */
881         uint64_t fsflags,               /* Flags common to all filesystems. */
882         struct vfsoptlist **optlist     /* Options local to the filesystem. */
883         )
884 {
885         struct oexport_args oexport;
886         struct export_args export;
887         struct mount *mp;
888         int error, export_error;
889         uint64_t flag;
890
891         mtx_assert(&Giant, MA_OWNED);
892         ASSERT_VOP_ELOCKED(vp, __func__);
893         KASSERT((fsflags & MNT_UPDATE) != 0, ("MNT_UPDATE should be here"));
894
895         if ((vp->v_vflag & VV_ROOT) == 0) {
896                 vput(vp);
897                 return (EINVAL);
898         }
899         mp = vp->v_mount;
900         /*
901          * We only allow the filesystem to be reloaded if it
902          * is currently mounted read-only.
903          */
904         flag = mp->mnt_flag;
905         if ((fsflags & MNT_RELOAD) != 0 && (flag & MNT_RDONLY) == 0) {
906                 vput(vp);
907                 return (EOPNOTSUPP);    /* Needs translation */
908         }
909         /*
910          * Only privileged root, or (if MNT_USER is set) the user that
911          * did the original mount is permitted to update it.
912          */
913         error = vfs_suser(mp, td);
914         if (error != 0) {
915                 vput(vp);
916                 return (error);
917         }
918         if (vfs_busy(mp, MBF_NOWAIT)) {
919                 vput(vp);
920                 return (EBUSY);
921         }
922         VI_LOCK(vp);
923         if ((vp->v_iflag & VI_MOUNT) != 0 || vp->v_mountedhere != NULL) {
924                 VI_UNLOCK(vp);
925                 vfs_unbusy(mp);
926                 vput(vp);
927                 return (EBUSY);
928         }
929         vp->v_iflag |= VI_MOUNT;
930         VI_UNLOCK(vp);
931         VOP_UNLOCK(vp, 0);
932
933         MNT_ILOCK(mp);
934         mp->mnt_flag &= ~MNT_UPDATEMASK;
935         mp->mnt_flag |= fsflags & (MNT_RELOAD | MNT_FORCE | MNT_UPDATE |
936             MNT_SNAPSHOT | MNT_ROOTFS | MNT_UPDATEMASK | MNT_RDONLY);
937         if ((mp->mnt_flag & MNT_ASYNC) == 0)
938                 mp->mnt_kern_flag &= ~MNTK_ASYNC;
939         MNT_IUNLOCK(mp);
940         mp->mnt_optnew = *optlist;
941         vfs_mergeopts(mp->mnt_optnew, mp->mnt_opt);
942
943         /*
944          * Mount the filesystem.
945          * XXX The final recipients of VFS_MOUNT just overwrite the ndp they
946          * get.  No freeing of cn_pnbuf.
947          */
948         error = VFS_MOUNT(mp);
949
950         export_error = 0;
951         if (error == 0) {
952                 /* Process the export option. */
953                 if (vfs_copyopt(mp->mnt_optnew, "export", &export,
954                     sizeof(export)) == 0) {
955                         export_error = vfs_export(mp, &export);
956                 } else if (vfs_copyopt(mp->mnt_optnew, "export", &oexport,
957                     sizeof(oexport)) == 0) {
958                         export.ex_flags = oexport.ex_flags;
959                         export.ex_root = oexport.ex_root;
960                         export.ex_anon = oexport.ex_anon;
961                         export.ex_addr = oexport.ex_addr;
962                         export.ex_addrlen = oexport.ex_addrlen;
963                         export.ex_mask = oexport.ex_mask;
964                         export.ex_masklen = oexport.ex_masklen;
965                         export.ex_indexfile = oexport.ex_indexfile;
966                         export.ex_numsecflavors = 0;
967                         export_error = vfs_export(mp, &export);
968                 }
969         }
970
971         MNT_ILOCK(mp);
972         if (error == 0) {
973                 mp->mnt_flag &= ~(MNT_UPDATE | MNT_RELOAD | MNT_FORCE |
974                     MNT_SNAPSHOT);
975         } else {
976                 /*
977                  * If we fail, restore old mount flags. MNT_QUOTA is special,
978                  * because it is not part of MNT_UPDATEMASK, but it could have
979                  * changed in the meantime if quotactl(2) was called.
980                  * All in all we want current value of MNT_QUOTA, not the old
981                  * one.
982                  */
983                 mp->mnt_flag = (mp->mnt_flag & MNT_QUOTA) | (flag & ~MNT_QUOTA);
984         }
985         if ((mp->mnt_flag & MNT_ASYNC) != 0 &&
986             (mp->mnt_kern_flag & MNTK_NOASYNC) == 0)
987                 mp->mnt_kern_flag |= MNTK_ASYNC;
988         else
989                 mp->mnt_kern_flag &= ~MNTK_ASYNC;
990         MNT_IUNLOCK(mp);
991
992         if (error != 0)
993                 goto end;
994
995         if (mp->mnt_opt != NULL)
996                 vfs_freeopts(mp->mnt_opt);
997         mp->mnt_opt = mp->mnt_optnew;
998         *optlist = NULL;
999         (void)VFS_STATFS(mp, &mp->mnt_stat);
1000         /*
1001          * Prevent external consumers of mount options from reading
1002          * mnt_optnew.
1003          */
1004         mp->mnt_optnew = NULL;
1005
1006         if ((mp->mnt_flag & MNT_RDONLY) == 0)
1007                 vfs_allocate_syncvnode(mp);
1008         else
1009                 vfs_deallocate_syncvnode(mp);
1010 end:
1011         vfs_unbusy(mp);
1012         VI_LOCK(vp);
1013         vp->v_iflag &= ~VI_MOUNT;
1014         VI_UNLOCK(vp);
1015         vrele(vp);
1016         return (error != 0 ? error : export_error);
1017 }
1018
1019 /*
1020  * vfs_domount(): actually attempt a filesystem mount.
1021  */
1022 static int
1023 vfs_domount(
1024         struct thread *td,              /* Calling thread. */
1025         const char *fstype,             /* Filesystem type. */
1026         char *fspath,                   /* Mount path. */
1027         uint64_t fsflags,               /* Flags common to all filesystems. */
1028         struct vfsoptlist **optlist     /* Options local to the filesystem. */
1029         )
1030 {
1031         struct vfsconf *vfsp;
1032         struct nameidata nd;
1033         struct vnode *vp;
1034         char *pathbuf;
1035         int error;
1036
1037         /*
1038          * Be ultra-paranoid about making sure the type and fspath
1039          * variables will fit in our mp buffers, including the
1040          * terminating NUL.
1041          */
1042         if (strlen(fstype) >= MFSNAMELEN || strlen(fspath) >= MNAMELEN)
1043                 return (ENAMETOOLONG);
1044
1045         if (jailed(td->td_ucred) || usermount == 0) {
1046                 if ((error = priv_check(td, PRIV_VFS_MOUNT)) != 0)
1047                         return (error);
1048         }
1049
1050         /*
1051          * Do not allow NFS export or MNT_SUIDDIR by unprivileged users.
1052          */
1053         if (fsflags & MNT_EXPORTED) {
1054                 error = priv_check(td, PRIV_VFS_MOUNT_EXPORTED);
1055                 if (error)
1056                         return (error);
1057         }
1058         if (fsflags & MNT_SUIDDIR) {
1059                 error = priv_check(td, PRIV_VFS_MOUNT_SUIDDIR);
1060                 if (error)
1061                         return (error);
1062         }
1063         /*
1064          * Silently enforce MNT_NOSUID and MNT_USER for unprivileged users.
1065          */
1066         if ((fsflags & (MNT_NOSUID | MNT_USER)) != (MNT_NOSUID | MNT_USER)) {
1067                 if (priv_check(td, PRIV_VFS_MOUNT_NONUSER) != 0)
1068                         fsflags |= MNT_NOSUID | MNT_USER;
1069         }
1070
1071         /* Load KLDs before we lock the covered vnode to avoid reversals. */
1072         vfsp = NULL;
1073         if ((fsflags & MNT_UPDATE) == 0) {
1074                 /* Don't try to load KLDs if we're mounting the root. */
1075                 if (fsflags & MNT_ROOTFS)
1076                         vfsp = vfs_byname(fstype);
1077                 else
1078                         vfsp = vfs_byname_kld(fstype, td, &error);
1079                 if (vfsp == NULL)
1080                         return (ENODEV);
1081                 if (jailed(td->td_ucred) && !(vfsp->vfc_flags & VFCF_JAIL))
1082                         return (EPERM);
1083         }
1084
1085         /*
1086          * Get vnode to be covered or mount point's vnode in case of MNT_UPDATE.
1087          */
1088         NDINIT(&nd, LOOKUP, FOLLOW | LOCKLEAF | AUDITVNODE1,
1089             UIO_SYSSPACE, fspath, td);
1090         error = namei(&nd);
1091         if (error != 0)
1092                 return (error);
1093         mtx_lock(&Giant);
1094         NDFREE(&nd, NDF_ONLY_PNBUF);
1095         vp = nd.ni_vp;
1096         if ((fsflags & MNT_UPDATE) == 0) {
1097                 pathbuf = malloc(MNAMELEN, M_TEMP, M_WAITOK);
1098                 strcpy(pathbuf, fspath);
1099                 error = vn_path_to_global_path(td, vp, pathbuf, MNAMELEN);
1100                 /* debug.disablefullpath == 1 results in ENODEV */
1101                 if (error == 0 || error == ENODEV) {
1102                         error = vfs_domount_first(td, vfsp, pathbuf, vp,
1103                             fsflags, optlist);
1104                 }
1105                 free(pathbuf, M_TEMP);
1106         } else
1107                 error = vfs_domount_update(td, vp, fsflags, optlist);
1108         mtx_unlock(&Giant);
1109
1110         ASSERT_VI_UNLOCKED(vp, __func__);
1111         ASSERT_VOP_UNLOCKED(vp, __func__);
1112
1113         return (error);
1114 }
1115
1116 /*
1117  * Unmount a filesystem.
1118  *
1119  * Note: unmount takes a path to the vnode mounted on as argument, not
1120  * special file (as before).
1121  */
1122 #ifndef _SYS_SYSPROTO_H_
1123 struct unmount_args {
1124         char    *path;
1125         int     flags;
1126 };
1127 #endif
1128 /* ARGSUSED */
1129 int
1130 sys_unmount(td, uap)
1131         struct thread *td;
1132         register struct unmount_args /* {
1133                 char *path;
1134                 int flags;
1135         } */ *uap;
1136 {
1137         struct nameidata nd;
1138         struct mount *mp;
1139         char *pathbuf;
1140         int error, id0, id1;
1141
1142         AUDIT_ARG_VALUE(uap->flags);
1143         if (jailed(td->td_ucred) || usermount == 0) {
1144                 error = priv_check(td, PRIV_VFS_UNMOUNT);
1145                 if (error)
1146                         return (error);
1147         }
1148
1149         pathbuf = malloc(MNAMELEN, M_TEMP, M_WAITOK);
1150         error = copyinstr(uap->path, pathbuf, MNAMELEN, NULL);
1151         if (error) {
1152                 free(pathbuf, M_TEMP);
1153                 return (error);
1154         }
1155         mtx_lock(&Giant);
1156         if (uap->flags & MNT_BYFSID) {
1157                 AUDIT_ARG_TEXT(pathbuf);
1158                 /* Decode the filesystem ID. */
1159                 if (sscanf(pathbuf, "FSID:%d:%d", &id0, &id1) != 2) {
1160                         mtx_unlock(&Giant);
1161                         free(pathbuf, M_TEMP);
1162                         return (EINVAL);
1163                 }
1164
1165                 mtx_lock(&mountlist_mtx);
1166                 TAILQ_FOREACH_REVERSE(mp, &mountlist, mntlist, mnt_list) {
1167                         if (mp->mnt_stat.f_fsid.val[0] == id0 &&
1168                             mp->mnt_stat.f_fsid.val[1] == id1)
1169                                 break;
1170                 }
1171                 mtx_unlock(&mountlist_mtx);
1172         } else {
1173                 /*
1174                  * Try to find global path for path argument.
1175                  */
1176                 NDINIT(&nd, LOOKUP, FOLLOW | LOCKLEAF | AUDITVNODE1,
1177                     UIO_SYSSPACE, pathbuf, td);
1178                 if (namei(&nd) == 0) {
1179                         NDFREE(&nd, NDF_ONLY_PNBUF);
1180                         error = vn_path_to_global_path(td, nd.ni_vp, pathbuf,
1181                             MNAMELEN);
1182                         if (error == 0 || error == ENODEV)
1183                                 vput(nd.ni_vp);
1184                 }
1185                 mtx_lock(&mountlist_mtx);
1186                 TAILQ_FOREACH_REVERSE(mp, &mountlist, mntlist, mnt_list) {
1187                         if (strcmp(mp->mnt_stat.f_mntonname, pathbuf) == 0)
1188                                 break;
1189                 }
1190                 mtx_unlock(&mountlist_mtx);
1191         }
1192         free(pathbuf, M_TEMP);
1193         if (mp == NULL) {
1194                 /*
1195                  * Previously we returned ENOENT for a nonexistent path and
1196                  * EINVAL for a non-mountpoint.  We cannot tell these apart
1197                  * now, so in the !MNT_BYFSID case return the more likely
1198                  * EINVAL for compatibility.
1199                  */
1200                 mtx_unlock(&Giant);
1201                 return ((uap->flags & MNT_BYFSID) ? ENOENT : EINVAL);
1202         }
1203
1204         /*
1205          * Don't allow unmounting the root filesystem.
1206          */
1207         if (mp->mnt_flag & MNT_ROOTFS) {
1208                 mtx_unlock(&Giant);
1209                 return (EINVAL);
1210         }
1211         error = dounmount(mp, uap->flags, td);
1212         mtx_unlock(&Giant);
1213         return (error);
1214 }
1215
1216 /*
1217  * Do the actual filesystem unmount.
1218  */
1219 int
1220 dounmount(mp, flags, td)
1221         struct mount *mp;
1222         int flags;
1223         struct thread *td;
1224 {
1225         struct vnode *coveredvp, *fsrootvp;
1226         int error;
1227         uint64_t async_flag;
1228         int mnt_gen_r;
1229
1230         mtx_assert(&Giant, MA_OWNED);
1231
1232         if ((coveredvp = mp->mnt_vnodecovered) != NULL) {
1233                 mnt_gen_r = mp->mnt_gen;
1234                 VI_LOCK(coveredvp);
1235                 vholdl(coveredvp);
1236                 vn_lock(coveredvp, LK_EXCLUSIVE | LK_INTERLOCK | LK_RETRY);
1237                 vdrop(coveredvp);
1238                 /*
1239                  * Check for mp being unmounted while waiting for the
1240                  * covered vnode lock.
1241                  */
1242                 if (coveredvp->v_mountedhere != mp ||
1243                     coveredvp->v_mountedhere->mnt_gen != mnt_gen_r) {
1244                         VOP_UNLOCK(coveredvp, 0);
1245                         return (EBUSY);
1246                 }
1247         }
1248         /*
1249          * Only privileged root, or (if MNT_USER is set) the user that did the
1250          * original mount is permitted to unmount this filesystem.
1251          */
1252         error = vfs_suser(mp, td);
1253         if (error) {
1254                 if (coveredvp)
1255                         VOP_UNLOCK(coveredvp, 0);
1256                 return (error);
1257         }
1258
1259         vn_start_write(NULL, &mp, V_WAIT);
1260         MNT_ILOCK(mp);
1261         if ((mp->mnt_kern_flag & MNTK_UNMOUNT) != 0 ||
1262             !TAILQ_EMPTY(&mp->mnt_uppers)) {
1263                 MNT_IUNLOCK(mp);
1264                 if (coveredvp)
1265                         VOP_UNLOCK(coveredvp, 0);
1266                 vn_finished_write(mp);
1267                 return (EBUSY);
1268         }
1269         mp->mnt_kern_flag |= MNTK_UNMOUNT | MNTK_NOINSMNTQ;
1270         /* Allow filesystems to detect that a forced unmount is in progress. */
1271         if (flags & MNT_FORCE)
1272                 mp->mnt_kern_flag |= MNTK_UNMOUNTF;
1273         error = 0;
1274         if (mp->mnt_lockref) {
1275                 mp->mnt_kern_flag |= MNTK_DRAINING;
1276                 error = msleep(&mp->mnt_lockref, MNT_MTX(mp), PVFS,
1277                     "mount drain", 0);
1278         }
1279         MNT_IUNLOCK(mp);
1280         KASSERT(mp->mnt_lockref == 0,
1281             ("%s: invalid lock refcount in the drain path @ %s:%d",
1282             __func__, __FILE__, __LINE__));
1283         KASSERT(error == 0,
1284             ("%s: invalid return value for msleep in the drain path @ %s:%d",
1285             __func__, __FILE__, __LINE__));
1286
1287         if (mp->mnt_flag & MNT_EXPUBLIC)
1288                 vfs_setpublicfs(NULL, NULL, NULL);
1289
1290         vfs_msync(mp, MNT_WAIT);
1291         MNT_ILOCK(mp);
1292         async_flag = mp->mnt_flag & MNT_ASYNC;
1293         mp->mnt_flag &= ~MNT_ASYNC;
1294         mp->mnt_kern_flag &= ~MNTK_ASYNC;
1295         MNT_IUNLOCK(mp);
1296         cache_purgevfs(mp);     /* remove cache entries for this file sys */
1297         vfs_deallocate_syncvnode(mp);
1298         /*
1299          * For forced unmounts, move process cdir/rdir refs on the fs root
1300          * vnode to the covered vnode.  For non-forced unmounts we want
1301          * such references to cause an EBUSY error.
1302          */
1303         if ((flags & MNT_FORCE) &&
1304             VFS_ROOT(mp, LK_EXCLUSIVE, &fsrootvp) == 0) {
1305                 if (mp->mnt_vnodecovered != NULL)
1306                         mountcheckdirs(fsrootvp, mp->mnt_vnodecovered);
1307                 if (fsrootvp == rootvnode) {
1308                         vrele(rootvnode);
1309                         rootvnode = NULL;
1310                 }
1311                 vput(fsrootvp);
1312         }
1313         if (((mp->mnt_flag & MNT_RDONLY) ||
1314              (error = VFS_SYNC(mp, MNT_WAIT)) == 0) || (flags & MNT_FORCE) != 0)
1315                 error = VFS_UNMOUNT(mp, flags);
1316         vn_finished_write(mp);
1317         /*
1318          * If we failed to flush the dirty blocks for this mount point,
1319          * undo all the cdir/rdir and rootvnode changes we made above.
1320          * Unless we failed to do so because the device is reporting that
1321          * it doesn't exist anymore.
1322          */
1323         if (error && error != ENXIO) {
1324                 if ((flags & MNT_FORCE) &&
1325                     VFS_ROOT(mp, LK_EXCLUSIVE, &fsrootvp) == 0) {
1326                         if (mp->mnt_vnodecovered != NULL)
1327                                 mountcheckdirs(mp->mnt_vnodecovered, fsrootvp);
1328                         if (rootvnode == NULL) {
1329                                 rootvnode = fsrootvp;
1330                                 vref(rootvnode);
1331                         }
1332                         vput(fsrootvp);
1333                 }
1334                 MNT_ILOCK(mp);
1335                 mp->mnt_kern_flag &= ~MNTK_NOINSMNTQ;
1336                 if ((mp->mnt_flag & MNT_RDONLY) == 0) {
1337                         MNT_IUNLOCK(mp);
1338                         vfs_allocate_syncvnode(mp);
1339                         MNT_ILOCK(mp);
1340                 }
1341                 mp->mnt_kern_flag &= ~(MNTK_UNMOUNT | MNTK_UNMOUNTF);
1342                 mp->mnt_flag |= async_flag;
1343                 if ((mp->mnt_flag & MNT_ASYNC) != 0 &&
1344                     (mp->mnt_kern_flag & MNTK_NOASYNC) == 0)
1345                         mp->mnt_kern_flag |= MNTK_ASYNC;
1346                 if (mp->mnt_kern_flag & MNTK_MWAIT) {
1347                         mp->mnt_kern_flag &= ~MNTK_MWAIT;
1348                         wakeup(mp);
1349                 }
1350                 MNT_IUNLOCK(mp);
1351                 if (coveredvp)
1352                         VOP_UNLOCK(coveredvp, 0);
1353                 return (error);
1354         }
1355         mtx_lock(&mountlist_mtx);
1356         TAILQ_REMOVE(&mountlist, mp, mnt_list);
1357         mtx_unlock(&mountlist_mtx);
1358         if (coveredvp != NULL) {
1359                 coveredvp->v_mountedhere = NULL;
1360                 vput(coveredvp);
1361         }
1362         vfs_event_signal(NULL, VQ_UNMOUNT, 0);
1363         vfs_mount_destroy(mp);
1364         return (0);
1365 }
1366
1367 /*
1368  * Report errors during filesystem mounting.
1369  */
1370 void
1371 vfs_mount_error(struct mount *mp, const char *fmt, ...)
1372 {
1373         struct vfsoptlist *moptlist = mp->mnt_optnew;
1374         va_list ap;
1375         int error, len;
1376         char *errmsg;
1377
1378         error = vfs_getopt(moptlist, "errmsg", (void **)&errmsg, &len);
1379         if (error || errmsg == NULL || len <= 0)
1380                 return;
1381
1382         va_start(ap, fmt);
1383         vsnprintf(errmsg, (size_t)len, fmt, ap);
1384         va_end(ap);
1385 }
1386
1387 void
1388 vfs_opterror(struct vfsoptlist *opts, const char *fmt, ...)
1389 {
1390         va_list ap;
1391         int error, len;
1392         char *errmsg;
1393
1394         error = vfs_getopt(opts, "errmsg", (void **)&errmsg, &len);
1395         if (error || errmsg == NULL || len <= 0)
1396                 return;
1397
1398         va_start(ap, fmt);
1399         vsnprintf(errmsg, (size_t)len, fmt, ap);
1400         va_end(ap);
1401 }
1402
1403 /*
1404  * ---------------------------------------------------------------------
1405  * Functions for querying mount options/arguments from filesystems.
1406  */
1407
1408 /*
1409  * Check that no unknown options are given
1410  */
1411 int
1412 vfs_filteropt(struct vfsoptlist *opts, const char **legal)
1413 {
1414         struct vfsopt *opt;
1415         char errmsg[255];
1416         const char **t, *p, *q;
1417         int ret = 0;
1418
1419         TAILQ_FOREACH(opt, opts, link) {
1420                 p = opt->name;
1421                 q = NULL;
1422                 if (p[0] == 'n' && p[1] == 'o')
1423                         q = p + 2;
1424                 for(t = global_opts; *t != NULL; t++) {
1425                         if (strcmp(*t, p) == 0)
1426                                 break;
1427                         if (q != NULL) {
1428                                 if (strcmp(*t, q) == 0)
1429                                         break;
1430                         }
1431                 }
1432                 if (*t != NULL)
1433                         continue;
1434                 for(t = legal; *t != NULL; t++) {
1435                         if (strcmp(*t, p) == 0)
1436                                 break;
1437                         if (q != NULL) {
1438                                 if (strcmp(*t, q) == 0)
1439                                         break;
1440                         }
1441                 }
1442                 if (*t != NULL)
1443                         continue;
1444                 snprintf(errmsg, sizeof(errmsg),
1445                     "mount option <%s> is unknown", p);
1446                 ret = EINVAL;
1447         }
1448         if (ret != 0) {
1449                 TAILQ_FOREACH(opt, opts, link) {
1450                         if (strcmp(opt->name, "errmsg") == 0) {
1451                                 strncpy((char *)opt->value, errmsg, opt->len);
1452                                 break;
1453                         }
1454                 }
1455                 if (opt == NULL)
1456                         printf("%s\n", errmsg);
1457         }
1458         return (ret);
1459 }
1460
1461 /*
1462  * Get a mount option by its name.
1463  *
1464  * Return 0 if the option was found, ENOENT otherwise.
1465  * If len is non-NULL it will be filled with the length
1466  * of the option. If buf is non-NULL, it will be filled
1467  * with the address of the option.
1468  */
1469 int
1470 vfs_getopt(opts, name, buf, len)
1471         struct vfsoptlist *opts;
1472         const char *name;
1473         void **buf;
1474         int *len;
1475 {
1476         struct vfsopt *opt;
1477
1478         KASSERT(opts != NULL, ("vfs_getopt: caller passed 'opts' as NULL"));
1479
1480         TAILQ_FOREACH(opt, opts, link) {
1481                 if (strcmp(name, opt->name) == 0) {
1482                         opt->seen = 1;
1483                         if (len != NULL)
1484                                 *len = opt->len;
1485                         if (buf != NULL)
1486                                 *buf = opt->value;
1487                         return (0);
1488                 }
1489         }
1490         return (ENOENT);
1491 }
1492
1493 int
1494 vfs_getopt_pos(struct vfsoptlist *opts, const char *name)
1495 {
1496         struct vfsopt *opt;
1497
1498         if (opts == NULL)
1499                 return (-1);
1500
1501         TAILQ_FOREACH(opt, opts, link) {
1502                 if (strcmp(name, opt->name) == 0) {
1503                         opt->seen = 1;
1504                         return (opt->pos);
1505                 }
1506         }
1507         return (-1);
1508 }
1509
1510 int
1511 vfs_getopt_size(struct vfsoptlist *opts, const char *name, off_t *value)
1512 {
1513         char *opt_value, *vtp;
1514         quad_t iv;
1515         int error, opt_len;
1516
1517         error = vfs_getopt(opts, name, (void **)&opt_value, &opt_len);
1518         if (error != 0)
1519                 return (error);
1520         if (opt_len == 0 || opt_value == NULL)
1521                 return (EINVAL);
1522         if (opt_value[0] == '\0' || opt_value[opt_len - 1] != '\0')
1523                 return (EINVAL);
1524         iv = strtoq(opt_value, &vtp, 0);
1525         if (vtp == opt_value || (vtp[0] != '\0' && vtp[1] != '\0'))
1526                 return (EINVAL);
1527         if (iv < 0)
1528                 return (EINVAL);
1529         switch (vtp[0]) {
1530         case 't':
1531         case 'T':
1532                 iv *= 1024;
1533         case 'g':
1534         case 'G':
1535                 iv *= 1024;
1536         case 'm':
1537         case 'M':
1538                 iv *= 1024;
1539         case 'k':
1540         case 'K':
1541                 iv *= 1024;
1542         case '\0':
1543                 break;
1544         default:
1545                 return (EINVAL);
1546         }
1547         *value = iv;
1548
1549         return (0);
1550 }
1551
1552 char *
1553 vfs_getopts(struct vfsoptlist *opts, const char *name, int *error)
1554 {
1555         struct vfsopt *opt;
1556
1557         *error = 0;
1558         TAILQ_FOREACH(opt, opts, link) {
1559                 if (strcmp(name, opt->name) != 0)
1560                         continue;
1561                 opt->seen = 1;
1562                 if (opt->len == 0 ||
1563                     ((char *)opt->value)[opt->len - 1] != '\0') {
1564                         *error = EINVAL;
1565                         return (NULL);
1566                 }
1567                 return (opt->value);
1568         }
1569         *error = ENOENT;
1570         return (NULL);
1571 }
1572
1573 int
1574 vfs_flagopt(struct vfsoptlist *opts, const char *name, uint64_t *w,
1575         uint64_t val)
1576 {
1577         struct vfsopt *opt;
1578
1579         TAILQ_FOREACH(opt, opts, link) {
1580                 if (strcmp(name, opt->name) == 0) {
1581                         opt->seen = 1;
1582                         if (w != NULL)
1583                                 *w |= val;
1584                         return (1);
1585                 }
1586         }
1587         if (w != NULL)
1588                 *w &= ~val;
1589         return (0);
1590 }
1591
1592 int
1593 vfs_scanopt(struct vfsoptlist *opts, const char *name, const char *fmt, ...)
1594 {
1595         va_list ap;
1596         struct vfsopt *opt;
1597         int ret;
1598
1599         KASSERT(opts != NULL, ("vfs_getopt: caller passed 'opts' as NULL"));
1600
1601         TAILQ_FOREACH(opt, opts, link) {
1602                 if (strcmp(name, opt->name) != 0)
1603                         continue;
1604                 opt->seen = 1;
1605                 if (opt->len == 0 || opt->value == NULL)
1606                         return (0);
1607                 if (((char *)opt->value)[opt->len - 1] != '\0')
1608                         return (0);
1609                 va_start(ap, fmt);
1610                 ret = vsscanf(opt->value, fmt, ap);
1611                 va_end(ap);
1612                 return (ret);
1613         }
1614         return (0);
1615 }
1616
1617 int
1618 vfs_setopt(struct vfsoptlist *opts, const char *name, void *value, int len)
1619 {
1620         struct vfsopt *opt;
1621
1622         TAILQ_FOREACH(opt, opts, link) {
1623                 if (strcmp(name, opt->name) != 0)
1624                         continue;
1625                 opt->seen = 1;
1626                 if (opt->value == NULL)
1627                         opt->len = len;
1628                 else {
1629                         if (opt->len != len)
1630                                 return (EINVAL);
1631                         bcopy(value, opt->value, len);
1632                 }
1633                 return (0);
1634         }
1635         return (ENOENT);
1636 }
1637
1638 int
1639 vfs_setopt_part(struct vfsoptlist *opts, const char *name, void *value, int len)
1640 {
1641         struct vfsopt *opt;
1642
1643         TAILQ_FOREACH(opt, opts, link) {
1644                 if (strcmp(name, opt->name) != 0)
1645                         continue;
1646                 opt->seen = 1;
1647                 if (opt->value == NULL)
1648                         opt->len = len;
1649                 else {
1650                         if (opt->len < len)
1651                                 return (EINVAL);
1652                         opt->len = len;
1653                         bcopy(value, opt->value, len);
1654                 }
1655                 return (0);
1656         }
1657         return (ENOENT);
1658 }
1659
1660 int
1661 vfs_setopts(struct vfsoptlist *opts, const char *name, const char *value)
1662 {
1663         struct vfsopt *opt;
1664
1665         TAILQ_FOREACH(opt, opts, link) {
1666                 if (strcmp(name, opt->name) != 0)
1667                         continue;
1668                 opt->seen = 1;
1669                 if (opt->value == NULL)
1670                         opt->len = strlen(value) + 1;
1671                 else if (strlcpy(opt->value, value, opt->len) >= opt->len)
1672                         return (EINVAL);
1673                 return (0);
1674         }
1675         return (ENOENT);
1676 }
1677
1678 /*
1679  * Find and copy a mount option.
1680  *
1681  * The size of the buffer has to be specified
1682  * in len, if it is not the same length as the
1683  * mount option, EINVAL is returned.
1684  * Returns ENOENT if the option is not found.
1685  */
1686 int
1687 vfs_copyopt(opts, name, dest, len)
1688         struct vfsoptlist *opts;
1689         const char *name;
1690         void *dest;
1691         int len;
1692 {
1693         struct vfsopt *opt;
1694
1695         KASSERT(opts != NULL, ("vfs_copyopt: caller passed 'opts' as NULL"));
1696
1697         TAILQ_FOREACH(opt, opts, link) {
1698                 if (strcmp(name, opt->name) == 0) {
1699                         opt->seen = 1;
1700                         if (len != opt->len)
1701                                 return (EINVAL);
1702                         bcopy(opt->value, dest, opt->len);
1703                         return (0);
1704                 }
1705         }
1706         return (ENOENT);
1707 }
1708
1709 int
1710 __vfs_statfs(struct mount *mp, struct statfs *sbp)
1711 {
1712         int error;
1713
1714         error = mp->mnt_op->vfs_statfs(mp, &mp->mnt_stat);
1715         if (sbp != &mp->mnt_stat)
1716                 *sbp = mp->mnt_stat;
1717         return (error);
1718 }
1719
1720 void
1721 vfs_mountedfrom(struct mount *mp, const char *from)
1722 {
1723
1724         bzero(mp->mnt_stat.f_mntfromname, sizeof mp->mnt_stat.f_mntfromname);
1725         strlcpy(mp->mnt_stat.f_mntfromname, from,
1726             sizeof mp->mnt_stat.f_mntfromname);
1727 }
1728
1729 /*
1730  * ---------------------------------------------------------------------
1731  * This is the api for building mount args and mounting filesystems from
1732  * inside the kernel.
1733  *
1734  * The API works by accumulation of individual args.  First error is
1735  * latched.
1736  *
1737  * XXX: should be documented in new manpage kernel_mount(9)
1738  */
1739
1740 /* A memory allocation which must be freed when we are done */
1741 struct mntaarg {
1742         SLIST_ENTRY(mntaarg)    next;
1743 };
1744
1745 /* The header for the mount arguments */
1746 struct mntarg {
1747         struct iovec *v;
1748         int len;
1749         int error;
1750         SLIST_HEAD(, mntaarg)   list;
1751 };
1752
1753 /*
1754  * Add a boolean argument.
1755  *
1756  * flag is the boolean value.
1757  * name must start with "no".
1758  */
1759 struct mntarg *
1760 mount_argb(struct mntarg *ma, int flag, const char *name)
1761 {
1762
1763         KASSERT(name[0] == 'n' && name[1] == 'o',
1764             ("mount_argb(...,%s): name must start with 'no'", name));
1765
1766         return (mount_arg(ma, name + (flag ? 2 : 0), NULL, 0));
1767 }
1768
1769 /*
1770  * Add an argument printf style
1771  */
1772 struct mntarg *
1773 mount_argf(struct mntarg *ma, const char *name, const char *fmt, ...)
1774 {
1775         va_list ap;
1776         struct mntaarg *maa;
1777         struct sbuf *sb;
1778         int len;
1779
1780         if (ma == NULL) {
1781                 ma = malloc(sizeof *ma, M_MOUNT, M_WAITOK | M_ZERO);
1782                 SLIST_INIT(&ma->list);
1783         }
1784         if (ma->error)
1785                 return (ma);
1786
1787         ma->v = realloc(ma->v, sizeof *ma->v * (ma->len + 2),
1788             M_MOUNT, M_WAITOK);
1789         ma->v[ma->len].iov_base = (void *)(uintptr_t)name;
1790         ma->v[ma->len].iov_len = strlen(name) + 1;
1791         ma->len++;
1792
1793         sb = sbuf_new_auto();
1794         va_start(ap, fmt);
1795         sbuf_vprintf(sb, fmt, ap);
1796         va_end(ap);
1797         sbuf_finish(sb);
1798         len = sbuf_len(sb) + 1;
1799         maa = malloc(sizeof *maa + len, M_MOUNT, M_WAITOK | M_ZERO);
1800         SLIST_INSERT_HEAD(&ma->list, maa, next);
1801         bcopy(sbuf_data(sb), maa + 1, len);
1802         sbuf_delete(sb);
1803
1804         ma->v[ma->len].iov_base = maa + 1;
1805         ma->v[ma->len].iov_len = len;
1806         ma->len++;
1807
1808         return (ma);
1809 }
1810
1811 /*
1812  * Add an argument which is a userland string.
1813  */
1814 struct mntarg *
1815 mount_argsu(struct mntarg *ma, const char *name, const void *val, int len)
1816 {
1817         struct mntaarg *maa;
1818         char *tbuf;
1819
1820         if (val == NULL)
1821                 return (ma);
1822         if (ma == NULL) {
1823                 ma = malloc(sizeof *ma, M_MOUNT, M_WAITOK | M_ZERO);
1824                 SLIST_INIT(&ma->list);
1825         }
1826         if (ma->error)
1827                 return (ma);
1828         maa = malloc(sizeof *maa + len, M_MOUNT, M_WAITOK | M_ZERO);
1829         SLIST_INSERT_HEAD(&ma->list, maa, next);
1830         tbuf = (void *)(maa + 1);
1831         ma->error = copyinstr(val, tbuf, len, NULL);
1832         return (mount_arg(ma, name, tbuf, -1));
1833 }
1834
1835 /*
1836  * Plain argument.
1837  *
1838  * If length is -1, treat value as a C string.
1839  */
1840 struct mntarg *
1841 mount_arg(struct mntarg *ma, const char *name, const void *val, int len)
1842 {
1843
1844         if (ma == NULL) {
1845                 ma = malloc(sizeof *ma, M_MOUNT, M_WAITOK | M_ZERO);
1846                 SLIST_INIT(&ma->list);
1847         }
1848         if (ma->error)
1849                 return (ma);
1850
1851         ma->v = realloc(ma->v, sizeof *ma->v * (ma->len + 2),
1852             M_MOUNT, M_WAITOK);
1853         ma->v[ma->len].iov_base = (void *)(uintptr_t)name;
1854         ma->v[ma->len].iov_len = strlen(name) + 1;
1855         ma->len++;
1856
1857         ma->v[ma->len].iov_base = (void *)(uintptr_t)val;
1858         if (len < 0)
1859                 ma->v[ma->len].iov_len = strlen(val) + 1;
1860         else
1861                 ma->v[ma->len].iov_len = len;
1862         ma->len++;
1863         return (ma);
1864 }
1865
1866 /*
1867  * Free a mntarg structure
1868  */
1869 static void
1870 free_mntarg(struct mntarg *ma)
1871 {
1872         struct mntaarg *maa;
1873
1874         while (!SLIST_EMPTY(&ma->list)) {
1875                 maa = SLIST_FIRST(&ma->list);
1876                 SLIST_REMOVE_HEAD(&ma->list, next);
1877                 free(maa, M_MOUNT);
1878         }
1879         free(ma->v, M_MOUNT);
1880         free(ma, M_MOUNT);
1881 }
1882
1883 /*
1884  * Mount a filesystem
1885  */
1886 int
1887 kernel_mount(struct mntarg *ma, uint64_t flags)
1888 {
1889         struct uio auio;
1890         int error;
1891
1892         KASSERT(ma != NULL, ("kernel_mount NULL ma"));
1893         KASSERT(ma->v != NULL, ("kernel_mount NULL ma->v"));
1894         KASSERT(!(ma->len & 1), ("kernel_mount odd ma->len (%d)", ma->len));
1895
1896         auio.uio_iov = ma->v;
1897         auio.uio_iovcnt = ma->len;
1898         auio.uio_segflg = UIO_SYSSPACE;
1899
1900         error = ma->error;
1901         if (!error)
1902                 error = vfs_donmount(curthread, flags, &auio);
1903         free_mntarg(ma);
1904         return (error);
1905 }
1906
1907 /*
1908  * A printflike function to mount a filesystem.
1909  */
1910 int
1911 kernel_vmount(int flags, ...)
1912 {
1913         struct mntarg *ma = NULL;
1914         va_list ap;
1915         const char *cp;
1916         const void *vp;
1917         int error;
1918
1919         va_start(ap, flags);
1920         for (;;) {
1921                 cp = va_arg(ap, const char *);
1922                 if (cp == NULL)
1923                         break;
1924                 vp = va_arg(ap, const void *);
1925                 ma = mount_arg(ma, cp, vp, (vp != NULL ? -1 : 0));
1926         }
1927         va_end(ap);
1928
1929         error = kernel_mount(ma, flags);
1930         return (error);
1931 }
1932
1933 void
1934 vfs_oexport_conv(const struct oexport_args *oexp, struct export_args *exp)
1935 {
1936
1937         bcopy(oexp, exp, sizeof(*oexp));
1938         exp->ex_numsecflavors = 0;
1939 }