sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vfsops.c

   1 /*
   2  * CDDL HEADER START
   3  *
   4  * The contents of this file are subject to the terms of the
   5  * Common Development and Distribution License (the "License").
   6  * You may not use this file except in compliance with the License.
   7  *
   8  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
   9  * or http://www.opensolaris.org/os/licensing.
  10  * See the License for the specific language governing permissions
  11  * and limitations under the License.
  12  *
  13  * When distributing Covered Code, include this CDDL HEADER in each
  14  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
  15  * If applicable, add the following below this CDDL HEADER, with the
  16  * fields enclosed by brackets "[]" replaced with your own identifying
  17  * information: Portions Copyright [yyyy] [name of copyright owner]
  18  *
  19  * CDDL HEADER END
  20  */
  21 /*
  22  * Copyright (c) 2005, 2010, Oracle and/or its affiliates. All rights reserved.
  23  * Copyright (c) 2011 Pawel Jakub Dawidek <pawel@dawidek.net>.
  24  * All rights reserved.
  25  * Copyright (c) 2012, 2015 by Delphix. All rights reserved.
  26  * Copyright (c) 2014 Integros [integros.com]
  27  * Copyright 2016 Nexenta Systems, Inc. All rights reserved.
  28  */
  29
  30 /* Portions Copyright 2010 Robert Milkowski */
  31
  32 #include <sys/types.h>
  33 #include <sys/param.h>
  34 #include <sys/systm.h>
  35 #include <sys/kernel.h>
  36 #include <sys/sysmacros.h>
  37 #include <sys/kmem.h>
  38 #include <sys/acl.h>
  39 #include <sys/vnode.h>
  40 #include <sys/vfs.h>
  41 #include <sys/mntent.h>
  42 #include <sys/mount.h>
  43 #include <sys/cmn_err.h>
  44 #include <sys/zfs_znode.h>
  45 #include <sys/zfs_dir.h>
  46 #include <sys/zil.h>
  47 #include <sys/fs/zfs.h>
  48 #include <sys/dmu.h>
  49 #include <sys/dsl_prop.h>
  50 #include <sys/dsl_dataset.h>
  51 #include <sys/dsl_deleg.h>
  52 #include <sys/spa.h>
  53 #include <sys/zap.h>
  54 #include <sys/sa.h>
  55 #include <sys/sa_impl.h>
  56 #include <sys/varargs.h>
  57 #include <sys/policy.h>
  58 #include <sys/atomic.h>
  59 #include <sys/zfs_ioctl.h>
  60 #include <sys/zfs_ctldir.h>
  61 #include <sys/zfs_fuid.h>
  62 #include <sys/sunddi.h>
  63 #include <sys/dnlc.h>
  64 #include <sys/dmu_objset.h>
  65 #include <sys/spa_boot.h>
  66 #include <sys/jail.h>
  67 #include <ufs/ufs/quota.h>
  68 #include <sys/rmlock.h>
  69
  70 #include "zfs_comutil.h"
  71
  72 struct mtx zfs_debug_mtx;
  73 MTX_SYSINIT(zfs_debug_mtx, &zfs_debug_mtx, "zfs_debug", MTX_DEF);
  74
  75 SYSCTL_NODE(_vfs, OID_AUTO, zfs, CTLFLAG_RW, 0, "ZFS file system");
  76
  77 int zfs_super_owner;
  78 SYSCTL_INT(_vfs_zfs, OID_AUTO, super_owner, CTLFLAG_RW, &zfs_super_owner, 0,
  79     "File system owner can perform privileged operation on his file systems");
  80
  81 int zfs_debug_level;
  82 SYSCTL_INT(_vfs_zfs, OID_AUTO, debug, CTLFLAG_RWTUN, &zfs_debug_level, 0,
  83     "Debug level");
  84
  85 SYSCTL_NODE(_vfs_zfs, OID_AUTO, version, CTLFLAG_RD, 0, "ZFS versions");
  86 static int zfs_version_acl = ZFS_ACL_VERSION;
  87 SYSCTL_INT(_vfs_zfs_version, OID_AUTO, acl, CTLFLAG_RD, &zfs_version_acl, 0,
  88     "ZFS_ACL_VERSION");
  89 static int zfs_version_spa = SPA_VERSION;
  90 SYSCTL_INT(_vfs_zfs_version, OID_AUTO, spa, CTLFLAG_RD, &zfs_version_spa, 0,
  91     "SPA_VERSION");
  92 static int zfs_version_zpl = ZPL_VERSION;
  93 SYSCTL_INT(_vfs_zfs_version, OID_AUTO, zpl, CTLFLAG_RD, &zfs_version_zpl, 0,
  94     "ZPL_VERSION");
  95
  96 static int zfs_root_setvnode(zfsvfs_t *zfsvfs);
  97 static void zfs_root_dropvnode(zfsvfs_t *zfsvfs);
  98
  99 static int zfs_quotactl(vfs_t *vfsp, int cmds, uid_t id, void *arg);
 100 static int zfs_mount(vfs_t *vfsp);
 101 static int zfs_umount(vfs_t *vfsp, int fflag);
 102 static int zfs_root(vfs_t *vfsp, int flags, vnode_t **vpp);
 103 static int zfs_statfs(vfs_t *vfsp, struct statfs *statp);
 104 static int zfs_vget(vfs_t *vfsp, ino_t ino, int flags, vnode_t **vpp);
 105 static int zfs_sync(vfs_t *vfsp, int waitfor);
 106 static int zfs_checkexp(vfs_t *vfsp, struct sockaddr *nam, int *extflagsp,
 107     struct ucred **credanonp, int *numsecflavors, int **secflavors);
 108 static int zfs_fhtovp(vfs_t *vfsp, fid_t *fidp, int flags, vnode_t **vpp);
 109 static void zfs_objset_close(zfsvfs_t *zfsvfs);
 110 static void zfs_freevfs(vfs_t *vfsp);
 111
 112 struct vfsops zfs_vfsops = {
 113         .vfs_mount =            zfs_mount,
 114         .vfs_unmount =          zfs_umount,
 115         .vfs_root =             zfs_root,
 116         .vfs_statfs =           zfs_statfs,
 117         .vfs_vget =             zfs_vget,
 118         .vfs_sync =             zfs_sync,
 119         .vfs_checkexp =         zfs_checkexp,
 120         .vfs_fhtovp =           zfs_fhtovp,
 121         .vfs_quotactl =         zfs_quotactl,
 122 };
 123
 124 VFS_SET(zfs_vfsops, zfs, VFCF_JAIL | VFCF_DELEGADMIN);
 125
 126 /*
 127  * We need to keep a count of active fs's.
 128  * This is necessary to prevent our module
 129  * from being unloaded after a umount -f
 130  */
 131 static uint32_t zfs_active_fs_count = 0;
 132
 133 static int
 134 zfs_getquota(zfsvfs_t *zfsvfs, uid_t id, int isgroup, struct dqblk64 *dqp)
 135 {
 136         int error = 0;
 137         char buf[32];
 138         int err;
 139         uint64_t usedobj, quotaobj;
 140         uint64_t quota, used = 0;
 141         timespec_t now;
 142
 143         usedobj = isgroup ? DMU_GROUPUSED_OBJECT : DMU_USERUSED_OBJECT;
 144         quotaobj = isgroup ? zfsvfs->z_groupquota_obj : zfsvfs->z_userquota_obj;
 145
 146         if (quotaobj == 0 || zfsvfs->z_replay) {
 147                 error = EINVAL;
 148                 goto done;
 149         }
 150         (void)sprintf(buf, "%llx", (longlong_t)id);
 151         if ((error = zap_lookup(zfsvfs->z_os, quotaobj,
 152                                 buf, sizeof(quota), 1, &quota)) != 0) {
 153                 dprintf("%s(%d): quotaobj lookup failed\n", __FUNCTION__, __LINE__);
 154                 goto done;
 155         }
 156         /*
 157          * quota(8) uses bsoftlimit as "quoota", and hardlimit as "limit".
 158          * So we set them to be the same.
 159          */
 160         dqp->dqb_bsoftlimit = dqp->dqb_bhardlimit = btodb(quota);
 161         error = zap_lookup(zfsvfs->z_os, usedobj, buf, sizeof(used), 1, &used);
 162         if (error && error != ENOENT) {
 163                 dprintf("%s(%d):  usedobj failed; %d\n", __FUNCTION__, __LINE__, error);
 164                 goto done;
 165         }
 166         dqp->dqb_curblocks = btodb(used);
 167         dqp->dqb_ihardlimit = dqp->dqb_isoftlimit = 0;
 168         vfs_timestamp(&now);
 169         /*
 170          * Setting this to 0 causes FreeBSD quota(8) to print
 171          * the number of days since the epoch, which isn't
 172          * particularly useful.
 173          */
 174         dqp->dqb_btime = dqp->dqb_itime = now.tv_sec;
 175 done:
 176         return (error);
 177 }
 178
 179 static int
 180 zfs_quotactl(vfs_t *vfsp, int cmds, uid_t id, void *arg)
 181 {
 182         zfsvfs_t *zfsvfs = vfsp->vfs_data;
 183         struct thread *td;
 184         int cmd, type, error = 0;
 185         int bitsize;
 186         uint64_t fuid;
 187         zfs_userquota_prop_t quota_type;
 188         struct dqblk64 dqblk = { 0 };
 189
 190         td = curthread;
 191         cmd = cmds >> SUBCMDSHIFT;
 192         type = cmds & SUBCMDMASK;
 193
 194         ZFS_ENTER(zfsvfs);
 195         if (id == -1) {
 196                 switch (type) {
 197                 case USRQUOTA:
 198                         id = td->td_ucred->cr_ruid;
 199                         break;
 200                 case GRPQUOTA:
 201                         id = td->td_ucred->cr_rgid;
 202                         break;
 203                 default:
 204                         error = EINVAL;
 205                         if (cmd == Q_QUOTAON || cmd == Q_QUOTAOFF)
 206                                 vfs_unbusy(vfsp);
 207                         goto done;
 208                 }
 209         }
 210         /*
 211          * Map BSD type to:
 212          * ZFS_PROP_USERUSED,
 213          * ZFS_PROP_USERQUOTA,
 214          * ZFS_PROP_GROUPUSED,
 215          * ZFS_PROP_GROUPQUOTA
 216          */
 217         switch (cmd) {
 218         case Q_SETQUOTA:
 219         case Q_SETQUOTA32:
 220                 if (type == USRQUOTA)
 221                         quota_type = ZFS_PROP_USERQUOTA;
 222                 else if (type == GRPQUOTA)
 223                         quota_type = ZFS_PROP_GROUPQUOTA;
 224                 else
 225                         error = EINVAL;
 226                 break;
 227         case Q_GETQUOTA:
 228         case Q_GETQUOTA32:
 229                 if (type == USRQUOTA)
 230                         quota_type = ZFS_PROP_USERUSED;
 231                 else if (type == GRPQUOTA)
 232                         quota_type = ZFS_PROP_GROUPUSED;
 233                 else
 234                         error = EINVAL;
 235                 break;
 236         }
 237
 238         /*
 239          * Depending on the cmd, we may need to get
 240          * the ruid and domain (see fuidstr_to_sid?),
 241          * the fuid (how?), or other information.
 242          * Create fuid using zfs_fuid_create(zfsvfs, id,
 243          * ZFS_OWNER or ZFS_GROUP, cr, &fuidp)?
 244          * I think I can use just the id?
 245          *
 246          * Look at zfs_fuid_overquota() to look up a quota.
 247          * zap_lookup(something, quotaobj, fuidstring, sizeof(long long), 1, &quota)
 248          *
 249          * See zfs_set_userquota() to set a quota.
 250          */
 251         if ((u_int)type >= MAXQUOTAS) {
 252                 error = EINVAL;
 253                 goto done;
 254         }
 255
 256         switch (cmd) {
 257         case Q_GETQUOTASIZE:
 258                 bitsize = 64;
 259                 error = copyout(&bitsize, arg, sizeof(int));
 260                 break;
 261         case Q_QUOTAON:
 262                 // As far as I can tell, you can't turn quotas on or off on zfs
 263                 error = 0;
 264                 vfs_unbusy(vfsp);
 265                 break;
 266         case Q_QUOTAOFF:
 267                 error = ENOTSUP;
 268                 vfs_unbusy(vfsp);
 269                 break;
 270         case Q_SETQUOTA:
 271                 error = copyin(&dqblk, arg, sizeof(dqblk));
 272                 if (error == 0)
 273                         error = zfs_set_userquota(zfsvfs, quota_type,
 274                                                   "", id, dbtob(dqblk.dqb_bhardlimit));
 275                 break;
 276         case Q_GETQUOTA:
 277                 error = zfs_getquota(zfsvfs, id, type == GRPQUOTA, &dqblk);
 278                 if (error == 0)
 279                         error = copyout(&dqblk, arg, sizeof(dqblk));
 280                 break;
 281         default:
 282                 error = EINVAL;
 283                 break;
 284         }
 285 done:
 286         ZFS_EXIT(zfsvfs);
 287         return (error);
 288 }
 289
 290 /*ARGSUSED*/
 291 static int
 292 zfs_sync(vfs_t *vfsp, int waitfor)
 293 {
 294
 295         /*
 296          * Data integrity is job one.  We don't want a compromised kernel
 297          * writing to the storage pool, so we never sync during panic.
 298          */
 299         if (panicstr)
 300                 return (0);
 301
 302         /*
 303          * Ignore the system syncher.  ZFS already commits async data
 304          * at zfs_txg_timeout intervals.
 305          */
 306         if (waitfor == MNT_LAZY)
 307                 return (0);
 308
 309         if (vfsp != NULL) {
 310                 /*
 311                  * Sync a specific filesystem.
 312                  */
 313                 zfsvfs_t *zfsvfs = vfsp->vfs_data;
 314                 dsl_pool_t *dp;
 315                 int error;
 316
 317                 error = vfs_stdsync(vfsp, waitfor);
 318                 if (error != 0)
 319                         return (error);
 320
 321                 ZFS_ENTER(zfsvfs);
 322                 dp = dmu_objset_pool(zfsvfs->z_os);
 323
 324                 /*
 325                  * If the system is shutting down, then skip any
 326                  * filesystems which may exist on a suspended pool.
 327                  */
 328                 if (sys_shutdown && spa_suspended(dp->dp_spa)) {
 329                         ZFS_EXIT(zfsvfs);
 330                         return (0);
 331                 }
 332
 333                 if (zfsvfs->z_log != NULL)
 334                         zil_commit(zfsvfs->z_log, 0);
 335
 336                 ZFS_EXIT(zfsvfs);
 337         } else {
 338                 /*
 339                  * Sync all ZFS filesystems.  This is what happens when you
 340                  * run sync(1M).  Unlike other filesystems, ZFS honors the
 341                  * request by waiting for all pools to commit all dirty data.
 342                  */
 343                 spa_sync_allpools();
 344         }
 345
 346         return (0);
 347 }
 348
 349 #ifndef __FreeBSD_kernel__
 350 static int
 351 zfs_create_unique_device(dev_t *dev)
 352 {
 353         major_t new_major;
 354
 355         do {
 356                 ASSERT3U(zfs_minor, <=, MAXMIN32);
 357                 minor_t start = zfs_minor;
 358                 do {
 359                         mutex_enter(&zfs_dev_mtx);
 360                         if (zfs_minor >= MAXMIN32) {
 361                                 /*
 362                                  * If we're still using the real major
 363                                  * keep out of /dev/zfs and /dev/zvol minor
 364                                  * number space.  If we're using a getudev()'ed
 365                                  * major number, we can use all of its minors.
 366                                  */
 367                                 if (zfs_major == ddi_name_to_major(ZFS_DRIVER))
 368                                         zfs_minor = ZFS_MIN_MINOR;
 369                                 else
 370                                         zfs_minor = 0;
 371                         } else {
 372                                 zfs_minor++;
 373                         }
 374                         *dev = makedevice(zfs_major, zfs_minor);
 375                         mutex_exit(&zfs_dev_mtx);
 376                 } while (vfs_devismounted(*dev) && zfs_minor != start);
 377                 if (zfs_minor == start) {
 378                         /*
 379                          * We are using all ~262,000 minor numbers for the
 380                          * current major number.  Create a new major number.
 381                          */
 382                         if ((new_major = getudev()) == (major_t)-1) {
 383                                 cmn_err(CE_WARN,
 384                                     "zfs_mount: Can't get unique major "
 385                                     "device number.");
 386                                 return (-1);
 387                         }
 388                         mutex_enter(&zfs_dev_mtx);
 389                         zfs_major = new_major;
 390                         zfs_minor = 0;
 391
 392                         mutex_exit(&zfs_dev_mtx);
 393                 } else {
 394                         break;
 395                 }
 396                 /* CONSTANTCONDITION */
 397         } while (1);
 398
 399         return (0);
 400 }
 401 #endif  /* !__FreeBSD_kernel__ */
 402
 403 static void
 404 atime_changed_cb(void *arg, uint64_t newval)
 405 {
 406         zfsvfs_t *zfsvfs = arg;
 407
 408         if (newval == TRUE) {
 409                 zfsvfs->z_atime = TRUE;
 410                 zfsvfs->z_vfs->vfs_flag &= ~MNT_NOATIME;
 411                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_NOATIME);
 412                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_ATIME, NULL, 0);
 413         } else {
 414                 zfsvfs->z_atime = FALSE;
 415                 zfsvfs->z_vfs->vfs_flag |= MNT_NOATIME;
 416                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_ATIME);
 417                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_NOATIME, NULL, 0);
 418         }
 419 }
 420
 421 static void
 422 xattr_changed_cb(void *arg, uint64_t newval)
 423 {
 424         zfsvfs_t *zfsvfs = arg;
 425
 426         if (newval == TRUE) {
 427                 /* XXX locking on vfs_flag? */
 428 #ifdef TODO
 429                 zfsvfs->z_vfs->vfs_flag |= VFS_XATTR;
 430 #endif
 431                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_NOXATTR);
 432                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_XATTR, NULL, 0);
 433         } else {
 434                 /* XXX locking on vfs_flag? */
 435 #ifdef TODO
 436                 zfsvfs->z_vfs->vfs_flag &= ~VFS_XATTR;
 437 #endif
 438                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_XATTR);
 439                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_NOXATTR, NULL, 0);
 440         }
 441 }
 442
 443 static void
 444 blksz_changed_cb(void *arg, uint64_t newval)
 445 {
 446         zfsvfs_t *zfsvfs = arg;
 447         ASSERT3U(newval, <=, spa_maxblocksize(dmu_objset_spa(zfsvfs->z_os)));
 448         ASSERT3U(newval, >=, SPA_MINBLOCKSIZE);
 449         ASSERT(ISP2(newval));
 450
 451         zfsvfs->z_max_blksz = newval;
 452         zfsvfs->z_vfs->mnt_stat.f_iosize = newval;
 453 }
 454
 455 static void
 456 readonly_changed_cb(void *arg, uint64_t newval)
 457 {
 458         zfsvfs_t *zfsvfs = arg;
 459
 460         if (newval) {
 461                 /* XXX locking on vfs_flag? */
 462                 zfsvfs->z_vfs->vfs_flag |= VFS_RDONLY;
 463                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_RW);
 464                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_RO, NULL, 0);
 465         } else {
 466                 /* XXX locking on vfs_flag? */
 467                 zfsvfs->z_vfs->vfs_flag &= ~VFS_RDONLY;
 468                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_RO);
 469                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_RW, NULL, 0);
 470         }
 471 }
 472
 473 static void
 474 setuid_changed_cb(void *arg, uint64_t newval)
 475 {
 476         zfsvfs_t *zfsvfs = arg;
 477
 478         if (newval == FALSE) {
 479                 zfsvfs->z_vfs->vfs_flag |= VFS_NOSETUID;
 480                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_SETUID);
 481                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_NOSETUID, NULL, 0);
 482         } else {
 483                 zfsvfs->z_vfs->vfs_flag &= ~VFS_NOSETUID;
 484                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_NOSETUID);
 485                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_SETUID, NULL, 0);
 486         }
 487 }
 488
 489 static void
 490 exec_changed_cb(void *arg, uint64_t newval)
 491 {
 492         zfsvfs_t *zfsvfs = arg;
 493
 494         if (newval == FALSE) {
 495                 zfsvfs->z_vfs->vfs_flag |= VFS_NOEXEC;
 496                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_EXEC);
 497                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_NOEXEC, NULL, 0);
 498         } else {
 499                 zfsvfs->z_vfs->vfs_flag &= ~VFS_NOEXEC;
 500                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_NOEXEC);
 501                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_EXEC, NULL, 0);
 502         }
 503 }
 504
 505 /*
 506  * The nbmand mount option can be changed at mount time.
 507  * We can't allow it to be toggled on live file systems or incorrect
 508  * behavior may be seen from cifs clients
 509  *
 510  * This property isn't registered via dsl_prop_register(), but this callback
 511  * will be called when a file system is first mounted
 512  */
 513 static void
 514 nbmand_changed_cb(void *arg, uint64_t newval)
 515 {
 516         zfsvfs_t *zfsvfs = arg;
 517         if (newval == FALSE) {
 518                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_NBMAND);
 519                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_NONBMAND, NULL, 0);
 520         } else {
 521                 vfs_clearmntopt(zfsvfs->z_vfs, MNTOPT_NONBMAND);
 522                 vfs_setmntopt(zfsvfs->z_vfs, MNTOPT_NBMAND, NULL, 0);
 523         }
 524 }
 525
 526 static void
 527 snapdir_changed_cb(void *arg, uint64_t newval)
 528 {
 529         zfsvfs_t *zfsvfs = arg;
 530
 531         zfsvfs->z_show_ctldir = newval;
 532 }
 533
 534 static void
 535 vscan_changed_cb(void *arg, uint64_t newval)
 536 {
 537         zfsvfs_t *zfsvfs = arg;
 538
 539         zfsvfs->z_vscan = newval;
 540 }
 541
 542 static void
 543 acl_mode_changed_cb(void *arg, uint64_t newval)
 544 {
 545         zfsvfs_t *zfsvfs = arg;
 546
 547         zfsvfs->z_acl_mode = newval;
 548 }
 549
 550 static void
 551 acl_inherit_changed_cb(void *arg, uint64_t newval)
 552 {
 553         zfsvfs_t *zfsvfs = arg;
 554
 555         zfsvfs->z_acl_inherit = newval;
 556 }
 557
 558 static int
 559 zfs_register_callbacks(vfs_t *vfsp)
 560 {
 561         struct dsl_dataset *ds = NULL;
 562         objset_t *os = NULL;
 563         zfsvfs_t *zfsvfs = NULL;
 564         uint64_t nbmand;
 565         boolean_t readonly = B_FALSE;
 566         boolean_t do_readonly = B_FALSE;
 567         boolean_t setuid = B_FALSE;
 568         boolean_t do_setuid = B_FALSE;
 569         boolean_t exec = B_FALSE;
 570         boolean_t do_exec = B_FALSE;
 571 #ifdef illumos
 572         boolean_t devices = B_FALSE;
 573         boolean_t do_devices = B_FALSE;
 574 #endif
 575         boolean_t xattr = B_FALSE;
 576         boolean_t do_xattr = B_FALSE;
 577         boolean_t atime = B_FALSE;
 578         boolean_t do_atime = B_FALSE;
 579         int error = 0;
 580
 581         ASSERT(vfsp);
 582         zfsvfs = vfsp->vfs_data;
 583         ASSERT(zfsvfs);
 584         os = zfsvfs->z_os;
 585
 586         /*
 587          * This function can be called for a snapshot when we update snapshot's
 588          * mount point, which isn't really supported.
 589          */
 590         if (dmu_objset_is_snapshot(os))
 591                 return (EOPNOTSUPP);
 592
 593         /*
 594          * The act of registering our callbacks will destroy any mount
 595          * options we may have.  In order to enable temporary overrides
 596          * of mount options, we stash away the current values and
 597          * restore them after we register the callbacks.
 598          */
 599         if (vfs_optionisset(vfsp, MNTOPT_RO, NULL) ||
 600             !spa_writeable(dmu_objset_spa(os))) {
 601                 readonly = B_TRUE;
 602                 do_readonly = B_TRUE;
 603         } else if (vfs_optionisset(vfsp, MNTOPT_RW, NULL)) {
 604                 readonly = B_FALSE;
 605                 do_readonly = B_TRUE;
 606         }
 607         if (vfs_optionisset(vfsp, MNTOPT_NOSUID, NULL)) {
 608                 setuid = B_FALSE;
 609                 do_setuid = B_TRUE;
 610         } else {
 611                 if (vfs_optionisset(vfsp, MNTOPT_NOSETUID, NULL)) {
 612                         setuid = B_FALSE;
 613                         do_setuid = B_TRUE;
 614                 } else if (vfs_optionisset(vfsp, MNTOPT_SETUID, NULL)) {
 615                         setuid = B_TRUE;
 616                         do_setuid = B_TRUE;
 617                 }
 618         }
 619         if (vfs_optionisset(vfsp, MNTOPT_NOEXEC, NULL)) {
 620                 exec = B_FALSE;
 621                 do_exec = B_TRUE;
 622         } else if (vfs_optionisset(vfsp, MNTOPT_EXEC, NULL)) {
 623                 exec = B_TRUE;
 624                 do_exec = B_TRUE;
 625         }
 626         if (vfs_optionisset(vfsp, MNTOPT_NOXATTR, NULL)) {
 627                 xattr = B_FALSE;
 628                 do_xattr = B_TRUE;
 629         } else if (vfs_optionisset(vfsp, MNTOPT_XATTR, NULL)) {
 630                 xattr = B_TRUE;
 631                 do_xattr = B_TRUE;
 632         }
 633         if (vfs_optionisset(vfsp, MNTOPT_NOATIME, NULL)) {
 634                 atime = B_FALSE;
 635                 do_atime = B_TRUE;
 636         } else if (vfs_optionisset(vfsp, MNTOPT_ATIME, NULL)) {
 637                 atime = B_TRUE;
 638                 do_atime = B_TRUE;
 639         }
 640
 641         /*
 642          * We need to enter pool configuration here, so that we can use
 643          * dsl_prop_get_int_ds() to handle the special nbmand property below.
 644          * dsl_prop_get_integer() can not be used, because it has to acquire
 645          * spa_namespace_lock and we can not do that because we already hold
 646          * z_teardown_lock.  The problem is that spa_write_cachefile() is called
 647          * with spa_namespace_lock held and the function calls ZFS vnode
 648          * operations to write the cache file and thus z_teardown_lock is
 649          * acquired after spa_namespace_lock.
 650          */
 651         ds = dmu_objset_ds(os);
 652         dsl_pool_config_enter(dmu_objset_pool(os), FTAG);
 653
 654         /*
 655          * nbmand is a special property.  It can only be changed at
 656          * mount time.
 657          *
 658          * This is weird, but it is documented to only be changeable
 659          * at mount time.
 660          */
 661         if (vfs_optionisset(vfsp, MNTOPT_NONBMAND, NULL)) {
 662                 nbmand = B_FALSE;
 663         } else if (vfs_optionisset(vfsp, MNTOPT_NBMAND, NULL)) {
 664                 nbmand = B_TRUE;
 665         } else if (error = dsl_prop_get_int_ds(ds, "nbmand", &nbmand) != 0) {
 666                 dsl_pool_config_exit(dmu_objset_pool(os), FTAG);
 667                 return (error);
 668         }
 669
 670         /*
 671          * Register property callbacks.
 672          *
 673          * It would probably be fine to just check for i/o error from
 674          * the first prop_register(), but I guess I like to go
 675          * overboard...
 676          */
 677         error = dsl_prop_register(ds,
 678             zfs_prop_to_name(ZFS_PROP_ATIME), atime_changed_cb, zfsvfs);
 679         error = error ? error : dsl_prop_register(ds,
 680             zfs_prop_to_name(ZFS_PROP_XATTR), xattr_changed_cb, zfsvfs);
 681         error = error ? error : dsl_prop_register(ds,
 682             zfs_prop_to_name(ZFS_PROP_RECORDSIZE), blksz_changed_cb, zfsvfs);
 683         error = error ? error : dsl_prop_register(ds,
 684             zfs_prop_to_name(ZFS_PROP_READONLY), readonly_changed_cb, zfsvfs);
 685 #ifdef illumos
 686         error = error ? error : dsl_prop_register(ds,
 687             zfs_prop_to_name(ZFS_PROP_DEVICES), devices_changed_cb, zfsvfs);
 688 #endif
 689         error = error ? error : dsl_prop_register(ds,
 690             zfs_prop_to_name(ZFS_PROP_SETUID), setuid_changed_cb, zfsvfs);
 691         error = error ? error : dsl_prop_register(ds,
 692             zfs_prop_to_name(ZFS_PROP_EXEC), exec_changed_cb, zfsvfs);
 693         error = error ? error : dsl_prop_register(ds,
 694             zfs_prop_to_name(ZFS_PROP_SNAPDIR), snapdir_changed_cb, zfsvfs);
 695         error = error ? error : dsl_prop_register(ds,
 696             zfs_prop_to_name(ZFS_PROP_ACLMODE), acl_mode_changed_cb, zfsvfs);
 697         error = error ? error : dsl_prop_register(ds,
 698             zfs_prop_to_name(ZFS_PROP_ACLINHERIT), acl_inherit_changed_cb,
 699             zfsvfs);
 700         error = error ? error : dsl_prop_register(ds,
 701             zfs_prop_to_name(ZFS_PROP_VSCAN), vscan_changed_cb, zfsvfs);
 702         dsl_pool_config_exit(dmu_objset_pool(os), FTAG);
 703         if (error)
 704                 goto unregister;
 705
 706         /*
 707          * Invoke our callbacks to restore temporary mount options.
 708          */
 709         if (do_readonly)
 710                 readonly_changed_cb(zfsvfs, readonly);
 711         if (do_setuid)
 712                 setuid_changed_cb(zfsvfs, setuid);
 713         if (do_exec)
 714                 exec_changed_cb(zfsvfs, exec);
 715         if (do_xattr)
 716                 xattr_changed_cb(zfsvfs, xattr);
 717         if (do_atime)
 718                 atime_changed_cb(zfsvfs, atime);
 719
 720         nbmand_changed_cb(zfsvfs, nbmand);
 721
 722         return (0);
 723
 724 unregister:
 725         dsl_prop_unregister_all(ds, zfsvfs);
 726         return (error);
 727 }
 728
 729 static int
 730 zfs_space_delta_cb(dmu_object_type_t bonustype, void *data,
 731     uint64_t *userp, uint64_t *groupp)
 732 {
 733         /*
 734          * Is it a valid type of object to track?
 735          */
 736         if (bonustype != DMU_OT_ZNODE && bonustype != DMU_OT_SA)
 737                 return (SET_ERROR(ENOENT));
 738
 739         /*
 740          * If we have a NULL data pointer
 741          * then assume the id's aren't changing and
 742          * return EEXIST to the dmu to let it know to
 743          * use the same ids
 744          */
 745         if (data == NULL)
 746                 return (SET_ERROR(EEXIST));
 747
 748         if (bonustype == DMU_OT_ZNODE) {
 749                 znode_phys_t *znp = data;
 750                 *userp = znp->zp_uid;
 751                 *groupp = znp->zp_gid;
 752         } else {
 753                 int hdrsize;
 754                 sa_hdr_phys_t *sap = data;
 755                 sa_hdr_phys_t sa = *sap;
 756                 boolean_t swap = B_FALSE;
 757
 758                 ASSERT(bonustype == DMU_OT_SA);
 759
 760                 if (sa.sa_magic == 0) {
 761                         /*
 762                          * This should only happen for newly created
 763                          * files that haven't had the znode data filled
 764                          * in yet.
 765                          */
 766                         *userp = 0;
 767                         *groupp = 0;
 768                         return (0);
 769                 }
 770                 if (sa.sa_magic == BSWAP_32(SA_MAGIC)) {
 771                         sa.sa_magic = SA_MAGIC;
 772                         sa.sa_layout_info = BSWAP_16(sa.sa_layout_info);
 773                         swap = B_TRUE;
 774                 } else {
 775                         VERIFY3U(sa.sa_magic, ==, SA_MAGIC);
 776                 }
 777
 778                 hdrsize = sa_hdrsize(&sa);
 779                 VERIFY3U(hdrsize, >=, sizeof (sa_hdr_phys_t));
 780                 *userp = *((uint64_t *)((uintptr_t)data + hdrsize +
 781                     SA_UID_OFFSET));
 782                 *groupp = *((uint64_t *)((uintptr_t)data + hdrsize +
 783                     SA_GID_OFFSET));
 784                 if (swap) {
 785                         *userp = BSWAP_64(*userp);
 786                         *groupp = BSWAP_64(*groupp);
 787                 }
 788         }
 789         return (0);
 790 }
 791
 792 static void
 793 fuidstr_to_sid(zfsvfs_t *zfsvfs, const char *fuidstr,
 794     char *domainbuf, int buflen, uid_t *ridp)
 795 {
 796         uint64_t fuid;
 797         const char *domain;
 798
 799         fuid = zfs_strtonum(fuidstr, NULL);
 800
 801         domain = zfs_fuid_find_by_idx(zfsvfs, FUID_INDEX(fuid));
 802         if (domain)
 803                 (void) strlcpy(domainbuf, domain, buflen);
 804         else
 805                 domainbuf[0] = '\0';
 806         *ridp = FUID_RID(fuid);
 807 }
 808
 809 static uint64_t
 810 zfs_userquota_prop_to_obj(zfsvfs_t *zfsvfs, zfs_userquota_prop_t type)
 811 {
 812         switch (type) {
 813         case ZFS_PROP_USERUSED:
 814                 return (DMU_USERUSED_OBJECT);
 815         case ZFS_PROP_GROUPUSED:
 816                 return (DMU_GROUPUSED_OBJECT);
 817         case ZFS_PROP_USERQUOTA:
 818                 return (zfsvfs->z_userquota_obj);
 819         case ZFS_PROP_GROUPQUOTA:
 820                 return (zfsvfs->z_groupquota_obj);
 821         }
 822         return (0);
 823 }
 824
 825 int
 826 zfs_userspace_many(zfsvfs_t *zfsvfs, zfs_userquota_prop_t type,
 827     uint64_t *cookiep, void *vbuf, uint64_t *bufsizep)
 828 {
 829         int error;
 830         zap_cursor_t zc;
 831         zap_attribute_t za;
 832         zfs_useracct_t *buf = vbuf;
 833         uint64_t obj;
 834
 835         if (!dmu_objset_userspace_present(zfsvfs->z_os))
 836                 return (SET_ERROR(ENOTSUP));
 837
 838         obj = zfs_userquota_prop_to_obj(zfsvfs, type);
 839         if (obj == 0) {
 840                 *bufsizep = 0;
 841                 return (0);
 842         }
 843
 844         for (zap_cursor_init_serialized(&zc, zfsvfs->z_os, obj, *cookiep);
 845             (error = zap_cursor_retrieve(&zc, &za)) == 0;
 846             zap_cursor_advance(&zc)) {
 847                 if ((uintptr_t)buf - (uintptr_t)vbuf + sizeof (zfs_useracct_t) >
 848                     *bufsizep)
 849                         break;
 850
 851                 fuidstr_to_sid(zfsvfs, za.za_name,
 852                     buf->zu_domain, sizeof (buf->zu_domain), &buf->zu_rid);
 853
 854                 buf->zu_space = za.za_first_integer;
 855                 buf++;
 856         }
 857         if (error == ENOENT)
 858                 error = 0;
 859
 860         ASSERT3U((uintptr_t)buf - (uintptr_t)vbuf, <=, *bufsizep);
 861         *bufsizep = (uintptr_t)buf - (uintptr_t)vbuf;
 862         *cookiep = zap_cursor_serialize(&zc);
 863         zap_cursor_fini(&zc);
 864         return (error);
 865 }
 866
 867 /*
 868  * buf must be big enough (eg, 32 bytes)
 869  */
 870 static int
 871 id_to_fuidstr(zfsvfs_t *zfsvfs, const char *domain, uid_t rid,
 872     char *buf, boolean_t addok)
 873 {
 874         uint64_t fuid;
 875         int domainid = 0;
 876
 877         if (domain && domain[0]) {
 878                 domainid = zfs_fuid_find_by_domain(zfsvfs, domain, NULL, addok);
 879                 if (domainid == -1)
 880                         return (SET_ERROR(ENOENT));
 881         }
 882         fuid = FUID_ENCODE(domainid, rid);
 883         (void) sprintf(buf, "%llx", (longlong_t)fuid);
 884         return (0);
 885 }
 886
 887 int
 888 zfs_userspace_one(zfsvfs_t *zfsvfs, zfs_userquota_prop_t type,
 889     const char *domain, uint64_t rid, uint64_t *valp)
 890 {
 891         char buf[32];
 892         int err;
 893         uint64_t obj;
 894
 895         *valp = 0;
 896
 897         if (!dmu_objset_userspace_present(zfsvfs->z_os))
 898                 return (SET_ERROR(ENOTSUP));
 899
 900         obj = zfs_userquota_prop_to_obj(zfsvfs, type);
 901         if (obj == 0)
 902                 return (0);
 903
 904         err = id_to_fuidstr(zfsvfs, domain, rid, buf, B_FALSE);
 905         if (err)
 906                 return (err);
 907
 908         err = zap_lookup(zfsvfs->z_os, obj, buf, 8, 1, valp);
 909         if (err == ENOENT)
 910                 err = 0;
 911         return (err);
 912 }
 913
 914 int
 915 zfs_set_userquota(zfsvfs_t *zfsvfs, zfs_userquota_prop_t type,
 916     const char *domain, uint64_t rid, uint64_t quota)
 917 {
 918         char buf[32];
 919         int err;
 920         dmu_tx_t *tx;
 921         uint64_t *objp;
 922         boolean_t fuid_dirtied;
 923
 924         if (type != ZFS_PROP_USERQUOTA && type != ZFS_PROP_GROUPQUOTA)
 925                 return (SET_ERROR(EINVAL));
 926
 927         if (zfsvfs->z_version < ZPL_VERSION_USERSPACE)
 928                 return (SET_ERROR(ENOTSUP));
 929
 930         objp = (type == ZFS_PROP_USERQUOTA) ? &zfsvfs->z_userquota_obj :
 931             &zfsvfs->z_groupquota_obj;
 932
 933         err = id_to_fuidstr(zfsvfs, domain, rid, buf, B_TRUE);
 934         if (err)
 935                 return (err);
 936         fuid_dirtied = zfsvfs->z_fuid_dirty;
 937
 938         tx = dmu_tx_create(zfsvfs->z_os);
 939         dmu_tx_hold_zap(tx, *objp ? *objp : DMU_NEW_OBJECT, B_TRUE, NULL);
 940         if (*objp == 0) {
 941                 dmu_tx_hold_zap(tx, MASTER_NODE_OBJ, B_TRUE,
 942                     zfs_userquota_prop_prefixes[type]);
 943         }
 944         if (fuid_dirtied)
 945                 zfs_fuid_txhold(zfsvfs, tx);
 946         err = dmu_tx_assign(tx, TXG_WAIT);
 947         if (err) {
 948                 dmu_tx_abort(tx);
 949                 return (err);
 950         }
 951
 952         mutex_enter(&zfsvfs->z_lock);
 953         if (*objp == 0) {
 954                 *objp = zap_create(zfsvfs->z_os, DMU_OT_USERGROUP_QUOTA,
 955                     DMU_OT_NONE, 0, tx);
 956                 VERIFY(0 == zap_add(zfsvfs->z_os, MASTER_NODE_OBJ,
 957                     zfs_userquota_prop_prefixes[type], 8, 1, objp, tx));
 958         }
 959         mutex_exit(&zfsvfs->z_lock);
 960
 961         if (quota == 0) {
 962                 err = zap_remove(zfsvfs->z_os, *objp, buf, tx);
 963                 if (err == ENOENT)
 964                         err = 0;
 965         } else {
 966                 err = zap_update(zfsvfs->z_os, *objp, buf, 8, 1, &quota, tx);
 967         }
 968         ASSERT(err == 0);
 969         if (fuid_dirtied)
 970                 zfs_fuid_sync(zfsvfs, tx);
 971         dmu_tx_commit(tx);
 972         return (err);
 973 }
 974
 975 boolean_t
 976 zfs_fuid_overquota(zfsvfs_t *zfsvfs, boolean_t isgroup, uint64_t fuid)
 977 {
 978         char buf[32];
 979         uint64_t used, quota, usedobj, quotaobj;
 980         int err;
 981
 982         usedobj = isgroup ? DMU_GROUPUSED_OBJECT : DMU_USERUSED_OBJECT;
 983         quotaobj = isgroup ? zfsvfs->z_groupquota_obj : zfsvfs->z_userquota_obj;
 984
 985         if (quotaobj == 0 || zfsvfs->z_replay)
 986                 return (B_FALSE);
 987
 988         (void) sprintf(buf, "%llx", (longlong_t)fuid);
 989         err = zap_lookup(zfsvfs->z_os, quotaobj, buf, 8, 1, &quota);
 990         if (err != 0)
 991                 return (B_FALSE);
 992
 993         err = zap_lookup(zfsvfs->z_os, usedobj, buf, 8, 1, &used);
 994         if (err != 0)
 995                 return (B_FALSE);
 996         return (used >= quota);
 997 }
 998
 999 boolean_t
1000 zfs_owner_overquota(zfsvfs_t *zfsvfs, znode_t *zp, boolean_t isgroup)
1001 {
1002         uint64_t fuid;
1003         uint64_t quotaobj;
1004
1005         quotaobj = isgroup ? zfsvfs->z_groupquota_obj : zfsvfs->z_userquota_obj;
1006
1007         fuid = isgroup ? zp->z_gid : zp->z_uid;
1008
1009         if (quotaobj == 0 || zfsvfs->z_replay)
1010                 return (B_FALSE);
1011
1012         return (zfs_fuid_overquota(zfsvfs, isgroup, fuid));
1013 }
1014
1015 /*
1016  * Associate this zfsvfs with the given objset, which must be owned.
1017  * This will cache a bunch of on-disk state from the objset in the
1018  * zfsvfs.
1019  */
1020 static int
1021 zfsvfs_init(zfsvfs_t *zfsvfs, objset_t *os)
1022 {
1023         int error;
1024         uint64_t val;
1025
1026         zfsvfs->z_max_blksz = SPA_OLD_MAXBLOCKSIZE;
1027         zfsvfs->z_show_ctldir = ZFS_SNAPDIR_VISIBLE;
1028         zfsvfs->z_os = os;
1029
1030         error = zfs_get_zplprop(os, ZFS_PROP_VERSION, &zfsvfs->z_version);
1031         if (error != 0)
1032                 return (error);
1033         if (zfsvfs->z_version >
1034             zfs_zpl_version_map(spa_version(dmu_objset_spa(os)))) {
1035                 (void) printf("Can't mount a version %lld file system "
1036                     "on a version %lld pool\n. Pool must be upgraded to mount "
1037                     "this file system.", (u_longlong_t)zfsvfs->z_version,
1038                     (u_longlong_t)spa_version(dmu_objset_spa(os)));
1039                 return (SET_ERROR(ENOTSUP));
1040         }
1041         error = zfs_get_zplprop(os, ZFS_PROP_NORMALIZE, &val);
1042         if (error != 0)
1043                 return (error);
1044         zfsvfs->z_norm = (int)val;
1045
1046         error = zfs_get_zplprop(os, ZFS_PROP_UTF8ONLY, &val);
1047         if (error != 0)
1048                 return (error);
1049         zfsvfs->z_utf8 = (val != 0);
1050
1051         error = zfs_get_zplprop(os, ZFS_PROP_CASE, &val);
1052         if (error != 0)
1053                 return (error);
1054         zfsvfs->z_case = (uint_t)val;
1055
1056         /*
1057          * Fold case on file systems that are always or sometimes case
1058          * insensitive.
1059          */
1060         if (zfsvfs->z_case == ZFS_CASE_INSENSITIVE ||
1061             zfsvfs->z_case == ZFS_CASE_MIXED)
1062                 zfsvfs->z_norm |= U8_TEXTPREP_TOUPPER;
1063
1064         zfsvfs->z_use_fuids = USE_FUIDS(zfsvfs->z_version, zfsvfs->z_os);
1065         zfsvfs->z_use_sa = USE_SA(zfsvfs->z_version, zfsvfs->z_os);
1066
1067         uint64_t sa_obj = 0;
1068         if (zfsvfs->z_use_sa) {
1069                 /* should either have both of these objects or none */
1070                 error = zap_lookup(os, MASTER_NODE_OBJ, ZFS_SA_ATTRS, 8, 1,
1071                     &sa_obj);
1072                 if (error != 0)
1073                         return (error);
1074         }
1075
1076         error = sa_setup(os, sa_obj, zfs_attr_table, ZPL_END,
1077             &zfsvfs->z_attr_table);
1078         if (error != 0)
1079                 return (error);
1080
1081         if (zfsvfs->z_version >= ZPL_VERSION_SA)
1082                 sa_register_update_callback(os, zfs_sa_upgrade);
1083
1084         error = zap_lookup(os, MASTER_NODE_OBJ, ZFS_ROOT_OBJ, 8, 1,
1085             &zfsvfs->z_root);
1086         if (error != 0)
1087                 return (error);
1088         ASSERT(zfsvfs->z_root != 0);
1089
1090         error = zap_lookup(os, MASTER_NODE_OBJ, ZFS_UNLINKED_SET, 8, 1,
1091             &zfsvfs->z_unlinkedobj);
1092         if (error != 0)
1093                 return (error);
1094
1095         error = zap_lookup(os, MASTER_NODE_OBJ,
1096             zfs_userquota_prop_prefixes[ZFS_PROP_USERQUOTA],
1097             8, 1, &zfsvfs->z_userquota_obj);
1098         if (error == ENOENT)
1099                 zfsvfs->z_userquota_obj = 0;
1100         else if (error != 0)
1101                 return (error);
1102
1103         error = zap_lookup(os, MASTER_NODE_OBJ,
1104             zfs_userquota_prop_prefixes[ZFS_PROP_GROUPQUOTA],
1105             8, 1, &zfsvfs->z_groupquota_obj);
1106         if (error == ENOENT)
1107                 zfsvfs->z_groupquota_obj = 0;
1108         else if (error != 0)
1109                 return (error);
1110
1111         error = zap_lookup(os, MASTER_NODE_OBJ, ZFS_FUID_TABLES, 8, 1,
1112             &zfsvfs->z_fuid_obj);
1113         if (error == ENOENT)
1114                 zfsvfs->z_fuid_obj = 0;
1115         else if (error != 0)
1116                 return (error);
1117
1118         error = zap_lookup(os, MASTER_NODE_OBJ, ZFS_SHARES_DIR, 8, 1,
1119             &zfsvfs->z_shares_dir);
1120         if (error == ENOENT)
1121                 zfsvfs->z_shares_dir = 0;
1122         else if (error != 0)
1123                 return (error);
1124
1125         /*
1126          * Only use the name cache if we are looking for a
1127          * name on a file system that does not require normalization
1128          * or case folding.  We can also look there if we happen to be
1129          * on a non-normalizing, mixed sensitivity file system IF we
1130          * are looking for the exact name (which is always the case on
1131          * FreeBSD).
1132          */
1133         zfsvfs->z_use_namecache = !zfsvfs->z_norm ||
1134             ((zfsvfs->z_case == ZFS_CASE_MIXED) &&
1135             !(zfsvfs->z_norm & ~U8_TEXTPREP_TOUPPER));
1136
1137         return (0);
1138 }
1139
1140 #if defined(__FreeBSD__)
1141 taskq_t *zfsvfs_taskq;
1142
1143 static void
1144 zfsvfs_task_unlinked_drain(void *context, int pending __unused)
1145 {
1146
1147         zfs_unlinked_drain((zfsvfs_t *)context);
1148 }
1149 #endif
1150
1151 int
1152 zfsvfs_create(const char *osname, zfsvfs_t **zfvp)
1153 {
1154         objset_t *os;
1155         zfsvfs_t *zfsvfs;
1156         int error;
1157
1158         /*
1159          * XXX: Fix struct statfs so this isn't necessary!
1160          *
1161          * The 'osname' is used as the filesystem's special node, which means
1162          * it must fit in statfs.f_mntfromname, or else it can't be
1163          * enumerated, so libzfs_mnttab_find() returns NULL, which causes
1164          * 'zfs unmount' to think it's not mounted when it is.
1165          */
1166         if (strlen(osname) >= MNAMELEN)
1167                 return (SET_ERROR(ENAMETOOLONG));
1168
1169         zfsvfs = kmem_zalloc(sizeof (zfsvfs_t), KM_SLEEP);
1170
1171         /*
1172          * We claim to always be readonly so we can open snapshots;
1173          * other ZPL code will prevent us from writing to snapshots.
1174          */
1175
1176         error = dmu_objset_own(osname, DMU_OST_ZFS, B_TRUE, zfsvfs, &os);
1177         if (error != 0) {
1178                 kmem_free(zfsvfs, sizeof (zfsvfs_t));
1179                 return (error);
1180         }
1181
1182         error = zfsvfs_create_impl(zfvp, zfsvfs, os);
1183         if (error != 0) {
1184                 dmu_objset_disown(os, zfsvfs);
1185         }
1186         return (error);
1187 }
1188
1189
1190 int
1191 zfsvfs_create_impl(zfsvfs_t **zfvp, zfsvfs_t *zfsvfs, objset_t *os)
1192 {
1193         int error;
1194
1195         zfsvfs->z_vfs = NULL;
1196         zfsvfs->z_parent = zfsvfs;
1197
1198         mutex_init(&zfsvfs->z_znodes_lock, NULL, MUTEX_DEFAULT, NULL);
1199         mutex_init(&zfsvfs->z_lock, NULL, MUTEX_DEFAULT, NULL);
1200         list_create(&zfsvfs->z_all_znodes, sizeof (znode_t),
1201             offsetof(znode_t, z_link_node));
1202 #if defined(__FreeBSD__)
1203         TASK_INIT(&zfsvfs->z_unlinked_drain_task, 0,
1204             zfsvfs_task_unlinked_drain, zfsvfs);
1205 #endif
1206 #ifdef DIAGNOSTIC
1207         rrm_init(&zfsvfs->z_teardown_lock, B_TRUE);
1208 #else
1209         rrm_init(&zfsvfs->z_teardown_lock, B_FALSE);
1210 #endif
1211         rw_init(&zfsvfs->z_teardown_inactive_lock, NULL, RW_DEFAULT, NULL);
1212         rw_init(&zfsvfs->z_fuid_lock, NULL, RW_DEFAULT, NULL);
1213         for (int i = 0; i != ZFS_OBJ_MTX_SZ; i++)
1214                 mutex_init(&zfsvfs->z_hold_mtx[i], NULL, MUTEX_DEFAULT, NULL);
1215
1216         rm_init(&zfsvfs->z_rootvnodelock, "zfs root vnode lock");
1217
1218         error = zfsvfs_init(zfsvfs, os);
1219         if (error != 0) {
1220                 *zfvp = NULL;
1221                 kmem_free(zfsvfs, sizeof (zfsvfs_t));
1222                 return (error);
1223         }
1224
1225         *zfvp = zfsvfs;
1226         return (0);
1227 }
1228
1229 static int
1230 zfsvfs_setup(zfsvfs_t *zfsvfs, boolean_t mounting)
1231 {
1232         int error;
1233
1234         error = zfs_register_callbacks(zfsvfs->z_vfs);
1235         if (error)
1236                 return (error);
1237
1238         zfsvfs->z_log = zil_open(zfsvfs->z_os, zfs_get_data);
1239
1240         /*
1241          * If we are not mounting (ie: online recv), then we don't
1242          * have to worry about replaying the log as we blocked all
1243          * operations out since we closed the ZIL.
1244          */
1245         if (mounting) {
1246                 boolean_t readonly;
1247
1248                 /*
1249                  * During replay we remove the read only flag to
1250                  * allow replays to succeed.
1251                  */
1252                 readonly = zfsvfs->z_vfs->vfs_flag & VFS_RDONLY;
1253                 if (readonly != 0)
1254                         zfsvfs->z_vfs->vfs_flag &= ~VFS_RDONLY;
1255                 else
1256                         zfs_unlinked_drain(zfsvfs);
1257
1258                 /*
1259                  * Parse and replay the intent log.
1260                  *
1261                  * Because of ziltest, this must be done after
1262                  * zfs_unlinked_drain().  (Further note: ziltest
1263                  * doesn't use readonly mounts, where
1264                  * zfs_unlinked_drain() isn't called.)  This is because
1265                  * ziltest causes spa_sync() to think it's committed,
1266                  * but actually it is not, so the intent log contains
1267                  * many txg's worth of changes.
1268                  *
1269                  * In particular, if object N is in the unlinked set in
1270                  * the last txg to actually sync, then it could be
1271                  * actually freed in a later txg and then reallocated
1272                  * in a yet later txg.  This would write a "create
1273                  * object N" record to the intent log.  Normally, this
1274                  * would be fine because the spa_sync() would have
1275                  * written out the fact that object N is free, before
1276                  * we could write the "create object N" intent log
1277                  * record.
1278                  *
1279                  * But when we are in ziltest mode, we advance the "open
1280                  * txg" without actually spa_sync()-ing the changes to
1281                  * disk.  So we would see that object N is still
1282                  * allocated and in the unlinked set, and there is an
1283                  * intent log record saying to allocate it.
1284                  */
1285                 if (spa_writeable(dmu_objset_spa(zfsvfs->z_os))) {
1286                         if (zil_replay_disable) {
1287                                 zil_destroy(zfsvfs->z_log, B_FALSE);
1288                         } else {
1289                                 zfsvfs->z_replay = B_TRUE;
1290                                 zil_replay(zfsvfs->z_os, zfsvfs,
1291                                     zfs_replay_vector);
1292                                 zfsvfs->z_replay = B_FALSE;
1293                         }
1294                 }
1295                 zfsvfs->z_vfs->vfs_flag |= readonly; /* restore readonly bit */
1296         }
1297
1298         /*
1299          * Set the objset user_ptr to track its zfsvfs.
1300          */
1301         mutex_enter(&zfsvfs->z_os->os_user_ptr_lock);
1302         dmu_objset_set_user(zfsvfs->z_os, zfsvfs);
1303         mutex_exit(&zfsvfs->z_os->os_user_ptr_lock);
1304
1305         return (0);
1306 }
1307
1308 extern krwlock_t zfsvfs_lock; /* in zfs_znode.c */
1309
1310 void
1311 zfsvfs_free(zfsvfs_t *zfsvfs)
1312 {
1313         int i;
1314
1315         /*
1316          * This is a barrier to prevent the filesystem from going away in
1317          * zfs_znode_move() until we can safely ensure that the filesystem is
1318          * not unmounted. We consider the filesystem valid before the barrier
1319          * and invalid after the barrier.
1320          */
1321         rw_enter(&zfsvfs_lock, RW_READER);
1322         rw_exit(&zfsvfs_lock);
1323
1324         rm_destroy(&zfsvfs->z_rootvnodelock);
1325
1326         zfs_fuid_destroy(zfsvfs);
1327
1328         mutex_destroy(&zfsvfs->z_znodes_lock);
1329         mutex_destroy(&zfsvfs->z_lock);
1330         list_destroy(&zfsvfs->z_all_znodes);
1331         rrm_destroy(&zfsvfs->z_teardown_lock);
1332         rw_destroy(&zfsvfs->z_teardown_inactive_lock);
1333         rw_destroy(&zfsvfs->z_fuid_lock);
1334         for (i = 0; i != ZFS_OBJ_MTX_SZ; i++)
1335                 mutex_destroy(&zfsvfs->z_hold_mtx[i]);
1336         kmem_free(zfsvfs, sizeof (zfsvfs_t));
1337 }
1338
1339 static void
1340 zfs_set_fuid_feature(zfsvfs_t *zfsvfs)
1341 {
1342         zfsvfs->z_use_fuids = USE_FUIDS(zfsvfs->z_version, zfsvfs->z_os);
1343         if (zfsvfs->z_vfs) {
1344                 if (zfsvfs->z_use_fuids) {
1345                         vfs_set_feature(zfsvfs->z_vfs, VFSFT_XVATTR);
1346                         vfs_set_feature(zfsvfs->z_vfs, VFSFT_SYSATTR_VIEWS);
1347                         vfs_set_feature(zfsvfs->z_vfs, VFSFT_ACEMASKONACCESS);
1348                         vfs_set_feature(zfsvfs->z_vfs, VFSFT_ACLONCREATE);
1349                         vfs_set_feature(zfsvfs->z_vfs, VFSFT_ACCESS_FILTER);
1350                         vfs_set_feature(zfsvfs->z_vfs, VFSFT_REPARSE);
1351                 } else {
1352                         vfs_clear_feature(zfsvfs->z_vfs, VFSFT_XVATTR);
1353                         vfs_clear_feature(zfsvfs->z_vfs, VFSFT_SYSATTR_VIEWS);
1354                         vfs_clear_feature(zfsvfs->z_vfs, VFSFT_ACEMASKONACCESS);
1355                         vfs_clear_feature(zfsvfs->z_vfs, VFSFT_ACLONCREATE);
1356                         vfs_clear_feature(zfsvfs->z_vfs, VFSFT_ACCESS_FILTER);
1357                         vfs_clear_feature(zfsvfs->z_vfs, VFSFT_REPARSE);
1358                 }
1359         }
1360         zfsvfs->z_use_sa = USE_SA(zfsvfs->z_version, zfsvfs->z_os);
1361 }
1362
1363 static int
1364 zfs_domount(vfs_t *vfsp, char *osname)
1365 {
1366         uint64_t recordsize, fsid_guid;
1367         int error = 0;
1368         zfsvfs_t *zfsvfs;
1369         vnode_t *vp;
1370
1371         ASSERT(vfsp);
1372         ASSERT(osname);
1373
1374         error = zfsvfs_create(osname, &zfsvfs);
1375         if (error)
1376                 return (error);
1377         zfsvfs->z_vfs = vfsp;
1378
1379 #ifdef illumos
1380         /* Initialize the generic filesystem structure. */
1381         vfsp->vfs_bcount = 0;
1382         vfsp->vfs_data = NULL;
1383
1384         if (zfs_create_unique_device(&mount_dev) == -1) {
1385                 error = SET_ERROR(ENODEV);
1386                 goto out;
1387         }
1388         ASSERT(vfs_devismounted(mount_dev) == 0);
1389 #endif
1390
1391         if (error = dsl_prop_get_integer(osname, "recordsize", &recordsize,
1392             NULL))
1393                 goto out;
1394         zfsvfs->z_vfs->vfs_bsize = SPA_MINBLOCKSIZE;
1395         zfsvfs->z_vfs->mnt_stat.f_iosize = recordsize;
1396
1397         vfsp->vfs_data = zfsvfs;
1398         vfsp->mnt_flag |= MNT_LOCAL;
1399         vfsp->mnt_kern_flag |= MNTK_LOOKUP_SHARED;
1400         vfsp->mnt_kern_flag |= MNTK_SHARED_WRITES;
1401         vfsp->mnt_kern_flag |= MNTK_EXTENDED_SHARED;
1402         vfsp->mnt_kern_flag |= MNTK_NO_IOPF;    /* vn_io_fault can be used */
1403
1404         /*
1405          * The fsid is 64 bits, composed of an 8-bit fs type, which
1406          * separates our fsid from any other filesystem types, and a
1407          * 56-bit objset unique ID.  The objset unique ID is unique to
1408          * all objsets open on this system, provided by unique_create().
1409          * The 8-bit fs type must be put in the low bits of fsid[1]
1410          * because that's where other Solaris filesystems put it.
1411          */
1412         fsid_guid = dmu_objset_fsid_guid(zfsvfs->z_os);
1413         ASSERT((fsid_guid & ~((1ULL<<56)-1)) == 0);
1414         vfsp->vfs_fsid.val[0] = fsid_guid;
1415         vfsp->vfs_fsid.val[1] = ((fsid_guid>>32) << 8) |
1416             vfsp->mnt_vfc->vfc_typenum & 0xFF;
1417
1418         /*
1419          * Set features for file system.
1420          */
1421         zfs_set_fuid_feature(zfsvfs);
1422         if (zfsvfs->z_case == ZFS_CASE_INSENSITIVE) {
1423                 vfs_set_feature(vfsp, VFSFT_DIRENTFLAGS);
1424                 vfs_set_feature(vfsp, VFSFT_CASEINSENSITIVE);
1425                 vfs_set_feature(vfsp, VFSFT_NOCASESENSITIVE);
1426         } else if (zfsvfs->z_case == ZFS_CASE_MIXED) {
1427                 vfs_set_feature(vfsp, VFSFT_DIRENTFLAGS);
1428                 vfs_set_feature(vfsp, VFSFT_CASEINSENSITIVE);
1429         }
1430         vfs_set_feature(vfsp, VFSFT_ZEROCOPY_SUPPORTED);
1431
1432         if (dmu_objset_is_snapshot(zfsvfs->z_os)) {
1433                 uint64_t pval;
1434
1435                 atime_changed_cb(zfsvfs, B_FALSE);
1436                 readonly_changed_cb(zfsvfs, B_TRUE);
1437                 if (error = dsl_prop_get_integer(osname, "xattr", &pval, NULL))
1438                         goto out;
1439                 xattr_changed_cb(zfsvfs, pval);
1440                 zfsvfs->z_issnap = B_TRUE;
1441                 zfsvfs->z_os->os_sync = ZFS_SYNC_DISABLED;
1442
1443                 mutex_enter(&zfsvfs->z_os->os_user_ptr_lock);
1444                 dmu_objset_set_user(zfsvfs->z_os, zfsvfs);
1445                 mutex_exit(&zfsvfs->z_os->os_user_ptr_lock);
1446         } else {
1447                 error = zfsvfs_setup(zfsvfs, B_TRUE);
1448         }
1449
1450         vfs_mountedfrom(vfsp, osname);
1451
1452         if (!zfsvfs->z_issnap)
1453                 zfsctl_create(zfsvfs);
1454 out:
1455         if (error) {
1456                 dmu_objset_disown(zfsvfs->z_os, zfsvfs);
1457                 zfsvfs_free(zfsvfs);
1458         } else {
1459                 atomic_inc_32(&zfs_active_fs_count);
1460         }
1461
1462         return (error);
1463 }
1464
1465 void
1466 zfs_unregister_callbacks(zfsvfs_t *zfsvfs)
1467 {
1468         objset_t *os = zfsvfs->z_os;
1469
1470         if (!dmu_objset_is_snapshot(os))
1471                 dsl_prop_unregister_all(dmu_objset_ds(os), zfsvfs);
1472 }
1473
1474 #ifdef SECLABEL
1475 /*
1476  * Convert a decimal digit string to a uint64_t integer.
1477  */
1478 static int
1479 str_to_uint64(char *str, uint64_t *objnum)
1480 {
1481         uint64_t num = 0;
1482
1483         while (*str) {
1484                 if (*str < '0' || *str > '9')
1485                         return (SET_ERROR(EINVAL));
1486
1487                 num = num*10 + *str++ - '0';
1488         }
1489
1490         *objnum = num;
1491         return (0);
1492 }
1493
1494 /*
1495  * The boot path passed from the boot loader is in the form of
1496  * "rootpool-name/root-filesystem-object-number'. Convert this
1497  * string to a dataset name: "rootpool-name/root-filesystem-name".
1498  */
1499 static int
1500 zfs_parse_bootfs(char *bpath, char *outpath)
1501 {
1502         char *slashp;
1503         uint64_t objnum;
1504         int error;
1505
1506         if (*bpath == 0 || *bpath == '/')
1507                 return (SET_ERROR(EINVAL));
1508
1509         (void) strcpy(outpath, bpath);
1510
1511         slashp = strchr(bpath, '/');
1512
1513         /* if no '/', just return the pool name */
1514         if (slashp == NULL) {
1515                 return (0);
1516         }
1517
1518         /* if not a number, just return the root dataset name */
1519         if (str_to_uint64(slashp+1, &objnum)) {
1520                 return (0);
1521         }
1522
1523         *slashp = '\0';
1524         error = dsl_dsobj_to_dsname(bpath, objnum, outpath);
1525         *slashp = '/';
1526
1527         return (error);
1528 }
1529
1530 /*
1531  * Check that the hex label string is appropriate for the dataset being
1532  * mounted into the global_zone proper.
1533  *
1534  * Return an error if the hex label string is not default or
1535  * admin_low/admin_high.  For admin_low labels, the corresponding
1536  * dataset must be readonly.
1537  */
1538 int
1539 zfs_check_global_label(const char *dsname, const char *hexsl)
1540 {
1541         if (strcasecmp(hexsl, ZFS_MLSLABEL_DEFAULT) == 0)
1542                 return (0);
1543         if (strcasecmp(hexsl, ADMIN_HIGH) == 0)
1544                 return (0);
1545         if (strcasecmp(hexsl, ADMIN_LOW) == 0) {
1546                 /* must be readonly */
1547                 uint64_t rdonly;
1548
1549                 if (dsl_prop_get_integer(dsname,
1550                     zfs_prop_to_name(ZFS_PROP_READONLY), &rdonly, NULL))
1551                         return (SET_ERROR(EACCES));
1552                 return (rdonly ? 0 : EACCES);
1553         }
1554         return (SET_ERROR(EACCES));
1555 }
1556
1557 /*
1558  * Determine whether the mount is allowed according to MAC check.
1559  * by comparing (where appropriate) label of the dataset against
1560  * the label of the zone being mounted into.  If the dataset has
1561  * no label, create one.
1562  *
1563  * Returns 0 if access allowed, error otherwise (e.g. EACCES)
1564  */
1565 static int
1566 zfs_mount_label_policy(vfs_t *vfsp, char *osname)
1567 {
1568         int             error, retv;
1569         zone_t          *mntzone = NULL;
1570         ts_label_t      *mnt_tsl;
1571         bslabel_t       *mnt_sl;
1572         bslabel_t       ds_sl;
1573         char            ds_hexsl[MAXNAMELEN];
1574
1575         retv = EACCES;                          /* assume the worst */
1576
1577         /*
1578          * Start by getting the dataset label if it exists.
1579          */
1580         error = dsl_prop_get(osname, zfs_prop_to_name(ZFS_PROP_MLSLABEL),
1581             1, sizeof (ds_hexsl), &ds_hexsl, NULL);
1582         if (error)
1583                 return (SET_ERROR(EACCES));
1584
1585         /*
1586          * If labeling is NOT enabled, then disallow the mount of datasets
1587          * which have a non-default label already.  No other label checks
1588          * are needed.
1589          */
1590         if (!is_system_labeled()) {
1591                 if (strcasecmp(ds_hexsl, ZFS_MLSLABEL_DEFAULT) == 0)
1592                         return (0);
1593                 return (SET_ERROR(EACCES));
1594         }
1595
1596         /*
1597          * Get the label of the mountpoint.  If mounting into the global
1598          * zone (i.e. mountpoint is not within an active zone and the
1599          * zoned property is off), the label must be default or
1600          * admin_low/admin_high only; no other checks are needed.
1601          */
1602         mntzone = zone_find_by_any_path(refstr_value(vfsp->vfs_mntpt), B_FALSE);
1603         if (mntzone->zone_id == GLOBAL_ZONEID) {
1604                 uint64_t zoned;
1605
1606                 zone_rele(mntzone);
1607
1608                 if (dsl_prop_get_integer(osname,
1609                     zfs_prop_to_name(ZFS_PROP_ZONED), &zoned, NULL))
1610                         return (SET_ERROR(EACCES));
1611                 if (!zoned)
1612                         return (zfs_check_global_label(osname, ds_hexsl));
1613                 else
1614                         /*
1615                          * This is the case of a zone dataset being mounted
1616                          * initially, before the zone has been fully created;
1617                          * allow this mount into global zone.
1618                          */
1619                         return (0);
1620         }
1621
1622         mnt_tsl = mntzone->zone_slabel;
1623         ASSERT(mnt_tsl != NULL);
1624         label_hold(mnt_tsl);
1625         mnt_sl = label2bslabel(mnt_tsl);
1626
1627         if (strcasecmp(ds_hexsl, ZFS_MLSLABEL_DEFAULT) == 0) {
1628                 /*
1629                  * The dataset doesn't have a real label, so fabricate one.
1630                  */
1631                 char *str = NULL;
1632
1633                 if (l_to_str_internal(mnt_sl, &str) == 0 &&
1634                     dsl_prop_set_string(osname,
1635                     zfs_prop_to_name(ZFS_PROP_MLSLABEL),
1636                     ZPROP_SRC_LOCAL, str) == 0)
1637                         retv = 0;
1638                 if (str != NULL)
1639                         kmem_free(str, strlen(str) + 1);
1640         } else if (hexstr_to_label(ds_hexsl, &ds_sl) == 0) {
1641                 /*
1642                  * Now compare labels to complete the MAC check.  If the
1643                  * labels are equal then allow access.  If the mountpoint
1644                  * label dominates the dataset label, allow readonly access.
1645                  * Otherwise, access is denied.
1646                  */
1647                 if (blequal(mnt_sl, &ds_sl))
1648                         retv = 0;
1649                 else if (bldominates(mnt_sl, &ds_sl)) {
1650                         vfs_setmntopt(vfsp, MNTOPT_RO, NULL, 0);
1651                         retv = 0;
1652                 }
1653         }
1654
1655         label_rele(mnt_tsl);
1656         zone_rele(mntzone);
1657         return (retv);
1658 }
1659 #endif  /* SECLABEL */
1660
1661 #ifdef OPENSOLARIS_MOUNTROOT
1662 static int
1663 zfs_mountroot(vfs_t *vfsp, enum whymountroot why)
1664 {
1665         int error = 0;
1666         static int zfsrootdone = 0;
1667         zfsvfs_t *zfsvfs = NULL;
1668         znode_t *zp = NULL;
1669         vnode_t *vp = NULL;
1670         char *zfs_bootfs;
1671         char *zfs_devid;
1672
1673         ASSERT(vfsp);
1674
1675         /*
1676          * The filesystem that we mount as root is defined in the
1677          * boot property "zfs-bootfs" with a format of
1678          * "poolname/root-dataset-objnum".
1679          */
1680         if (why == ROOT_INIT) {
1681                 if (zfsrootdone++)
1682                         return (SET_ERROR(EBUSY));
1683                 /*
1684                  * the process of doing a spa_load will require the
1685                  * clock to be set before we could (for example) do
1686                  * something better by looking at the timestamp on
1687                  * an uberblock, so just set it to -1.
1688                  */
1689                 clkset(-1);
1690
1691                 if ((zfs_bootfs = spa_get_bootprop("zfs-bootfs")) == NULL) {
1692                         cmn_err(CE_NOTE, "spa_get_bootfs: can not get "
1693                             "bootfs name");
1694                         return (SET_ERROR(EINVAL));
1695                 }
1696                 zfs_devid = spa_get_bootprop("diskdevid");
1697                 error = spa_import_rootpool(rootfs.bo_name, zfs_devid);
1698                 if (zfs_devid)
1699                         spa_free_bootprop(zfs_devid);
1700                 if (error) {
1701                         spa_free_bootprop(zfs_bootfs);
1702                         cmn_err(CE_NOTE, "spa_import_rootpool: error %d",
1703                             error);
1704                         return (error);
1705                 }
1706                 if (error = zfs_parse_bootfs(zfs_bootfs, rootfs.bo_name)) {
1707                         spa_free_bootprop(zfs_bootfs);
1708                         cmn_err(CE_NOTE, "zfs_parse_bootfs: error %d",
1709                             error);
1710                         return (error);
1711                 }
1712
1713                 spa_free_bootprop(zfs_bootfs);
1714
1715                 if (error = vfs_lock(vfsp))
1716                         return (error);
1717
1718                 if (error = zfs_domount(vfsp, rootfs.bo_name)) {
1719                         cmn_err(CE_NOTE, "zfs_domount: error %d", error);
1720                         goto out;
1721                 }
1722
1723                 zfsvfs = (zfsvfs_t *)vfsp->vfs_data;
1724                 ASSERT(zfsvfs);
1725                 if (error = zfs_zget(zfsvfs, zfsvfs->z_root, &zp)) {
1726                         cmn_err(CE_NOTE, "zfs_zget: error %d", error);
1727                         goto out;
1728                 }
1729
1730                 vp = ZTOV(zp);
1731                 mutex_enter(&vp->v_lock);
1732                 vp->v_flag |= VROOT;
1733                 mutex_exit(&vp->v_lock);
1734                 rootvp = vp;
1735
1736                 /*
1737                  * Leave rootvp held.  The root file system is never unmounted.
1738                  */
1739
1740                 vfs_add((struct vnode *)0, vfsp,
1741                     (vfsp->vfs_flag & VFS_RDONLY) ? MS_RDONLY : 0);
1742 out:
1743                 vfs_unlock(vfsp);
1744                 return (error);
1745         } else if (why == ROOT_REMOUNT) {
1746                 readonly_changed_cb(vfsp->vfs_data, B_FALSE);
1747                 vfsp->vfs_flag |= VFS_REMOUNT;
1748
1749                 /* refresh mount options */
1750                 zfs_unregister_callbacks(vfsp->vfs_data);
1751                 return (zfs_register_callbacks(vfsp));
1752
1753         } else if (why == ROOT_UNMOUNT) {
1754                 zfs_unregister_callbacks((zfsvfs_t *)vfsp->vfs_data);
1755                 (void) zfs_sync(vfsp, 0, 0);
1756                 return (0);
1757         }
1758
1759         /*
1760          * if "why" is equal to anything else other than ROOT_INIT,
1761          * ROOT_REMOUNT, or ROOT_UNMOUNT, we do not support it.
1762          */
1763         return (SET_ERROR(ENOTSUP));
1764 }
1765 #endif  /* OPENSOLARIS_MOUNTROOT */
1766
1767 static int
1768 getpoolname(const char *osname, char *poolname)
1769 {
1770         char *p;
1771
1772         p = strchr(osname, '/');
1773         if (p == NULL) {
1774                 if (strlen(osname) >= MAXNAMELEN)
1775                         return (ENAMETOOLONG);
1776                 (void) strcpy(poolname, osname);
1777         } else {
1778                 if (p - osname >= MAXNAMELEN)
1779                         return (ENAMETOOLONG);
1780                 (void) strncpy(poolname, osname, p - osname);
1781                 poolname[p - osname] = '\0';
1782         }
1783         return (0);
1784 }
1785
1786 /*ARGSUSED*/
1787 static int
1788 zfs_mount(vfs_t *vfsp)
1789 {
1790         kthread_t       *td = curthread;
1791         vnode_t         *mvp = vfsp->mnt_vnodecovered;
1792         cred_t          *cr = td->td_ucred;
1793         char            *osname;
1794         int             error = 0;
1795         int             canwrite;
1796
1797 #ifdef illumos
1798         if (mvp->v_type != VDIR)
1799                 return (SET_ERROR(ENOTDIR));
1800
1801         mutex_enter(&mvp->v_lock);
1802         if ((uap->flags & MS_REMOUNT) == 0 &&
1803             (uap->flags & MS_OVERLAY) == 0 &&
1804             (mvp->v_count != 1 || (mvp->v_flag & VROOT))) {
1805                 mutex_exit(&mvp->v_lock);
1806                 return (SET_ERROR(EBUSY));
1807         }
1808         mutex_exit(&mvp->v_lock);
1809
1810         /*
1811          * ZFS does not support passing unparsed data in via MS_DATA.
1812          * Users should use the MS_OPTIONSTR interface; this means
1813          * that all option parsing is already done and the options struct
1814          * can be interrogated.
1815          */
1816         if ((uap->flags & MS_DATA) && uap->datalen > 0)
1817                 return (SET_ERROR(EINVAL));
1818
1819         /*
1820          * Get the objset name (the "special" mount argument).
1821          */
1822         if (error = pn_get(uap->spec, fromspace, &spn))
1823                 return (error);
1824
1825         osname = spn.pn_path;
1826 #else   /* !illumos */
1827         if (vfs_getopt(vfsp->mnt_optnew, "from", (void **)&osname, NULL))
1828                 return (SET_ERROR(EINVAL));
1829
1830         /*
1831          * If full-owner-access is enabled and delegated administration is
1832          * turned on, we must set nosuid.
1833          */
1834         if (zfs_super_owner &&
1835             dsl_deleg_access(osname, ZFS_DELEG_PERM_MOUNT, cr) != ECANCELED) {
1836                 secpolicy_fs_mount_clearopts(cr, vfsp);
1837         }
1838 #endif  /* illumos */
1839
1840         /*
1841          * Check for mount privilege?
1842          *
1843          * If we don't have privilege then see if
1844          * we have local permission to allow it
1845          */
1846         error = secpolicy_fs_mount(cr, mvp, vfsp);
1847         if (error) {
1848                 if (dsl_deleg_access(osname, ZFS_DELEG_PERM_MOUNT, cr) != 0)
1849                         goto out;
1850
1851                 if (!(vfsp->vfs_flag & MS_REMOUNT)) {
1852                         vattr_t         vattr;
1853
1854                         /*
1855                          * Make sure user is the owner of the mount point
1856                          * or has sufficient privileges.
1857                          */
1858
1859                         vattr.va_mask = AT_UID;
1860
1861                         vn_lock(mvp, LK_SHARED | LK_RETRY);
1862                         if (VOP_GETATTR(mvp, &vattr, cr)) {
1863                                 VOP_UNLOCK(mvp, 0);
1864                                 goto out;
1865                         }
1866
1867                         if (secpolicy_vnode_owner(mvp, cr, vattr.va_uid) != 0 &&
1868                             VOP_ACCESS(mvp, VWRITE, cr, td) != 0) {
1869                                 VOP_UNLOCK(mvp, 0);
1870                                 goto out;
1871                         }
1872                         VOP_UNLOCK(mvp, 0);
1873                 }
1874
1875                 secpolicy_fs_mount_clearopts(cr, vfsp);
1876         }
1877
1878         /*
1879          * Refuse to mount a filesystem if we are in a local zone and the
1880          * dataset is not visible.
1881          */
1882         if (!INGLOBALZONE(curthread) &&
1883             (!zone_dataset_visible(osname, &canwrite) || !canwrite)) {
1884                 error = SET_ERROR(EPERM);
1885                 goto out;
1886         }
1887
1888 #ifdef SECLABEL
1889         error = zfs_mount_label_policy(vfsp, osname);
1890         if (error)
1891                 goto out;
1892 #endif
1893
1894         vfsp->vfs_flag |= MNT_NFS4ACLS;
1895
1896         /*
1897          * When doing a remount, we simply refresh our temporary properties
1898          * according to those options set in the current VFS options.
1899          */
1900         if (vfsp->vfs_flag & MS_REMOUNT) {
1901                 zfsvfs_t *zfsvfs = vfsp->vfs_data;
1902
1903                 /*
1904                  * Refresh mount options with z_teardown_lock blocking I/O while
1905                  * the filesystem is in an inconsistent state.
1906                  * The lock also serializes this code with filesystem
1907                  * manipulations between entry to zfs_suspend_fs() and return
1908                  * from zfs_resume_fs().
1909                  */
1910                 rrm_enter(&zfsvfs->z_teardown_lock, RW_WRITER, FTAG);
1911                 zfs_unregister_callbacks(zfsvfs);
1912                 error = zfs_register_callbacks(vfsp);
1913                 rrm_exit(&zfsvfs->z_teardown_lock, FTAG);
1914                 goto out;
1915         }
1916
1917         /* Initial root mount: try hard to import the requested root pool. */
1918         if ((vfsp->vfs_flag & MNT_ROOTFS) != 0 &&
1919             (vfsp->vfs_flag & MNT_UPDATE) == 0) {
1920                 char pname[MAXNAMELEN];
1921
1922                 error = getpoolname(osname, pname);
1923                 if (error == 0)
1924                         error = spa_import_rootpool(pname);
1925                 if (error)
1926                         goto out;
1927         }
1928         DROP_GIANT();
1929         error = zfs_domount(vfsp, osname);
1930         PICKUP_GIANT();
1931
1932         if (error == 0)
1933                 zfs_root_setvnode((zfsvfs_t *)vfsp->vfs_data);
1934
1935 #ifdef illumos
1936         /*
1937          * Add an extra VFS_HOLD on our parent vfs so that it can't
1938          * disappear due to a forced unmount.
1939          */
1940         if (error == 0 && ((zfsvfs_t *)vfsp->vfs_data)->z_issnap)
1941                 VFS_HOLD(mvp->v_vfsp);
1942 #endif
1943
1944 out:
1945         return (error);
1946 }
1947
1948 static int
1949 zfs_statfs(vfs_t *vfsp, struct statfs *statp)
1950 {
1951         zfsvfs_t *zfsvfs = vfsp->vfs_data;
1952         uint64_t refdbytes, availbytes, usedobjs, availobjs;
1953
1954         statp->f_version = STATFS_VERSION;
1955
1956         ZFS_ENTER(zfsvfs);
1957
1958         dmu_objset_space(zfsvfs->z_os,
1959             &refdbytes, &availbytes, &usedobjs, &availobjs);
1960
1961         /*
1962          * The underlying storage pool actually uses multiple block sizes.
1963          * We report the fragsize as the smallest block size we support,
1964          * and we report our blocksize as the filesystem's maximum blocksize.
1965          */
1966         statp->f_bsize = SPA_MINBLOCKSIZE;
1967         statp->f_iosize = zfsvfs->z_vfs->mnt_stat.f_iosize;
1968
1969         /*
1970          * The following report "total" blocks of various kinds in the
1971          * file system, but reported in terms of f_frsize - the
1972          * "fragment" size.
1973          */
1974
1975         statp->f_blocks = (refdbytes + availbytes) >> SPA_MINBLOCKSHIFT;
1976         statp->f_bfree = availbytes / statp->f_bsize;
1977         statp->f_bavail = statp->f_bfree; /* no root reservation */
1978
1979         /*
1980          * statvfs() should really be called statufs(), because it assumes
1981          * static metadata.  ZFS doesn't preallocate files, so the best
1982          * we can do is report the max that could possibly fit in f_files,
1983          * and that minus the number actually used in f_ffree.
1984          * For f_ffree, report the smaller of the number of object available
1985          * and the number of blocks (each object will take at least a block).
1986          */
1987         statp->f_ffree = MIN(availobjs, statp->f_bfree);
1988         statp->f_files = statp->f_ffree + usedobjs;
1989
1990         /*
1991          * We're a zfs filesystem.
1992          */
1993         (void) strlcpy(statp->f_fstypename, "zfs", sizeof(statp->f_fstypename));
1994
1995         strlcpy(statp->f_mntfromname, vfsp->mnt_stat.f_mntfromname,
1996             sizeof(statp->f_mntfromname));
1997         strlcpy(statp->f_mntonname, vfsp->mnt_stat.f_mntonname,
1998             sizeof(statp->f_mntonname));
1999
2000         statp->f_namemax = MAXNAMELEN - 1;
2001
2002         ZFS_EXIT(zfsvfs);
2003         return (0);
2004 }
2005
2006 static int
2007 zfs_root_setvnode(zfsvfs_t *zfsvfs)
2008 {
2009         znode_t *rootzp;
2010         int error;
2011
2012         ZFS_ENTER(zfsvfs);
2013         error = zfs_zget(zfsvfs, zfsvfs->z_root, &rootzp);
2014         if (error != 0)
2015                 panic("could not zfs_zget for root vnode");
2016         ZFS_EXIT(zfsvfs);
2017
2018         rm_wlock(&zfsvfs->z_rootvnodelock);
2019         if (zfsvfs->z_rootvnode != NULL)
2020                 panic("zfs mount point already has a root vnode: %p\n",
2021                     zfsvfs->z_rootvnode);
2022         zfsvfs->z_rootvnode = ZTOV(rootzp);
2023         rm_wunlock(&zfsvfs->z_rootvnodelock);
2024         return (0);
2025 }
2026
2027 static void
2028 zfs_root_putvnode(zfsvfs_t *zfsvfs)
2029 {
2030         struct vnode *vp;
2031
2032         rm_wlock(&zfsvfs->z_rootvnodelock);
2033         vp = zfsvfs->z_rootvnode;
2034         zfsvfs->z_rootvnode = NULL;
2035         rm_wunlock(&zfsvfs->z_rootvnodelock);
2036         if (vp != NULL)
2037                 vrele(vp);
2038 }
2039
2040 static int
2041 zfs_root(vfs_t *vfsp, int flags, vnode_t **vpp)
2042 {
2043         struct rm_priotracker tracker;
2044         zfsvfs_t *zfsvfs = vfsp->vfs_data;
2045         znode_t *rootzp;
2046         int error;
2047
2048         rm_rlock(&zfsvfs->z_rootvnodelock, &tracker);
2049         *vpp = zfsvfs->z_rootvnode;
2050         if (*vpp != NULL && (((*vpp)->v_iflag & VI_DOOMED) == 0)) {
2051                 vrefact(*vpp);
2052                 rm_runlock(&zfsvfs->z_rootvnodelock, &tracker);
2053                 goto lock;
2054         }
2055         rm_runlock(&zfsvfs->z_rootvnodelock, &tracker);
2056
2057         /*
2058          * We found the vnode but did not like it.
2059          */
2060         if (*vpp != NULL) {
2061                 *vpp = NULL;
2062                 zfs_root_putvnode(zfsvfs);
2063         }
2064
2065         ZFS_ENTER(zfsvfs);
2066         error = zfs_zget(zfsvfs, zfsvfs->z_root, &rootzp);
2067         if (error == 0)
2068                 *vpp = ZTOV(rootzp);
2069
2070         ZFS_EXIT(zfsvfs);
2071
2072         if (error == 0) {
2073 lock:
2074                 error = vn_lock(*vpp, flags);
2075                 if (error != 0) {
2076                         VN_RELE(*vpp);
2077                         *vpp = NULL;
2078                 }
2079         }
2080         return (error);
2081 }
2082
2083 /*
2084  * Teardown the zfsvfs::z_os.
2085  *
2086  * Note, if 'unmounting' is FALSE, we return with the 'z_teardown_lock'
2087  * and 'z_teardown_inactive_lock' held.
2088  */
2089 static int
2090 zfsvfs_teardown(zfsvfs_t *zfsvfs, boolean_t unmounting)
2091 {
2092         znode_t *zp;
2093
2094         rrm_enter(&zfsvfs->z_teardown_lock, RW_WRITER, FTAG);
2095
2096         if (!unmounting) {
2097                 /*
2098                  * We purge the parent filesystem's vfsp as the parent
2099                  * filesystem and all of its snapshots have their vnode's
2100                  * v_vfsp set to the parent's filesystem's vfsp.  Note,
2101                  * 'z_parent' is self referential for non-snapshots.
2102                  */
2103                 (void) dnlc_purge_vfsp(zfsvfs->z_parent->z_vfs, 0);
2104 #ifdef FREEBSD_NAMECACHE
2105                 cache_purgevfs(zfsvfs->z_parent->z_vfs, true);
2106 #endif
2107         }
2108
2109         /*
2110          * Close the zil. NB: Can't close the zil while zfs_inactive
2111          * threads are blocked as zil_close can call zfs_inactive.
2112          */
2113         if (zfsvfs->z_log) {
2114                 zil_close(zfsvfs->z_log);
2115                 zfsvfs->z_log = NULL;
2116         }
2117
2118         rw_enter(&zfsvfs->z_teardown_inactive_lock, RW_WRITER);
2119
2120         /*
2121          * If we are not unmounting (ie: online recv) and someone already
2122          * unmounted this file system while we were doing the switcheroo,
2123          * or a reopen of z_os failed then just bail out now.
2124          */
2125         if (!unmounting && (zfsvfs->z_unmounted || zfsvfs->z_os == NULL)) {
2126                 rw_exit(&zfsvfs->z_teardown_inactive_lock);
2127                 rrm_exit(&zfsvfs->z_teardown_lock, FTAG);
2128                 return (SET_ERROR(EIO));
2129         }
2130
2131         /*
2132          * At this point there are no vops active, and any new vops will
2133          * fail with EIO since we have z_teardown_lock for writer (only
2134          * relavent for forced unmount).
2135          *
2136          * Release all holds on dbufs.
2137          */
2138         mutex_enter(&zfsvfs->z_znodes_lock);
2139         for (zp = list_head(&zfsvfs->z_all_znodes); zp != NULL;
2140             zp = list_next(&zfsvfs->z_all_znodes, zp))
2141                 if (zp->z_sa_hdl) {
2142                         ASSERT(ZTOV(zp)->v_count >= 0);
2143                         zfs_znode_dmu_fini(zp);
2144                 }
2145         mutex_exit(&zfsvfs->z_znodes_lock);
2146
2147         /*
2148          * If we are unmounting, set the unmounted flag and let new vops
2149          * unblock.  zfs_inactive will have the unmounted behavior, and all
2150          * other vops will fail with EIO.
2151          */
2152         if (unmounting) {
2153                 zfsvfs->z_unmounted = B_TRUE;
2154                 rw_exit(&zfsvfs->z_teardown_inactive_lock);
2155                 rrm_exit(&zfsvfs->z_teardown_lock, FTAG);
2156         }
2157
2158         /*
2159          * z_os will be NULL if there was an error in attempting to reopen
2160          * zfsvfs, so just return as the properties had already been
2161          * unregistered and cached data had been evicted before.
2162          */
2163         if (zfsvfs->z_os == NULL)
2164                 return (0);
2165
2166         /*
2167          * Unregister properties.
2168          */
2169         zfs_unregister_callbacks(zfsvfs);
2170
2171         /*
2172          * Evict cached data
2173          */
2174         if (dsl_dataset_is_dirty(dmu_objset_ds(zfsvfs->z_os)) &&
2175             !(zfsvfs->z_vfs->vfs_flag & VFS_RDONLY))
2176                 txg_wait_synced(dmu_objset_pool(zfsvfs->z_os), 0);
2177         dmu_objset_evict_dbufs(zfsvfs->z_os);
2178
2179         return (0);
2180 }
2181
2182 /*ARGSUSED*/
2183 static int
2184 zfs_umount(vfs_t *vfsp, int fflag)
2185 {
2186         kthread_t *td = curthread;
2187         zfsvfs_t *zfsvfs = vfsp->vfs_data;
2188         objset_t *os;
2189         cred_t *cr = td->td_ucred;
2190         int ret;
2191
2192         zfs_root_putvnode(zfsvfs);
2193
2194         ret = secpolicy_fs_unmount(cr, vfsp);
2195         if (ret) {
2196                 if (dsl_deleg_access((char *)refstr_value(vfsp->vfs_resource),
2197                     ZFS_DELEG_PERM_MOUNT, cr))
2198                         return (ret);
2199         }
2200
2201         /*
2202          * We purge the parent filesystem's vfsp as the parent filesystem
2203          * and all of its snapshots have their vnode's v_vfsp set to the
2204          * parent's filesystem's vfsp.  Note, 'z_parent' is self
2205          * referential for non-snapshots.
2206          */
2207         (void) dnlc_purge_vfsp(zfsvfs->z_parent->z_vfs, 0);
2208
2209         /*
2210          * Unmount any snapshots mounted under .zfs before unmounting the
2211          * dataset itself.
2212          */
2213         if (zfsvfs->z_ctldir != NULL) {
2214                 if ((ret = zfsctl_umount_snapshots(vfsp, fflag, cr)) != 0)
2215                         return (ret);
2216         }
2217
2218         if (fflag & MS_FORCE) {
2219                 /*
2220                  * Mark file system as unmounted before calling
2221                  * vflush(FORCECLOSE). This way we ensure no future vnops
2222                  * will be called and risk operating on DOOMED vnodes.
2223                  */
2224                 rrm_enter(&zfsvfs->z_teardown_lock, RW_WRITER, FTAG);
2225                 zfsvfs->z_unmounted = B_TRUE;
2226                 rrm_exit(&zfsvfs->z_teardown_lock, FTAG);
2227         }
2228
2229         /*
2230          * Flush all the files.
2231          */
2232         ret = vflush(vfsp, 0, (fflag & MS_FORCE) ? FORCECLOSE : 0, td);
2233         if (ret != 0)
2234                 return (ret);
2235
2236 #ifdef illumos
2237         if (!(fflag & MS_FORCE)) {
2238                 /*
2239                  * Check the number of active vnodes in the file system.
2240                  * Our count is maintained in the vfs structure, but the
2241                  * number is off by 1 to indicate a hold on the vfs
2242                  * structure itself.
2243                  *
2244                  * The '.zfs' directory maintains a reference of its
2245                  * own, and any active references underneath are
2246                  * reflected in the vnode count.
2247                  */
2248                 if (zfsvfs->z_ctldir == NULL) {
2249                         if (vfsp->vfs_count > 1)
2250                                 return (SET_ERROR(EBUSY));
2251                 } else {
2252                         if (vfsp->vfs_count > 2 ||
2253                             zfsvfs->z_ctldir->v_count > 1)
2254                                 return (SET_ERROR(EBUSY));
2255                 }
2256         }
2257 #endif
2258
2259         while (taskqueue_cancel(zfsvfs_taskq->tq_queue,
2260             &zfsvfs->z_unlinked_drain_task, NULL) != 0)
2261                 taskqueue_drain(zfsvfs_taskq->tq_queue,
2262                     &zfsvfs->z_unlinked_drain_task);
2263
2264         VERIFY(zfsvfs_teardown(zfsvfs, B_TRUE) == 0);
2265         os = zfsvfs->z_os;
2266
2267         /*
2268          * z_os will be NULL if there was an error in
2269          * attempting to reopen zfsvfs.
2270          */
2271         if (os != NULL) {
2272                 /*
2273                  * Unset the objset user_ptr.
2274                  */
2275                 mutex_enter(&os->os_user_ptr_lock);
2276                 dmu_objset_set_user(os, NULL);
2277                 mutex_exit(&os->os_user_ptr_lock);
2278
2279                 /*
2280                  * Finally release the objset
2281                  */
2282                 dmu_objset_disown(os, zfsvfs);
2283         }
2284
2285         /*
2286          * We can now safely destroy the '.zfs' directory node.
2287          */
2288         if (zfsvfs->z_ctldir != NULL)
2289                 zfsctl_destroy(zfsvfs);
2290         zfs_freevfs(vfsp);
2291
2292         return (0);
2293 }
2294
2295 static int
2296 zfs_vget(vfs_t *vfsp, ino_t ino, int flags, vnode_t **vpp)
2297 {
2298         zfsvfs_t        *zfsvfs = vfsp->vfs_data;
2299         znode_t         *zp;
2300         int             err;
2301
2302         /*
2303          * zfs_zget() can't operate on virtual entries like .zfs/ or
2304          * .zfs/snapshot/ directories, that's why we return EOPNOTSUPP.
2305          * This will make NFS to switch to LOOKUP instead of using VGET.
2306          */
2307         if (ino == ZFSCTL_INO_ROOT || ino == ZFSCTL_INO_SNAPDIR ||
2308             (zfsvfs->z_shares_dir != 0 && ino == zfsvfs->z_shares_dir))
2309                 return (EOPNOTSUPP);
2310
2311         ZFS_ENTER(zfsvfs);
2312         err = zfs_zget(zfsvfs, ino, &zp);
2313         if (err == 0 && zp->z_unlinked) {
2314                 vrele(ZTOV(zp));
2315                 err = EINVAL;
2316         }
2317         if (err == 0)
2318                 *vpp = ZTOV(zp);
2319         ZFS_EXIT(zfsvfs);
2320         if (err == 0)
2321                 err = vn_lock(*vpp, flags);
2322         if (err != 0)
2323                 *vpp = NULL;
2324         return (err);
2325 }
2326
2327 static int
2328 zfs_checkexp(vfs_t *vfsp, struct sockaddr *nam, int *extflagsp,
2329     struct ucred **credanonp, int *numsecflavors, int **secflavors)
2330 {
2331         zfsvfs_t *zfsvfs = vfsp->vfs_data;
2332
2333         /*
2334          * If this is regular file system vfsp is the same as
2335          * zfsvfs->z_parent->z_vfs, but if it is snapshot,
2336          * zfsvfs->z_parent->z_vfs represents parent file system
2337          * which we have to use here, because only this file system
2338          * has mnt_export configured.
2339          */
2340         return (vfs_stdcheckexp(zfsvfs->z_parent->z_vfs, nam, extflagsp,
2341             credanonp, numsecflavors, secflavors));
2342 }
2343
2344 CTASSERT(SHORT_FID_LEN <= sizeof(struct fid));
2345 CTASSERT(LONG_FID_LEN <= sizeof(struct fid));
2346
2347 static int
2348 zfs_fhtovp(vfs_t *vfsp, fid_t *fidp, int flags, vnode_t **vpp)
2349 {
2350         struct componentname cn;
2351         zfsvfs_t        *zfsvfs = vfsp->vfs_data;
2352         znode_t         *zp;
2353         vnode_t         *dvp;
2354         uint64_t        object = 0;
2355         uint64_t        fid_gen = 0;
2356         uint64_t        gen_mask;
2357         uint64_t        zp_gen;
2358         int             i, err;
2359
2360         *vpp = NULL;
2361
2362         ZFS_ENTER(zfsvfs);
2363
2364         /*
2365          * On FreeBSD we can get snapshot's mount point or its parent file
2366          * system mount point depending if snapshot is already mounted or not.
2367          */
2368         if (zfsvfs->z_parent == zfsvfs && fidp->fid_len == LONG_FID_LEN) {
2369                 zfid_long_t     *zlfid = (zfid_long_t *)fidp;
2370                 uint64_t        objsetid = 0;
2371                 uint64_t        setgen = 0;
2372
2373                 for (i = 0; i < sizeof (zlfid->zf_setid); i++)
2374                         objsetid |= ((uint64_t)zlfid->zf_setid[i]) << (8 * i);
2375
2376                 for (i = 0; i < sizeof (zlfid->zf_setgen); i++)
2377                         setgen |= ((uint64_t)zlfid->zf_setgen[i]) << (8 * i);
2378
2379                 ZFS_EXIT(zfsvfs);
2380
2381                 err = zfsctl_lookup_objset(vfsp, objsetid, &zfsvfs);
2382                 if (err)
2383                         return (SET_ERROR(EINVAL));
2384                 ZFS_ENTER(zfsvfs);
2385         }
2386
2387         if (fidp->fid_len == SHORT_FID_LEN || fidp->fid_len == LONG_FID_LEN) {
2388                 zfid_short_t    *zfid = (zfid_short_t *)fidp;
2389
2390                 for (i = 0; i < sizeof (zfid->zf_object); i++)
2391                         object |= ((uint64_t)zfid->zf_object[i]) << (8 * i);
2392
2393                 for (i = 0; i < sizeof (zfid->zf_gen); i++)
2394                         fid_gen |= ((uint64_t)zfid->zf_gen[i]) << (8 * i);
2395         } else {
2396                 ZFS_EXIT(zfsvfs);
2397                 return (SET_ERROR(EINVAL));
2398         }
2399
2400         /*
2401          * A zero fid_gen means we are in .zfs or the .zfs/snapshot
2402          * directory tree. If the object == zfsvfs->z_shares_dir, then
2403          * we are in the .zfs/shares directory tree.
2404          */
2405         if ((fid_gen == 0 &&
2406              (object == ZFSCTL_INO_ROOT || object == ZFSCTL_INO_SNAPDIR)) ||
2407             (zfsvfs->z_shares_dir != 0 && object == zfsvfs->z_shares_dir)) {
2408                 ZFS_EXIT(zfsvfs);
2409                 VERIFY0(zfsctl_root(zfsvfs, LK_SHARED, &dvp));
2410                 if (object == ZFSCTL_INO_SNAPDIR) {
2411                         cn.cn_nameptr = "snapshot";
2412                         cn.cn_namelen = strlen(cn.cn_nameptr);
2413                         cn.cn_nameiop = LOOKUP;
2414                         cn.cn_flags = ISLASTCN | LOCKLEAF;
2415                         cn.cn_lkflags = flags;
2416                         VERIFY0(VOP_LOOKUP(dvp, vpp, &cn));
2417                         vput(dvp);
2418                 } else if (object == zfsvfs->z_shares_dir) {
2419                         /*
2420                          * XXX This branch must not be taken,
2421                          * if it is, then the lookup below will
2422                          * explode.
2423                          */
2424                         cn.cn_nameptr = "shares";
2425                         cn.cn_namelen = strlen(cn.cn_nameptr);
2426                         cn.cn_nameiop = LOOKUP;
2427                         cn.cn_flags = ISLASTCN;
2428                         cn.cn_lkflags = flags;
2429                         VERIFY0(VOP_LOOKUP(dvp, vpp, &cn));
2430                         vput(dvp);
2431                 } else {
2432                         *vpp = dvp;
2433                 }
2434                 return (err);
2435         }
2436
2437         gen_mask = -1ULL >> (64 - 8 * i);
2438
2439         dprintf("getting %llu [%u mask %llx]\n", object, fid_gen, gen_mask);
2440         if (err = zfs_zget(zfsvfs, object, &zp)) {
2441                 ZFS_EXIT(zfsvfs);
2442                 return (err);
2443         }
2444         (void) sa_lookup(zp->z_sa_hdl, SA_ZPL_GEN(zfsvfs), &zp_gen,
2445             sizeof (uint64_t));
2446         zp_gen = zp_gen & gen_mask;
2447         if (zp_gen == 0)
2448                 zp_gen = 1;
2449         if (zp->z_unlinked || zp_gen != fid_gen) {
2450                 dprintf("znode gen (%u) != fid gen (%u)\n", zp_gen, fid_gen);
2451                 vrele(ZTOV(zp));
2452                 ZFS_EXIT(zfsvfs);
2453                 return (SET_ERROR(EINVAL));
2454         }
2455
2456         *vpp = ZTOV(zp);
2457         ZFS_EXIT(zfsvfs);
2458         err = vn_lock(*vpp, flags);
2459         if (err == 0)
2460                 vnode_create_vobject(*vpp, zp->z_size, curthread);
2461         else
2462                 *vpp = NULL;
2463         return (err);
2464 }
2465
2466 /*
2467  * Block out VOPs and close zfsvfs_t::z_os
2468  *
2469  * Note, if successful, then we return with the 'z_teardown_lock' and
2470  * 'z_teardown_inactive_lock' write held.  We leave ownership of the underlying
2471  * dataset and objset intact so that they can be atomically handed off during
2472  * a subsequent rollback or recv operation and the resume thereafter.
2473  */
2474 int
2475 zfs_suspend_fs(zfsvfs_t *zfsvfs)
2476 {
2477         int error;
2478
2479         if ((error = zfsvfs_teardown(zfsvfs, B_FALSE)) != 0)
2480                 return (error);
2481
2482         return (0);
2483 }
2484
2485 /*
2486  * Rebuild SA and release VOPs.  Note that ownership of the underlying dataset
2487  * is an invariant across any of the operations that can be performed while the
2488  * filesystem was suspended.  Whether it succeeded or failed, the preconditions
2489  * are the same: the relevant objset and associated dataset are owned by
2490  * zfsvfs, held, and long held on entry.
2491  */
2492 int
2493 zfs_resume_fs(zfsvfs_t *zfsvfs, dsl_dataset_t *ds)
2494 {
2495         int err;
2496         znode_t *zp;
2497
2498         ASSERT(RRM_WRITE_HELD(&zfsvfs->z_teardown_lock));
2499         ASSERT(RW_WRITE_HELD(&zfsvfs->z_teardown_inactive_lock));
2500
2501         /*
2502          * We already own this, so just update the objset_t, as the one we
2503          * had before may have been evicted.
2504          */
2505         objset_t *os;
2506         VERIFY3P(ds->ds_owner, ==, zfsvfs);
2507         VERIFY(dsl_dataset_long_held(ds));
2508         VERIFY0(dmu_objset_from_ds(ds, &os));
2509
2510         err = zfsvfs_init(zfsvfs, os);
2511         if (err != 0)
2512                 goto bail;
2513
2514         VERIFY(zfsvfs_setup(zfsvfs, B_FALSE) == 0);
2515
2516         zfs_set_fuid_feature(zfsvfs);
2517
2518         /*
2519          * Attempt to re-establish all the active znodes with
2520          * their dbufs.  If a zfs_rezget() fails, then we'll let
2521          * any potential callers discover that via ZFS_ENTER_VERIFY_VP
2522          * when they try to use their znode.
2523          */
2524         mutex_enter(&zfsvfs->z_znodes_lock);
2525         for (zp = list_head(&zfsvfs->z_all_znodes); zp;
2526             zp = list_next(&zfsvfs->z_all_znodes, zp)) {
2527                 (void) zfs_rezget(zp);
2528         }
2529         mutex_exit(&zfsvfs->z_znodes_lock);
2530
2531 bail:
2532         /* release the VOPs */
2533         rw_exit(&zfsvfs->z_teardown_inactive_lock);
2534         rrm_exit(&zfsvfs->z_teardown_lock, FTAG);
2535
2536         if (err) {
2537                 /*
2538                  * Since we couldn't setup the sa framework, try to force
2539                  * unmount this file system.
2540                  */
2541                 if (vn_vfswlock(zfsvfs->z_vfs->vfs_vnodecovered) == 0) {
2542                         vfs_ref(zfsvfs->z_vfs);
2543                         (void) dounmount(zfsvfs->z_vfs, MS_FORCE, curthread);
2544                 }
2545         }
2546         return (err);
2547 }
2548
2549 static void
2550 zfs_freevfs(vfs_t *vfsp)
2551 {
2552         zfsvfs_t *zfsvfs = vfsp->vfs_data;
2553
2554 #ifdef illumos
2555         /*
2556          * If this is a snapshot, we have an extra VFS_HOLD on our parent
2557          * from zfs_mount().  Release it here.  If we came through
2558          * zfs_mountroot() instead, we didn't grab an extra hold, so
2559          * skip the VFS_RELE for rootvfs.
2560          */
2561         if (zfsvfs->z_issnap && (vfsp != rootvfs))
2562                 VFS_RELE(zfsvfs->z_parent->z_vfs);
2563 #endif
2564
2565         zfsvfs_free(zfsvfs);
2566
2567         atomic_dec_32(&zfs_active_fs_count);
2568 }
2569
2570 #ifdef __i386__
2571 static int desiredvnodes_backup;
2572 #endif
2573
2574 static void
2575 zfs_vnodes_adjust(void)
2576 {
2577 #ifdef __i386__
2578         int newdesiredvnodes;
2579
2580         desiredvnodes_backup = desiredvnodes;
2581
2582         /*
2583          * We calculate newdesiredvnodes the same way it is done in
2584          * vntblinit(). If it is equal to desiredvnodes, it means that
2585          * it wasn't tuned by the administrator and we can tune it down.
2586          */
2587         newdesiredvnodes = min(maxproc + vm_cnt.v_page_count / 4, 2 *
2588             vm_kmem_size / (5 * (sizeof(struct vm_object) +
2589             sizeof(struct vnode))));
2590         if (newdesiredvnodes == desiredvnodes)
2591                 desiredvnodes = (3 * newdesiredvnodes) / 4;
2592 #endif
2593 }
2594
2595 static void
2596 zfs_vnodes_adjust_back(void)
2597 {
2598
2599 #ifdef __i386__
2600         desiredvnodes = desiredvnodes_backup;
2601 #endif
2602 }
2603
2604 void
2605 zfs_init(void)
2606 {
2607
2608         printf("ZFS filesystem version: " ZPL_VERSION_STRING "\n");
2609
2610         /*
2611          * Initialize .zfs directory structures
2612          */
2613         zfsctl_init();
2614
2615         /*
2616          * Initialize znode cache, vnode ops, etc...
2617          */
2618         zfs_znode_init();
2619
2620         /*
2621          * Reduce number of vnodes. Originally number of vnodes is calculated
2622          * with UFS inode in mind. We reduce it here, because it's too big for
2623          * ZFS/i386.
2624          */
2625         zfs_vnodes_adjust();
2626
2627         dmu_objset_register_type(DMU_OST_ZFS, zfs_space_delta_cb);
2628 #if defined(__FreeBSD__)
2629         zfsvfs_taskq = taskq_create("zfsvfs", 1, minclsyspri, 0, 0, 0);
2630 #endif
2631 }
2632
2633 void
2634 zfs_fini(void)
2635 {
2636 #if defined(__FreeBSD__)
2637         taskq_destroy(zfsvfs_taskq);
2638 #endif
2639         zfsctl_fini();
2640         zfs_znode_fini();
2641         zfs_vnodes_adjust_back();
2642 }
2643
2644 int
2645 zfs_busy(void)
2646 {
2647         return (zfs_active_fs_count != 0);
2648 }
2649
2650 int
2651 zfs_set_version(zfsvfs_t *zfsvfs, uint64_t newvers)
2652 {
2653         int error;
2654         objset_t *os = zfsvfs->z_os;
2655         dmu_tx_t *tx;
2656
2657         if (newvers < ZPL_VERSION_INITIAL || newvers > ZPL_VERSION)
2658                 return (SET_ERROR(EINVAL));
2659
2660         if (newvers < zfsvfs->z_version)
2661                 return (SET_ERROR(EINVAL));
2662
2663         if (zfs_spa_version_map(newvers) >
2664             spa_version(dmu_objset_spa(zfsvfs->z_os)))
2665                 return (SET_ERROR(ENOTSUP));
2666
2667         tx = dmu_tx_create(os);
2668         dmu_tx_hold_zap(tx, MASTER_NODE_OBJ, B_FALSE, ZPL_VERSION_STR);
2669         if (newvers >= ZPL_VERSION_SA && !zfsvfs->z_use_sa) {
2670                 dmu_tx_hold_zap(tx, MASTER_NODE_OBJ, B_TRUE,
2671                     ZFS_SA_ATTRS);
2672                 dmu_tx_hold_zap(tx, DMU_NEW_OBJECT, FALSE, NULL);
2673         }
2674         error = dmu_tx_assign(tx, TXG_WAIT);
2675         if (error) {
2676                 dmu_tx_abort(tx);
2677                 return (error);
2678         }
2679
2680         error = zap_update(os, MASTER_NODE_OBJ, ZPL_VERSION_STR,
2681             8, 1, &newvers, tx);
2682
2683         if (error) {
2684                 dmu_tx_commit(tx);
2685                 return (error);
2686         }
2687
2688         if (newvers >= ZPL_VERSION_SA && !zfsvfs->z_use_sa) {
2689                 uint64_t sa_obj;
2690
2691                 ASSERT3U(spa_version(dmu_objset_spa(zfsvfs->z_os)), >=,
2692                     SPA_VERSION_SA);
2693                 sa_obj = zap_create(os, DMU_OT_SA_MASTER_NODE,
2694                     DMU_OT_NONE, 0, tx);
2695
2696                 error = zap_add(os, MASTER_NODE_OBJ,
2697                     ZFS_SA_ATTRS, 8, 1, &sa_obj, tx);
2698                 ASSERT0(error);
2699
2700                 VERIFY(0 == sa_set_sa_object(os, sa_obj));
2701                 sa_register_update_callback(os, zfs_sa_upgrade);
2702         }
2703
2704         spa_history_log_internal_ds(dmu_objset_ds(os), "upgrade", tx,
2705             "from %llu to %llu", zfsvfs->z_version, newvers);
2706
2707         dmu_tx_commit(tx);
2708
2709         zfsvfs->z_version = newvers;
2710         os->os_version = newvers;
2711
2712         zfs_set_fuid_feature(zfsvfs);
2713
2714         return (0);
2715 }
2716
2717 /*
2718  * Read a property stored within the master node.
2719  */
2720 int
2721 zfs_get_zplprop(objset_t *os, zfs_prop_t prop, uint64_t *value)
2722 {
2723         uint64_t *cached_copy = NULL;
2724
2725         /*
2726          * Figure out where in the objset_t the cached copy would live, if it
2727          * is available for the requested property.
2728          */
2729         if (os != NULL) {
2730                 switch (prop) {
2731                 case ZFS_PROP_VERSION:
2732                         cached_copy = &os->os_version;
2733                         break;
2734                 case ZFS_PROP_NORMALIZE:
2735                         cached_copy = &os->os_normalization;
2736                         break;
2737                 case ZFS_PROP_UTF8ONLY:
2738                         cached_copy = &os->os_utf8only;
2739                         break;
2740                 case ZFS_PROP_CASE:
2741                         cached_copy = &os->os_casesensitivity;
2742                         break;
2743                 default:
2744                         break;
2745                 }
2746         }
2747         if (cached_copy != NULL && *cached_copy != OBJSET_PROP_UNINITIALIZED) {
2748                 *value = *cached_copy;
2749                 return (0);
2750         }
2751
2752         /*
2753          * If the property wasn't cached, look up the file system's value for
2754          * the property. For the version property, we look up a slightly
2755          * different string.
2756          */
2757         const char *pname;
2758         int error = ENOENT;
2759         if (prop == ZFS_PROP_VERSION) {
2760                 pname = ZPL_VERSION_STR;
2761         } else {
2762                 pname = zfs_prop_to_name(prop);
2763         }
2764
2765         if (os != NULL) {
2766                 ASSERT3U(os->os_phys->os_type, ==, DMU_OST_ZFS);
2767                 error = zap_lookup(os, MASTER_NODE_OBJ, pname, 8, 1, value);
2768         }
2769
2770         if (error == ENOENT) {
2771                 /* No value set, use the default value */
2772                 switch (prop) {
2773                 case ZFS_PROP_VERSION:
2774                         *value = ZPL_VERSION;
2775                         break;
2776                 case ZFS_PROP_NORMALIZE:
2777                 case ZFS_PROP_UTF8ONLY:
2778                         *value = 0;
2779                         break;
2780                 case ZFS_PROP_CASE:
2781                         *value = ZFS_CASE_SENSITIVE;
2782                         break;
2783                 default:
2784                         return (error);
2785                 }
2786                 error = 0;
2787         }
2788
2789         /*
2790          * If one of the methods for getting the property value above worked,
2791          * copy it into the objset_t's cache.
2792          */
2793         if (error == 0 && cached_copy != NULL) {
2794                 *cached_copy = *value;
2795         }
2796
2797         return (error);
2798 }
2799
2800 /*
2801  * Return true if the coresponding vfs's unmounted flag is set.
2802  * Otherwise return false.
2803  * If this function returns true we know VFS unmount has been initiated.
2804  */
2805 boolean_t
2806 zfs_get_vfs_flag_unmounted(objset_t *os)
2807 {
2808         zfsvfs_t *zfvp;
2809         boolean_t unmounted = B_FALSE;
2810
2811         ASSERT(dmu_objset_type(os) == DMU_OST_ZFS);
2812
2813         mutex_enter(&os->os_user_ptr_lock);
2814         zfvp = dmu_objset_get_user(os);
2815         if (zfvp != NULL && zfvp->z_vfs != NULL &&
2816             (zfvp->z_vfs->mnt_kern_flag & MNTK_UNMOUNT))
2817                 unmounted = B_TRUE;
2818         mutex_exit(&os->os_user_ptr_lock);
2819
2820         return (unmounted);
2821 }
2822
2823 #ifdef _KERNEL
2824 void
2825 zfsvfs_update_fromname(const char *oldname, const char *newname)
2826 {
2827         char tmpbuf[MAXPATHLEN];
2828         struct mount *mp;
2829         char *fromname;
2830         size_t oldlen;
2831
2832         oldlen = strlen(oldname);
2833
2834         mtx_lock(&mountlist_mtx);
2835         TAILQ_FOREACH(mp, &mountlist, mnt_list) {
2836                 fromname = mp->mnt_stat.f_mntfromname;
2837                 if (strcmp(fromname, oldname) == 0) {
2838                         (void)strlcpy(fromname, newname,
2839                             sizeof(mp->mnt_stat.f_mntfromname));
2840                         continue;
2841                 }
2842                 if (strncmp(fromname, oldname, oldlen) == 0 &&
2843                     (fromname[oldlen] == '/' || fromname[oldlen] == '@')) {
2844                         (void)snprintf(tmpbuf, sizeof(tmpbuf), "%s%s",
2845                             newname, fromname + oldlen);
2846                         (void)strlcpy(fromname, tmpbuf,
2847                             sizeof(mp->mnt_stat.f_mntfromname));
2848                         continue;
2849                 }
2850         }
2851         mtx_unlock(&mountlist_mtx);
2852 }
2853 #endif