sys/fs/nullfs/null_vnops.c

   1 /*-
   2  * Copyright (c) 1992, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  *
   5  * This code is derived from software contributed to Berkeley by
   6  * John Heidemann of the UCLA Ficus project.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 4. Neither the name of the University nor the names of its contributors
  17  *    may be used to endorse or promote products derived from this software
  18  *    without specific prior written permission.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  23  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  24  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  30  * SUCH DAMAGE.
  31  *
  32  *      @(#)null_vnops.c        8.6 (Berkeley) 5/27/95
  33  *
  34  * Ancestors:
  35  *      @(#)lofs_vnops.c        1.2 (Berkeley) 6/18/92
  36  *      ...and...
  37  *      @(#)null_vnodeops.c 1.20 92/07/07 UCLA Ficus project
  38  *
  39  * $FreeBSD$
  40  */
  41
  42 /*
  43  * Null Layer
  44  *
  45  * (See mount_nullfs(8) for more information.)
  46  *
  47  * The null layer duplicates a portion of the filesystem
  48  * name space under a new name.  In this respect, it is
  49  * similar to the loopback filesystem.  It differs from
  50  * the loopback fs in two respects:  it is implemented using
  51  * a stackable layers techniques, and its "null-node"s stack above
  52  * all lower-layer vnodes, not just over directory vnodes.
  53  *
  54  * The null layer has two purposes.  First, it serves as a demonstration
  55  * of layering by proving a layer which does nothing.  (It actually
  56  * does everything the loopback filesystem does, which is slightly
  57  * more than nothing.)  Second, the null layer can serve as a prototype
  58  * layer.  Since it provides all necessary layer framework,
  59  * new filesystem layers can be created very easily be starting
  60  * with a null layer.
  61  *
  62  * The remainder of this man page examines the null layer as a basis
  63  * for constructing new layers.
  64  *
  65  *
  66  * INSTANTIATING NEW NULL LAYERS
  67  *
  68  * New null layers are created with mount_nullfs(8).
  69  * Mount_nullfs(8) takes two arguments, the pathname
  70  * of the lower vfs (target-pn) and the pathname where the null
  71  * layer will appear in the namespace (alias-pn).  After
  72  * the null layer is put into place, the contents
  73  * of target-pn subtree will be aliased under alias-pn.
  74  *
  75  *
  76  * OPERATION OF A NULL LAYER
  77  *
  78  * The null layer is the minimum filesystem layer,
  79  * simply bypassing all possible operations to the lower layer
  80  * for processing there.  The majority of its activity centers
  81  * on the bypass routine, through which nearly all vnode operations
  82  * pass.
  83  *
  84  * The bypass routine accepts arbitrary vnode operations for
  85  * handling by the lower layer.  It begins by examing vnode
  86  * operation arguments and replacing any null-nodes by their
  87  * lower-layer equivlants.  It then invokes the operation
  88  * on the lower layer.  Finally, it replaces the null-nodes
  89  * in the arguments and, if a vnode is return by the operation,
  90  * stacks a null-node on top of the returned vnode.
  91  *
  92  * Although bypass handles most operations, vop_getattr, vop_lock,
  93  * vop_unlock, vop_inactive, vop_reclaim, and vop_print are not
  94  * bypassed. Vop_getattr must change the fsid being returned.
  95  * Vop_lock and vop_unlock must handle any locking for the
  96  * current vnode as well as pass the lock request down.
  97  * Vop_inactive and vop_reclaim are not bypassed so that
  98  * they can handle freeing null-layer specific data. Vop_print
  99  * is not bypassed to avoid excessive debugging information.
 100  * Also, certain vnode operations change the locking state within
 101  * the operation (create, mknod, remove, link, rename, mkdir, rmdir,
 102  * and symlink). Ideally these operations should not change the
 103  * lock state, but should be changed to let the caller of the
 104  * function unlock them. Otherwise all intermediate vnode layers
 105  * (such as union, umapfs, etc) must catch these functions to do
 106  * the necessary locking at their layer.
 107  *
 108  *
 109  * INSTANTIATING VNODE STACKS
 110  *
 111  * Mounting associates the null layer with a lower layer,
 112  * effect stacking two VFSes.  Vnode stacks are instead
 113  * created on demand as files are accessed.
 114  *
 115  * The initial mount creates a single vnode stack for the
 116  * root of the new null layer.  All other vnode stacks
 117  * are created as a result of vnode operations on
 118  * this or other null vnode stacks.
 119  *
 120  * New vnode stacks come into existance as a result of
 121  * an operation which returns a vnode.
 122  * The bypass routine stacks a null-node above the new
 123  * vnode before returning it to the caller.
 124  *
 125  * For example, imagine mounting a null layer with
 126  * "mount_nullfs /usr/include /dev/layer/null".
 127  * Changing directory to /dev/layer/null will assign
 128  * the root null-node (which was created when the null layer was mounted).
 129  * Now consider opening "sys".  A vop_lookup would be
 130  * done on the root null-node.  This operation would bypass through
 131  * to the lower layer which would return a vnode representing
 132  * the UFS "sys".  Null_bypass then builds a null-node
 133  * aliasing the UFS "sys" and returns this to the caller.
 134  * Later operations on the null-node "sys" will repeat this
 135  * process when constructing other vnode stacks.
 136  *
 137  *
 138  * CREATING OTHER FILE SYSTEM LAYERS
 139  *
 140  * One of the easiest ways to construct new filesystem layers is to make
 141  * a copy of the null layer, rename all files and variables, and
 142  * then begin modifing the copy.  Sed can be used to easily rename
 143  * all variables.
 144  *
 145  * The umap layer is an example of a layer descended from the
 146  * null layer.
 147  *
 148  *
 149  * INVOKING OPERATIONS ON LOWER LAYERS
 150  *
 151  * There are two techniques to invoke operations on a lower layer
 152  * when the operation cannot be completely bypassed.  Each method
 153  * is appropriate in different situations.  In both cases,
 154  * it is the responsibility of the aliasing layer to make
 155  * the operation arguments "correct" for the lower layer
 156  * by mapping a vnode arguments to the lower layer.
 157  *
 158  * The first approach is to call the aliasing layer's bypass routine.
 159  * This method is most suitable when you wish to invoke the operation
 160  * currently being handled on the lower layer.  It has the advantage
 161  * that the bypass routine already must do argument mapping.
 162  * An example of this is null_getattrs in the null layer.
 163  *
 164  * A second approach is to directly invoke vnode operations on
 165  * the lower layer with the VOP_OPERATIONNAME interface.
 166  * The advantage of this method is that it is easy to invoke
 167  * arbitrary operations on the lower layer.  The disadvantage
 168  * is that vnode arguments must be manualy mapped.
 169  *
 170  */
 171
 172 #include <sys/param.h>
 173 #include <sys/systm.h>
 174 #include <sys/conf.h>
 175 #include <sys/kernel.h>
 176 #include <sys/lock.h>
 177 #include <sys/malloc.h>
 178 #include <sys/mount.h>
 179 #include <sys/mutex.h>
 180 #include <sys/namei.h>
 181 #include <sys/sysctl.h>
 182 #include <sys/vnode.h>
 183
 184 #include <fs/nullfs/null.h>
 185
 186 #include <vm/vm.h>
 187 #include <vm/vm_extern.h>
 188 #include <vm/vm_object.h>
 189 #include <vm/vnode_pager.h>
 190
 191 static int null_bug_bypass = 0;   /* for debugging: enables bypass printf'ing */
 192 SYSCTL_INT(_debug, OID_AUTO, nullfs_bug_bypass, CTLFLAG_RW,
 193         &null_bug_bypass, 0, "");
 194
 195 /*
 196  * This is the 10-Apr-92 bypass routine.
 197  *    This version has been optimized for speed, throwing away some
 198  * safety checks.  It should still always work, but it's not as
 199  * robust to programmer errors.
 200  *
 201  * In general, we map all vnodes going down and unmap them on the way back.
 202  * As an exception to this, vnodes can be marked "unmapped" by setting
 203  * the Nth bit in operation's vdesc_flags.
 204  *
 205  * Also, some BSD vnode operations have the side effect of vrele'ing
 206  * their arguments.  With stacking, the reference counts are held
 207  * by the upper node, not the lower one, so we must handle these
 208  * side-effects here.  This is not of concern in Sun-derived systems
 209  * since there are no such side-effects.
 210  *
 211  * This makes the following assumptions:
 212  * - only one returned vpp
 213  * - no INOUT vpp's (Sun's vop_open has one of these)
 214  * - the vnode operation vector of the first vnode should be used
 215  *   to determine what implementation of the op should be invoked
 216  * - all mapped vnodes are of our vnode-type (NEEDSWORK:
 217  *   problems on rmdir'ing mount points and renaming?)
 218  */
 219 int
 220 null_bypass(struct vop_generic_args *ap)
 221 {
 222         struct vnode **this_vp_p;
 223         int error;
 224         struct vnode *old_vps[VDESC_MAX_VPS];
 225         struct vnode **vps_p[VDESC_MAX_VPS];
 226         struct vnode ***vppp;
 227         struct vnodeop_desc *descp = ap->a_desc;
 228         int reles, i;
 229
 230         if (null_bug_bypass)
 231                 printf ("null_bypass: %s\n", descp->vdesc_name);
 232
 233 #ifdef DIAGNOSTIC
 234         /*
 235          * We require at least one vp.
 236          */
 237         if (descp->vdesc_vp_offsets == NULL ||
 238             descp->vdesc_vp_offsets[0] == VDESC_NO_OFFSET)
 239                 panic ("null_bypass: no vp's in map");
 240 #endif
 241
 242         /*
 243          * Map the vnodes going in.
 244          * Later, we'll invoke the operation based on
 245          * the first mapped vnode's operation vector.
 246          */
 247         reles = descp->vdesc_flags;
 248         for (i = 0; i < VDESC_MAX_VPS; reles >>= 1, i++) {
 249                 if (descp->vdesc_vp_offsets[i] == VDESC_NO_OFFSET)
 250                         break;   /* bail out at end of list */
 251                 vps_p[i] = this_vp_p =
 252                         VOPARG_OFFSETTO(struct vnode**,descp->vdesc_vp_offsets[i],ap);
 253                 /*
 254                  * We're not guaranteed that any but the first vnode
 255                  * are of our type.  Check for and don't map any
 256                  * that aren't.  (We must always map first vp or vclean fails.)
 257                  */
 258                 if (i && (*this_vp_p == NULLVP ||
 259                     (*this_vp_p)->v_op != &null_vnodeops)) {
 260                         old_vps[i] = NULLVP;
 261                 } else {
 262                         old_vps[i] = *this_vp_p;
 263                         *(vps_p[i]) = NULLVPTOLOWERVP(*this_vp_p);
 264                         /*
 265                          * XXX - Several operations have the side effect
 266                          * of vrele'ing their vp's.  We must account for
 267                          * that.  (This should go away in the future.)
 268                          */
 269                         if (reles & VDESC_VP0_WILLRELE)
 270                                 VREF(*this_vp_p);
 271                 }
 272
 273         }
 274
 275         /*
 276          * Call the operation on the lower layer
 277          * with the modified argument structure.
 278          */
 279         if (vps_p[0] && *vps_p[0])
 280                 error = VCALL(ap);
 281         else {
 282                 printf("null_bypass: no map for %s\n", descp->vdesc_name);
 283                 error = EINVAL;
 284         }
 285
 286         /*
 287          * Maintain the illusion of call-by-value
 288          * by restoring vnodes in the argument structure
 289          * to their original value.
 290          */
 291         reles = descp->vdesc_flags;
 292         for (i = 0; i < VDESC_MAX_VPS; reles >>= 1, i++) {
 293                 if (descp->vdesc_vp_offsets[i] == VDESC_NO_OFFSET)
 294                         break;   /* bail out at end of list */
 295                 if (old_vps[i]) {
 296                         *(vps_p[i]) = old_vps[i];
 297 #if 0
 298                         if (reles & VDESC_VP0_WILLUNLOCK)
 299                                 VOP_UNLOCK(*(vps_p[i]), 0);
 300 #endif
 301                         if (reles & VDESC_VP0_WILLRELE)
 302                                 vrele(*(vps_p[i]));
 303                 }
 304         }
 305
 306         /*
 307          * Map the possible out-going vpp
 308          * (Assumes that the lower layer always returns
 309          * a VREF'ed vpp unless it gets an error.)
 310          */
 311         if (descp->vdesc_vpp_offset != VDESC_NO_OFFSET &&
 312             !(descp->vdesc_flags & VDESC_NOMAP_VPP) &&
 313             !error) {
 314                 /*
 315                  * XXX - even though some ops have vpp returned vp's,
 316                  * several ops actually vrele this before returning.
 317                  * We must avoid these ops.
 318                  * (This should go away when these ops are regularized.)
 319                  */
 320                 if (descp->vdesc_flags & VDESC_VPP_WILLRELE)
 321                         goto out;
 322                 vppp = VOPARG_OFFSETTO(struct vnode***,
 323                                  descp->vdesc_vpp_offset,ap);
 324                 if (*vppp)
 325                         error = null_nodeget(old_vps[0]->v_mount, **vppp, *vppp);
 326         }
 327
 328  out:
 329         return (error);
 330 }
 331
 332 static int
 333 null_add_writecount(struct vop_add_writecount_args *ap)
 334 {
 335         struct vnode *lvp, *vp;
 336         int error;
 337
 338         vp = ap->a_vp;
 339         lvp = NULLVPTOLOWERVP(vp);
 340         KASSERT(vp->v_writecount + ap->a_inc >= 0, ("wrong writecount inc"));
 341         if (vp->v_writecount > 0 && vp->v_writecount + ap->a_inc == 0)
 342                 error = VOP_ADD_WRITECOUNT(lvp, -1);
 343         else if (vp->v_writecount == 0 && vp->v_writecount + ap->a_inc > 0)
 344                 error = VOP_ADD_WRITECOUNT(lvp, 1);
 345         else
 346                 error = 0;
 347         if (error == 0)
 348                 vp->v_writecount += ap->a_inc;
 349         return (error);
 350 }
 351
 352 /*
 353  * We have to carry on the locking protocol on the null layer vnodes
 354  * as we progress through the tree. We also have to enforce read-only
 355  * if this layer is mounted read-only.
 356  */
 357 static int
 358 null_lookup(struct vop_lookup_args *ap)
 359 {
 360         struct componentname *cnp = ap->a_cnp;
 361         struct vnode *dvp = ap->a_dvp;
 362         int flags = cnp->cn_flags;
 363         struct vnode *vp, *ldvp, *lvp;
 364         int error;
 365
 366         if ((flags & ISLASTCN) && (dvp->v_mount->mnt_flag & MNT_RDONLY) &&
 367             (cnp->cn_nameiop == DELETE || cnp->cn_nameiop == RENAME))
 368                 return (EROFS);
 369         /*
 370          * Although it is possible to call null_bypass(), we'll do
 371          * a direct call to reduce overhead
 372          */
 373         ldvp = NULLVPTOLOWERVP(dvp);
 374         vp = lvp = NULL;
 375         error = VOP_LOOKUP(ldvp, &lvp, cnp);
 376         if (error == EJUSTRETURN && (flags & ISLASTCN) &&
 377             (dvp->v_mount->mnt_flag & MNT_RDONLY) &&
 378             (cnp->cn_nameiop == CREATE || cnp->cn_nameiop == RENAME))
 379                 error = EROFS;
 380
 381         if ((error == 0 || error == EJUSTRETURN) && lvp != NULL) {
 382                 if (ldvp == lvp) {
 383                         *ap->a_vpp = dvp;
 384                         VREF(dvp);
 385                         vrele(lvp);
 386                 } else {
 387                         error = null_nodeget(dvp->v_mount, lvp, &vp);
 388                         if (error == 0)
 389                                 *ap->a_vpp = vp;
 390                 }
 391         }
 392         return (error);
 393 }
 394
 395 static int
 396 null_open(struct vop_open_args *ap)
 397 {
 398         int retval;
 399         struct vnode *vp, *ldvp;
 400
 401         vp = ap->a_vp;
 402         ldvp = NULLVPTOLOWERVP(vp);
 403         retval = null_bypass(&ap->a_gen);
 404         if (retval == 0)
 405                 vp->v_object = ldvp->v_object;
 406         return (retval);
 407 }
 408
 409 /*
 410  * Setattr call. Disallow write attempts if the layer is mounted read-only.
 411  */
 412 static int
 413 null_setattr(struct vop_setattr_args *ap)
 414 {
 415         struct vnode *vp = ap->a_vp;
 416         struct vattr *vap = ap->a_vap;
 417
 418         if ((vap->va_flags != VNOVAL || vap->va_uid != (uid_t)VNOVAL ||
 419             vap->va_gid != (gid_t)VNOVAL || vap->va_atime.tv_sec != VNOVAL ||
 420             vap->va_mtime.tv_sec != VNOVAL || vap->va_mode != (mode_t)VNOVAL) &&
 421             (vp->v_mount->mnt_flag & MNT_RDONLY))
 422                 return (EROFS);
 423         if (vap->va_size != VNOVAL) {
 424                 switch (vp->v_type) {
 425                 case VDIR:
 426                         return (EISDIR);
 427                 case VCHR:
 428                 case VBLK:
 429                 case VSOCK:
 430                 case VFIFO:
 431                         if (vap->va_flags != VNOVAL)
 432                                 return (EOPNOTSUPP);
 433                         return (0);
 434                 case VREG:
 435                 case VLNK:
 436                 default:
 437                         /*
 438                          * Disallow write attempts if the filesystem is
 439                          * mounted read-only.
 440                          */
 441                         if (vp->v_mount->mnt_flag & MNT_RDONLY)
 442                                 return (EROFS);
 443                 }
 444         }
 445
 446         return (null_bypass((struct vop_generic_args *)ap));
 447 }
 448
 449 /*
 450  *  We handle getattr only to change the fsid.
 451  */
 452 static int
 453 null_getattr(struct vop_getattr_args *ap)
 454 {
 455         int error;
 456
 457         if ((error = null_bypass((struct vop_generic_args *)ap)) != 0)
 458                 return (error);
 459
 460         ap->a_vap->va_fsid = ap->a_vp->v_mount->mnt_stat.f_fsid.val[0];
 461         return (0);
 462 }
 463
 464 /*
 465  * Handle to disallow write access if mounted read-only.
 466  */
 467 static int
 468 null_access(struct vop_access_args *ap)
 469 {
 470         struct vnode *vp = ap->a_vp;
 471         accmode_t accmode = ap->a_accmode;
 472
 473         /*
 474          * Disallow write attempts on read-only layers;
 475          * unless the file is a socket, fifo, or a block or
 476          * character device resident on the filesystem.
 477          */
 478         if (accmode & VWRITE) {
 479                 switch (vp->v_type) {
 480                 case VDIR:
 481                 case VLNK:
 482                 case VREG:
 483                         if (vp->v_mount->mnt_flag & MNT_RDONLY)
 484                                 return (EROFS);
 485                         break;
 486                 default:
 487                         break;
 488                 }
 489         }
 490         return (null_bypass((struct vop_generic_args *)ap));
 491 }
 492
 493 static int
 494 null_accessx(struct vop_accessx_args *ap)
 495 {
 496         struct vnode *vp = ap->a_vp;
 497         accmode_t accmode = ap->a_accmode;
 498
 499         /*
 500          * Disallow write attempts on read-only layers;
 501          * unless the file is a socket, fifo, or a block or
 502          * character device resident on the filesystem.
 503          */
 504         if (accmode & VWRITE) {
 505                 switch (vp->v_type) {
 506                 case VDIR:
 507                 case VLNK:
 508                 case VREG:
 509                         if (vp->v_mount->mnt_flag & MNT_RDONLY)
 510                                 return (EROFS);
 511                         break;
 512                 default:
 513                         break;
 514                 }
 515         }
 516         return (null_bypass((struct vop_generic_args *)ap));
 517 }
 518
 519 /*
 520  * Increasing refcount of lower vnode is needed at least for the case
 521  * when lower FS is NFS to do sillyrename if the file is in use.
 522  * Unfortunately v_usecount is incremented in many places in
 523  * the kernel and, as such, there may be races that result in
 524  * the NFS client doing an extraneous silly rename, but that seems
 525  * preferable to not doing a silly rename when it is needed.
 526  */
 527 static int
 528 null_remove(struct vop_remove_args *ap)
 529 {
 530         int retval, vreleit;
 531         struct vnode *lvp;
 532
 533         if (vrefcnt(ap->a_vp) > 1) {
 534                 lvp = NULLVPTOLOWERVP(ap->a_vp);
 535                 VREF(lvp);
 536                 vreleit = 1;
 537         } else
 538                 vreleit = 0;
 539         retval = null_bypass(&ap->a_gen);
 540         if (vreleit != 0)
 541                 vrele(lvp);
 542         return (retval);
 543 }
 544
 545 /*
 546  * We handle this to eliminate null FS to lower FS
 547  * file moving. Don't know why we don't allow this,
 548  * possibly we should.
 549  */
 550 static int
 551 null_rename(struct vop_rename_args *ap)
 552 {
 553         struct vnode *tdvp = ap->a_tdvp;
 554         struct vnode *fvp = ap->a_fvp;
 555         struct vnode *fdvp = ap->a_fdvp;
 556         struct vnode *tvp = ap->a_tvp;
 557
 558         /* Check for cross-device rename. */
 559         if ((fvp->v_mount != tdvp->v_mount) ||
 560             (tvp && (fvp->v_mount != tvp->v_mount))) {
 561                 if (tdvp == tvp)
 562                         vrele(tdvp);
 563                 else
 564                         vput(tdvp);
 565                 if (tvp)
 566                         vput(tvp);
 567                 vrele(fdvp);
 568                 vrele(fvp);
 569                 return (EXDEV);
 570         }
 571
 572         return (null_bypass((struct vop_generic_args *)ap));
 573 }
 574
 575 /*
 576  * We need to process our own vnode lock and then clear the
 577  * interlock flag as it applies only to our vnode, not the
 578  * vnodes below us on the stack.
 579  */
 580 static int
 581 null_lock(struct vop_lock1_args *ap)
 582 {
 583         struct vnode *vp = ap->a_vp;
 584         int flags = ap->a_flags;
 585         struct null_node *nn;
 586         struct vnode *lvp;
 587         int error;
 588
 589
 590         if ((flags & LK_INTERLOCK) == 0) {
 591                 VI_LOCK(vp);
 592                 ap->a_flags = flags |= LK_INTERLOCK;
 593         }
 594         nn = VTONULL(vp);
 595         /*
 596          * If we're still active we must ask the lower layer to
 597          * lock as ffs has special lock considerations in it's
 598          * vop lock.
 599          */
 600         if (nn != NULL && (lvp = NULLVPTOLOWERVP(vp)) != NULL) {
 601                 VI_LOCK_FLAGS(lvp, MTX_DUPOK);
 602                 VI_UNLOCK(vp);
 603                 /*
 604                  * We have to hold the vnode here to solve a potential
 605                  * reclaim race.  If we're forcibly vgone'd while we
 606                  * still have refs, a thread could be sleeping inside
 607                  * the lowervp's vop_lock routine.  When we vgone we will
 608                  * drop our last ref to the lowervp, which would allow it
 609                  * to be reclaimed.  The lowervp could then be recycled,
 610                  * in which case it is not legal to be sleeping in it's VOP.
 611                  * We prevent it from being recycled by holding the vnode
 612                  * here.
 613                  */
 614                 vholdl(lvp);
 615                 error = VOP_LOCK(lvp, flags);
 616
 617                 /*
 618                  * We might have slept to get the lock and someone might have
 619                  * clean our vnode already, switching vnode lock from one in
 620                  * lowervp to v_lock in our own vnode structure.  Handle this
 621                  * case by reacquiring correct lock in requested mode.
 622                  */
 623                 if (VTONULL(vp) == NULL && error == 0) {
 624                         ap->a_flags &= ~(LK_TYPE_MASK | LK_INTERLOCK);
 625                         switch (flags & LK_TYPE_MASK) {
 626                         case LK_SHARED:
 627                                 ap->a_flags |= LK_SHARED;
 628                                 break;
 629                         case LK_UPGRADE:
 630                         case LK_EXCLUSIVE:
 631                                 ap->a_flags |= LK_EXCLUSIVE;
 632                                 break;
 633                         default:
 634                                 panic("Unsupported lock request %d\n",
 635                                     ap->a_flags);
 636                         }
 637                         VOP_UNLOCK(lvp, 0);
 638                         error = vop_stdlock(ap);
 639                 }
 640                 vdrop(lvp);
 641         } else
 642                 error = vop_stdlock(ap);
 643
 644         return (error);
 645 }
 646
 647 /*
 648  * We need to process our own vnode unlock and then clear the
 649  * interlock flag as it applies only to our vnode, not the
 650  * vnodes below us on the stack.
 651  */
 652 static int
 653 null_unlock(struct vop_unlock_args *ap)
 654 {
 655         struct vnode *vp = ap->a_vp;
 656         int flags = ap->a_flags;
 657         int mtxlkflag = 0;
 658         struct null_node *nn;
 659         struct vnode *lvp;
 660         int error;
 661
 662         if ((flags & LK_INTERLOCK) != 0)
 663                 mtxlkflag = 1;
 664         else if (mtx_owned(VI_MTX(vp)) == 0) {
 665                 VI_LOCK(vp);
 666                 mtxlkflag = 2;
 667         }
 668         nn = VTONULL(vp);
 669         if (nn != NULL && (lvp = NULLVPTOLOWERVP(vp)) != NULL) {
 670                 VI_LOCK_FLAGS(lvp, MTX_DUPOK);
 671                 flags |= LK_INTERLOCK;
 672                 vholdl(lvp);
 673                 VI_UNLOCK(vp);
 674                 error = VOP_UNLOCK(lvp, flags);
 675                 vdrop(lvp);
 676                 if (mtxlkflag == 0)
 677                         VI_LOCK(vp);
 678         } else {
 679                 if (mtxlkflag == 2)
 680                         VI_UNLOCK(vp);
 681                 error = vop_stdunlock(ap);
 682         }
 683
 684         return (error);
 685 }
 686
 687 /*
 688  * Do not allow the VOP_INACTIVE to be passed to the lower layer,
 689  * since the reference count on the lower vnode is not related to
 690  * ours.
 691  */
 692 static int
 693 null_inactive(struct vop_inactive_args *ap __unused)
 694 {
 695         struct vnode *vp;
 696         struct mount *mp;
 697         struct null_mount *xmp;
 698
 699         vp = ap->a_vp;
 700         mp = vp->v_mount;
 701         xmp = MOUNTTONULLMOUNT(mp);
 702         if ((xmp->nullm_flags & NULLM_CACHE) == 0) {
 703                 /*
 704                  * If this is the last reference and caching of the
 705                  * nullfs vnodes is not enabled, then free up the
 706                  * vnode so as not to tie up the lower vnodes.
 707                  */
 708                 vp->v_object = NULL;
 709                 vrecycle(vp);
 710         }
 711         return (0);
 712 }
 713
 714 /*
 715  * Now, the nullfs vnode and, due to the sharing lock, the lower
 716  * vnode, are exclusively locked, and we shall destroy the null vnode.
 717  */
 718 static int
 719 null_reclaim(struct vop_reclaim_args *ap)
 720 {
 721         struct vnode *vp;
 722         struct null_node *xp;
 723         struct vnode *lowervp;
 724
 725         vp = ap->a_vp;
 726         xp = VTONULL(vp);
 727         lowervp = xp->null_lowervp;
 728
 729         KASSERT(lowervp != NULL && vp->v_vnlock != &vp->v_lock,
 730             ("Reclaiming inclomplete null vnode %p", vp));
 731
 732         null_hashrem(xp);
 733         /*
 734          * Use the interlock to protect the clearing of v_data to
 735          * prevent faults in null_lock().
 736          */
 737         lockmgr(&vp->v_lock, LK_EXCLUSIVE, NULL);
 738         VI_LOCK(vp);
 739         vp->v_data = NULL;
 740         vp->v_object = NULL;
 741         vp->v_vnlock = &vp->v_lock;
 742         VI_UNLOCK(vp);
 743
 744         /*
 745          * If we were opened for write, we leased one write reference
 746          * to the lower vnode.  If this is a reclamation due to the
 747          * forced unmount, undo the reference now.
 748          */
 749         if (vp->v_writecount > 0)
 750                 VOP_ADD_WRITECOUNT(lowervp, -1);
 751         vput(lowervp);
 752         free(xp, M_NULLFSNODE);
 753
 754         return (0);
 755 }
 756
 757 static int
 758 null_print(struct vop_print_args *ap)
 759 {
 760         struct vnode *vp = ap->a_vp;
 761
 762         printf("\tvp=%p, lowervp=%p\n", vp, VTONULL(vp)->null_lowervp);
 763         return (0);
 764 }
 765
 766 /* ARGSUSED */
 767 static int
 768 null_getwritemount(struct vop_getwritemount_args *ap)
 769 {
 770         struct null_node *xp;
 771         struct vnode *lowervp;
 772         struct vnode *vp;
 773
 774         vp = ap->a_vp;
 775         VI_LOCK(vp);
 776         xp = VTONULL(vp);
 777         if (xp && (lowervp = xp->null_lowervp)) {
 778                 VI_LOCK_FLAGS(lowervp, MTX_DUPOK);
 779                 VI_UNLOCK(vp);
 780                 vholdl(lowervp);
 781                 VI_UNLOCK(lowervp);
 782                 VOP_GETWRITEMOUNT(lowervp, ap->a_mpp);
 783                 vdrop(lowervp);
 784         } else {
 785                 VI_UNLOCK(vp);
 786                 *(ap->a_mpp) = NULL;
 787         }
 788         return (0);
 789 }
 790
 791 static int
 792 null_vptofh(struct vop_vptofh_args *ap)
 793 {
 794         struct vnode *lvp;
 795
 796         lvp = NULLVPTOLOWERVP(ap->a_vp);
 797         return VOP_VPTOFH(lvp, ap->a_fhp);
 798 }
 799
 800 static int
 801 null_vptocnp(struct vop_vptocnp_args *ap)
 802 {
 803         struct vnode *vp = ap->a_vp;
 804         struct vnode **dvp = ap->a_vpp;
 805         struct vnode *lvp, *ldvp;
 806         struct ucred *cred = ap->a_cred;
 807         int error, locked;
 808
 809         if (vp->v_type == VDIR)
 810                 return (vop_stdvptocnp(ap));
 811
 812         locked = VOP_ISLOCKED(vp);
 813         lvp = NULLVPTOLOWERVP(vp);
 814         vhold(lvp);
 815         VOP_UNLOCK(vp, 0); /* vp is held by vn_vptocnp_locked that called us */
 816         ldvp = lvp;
 817         vref(lvp);
 818         error = vn_vptocnp(&ldvp, cred, ap->a_buf, ap->a_buflen);
 819         vdrop(lvp);
 820         if (error != 0) {
 821                 vn_lock(vp, locked | LK_RETRY);
 822                 return (ENOENT);
 823         }
 824
 825         /*
 826          * Exclusive lock is required by insmntque1 call in
 827          * null_nodeget()
 828          */
 829         error = vn_lock(ldvp, LK_EXCLUSIVE);
 830         if (error != 0) {
 831                 vrele(ldvp);
 832                 vn_lock(vp, locked | LK_RETRY);
 833                 return (ENOENT);
 834         }
 835         vref(ldvp);
 836         error = null_nodeget(vp->v_mount, ldvp, dvp);
 837         if (error == 0) {
 838 #ifdef DIAGNOSTIC
 839                 NULLVPTOLOWERVP(*dvp);
 840 #endif
 841                 VOP_UNLOCK(*dvp, 0); /* keep reference on *dvp */
 842         }
 843         vn_lock(vp, locked | LK_RETRY);
 844         return (error);
 845 }
 846
 847 /*
 848  * Global vfs data structures
 849  */
 850 struct vop_vector null_vnodeops = {
 851         .vop_bypass =           null_bypass,
 852         .vop_access =           null_access,
 853         .vop_accessx =          null_accessx,
 854         .vop_advlockpurge =     vop_stdadvlockpurge,
 855         .vop_bmap =             VOP_EOPNOTSUPP,
 856         .vop_getattr =          null_getattr,
 857         .vop_getwritemount =    null_getwritemount,
 858         .vop_inactive =         null_inactive,
 859         .vop_islocked =         vop_stdislocked,
 860         .vop_lock1 =            null_lock,
 861         .vop_lookup =           null_lookup,
 862         .vop_open =             null_open,
 863         .vop_print =            null_print,
 864         .vop_reclaim =          null_reclaim,
 865         .vop_remove =           null_remove,
 866         .vop_rename =           null_rename,
 867         .vop_setattr =          null_setattr,
 868         .vop_strategy =         VOP_EOPNOTSUPP,
 869         .vop_unlock =           null_unlock,
 870         .vop_vptocnp =          null_vptocnp,
 871         .vop_vptofh =           null_vptofh,
 872         .vop_add_writecount =   null_add_writecount,
 873 };