sys/fs/nullfs/null_vnops.c

   1 /*-
   2  * Copyright (c) 1992, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  *
   5  * This code is derived from software contributed to Berkeley by
   6  * John Heidemann of the UCLA Ficus project.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 4. Neither the name of the University nor the names of its contributors
  17  *    may be used to endorse or promote products derived from this software
  18  *    without specific prior written permission.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  23  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  24  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  30  * SUCH DAMAGE.
  31  *
  32  *      @(#)null_vnops.c        8.6 (Berkeley) 5/27/95
  33  *
  34  * Ancestors:
  35  *      @(#)lofs_vnops.c        1.2 (Berkeley) 6/18/92
  36  *      ...and...
  37  *      @(#)null_vnodeops.c 1.20 92/07/07 UCLA Ficus project
  38  *
  39  * $FreeBSD$
  40  */
  41
  42 /*
  43  * Null Layer
  44  *
  45  * (See mount_nullfs(8) for more information.)
  46  *
  47  * The null layer duplicates a portion of the filesystem
  48  * name space under a new name.  In this respect, it is
  49  * similar to the loopback filesystem.  It differs from
  50  * the loopback fs in two respects:  it is implemented using
  51  * a stackable layers techniques, and its "null-node"s stack above
  52  * all lower-layer vnodes, not just over directory vnodes.
  53  *
  54  * The null layer has two purposes.  First, it serves as a demonstration
  55  * of layering by proving a layer which does nothing.  (It actually
  56  * does everything the loopback filesystem does, which is slightly
  57  * more than nothing.)  Second, the null layer can serve as a prototype
  58  * layer.  Since it provides all necessary layer framework,
  59  * new filesystem layers can be created very easily be starting
  60  * with a null layer.
  61  *
  62  * The remainder of this man page examines the null layer as a basis
  63  * for constructing new layers.
  64  *
  65  *
  66  * INSTANTIATING NEW NULL LAYERS
  67  *
  68  * New null layers are created with mount_nullfs(8).
  69  * Mount_nullfs(8) takes two arguments, the pathname
  70  * of the lower vfs (target-pn) and the pathname where the null
  71  * layer will appear in the namespace (alias-pn).  After
  72  * the null layer is put into place, the contents
  73  * of target-pn subtree will be aliased under alias-pn.
  74  *
  75  *
  76  * OPERATION OF A NULL LAYER
  77  *
  78  * The null layer is the minimum filesystem layer,
  79  * simply bypassing all possible operations to the lower layer
  80  * for processing there.  The majority of its activity centers
  81  * on the bypass routine, through which nearly all vnode operations
  82  * pass.
  83  *
  84  * The bypass routine accepts arbitrary vnode operations for
  85  * handling by the lower layer.  It begins by examing vnode
  86  * operation arguments and replacing any null-nodes by their
  87  * lower-layer equivlants.  It then invokes the operation
  88  * on the lower layer.  Finally, it replaces the null-nodes
  89  * in the arguments and, if a vnode is return by the operation,
  90  * stacks a null-node on top of the returned vnode.
  91  *
  92  * Although bypass handles most operations, vop_getattr, vop_lock,
  93  * vop_unlock, vop_inactive, vop_reclaim, and vop_print are not
  94  * bypassed. Vop_getattr must change the fsid being returned.
  95  * Vop_lock and vop_unlock must handle any locking for the
  96  * current vnode as well as pass the lock request down.
  97  * Vop_inactive and vop_reclaim are not bypassed so that
  98  * they can handle freeing null-layer specific data. Vop_print
  99  * is not bypassed to avoid excessive debugging information.
 100  * Also, certain vnode operations change the locking state within
 101  * the operation (create, mknod, remove, link, rename, mkdir, rmdir,
 102  * and symlink). Ideally these operations should not change the
 103  * lock state, but should be changed to let the caller of the
 104  * function unlock them. Otherwise all intermediate vnode layers
 105  * (such as union, umapfs, etc) must catch these functions to do
 106  * the necessary locking at their layer.
 107  *
 108  *
 109  * INSTANTIATING VNODE STACKS
 110  *
 111  * Mounting associates the null layer with a lower layer,
 112  * effect stacking two VFSes.  Vnode stacks are instead
 113  * created on demand as files are accessed.
 114  *
 115  * The initial mount creates a single vnode stack for the
 116  * root of the new null layer.  All other vnode stacks
 117  * are created as a result of vnode operations on
 118  * this or other null vnode stacks.
 119  *
 120  * New vnode stacks come into existance as a result of
 121  * an operation which returns a vnode.
 122  * The bypass routine stacks a null-node above the new
 123  * vnode before returning it to the caller.
 124  *
 125  * For example, imagine mounting a null layer with
 126  * "mount_nullfs /usr/include /dev/layer/null".
 127  * Changing directory to /dev/layer/null will assign
 128  * the root null-node (which was created when the null layer was mounted).
 129  * Now consider opening "sys".  A vop_lookup would be
 130  * done on the root null-node.  This operation would bypass through
 131  * to the lower layer which would return a vnode representing
 132  * the UFS "sys".  Null_bypass then builds a null-node
 133  * aliasing the UFS "sys" and returns this to the caller.
 134  * Later operations on the null-node "sys" will repeat this
 135  * process when constructing other vnode stacks.
 136  *
 137  *
 138  * CREATING OTHER FILE SYSTEM LAYERS
 139  *
 140  * One of the easiest ways to construct new filesystem layers is to make
 141  * a copy of the null layer, rename all files and variables, and
 142  * then begin modifing the copy.  Sed can be used to easily rename
 143  * all variables.
 144  *
 145  * The umap layer is an example of a layer descended from the
 146  * null layer.
 147  *
 148  *
 149  * INVOKING OPERATIONS ON LOWER LAYERS
 150  *
 151  * There are two techniques to invoke operations on a lower layer
 152  * when the operation cannot be completely bypassed.  Each method
 153  * is appropriate in different situations.  In both cases,
 154  * it is the responsibility of the aliasing layer to make
 155  * the operation arguments "correct" for the lower layer
 156  * by mapping a vnode arguments to the lower layer.
 157  *
 158  * The first approach is to call the aliasing layer's bypass routine.
 159  * This method is most suitable when you wish to invoke the operation
 160  * currently being handled on the lower layer.  It has the advantage
 161  * that the bypass routine already must do argument mapping.
 162  * An example of this is null_getattrs in the null layer.
 163  *
 164  * A second approach is to directly invoke vnode operations on
 165  * the lower layer with the VOP_OPERATIONNAME interface.
 166  * The advantage of this method is that it is easy to invoke
 167  * arbitrary operations on the lower layer.  The disadvantage
 168  * is that vnode arguments must be manualy mapped.
 169  *
 170  */
 171
 172 #include <sys/param.h>
 173 #include <sys/systm.h>
 174 #include <sys/conf.h>
 175 #include <sys/kernel.h>
 176 #include <sys/lock.h>
 177 #include <sys/malloc.h>
 178 #include <sys/mount.h>
 179 #include <sys/mutex.h>
 180 #include <sys/namei.h>
 181 #include <sys/sysctl.h>
 182 #include <sys/vnode.h>
 183
 184 #include <fs/nullfs/null.h>
 185
 186 #include <vm/vm.h>
 187 #include <vm/vm_extern.h>
 188 #include <vm/vm_object.h>
 189 #include <vm/vnode_pager.h>
 190
 191 static int null_bug_bypass = 0;   /* for debugging: enables bypass printf'ing */
 192 SYSCTL_INT(_debug, OID_AUTO, nullfs_bug_bypass, CTLFLAG_RW,
 193         &null_bug_bypass, 0, "");
 194
 195 /*
 196  * This is the 10-Apr-92 bypass routine.
 197  *    This version has been optimized for speed, throwing away some
 198  * safety checks.  It should still always work, but it's not as
 199  * robust to programmer errors.
 200  *
 201  * In general, we map all vnodes going down and unmap them on the way back.
 202  * As an exception to this, vnodes can be marked "unmapped" by setting
 203  * the Nth bit in operation's vdesc_flags.
 204  *
 205  * Also, some BSD vnode operations have the side effect of vrele'ing
 206  * their arguments.  With stacking, the reference counts are held
 207  * by the upper node, not the lower one, so we must handle these
 208  * side-effects here.  This is not of concern in Sun-derived systems
 209  * since there are no such side-effects.
 210  *
 211  * This makes the following assumptions:
 212  * - only one returned vpp
 213  * - no INOUT vpp's (Sun's vop_open has one of these)
 214  * - the vnode operation vector of the first vnode should be used
 215  *   to determine what implementation of the op should be invoked
 216  * - all mapped vnodes are of our vnode-type (NEEDSWORK:
 217  *   problems on rmdir'ing mount points and renaming?)
 218  */
 219 int
 220 null_bypass(struct vop_generic_args *ap)
 221 {
 222         struct vnode **this_vp_p;
 223         int error;
 224         struct vnode *old_vps[VDESC_MAX_VPS];
 225         struct vnode **vps_p[VDESC_MAX_VPS];
 226         struct vnode ***vppp;
 227         struct vnodeop_desc *descp = ap->a_desc;
 228         int reles, i;
 229
 230         if (null_bug_bypass)
 231                 printf ("null_bypass: %s\n", descp->vdesc_name);
 232
 233 #ifdef DIAGNOSTIC
 234         /*
 235          * We require at least one vp.
 236          */
 237         if (descp->vdesc_vp_offsets == NULL ||
 238             descp->vdesc_vp_offsets[0] == VDESC_NO_OFFSET)
 239                 panic ("null_bypass: no vp's in map");
 240 #endif
 241
 242         /*
 243          * Map the vnodes going in.
 244          * Later, we'll invoke the operation based on
 245          * the first mapped vnode's operation vector.
 246          */
 247         reles = descp->vdesc_flags;
 248         for (i = 0; i < VDESC_MAX_VPS; reles >>= 1, i++) {
 249                 if (descp->vdesc_vp_offsets[i] == VDESC_NO_OFFSET)
 250                         break;   /* bail out at end of list */
 251                 vps_p[i] = this_vp_p =
 252                         VOPARG_OFFSETTO(struct vnode**,descp->vdesc_vp_offsets[i],ap);
 253                 /*
 254                  * We're not guaranteed that any but the first vnode
 255                  * are of our type.  Check for and don't map any
 256                  * that aren't.  (We must always map first vp or vclean fails.)
 257                  */
 258                 if (i && (*this_vp_p == NULLVP ||
 259                     (*this_vp_p)->v_op != &null_vnodeops)) {
 260                         old_vps[i] = NULLVP;
 261                 } else {
 262                         old_vps[i] = *this_vp_p;
 263                         *(vps_p[i]) = NULLVPTOLOWERVP(*this_vp_p);
 264                         /*
 265                          * XXX - Several operations have the side effect
 266                          * of vrele'ing their vp's.  We must account for
 267                          * that.  (This should go away in the future.)
 268                          */
 269                         if (reles & VDESC_VP0_WILLRELE)
 270                                 VREF(*this_vp_p);
 271                 }
 272
 273         }
 274
 275         /*
 276          * Call the operation on the lower layer
 277          * with the modified argument structure.
 278          */
 279         if (vps_p[0] && *vps_p[0])
 280                 error = VCALL(ap);
 281         else {
 282                 printf("null_bypass: no map for %s\n", descp->vdesc_name);
 283                 error = EINVAL;
 284         }
 285
 286         /*
 287          * Maintain the illusion of call-by-value
 288          * by restoring vnodes in the argument structure
 289          * to their original value.
 290          */
 291         reles = descp->vdesc_flags;
 292         for (i = 0; i < VDESC_MAX_VPS; reles >>= 1, i++) {
 293                 if (descp->vdesc_vp_offsets[i] == VDESC_NO_OFFSET)
 294                         break;   /* bail out at end of list */
 295                 if (old_vps[i]) {
 296                         *(vps_p[i]) = old_vps[i];
 297 #if 0
 298                         if (reles & VDESC_VP0_WILLUNLOCK)
 299                                 VOP_UNLOCK(*(vps_p[i]), 0);
 300 #endif
 301                         if (reles & VDESC_VP0_WILLRELE)
 302                                 vrele(*(vps_p[i]));
 303                 }
 304         }
 305
 306         /*
 307          * Map the possible out-going vpp
 308          * (Assumes that the lower layer always returns
 309          * a VREF'ed vpp unless it gets an error.)
 310          */
 311         if (descp->vdesc_vpp_offset != VDESC_NO_OFFSET &&
 312             !(descp->vdesc_flags & VDESC_NOMAP_VPP) &&
 313             !error) {
 314                 /*
 315                  * XXX - even though some ops have vpp returned vp's,
 316                  * several ops actually vrele this before returning.
 317                  * We must avoid these ops.
 318                  * (This should go away when these ops are regularized.)
 319                  */
 320                 if (descp->vdesc_flags & VDESC_VPP_WILLRELE)
 321                         goto out;
 322                 vppp = VOPARG_OFFSETTO(struct vnode***,
 323                                  descp->vdesc_vpp_offset,ap);
 324                 if (*vppp)
 325                         error = null_nodeget(old_vps[0]->v_mount, **vppp, *vppp);
 326         }
 327
 328  out:
 329         return (error);
 330 }
 331
 332 static int
 333 null_add_writecount(struct vop_add_writecount_args *ap)
 334 {
 335         struct vnode *lvp, *vp;
 336         int error;
 337
 338         vp = ap->a_vp;
 339         lvp = NULLVPTOLOWERVP(vp);
 340         KASSERT(vp->v_writecount + ap->a_inc >= 0, ("wrong writecount inc"));
 341         if (vp->v_writecount > 0 && vp->v_writecount + ap->a_inc == 0)
 342                 error = VOP_ADD_WRITECOUNT(lvp, -1);
 343         else if (vp->v_writecount == 0 && vp->v_writecount + ap->a_inc > 0)
 344                 error = VOP_ADD_WRITECOUNT(lvp, 1);
 345         else
 346                 error = 0;
 347         if (error == 0)
 348                 vp->v_writecount += ap->a_inc;
 349         return (error);
 350 }
 351
 352 /*
 353  * We have to carry on the locking protocol on the null layer vnodes
 354  * as we progress through the tree. We also have to enforce read-only
 355  * if this layer is mounted read-only.
 356  */
 357 static int
 358 null_lookup(struct vop_lookup_args *ap)
 359 {
 360         struct componentname *cnp = ap->a_cnp;
 361         struct vnode *dvp = ap->a_dvp;
 362         int flags = cnp->cn_flags;
 363         struct vnode *vp, *ldvp, *lvp;
 364         int error;
 365
 366         if ((flags & ISLASTCN) && (dvp->v_mount->mnt_flag & MNT_RDONLY) &&
 367             (cnp->cn_nameiop == DELETE || cnp->cn_nameiop == RENAME))
 368                 return (EROFS);
 369         /*
 370          * Although it is possible to call null_bypass(), we'll do
 371          * a direct call to reduce overhead
 372          */
 373         ldvp = NULLVPTOLOWERVP(dvp);
 374         vp = lvp = NULL;
 375         error = VOP_LOOKUP(ldvp, &lvp, cnp);
 376         if (error == EJUSTRETURN && (flags & ISLASTCN) &&
 377             (dvp->v_mount->mnt_flag & MNT_RDONLY) &&
 378             (cnp->cn_nameiop == CREATE || cnp->cn_nameiop == RENAME))
 379                 error = EROFS;
 380
 381         if ((error == 0 || error == EJUSTRETURN) && lvp != NULL) {
 382                 if (ldvp == lvp) {
 383                         *ap->a_vpp = dvp;
 384                         VREF(dvp);
 385                         vrele(lvp);
 386                 } else {
 387                         error = null_nodeget(dvp->v_mount, lvp, &vp);
 388                         if (error == 0)
 389                                 *ap->a_vpp = vp;
 390                 }
 391         }
 392         return (error);
 393 }
 394
 395 static int
 396 null_open(struct vop_open_args *ap)
 397 {
 398         int retval;
 399         struct vnode *vp, *ldvp;
 400
 401         vp = ap->a_vp;
 402         ldvp = NULLVPTOLOWERVP(vp);
 403         retval = null_bypass(&ap->a_gen);
 404         if (retval == 0)
 405                 vp->v_object = ldvp->v_object;
 406         return (retval);
 407 }
 408
 409 /*
 410  * Setattr call. Disallow write attempts if the layer is mounted read-only.
 411  */
 412 static int
 413 null_setattr(struct vop_setattr_args *ap)
 414 {
 415         struct vnode *vp = ap->a_vp;
 416         struct vattr *vap = ap->a_vap;
 417
 418         if ((vap->va_flags != VNOVAL || vap->va_uid != (uid_t)VNOVAL ||
 419             vap->va_gid != (gid_t)VNOVAL || vap->va_atime.tv_sec != VNOVAL ||
 420             vap->va_mtime.tv_sec != VNOVAL || vap->va_mode != (mode_t)VNOVAL) &&
 421             (vp->v_mount->mnt_flag & MNT_RDONLY))
 422                 return (EROFS);
 423         if (vap->va_size != VNOVAL) {
 424                 switch (vp->v_type) {
 425                 case VDIR:
 426                         return (EISDIR);
 427                 case VCHR:
 428                 case VBLK:
 429                 case VSOCK:
 430                 case VFIFO:
 431                         if (vap->va_flags != VNOVAL)
 432                                 return (EOPNOTSUPP);
 433                         return (0);
 434                 case VREG:
 435                 case VLNK:
 436                 default:
 437                         /*
 438                          * Disallow write attempts if the filesystem is
 439                          * mounted read-only.
 440                          */
 441                         if (vp->v_mount->mnt_flag & MNT_RDONLY)
 442                                 return (EROFS);
 443                 }
 444         }
 445
 446         return (null_bypass((struct vop_generic_args *)ap));
 447 }
 448
 449 /*
 450  *  We handle getattr only to change the fsid.
 451  */
 452 static int
 453 null_getattr(struct vop_getattr_args *ap)
 454 {
 455         int error;
 456
 457         if ((error = null_bypass((struct vop_generic_args *)ap)) != 0)
 458                 return (error);
 459
 460         ap->a_vap->va_fsid = ap->a_vp->v_mount->mnt_stat.f_fsid.val[0];
 461         return (0);
 462 }
 463
 464 /*
 465  * Handle to disallow write access if mounted read-only.
 466  */
 467 static int
 468 null_access(struct vop_access_args *ap)
 469 {
 470         struct vnode *vp = ap->a_vp;
 471         accmode_t accmode = ap->a_accmode;
 472
 473         /*
 474          * Disallow write attempts on read-only layers;
 475          * unless the file is a socket, fifo, or a block or
 476          * character device resident on the filesystem.
 477          */
 478         if (accmode & VWRITE) {
 479                 switch (vp->v_type) {
 480                 case VDIR:
 481                 case VLNK:
 482                 case VREG:
 483                         if (vp->v_mount->mnt_flag & MNT_RDONLY)
 484                                 return (EROFS);
 485                         break;
 486                 default:
 487                         break;
 488                 }
 489         }
 490         return (null_bypass((struct vop_generic_args *)ap));
 491 }
 492
 493 static int
 494 null_accessx(struct vop_accessx_args *ap)
 495 {
 496         struct vnode *vp = ap->a_vp;
 497         accmode_t accmode = ap->a_accmode;
 498
 499         /*
 500          * Disallow write attempts on read-only layers;
 501          * unless the file is a socket, fifo, or a block or
 502          * character device resident on the filesystem.
 503          */
 504         if (accmode & VWRITE) {
 505                 switch (vp->v_type) {
 506                 case VDIR:
 507                 case VLNK:
 508                 case VREG:
 509                         if (vp->v_mount->mnt_flag & MNT_RDONLY)
 510                                 return (EROFS);
 511                         break;
 512                 default:
 513                         break;
 514                 }
 515         }
 516         return (null_bypass((struct vop_generic_args *)ap));
 517 }
 518
 519 /*
 520  * Increasing refcount of lower vnode is needed at least for the case
 521  * when lower FS is NFS to do sillyrename if the file is in use.
 522  * Unfortunately v_usecount is incremented in many places in
 523  * the kernel and, as such, there may be races that result in
 524  * the NFS client doing an extraneous silly rename, but that seems
 525  * preferable to not doing a silly rename when it is needed.
 526  */
 527 static int
 528 null_remove(struct vop_remove_args *ap)
 529 {
 530         int retval, vreleit;
 531         struct vnode *lvp;
 532
 533         if (vrefcnt(ap->a_vp) > 1) {
 534                 lvp = NULLVPTOLOWERVP(ap->a_vp);
 535                 VREF(lvp);
 536                 vreleit = 1;
 537         } else
 538                 vreleit = 0;
 539         retval = null_bypass(&ap->a_gen);
 540         if (vreleit != 0)
 541                 vrele(lvp);
 542         return (retval);
 543 }
 544
 545 /*
 546  * We handle this to eliminate null FS to lower FS
 547  * file moving. Don't know why we don't allow this,
 548  * possibly we should.
 549  */
 550 static int
 551 null_rename(struct vop_rename_args *ap)
 552 {
 553         struct vnode *tdvp = ap->a_tdvp;
 554         struct vnode *fvp = ap->a_fvp;
 555         struct vnode *fdvp = ap->a_fdvp;
 556         struct vnode *tvp = ap->a_tvp;
 557         struct null_node *tnn;
 558
 559         /* Check for cross-device rename. */
 560         if ((fvp->v_mount != tdvp->v_mount) ||
 561             (tvp && (fvp->v_mount != tvp->v_mount))) {
 562                 if (tdvp == tvp)
 563                         vrele(tdvp);
 564                 else
 565                         vput(tdvp);
 566                 if (tvp)
 567                         vput(tvp);
 568                 vrele(fdvp);
 569                 vrele(fvp);
 570                 return (EXDEV);
 571         }
 572
 573         if (tvp != NULL) {
 574                 tnn = VTONULL(tvp);
 575                 tnn->null_flags |= NULLV_DROP;
 576         }
 577         return (null_bypass((struct vop_generic_args *)ap));
 578 }
 579
 580 /*
 581  * We need to process our own vnode lock and then clear the
 582  * interlock flag as it applies only to our vnode, not the
 583  * vnodes below us on the stack.
 584  */
 585 static int
 586 null_lock(struct vop_lock1_args *ap)
 587 {
 588         struct vnode *vp = ap->a_vp;
 589         int flags = ap->a_flags;
 590         struct null_node *nn;
 591         struct vnode *lvp;
 592         int error;
 593
 594
 595         if ((flags & LK_INTERLOCK) == 0) {
 596                 VI_LOCK(vp);
 597                 ap->a_flags = flags |= LK_INTERLOCK;
 598         }
 599         nn = VTONULL(vp);
 600         /*
 601          * If we're still active we must ask the lower layer to
 602          * lock as ffs has special lock considerations in it's
 603          * vop lock.
 604          */
 605         if (nn != NULL && (lvp = NULLVPTOLOWERVP(vp)) != NULL) {
 606                 VI_LOCK_FLAGS(lvp, MTX_DUPOK);
 607                 VI_UNLOCK(vp);
 608                 /*
 609                  * We have to hold the vnode here to solve a potential
 610                  * reclaim race.  If we're forcibly vgone'd while we
 611                  * still have refs, a thread could be sleeping inside
 612                  * the lowervp's vop_lock routine.  When we vgone we will
 613                  * drop our last ref to the lowervp, which would allow it
 614                  * to be reclaimed.  The lowervp could then be recycled,
 615                  * in which case it is not legal to be sleeping in it's VOP.
 616                  * We prevent it from being recycled by holding the vnode
 617                  * here.
 618                  */
 619                 vholdl(lvp);
 620                 error = VOP_LOCK(lvp, flags);
 621
 622                 /*
 623                  * We might have slept to get the lock and someone might have
 624                  * clean our vnode already, switching vnode lock from one in
 625                  * lowervp to v_lock in our own vnode structure.  Handle this
 626                  * case by reacquiring correct lock in requested mode.
 627                  */
 628                 if (VTONULL(vp) == NULL && error == 0) {
 629                         ap->a_flags &= ~(LK_TYPE_MASK | LK_INTERLOCK);
 630                         switch (flags & LK_TYPE_MASK) {
 631                         case LK_SHARED:
 632                                 ap->a_flags |= LK_SHARED;
 633                                 break;
 634                         case LK_UPGRADE:
 635                         case LK_EXCLUSIVE:
 636                                 ap->a_flags |= LK_EXCLUSIVE;
 637                                 break;
 638                         default:
 639                                 panic("Unsupported lock request %d\n",
 640                                     ap->a_flags);
 641                         }
 642                         VOP_UNLOCK(lvp, 0);
 643                         error = vop_stdlock(ap);
 644                 }
 645                 vdrop(lvp);
 646         } else
 647                 error = vop_stdlock(ap);
 648
 649         return (error);
 650 }
 651
 652 /*
 653  * We need to process our own vnode unlock and then clear the
 654  * interlock flag as it applies only to our vnode, not the
 655  * vnodes below us on the stack.
 656  */
 657 static int
 658 null_unlock(struct vop_unlock_args *ap)
 659 {
 660         struct vnode *vp = ap->a_vp;
 661         int flags = ap->a_flags;
 662         int mtxlkflag = 0;
 663         struct null_node *nn;
 664         struct vnode *lvp;
 665         int error;
 666
 667         if ((flags & LK_INTERLOCK) != 0)
 668                 mtxlkflag = 1;
 669         else if (mtx_owned(VI_MTX(vp)) == 0) {
 670                 VI_LOCK(vp);
 671                 mtxlkflag = 2;
 672         }
 673         nn = VTONULL(vp);
 674         if (nn != NULL && (lvp = NULLVPTOLOWERVP(vp)) != NULL) {
 675                 VI_LOCK_FLAGS(lvp, MTX_DUPOK);
 676                 flags |= LK_INTERLOCK;
 677                 vholdl(lvp);
 678                 VI_UNLOCK(vp);
 679                 error = VOP_UNLOCK(lvp, flags);
 680                 vdrop(lvp);
 681                 if (mtxlkflag == 0)
 682                         VI_LOCK(vp);
 683         } else {
 684                 if (mtxlkflag == 2)
 685                         VI_UNLOCK(vp);
 686                 error = vop_stdunlock(ap);
 687         }
 688
 689         return (error);
 690 }
 691
 692 /*
 693  * Do not allow the VOP_INACTIVE to be passed to the lower layer,
 694  * since the reference count on the lower vnode is not related to
 695  * ours.
 696  */
 697 static int
 698 null_inactive(struct vop_inactive_args *ap __unused)
 699 {
 700         struct vnode *vp, *lvp;
 701         struct null_node *xp;
 702         struct mount *mp;
 703         struct null_mount *xmp;
 704
 705         vp = ap->a_vp;
 706         xp = VTONULL(vp);
 707         lvp = NULLVPTOLOWERVP(vp);
 708         mp = vp->v_mount;
 709         xmp = MOUNTTONULLMOUNT(mp);
 710         if ((xmp->nullm_flags & NULLM_CACHE) == 0 ||
 711             (xp->null_flags & NULLV_DROP) != 0 ||
 712             (lvp->v_vflag & VV_NOSYNC) != 0) {
 713                 /*
 714                  * If this is the last reference and caching of the
 715                  * nullfs vnodes is not enabled, or the lower vnode is
 716                  * deleted, then free up the vnode so as not to tie up
 717                  * the lower vnodes.
 718                  */
 719                 vp->v_object = NULL;
 720                 vrecycle(vp);
 721         }
 722         return (0);
 723 }
 724
 725 /*
 726  * Now, the nullfs vnode and, due to the sharing lock, the lower
 727  * vnode, are exclusively locked, and we shall destroy the null vnode.
 728  */
 729 static int
 730 null_reclaim(struct vop_reclaim_args *ap)
 731 {
 732         struct vnode *vp;
 733         struct null_node *xp;
 734         struct vnode *lowervp;
 735
 736         vp = ap->a_vp;
 737         xp = VTONULL(vp);
 738         lowervp = xp->null_lowervp;
 739
 740         KASSERT(lowervp != NULL && vp->v_vnlock != &vp->v_lock,
 741             ("Reclaiming inclomplete null vnode %p", vp));
 742
 743         null_hashrem(xp);
 744         /*
 745          * Use the interlock to protect the clearing of v_data to
 746          * prevent faults in null_lock().
 747          */
 748         lockmgr(&vp->v_lock, LK_EXCLUSIVE, NULL);
 749         VI_LOCK(vp);
 750         vp->v_data = NULL;
 751         vp->v_object = NULL;
 752         vp->v_vnlock = &vp->v_lock;
 753         VI_UNLOCK(vp);
 754
 755         /*
 756          * If we were opened for write, we leased one write reference
 757          * to the lower vnode.  If this is a reclamation due to the
 758          * forced unmount, undo the reference now.
 759          */
 760         if (vp->v_writecount > 0)
 761                 VOP_ADD_WRITECOUNT(lowervp, -1);
 762         if ((xp->null_flags & NULLV_NOUNLOCK) != 0)
 763                 vunref(lowervp);
 764         else
 765                 vput(lowervp);
 766         free(xp, M_NULLFSNODE);
 767
 768         return (0);
 769 }
 770
 771 static int
 772 null_print(struct vop_print_args *ap)
 773 {
 774         struct vnode *vp = ap->a_vp;
 775
 776         printf("\tvp=%p, lowervp=%p\n", vp, VTONULL(vp)->null_lowervp);
 777         return (0);
 778 }
 779
 780 /* ARGSUSED */
 781 static int
 782 null_getwritemount(struct vop_getwritemount_args *ap)
 783 {
 784         struct null_node *xp;
 785         struct vnode *lowervp;
 786         struct vnode *vp;
 787
 788         vp = ap->a_vp;
 789         VI_LOCK(vp);
 790         xp = VTONULL(vp);
 791         if (xp && (lowervp = xp->null_lowervp)) {
 792                 VI_LOCK_FLAGS(lowervp, MTX_DUPOK);
 793                 VI_UNLOCK(vp);
 794                 vholdl(lowervp);
 795                 VI_UNLOCK(lowervp);
 796                 VOP_GETWRITEMOUNT(lowervp, ap->a_mpp);
 797                 vdrop(lowervp);
 798         } else {
 799                 VI_UNLOCK(vp);
 800                 *(ap->a_mpp) = NULL;
 801         }
 802         return (0);
 803 }
 804
 805 static int
 806 null_vptofh(struct vop_vptofh_args *ap)
 807 {
 808         struct vnode *lvp;
 809
 810         lvp = NULLVPTOLOWERVP(ap->a_vp);
 811         return VOP_VPTOFH(lvp, ap->a_fhp);
 812 }
 813
 814 static int
 815 null_vptocnp(struct vop_vptocnp_args *ap)
 816 {
 817         struct vnode *vp = ap->a_vp;
 818         struct vnode **dvp = ap->a_vpp;
 819         struct vnode *lvp, *ldvp;
 820         struct ucred *cred = ap->a_cred;
 821         int error, locked;
 822
 823         if (vp->v_type == VDIR)
 824                 return (vop_stdvptocnp(ap));
 825
 826         locked = VOP_ISLOCKED(vp);
 827         lvp = NULLVPTOLOWERVP(vp);
 828         vhold(lvp);
 829         VOP_UNLOCK(vp, 0); /* vp is held by vn_vptocnp_locked that called us */
 830         ldvp = lvp;
 831         vref(lvp);
 832         error = vn_vptocnp(&ldvp, cred, ap->a_buf, ap->a_buflen);
 833         vdrop(lvp);
 834         if (error != 0) {
 835                 vn_lock(vp, locked | LK_RETRY);
 836                 return (ENOENT);
 837         }
 838
 839         /*
 840          * Exclusive lock is required by insmntque1 call in
 841          * null_nodeget()
 842          */
 843         error = vn_lock(ldvp, LK_EXCLUSIVE);
 844         if (error != 0) {
 845                 vrele(ldvp);
 846                 vn_lock(vp, locked | LK_RETRY);
 847                 return (ENOENT);
 848         }
 849         vref(ldvp);
 850         error = null_nodeget(vp->v_mount, ldvp, dvp);
 851         if (error == 0) {
 852 #ifdef DIAGNOSTIC
 853                 NULLVPTOLOWERVP(*dvp);
 854 #endif
 855                 VOP_UNLOCK(*dvp, 0); /* keep reference on *dvp */
 856         }
 857         vn_lock(vp, locked | LK_RETRY);
 858         return (error);
 859 }
 860
 861 static int
 862 null_link(struct vop_link_args *ap)
 863 {
 864
 865         if (ap->a_tdvp->v_mount != ap->a_vp->v_mount)
 866                 return (EXDEV);
 867         return (null_bypass((struct vop_generic_args *)ap));
 868 }
 869
 870 /*
 871  * Global vfs data structures
 872  */
 873 struct vop_vector null_vnodeops = {
 874         .vop_bypass =           null_bypass,
 875         .vop_access =           null_access,
 876         .vop_accessx =          null_accessx,
 877         .vop_advlockpurge =     vop_stdadvlockpurge,
 878         .vop_bmap =             VOP_EOPNOTSUPP,
 879         .vop_getattr =          null_getattr,
 880         .vop_getwritemount =    null_getwritemount,
 881         .vop_inactive =         null_inactive,
 882         .vop_islocked =         vop_stdislocked,
 883         .vop_link =             null_link,
 884         .vop_lock1 =            null_lock,
 885         .vop_lookup =           null_lookup,
 886         .vop_open =             null_open,
 887         .vop_print =            null_print,
 888         .vop_reclaim =          null_reclaim,
 889         .vop_remove =           null_remove,
 890         .vop_rename =           null_rename,
 891         .vop_setattr =          null_setattr,
 892         .vop_strategy =         VOP_EOPNOTSUPP,
 893         .vop_unlock =           null_unlock,
 894         .vop_vptocnp =          null_vptocnp,
 895         .vop_vptofh =           null_vptofh,
 896         .vop_add_writecount =   null_add_writecount,
 897 };