sys/fs/tmpfs/tmpfs_vnops.c

   1 /*      $NetBSD: tmpfs_vnops.c,v 1.39 2007/07/23 15:41:01 jmmv Exp $    */
   2
   3 /*-
   4  * SPDX-License-Identifier: BSD-2-Clause-NetBSD
   5  *
   6  * Copyright (c) 2005, 2006 The NetBSD Foundation, Inc.
   7  * All rights reserved.
   8  *
   9  * This code is derived from software contributed to The NetBSD Foundation
  10  * by Julio M. Merino Vidal, developed as part of Google's Summer of Code
  11  * 2005 program.
  12  *
  13  * Redistribution and use in source and binary forms, with or without
  14  * modification, are permitted provided that the following conditions
  15  * are met:
  16  * 1. Redistributions of source code must retain the above copyright
  17  *    notice, this list of conditions and the following disclaimer.
  18  * 2. Redistributions in binary form must reproduce the above copyright
  19  *    notice, this list of conditions and the following disclaimer in the
  20  *    documentation and/or other materials provided with the distribution.
  21  *
  22  * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
  23  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
  24  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  25  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
  26  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  27  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  28  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  29  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  30  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  31  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  32  * POSSIBILITY OF SUCH DAMAGE.
  33  */
  34
  35 /*
  36  * tmpfs vnode interface.
  37  */
  38 #include <sys/cdefs.h>
  39 __FBSDID("$FreeBSD$");
  40
  41 #include <sys/param.h>
  42 #include <sys/systm.h>
  43 #include <sys/dirent.h>
  44 #include <sys/fcntl.h>
  45 #include <sys/file.h>
  46 #include <sys/limits.h>
  47 #include <sys/lockf.h>
  48 #include <sys/lock.h>
  49 #include <sys/mount.h>
  50 #include <sys/namei.h>
  51 #include <sys/priv.h>
  52 #include <sys/proc.h>
  53 #include <sys/rwlock.h>
  54 #include <sys/sched.h>
  55 #include <sys/stat.h>
  56 #include <sys/sysctl.h>
  57 #include <sys/unistd.h>
  58 #include <sys/vnode.h>
  59 #include <sys/smr.h>
  60 #include <security/audit/audit.h>
  61 #include <security/mac/mac_framework.h>
  62
  63 #include <vm/vm.h>
  64 #include <vm/vm_param.h>
  65 #include <vm/vm_object.h>
  66
  67 #include <fs/tmpfs/tmpfs_vnops.h>
  68 #include <fs/tmpfs/tmpfs.h>
  69
  70 SYSCTL_DECL(_vfs_tmpfs);
  71 VFS_SMR_DECLARE;
  72
  73 static volatile int tmpfs_rename_restarts;
  74 SYSCTL_INT(_vfs_tmpfs, OID_AUTO, rename_restarts, CTLFLAG_RD,
  75     __DEVOLATILE(int *, &tmpfs_rename_restarts), 0,
  76     "Times rename had to restart due to lock contention");
  77
  78 static int
  79 tmpfs_vn_get_ino_alloc(struct mount *mp, void *arg, int lkflags,
  80     struct vnode **rvp)
  81 {
  82
  83         return (tmpfs_alloc_vp(mp, arg, lkflags, rvp));
  84 }
  85
  86 static int
  87 tmpfs_lookup1(struct vnode *dvp, struct vnode **vpp, struct componentname *cnp)
  88 {
  89         struct tmpfs_dirent *de;
  90         struct tmpfs_node *dnode, *pnode;
  91         struct tmpfs_mount *tm;
  92         int error;
  93
  94         /* Caller assumes responsibility for ensuring access (VEXEC). */
  95         dnode = VP_TO_TMPFS_DIR(dvp);
  96         *vpp = NULLVP;
  97
  98         /* We cannot be requesting the parent directory of the root node. */
  99         MPASS(IMPLIES(dnode->tn_type == VDIR &&
 100             dnode->tn_dir.tn_parent == dnode,
 101             !(cnp->cn_flags & ISDOTDOT)));
 102
 103         TMPFS_ASSERT_LOCKED(dnode);
 104         if (dnode->tn_dir.tn_parent == NULL) {
 105                 error = ENOENT;
 106                 goto out;
 107         }
 108         if (cnp->cn_flags & ISDOTDOT) {
 109                 tm = VFS_TO_TMPFS(dvp->v_mount);
 110                 pnode = dnode->tn_dir.tn_parent;
 111                 tmpfs_ref_node(pnode);
 112                 error = vn_vget_ino_gen(dvp, tmpfs_vn_get_ino_alloc,
 113                     pnode, cnp->cn_lkflags, vpp);
 114                 tmpfs_free_node(tm, pnode);
 115                 if (error != 0)
 116                         goto out;
 117         } else if (cnp->cn_namelen == 1 && cnp->cn_nameptr[0] == '.') {
 118                 VREF(dvp);
 119                 *vpp = dvp;
 120                 error = 0;
 121         } else {
 122                 de = tmpfs_dir_lookup(dnode, NULL, cnp);
 123                 if (de != NULL && de->td_node == NULL)
 124                         cnp->cn_flags |= ISWHITEOUT;
 125                 if (de == NULL || de->td_node == NULL) {
 126                         /*
 127                          * The entry was not found in the directory.
 128                          * This is OK if we are creating or renaming an
 129                          * entry and are working on the last component of
 130                          * the path name.
 131                          */
 132                         if ((cnp->cn_flags & ISLASTCN) &&
 133                             (cnp->cn_nameiop == CREATE || \
 134                             cnp->cn_nameiop == RENAME ||
 135                             (cnp->cn_nameiop == DELETE &&
 136                             cnp->cn_flags & DOWHITEOUT &&
 137                             cnp->cn_flags & ISWHITEOUT))) {
 138                                 error = VOP_ACCESS(dvp, VWRITE, cnp->cn_cred,
 139                                     cnp->cn_thread);
 140                                 if (error != 0)
 141                                         goto out;
 142
 143                                 /*
 144                                  * Keep the component name in the buffer for
 145                                  * future uses.
 146                                  */
 147                                 cnp->cn_flags |= SAVENAME;
 148
 149                                 error = EJUSTRETURN;
 150                         } else
 151                                 error = ENOENT;
 152                 } else {
 153                         struct tmpfs_node *tnode;
 154
 155                         /*
 156                          * The entry was found, so get its associated
 157                          * tmpfs_node.
 158                          */
 159                         tnode = de->td_node;
 160
 161                         /*
 162                          * If we are not at the last path component and
 163                          * found a non-directory or non-link entry (which
 164                          * may itself be pointing to a directory), raise
 165                          * an error.
 166                          */
 167                         if ((tnode->tn_type != VDIR &&
 168                             tnode->tn_type != VLNK) &&
 169                             !(cnp->cn_flags & ISLASTCN)) {
 170                                 error = ENOTDIR;
 171                                 goto out;
 172                         }
 173
 174                         /*
 175                          * If we are deleting or renaming the entry, keep
 176                          * track of its tmpfs_dirent so that it can be
 177                          * easily deleted later.
 178                          */
 179                         if ((cnp->cn_flags & ISLASTCN) &&
 180                             (cnp->cn_nameiop == DELETE ||
 181                             cnp->cn_nameiop == RENAME)) {
 182                                 error = VOP_ACCESS(dvp, VWRITE, cnp->cn_cred,
 183                                     cnp->cn_thread);
 184                                 if (error != 0)
 185                                         goto out;
 186
 187                                 /* Allocate a new vnode on the matching entry. */
 188                                 error = tmpfs_alloc_vp(dvp->v_mount, tnode,
 189                                     cnp->cn_lkflags, vpp);
 190                                 if (error != 0)
 191                                         goto out;
 192
 193                                 if ((dnode->tn_mode & S_ISTXT) &&
 194                                   VOP_ACCESS(dvp, VADMIN, cnp->cn_cred,
 195                                   cnp->cn_thread) && VOP_ACCESS(*vpp, VADMIN,
 196                                   cnp->cn_cred, cnp->cn_thread)) {
 197                                         error = EPERM;
 198                                         vput(*vpp);
 199                                         *vpp = NULL;
 200                                         goto out;
 201                                 }
 202                                 cnp->cn_flags |= SAVENAME;
 203                         } else {
 204                                 error = tmpfs_alloc_vp(dvp->v_mount, tnode,
 205                                     cnp->cn_lkflags, vpp);
 206                                 if (error != 0)
 207                                         goto out;
 208                         }
 209                 }
 210         }
 211
 212         /*
 213          * Store the result of this lookup in the cache.  Avoid this if the
 214          * request was for creation, as it does not improve timings on
 215          * emprical tests.
 216          */
 217         if ((cnp->cn_flags & MAKEENTRY) != 0 && tmpfs_use_nc(dvp))
 218                 cache_enter(dvp, *vpp, cnp);
 219
 220 out:
 221         /*
 222          * If there were no errors, *vpp cannot be null and it must be
 223          * locked.
 224          */
 225         MPASS(IFF(error == 0, *vpp != NULLVP && VOP_ISLOCKED(*vpp)));
 226
 227         return (error);
 228 }
 229
 230 static int
 231 tmpfs_cached_lookup(struct vop_cachedlookup_args *v)
 232 {
 233
 234         return (tmpfs_lookup1(v->a_dvp, v->a_vpp, v->a_cnp));
 235 }
 236
 237 static int
 238 tmpfs_lookup(struct vop_lookup_args *v)
 239 {
 240         struct vnode *dvp = v->a_dvp;
 241         struct vnode **vpp = v->a_vpp;
 242         struct componentname *cnp = v->a_cnp;
 243         int error;
 244
 245         /* Check accessibility of requested node as a first step. */
 246         error = vn_dir_check_exec(dvp, cnp);
 247         if (error != 0)
 248                 return (error);
 249
 250         return (tmpfs_lookup1(dvp, vpp, cnp));
 251 }
 252
 253 static int
 254 tmpfs_create(struct vop_create_args *v)
 255 {
 256         struct vnode *dvp = v->a_dvp;
 257         struct vnode **vpp = v->a_vpp;
 258         struct componentname *cnp = v->a_cnp;
 259         struct vattr *vap = v->a_vap;
 260         int error;
 261
 262         MPASS(vap->va_type == VREG || vap->va_type == VSOCK);
 263
 264         error = tmpfs_alloc_file(dvp, vpp, vap, cnp, NULL);
 265         if (error == 0 && (cnp->cn_flags & MAKEENTRY) != 0 && tmpfs_use_nc(dvp))
 266                 cache_enter(dvp, *vpp, cnp);
 267         return (error);
 268 }
 269
 270 static int
 271 tmpfs_mknod(struct vop_mknod_args *v)
 272 {
 273         struct vnode *dvp = v->a_dvp;
 274         struct vnode **vpp = v->a_vpp;
 275         struct componentname *cnp = v->a_cnp;
 276         struct vattr *vap = v->a_vap;
 277
 278         if (vap->va_type != VBLK && vap->va_type != VCHR &&
 279             vap->va_type != VFIFO)
 280                 return EINVAL;
 281
 282         return tmpfs_alloc_file(dvp, vpp, vap, cnp, NULL);
 283 }
 284
 285 struct fileops tmpfs_fnops;
 286
 287 static int
 288 tmpfs_open(struct vop_open_args *v)
 289 {
 290         struct vnode *vp;
 291         struct tmpfs_node *node;
 292         struct file *fp;
 293         int error, mode;
 294
 295         vp = v->a_vp;
 296         mode = v->a_mode;
 297         node = VP_TO_TMPFS_NODE(vp);
 298
 299         /*
 300          * The file is still active but all its names have been removed
 301          * (e.g. by a "rmdir $(pwd)").  It cannot be opened any more as
 302          * it is about to die.
 303          */
 304         if (node->tn_links < 1)
 305                 return (ENOENT);
 306
 307         /* If the file is marked append-only, deny write requests. */
 308         if (node->tn_flags & APPEND && (mode & (FWRITE | O_APPEND)) == FWRITE)
 309                 error = EPERM;
 310         else {
 311                 error = 0;
 312                 /* For regular files, the call below is nop. */
 313                 KASSERT(vp->v_type != VREG || (node->tn_reg.tn_aobj->flags &
 314                     OBJ_DEAD) == 0, ("dead object"));
 315                 vnode_create_vobject(vp, node->tn_size, v->a_td);
 316         }
 317
 318         fp = v->a_fp;
 319         MPASS(fp == NULL || fp->f_data == NULL);
 320         if (error == 0 && fp != NULL && vp->v_type == VREG) {
 321                 tmpfs_ref_node(node);
 322                 finit_vnode(fp, mode, node, &tmpfs_fnops);
 323         }
 324
 325         return (error);
 326 }
 327
 328 static int
 329 tmpfs_close(struct vop_close_args *v)
 330 {
 331         struct vnode *vp = v->a_vp;
 332
 333         /* Update node times. */
 334         tmpfs_update(vp);
 335
 336         return (0);
 337 }
 338
 339 int
 340 tmpfs_fo_close(struct file *fp, struct thread *td)
 341 {
 342         struct tmpfs_node *node;
 343
 344         node = fp->f_data;
 345         if (node != NULL) {
 346                 MPASS(node->tn_type == VREG);
 347                 tmpfs_free_node(node->tn_reg.tn_tmp, node);
 348         }
 349         return (vnops.fo_close(fp, td));
 350 }
 351
 352 /*
 353  * VOP_FPLOOKUP_VEXEC routines are subject to special circumstances, see
 354  * the comment above cache_fplookup for details.
 355  */
 356 int
 357 tmpfs_fplookup_vexec(struct vop_fplookup_vexec_args *v)
 358 {
 359         struct vnode *vp;
 360         struct tmpfs_node *node;
 361         struct ucred *cred;
 362         mode_t all_x, mode;
 363
 364         vp = v->a_vp;
 365         node = VP_TO_TMPFS_NODE_SMR(vp);
 366         if (__predict_false(node == NULL))
 367                 return (EAGAIN);
 368
 369         all_x = S_IXUSR | S_IXGRP | S_IXOTH;
 370         mode = atomic_load_short(&node->tn_mode);
 371         if (__predict_true((mode & all_x) == all_x))
 372                 return (0);
 373
 374         cred = v->a_cred;
 375         return (vaccess_vexec_smr(mode, node->tn_uid, node->tn_gid, cred));
 376 }
 377
 378 int
 379 tmpfs_access(struct vop_access_args *v)
 380 {
 381         struct vnode *vp = v->a_vp;
 382         accmode_t accmode = v->a_accmode;
 383         struct ucred *cred = v->a_cred;
 384         mode_t all_x = S_IXUSR | S_IXGRP | S_IXOTH;
 385         int error;
 386         struct tmpfs_node *node;
 387
 388         MPASS(VOP_ISLOCKED(vp));
 389
 390         node = VP_TO_TMPFS_NODE(vp);
 391
 392         /*
 393          * Common case path lookup.
 394          */
 395         if (__predict_true(accmode == VEXEC && (node->tn_mode & all_x) == all_x))
 396                 return (0);
 397
 398         switch (vp->v_type) {
 399         case VDIR:
 400                 /* FALLTHROUGH */
 401         case VLNK:
 402                 /* FALLTHROUGH */
 403         case VREG:
 404                 if (accmode & VWRITE && vp->v_mount->mnt_flag & MNT_RDONLY) {
 405                         error = EROFS;
 406                         goto out;
 407                 }
 408                 break;
 409
 410         case VBLK:
 411                 /* FALLTHROUGH */
 412         case VCHR:
 413                 /* FALLTHROUGH */
 414         case VSOCK:
 415                 /* FALLTHROUGH */
 416         case VFIFO:
 417                 break;
 418
 419         default:
 420                 error = EINVAL;
 421                 goto out;
 422         }
 423
 424         if (accmode & VWRITE && node->tn_flags & IMMUTABLE) {
 425                 error = EPERM;
 426                 goto out;
 427         }
 428
 429         error = vaccess(vp->v_type, node->tn_mode, node->tn_uid, node->tn_gid,
 430             accmode, cred);
 431
 432 out:
 433         MPASS(VOP_ISLOCKED(vp));
 434
 435         return (error);
 436 }
 437
 438 int
 439 tmpfs_stat(struct vop_stat_args *v)
 440 {
 441         struct vnode *vp = v->a_vp;
 442         struct stat *sb = v->a_sb;
 443         vm_object_t obj;
 444         struct tmpfs_node *node;
 445         int error;
 446
 447         node = VP_TO_TMPFS_NODE(vp);
 448
 449         tmpfs_update_getattr(vp);
 450
 451         error = vop_stat_helper_pre(v);
 452         if (__predict_false(error))
 453                 return (error);
 454
 455         sb->st_dev = vp->v_mount->mnt_stat.f_fsid.val[0];
 456         sb->st_ino = node->tn_id;
 457         sb->st_mode = node->tn_mode | VTTOIF(vp->v_type);
 458         sb->st_nlink = node->tn_links;
 459         sb->st_uid = node->tn_uid;
 460         sb->st_gid = node->tn_gid;
 461         sb->st_rdev = (vp->v_type == VBLK || vp->v_type == VCHR) ?
 462                 node->tn_rdev : NODEV;
 463         sb->st_size = node->tn_size;
 464         sb->st_atim.tv_sec = node->tn_atime.tv_sec;
 465         sb->st_atim.tv_nsec = node->tn_atime.tv_nsec;
 466         sb->st_mtim.tv_sec = node->tn_mtime.tv_sec;
 467         sb->st_mtim.tv_nsec = node->tn_mtime.tv_nsec;
 468         sb->st_ctim.tv_sec = node->tn_ctime.tv_sec;
 469         sb->st_ctim.tv_nsec = node->tn_ctime.tv_nsec;
 470         sb->st_birthtim.tv_sec = node->tn_birthtime.tv_sec;
 471         sb->st_birthtim.tv_nsec = node->tn_birthtime.tv_nsec;
 472         sb->st_blksize = PAGE_SIZE;
 473         sb->st_flags = node->tn_flags;
 474         sb->st_gen = node->tn_gen;
 475         if (vp->v_type == VREG) {
 476                 obj = node->tn_reg.tn_aobj;
 477                 sb->st_blocks = (u_quad_t)obj->resident_page_count * PAGE_SIZE;
 478         } else
 479                 sb->st_blocks = node->tn_size;
 480         sb->st_blocks /= S_BLKSIZE;
 481         return (vop_stat_helper_post(v, error));
 482 }
 483
 484 int
 485 tmpfs_getattr(struct vop_getattr_args *v)
 486 {
 487         struct vnode *vp = v->a_vp;
 488         struct vattr *vap = v->a_vap;
 489         vm_object_t obj;
 490         struct tmpfs_node *node;
 491
 492         node = VP_TO_TMPFS_NODE(vp);
 493
 494         tmpfs_update_getattr(vp);
 495
 496         vap->va_type = vp->v_type;
 497         vap->va_mode = node->tn_mode;
 498         vap->va_nlink = node->tn_links;
 499         vap->va_uid = node->tn_uid;
 500         vap->va_gid = node->tn_gid;
 501         vap->va_fsid = vp->v_mount->mnt_stat.f_fsid.val[0];
 502         vap->va_fileid = node->tn_id;
 503         vap->va_size = node->tn_size;
 504         vap->va_blocksize = PAGE_SIZE;
 505         vap->va_atime = node->tn_atime;
 506         vap->va_mtime = node->tn_mtime;
 507         vap->va_ctime = node->tn_ctime;
 508         vap->va_birthtime = node->tn_birthtime;
 509         vap->va_gen = node->tn_gen;
 510         vap->va_flags = node->tn_flags;
 511         vap->va_rdev = (vp->v_type == VBLK || vp->v_type == VCHR) ?
 512                 node->tn_rdev : NODEV;
 513         if (vp->v_type == VREG) {
 514                 obj = node->tn_reg.tn_aobj;
 515                 vap->va_bytes = (u_quad_t)obj->resident_page_count * PAGE_SIZE;
 516         } else
 517                 vap->va_bytes = node->tn_size;
 518         vap->va_filerev = 0;
 519
 520         return 0;
 521 }
 522
 523 int
 524 tmpfs_setattr(struct vop_setattr_args *v)
 525 {
 526         struct vnode *vp = v->a_vp;
 527         struct vattr *vap = v->a_vap;
 528         struct ucred *cred = v->a_cred;
 529         struct thread *td = curthread;
 530
 531         int error;
 532
 533         MPASS(VOP_ISLOCKED(vp));
 534         ASSERT_VOP_IN_SEQC(vp);
 535
 536         error = 0;
 537
 538         /* Abort if any unsettable attribute is given. */
 539         if (vap->va_type != VNON ||
 540             vap->va_nlink != VNOVAL ||
 541             vap->va_fsid != VNOVAL ||
 542             vap->va_fileid != VNOVAL ||
 543             vap->va_blocksize != VNOVAL ||
 544             vap->va_gen != VNOVAL ||
 545             vap->va_rdev != VNOVAL ||
 546             vap->va_bytes != VNOVAL)
 547                 error = EINVAL;
 548
 549         if (error == 0 && (vap->va_flags != VNOVAL))
 550                 error = tmpfs_chflags(vp, vap->va_flags, cred, td);
 551
 552         if (error == 0 && (vap->va_size != VNOVAL))
 553                 error = tmpfs_chsize(vp, vap->va_size, cred, td);
 554
 555         if (error == 0 && (vap->va_uid != VNOVAL || vap->va_gid != VNOVAL))
 556                 error = tmpfs_chown(vp, vap->va_uid, vap->va_gid, cred, td);
 557
 558         if (error == 0 && (vap->va_mode != (mode_t)VNOVAL))
 559                 error = tmpfs_chmod(vp, vap->va_mode, cred, td);
 560
 561         if (error == 0 && ((vap->va_atime.tv_sec != VNOVAL &&
 562             vap->va_atime.tv_nsec != VNOVAL) ||
 563             (vap->va_mtime.tv_sec != VNOVAL &&
 564             vap->va_mtime.tv_nsec != VNOVAL) ||
 565             (vap->va_birthtime.tv_sec != VNOVAL &&
 566             vap->va_birthtime.tv_nsec != VNOVAL)))
 567                 error = tmpfs_chtimes(vp, vap, cred, td);
 568
 569         /*
 570          * Update the node times.  We give preference to the error codes
 571          * generated by this function rather than the ones that may arise
 572          * from tmpfs_update.
 573          */
 574         tmpfs_update(vp);
 575
 576         MPASS(VOP_ISLOCKED(vp));
 577
 578         return error;
 579 }
 580
 581 static int
 582 tmpfs_read(struct vop_read_args *v)
 583 {
 584         struct vnode *vp;
 585         struct uio *uio;
 586         struct tmpfs_node *node;
 587
 588         vp = v->a_vp;
 589         if (vp->v_type != VREG)
 590                 return (EISDIR);
 591         uio = v->a_uio;
 592         if (uio->uio_offset < 0)
 593                 return (EINVAL);
 594         node = VP_TO_TMPFS_NODE(vp);
 595         tmpfs_set_accessed(VFS_TO_TMPFS(vp->v_mount), node);
 596         return (uiomove_object(node->tn_reg.tn_aobj, node->tn_size, uio));
 597 }
 598
 599 static int
 600 tmpfs_read_pgcache(struct vop_read_pgcache_args *v)
 601 {
 602         struct vnode *vp;
 603         struct tmpfs_node *node;
 604         vm_object_t object;
 605         off_t size;
 606         int error;
 607
 608         vp = v->a_vp;
 609         VNPASS((vn_irflag_read(vp) & VIRF_PGREAD) != 0, vp);
 610
 611         if (v->a_uio->uio_offset < 0)
 612                 return (EINVAL);
 613
 614         error = EJUSTRETURN;
 615         vfs_smr_enter();
 616
 617         node = VP_TO_TMPFS_NODE_SMR(vp);
 618         if (node == NULL)
 619                 goto out_smr;
 620         MPASS(node->tn_type == VREG);
 621         MPASS(node->tn_refcount >= 1);
 622         object = node->tn_reg.tn_aobj;
 623         if (object == NULL)
 624                 goto out_smr;
 625
 626         MPASS(object->type == tmpfs_pager_type);
 627         MPASS((object->flags & (OBJ_ANON | OBJ_DEAD | OBJ_SWAP)) ==
 628             OBJ_SWAP);
 629         if (!VN_IS_DOOMED(vp)) {
 630                 /* size cannot become shorter due to rangelock. */
 631                 size = node->tn_size;
 632                 tmpfs_set_accessed(node->tn_reg.tn_tmp, node);
 633                 vfs_smr_exit();
 634                 error = uiomove_object(object, size, v->a_uio);
 635                 return (error);
 636         }
 637 out_smr:
 638         vfs_smr_exit();
 639         return (error);
 640 }
 641
 642 static int
 643 tmpfs_write(struct vop_write_args *v)
 644 {
 645         struct vnode *vp;
 646         struct uio *uio;
 647         struct tmpfs_node *node;
 648         off_t oldsize;
 649         int error, ioflag;
 650         mode_t newmode;
 651
 652         vp = v->a_vp;
 653         uio = v->a_uio;
 654         ioflag = v->a_ioflag;
 655         error = 0;
 656         node = VP_TO_TMPFS_NODE(vp);
 657         oldsize = node->tn_size;
 658
 659         if (uio->uio_offset < 0 || vp->v_type != VREG)
 660                 return (EINVAL);
 661         if (uio->uio_resid == 0)
 662                 return (0);
 663         if (ioflag & IO_APPEND)
 664                 uio->uio_offset = node->tn_size;
 665         if (uio->uio_offset + uio->uio_resid >
 666           VFS_TO_TMPFS(vp->v_mount)->tm_maxfilesize)
 667                 return (EFBIG);
 668         if (vn_rlimit_fsize(vp, uio, uio->uio_td))
 669                 return (EFBIG);
 670         if (uio->uio_offset + uio->uio_resid > node->tn_size) {
 671                 error = tmpfs_reg_resize(vp, uio->uio_offset + uio->uio_resid,
 672                     FALSE);
 673                 if (error != 0)
 674                         goto out;
 675         }
 676
 677         error = uiomove_object(node->tn_reg.tn_aobj, node->tn_size, uio);
 678         node->tn_status |= TMPFS_NODE_MODIFIED | TMPFS_NODE_CHANGED;
 679         node->tn_accessed = true;
 680         if (node->tn_mode & (S_ISUID | S_ISGID)) {
 681                 if (priv_check_cred(v->a_cred, PRIV_VFS_RETAINSUGID)) {
 682                         newmode = node->tn_mode & ~(S_ISUID | S_ISGID);
 683                         vn_seqc_write_begin(vp);
 684                         atomic_store_short(&node->tn_mode, newmode);
 685                         vn_seqc_write_end(vp);
 686                 }
 687         }
 688         if (error != 0)
 689                 (void)tmpfs_reg_resize(vp, oldsize, TRUE);
 690
 691 out:
 692         MPASS(IMPLIES(error == 0, uio->uio_resid == 0));
 693         MPASS(IMPLIES(error != 0, oldsize == node->tn_size));
 694
 695         return (error);
 696 }
 697
 698 static int
 699 tmpfs_fsync(struct vop_fsync_args *v)
 700 {
 701         struct vnode *vp = v->a_vp;
 702
 703         MPASS(VOP_ISLOCKED(vp));
 704
 705         tmpfs_check_mtime(vp);
 706         tmpfs_update(vp);
 707
 708         return 0;
 709 }
 710
 711 static int
 712 tmpfs_remove(struct vop_remove_args *v)
 713 {
 714         struct vnode *dvp = v->a_dvp;
 715         struct vnode *vp = v->a_vp;
 716
 717         int error;
 718         struct tmpfs_dirent *de;
 719         struct tmpfs_mount *tmp;
 720         struct tmpfs_node *dnode;
 721         struct tmpfs_node *node;
 722
 723         MPASS(VOP_ISLOCKED(dvp));
 724         MPASS(VOP_ISLOCKED(vp));
 725
 726         if (vp->v_type == VDIR) {
 727                 error = EISDIR;
 728                 goto out;
 729         }
 730
 731         dnode = VP_TO_TMPFS_DIR(dvp);
 732         node = VP_TO_TMPFS_NODE(vp);
 733         tmp = VFS_TO_TMPFS(vp->v_mount);
 734         de = tmpfs_dir_lookup(dnode, node, v->a_cnp);
 735         MPASS(de != NULL);
 736
 737         /* Files marked as immutable or append-only cannot be deleted. */
 738         if ((node->tn_flags & (IMMUTABLE | APPEND | NOUNLINK)) ||
 739             (dnode->tn_flags & APPEND)) {
 740                 error = EPERM;
 741                 goto out;
 742         }
 743
 744         /* Remove the entry from the directory; as it is a file, we do not
 745          * have to change the number of hard links of the directory. */
 746         tmpfs_dir_detach(dvp, de);
 747         if (v->a_cnp->cn_flags & DOWHITEOUT)
 748                 tmpfs_dir_whiteout_add(dvp, v->a_cnp);
 749
 750         /* Free the directory entry we just deleted.  Note that the node
 751          * referred by it will not be removed until the vnode is really
 752          * reclaimed. */
 753         tmpfs_free_dirent(tmp, de);
 754
 755         node->tn_status |= TMPFS_NODE_CHANGED;
 756         node->tn_accessed = true;
 757         error = 0;
 758
 759 out:
 760         return (error);
 761 }
 762
 763 static int
 764 tmpfs_link(struct vop_link_args *v)
 765 {
 766         struct vnode *dvp = v->a_tdvp;
 767         struct vnode *vp = v->a_vp;
 768         struct componentname *cnp = v->a_cnp;
 769
 770         int error;
 771         struct tmpfs_dirent *de;
 772         struct tmpfs_node *node;
 773
 774         MPASS(VOP_ISLOCKED(dvp));
 775         MPASS(cnp->cn_flags & HASBUF);
 776         MPASS(dvp != vp); /* XXX When can this be false? */
 777         node = VP_TO_TMPFS_NODE(vp);
 778
 779         /* Ensure that we do not overflow the maximum number of links imposed
 780          * by the system. */
 781         MPASS(node->tn_links <= TMPFS_LINK_MAX);
 782         if (node->tn_links == TMPFS_LINK_MAX) {
 783                 error = EMLINK;
 784                 goto out;
 785         }
 786
 787         /* We cannot create links of files marked immutable or append-only. */
 788         if (node->tn_flags & (IMMUTABLE | APPEND)) {
 789                 error = EPERM;
 790                 goto out;
 791         }
 792
 793         /* Allocate a new directory entry to represent the node. */
 794         error = tmpfs_alloc_dirent(VFS_TO_TMPFS(vp->v_mount), node,
 795             cnp->cn_nameptr, cnp->cn_namelen, &de);
 796         if (error != 0)
 797                 goto out;
 798
 799         /* Insert the new directory entry into the appropriate directory. */
 800         if (cnp->cn_flags & ISWHITEOUT)
 801                 tmpfs_dir_whiteout_remove(dvp, cnp);
 802         tmpfs_dir_attach(dvp, de);
 803
 804         /* vp link count has changed, so update node times. */
 805         node->tn_status |= TMPFS_NODE_CHANGED;
 806         tmpfs_update(vp);
 807
 808         error = 0;
 809
 810 out:
 811         return error;
 812 }
 813
 814 /*
 815  * We acquire all but fdvp locks using non-blocking acquisitions.  If we
 816  * fail to acquire any lock in the path we will drop all held locks,
 817  * acquire the new lock in a blocking fashion, and then release it and
 818  * restart the rename.  This acquire/release step ensures that we do not
 819  * spin on a lock waiting for release.  On error release all vnode locks
 820  * and decrement references the way tmpfs_rename() would do.
 821  */
 822 static int
 823 tmpfs_rename_relock(struct vnode *fdvp, struct vnode **fvpp,
 824     struct vnode *tdvp, struct vnode **tvpp,
 825     struct componentname *fcnp, struct componentname *tcnp)
 826 {
 827         struct vnode *nvp;
 828         struct mount *mp;
 829         struct tmpfs_dirent *de;
 830         int error, restarts = 0;
 831
 832         VOP_UNLOCK(tdvp);
 833         if (*tvpp != NULL && *tvpp != tdvp)
 834                 VOP_UNLOCK(*tvpp);
 835         mp = fdvp->v_mount;
 836
 837 relock:
 838         restarts += 1;
 839         error = vn_lock(fdvp, LK_EXCLUSIVE);
 840         if (error)
 841                 goto releout;
 842         if (vn_lock(tdvp, LK_EXCLUSIVE | LK_NOWAIT) != 0) {
 843                 VOP_UNLOCK(fdvp);
 844                 error = vn_lock(tdvp, LK_EXCLUSIVE);
 845                 if (error)
 846                         goto releout;
 847                 VOP_UNLOCK(tdvp);
 848                 goto relock;
 849         }
 850         /*
 851          * Re-resolve fvp to be certain it still exists and fetch the
 852          * correct vnode.
 853          */
 854         de = tmpfs_dir_lookup(VP_TO_TMPFS_DIR(fdvp), NULL, fcnp);
 855         if (de == NULL) {
 856                 VOP_UNLOCK(fdvp);
 857                 VOP_UNLOCK(tdvp);
 858                 if ((fcnp->cn_flags & ISDOTDOT) != 0 ||
 859                     (fcnp->cn_namelen == 1 && fcnp->cn_nameptr[0] == '.'))
 860                         error = EINVAL;
 861                 else
 862                         error = ENOENT;
 863                 goto releout;
 864         }
 865         error = tmpfs_alloc_vp(mp, de->td_node, LK_EXCLUSIVE | LK_NOWAIT, &nvp);
 866         if (error != 0) {
 867                 VOP_UNLOCK(fdvp);
 868                 VOP_UNLOCK(tdvp);
 869                 if (error != EBUSY)
 870                         goto releout;
 871                 error = tmpfs_alloc_vp(mp, de->td_node, LK_EXCLUSIVE, &nvp);
 872                 if (error != 0)
 873                         goto releout;
 874                 VOP_UNLOCK(nvp);
 875                 /*
 876                  * Concurrent rename race.
 877                  */
 878                 if (nvp == tdvp) {
 879                         vrele(nvp);
 880                         error = EINVAL;
 881                         goto releout;
 882                 }
 883                 vrele(*fvpp);
 884                 *fvpp = nvp;
 885                 goto relock;
 886         }
 887         vrele(*fvpp);
 888         *fvpp = nvp;
 889         VOP_UNLOCK(*fvpp);
 890         /*
 891          * Re-resolve tvp and acquire the vnode lock if present.
 892          */
 893         de = tmpfs_dir_lookup(VP_TO_TMPFS_DIR(tdvp), NULL, tcnp);
 894         /*
 895          * If tvp disappeared we just carry on.
 896          */
 897         if (de == NULL && *tvpp != NULL) {
 898                 vrele(*tvpp);
 899                 *tvpp = NULL;
 900         }
 901         /*
 902          * Get the tvp ino if the lookup succeeded.  We may have to restart
 903          * if the non-blocking acquire fails.
 904          */
 905         if (de != NULL) {
 906                 nvp = NULL;
 907                 error = tmpfs_alloc_vp(mp, de->td_node,
 908                     LK_EXCLUSIVE | LK_NOWAIT, &nvp);
 909                 if (*tvpp != NULL)
 910                         vrele(*tvpp);
 911                 *tvpp = nvp;
 912                 if (error != 0) {
 913                         VOP_UNLOCK(fdvp);
 914                         VOP_UNLOCK(tdvp);
 915                         if (error != EBUSY)
 916                                 goto releout;
 917                         error = tmpfs_alloc_vp(mp, de->td_node, LK_EXCLUSIVE,
 918                             &nvp);
 919                         if (error != 0)
 920                                 goto releout;
 921                         VOP_UNLOCK(nvp);
 922                         /*
 923                          * fdvp contains fvp, thus tvp (=fdvp) is not empty.
 924                          */
 925                         if (nvp == fdvp) {
 926                                 error = ENOTEMPTY;
 927                                 goto releout;
 928                         }
 929                         goto relock;
 930                 }
 931         }
 932         tmpfs_rename_restarts += restarts;
 933
 934         return (0);
 935
 936 releout:
 937         vrele(fdvp);
 938         vrele(*fvpp);
 939         vrele(tdvp);
 940         if (*tvpp != NULL)
 941                 vrele(*tvpp);
 942         tmpfs_rename_restarts += restarts;
 943
 944         return (error);
 945 }
 946
 947 static int
 948 tmpfs_rename(struct vop_rename_args *v)
 949 {
 950         struct vnode *fdvp = v->a_fdvp;
 951         struct vnode *fvp = v->a_fvp;
 952         struct componentname *fcnp = v->a_fcnp;
 953         struct vnode *tdvp = v->a_tdvp;
 954         struct vnode *tvp = v->a_tvp;
 955         struct componentname *tcnp = v->a_tcnp;
 956         char *newname;
 957         struct tmpfs_dirent *de;
 958         struct tmpfs_mount *tmp;
 959         struct tmpfs_node *fdnode;
 960         struct tmpfs_node *fnode;
 961         struct tmpfs_node *tnode;
 962         struct tmpfs_node *tdnode;
 963         int error;
 964         bool want_seqc_end;
 965
 966         MPASS(VOP_ISLOCKED(tdvp));
 967         MPASS(IMPLIES(tvp != NULL, VOP_ISLOCKED(tvp)));
 968         MPASS(fcnp->cn_flags & HASBUF);
 969         MPASS(tcnp->cn_flags & HASBUF);
 970
 971         want_seqc_end = false;
 972
 973         /*
 974          * Disallow cross-device renames.
 975          * XXX Why isn't this done by the caller?
 976          */
 977         if (fvp->v_mount != tdvp->v_mount ||
 978             (tvp != NULL && fvp->v_mount != tvp->v_mount)) {
 979                 error = EXDEV;
 980                 goto out;
 981         }
 982
 983         /* If source and target are the same file, there is nothing to do. */
 984         if (fvp == tvp) {
 985                 error = 0;
 986                 goto out;
 987         }
 988
 989         /*
 990          * If we need to move the directory between entries, lock the
 991          * source so that we can safely operate on it.
 992          */
 993         if (fdvp != tdvp && fdvp != tvp) {
 994                 if (vn_lock(fdvp, LK_EXCLUSIVE | LK_NOWAIT) != 0) {
 995                         error = tmpfs_rename_relock(fdvp, &fvp, tdvp, &tvp,
 996                             fcnp, tcnp);
 997                         if (error != 0)
 998                                 return (error);
 999                         ASSERT_VOP_ELOCKED(fdvp,
1000                             "tmpfs_rename: fdvp not locked");
1001                         ASSERT_VOP_ELOCKED(tdvp,
1002                             "tmpfs_rename: tdvp not locked");
1003                         if (tvp != NULL)
1004                                 ASSERT_VOP_ELOCKED(tvp,
1005                                     "tmpfs_rename: tvp not locked");
1006                         if (fvp == tvp) {
1007                                 error = 0;
1008                                 goto out_locked;
1009                         }
1010                 }
1011         }
1012
1013         if (tvp != NULL)
1014                 vn_seqc_write_begin(tvp);
1015         vn_seqc_write_begin(tdvp);
1016         vn_seqc_write_begin(fvp);
1017         vn_seqc_write_begin(fdvp);
1018         want_seqc_end = true;
1019
1020         tmp = VFS_TO_TMPFS(tdvp->v_mount);
1021         tdnode = VP_TO_TMPFS_DIR(tdvp);
1022         tnode = (tvp == NULL) ? NULL : VP_TO_TMPFS_NODE(tvp);
1023         fdnode = VP_TO_TMPFS_DIR(fdvp);
1024         fnode = VP_TO_TMPFS_NODE(fvp);
1025         de = tmpfs_dir_lookup(fdnode, fnode, fcnp);
1026
1027         /*
1028          * Entry can disappear before we lock fdvp,
1029          * also avoid manipulating '.' and '..' entries.
1030          */
1031         if (de == NULL) {
1032                 if ((fcnp->cn_flags & ISDOTDOT) != 0 ||
1033                     (fcnp->cn_namelen == 1 && fcnp->cn_nameptr[0] == '.'))
1034                         error = EINVAL;
1035                 else
1036                         error = ENOENT;
1037                 goto out_locked;
1038         }
1039         MPASS(de->td_node == fnode);
1040
1041         /*
1042          * If re-naming a directory to another preexisting directory
1043          * ensure that the target directory is empty so that its
1044          * removal causes no side effects.
1045          * Kern_rename guarantees the destination to be a directory
1046          * if the source is one.
1047          */
1048         if (tvp != NULL) {
1049                 MPASS(tnode != NULL);
1050
1051                 if ((tnode->tn_flags & (NOUNLINK | IMMUTABLE | APPEND)) ||
1052                     (tdnode->tn_flags & (APPEND | IMMUTABLE))) {
1053                         error = EPERM;
1054                         goto out_locked;
1055                 }
1056
1057                 if (fnode->tn_type == VDIR && tnode->tn_type == VDIR) {
1058                         if (tnode->tn_size > 0) {
1059                                 error = ENOTEMPTY;
1060                                 goto out_locked;
1061                         }
1062                 } else if (fnode->tn_type == VDIR && tnode->tn_type != VDIR) {
1063                         error = ENOTDIR;
1064                         goto out_locked;
1065                 } else if (fnode->tn_type != VDIR && tnode->tn_type == VDIR) {
1066                         error = EISDIR;
1067                         goto out_locked;
1068                 } else {
1069                         MPASS(fnode->tn_type != VDIR &&
1070                                 tnode->tn_type != VDIR);
1071                 }
1072         }
1073
1074         if ((fnode->tn_flags & (NOUNLINK | IMMUTABLE | APPEND))
1075             || (fdnode->tn_flags & (APPEND | IMMUTABLE))) {
1076                 error = EPERM;
1077                 goto out_locked;
1078         }
1079
1080         /*
1081          * Ensure that we have enough memory to hold the new name, if it
1082          * has to be changed.
1083          */
1084         if (fcnp->cn_namelen != tcnp->cn_namelen ||
1085             bcmp(fcnp->cn_nameptr, tcnp->cn_nameptr, fcnp->cn_namelen) != 0) {
1086                 newname = malloc(tcnp->cn_namelen, M_TMPFSNAME, M_WAITOK);
1087         } else
1088                 newname = NULL;
1089
1090         /*
1091          * If the node is being moved to another directory, we have to do
1092          * the move.
1093          */
1094         if (fdnode != tdnode) {
1095                 /*
1096                  * In case we are moving a directory, we have to adjust its
1097                  * parent to point to the new parent.
1098                  */
1099                 if (de->td_node->tn_type == VDIR) {
1100                         struct tmpfs_node *n;
1101
1102                         /*
1103                          * Ensure the target directory is not a child of the
1104                          * directory being moved.  Otherwise, we'd end up
1105                          * with stale nodes.
1106                          */
1107                         n = tdnode;
1108                         /*
1109                          * TMPFS_LOCK guaranties that no nodes are freed while
1110                          * traversing the list. Nodes can only be marked as
1111                          * removed: tn_parent == NULL.
1112                          */
1113                         TMPFS_LOCK(tmp);
1114                         TMPFS_NODE_LOCK(n);
1115                         while (n != n->tn_dir.tn_parent) {
1116                                 struct tmpfs_node *parent;
1117
1118                                 if (n == fnode) {
1119                                         TMPFS_NODE_UNLOCK(n);
1120                                         TMPFS_UNLOCK(tmp);
1121                                         error = EINVAL;
1122                                         if (newname != NULL)
1123                                                     free(newname, M_TMPFSNAME);
1124                                         goto out_locked;
1125                                 }
1126                                 parent = n->tn_dir.tn_parent;
1127                                 TMPFS_NODE_UNLOCK(n);
1128                                 if (parent == NULL) {
1129                                         n = NULL;
1130                                         break;
1131                                 }
1132                                 TMPFS_NODE_LOCK(parent);
1133                                 if (parent->tn_dir.tn_parent == NULL) {
1134                                         TMPFS_NODE_UNLOCK(parent);
1135                                         n = NULL;
1136                                         break;
1137                                 }
1138                                 n = parent;
1139                         }
1140                         TMPFS_UNLOCK(tmp);
1141                         if (n == NULL) {
1142                                 error = EINVAL;
1143                                 if (newname != NULL)
1144                                             free(newname, M_TMPFSNAME);
1145                                 goto out_locked;
1146                         }
1147                         TMPFS_NODE_UNLOCK(n);
1148
1149                         /* Adjust the parent pointer. */
1150                         TMPFS_VALIDATE_DIR(fnode);
1151                         TMPFS_NODE_LOCK(de->td_node);
1152                         de->td_node->tn_dir.tn_parent = tdnode;
1153                         TMPFS_NODE_UNLOCK(de->td_node);
1154
1155                         /*
1156                          * As a result of changing the target of the '..'
1157                          * entry, the link count of the source and target
1158                          * directories has to be adjusted.
1159                          */
1160                         TMPFS_NODE_LOCK(tdnode);
1161                         TMPFS_ASSERT_LOCKED(tdnode);
1162                         tdnode->tn_links++;
1163                         TMPFS_NODE_UNLOCK(tdnode);
1164
1165                         TMPFS_NODE_LOCK(fdnode);
1166                         TMPFS_ASSERT_LOCKED(fdnode);
1167                         fdnode->tn_links--;
1168                         TMPFS_NODE_UNLOCK(fdnode);
1169                 }
1170         }
1171
1172         /*
1173          * Do the move: just remove the entry from the source directory
1174          * and insert it into the target one.
1175          */
1176         tmpfs_dir_detach(fdvp, de);
1177
1178         if (fcnp->cn_flags & DOWHITEOUT)
1179                 tmpfs_dir_whiteout_add(fdvp, fcnp);
1180         if (tcnp->cn_flags & ISWHITEOUT)
1181                 tmpfs_dir_whiteout_remove(tdvp, tcnp);
1182
1183         /*
1184          * If the name has changed, we need to make it effective by changing
1185          * it in the directory entry.
1186          */
1187         if (newname != NULL) {
1188                 MPASS(tcnp->cn_namelen <= MAXNAMLEN);
1189
1190                 free(de->ud.td_name, M_TMPFSNAME);
1191                 de->ud.td_name = newname;
1192                 tmpfs_dirent_init(de, tcnp->cn_nameptr, tcnp->cn_namelen);
1193
1194                 fnode->tn_status |= TMPFS_NODE_CHANGED;
1195                 tdnode->tn_status |= TMPFS_NODE_MODIFIED;
1196         }
1197
1198         /*
1199          * If we are overwriting an entry, we have to remove the old one
1200          * from the target directory.
1201          */
1202         if (tvp != NULL) {
1203                 struct tmpfs_dirent *tde;
1204
1205                 /* Remove the old entry from the target directory. */
1206                 tde = tmpfs_dir_lookup(tdnode, tnode, tcnp);
1207                 tmpfs_dir_detach(tdvp, tde);
1208
1209                 /*
1210                  * Free the directory entry we just deleted.  Note that the
1211                  * node referred by it will not be removed until the vnode is
1212                  * really reclaimed.
1213                  */
1214                 tmpfs_free_dirent(VFS_TO_TMPFS(tvp->v_mount), tde);
1215         }
1216
1217         tmpfs_dir_attach(tdvp, de);
1218
1219         if (tmpfs_use_nc(fvp)) {
1220                 cache_vop_rename(fdvp, fvp, tdvp, tvp, fcnp, tcnp);
1221         }
1222
1223         error = 0;
1224
1225 out_locked:
1226         if (fdvp != tdvp && fdvp != tvp)
1227                 VOP_UNLOCK(fdvp);
1228
1229 out:
1230         if (want_seqc_end) {
1231                 if (tvp != NULL)
1232                         vn_seqc_write_end(tvp);
1233                 vn_seqc_write_end(tdvp);
1234                 vn_seqc_write_end(fvp);
1235                 vn_seqc_write_end(fdvp);
1236         }
1237
1238         /*
1239          * Release target nodes.
1240          * XXX: I don't understand when tdvp can be the same as tvp, but
1241          * other code takes care of this...
1242          */
1243         if (tdvp == tvp)
1244                 vrele(tdvp);
1245         else
1246                 vput(tdvp);
1247         if (tvp != NULL)
1248                 vput(tvp);
1249
1250         /* Release source nodes. */
1251         vrele(fdvp);
1252         vrele(fvp);
1253
1254         return (error);
1255 }
1256
1257 static int
1258 tmpfs_mkdir(struct vop_mkdir_args *v)
1259 {
1260         struct vnode *dvp = v->a_dvp;
1261         struct vnode **vpp = v->a_vpp;
1262         struct componentname *cnp = v->a_cnp;
1263         struct vattr *vap = v->a_vap;
1264
1265         MPASS(vap->va_type == VDIR);
1266
1267         return tmpfs_alloc_file(dvp, vpp, vap, cnp, NULL);
1268 }
1269
1270 static int
1271 tmpfs_rmdir(struct vop_rmdir_args *v)
1272 {
1273         struct vnode *dvp = v->a_dvp;
1274         struct vnode *vp = v->a_vp;
1275
1276         int error;
1277         struct tmpfs_dirent *de;
1278         struct tmpfs_mount *tmp;
1279         struct tmpfs_node *dnode;
1280         struct tmpfs_node *node;
1281
1282         MPASS(VOP_ISLOCKED(dvp));
1283         MPASS(VOP_ISLOCKED(vp));
1284
1285         tmp = VFS_TO_TMPFS(dvp->v_mount);
1286         dnode = VP_TO_TMPFS_DIR(dvp);
1287         node = VP_TO_TMPFS_DIR(vp);
1288
1289         /* Directories with more than two entries ('.' and '..') cannot be
1290          * removed. */
1291          if (node->tn_size > 0) {
1292                  error = ENOTEMPTY;
1293                  goto out;
1294          }
1295
1296         if ((dnode->tn_flags & APPEND)
1297             || (node->tn_flags & (NOUNLINK | IMMUTABLE | APPEND))) {
1298                 error = EPERM;
1299                 goto out;
1300         }
1301
1302         /* This invariant holds only if we are not trying to remove "..".
1303           * We checked for that above so this is safe now. */
1304         MPASS(node->tn_dir.tn_parent == dnode);
1305
1306         /* Get the directory entry associated with node (vp).  This was
1307          * filled by tmpfs_lookup while looking up the entry. */
1308         de = tmpfs_dir_lookup(dnode, node, v->a_cnp);
1309         MPASS(TMPFS_DIRENT_MATCHES(de,
1310             v->a_cnp->cn_nameptr,
1311             v->a_cnp->cn_namelen));
1312
1313         /* Check flags to see if we are allowed to remove the directory. */
1314         if ((dnode->tn_flags & APPEND) != 0 ||
1315             (node->tn_flags & (NOUNLINK | IMMUTABLE | APPEND)) != 0) {
1316                 error = EPERM;
1317                 goto out;
1318         }
1319
1320         /* Detach the directory entry from the directory (dnode). */
1321         tmpfs_dir_detach(dvp, de);
1322         if (v->a_cnp->cn_flags & DOWHITEOUT)
1323                 tmpfs_dir_whiteout_add(dvp, v->a_cnp);
1324
1325         /* No vnode should be allocated for this entry from this point */
1326         TMPFS_NODE_LOCK(node);
1327         node->tn_links--;
1328         node->tn_dir.tn_parent = NULL;
1329         node->tn_status |= TMPFS_NODE_CHANGED | TMPFS_NODE_MODIFIED;
1330         node->tn_accessed = true;
1331
1332         TMPFS_NODE_UNLOCK(node);
1333
1334         TMPFS_NODE_LOCK(dnode);
1335         dnode->tn_links--;
1336         dnode->tn_status |= TMPFS_NODE_CHANGED | TMPFS_NODE_MODIFIED;
1337         dnode->tn_accessed = true;
1338         TMPFS_NODE_UNLOCK(dnode);
1339
1340         if (tmpfs_use_nc(dvp)) {
1341                 cache_vop_rmdir(dvp, vp);
1342         }
1343
1344         /* Free the directory entry we just deleted.  Note that the node
1345          * referred by it will not be removed until the vnode is really
1346          * reclaimed. */
1347         tmpfs_free_dirent(tmp, de);
1348
1349         /* Release the deleted vnode (will destroy the node, notify
1350          * interested parties and clean it from the cache). */
1351
1352         dnode->tn_status |= TMPFS_NODE_CHANGED;
1353         tmpfs_update(dvp);
1354
1355         error = 0;
1356
1357 out:
1358         return error;
1359 }
1360
1361 static int
1362 tmpfs_symlink(struct vop_symlink_args *v)
1363 {
1364         struct vnode *dvp = v->a_dvp;
1365         struct vnode **vpp = v->a_vpp;
1366         struct componentname *cnp = v->a_cnp;
1367         struct vattr *vap = v->a_vap;
1368         const char *target = v->a_target;
1369
1370 #ifdef notyet /* XXX FreeBSD BUG: kern_symlink is not setting VLNK */
1371         MPASS(vap->va_type == VLNK);
1372 #else
1373         vap->va_type = VLNK;
1374 #endif
1375
1376         return tmpfs_alloc_file(dvp, vpp, vap, cnp, target);
1377 }
1378
1379 static int
1380 tmpfs_readdir(struct vop_readdir_args *va)
1381 {
1382         struct vnode *vp;
1383         struct uio *uio;
1384         struct tmpfs_mount *tm;
1385         struct tmpfs_node *node;
1386         u_long **cookies;
1387         int *eofflag, *ncookies;
1388         ssize_t startresid;
1389         int error, maxcookies;
1390
1391         vp = va->a_vp;
1392         uio = va->a_uio;
1393         eofflag = va->a_eofflag;
1394         cookies = va->a_cookies;
1395         ncookies = va->a_ncookies;
1396
1397         /* This operation only makes sense on directory nodes. */
1398         if (vp->v_type != VDIR)
1399                 return ENOTDIR;
1400
1401         maxcookies = 0;
1402         node = VP_TO_TMPFS_DIR(vp);
1403         tm = VFS_TO_TMPFS(vp->v_mount);
1404
1405         startresid = uio->uio_resid;
1406
1407         /* Allocate cookies for NFS and compat modules. */
1408         if (cookies != NULL && ncookies != NULL) {
1409                 maxcookies = howmany(node->tn_size,
1410                     sizeof(struct tmpfs_dirent)) + 2;
1411                 *cookies = malloc(maxcookies * sizeof(**cookies), M_TEMP,
1412                     M_WAITOK);
1413                 *ncookies = 0;
1414         }
1415
1416         if (cookies == NULL)
1417                 error = tmpfs_dir_getdents(tm, node, uio, 0, NULL, NULL);
1418         else
1419                 error = tmpfs_dir_getdents(tm, node, uio, maxcookies, *cookies,
1420                     ncookies);
1421
1422         /* Buffer was filled without hitting EOF. */
1423         if (error == EJUSTRETURN)
1424                 error = (uio->uio_resid != startresid) ? 0 : EINVAL;
1425
1426         if (error != 0 && cookies != NULL && ncookies != NULL) {
1427                 free(*cookies, M_TEMP);
1428                 *cookies = NULL;
1429                 *ncookies = 0;
1430         }
1431
1432         if (eofflag != NULL)
1433                 *eofflag =
1434                     (error == 0 && uio->uio_offset == TMPFS_DIRCOOKIE_EOF);
1435
1436         return error;
1437 }
1438
1439 static int
1440 tmpfs_readlink(struct vop_readlink_args *v)
1441 {
1442         struct vnode *vp = v->a_vp;
1443         struct uio *uio = v->a_uio;
1444
1445         int error;
1446         struct tmpfs_node *node;
1447
1448         MPASS(uio->uio_offset == 0);
1449         MPASS(vp->v_type == VLNK);
1450
1451         node = VP_TO_TMPFS_NODE(vp);
1452
1453         error = uiomove(node->tn_link_target, MIN(node->tn_size, uio->uio_resid),
1454             uio);
1455         tmpfs_set_accessed(VFS_TO_TMPFS(vp->v_mount), node);
1456
1457         return (error);
1458 }
1459
1460 /*
1461  * VOP_FPLOOKUP_SYMLINK routines are subject to special circumstances, see
1462  * the comment above cache_fplookup for details.
1463  *
1464  * Check tmpfs_alloc_node for tmpfs-specific synchronisation notes.
1465  */
1466 static int
1467 tmpfs_fplookup_symlink(struct vop_fplookup_symlink_args *v)
1468 {
1469         struct vnode *vp;
1470         struct tmpfs_node *node;
1471         char *symlink;
1472
1473         vp = v->a_vp;
1474         node = VP_TO_TMPFS_NODE_SMR(vp);
1475         if (__predict_false(node == NULL))
1476                 return (EAGAIN);
1477         if (!atomic_load_char(&node->tn_link_smr))
1478                 return (EAGAIN);
1479         symlink = atomic_load_ptr(&node->tn_link_target);
1480         if (symlink == NULL)
1481                 return (EAGAIN);
1482
1483         return (cache_symlink_resolve(v->a_fpl, symlink, node->tn_size));
1484 }
1485
1486 static int
1487 tmpfs_inactive(struct vop_inactive_args *v)
1488 {
1489         struct vnode *vp;
1490         struct tmpfs_node *node;
1491
1492         vp = v->a_vp;
1493         node = VP_TO_TMPFS_NODE(vp);
1494         if (node->tn_links == 0)
1495                 vrecycle(vp);
1496         else
1497                 tmpfs_check_mtime(vp);
1498         return (0);
1499 }
1500
1501 static int
1502 tmpfs_need_inactive(struct vop_need_inactive_args *ap)
1503 {
1504         struct vnode *vp;
1505         struct tmpfs_node *node;
1506         struct vm_object *obj;
1507
1508         vp = ap->a_vp;
1509         node = VP_TO_TMPFS_NODE(vp);
1510         if (node->tn_links == 0)
1511                 goto need;
1512         if (vp->v_type == VREG) {
1513                 obj = vp->v_object;
1514                 if (obj->generation != obj->cleangeneration)
1515                         goto need;
1516         }
1517         return (0);
1518 need:
1519         return (1);
1520 }
1521
1522 int
1523 tmpfs_reclaim(struct vop_reclaim_args *v)
1524 {
1525         struct vnode *vp;
1526         struct tmpfs_mount *tmp;
1527         struct tmpfs_node *node;
1528         bool unlock;
1529
1530         vp = v->a_vp;
1531         node = VP_TO_TMPFS_NODE(vp);
1532         tmp = VFS_TO_TMPFS(vp->v_mount);
1533
1534         if (vp->v_type == VREG)
1535                 tmpfs_destroy_vobject(vp, node->tn_reg.tn_aobj);
1536         vp->v_object = NULL;
1537
1538         TMPFS_LOCK(tmp);
1539         TMPFS_NODE_LOCK(node);
1540         tmpfs_free_vp(vp);
1541
1542         /*
1543          * If the node referenced by this vnode was deleted by the user,
1544          * we must free its associated data structures (now that the vnode
1545          * is being reclaimed).
1546          */
1547         unlock = true;
1548         if (node->tn_links == 0 &&
1549             (node->tn_vpstate & TMPFS_VNODE_ALLOCATING) == 0) {
1550                 node->tn_vpstate = TMPFS_VNODE_DOOMED;
1551                 unlock = !tmpfs_free_node_locked(tmp, node, true);
1552         }
1553
1554         if (unlock) {
1555                 TMPFS_NODE_UNLOCK(node);
1556                 TMPFS_UNLOCK(tmp);
1557         }
1558
1559         MPASS(vp->v_data == NULL);
1560         return (0);
1561 }
1562
1563 int
1564 tmpfs_print(struct vop_print_args *v)
1565 {
1566         struct vnode *vp = v->a_vp;
1567
1568         struct tmpfs_node *node;
1569
1570         node = VP_TO_TMPFS_NODE(vp);
1571
1572         printf("tag VT_TMPFS, tmpfs_node %p, flags 0x%lx, links %jd\n",
1573             node, node->tn_flags, (uintmax_t)node->tn_links);
1574         printf("\tmode 0%o, owner %d, group %d, size %jd, status 0x%x\n",
1575             node->tn_mode, node->tn_uid, node->tn_gid,
1576             (intmax_t)node->tn_size, node->tn_status);
1577
1578         if (vp->v_type == VFIFO)
1579                 fifo_printinfo(vp);
1580
1581         printf("\n");
1582
1583         return 0;
1584 }
1585
1586 int
1587 tmpfs_pathconf(struct vop_pathconf_args *v)
1588 {
1589         struct vnode *vp = v->a_vp;
1590         int name = v->a_name;
1591         long *retval = v->a_retval;
1592
1593         int error;
1594
1595         error = 0;
1596
1597         switch (name) {
1598         case _PC_LINK_MAX:
1599                 *retval = TMPFS_LINK_MAX;
1600                 break;
1601
1602         case _PC_SYMLINK_MAX:
1603                 *retval = MAXPATHLEN;
1604                 break;
1605
1606         case _PC_NAME_MAX:
1607                 *retval = NAME_MAX;
1608                 break;
1609
1610         case _PC_PIPE_BUF:
1611                 if (vp->v_type == VDIR || vp->v_type == VFIFO)
1612                         *retval = PIPE_BUF;
1613                 else
1614                         error = EINVAL;
1615                 break;
1616
1617         case _PC_CHOWN_RESTRICTED:
1618                 *retval = 1;
1619                 break;
1620
1621         case _PC_NO_TRUNC:
1622                 *retval = 1;
1623                 break;
1624
1625         case _PC_SYNC_IO:
1626                 *retval = 1;
1627                 break;
1628
1629         case _PC_FILESIZEBITS:
1630                 *retval = 64;
1631                 break;
1632
1633         default:
1634                 error = vop_stdpathconf(v);
1635         }
1636
1637         return error;
1638 }
1639
1640 static int
1641 tmpfs_vptofh(struct vop_vptofh_args *ap)
1642 /*
1643 vop_vptofh {
1644         IN struct vnode *a_vp;
1645         IN struct fid *a_fhp;
1646 };
1647 */
1648 {
1649         struct tmpfs_fid_data tfd;
1650         struct tmpfs_node *node;
1651         struct fid *fhp;
1652
1653         node = VP_TO_TMPFS_NODE(ap->a_vp);
1654         fhp = ap->a_fhp;
1655         fhp->fid_len = sizeof(tfd);
1656
1657         /*
1658          * Copy into fid_data from the stack to avoid unaligned pointer use.
1659          * See the comment in sys/mount.h on struct fid for details.
1660          */
1661         tfd.tfd_id = node->tn_id;
1662         tfd.tfd_gen = node->tn_gen;
1663         memcpy(fhp->fid_data, &tfd, fhp->fid_len);
1664
1665         return (0);
1666 }
1667
1668 static int
1669 tmpfs_whiteout(struct vop_whiteout_args *ap)
1670 {
1671         struct vnode *dvp = ap->a_dvp;
1672         struct componentname *cnp = ap->a_cnp;
1673         struct tmpfs_dirent *de;
1674
1675         switch (ap->a_flags) {
1676         case LOOKUP:
1677                 return (0);
1678         case CREATE:
1679                 de = tmpfs_dir_lookup(VP_TO_TMPFS_DIR(dvp), NULL, cnp);
1680                 if (de != NULL)
1681                         return (de->td_node == NULL ? 0 : EEXIST);
1682                 return (tmpfs_dir_whiteout_add(dvp, cnp));
1683         case DELETE:
1684                 tmpfs_dir_whiteout_remove(dvp, cnp);
1685                 return (0);
1686         default:
1687                 panic("tmpfs_whiteout: unknown op");
1688         }
1689 }
1690
1691 static int
1692 tmpfs_vptocnp_dir(struct tmpfs_node *tn, struct tmpfs_node *tnp,
1693     struct tmpfs_dirent **pde)
1694 {
1695         struct tmpfs_dir_cursor dc;
1696         struct tmpfs_dirent *de;
1697
1698         for (de = tmpfs_dir_first(tnp, &dc); de != NULL;
1699              de = tmpfs_dir_next(tnp, &dc)) {
1700                 if (de->td_node == tn) {
1701                         *pde = de;
1702                         return (0);
1703                 }
1704         }
1705         return (ENOENT);
1706 }
1707
1708 static int
1709 tmpfs_vptocnp_fill(struct vnode *vp, struct tmpfs_node *tn,
1710     struct tmpfs_node *tnp, char *buf, size_t *buflen, struct vnode **dvp)
1711 {
1712         struct tmpfs_dirent *de;
1713         int error, i;
1714
1715         error = vn_vget_ino_gen(vp, tmpfs_vn_get_ino_alloc, tnp, LK_SHARED,
1716             dvp);
1717         if (error != 0)
1718                 return (error);
1719         error = tmpfs_vptocnp_dir(tn, tnp, &de);
1720         if (error == 0) {
1721                 i = *buflen;
1722                 i -= de->td_namelen;
1723                 if (i < 0) {
1724                         error = ENOMEM;
1725                 } else {
1726                         bcopy(de->ud.td_name, buf + i, de->td_namelen);
1727                         *buflen = i;
1728                 }
1729         }
1730         if (error == 0) {
1731                 if (vp != *dvp)
1732                         VOP_UNLOCK(*dvp);
1733         } else {
1734                 if (vp != *dvp)
1735                         vput(*dvp);
1736                 else
1737                         vrele(vp);
1738         }
1739         return (error);
1740 }
1741
1742 static int
1743 tmpfs_vptocnp(struct vop_vptocnp_args *ap)
1744 {
1745         struct vnode *vp, **dvp;
1746         struct tmpfs_node *tn, *tnp, *tnp1;
1747         struct tmpfs_dirent *de;
1748         struct tmpfs_mount *tm;
1749         char *buf;
1750         size_t *buflen;
1751         int error;
1752
1753         vp = ap->a_vp;
1754         dvp = ap->a_vpp;
1755         buf = ap->a_buf;
1756         buflen = ap->a_buflen;
1757
1758         tm = VFS_TO_TMPFS(vp->v_mount);
1759         tn = VP_TO_TMPFS_NODE(vp);
1760         if (tn->tn_type == VDIR) {
1761                 tnp = tn->tn_dir.tn_parent;
1762                 if (tnp == NULL)
1763                         return (ENOENT);
1764                 tmpfs_ref_node(tnp);
1765                 error = tmpfs_vptocnp_fill(vp, tn, tn->tn_dir.tn_parent, buf,
1766                     buflen, dvp);
1767                 tmpfs_free_node(tm, tnp);
1768                 return (error);
1769         }
1770 restart:
1771         TMPFS_LOCK(tm);
1772 restart_locked:
1773         LIST_FOREACH_SAFE(tnp, &tm->tm_nodes_used, tn_entries, tnp1) {
1774                 if (tnp->tn_type != VDIR)
1775                         continue;
1776                 TMPFS_NODE_LOCK(tnp);
1777                 tmpfs_ref_node(tnp);
1778
1779                 /*
1780                  * tn_vnode cannot be instantiated while we hold the
1781                  * node lock, so the directory cannot be changed while
1782                  * we iterate over it.  Do this to avoid instantiating
1783                  * vnode for directories which cannot point to our
1784                  * node.
1785                  */
1786                 error = tnp->tn_vnode == NULL ? tmpfs_vptocnp_dir(tn, tnp,
1787                     &de) : 0;
1788
1789                 if (error == 0) {
1790                         TMPFS_NODE_UNLOCK(tnp);
1791                         TMPFS_UNLOCK(tm);
1792                         error = tmpfs_vptocnp_fill(vp, tn, tnp, buf, buflen,
1793                             dvp);
1794                         if (error == 0) {
1795                                 tmpfs_free_node(tm, tnp);
1796                                 return (0);
1797                         }
1798                         if (VN_IS_DOOMED(vp)) {
1799                                 tmpfs_free_node(tm, tnp);
1800                                 return (ENOENT);
1801                         }
1802                         TMPFS_LOCK(tm);
1803                         TMPFS_NODE_LOCK(tnp);
1804                 }
1805                 if (tmpfs_free_node_locked(tm, tnp, false)) {
1806                         goto restart;
1807                 } else {
1808                         KASSERT(tnp->tn_refcount > 0,
1809                             ("node %p refcount zero", tnp));
1810                         if (tnp->tn_attached) {
1811                                 tnp1 = LIST_NEXT(tnp, tn_entries);
1812                                 TMPFS_NODE_UNLOCK(tnp);
1813                         } else {
1814                                 TMPFS_NODE_UNLOCK(tnp);
1815                                 goto restart_locked;
1816                         }
1817                 }
1818         }
1819         TMPFS_UNLOCK(tm);
1820         return (ENOENT);
1821 }
1822
1823 /*
1824  * Vnode operations vector used for files stored in a tmpfs file system.
1825  */
1826 struct vop_vector tmpfs_vnodeop_entries = {
1827         .vop_default =                  &default_vnodeops,
1828         .vop_lookup =                   vfs_cache_lookup,
1829         .vop_cachedlookup =             tmpfs_cached_lookup,
1830         .vop_create =                   tmpfs_create,
1831         .vop_mknod =                    tmpfs_mknod,
1832         .vop_open =                     tmpfs_open,
1833         .vop_close =                    tmpfs_close,
1834         .vop_fplookup_vexec =           tmpfs_fplookup_vexec,
1835         .vop_fplookup_symlink =         tmpfs_fplookup_symlink,
1836         .vop_access =                   tmpfs_access,
1837         .vop_stat =                     tmpfs_stat,
1838         .vop_getattr =                  tmpfs_getattr,
1839         .vop_setattr =                  tmpfs_setattr,
1840         .vop_read =                     tmpfs_read,
1841         .vop_read_pgcache =             tmpfs_read_pgcache,
1842         .vop_write =                    tmpfs_write,
1843         .vop_fsync =                    tmpfs_fsync,
1844         .vop_remove =                   tmpfs_remove,
1845         .vop_link =                     tmpfs_link,
1846         .vop_rename =                   tmpfs_rename,
1847         .vop_mkdir =                    tmpfs_mkdir,
1848         .vop_rmdir =                    tmpfs_rmdir,
1849         .vop_symlink =                  tmpfs_symlink,
1850         .vop_readdir =                  tmpfs_readdir,
1851         .vop_readlink =                 tmpfs_readlink,
1852         .vop_inactive =                 tmpfs_inactive,
1853         .vop_need_inactive =            tmpfs_need_inactive,
1854         .vop_reclaim =                  tmpfs_reclaim,
1855         .vop_print =                    tmpfs_print,
1856         .vop_pathconf =                 tmpfs_pathconf,
1857         .vop_vptofh =                   tmpfs_vptofh,
1858         .vop_whiteout =                 tmpfs_whiteout,
1859         .vop_bmap =                     VOP_EOPNOTSUPP,
1860         .vop_vptocnp =                  tmpfs_vptocnp,
1861         .vop_lock1 =                    vop_lock,
1862         .vop_unlock =                   vop_unlock,
1863         .vop_islocked =                 vop_islocked,
1864 };
1865 VFS_VOP_VECTOR_REGISTER(tmpfs_vnodeop_entries);
1866
1867 /*
1868  * Same vector for mounts which do not use namecache.
1869  */
1870 struct vop_vector tmpfs_vnodeop_nonc_entries = {
1871         .vop_default =                  &tmpfs_vnodeop_entries,
1872         .vop_lookup =                   tmpfs_lookup,
1873 };
1874 VFS_VOP_VECTOR_REGISTER(tmpfs_vnodeop_nonc_entries);