sys/sys/vnode.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1989, 1993
   5  *      The Regents of the University of California.  All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  * 3. Neither the name of the University nor the names of its contributors
  16  *    may be used to endorse or promote products derived from this software
  17  *    without specific prior written permission.
  18  *
  19  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  20  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  21  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  22  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  23  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  24  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  25  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  26  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  27  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  28  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  29  * SUCH DAMAGE.
  30  *
  31  *      @(#)vnode.h     8.7 (Berkeley) 2/4/94
  32  * $FreeBSD$
  33  */
  34
  35 #ifndef _SYS_VNODE_H_
  36 #define _SYS_VNODE_H_
  37
  38 #include <sys/bufobj.h>
  39 #include <sys/queue.h>
  40 #include <sys/lock.h>
  41 #include <sys/lockmgr.h>
  42 #include <sys/mutex.h>
  43 #include <sys/rangelock.h>
  44 #include <sys/selinfo.h>
  45 #include <sys/uio.h>
  46 #include <sys/acl.h>
  47 #include <sys/ktr.h>
  48 #include <sys/_seqc.h>
  49
  50 /*
  51  * The vnode is the focus of all file activity in UNIX.  There is a
  52  * unique vnode allocated for each active file, each current directory,
  53  * each mounted-on file, text file, and the root.
  54  */
  55
  56 /*
  57  * Vnode types.  VNON means no type.
  58  */
  59 enum vtype      { VNON, VREG, VDIR, VBLK, VCHR, VLNK, VSOCK, VFIFO, VBAD,
  60                   VMARKER };
  61
  62 enum vgetstate  { VGET_NONE, VGET_HOLDCNT, VGET_USECOUNT };
  63 /*
  64  * Each underlying filesystem allocates its own private area and hangs
  65  * it from v_data.  If non-null, this area is freed in getnewvnode().
  66  */
  67
  68 struct namecache;
  69 struct cache_fpl;
  70
  71 struct vpollinfo {
  72         struct  mtx vpi_lock;           /* lock to protect below */
  73         struct  selinfo vpi_selinfo;    /* identity of poller(s) */
  74         short   vpi_events;             /* what they are looking for */
  75         short   vpi_revents;            /* what has happened */
  76 };
  77
  78 /*
  79  * Reading or writing any of these items requires holding the appropriate lock.
  80  *
  81  * Lock reference:
  82  *      c - namecache mutex
  83  *      i - interlock
  84  *      l - mp mnt_listmtx or freelist mutex
  85  *      I - updated with atomics, 0->1 and 1->0 transitions with interlock held
  86  *      m - mount point interlock
  87  *      p - pollinfo lock
  88  *      u - Only a reference to the vnode is needed to read.
  89  *      v - vnode lock
  90  *
  91  * Vnodes may be found on many lists.  The general way to deal with operating
  92  * on a vnode that is on a list is:
  93  *      1) Lock the list and find the vnode.
  94  *      2) Lock interlock so that the vnode does not go away.
  95  *      3) Unlock the list to avoid lock order reversals.
  96  *      4) vget with LK_INTERLOCK and check for ENOENT, or
  97  *      5) Check for DOOMED if the vnode lock is not required.
  98  *      6) Perform your operation, then vput().
  99  */
 100
 101 #if defined(_KERNEL) || defined(_KVM_VNODE)
 102
 103 struct vnode {
 104         /*
 105          * Fields which define the identity of the vnode.  These fields are
 106          * owned by the filesystem (XXX: and vgone() ?)
 107          */
 108         enum    vtype v_type:8;                 /* u vnode type */
 109         short   v_irflag;                       /* i frequently read flags */
 110         seqc_t  v_seqc;                         /* i modification count */
 111         uint32_t v_nchash;                      /* u namecache hash */
 112         u_int   v_hash;
 113         struct  vop_vector *v_op;               /* u vnode operations vector */
 114         void    *v_data;                        /* u private data for fs */
 115
 116         /*
 117          * Filesystem instance stuff
 118          */
 119         struct  mount *v_mount;                 /* u ptr to vfs we are in */
 120         TAILQ_ENTRY(vnode) v_nmntvnodes;        /* m vnodes for mount point */
 121
 122         /*
 123          * Type specific fields, only one applies to any given vnode.
 124          */
 125         union {
 126                 struct mount    *v_mountedhere; /* v ptr to mountpoint (VDIR) */
 127                 struct unpcb    *v_unpcb;       /* v unix domain net (VSOCK) */
 128                 struct cdev     *v_rdev;        /* v device (VCHR, VBLK) */
 129                 struct fifoinfo *v_fifoinfo;    /* v fifo (VFIFO) */
 130         };
 131
 132         /*
 133          * vfs_hash: (mount + inode) -> vnode hash.  The hash value
 134          * itself is grouped with other int fields, to avoid padding.
 135          */
 136         LIST_ENTRY(vnode)       v_hashlist;
 137
 138         /*
 139          * VFS_namecache stuff
 140          */
 141         LIST_HEAD(, namecache) v_cache_src;     /* c Cache entries from us */
 142         TAILQ_HEAD(, namecache) v_cache_dst;    /* c Cache entries to us */
 143         struct namecache *v_cache_dd;           /* c Cache entry for .. vnode */
 144
 145         /*
 146          * Locking
 147          */
 148         struct  lock v_lock;                    /* u (if fs don't have one) */
 149         struct  mtx v_interlock;                /* lock for "i" things */
 150         struct  lock *v_vnlock;                 /* u pointer to vnode lock */
 151
 152         /*
 153          * The machinery of being a vnode
 154          */
 155         TAILQ_ENTRY(vnode) v_vnodelist;         /* l vnode lists */
 156         TAILQ_ENTRY(vnode) v_lazylist;          /* l vnode lazy list */
 157         struct bufobj   v_bufobj;               /* * Buffer cache object */
 158
 159         /*
 160          * Hooks for various subsystems and features.
 161          */
 162         struct vpollinfo *v_pollinfo;           /* i Poll events, p for *v_pi */
 163         struct label *v_label;                  /* MAC label for vnode */
 164         struct lockf *v_lockf;          /* Byte-level advisory lock list */
 165         struct rangelock v_rl;                  /* Byte-range lock */
 166
 167         u_int   v_holdcnt;                      /* I prevents recycling. */
 168         u_int   v_usecount;                     /* I ref count of users */
 169         u_short v_iflag;                        /* i vnode flags (see below) */
 170         u_short v_vflag;                        /* v vnode flags */
 171         u_short v_mflag;                        /* l mnt-specific vnode flags */
 172         short   v_dbatchcpu;                    /* i LRU requeue deferral batch */
 173         int     v_writecount;                   /* I ref count of writers or
 174                                                    (negative) text users */
 175         int     v_seqc_users;                   /* i modifications pending */
 176 };
 177
 178 #ifndef DEBUG_LOCKS
 179 #ifdef _LP64
 180 /*
 181  * Not crossing 448 bytes fits 9 vnodes per page. If you have to add fields
 182  * to the structure and there is nothing which can be done to prevent growth
 183  * then so be it. But don't grow it without a good reason.
 184  */
 185 _Static_assert(sizeof(struct vnode) <= 448, "vnode size crosses 448 bytes");
 186 #endif
 187 #endif
 188
 189 #endif /* defined(_KERNEL) || defined(_KVM_VNODE) */
 190
 191 #define bo2vnode(bo)    __containerof((bo), struct vnode, v_bufobj)
 192
 193 /* XXX: These are temporary to avoid a source sweep at this time */
 194 #define v_object        v_bufobj.bo_object
 195
 196 /*
 197  * Userland version of struct vnode, for sysctl.
 198  */
 199 struct xvnode {
 200         size_t  xv_size;                        /* sizeof(struct xvnode) */
 201         void    *xv_vnode;                      /* address of real vnode */
 202         u_long  xv_flag;                        /* vnode vflags */
 203         int     xv_usecount;                    /* reference count of users */
 204         int     xv_writecount;                  /* reference count of writers */
 205         int     xv_holdcnt;                     /* page & buffer references */
 206         u_long  xv_id;                          /* capability identifier */
 207         void    *xv_mount;                      /* address of parent mount */
 208         long    xv_numoutput;                   /* num of writes in progress */
 209         enum    vtype xv_type;                  /* vnode type */
 210         union {
 211                 void    *xvu_socket;            /* unpcb, if VSOCK */
 212                 void    *xvu_fifo;              /* fifo, if VFIFO */
 213                 dev_t   xvu_rdev;               /* maj/min, if VBLK/VCHR */
 214                 struct {
 215                         dev_t   xvu_dev;        /* device, if VDIR/VREG/VLNK */
 216                         ino_t   xvu_ino;        /* id, if VDIR/VREG/VLNK */
 217                 } xv_uns;
 218         } xv_un;
 219 };
 220 #define xv_socket       xv_un.xvu_socket
 221 #define xv_fifo         xv_un.xvu_fifo
 222 #define xv_rdev         xv_un.xvu_rdev
 223 #define xv_dev          xv_un.xv_uns.xvu_dev
 224 #define xv_ino          xv_un.xv_uns.xvu_ino
 225
 226 /* We don't need to lock the knlist */
 227 #define VN_KNLIST_EMPTY(vp) ((vp)->v_pollinfo == NULL ||        \
 228             KNLIST_EMPTY(&(vp)->v_pollinfo->vpi_selinfo.si_note))
 229
 230 #define VN_KNOTE(vp, b, a)                                      \
 231         do {                                                    \
 232                 if (!VN_KNLIST_EMPTY(vp))                       \
 233                         KNOTE(&vp->v_pollinfo->vpi_selinfo.si_note, (b), \
 234                             (a) | KNF_NOKQLOCK);                \
 235         } while (0)
 236 #define VN_KNOTE_LOCKED(vp, b)          VN_KNOTE(vp, b, KNF_LISTLOCKED)
 237 #define VN_KNOTE_UNLOCKED(vp, b)        VN_KNOTE(vp, b, 0)
 238
 239 /*
 240  * Vnode flags.
 241  *      VI flags are protected by interlock and live in v_iflag
 242  *      VV flags are protected by the vnode lock and live in v_vflag
 243  *
 244  *      VIRF_DOOMED is doubly protected by the interlock and vnode lock.  Both
 245  *      are required for writing but the status may be checked with either.
 246  */
 247 #define VHOLD_NO_SMR    (1<<29) /* Disable vhold_smr */
 248 #define VHOLD_ALL_FLAGS (VHOLD_NO_SMR)
 249
 250 #define VIRF_DOOMED     0x0001  /* This vnode is being recycled */
 251 #define VIRF_PGREAD     0x0002  /* Direct reads from the page cache are permitted,
 252                                    never cleared once set */
 253 #define VIRF_MOUNTPOINT 0x0004  /* This vnode is mounted on */
 254 #define VIRF_TEXT_REF   0x0008  /* Executable mappings ref the vnode */
 255
 256 #define VI_UNUSED0      0x0001  /* unused */
 257 #define VI_MOUNT        0x0002  /* Mount in progress */
 258 #define VI_DOINGINACT   0x0004  /* VOP_INACTIVE is in progress */
 259 #define VI_OWEINACT     0x0008  /* Need to call inactive */
 260 #define VI_DEFINACT     0x0010  /* deferred inactive */
 261 #define VI_FOPENING     0x0020  /* In open, with opening process having the
 262                                    first right to advlock file */
 263
 264 #define VV_ROOT         0x0001  /* root of its filesystem */
 265 #define VV_ISTTY        0x0002  /* vnode represents a tty */
 266 #define VV_NOSYNC       0x0004  /* unlinked, stop syncing */
 267 #define VV_ETERNALDEV   0x0008  /* device that is never destroyed */
 268 #define VV_CACHEDLABEL  0x0010  /* Vnode has valid cached MAC label */
 269 #define VV_VMSIZEVNLOCK 0x0020  /* object size check requires vnode lock */
 270 #define VV_COPYONWRITE  0x0040  /* vnode is doing copy-on-write */
 271 #define VV_SYSTEM       0x0080  /* vnode being used by kernel */
 272 #define VV_PROCDEP      0x0100  /* vnode is process dependent */
 273 /* UNUSED               0x0200  */
 274 #define VV_DELETED      0x0400  /* should be removed */
 275 #define VV_MD           0x0800  /* vnode backs the md device */
 276 #define VV_FORCEINSMQ   0x1000  /* force the insmntque to succeed */
 277 #define VV_READLINK     0x2000  /* fdescfs linux vnode */
 278 #define VV_UNREF        0x4000  /* vunref, do not drop lock in inactive() */
 279
 280 #define VMP_LAZYLIST    0x0001  /* Vnode is on mnt's lazy list */
 281
 282 /*
 283  * Vnode attributes.  A field value of VNOVAL represents a field whose value
 284  * is unavailable (getattr) or which is not to be changed (setattr).
 285  */
 286 struct vattr {
 287         enum vtype      va_type;        /* vnode type (for create) */
 288         u_short         va_mode;        /* files access mode and type */
 289         u_short         va_padding0;
 290         uid_t           va_uid;         /* owner user id */
 291         gid_t           va_gid;         /* owner group id */
 292         nlink_t         va_nlink;       /* number of references to file */
 293         dev_t           va_fsid;        /* filesystem id */
 294         ino_t           va_fileid;      /* file id */
 295         u_quad_t        va_size;        /* file size in bytes */
 296         long            va_blocksize;   /* blocksize preferred for i/o */
 297         struct timespec va_atime;       /* time of last access */
 298         struct timespec va_mtime;       /* time of last modification */
 299         struct timespec va_ctime;       /* time file changed */
 300         struct timespec va_birthtime;   /* time file created */
 301         u_long          va_gen;         /* generation number of file */
 302         u_long          va_flags;       /* flags defined for file */
 303         dev_t           va_rdev;        /* device the special file represents */
 304         u_quad_t        va_bytes;       /* bytes of disk space held by file */
 305         u_quad_t        va_filerev;     /* file modification number */
 306         u_int           va_vaflags;     /* operations flags, see below */
 307         long            va_spare;       /* remain quad aligned */
 308 };
 309
 310 /*
 311  * Flags for va_vaflags.
 312  */
 313 #define VA_UTIMES_NULL  0x01            /* utimes argument was NULL */
 314 #define VA_EXCLUSIVE    0x02            /* exclusive create request */
 315 #define VA_SYNC         0x04            /* O_SYNC truncation */
 316
 317 /*
 318  * Flags for ioflag. (high 16 bits used to ask for read-ahead and
 319  * help with write clustering)
 320  * NB: IO_NDELAY and IO_DIRECT are linked to fcntl.h
 321  */
 322 #define IO_UNIT         0x0001          /* do I/O as atomic unit */
 323 #define IO_APPEND       0x0002          /* append write to end */
 324 #define IO_NDELAY       0x0004          /* FNDELAY flag set in file table */
 325 #define IO_NODELOCKED   0x0008          /* underlying node already locked */
 326 #define IO_ASYNC        0x0010          /* bawrite rather then bdwrite */
 327 #define IO_VMIO         0x0020          /* data already in VMIO space */
 328 #define IO_INVAL        0x0040          /* invalidate after I/O */
 329 #define IO_SYNC         0x0080          /* do I/O synchronously */
 330 #define IO_DIRECT       0x0100          /* attempt to bypass buffer cache */
 331 #define IO_NOREUSE      0x0200          /* VMIO data won't be reused */
 332 #define IO_EXT          0x0400          /* operate on external attributes */
 333 #define IO_NORMAL       0x0800          /* operate on regular data */
 334 #define IO_NOMACCHECK   0x1000          /* MAC checks unnecessary */
 335 #define IO_BUFLOCKED    0x2000          /* ffs flag; indir buf is locked */
 336 #define IO_RANGELOCKED  0x4000          /* range locked */
 337 #define IO_DATASYNC     0x8000          /* do only data I/O synchronously */
 338
 339 #define IO_SEQMAX       0x7F            /* seq heuristic max value */
 340 #define IO_SEQSHIFT     16              /* seq heuristic in upper 16 bits */
 341
 342 /*
 343  * Flags for accmode_t.
 344  */
 345 #define VEXEC                   000000000100 /* execute/search permission */
 346 #define VWRITE                  000000000200 /* write permission */
 347 #define VREAD                   000000000400 /* read permission */
 348 #define VADMIN                  000000010000 /* being the file owner */
 349 #define VAPPEND                 000000040000 /* permission to write/append */
 350 /*
 351  * VEXPLICIT_DENY makes VOP_ACCESSX(9) return EPERM or EACCES only
 352  * if permission was denied explicitly, by a "deny" rule in NFSv4 ACL,
 353  * and 0 otherwise.  This never happens with ordinary unix access rights
 354  * or POSIX.1e ACLs.  Obviously, VEXPLICIT_DENY must be OR-ed with
 355  * some other V* constant.
 356  */
 357 #define VEXPLICIT_DENY          000000100000
 358 #define VREAD_NAMED_ATTRS       000000200000 /* not used */
 359 #define VWRITE_NAMED_ATTRS      000000400000 /* not used */
 360 #define VDELETE_CHILD           000001000000
 361 #define VREAD_ATTRIBUTES        000002000000 /* permission to stat(2) */
 362 #define VWRITE_ATTRIBUTES       000004000000 /* change {m,c,a}time */
 363 #define VDELETE                 000010000000
 364 #define VREAD_ACL               000020000000 /* read ACL and file mode */
 365 #define VWRITE_ACL              000040000000 /* change ACL and/or file mode */
 366 #define VWRITE_OWNER            000100000000 /* change file owner */
 367 #define VSYNCHRONIZE            000200000000 /* not used */
 368 #define VCREAT                  000400000000 /* creating new file */
 369 #define VVERIFY                 001000000000 /* verification required */
 370
 371 /*
 372  * Permissions that were traditionally granted only to the file owner.
 373  */
 374 #define VADMIN_PERMS    (VADMIN | VWRITE_ATTRIBUTES | VWRITE_ACL | \
 375     VWRITE_OWNER)
 376
 377 /*
 378  * Permissions that were traditionally granted to everyone.
 379  */
 380 #define VSTAT_PERMS     (VREAD_ATTRIBUTES | VREAD_ACL)
 381
 382 /*
 383  * Permissions that allow to change the state of the file in any way.
 384  */
 385 #define VMODIFY_PERMS   (VWRITE | VAPPEND | VADMIN_PERMS | VDELETE_CHILD | \
 386     VDELETE)
 387
 388 /*
 389  * Token indicating no attribute value yet assigned.
 390  */
 391 #define VNOVAL  (-1)
 392
 393 /*
 394  * LK_TIMELOCK timeout for vnode locks (used mainly by the pageout daemon)
 395  */
 396 #define VLKTIMEOUT      (hz / 20 + 1)
 397
 398 #ifdef _KERNEL
 399
 400 #ifdef MALLOC_DECLARE
 401 MALLOC_DECLARE(M_VNODE);
 402 #endif
 403
 404 extern u_int ncsizefactor;
 405 extern const u_int io_hold_cnt;
 406
 407 /*
 408  * Convert between vnode types and inode formats (since POSIX.1
 409  * defines mode word of stat structure in terms of inode formats).
 410  */
 411 extern enum vtype       iftovt_tab[];
 412 extern int              vttoif_tab[];
 413 #define IFTOVT(mode)    (iftovt_tab[((mode) & S_IFMT) >> 12])
 414 #define VTTOIF(indx)    (vttoif_tab[(int)(indx)])
 415 #define MAKEIMODE(indx, mode)   (int)(VTTOIF(indx) | (mode))
 416
 417 /*
 418  * Flags to various vnode functions.
 419  */
 420 #define SKIPSYSTEM      0x0001  /* vflush: skip vnodes marked VSYSTEM */
 421 #define FORCECLOSE      0x0002  /* vflush: force file closure */
 422 #define WRITECLOSE      0x0004  /* vflush: only close writable files */
 423 #define EARLYFLUSH      0x0008  /* vflush: early call for ffs_flushfiles */
 424 #define V_SAVE          0x0001  /* vinvalbuf: sync file first */
 425 #define V_ALT           0x0002  /* vinvalbuf: invalidate only alternate bufs */
 426 #define V_NORMAL        0x0004  /* vinvalbuf: invalidate only regular bufs */
 427 #define V_CLEANONLY     0x0008  /* vinvalbuf: invalidate only clean bufs */
 428 #define V_VMIO          0x0010  /* vinvalbuf: called during pageout */
 429 #define V_ALLOWCLEAN    0x0020  /* vinvalbuf: allow clean buffers after flush */
 430 #define REVOKEALL       0x0001  /* vop_revoke: revoke all aliases */
 431 #define V_WAIT          0x0001  /* vn_start_write: sleep for suspend */
 432 #define V_NOWAIT        0x0002  /* vn_start_write: don't sleep for suspend */
 433 #define V_XSLEEP        0x0004  /* vn_start_write: just return after sleep */
 434 #define V_MNTREF        0x0010  /* vn_start_write: mp is already ref-ed */
 435
 436 #define VR_START_WRITE  0x0001  /* vfs_write_resume: start write atomically */
 437 #define VR_NO_SUSPCLR   0x0002  /* vfs_write_resume: do not clear suspension */
 438
 439 #define VS_SKIP_UNMOUNT 0x0001  /* vfs_write_suspend: fail if the
 440                                    filesystem is being unmounted */
 441
 442 #define VREF(vp)        vref(vp)
 443
 444 #ifdef DIAGNOSTIC
 445 #define VATTR_NULL(vap) vattr_null(vap)
 446 #else
 447 #define VATTR_NULL(vap) (*(vap) = va_null)      /* initialize a vattr */
 448 #endif /* DIAGNOSTIC */
 449
 450 #define NULLVP  ((struct vnode *)NULL)
 451
 452 /*
 453  * Global vnode data.
 454  */
 455 extern  struct vnode *rootvnode;        /* root (i.e. "/") vnode */
 456 extern  struct mount *rootdevmp;        /* "/dev" mount */
 457 extern  u_long desiredvnodes;           /* number of vnodes desired */
 458 extern  struct uma_zone *namei_zone;
 459 extern  struct vattr va_null;           /* predefined null vattr structure */
 460
 461 extern  u_int vn_lock_pair_pause_max;
 462
 463 #define VI_LOCK(vp)     mtx_lock(&(vp)->v_interlock)
 464 #define VI_LOCK_FLAGS(vp, flags) mtx_lock_flags(&(vp)->v_interlock, (flags))
 465 #define VI_TRYLOCK(vp)  mtx_trylock(&(vp)->v_interlock)
 466 #define VI_UNLOCK(vp)   mtx_unlock(&(vp)->v_interlock)
 467 #define VI_MTX(vp)      (&(vp)->v_interlock)
 468
 469 #define VN_LOCK_AREC(vp)        lockallowrecurse((vp)->v_vnlock)
 470 #define VN_LOCK_ASHARE(vp)      lockallowshare((vp)->v_vnlock)
 471 #define VN_LOCK_DSHARE(vp)      lockdisableshare((vp)->v_vnlock)
 472
 473 #endif /* _KERNEL */
 474
 475 /*
 476  * Mods for extensibility.
 477  */
 478
 479 /*
 480  * Flags for vdesc_flags:
 481  */
 482 #define VDESC_MAX_VPS           16
 483 /* Low order 16 flag bits are reserved for willrele flags for vp arguments. */
 484 #define VDESC_VP0_WILLRELE      0x0001
 485 #define VDESC_VP1_WILLRELE      0x0002
 486 #define VDESC_VP2_WILLRELE      0x0004
 487 #define VDESC_VP3_WILLRELE      0x0008
 488
 489 /*
 490  * A generic structure.
 491  * This can be used by bypass routines to identify generic arguments.
 492  */
 493 struct vop_generic_args {
 494         struct vnodeop_desc *a_desc;
 495         /* other random data follows, presumably */
 496 };
 497
 498 typedef int vop_bypass_t(struct vop_generic_args *);
 499
 500 /*
 501  * VDESC_NO_OFFSET is used to identify the end of the offset list
 502  * and in places where no such field exists.
 503  */
 504 #define VDESC_NO_OFFSET -1
 505
 506 /*
 507  * This structure describes the vnode operation taking place.
 508  */
 509 struct vnodeop_desc {
 510         char    *vdesc_name;            /* a readable name for debugging */
 511         int      vdesc_flags;           /* VDESC_* flags */
 512         int     vdesc_vop_offset;
 513         vop_bypass_t    *vdesc_call;    /* Function to call */
 514
 515         /*
 516          * These ops are used by bypass routines to map and locate arguments.
 517          * Creds and procs are not needed in bypass routines, but sometimes
 518          * they are useful to (for example) transport layers.
 519          * Nameidata is useful because it has a cred in it.
 520          */
 521         int     *vdesc_vp_offsets;      /* list ended by VDESC_NO_OFFSET */
 522         int     vdesc_vpp_offset;       /* return vpp location */
 523         int     vdesc_cred_offset;      /* cred location, if any */
 524         int     vdesc_thread_offset;    /* thread location, if any */
 525         int     vdesc_componentname_offset; /* if any */
 526 };
 527
 528 #ifdef _KERNEL
 529 /*
 530  * A list of all the operation descs.
 531  */
 532 extern struct vnodeop_desc *vnodeop_descs[];
 533
 534 #define VOPARG_OFFSETOF(s_type, field)  __offsetof(s_type, field)
 535 #define VOPARG_OFFSETTO(s_type, s_offset, struct_p) \
 536     ((s_type)(((char*)(struct_p)) + (s_offset)))
 537
 538 #ifdef DEBUG_VFS_LOCKS
 539 /*
 540  * Support code to aid in debugging VFS locking problems.  Not totally
 541  * reliable since if the thread sleeps between changing the lock
 542  * state and checking it with the assert, some other thread could
 543  * change the state.  They are good enough for debugging a single
 544  * filesystem using a single-threaded test.  Note that the unreliability is
 545  * limited to false negatives; efforts were made to ensure that false
 546  * positives cannot occur.
 547  */
 548 void    assert_vi_locked(struct vnode *vp, const char *str);
 549 void    assert_vi_unlocked(struct vnode *vp, const char *str);
 550 void    assert_vop_elocked(struct vnode *vp, const char *str);
 551 void    assert_vop_locked(struct vnode *vp, const char *str);
 552 void    assert_vop_unlocked(struct vnode *vp, const char *str);
 553
 554 #define ASSERT_VI_LOCKED(vp, str)       assert_vi_locked((vp), (str))
 555 #define ASSERT_VI_UNLOCKED(vp, str)     assert_vi_unlocked((vp), (str))
 556 #define ASSERT_VOP_ELOCKED(vp, str)     assert_vop_elocked((vp), (str))
 557 #define ASSERT_VOP_LOCKED(vp, str)      assert_vop_locked((vp), (str))
 558 #define ASSERT_VOP_UNLOCKED(vp, str)    assert_vop_unlocked((vp), (str))
 559
 560 #define ASSERT_VOP_IN_SEQC(vp)  do {                            \
 561         struct vnode *_vp = (vp);                               \
 562                                                                 \
 563         VNPASS(seqc_in_modify(_vp->v_seqc), _vp);               \
 564 } while (0)
 565
 566 #define ASSERT_VOP_NOT_IN_SEQC(vp)      do {                    \
 567         struct vnode *_vp = (vp);                               \
 568                                                                 \
 569         VNPASS(!seqc_in_modify(_vp->v_seqc), _vp);              \
 570 } while (0)
 571
 572 #else /* !DEBUG_VFS_LOCKS */
 573
 574 #define ASSERT_VI_LOCKED(vp, str)       ((void)0)
 575 #define ASSERT_VI_UNLOCKED(vp, str)     ((void)0)
 576 #define ASSERT_VOP_ELOCKED(vp, str)     ((void)0)
 577 #define ASSERT_VOP_LOCKED(vp, str)      ((void)0)
 578 #define ASSERT_VOP_UNLOCKED(vp, str)    ((void)0)
 579
 580 #define ASSERT_VOP_IN_SEQC(vp)          ((void)0)
 581 #define ASSERT_VOP_NOT_IN_SEQC(vp)      ((void)0)
 582
 583 #endif /* DEBUG_VFS_LOCKS */
 584
 585 /*
 586  * This call works for vnodes in the kernel.
 587  */
 588 #define VCALL(c) ((c)->a_desc->vdesc_call(c))
 589
 590 #define DOINGASYNC(vp)                                          \
 591         (((vp)->v_mount->mnt_kern_flag & MNTK_ASYNC) != 0 &&    \
 592          ((curthread->td_pflags & TDP_SYNCIO) == 0))
 593
 594 /*
 595  * VMIO support inline
 596  */
 597
 598 extern int vmiodirenable;
 599
 600 static __inline int
 601 vn_canvmio(struct vnode *vp)
 602 {
 603       if (vp && (vp->v_type == VREG || (vmiodirenable && vp->v_type == VDIR)))
 604                 return(TRUE);
 605         return(FALSE);
 606 }
 607
 608 /*
 609  * Finally, include the default set of vnode operations.
 610  */
 611 typedef void vop_getpages_iodone_t(void *, vm_page_t *, int, int);
 612 #include "vnode_if.h"
 613
 614 /* vn_open_flags */
 615 #define VN_OPEN_NOAUDIT         0x00000001
 616 #define VN_OPEN_NOCAPCHECK      0x00000002
 617 #define VN_OPEN_NAMECACHE       0x00000004
 618 #define VN_OPEN_INVFS           0x00000008
 619 #define VN_OPEN_WANTIOCTLCAPS   0x00000010
 620
 621 /* copy_file_range kernel flags */
 622 #define COPY_FILE_RANGE_KFLAGS          0xff000000
 623 #define COPY_FILE_RANGE_TIMEO1SEC       0x01000000      /* Return after 1sec. */
 624
 625 /*
 626  * Public vnode manipulation functions.
 627  */
 628 struct componentname;
 629 struct file;
 630 struct mount;
 631 struct nameidata;
 632 struct ostat;
 633 struct freebsd11_stat;
 634 struct thread;
 635 struct proc;
 636 struct stat;
 637 struct nstat;
 638 struct ucred;
 639 struct uio;
 640 struct vattr;
 641 struct vfsops;
 642 struct vnode;
 643
 644 typedef int (*vn_get_ino_t)(struct mount *, void *, int, struct vnode **);
 645
 646 int     bnoreuselist(struct bufv *bufv, struct bufobj *bo, daddr_t startn,
 647             daddr_t endn);
 648 /* cache_* may belong in namei.h. */
 649 void    cache_changesize(u_long newhashsize);
 650
 651 #define VFS_CACHE_DROPOLD       0x1
 652
 653 void    cache_enter_time_flags(struct vnode *dvp, struct vnode *vp,
 654             struct componentname *cnp, struct timespec *tsp,
 655             struct timespec *dtsp, int flags);
 656 #define cache_enter(dvp, vp, cnp)                                       \
 657         cache_enter_time(dvp, vp, cnp, NULL, NULL)
 658 void    cache_enter_time(struct vnode *dvp, struct vnode *vp,
 659             struct componentname *cnp, struct timespec *tsp,
 660             struct timespec *dtsp);
 661 int     cache_lookup(struct vnode *dvp, struct vnode **vpp,
 662             struct componentname *cnp, struct timespec *tsp, int *ticksp);
 663 void    cache_vnode_init(struct vnode *vp);
 664 void    cache_purge(struct vnode *vp);
 665 void    cache_purge_vgone(struct vnode *vp);
 666 void    cache_purge_negative(struct vnode *vp);
 667 void    cache_purgevfs(struct mount *mp);
 668 char    *cache_symlink_alloc(size_t size, int flags);
 669 void    cache_symlink_free(char *string, size_t size);
 670 int     cache_symlink_resolve(struct cache_fpl *fpl, const char *string,
 671             size_t len);
 672 void    cache_vop_rename(struct vnode *fdvp, struct vnode *fvp, struct vnode *tdvp,
 673     struct vnode *tvp, struct componentname *fcnp, struct componentname *tcnp);
 674 void    cache_vop_rmdir(struct vnode *dvp, struct vnode *vp);
 675 #ifdef INVARIANTS
 676 void    cache_validate(struct vnode *dvp, struct vnode *vp,
 677             struct componentname *cnp);
 678 #else
 679 static inline void
 680 cache_validate(struct vnode *dvp, struct vnode *vp, struct componentname *cnp)
 681 {
 682 }
 683 #endif
 684 void    cache_fast_lookup_enabled_recalc(void);
 685 int     change_dir(struct vnode *vp, struct thread *td);
 686 void    cvtstat(struct stat *st, struct ostat *ost);
 687 int     freebsd11_cvtnstat(struct stat *sb, struct nstat *nsb);
 688 int     freebsd11_cvtstat(struct stat *st, struct freebsd11_stat *ost);
 689 int     getnewvnode(const char *tag, struct mount *mp, struct vop_vector *vops,
 690             struct vnode **vpp);
 691 void    getnewvnode_reserve(void);
 692 void    getnewvnode_drop_reserve(void);
 693 int     insmntque(struct vnode *vp, struct mount *mp);
 694 int     insmntque1(struct vnode *vp, struct mount *mp);
 695 u_quad_t init_va_filerev(void);
 696 int     speedup_syncer(void);
 697 int     vn_vptocnp(struct vnode **vp, char *buf, size_t *buflen);
 698 int     vn_getcwd(char *buf, char **retbuf, size_t *buflen);
 699 int     vn_fullpath(struct vnode *vp, char **retbuf, char **freebuf);
 700 int     vn_fullpath_global(struct vnode *vp, char **retbuf, char **freebuf);
 701 int     vn_fullpath_hardlink(struct vnode *vp, struct vnode *dvp,
 702             const char *hdrl_name, size_t hrdl_name_length, char **retbuf,
 703             char **freebuf, size_t *buflen);
 704 struct vnode *
 705         vn_dir_dd_ino(struct vnode *vp);
 706 int     vn_commname(struct vnode *vn, char *buf, u_int buflen);
 707 int     vn_path_to_global_path(struct thread *td, struct vnode *vp,
 708             char *path, u_int pathlen);
 709 int     vaccess(enum vtype type, mode_t file_mode, uid_t file_uid,
 710             gid_t file_gid, accmode_t accmode, struct ucred *cred);
 711 int     vaccess_vexec_smr(mode_t file_mode, uid_t file_uid, gid_t file_gid,
 712             struct ucred *cred);
 713 int     vaccess_acl_nfs4(enum vtype type, uid_t file_uid, gid_t file_gid,
 714             struct acl *aclp, accmode_t accmode, struct ucred *cred);
 715 int     vaccess_acl_posix1e(enum vtype type, uid_t file_uid,
 716             gid_t file_gid, struct acl *acl, accmode_t accmode,
 717             struct ucred *cred);
 718 void    vattr_null(struct vattr *vap);
 719 void    vlazy(struct vnode *);
 720 void    vdrop(struct vnode *);
 721 void    vdropl(struct vnode *);
 722 int     vflush(struct mount *mp, int rootrefs, int flags, struct thread *td);
 723 int     vget(struct vnode *vp, int flags);
 724 enum vgetstate  vget_prep_smr(struct vnode *vp);
 725 enum vgetstate  vget_prep(struct vnode *vp);
 726 int     vget_finish(struct vnode *vp, int flags, enum vgetstate vs);
 727 void    vget_finish_ref(struct vnode *vp, enum vgetstate vs);
 728 void    vget_abort(struct vnode *vp, enum vgetstate vs);
 729 void    vgone(struct vnode *vp);
 730 void    vhold(struct vnode *);
 731 void    vholdnz(struct vnode *);
 732 bool    vhold_smr(struct vnode *);
 733 int     vinactive(struct vnode *vp);
 734 int     vinvalbuf(struct vnode *vp, int save, int slpflag, int slptimeo);
 735 int     vtruncbuf(struct vnode *vp, off_t length, int blksize);
 736 void    v_inval_buf_range(struct vnode *vp, daddr_t startlbn, daddr_t endlbn,
 737             int blksize);
 738 void    vunref(struct vnode *);
 739 void    vn_printf(struct vnode *vp, const char *fmt, ...) __printflike(2,3);
 740 int     vrecycle(struct vnode *vp);
 741 int     vrecyclel(struct vnode *vp);
 742 int     vn_bmap_seekhole_locked(struct vnode *vp, u_long cmd, off_t *off,
 743             struct ucred *cred);
 744 int     vn_bmap_seekhole(struct vnode *vp, u_long cmd, off_t *off,
 745             struct ucred *cred);
 746 int     vn_close(struct vnode *vp,
 747             int flags, struct ucred *file_cred, struct thread *td);
 748 int     vn_copy_file_range(struct vnode *invp, off_t *inoffp,
 749             struct vnode *outvp, off_t *outoffp, size_t *lenp,
 750             unsigned int flags, struct ucred *incred, struct ucred *outcred,
 751             struct thread *fsize_td);
 752 int     vn_deallocate(struct vnode *vp, off_t *offset, off_t *length, int flags,
 753             int ioflg, struct ucred *active_cred, struct ucred *file_cred);
 754 void    vn_finished_write(struct mount *mp);
 755 void    vn_finished_secondary_write(struct mount *mp);
 756 int     vn_fsync_buf(struct vnode *vp, int waitfor);
 757 int     vn_generic_copy_file_range(struct vnode *invp, off_t *inoffp,
 758             struct vnode *outvp, off_t *outoffp, size_t *lenp,
 759             unsigned int flags, struct ucred *incred, struct ucred *outcred,
 760             struct thread *fsize_td);
 761 int     vn_need_pageq_flush(struct vnode *vp);
 762 bool    vn_isdisk_error(struct vnode *vp, int *errp);
 763 bool    vn_isdisk(struct vnode *vp);
 764 int     _vn_lock(struct vnode *vp, int flags, const char *file, int line);
 765 #define vn_lock(vp, flags) _vn_lock(vp, flags, __FILE__, __LINE__)
 766 void    vn_lock_pair(struct vnode *vp1, bool vp1_locked, struct vnode *vp2,
 767             bool vp2_locked);
 768 int     vn_open(struct nameidata *ndp, int *flagp, int cmode, struct file *fp);
 769 int     vn_open_cred(struct nameidata *ndp, int *flagp, int cmode,
 770             u_int vn_open_flags, struct ucred *cred, struct file *fp);
 771 int     vn_open_vnode(struct vnode *vp, int fmode, struct ucred *cred,
 772             struct thread *td, struct file *fp);
 773 void    vn_pages_remove(struct vnode *vp, vm_pindex_t start, vm_pindex_t end);
 774 void    vn_pages_remove_valid(struct vnode *vp, vm_pindex_t start,
 775             vm_pindex_t end);
 776 int     vn_pollrecord(struct vnode *vp, struct thread *p, int events);
 777 int     vn_rdwr(enum uio_rw rw, struct vnode *vp, void *base,
 778             int len, off_t offset, enum uio_seg segflg, int ioflg,
 779             struct ucred *active_cred, struct ucred *file_cred, ssize_t *aresid,
 780             struct thread *td);
 781 int     vn_rdwr_inchunks(enum uio_rw rw, struct vnode *vp, void *base,
 782             size_t len, off_t offset, enum uio_seg segflg, int ioflg,
 783             struct ucred *active_cred, struct ucred *file_cred, size_t *aresid,
 784             struct thread *td);
 785 int     vn_read_from_obj(struct vnode *vp, struct uio *uio);
 786 int     vn_rlimit_fsize(const struct vnode *vp, const struct uio *uio,
 787             struct thread *td);
 788 int     vn_start_write(struct vnode *vp, struct mount **mpp, int flags);
 789 int     vn_start_secondary_write(struct vnode *vp, struct mount **mpp,
 790             int flags);
 791 int     vn_truncate_locked(struct vnode *vp, off_t length, bool sync,
 792             struct ucred *cred);
 793 int     vn_writechk(struct vnode *vp);
 794 int     vn_extattr_get(struct vnode *vp, int ioflg, int attrnamespace,
 795             const char *attrname, int *buflen, char *buf, struct thread *td);
 796 int     vn_extattr_set(struct vnode *vp, int ioflg, int attrnamespace,
 797             const char *attrname, int buflen, char *buf, struct thread *td);
 798 int     vn_extattr_rm(struct vnode *vp, int ioflg, int attrnamespace,
 799             const char *attrname, struct thread *td);
 800 int     vn_vget_ino(struct vnode *vp, ino_t ino, int lkflags,
 801             struct vnode **rvp);
 802 int     vn_vget_ino_gen(struct vnode *vp, vn_get_ino_t alloc,
 803             void *alloc_arg, int lkflags, struct vnode **rvp);
 804 int     vn_utimes_perm(struct vnode *vp, struct vattr *vap,
 805             struct ucred *cred, struct thread *td);
 806
 807 int     vn_io_fault_uiomove(char *data, int xfersize, struct uio *uio);
 808 int     vn_io_fault_pgmove(vm_page_t ma[], vm_offset_t offset, int xfersize,
 809             struct uio *uio);
 810
 811 void    vn_seqc_write_begin_locked(struct vnode *vp);
 812 void    vn_seqc_write_begin(struct vnode *vp);
 813 void    vn_seqc_write_end_locked(struct vnode *vp);
 814 void    vn_seqc_write_end(struct vnode *vp);
 815 #define vn_seqc_read_any(vp)            seqc_read_any(&(vp)->v_seqc)
 816 #define vn_seqc_read_notmodify(vp)      seqc_read_notmodify(&(vp)->v_seqc)
 817 #define vn_seqc_consistent(vp, seq)     seqc_consistent(&(vp)->v_seqc, seq)
 818
 819 #define vn_rangelock_unlock(vp, cookie)                                 \
 820         rangelock_unlock(&(vp)->v_rl, (cookie), VI_MTX(vp))
 821 #define vn_rangelock_unlock_range(vp, cookie, start, end)               \
 822         rangelock_unlock_range(&(vp)->v_rl, (cookie), (start), (end),   \
 823             VI_MTX(vp))
 824 #define vn_rangelock_rlock(vp, start, end)                              \
 825         rangelock_rlock(&(vp)->v_rl, (start), (end), VI_MTX(vp))
 826 #define vn_rangelock_tryrlock(vp, start, end)                           \
 827         rangelock_tryrlock(&(vp)->v_rl, (start), (end), VI_MTX(vp))
 828 #define vn_rangelock_wlock(vp, start, end)                              \
 829         rangelock_wlock(&(vp)->v_rl, (start), (end), VI_MTX(vp))
 830 #define vn_rangelock_trywlock(vp, start, end)                           \
 831         rangelock_trywlock(&(vp)->v_rl, (start), (end), VI_MTX(vp))
 832
 833 #define vn_irflag_read(vp)      atomic_load_short(&(vp)->v_irflag)
 834 void    vn_irflag_set_locked(struct vnode *vp, short toset);
 835 void    vn_irflag_set(struct vnode *vp, short toset);
 836 void    vn_irflag_set_cond_locked(struct vnode *vp, short toset);
 837 void    vn_irflag_set_cond(struct vnode *vp, short toset);
 838 void    vn_irflag_unset_locked(struct vnode *vp, short tounset);
 839 void    vn_irflag_unset(struct vnode *vp, short tounset);
 840
 841 int     vfs_cache_lookup(struct vop_lookup_args *ap);
 842 int     vfs_cache_root(struct mount *mp, int flags, struct vnode **vpp);
 843 void    vfs_timestamp(struct timespec *);
 844 void    vfs_write_resume(struct mount *mp, int flags);
 845 int     vfs_write_suspend(struct mount *mp, int flags);
 846 int     vfs_write_suspend_umnt(struct mount *mp);
 847 struct vnode *vnlru_alloc_marker(void);
 848 void    vnlru_free_marker(struct vnode *);
 849 void    vnlru_free_vfsops(int, struct vfsops *, struct vnode *);
 850 int     vop_stdbmap(struct vop_bmap_args *);
 851 int     vop_stdfdatasync_buf(struct vop_fdatasync_args *);
 852 int     vop_stdfsync(struct vop_fsync_args *);
 853 int     vop_stdgetwritemount(struct vop_getwritemount_args *);
 854 int     vop_stdgetpages(struct vop_getpages_args *);
 855 int     vop_stdinactive(struct vop_inactive_args *);
 856 int     vop_stdioctl(struct vop_ioctl_args *);
 857 int     vop_stdneed_inactive(struct vop_need_inactive_args *);
 858 int     vop_stdkqfilter(struct vop_kqfilter_args *);
 859 int     vop_stdlock(struct vop_lock1_args *);
 860 int     vop_stdunlock(struct vop_unlock_args *);
 861 int     vop_stdislocked(struct vop_islocked_args *);
 862 int     vop_lock(struct vop_lock1_args *);
 863 int     vop_unlock(struct vop_unlock_args *);
 864 int     vop_islocked(struct vop_islocked_args *);
 865 int     vop_stdputpages(struct vop_putpages_args *);
 866 int     vop_nopoll(struct vop_poll_args *);
 867 int     vop_stdaccess(struct vop_access_args *ap);
 868 int     vop_stdaccessx(struct vop_accessx_args *ap);
 869 int     vop_stdadvise(struct vop_advise_args *ap);
 870 int     vop_stdadvlock(struct vop_advlock_args *ap);
 871 int     vop_stdadvlockasync(struct vop_advlockasync_args *ap);
 872 int     vop_stdadvlockpurge(struct vop_advlockpurge_args *ap);
 873 int     vop_stdallocate(struct vop_allocate_args *ap);
 874 int     vop_stddeallocate(struct vop_deallocate_args *ap);
 875 int     vop_stdset_text(struct vop_set_text_args *ap);
 876 int     vop_stdpathconf(struct vop_pathconf_args *);
 877 int     vop_stdpoll(struct vop_poll_args *);
 878 int     vop_stdvptocnp(struct vop_vptocnp_args *ap);
 879 int     vop_stdvptofh(struct vop_vptofh_args *ap);
 880 int     vop_stdunp_bind(struct vop_unp_bind_args *ap);
 881 int     vop_stdunp_connect(struct vop_unp_connect_args *ap);
 882 int     vop_stdunp_detach(struct vop_unp_detach_args *ap);
 883 int     vop_stdadd_writecount_nomsync(struct vop_add_writecount_args *ap);
 884 int     vop_eopnotsupp(struct vop_generic_args *ap);
 885 int     vop_ebadf(struct vop_generic_args *ap);
 886 int     vop_einval(struct vop_generic_args *ap);
 887 int     vop_enoent(struct vop_generic_args *ap);
 888 int     vop_enotty(struct vop_generic_args *ap);
 889 int     vop_eagain(struct vop_generic_args *ap);
 890 int     vop_null(struct vop_generic_args *ap);
 891 int     vop_panic(struct vop_generic_args *ap);
 892 int     dead_poll(struct vop_poll_args *ap);
 893 int     dead_read(struct vop_read_args *ap);
 894 int     dead_write(struct vop_write_args *ap);
 895
 896 /* These are called from within the actual VOPS. */
 897 void    vop_close_post(void *a, int rc);
 898 void    vop_create_pre(void *a);
 899 void    vop_create_post(void *a, int rc);
 900 void    vop_whiteout_pre(void *a);
 901 void    vop_whiteout_post(void *a, int rc);
 902 void    vop_deleteextattr_pre(void *a);
 903 void    vop_deleteextattr_post(void *a, int rc);
 904 void    vop_link_pre(void *a);
 905 void    vop_link_post(void *a, int rc);
 906 void    vop_lookup_post(void *a, int rc);
 907 void    vop_lookup_pre(void *a);
 908 void    vop_mkdir_pre(void *a);
 909 void    vop_mkdir_post(void *a, int rc);
 910 void    vop_mknod_pre(void *a);
 911 void    vop_mknod_post(void *a, int rc);
 912 void    vop_open_post(void *a, int rc);
 913 void    vop_read_post(void *a, int rc);
 914 void    vop_read_pgcache_post(void *ap, int rc);
 915 void    vop_readdir_post(void *a, int rc);
 916 void    vop_reclaim_post(void *a, int rc);
 917 void    vop_remove_pre(void *a);
 918 void    vop_remove_post(void *a, int rc);
 919 void    vop_rename_post(void *a, int rc);
 920 void    vop_rename_pre(void *a);
 921 void    vop_rmdir_pre(void *a);
 922 void    vop_rmdir_post(void *a, int rc);
 923 void    vop_setattr_pre(void *a);
 924 void    vop_setattr_post(void *a, int rc);
 925 void    vop_setacl_pre(void *a);
 926 void    vop_setacl_post(void *a, int rc);
 927 void    vop_setextattr_pre(void *a);
 928 void    vop_setextattr_post(void *a, int rc);
 929 void    vop_symlink_pre(void *a);
 930 void    vop_symlink_post(void *a, int rc);
 931 int     vop_sigdefer(struct vop_vector *vop, struct vop_generic_args *a);
 932
 933 #ifdef DEBUG_VFS_LOCKS
 934 void    vop_fdatasync_debugpre(void *a);
 935 void    vop_fdatasync_debugpost(void *a, int rc);
 936 void    vop_fplookup_vexec_debugpre(void *a);
 937 void    vop_fplookup_vexec_debugpost(void *a, int rc);
 938 void    vop_fplookup_symlink_debugpre(void *a);
 939 void    vop_fplookup_symlink_debugpost(void *a, int rc);
 940 void    vop_fsync_debugpre(void *a);
 941 void    vop_fsync_debugpost(void *a, int rc);
 942 void    vop_strategy_debugpre(void *a);
 943 void    vop_lock_debugpre(void *a);
 944 void    vop_lock_debugpost(void *a, int rc);
 945 void    vop_unlock_debugpre(void *a);
 946 void    vop_need_inactive_debugpre(void *a);
 947 void    vop_need_inactive_debugpost(void *a, int rc);
 948 void    vop_mkdir_debugpost(void *a, int rc);
 949 #else
 950 #define vop_fdatasync_debugpre(x)               do { } while (0)
 951 #define vop_fdatasync_debugpost(x, y)           do { } while (0)
 952 #define vop_fplookup_vexec_debugpre(x)          do { } while (0)
 953 #define vop_fplookup_vexec_debugpost(x, y)      do { } while (0)
 954 #define vop_fplookup_symlink_debugpre(x)        do { } while (0)
 955 #define vop_fplookup_symlink_debugpost(x, y)    do { } while (0)
 956 #define vop_fsync_debugpre(x)                   do { } while (0)
 957 #define vop_fsync_debugpost(x, y)               do { } while (0)
 958 #define vop_strategy_debugpre(x)                do { } while (0)
 959 #define vop_lock_debugpre(x)                    do { } while (0)
 960 #define vop_lock_debugpost(x, y)                do { } while (0)
 961 #define vop_unlock_debugpre(x)                  do { } while (0)
 962 #define vop_need_inactive_debugpre(x)           do { } while (0)
 963 #define vop_need_inactive_debugpost(x, y)       do { } while (0)
 964 #define vop_mkdir_debugpost(x, y)               do { } while (0)
 965 #endif
 966
 967 void    vop_rename_fail(struct vop_rename_args *ap);
 968
 969 #define vop_stat_helper_pre(ap) ({                                              \
 970         struct vop_stat_args *_ap = (ap);                                       \
 971         int _error;                                                             \
 972         AUDIT_ARG_VNODE1(ap->a_vp);                                             \
 973         _error = mac_vnode_check_stat(_ap->a_active_cred, _ap->a_file_cred, _ap->a_vp);\
 974         if (__predict_true(_error == 0)) {                                      \
 975                 ap->a_sb->st_padding0 = 0;                                      \
 976                 ap->a_sb->st_padding1 = 0;                                      \
 977                 bzero(_ap->a_sb->st_spare, sizeof(_ap->a_sb->st_spare));        \
 978         }                                                                       \
 979         _error;                                                                 \
 980 })
 981
 982 #define vop_stat_helper_post(ap, error) ({                                      \
 983         struct vop_stat_args *_ap = (ap);                                       \
 984         int _error = (error);                                                   \
 985         if (priv_check_cred_vfs_generation(_ap->a_active_cred))                 \
 986                 _ap->a_sb->st_gen = 0;                                          \
 987         _error;                                                                 \
 988 })
 989
 990 #define VOP_WRITE_PRE(ap)                                               \
 991         struct vattr va;                                                \
 992         int error;                                                      \
 993         off_t osize, ooffset, noffset;                                  \
 994                                                                         \
 995         osize = ooffset = noffset = 0;                                  \
 996         if (!VN_KNLIST_EMPTY((ap)->a_vp)) {                             \
 997                 error = VOP_GETATTR((ap)->a_vp, &va, (ap)->a_cred);     \
 998                 if (error)                                              \
 999                         return (error);                                 \
1000                 ooffset = (ap)->a_uio->uio_offset;                      \
1001                 osize = (off_t)va.va_size;                              \
1002         }
1003
1004 #define VOP_WRITE_POST(ap, ret)                                         \
1005         noffset = (ap)->a_uio->uio_offset;                              \
1006         if (noffset > ooffset && !VN_KNLIST_EMPTY((ap)->a_vp)) {        \
1007                 VFS_KNOTE_LOCKED((ap)->a_vp, NOTE_WRITE                 \
1008                     | (noffset > osize ? NOTE_EXTEND : 0));             \
1009         }
1010
1011 #define VOP_LOCK(vp, flags) VOP_LOCK1(vp, flags, __FILE__, __LINE__)
1012
1013 #ifdef INVARIANTS
1014 #define VOP_ADD_WRITECOUNT_CHECKED(vp, cnt)                             \
1015 do {                                                                    \
1016         int error_;                                                     \
1017                                                                         \
1018         error_ = VOP_ADD_WRITECOUNT((vp), (cnt));                       \
1019         VNASSERT(error_ == 0, (vp), ("VOP_ADD_WRITECOUNT returned %d",  \
1020             error_));                                                   \
1021 } while (0)
1022 #define VOP_SET_TEXT_CHECKED(vp)                                        \
1023 do {                                                                    \
1024         int error_;                                                     \
1025                                                                         \
1026         error_ = VOP_SET_TEXT((vp));                                    \
1027         VNASSERT(error_ == 0, (vp), ("VOP_SET_TEXT returned %d",        \
1028             error_));                                                   \
1029 } while (0)
1030 #define VOP_UNSET_TEXT_CHECKED(vp)                                      \
1031 do {                                                                    \
1032         int error_;                                                     \
1033                                                                         \
1034         error_ = VOP_UNSET_TEXT((vp));                                  \
1035         VNASSERT(error_ == 0, (vp), ("VOP_UNSET_TEXT returned %d",      \
1036             error_));                                                   \
1037 } while (0)
1038 #else
1039 #define VOP_ADD_WRITECOUNT_CHECKED(vp, cnt)     VOP_ADD_WRITECOUNT((vp), (cnt))
1040 #define VOP_SET_TEXT_CHECKED(vp)                VOP_SET_TEXT((vp))
1041 #define VOP_UNSET_TEXT_CHECKED(vp)              VOP_UNSET_TEXT((vp))
1042 #endif
1043
1044 #define VN_IS_DOOMED(vp)        __predict_false((vn_irflag_read(vp) & VIRF_DOOMED) != 0)
1045
1046 void    vput(struct vnode *vp);
1047 void    vrele(struct vnode *vp);
1048 void    vref(struct vnode *vp);
1049 void    vrefact(struct vnode *vp);
1050 void    v_addpollinfo(struct vnode *vp);
1051 static __inline int
1052 vrefcnt(struct vnode *vp)
1053 {
1054
1055         return (vp->v_usecount);
1056 }
1057
1058 #define vholdl(vp)      do {                                            \
1059         ASSERT_VI_LOCKED(vp, __func__);                                 \
1060         vhold(vp);                                                      \
1061 } while (0)
1062
1063 #define vrefl(vp)       do {                                            \
1064         ASSERT_VI_LOCKED(vp, __func__);                                 \
1065         vref(vp);                                                       \
1066 } while (0)
1067
1068 int vnode_create_vobject(struct vnode *vp, off_t size, struct thread *td);
1069 void vnode_destroy_vobject(struct vnode *vp);
1070
1071 extern struct vop_vector fifo_specops;
1072 extern struct vop_vector dead_vnodeops;
1073 extern struct vop_vector default_vnodeops;
1074
1075 #define VOP_PANIC       ((void*)(uintptr_t)vop_panic)
1076 #define VOP_NULL        ((void*)(uintptr_t)vop_null)
1077 #define VOP_EBADF       ((void*)(uintptr_t)vop_ebadf)
1078 #define VOP_ENOTTY      ((void*)(uintptr_t)vop_enotty)
1079 #define VOP_EINVAL      ((void*)(uintptr_t)vop_einval)
1080 #define VOP_ENOENT      ((void*)(uintptr_t)vop_enoent)
1081 #define VOP_EOPNOTSUPP  ((void*)(uintptr_t)vop_eopnotsupp)
1082 #define VOP_EAGAIN      ((void*)(uintptr_t)vop_eagain)
1083
1084 /* fifo_vnops.c */
1085 int     fifo_printinfo(struct vnode *);
1086
1087 /* vfs_hash.c */
1088 typedef int vfs_hash_cmp_t(struct vnode *vp, void *arg);
1089
1090 void vfs_hash_changesize(u_long newhashsize);
1091 int vfs_hash_get(const struct mount *mp, u_int hash, int flags,
1092     struct thread *td, struct vnode **vpp, vfs_hash_cmp_t *fn, void *arg);
1093 u_int vfs_hash_index(struct vnode *vp);
1094 int vfs_hash_insert(struct vnode *vp, u_int hash, int flags, struct thread *td,
1095     struct vnode **vpp, vfs_hash_cmp_t *fn, void *arg);
1096 void vfs_hash_ref(const struct mount *mp, u_int hash, struct thread *td,
1097     struct vnode **vpp, vfs_hash_cmp_t *fn, void *arg);
1098 void vfs_hash_rehash(struct vnode *vp, u_int hash);
1099 void vfs_hash_remove(struct vnode *vp);
1100
1101 int vfs_kqfilter(struct vop_kqfilter_args *);
1102 struct dirent;
1103 int vfs_read_dirent(struct vop_readdir_args *ap, struct dirent *dp, off_t off);
1104 int vfs_emptydir(struct vnode *vp);
1105
1106 int vfs_unixify_accmode(accmode_t *accmode);
1107
1108 void vfs_unp_reclaim(struct vnode *vp);
1109
1110 int setfmode(struct thread *td, struct ucred *cred, struct vnode *vp, int mode);
1111 int setfown(struct thread *td, struct ucred *cred, struct vnode *vp, uid_t uid,
1112     gid_t gid);
1113 int vn_chmod(struct file *fp, mode_t mode, struct ucred *active_cred,
1114     struct thread *td);
1115 int vn_chown(struct file *fp, uid_t uid, gid_t gid, struct ucred *active_cred,
1116     struct thread *td);
1117
1118 void vn_fsid(struct vnode *vp, struct vattr *va);
1119
1120 int vn_dir_check_exec(struct vnode *vp, struct componentname *cnp);
1121 int vn_lktype_write(struct mount *mp, struct vnode *vp);
1122
1123 #define VOP_UNLOCK_FLAGS(vp, flags)     ({                              \
1124         struct vnode *_vp = (vp);                                       \
1125         int _flags = (flags);                                           \
1126         int _error;                                                     \
1127                                                                         \
1128         if ((_flags & ~(LK_INTERLOCK | LK_RELEASE)) != 0)               \
1129                 panic("%s: unsupported flags %x\n", __func__, flags);   \
1130         _error = VOP_UNLOCK(_vp);                                       \
1131         if (_flags & LK_INTERLOCK)                                      \
1132                 VI_UNLOCK(_vp);                                         \
1133         _error;                                                         \
1134 })
1135
1136 #include <sys/kernel.h>
1137
1138 #define VFS_VOP_VECTOR_REGISTER(vnodeops) \
1139         SYSINIT(vfs_vector_##vnodeops##_f, SI_SUB_VFS, SI_ORDER_ANY, \
1140             vfs_vector_op_register, &vnodeops)
1141
1142 #define VFS_SMR_DECLARE                         \
1143         extern smr_t vfs_smr
1144
1145 #define VFS_SMR()       vfs_smr
1146 #define vfs_smr_enter() smr_enter(VFS_SMR())
1147 #define vfs_smr_exit()  smr_exit(VFS_SMR())
1148 #define vfs_smr_synchronize()   smr_synchronize(VFS_SMR())
1149 #define vfs_smr_entered_load(ptr)       smr_entered_load((ptr), VFS_SMR())
1150 #define VFS_SMR_ASSERT_ENTERED()        SMR_ASSERT_ENTERED(VFS_SMR())
1151 #define VFS_SMR_ASSERT_NOT_ENTERED()    SMR_ASSERT_NOT_ENTERED(VFS_SMR())
1152 #define VFS_SMR_ZONE_SET(zone)  uma_zone_set_smr((zone), VFS_SMR())
1153
1154 #define vn_load_v_data_smr(vp)  ({              \
1155         struct vnode *_vp = (vp);               \
1156                                                 \
1157         VFS_SMR_ASSERT_ENTERED();               \
1158         atomic_load_consume_ptr(&(_vp)->v_data);\
1159 })
1160
1161 #endif /* _KERNEL */
1162
1163 #endif /* !_SYS_VNODE_H_ */