]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - sys/sys/vnode.h
Add a driver for bcm2838 PCI express controller
[FreeBSD/FreeBSD.git] / sys / sys / vnode.h
1 /*-
2  * SPDX-License-Identifier: BSD-3-Clause
3  *
4  * Copyright (c) 1989, 1993
5  *      The Regents of the University of California.  All rights reserved.
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  * 1. Redistributions of source code must retain the above copyright
11  *    notice, this list of conditions and the following disclaimer.
12  * 2. Redistributions in binary form must reproduce the above copyright
13  *    notice, this list of conditions and the following disclaimer in the
14  *    documentation and/or other materials provided with the distribution.
15  * 3. Neither the name of the University nor the names of its contributors
16  *    may be used to endorse or promote products derived from this software
17  *    without specific prior written permission.
18  *
19  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
20  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
21  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
22  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
23  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
24  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
25  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
26  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
27  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
28  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
29  * SUCH DAMAGE.
30  *
31  *      @(#)vnode.h     8.7 (Berkeley) 2/4/94
32  * $FreeBSD$
33  */
34
35 #ifndef _SYS_VNODE_H_
36 #define _SYS_VNODE_H_
37
38 #include <sys/bufobj.h>
39 #include <sys/queue.h>
40 #include <sys/lock.h>
41 #include <sys/lockmgr.h>
42 #include <sys/mutex.h>
43 #include <sys/rangelock.h>
44 #include <sys/selinfo.h>
45 #include <sys/uio.h>
46 #include <sys/acl.h>
47 #include <sys/ktr.h>
48
49 /*
50  * The vnode is the focus of all file activity in UNIX.  There is a
51  * unique vnode allocated for each active file, each current directory,
52  * each mounted-on file, text file, and the root.
53  */
54
55 /*
56  * Vnode types.  VNON means no type.
57  */
58 enum vtype      { VNON, VREG, VDIR, VBLK, VCHR, VLNK, VSOCK, VFIFO, VBAD,
59                   VMARKER };
60
61 enum vgetstate  { VGET_NONE, VGET_HOLDCNT, VGET_USECOUNT };
62 /*
63  * Each underlying filesystem allocates its own private area and hangs
64  * it from v_data.  If non-null, this area is freed in getnewvnode().
65  */
66
67 struct namecache;
68
69 struct vpollinfo {
70         struct  mtx vpi_lock;           /* lock to protect below */
71         struct  selinfo vpi_selinfo;    /* identity of poller(s) */
72         short   vpi_events;             /* what they are looking for */
73         short   vpi_revents;            /* what has happened */
74 };
75
76 /*
77  * Reading or writing any of these items requires holding the appropriate lock.
78  *
79  * Lock reference:
80  *      c - namecache mutex
81  *      i - interlock
82  *      l - mp mnt_listmtx or freelist mutex
83  *      I - updated with atomics, 0->1 and 1->0 transitions with interlock held
84  *      m - mount point interlock
85  *      p - pollinfo lock
86  *      u - Only a reference to the vnode is needed to read.
87  *      v - vnode lock
88  *
89  * Vnodes may be found on many lists.  The general way to deal with operating
90  * on a vnode that is on a list is:
91  *      1) Lock the list and find the vnode.
92  *      2) Lock interlock so that the vnode does not go away.
93  *      3) Unlock the list to avoid lock order reversals.
94  *      4) vget with LK_INTERLOCK and check for ENOENT, or
95  *      5) Check for DOOMED if the vnode lock is not required.
96  *      6) Perform your operation, then vput().
97  */
98
99 #if defined(_KERNEL) || defined(_KVM_VNODE)
100
101 struct vnode {
102         /*
103          * Fields which define the identity of the vnode.  These fields are
104          * owned by the filesystem (XXX: and vgone() ?)
105          */
106         enum    vtype v_type:8;                 /* u vnode type */
107         short   v_irflag;                       /* i frequently read flags */
108         struct  vop_vector *v_op;               /* u vnode operations vector */
109         void    *v_data;                        /* u private data for fs */
110
111         /*
112          * Filesystem instance stuff
113          */
114         struct  mount *v_mount;                 /* u ptr to vfs we are in */
115         TAILQ_ENTRY(vnode) v_nmntvnodes;        /* m vnodes for mount point */
116
117         /*
118          * Type specific fields, only one applies to any given vnode.
119          */
120         union {
121                 struct mount    *v_mountedhere; /* v ptr to mountpoint (VDIR) */
122                 struct unpcb    *v_unpcb;       /* v unix domain net (VSOCK) */
123                 struct cdev     *v_rdev;        /* v device (VCHR, VBLK) */
124                 struct fifoinfo *v_fifoinfo;    /* v fifo (VFIFO) */
125         };
126
127         /*
128          * vfs_hash: (mount + inode) -> vnode hash.  The hash value
129          * itself is grouped with other int fields, to avoid padding.
130          */
131         LIST_ENTRY(vnode)       v_hashlist;
132
133         /*
134          * VFS_namecache stuff
135          */
136         LIST_HEAD(, namecache) v_cache_src;     /* c Cache entries from us */
137         TAILQ_HEAD(, namecache) v_cache_dst;    /* c Cache entries to us */
138         struct namecache *v_cache_dd;           /* c Cache entry for .. vnode */
139
140         /*
141          * Locking
142          */
143         struct  lock v_lock;                    /* u (if fs don't have one) */
144         struct  mtx v_interlock;                /* lock for "i" things */
145         struct  lock *v_vnlock;                 /* u pointer to vnode lock */
146
147         /*
148          * The machinery of being a vnode
149          */
150         TAILQ_ENTRY(vnode) v_vnodelist;         /* l vnode lists */
151         TAILQ_ENTRY(vnode) v_lazylist;          /* l vnode lazy list */
152         struct bufobj   v_bufobj;               /* * Buffer cache object */
153
154         /*
155          * Hooks for various subsystems and features.
156          */
157         struct vpollinfo *v_pollinfo;           /* i Poll events, p for *v_pi */
158         struct label *v_label;                  /* MAC label for vnode */
159         struct lockf *v_lockf;          /* Byte-level advisory lock list */
160         struct rangelock v_rl;                  /* Byte-range lock */
161
162         /*
163          * clustering stuff
164          */
165         daddr_t v_cstart;                       /* v start block of cluster */
166         daddr_t v_lasta;                        /* v last allocation  */
167         daddr_t v_lastw;                        /* v last write  */
168         int     v_clen;                         /* v length of cur. cluster */
169
170         u_int   v_holdcnt;                      /* I prevents recycling. */
171         u_int   v_usecount;                     /* I ref count of users */
172         u_int   v_iflag;                        /* i vnode flags (see below) */
173         u_int   v_vflag;                        /* v vnode flags */
174         u_short v_mflag;                        /* l mnt-specific vnode flags */
175         short   v_dbatchcpu;                    /* i LRU requeue deferral batch */
176         int     v_writecount;                   /* I ref count of writers or
177                                                    (negative) text users */
178         u_int   v_hash;
179 };
180
181 #endif /* defined(_KERNEL) || defined(_KVM_VNODE) */
182
183 #define bo2vnode(bo)    __containerof((bo), struct vnode, v_bufobj)
184
185 /* XXX: These are temporary to avoid a source sweep at this time */
186 #define v_object        v_bufobj.bo_object
187
188 /*
189  * Userland version of struct vnode, for sysctl.
190  */
191 struct xvnode {
192         size_t  xv_size;                        /* sizeof(struct xvnode) */
193         void    *xv_vnode;                      /* address of real vnode */
194         u_long  xv_flag;                        /* vnode vflags */
195         int     xv_usecount;                    /* reference count of users */
196         int     xv_writecount;                  /* reference count of writers */
197         int     xv_holdcnt;                     /* page & buffer references */
198         u_long  xv_id;                          /* capability identifier */
199         void    *xv_mount;                      /* address of parent mount */
200         long    xv_numoutput;                   /* num of writes in progress */
201         enum    vtype xv_type;                  /* vnode type */
202         union {
203                 void    *xvu_socket;            /* unpcb, if VSOCK */
204                 void    *xvu_fifo;              /* fifo, if VFIFO */
205                 dev_t   xvu_rdev;               /* maj/min, if VBLK/VCHR */
206                 struct {
207                         dev_t   xvu_dev;        /* device, if VDIR/VREG/VLNK */
208                         ino_t   xvu_ino;        /* id, if VDIR/VREG/VLNK */
209                 } xv_uns;
210         } xv_un;
211 };
212 #define xv_socket       xv_un.xvu_socket
213 #define xv_fifo         xv_un.xvu_fifo
214 #define xv_rdev         xv_un.xvu_rdev
215 #define xv_dev          xv_un.xv_uns.xvu_dev
216 #define xv_ino          xv_un.xv_uns.xvu_ino
217
218 /* We don't need to lock the knlist */
219 #define VN_KNLIST_EMPTY(vp) ((vp)->v_pollinfo == NULL ||        \
220             KNLIST_EMPTY(&(vp)->v_pollinfo->vpi_selinfo.si_note))
221
222 #define VN_KNOTE(vp, b, a)                                      \
223         do {                                                    \
224                 if (!VN_KNLIST_EMPTY(vp))                       \
225                         KNOTE(&vp->v_pollinfo->vpi_selinfo.si_note, (b), \
226                             (a) | KNF_NOKQLOCK);                \
227         } while (0)
228 #define VN_KNOTE_LOCKED(vp, b)          VN_KNOTE(vp, b, KNF_LISTLOCKED)
229 #define VN_KNOTE_UNLOCKED(vp, b)        VN_KNOTE(vp, b, 0)
230
231 /*
232  * Vnode flags.
233  *      VI flags are protected by interlock and live in v_iflag
234  *      VV flags are protected by the vnode lock and live in v_vflag
235  *
236  *      VIRF_DOOMED is doubly protected by the interlock and vnode lock.  Both
237  *      are required for writing but the status may be checked with either.
238  */
239 #define VHOLD_NO_SMR    (1<<29) /* Disable vhold_smr */
240 #define VHOLD_ALL_FLAGS (VHOLD_NO_SMR)
241
242 #define VIRF_DOOMED     0x0001  /* This vnode is being recycled */
243
244 #define VI_TEXT_REF     0x0001  /* Text ref grabbed use ref */
245 #define VI_MOUNT        0x0020  /* Mount in progress */
246 #define VI_DOINGINACT   0x0800  /* VOP_INACTIVE is in progress */
247 #define VI_OWEINACT     0x1000  /* Need to call inactive */
248 #define VI_DEFINACT     0x2000  /* deferred inactive */
249
250 #define VV_ROOT         0x0001  /* root of its filesystem */
251 #define VV_ISTTY        0x0002  /* vnode represents a tty */
252 #define VV_NOSYNC       0x0004  /* unlinked, stop syncing */
253 #define VV_ETERNALDEV   0x0008  /* device that is never destroyed */
254 #define VV_CACHEDLABEL  0x0010  /* Vnode has valid cached MAC label */
255 #define VV_VMSIZEVNLOCK 0x0020  /* object size check requires vnode lock */
256 #define VV_COPYONWRITE  0x0040  /* vnode is doing copy-on-write */
257 #define VV_SYSTEM       0x0080  /* vnode being used by kernel */
258 #define VV_PROCDEP      0x0100  /* vnode is process dependent */
259 #define VV_NOKNOTE      0x0200  /* don't activate knotes on this vnode */
260 #define VV_DELETED      0x0400  /* should be removed */
261 #define VV_MD           0x0800  /* vnode backs the md device */
262 #define VV_FORCEINSMQ   0x1000  /* force the insmntque to succeed */
263 #define VV_READLINK     0x2000  /* fdescfs linux vnode */
264
265 #define VMP_LAZYLIST    0x0001  /* Vnode is on mnt's lazy list */
266
267 /*
268  * Vnode attributes.  A field value of VNOVAL represents a field whose value
269  * is unavailable (getattr) or which is not to be changed (setattr).
270  */
271 struct vattr {
272         enum vtype      va_type;        /* vnode type (for create) */
273         u_short         va_mode;        /* files access mode and type */
274         u_short         va_padding0;
275         uid_t           va_uid;         /* owner user id */
276         gid_t           va_gid;         /* owner group id */
277         nlink_t         va_nlink;       /* number of references to file */
278         dev_t           va_fsid;        /* filesystem id */
279         ino_t           va_fileid;      /* file id */
280         u_quad_t        va_size;        /* file size in bytes */
281         long            va_blocksize;   /* blocksize preferred for i/o */
282         struct timespec va_atime;       /* time of last access */
283         struct timespec va_mtime;       /* time of last modification */
284         struct timespec va_ctime;       /* time file changed */
285         struct timespec va_birthtime;   /* time file created */
286         u_long          va_gen;         /* generation number of file */
287         u_long          va_flags;       /* flags defined for file */
288         dev_t           va_rdev;        /* device the special file represents */
289         u_quad_t        va_bytes;       /* bytes of disk space held by file */
290         u_quad_t        va_filerev;     /* file modification number */
291         u_int           va_vaflags;     /* operations flags, see below */
292         long            va_spare;       /* remain quad aligned */
293 };
294
295 /*
296  * Flags for va_vaflags.
297  */
298 #define VA_UTIMES_NULL  0x01            /* utimes argument was NULL */
299 #define VA_EXCLUSIVE    0x02            /* exclusive create request */
300 #define VA_SYNC         0x04            /* O_SYNC truncation */
301
302 /*
303  * Flags for ioflag. (high 16 bits used to ask for read-ahead and
304  * help with write clustering)
305  * NB: IO_NDELAY and IO_DIRECT are linked to fcntl.h
306  */
307 #define IO_UNIT         0x0001          /* do I/O as atomic unit */
308 #define IO_APPEND       0x0002          /* append write to end */
309 #define IO_NDELAY       0x0004          /* FNDELAY flag set in file table */
310 #define IO_NODELOCKED   0x0008          /* underlying node already locked */
311 #define IO_ASYNC        0x0010          /* bawrite rather then bdwrite */
312 #define IO_VMIO         0x0020          /* data already in VMIO space */
313 #define IO_INVAL        0x0040          /* invalidate after I/O */
314 #define IO_SYNC         0x0080          /* do I/O synchronously */
315 #define IO_DIRECT       0x0100          /* attempt to bypass buffer cache */
316 #define IO_NOREUSE      0x0200          /* VMIO data won't be reused */
317 #define IO_EXT          0x0400          /* operate on external attributes */
318 #define IO_NORMAL       0x0800          /* operate on regular data */
319 #define IO_NOMACCHECK   0x1000          /* MAC checks unnecessary */
320 #define IO_BUFLOCKED    0x2000          /* ffs flag; indir buf is locked */
321 #define IO_RANGELOCKED  0x4000          /* range locked */
322
323 #define IO_SEQMAX       0x7F            /* seq heuristic max value */
324 #define IO_SEQSHIFT     16              /* seq heuristic in upper 16 bits */
325
326 /*
327  * Flags for accmode_t.
328  */
329 #define VEXEC                   000000000100 /* execute/search permission */
330 #define VWRITE                  000000000200 /* write permission */
331 #define VREAD                   000000000400 /* read permission */
332 #define VADMIN                  000000010000 /* being the file owner */
333 #define VAPPEND                 000000040000 /* permission to write/append */
334 /*
335  * VEXPLICIT_DENY makes VOP_ACCESSX(9) return EPERM or EACCES only
336  * if permission was denied explicitly, by a "deny" rule in NFSv4 ACL,
337  * and 0 otherwise.  This never happens with ordinary unix access rights
338  * or POSIX.1e ACLs.  Obviously, VEXPLICIT_DENY must be OR-ed with
339  * some other V* constant.
340  */
341 #define VEXPLICIT_DENY          000000100000
342 #define VREAD_NAMED_ATTRS       000000200000 /* not used */
343 #define VWRITE_NAMED_ATTRS      000000400000 /* not used */
344 #define VDELETE_CHILD           000001000000
345 #define VREAD_ATTRIBUTES        000002000000 /* permission to stat(2) */
346 #define VWRITE_ATTRIBUTES       000004000000 /* change {m,c,a}time */
347 #define VDELETE                 000010000000
348 #define VREAD_ACL               000020000000 /* read ACL and file mode */
349 #define VWRITE_ACL              000040000000 /* change ACL and/or file mode */
350 #define VWRITE_OWNER            000100000000 /* change file owner */
351 #define VSYNCHRONIZE            000200000000 /* not used */
352 #define VCREAT                  000400000000 /* creating new file */
353 #define VVERIFY                 001000000000 /* verification required */
354
355 /*
356  * Permissions that were traditionally granted only to the file owner.
357  */
358 #define VADMIN_PERMS    (VADMIN | VWRITE_ATTRIBUTES | VWRITE_ACL | \
359     VWRITE_OWNER)
360
361 /*
362  * Permissions that were traditionally granted to everyone.
363  */
364 #define VSTAT_PERMS     (VREAD_ATTRIBUTES | VREAD_ACL)
365
366 /*
367  * Permissions that allow to change the state of the file in any way.
368  */
369 #define VMODIFY_PERMS   (VWRITE | VAPPEND | VADMIN_PERMS | VDELETE_CHILD | \
370     VDELETE)
371
372 /*
373  * Token indicating no attribute value yet assigned.
374  */
375 #define VNOVAL  (-1)
376
377 /*
378  * LK_TIMELOCK timeout for vnode locks (used mainly by the pageout daemon)
379  */
380 #define VLKTIMEOUT      (hz / 20 + 1)
381
382 #ifdef _KERNEL
383
384 #ifdef MALLOC_DECLARE
385 MALLOC_DECLARE(M_VNODE);
386 #endif
387
388 extern u_int ncsizefactor;
389
390 /*
391  * Convert between vnode types and inode formats (since POSIX.1
392  * defines mode word of stat structure in terms of inode formats).
393  */
394 extern enum vtype       iftovt_tab[];
395 extern int              vttoif_tab[];
396 #define IFTOVT(mode)    (iftovt_tab[((mode) & S_IFMT) >> 12])
397 #define VTTOIF(indx)    (vttoif_tab[(int)(indx)])
398 #define MAKEIMODE(indx, mode)   (int)(VTTOIF(indx) | (mode))
399
400 /*
401  * Flags to various vnode functions.
402  */
403 #define SKIPSYSTEM      0x0001  /* vflush: skip vnodes marked VSYSTEM */
404 #define FORCECLOSE      0x0002  /* vflush: force file closure */
405 #define WRITECLOSE      0x0004  /* vflush: only close writable files */
406 #define EARLYFLUSH      0x0008  /* vflush: early call for ffs_flushfiles */
407 #define V_SAVE          0x0001  /* vinvalbuf: sync file first */
408 #define V_ALT           0x0002  /* vinvalbuf: invalidate only alternate bufs */
409 #define V_NORMAL        0x0004  /* vinvalbuf: invalidate only regular bufs */
410 #define V_CLEANONLY     0x0008  /* vinvalbuf: invalidate only clean bufs */
411 #define V_VMIO          0x0010  /* vinvalbuf: called during pageout */
412 #define V_ALLOWCLEAN    0x0020  /* vinvalbuf: allow clean buffers after flush */
413 #define REVOKEALL       0x0001  /* vop_revoke: revoke all aliases */
414 #define V_WAIT          0x0001  /* vn_start_write: sleep for suspend */
415 #define V_NOWAIT        0x0002  /* vn_start_write: don't sleep for suspend */
416 #define V_XSLEEP        0x0004  /* vn_start_write: just return after sleep */
417 #define V_MNTREF        0x0010  /* vn_start_write: mp is already ref-ed */
418
419 #define VR_START_WRITE  0x0001  /* vfs_write_resume: start write atomically */
420 #define VR_NO_SUSPCLR   0x0002  /* vfs_write_resume: do not clear suspension */
421
422 #define VS_SKIP_UNMOUNT 0x0001  /* vfs_write_suspend: fail if the
423                                    filesystem is being unmounted */
424
425 #define VREF(vp)        vref(vp)
426
427 #ifdef DIAGNOSTIC
428 #define VATTR_NULL(vap) vattr_null(vap)
429 #else
430 #define VATTR_NULL(vap) (*(vap) = va_null)      /* initialize a vattr */
431 #endif /* DIAGNOSTIC */
432
433 #define NULLVP  ((struct vnode *)NULL)
434
435 /*
436  * Global vnode data.
437  */
438 extern  struct vnode *rootvnode;        /* root (i.e. "/") vnode */
439 extern  struct mount *rootdevmp;        /* "/dev" mount */
440 extern  u_long desiredvnodes;           /* number of vnodes desired */
441 extern  struct uma_zone *namei_zone;
442 extern  struct vattr va_null;           /* predefined null vattr structure */
443
444 #define VI_LOCK(vp)     mtx_lock(&(vp)->v_interlock)
445 #define VI_LOCK_FLAGS(vp, flags) mtx_lock_flags(&(vp)->v_interlock, (flags))
446 #define VI_TRYLOCK(vp)  mtx_trylock(&(vp)->v_interlock)
447 #define VI_UNLOCK(vp)   mtx_unlock(&(vp)->v_interlock)
448 #define VI_MTX(vp)      (&(vp)->v_interlock)
449
450 #define VN_LOCK_AREC(vp)        lockallowrecurse((vp)->v_vnlock)
451 #define VN_LOCK_ASHARE(vp)      lockallowshare((vp)->v_vnlock)
452 #define VN_LOCK_DSHARE(vp)      lockdisableshare((vp)->v_vnlock)
453
454 #endif /* _KERNEL */
455
456 /*
457  * Mods for extensibility.
458  */
459
460 /*
461  * Flags for vdesc_flags:
462  */
463 #define VDESC_MAX_VPS           16
464 /* Low order 16 flag bits are reserved for willrele flags for vp arguments. */
465 #define VDESC_VP0_WILLRELE      0x0001
466 #define VDESC_VP1_WILLRELE      0x0002
467 #define VDESC_VP2_WILLRELE      0x0004
468 #define VDESC_VP3_WILLRELE      0x0008
469
470 /*
471  * A generic structure.
472  * This can be used by bypass routines to identify generic arguments.
473  */
474 struct vop_generic_args {
475         struct vnodeop_desc *a_desc;
476         /* other random data follows, presumably */
477 };
478
479 typedef int vop_bypass_t(struct vop_generic_args *);
480
481 /*
482  * VDESC_NO_OFFSET is used to identify the end of the offset list
483  * and in places where no such field exists.
484  */
485 #define VDESC_NO_OFFSET -1
486
487 /*
488  * This structure describes the vnode operation taking place.
489  */
490 struct vnodeop_desc {
491         char    *vdesc_name;            /* a readable name for debugging */
492         int      vdesc_flags;           /* VDESC_* flags */
493         int     vdesc_vop_offset;
494         vop_bypass_t    *vdesc_call;    /* Function to call */
495
496         /*
497          * These ops are used by bypass routines to map and locate arguments.
498          * Creds and procs are not needed in bypass routines, but sometimes
499          * they are useful to (for example) transport layers.
500          * Nameidata is useful because it has a cred in it.
501          */
502         int     *vdesc_vp_offsets;      /* list ended by VDESC_NO_OFFSET */
503         int     vdesc_vpp_offset;       /* return vpp location */
504         int     vdesc_cred_offset;      /* cred location, if any */
505         int     vdesc_thread_offset;    /* thread location, if any */
506         int     vdesc_componentname_offset; /* if any */
507 };
508
509 #ifdef _KERNEL
510 /*
511  * A list of all the operation descs.
512  */
513 extern struct vnodeop_desc *vnodeop_descs[];
514
515 #define VOPARG_OFFSETOF(s_type, field)  __offsetof(s_type, field)
516 #define VOPARG_OFFSETTO(s_type, s_offset, struct_p) \
517     ((s_type)(((char*)(struct_p)) + (s_offset)))
518
519
520 #ifdef DEBUG_VFS_LOCKS
521 /*
522  * Support code to aid in debugging VFS locking problems.  Not totally
523  * reliable since if the thread sleeps between changing the lock
524  * state and checking it with the assert, some other thread could
525  * change the state.  They are good enough for debugging a single
526  * filesystem using a single-threaded test.  Note that the unreliability is
527  * limited to false negatives; efforts were made to ensure that false
528  * positives cannot occur.
529  */
530 void    assert_vi_locked(struct vnode *vp, const char *str);
531 void    assert_vi_unlocked(struct vnode *vp, const char *str);
532 void    assert_vop_elocked(struct vnode *vp, const char *str);
533 void    assert_vop_locked(struct vnode *vp, const char *str);
534 void    assert_vop_unlocked(struct vnode *vp, const char *str);
535
536 #define ASSERT_VI_LOCKED(vp, str)       assert_vi_locked((vp), (str))
537 #define ASSERT_VI_UNLOCKED(vp, str)     assert_vi_unlocked((vp), (str))
538 #define ASSERT_VOP_ELOCKED(vp, str)     assert_vop_elocked((vp), (str))
539 #define ASSERT_VOP_LOCKED(vp, str)      assert_vop_locked((vp), (str))
540 #define ASSERT_VOP_UNLOCKED(vp, str)    assert_vop_unlocked((vp), (str))
541
542 #else /* !DEBUG_VFS_LOCKS */
543
544 #define ASSERT_VI_LOCKED(vp, str)       ((void)0)
545 #define ASSERT_VI_UNLOCKED(vp, str)     ((void)0)
546 #define ASSERT_VOP_ELOCKED(vp, str)     ((void)0)
547 #define ASSERT_VOP_LOCKED(vp, str)      ((void)0)
548 #define ASSERT_VOP_UNLOCKED(vp, str)    ((void)0)
549 #endif /* DEBUG_VFS_LOCKS */
550
551
552 /*
553  * This call works for vnodes in the kernel.
554  */
555 #define VCALL(c) ((c)->a_desc->vdesc_call(c))
556
557 #define DOINGASYNC(vp)                                          \
558         (((vp)->v_mount->mnt_kern_flag & MNTK_ASYNC) != 0 &&    \
559          ((curthread->td_pflags & TDP_SYNCIO) == 0))
560
561 /*
562  * VMIO support inline
563  */
564
565 extern int vmiodirenable;
566
567 static __inline int
568 vn_canvmio(struct vnode *vp)
569 {
570       if (vp && (vp->v_type == VREG || (vmiodirenable && vp->v_type == VDIR)))
571                 return(TRUE);
572         return(FALSE);
573 }
574
575 /*
576  * Finally, include the default set of vnode operations.
577  */
578 typedef void vop_getpages_iodone_t(void *, vm_page_t *, int, int);
579 #include "vnode_if.h"
580
581 /* vn_open_flags */
582 #define VN_OPEN_NOAUDIT         0x00000001
583 #define VN_OPEN_NOCAPCHECK      0x00000002
584 #define VN_OPEN_NAMECACHE       0x00000004
585 #define VN_OPEN_INVFS           0x00000008
586
587 /*
588  * Public vnode manipulation functions.
589  */
590 struct componentname;
591 struct file;
592 struct mount;
593 struct nameidata;
594 struct ostat;
595 struct freebsd11_stat;
596 struct thread;
597 struct proc;
598 struct stat;
599 struct nstat;
600 struct ucred;
601 struct uio;
602 struct vattr;
603 struct vfsops;
604 struct vnode;
605
606 typedef int (*vn_get_ino_t)(struct mount *, void *, int, struct vnode **);
607
608 int     bnoreuselist(struct bufv *bufv, struct bufobj *bo, daddr_t startn,
609             daddr_t endn);
610 /* cache_* may belong in namei.h. */
611 void    cache_changesize(u_long newhashsize);
612 #define cache_enter(dvp, vp, cnp)                                       \
613         cache_enter_time(dvp, vp, cnp, NULL, NULL)
614 void    cache_enter_time(struct vnode *dvp, struct vnode *vp,
615             struct componentname *cnp, struct timespec *tsp,
616             struct timespec *dtsp);
617 int     cache_lookup(struct vnode *dvp, struct vnode **vpp,
618             struct componentname *cnp, struct timespec *tsp, int *ticksp);
619 void    cache_purge(struct vnode *vp);
620 void    cache_purge_negative(struct vnode *vp);
621 void    cache_purgevfs(struct mount *mp, bool force);
622 int     change_dir(struct vnode *vp, struct thread *td);
623 void    cvtstat(struct stat *st, struct ostat *ost);
624 void    freebsd11_cvtnstat(struct stat *sb, struct nstat *nsb);
625 int     freebsd11_cvtstat(struct stat *st, struct freebsd11_stat *ost);
626 int     getnewvnode(const char *tag, struct mount *mp, struct vop_vector *vops,
627             struct vnode **vpp);
628 void    getnewvnode_reserve(void);
629 void    getnewvnode_drop_reserve(void);
630 int     insmntque1(struct vnode *vp, struct mount *mp,
631             void (*dtr)(struct vnode *, void *), void *dtr_arg);
632 int     insmntque(struct vnode *vp, struct mount *mp);
633 u_quad_t init_va_filerev(void);
634 int     speedup_syncer(void);
635 int     vn_vptocnp(struct vnode **vp, struct ucred *cred, char *buf,
636             size_t *buflen);
637 int     vn_getcwd(struct thread *td, char *buf, char **retbuf, size_t *buflen);
638 int     vn_fullpath(struct thread *td, struct vnode *vn,
639             char **retbuf, char **freebuf);
640 int     vn_fullpath_global(struct thread *td, struct vnode *vn,
641             char **retbuf, char **freebuf);
642 struct vnode *
643         vn_dir_dd_ino(struct vnode *vp);
644 int     vn_commname(struct vnode *vn, char *buf, u_int buflen);
645 int     vn_path_to_global_path(struct thread *td, struct vnode *vp,
646             char *path, u_int pathlen);
647 int     vaccess(enum vtype type, mode_t file_mode, uid_t file_uid,
648             gid_t file_gid, accmode_t accmode, struct ucred *cred,
649             int *privused);
650 int     vaccess_acl_nfs4(enum vtype type, uid_t file_uid, gid_t file_gid,
651             struct acl *aclp, accmode_t accmode, struct ucred *cred,
652             int *privused);
653 int     vaccess_acl_posix1e(enum vtype type, uid_t file_uid,
654             gid_t file_gid, struct acl *acl, accmode_t accmode,
655             struct ucred *cred, int *privused);
656 void    vattr_null(struct vattr *vap);
657 int     vcount(struct vnode *vp);
658 void    vlazy(struct vnode *);
659 void    vdrop(struct vnode *);
660 void    vdropl(struct vnode *);
661 int     vflush(struct mount *mp, int rootrefs, int flags, struct thread *td);
662 int     vget(struct vnode *vp, int flags, struct thread *td);
663 enum vgetstate  vget_prep_smr(struct vnode *vp);
664 enum vgetstate  vget_prep(struct vnode *vp);
665 int     vget_finish(struct vnode *vp, int flags, enum vgetstate vs);
666 void    vgone(struct vnode *vp);
667 void    vhold(struct vnode *);
668 void    vholdl(struct vnode *);
669 void    vholdnz(struct vnode *);
670 bool    vhold_smr(struct vnode *);
671 void    vinactive(struct vnode *vp);
672 int     vinvalbuf(struct vnode *vp, int save, int slpflag, int slptimeo);
673 int     vtruncbuf(struct vnode *vp, off_t length, int blksize);
674 void    v_inval_buf_range(struct vnode *vp, daddr_t startlbn, daddr_t endlbn,
675             int blksize);
676 void    vunref(struct vnode *);
677 void    vn_printf(struct vnode *vp, const char *fmt, ...) __printflike(2,3);
678 int     vrecycle(struct vnode *vp);
679 int     vrecyclel(struct vnode *vp);
680 int     vn_bmap_seekhole(struct vnode *vp, u_long cmd, off_t *off,
681             struct ucred *cred);
682 int     vn_close(struct vnode *vp,
683             int flags, struct ucred *file_cred, struct thread *td);
684 int     vn_copy_file_range(struct vnode *invp, off_t *inoffp,
685             struct vnode *outvp, off_t *outoffp, size_t *lenp,
686             unsigned int flags, struct ucred *incred, struct ucred *outcred,
687             struct thread *fsize_td);
688 void    vn_finished_write(struct mount *mp);
689 void    vn_finished_secondary_write(struct mount *mp);
690 int     vn_fsync_buf(struct vnode *vp, int waitfor);
691 int     vn_generic_copy_file_range(struct vnode *invp, off_t *inoffp,
692             struct vnode *outvp, off_t *outoffp, size_t *lenp,
693             unsigned int flags, struct ucred *incred, struct ucred *outcred,
694             struct thread *fsize_td);
695 int     vn_need_pageq_flush(struct vnode *vp);
696 int     vn_isdisk(struct vnode *vp, int *errp);
697 int     _vn_lock(struct vnode *vp, int flags, const char *file, int line);
698 #define vn_lock(vp, flags) _vn_lock(vp, flags, __FILE__, __LINE__)
699 int     vn_open(struct nameidata *ndp, int *flagp, int cmode, struct file *fp);
700 int     vn_open_cred(struct nameidata *ndp, int *flagp, int cmode,
701             u_int vn_open_flags, struct ucred *cred, struct file *fp);
702 int     vn_open_vnode(struct vnode *vp, int fmode, struct ucred *cred,
703             struct thread *td, struct file *fp);
704 void    vn_pages_remove(struct vnode *vp, vm_pindex_t start, vm_pindex_t end);
705 int     vn_pollrecord(struct vnode *vp, struct thread *p, int events);
706 int     vn_rdwr(enum uio_rw rw, struct vnode *vp, void *base,
707             int len, off_t offset, enum uio_seg segflg, int ioflg,
708             struct ucred *active_cred, struct ucred *file_cred, ssize_t *aresid,
709             struct thread *td);
710 int     vn_rdwr_inchunks(enum uio_rw rw, struct vnode *vp, void *base,
711             size_t len, off_t offset, enum uio_seg segflg, int ioflg,
712             struct ucred *active_cred, struct ucred *file_cred, size_t *aresid,
713             struct thread *td);
714 int     vn_rlimit_fsize(const struct vnode *vn, const struct uio *uio,
715             struct thread *td);
716 int     vn_stat(struct vnode *vp, struct stat *sb, struct ucred *active_cred,
717             struct ucred *file_cred, struct thread *td);
718 int     vn_start_write(struct vnode *vp, struct mount **mpp, int flags);
719 int     vn_start_secondary_write(struct vnode *vp, struct mount **mpp,
720             int flags);
721 int     vn_truncate_locked(struct vnode *vp, off_t length, bool sync,
722             struct ucred *cred);
723 int     vn_writechk(struct vnode *vp);
724 int     vn_extattr_get(struct vnode *vp, int ioflg, int attrnamespace,
725             const char *attrname, int *buflen, char *buf, struct thread *td);
726 int     vn_extattr_set(struct vnode *vp, int ioflg, int attrnamespace,
727             const char *attrname, int buflen, char *buf, struct thread *td);
728 int     vn_extattr_rm(struct vnode *vp, int ioflg, int attrnamespace,
729             const char *attrname, struct thread *td);
730 int     vn_vget_ino(struct vnode *vp, ino_t ino, int lkflags,
731             struct vnode **rvp);
732 int     vn_vget_ino_gen(struct vnode *vp, vn_get_ino_t alloc,
733             void *alloc_arg, int lkflags, struct vnode **rvp);
734 int     vn_utimes_perm(struct vnode *vp, struct vattr *vap,
735             struct ucred *cred, struct thread *td);
736
737 int     vn_io_fault_uiomove(char *data, int xfersize, struct uio *uio);
738 int     vn_io_fault_pgmove(vm_page_t ma[], vm_offset_t offset, int xfersize,
739             struct uio *uio);
740
741 #define vn_rangelock_unlock(vp, cookie)                                 \
742         rangelock_unlock(&(vp)->v_rl, (cookie), VI_MTX(vp))
743 #define vn_rangelock_unlock_range(vp, cookie, start, end)               \
744         rangelock_unlock_range(&(vp)->v_rl, (cookie), (start), (end),   \
745             VI_MTX(vp))
746 #define vn_rangelock_rlock(vp, start, end)                              \
747         rangelock_rlock(&(vp)->v_rl, (start), (end), VI_MTX(vp))
748 #define vn_rangelock_tryrlock(vp, start, end)                           \
749         rangelock_tryrlock(&(vp)->v_rl, (start), (end), VI_MTX(vp))
750 #define vn_rangelock_wlock(vp, start, end)                              \
751         rangelock_wlock(&(vp)->v_rl, (start), (end), VI_MTX(vp))
752 #define vn_rangelock_trywlock(vp, start, end)                           \
753         rangelock_trywlock(&(vp)->v_rl, (start), (end), VI_MTX(vp))
754
755 int     vfs_cache_lookup(struct vop_lookup_args *ap);
756 int     vfs_cache_root(struct mount *mp, int flags, struct vnode **vpp);
757 void    vfs_timestamp(struct timespec *);
758 void    vfs_write_resume(struct mount *mp, int flags);
759 int     vfs_write_suspend(struct mount *mp, int flags);
760 int     vfs_write_suspend_umnt(struct mount *mp);
761 void    vnlru_free(int, struct vfsops *);
762 int     vop_stdbmap(struct vop_bmap_args *);
763 int     vop_stdfdatasync_buf(struct vop_fdatasync_args *);
764 int     vop_stdfsync(struct vop_fsync_args *);
765 int     vop_stdgetwritemount(struct vop_getwritemount_args *);
766 int     vop_stdgetpages(struct vop_getpages_args *);
767 int     vop_stdinactive(struct vop_inactive_args *);
768 int     vop_stdioctl(struct vop_ioctl_args *);
769 int     vop_stdneed_inactive(struct vop_need_inactive_args *);
770 int     vop_stdkqfilter(struct vop_kqfilter_args *);
771 int     vop_stdlock(struct vop_lock1_args *);
772 int     vop_stdunlock(struct vop_unlock_args *);
773 int     vop_stdislocked(struct vop_islocked_args *);
774 int     vop_lock(struct vop_lock1_args *);
775 int     vop_unlock(struct vop_unlock_args *);
776 int     vop_islocked(struct vop_islocked_args *);
777 int     vop_stdputpages(struct vop_putpages_args *);
778 int     vop_nopoll(struct vop_poll_args *);
779 int     vop_stdaccess(struct vop_access_args *ap);
780 int     vop_stdaccessx(struct vop_accessx_args *ap);
781 int     vop_stdadvise(struct vop_advise_args *ap);
782 int     vop_stdadvlock(struct vop_advlock_args *ap);
783 int     vop_stdadvlockasync(struct vop_advlockasync_args *ap);
784 int     vop_stdadvlockpurge(struct vop_advlockpurge_args *ap);
785 int     vop_stdallocate(struct vop_allocate_args *ap);
786 int     vop_stdset_text(struct vop_set_text_args *ap);
787 int     vop_stdpathconf(struct vop_pathconf_args *);
788 int     vop_stdpoll(struct vop_poll_args *);
789 int     vop_stdvptocnp(struct vop_vptocnp_args *ap);
790 int     vop_stdvptofh(struct vop_vptofh_args *ap);
791 int     vop_stdunp_bind(struct vop_unp_bind_args *ap);
792 int     vop_stdunp_connect(struct vop_unp_connect_args *ap);
793 int     vop_stdunp_detach(struct vop_unp_detach_args *ap);
794 int     vop_eopnotsupp(struct vop_generic_args *ap);
795 int     vop_ebadf(struct vop_generic_args *ap);
796 int     vop_einval(struct vop_generic_args *ap);
797 int     vop_enoent(struct vop_generic_args *ap);
798 int     vop_enotty(struct vop_generic_args *ap);
799 int     vop_null(struct vop_generic_args *ap);
800 int     vop_panic(struct vop_generic_args *ap);
801 int     dead_poll(struct vop_poll_args *ap);
802 int     dead_read(struct vop_read_args *ap);
803 int     dead_write(struct vop_write_args *ap);
804
805 /* These are called from within the actual VOPS. */
806 void    vop_close_post(void *a, int rc);
807 void    vop_create_post(void *a, int rc);
808 void    vop_deleteextattr_post(void *a, int rc);
809 void    vop_link_post(void *a, int rc);
810 void    vop_lookup_post(void *a, int rc);
811 void    vop_lookup_pre(void *a);
812 void    vop_mkdir_post(void *a, int rc);
813 void    vop_mknod_post(void *a, int rc);
814 void    vop_open_post(void *a, int rc);
815 void    vop_read_post(void *a, int rc);
816 void    vop_readdir_post(void *a, int rc);
817 void    vop_reclaim_post(void *a, int rc);
818 void    vop_remove_post(void *a, int rc);
819 void    vop_rename_post(void *a, int rc);
820 void    vop_rename_pre(void *a);
821 void    vop_rmdir_post(void *a, int rc);
822 void    vop_setattr_post(void *a, int rc);
823 void    vop_setextattr_post(void *a, int rc);
824 void    vop_symlink_post(void *a, int rc);
825 int     vop_sigdefer(struct vop_vector *vop, struct vop_generic_args *a);
826
827 #ifdef DEBUG_VFS_LOCKS
828 void    vop_strategy_pre(void *a);
829 void    vop_lock_pre(void *a);
830 void    vop_lock_post(void *a, int rc);
831 void    vop_unlock_pre(void *a);
832 void    vop_need_inactive_pre(void *a);
833 void    vop_need_inactive_post(void *a, int rc);
834 #else
835 #define vop_strategy_pre(x)     do { } while (0)
836 #define vop_lock_pre(x)         do { } while (0)
837 #define vop_lock_post(x, y)     do { } while (0)
838 #define vop_unlock_pre(x)       do { } while (0)
839 #define vop_need_inactive_pre(x)        do { } while (0)
840 #define vop_need_inactive_post(x, y)    do { } while (0)
841 #endif
842
843 void    vop_rename_fail(struct vop_rename_args *ap);
844
845 #define VOP_WRITE_PRE(ap)                                               \
846         struct vattr va;                                                \
847         int error;                                                      \
848         off_t osize, ooffset, noffset;                                  \
849                                                                         \
850         osize = ooffset = noffset = 0;                                  \
851         if (!VN_KNLIST_EMPTY((ap)->a_vp)) {                             \
852                 error = VOP_GETATTR((ap)->a_vp, &va, (ap)->a_cred);     \
853                 if (error)                                              \
854                         return (error);                                 \
855                 ooffset = (ap)->a_uio->uio_offset;                      \
856                 osize = (off_t)va.va_size;                              \
857         }
858
859 #define VOP_WRITE_POST(ap, ret)                                         \
860         noffset = (ap)->a_uio->uio_offset;                              \
861         if (noffset > ooffset && !VN_KNLIST_EMPTY((ap)->a_vp)) {        \
862                 VFS_KNOTE_LOCKED((ap)->a_vp, NOTE_WRITE                 \
863                     | (noffset > osize ? NOTE_EXTEND : 0));             \
864         }
865
866 #define VOP_LOCK(vp, flags) VOP_LOCK1(vp, flags, __FILE__, __LINE__)
867
868 #ifdef INVARIANTS
869 #define VOP_ADD_WRITECOUNT_CHECKED(vp, cnt)                             \
870 do {                                                                    \
871         int error_;                                                     \
872                                                                         \
873         error_ = VOP_ADD_WRITECOUNT((vp), (cnt));                       \
874         VNASSERT(error_ == 0, (vp), ("VOP_ADD_WRITECOUNT returned %d",  \
875             error_));                                                   \
876 } while (0)
877 #define VOP_SET_TEXT_CHECKED(vp)                                        \
878 do {                                                                    \
879         int error_;                                                     \
880                                                                         \
881         error_ = VOP_SET_TEXT((vp));                                    \
882         VNASSERT(error_ == 0, (vp), ("VOP_SET_TEXT returned %d",        \
883             error_));                                                   \
884 } while (0)
885 #define VOP_UNSET_TEXT_CHECKED(vp)                                      \
886 do {                                                                    \
887         int error_;                                                     \
888                                                                         \
889         error_ = VOP_UNSET_TEXT((vp));                                  \
890         VNASSERT(error_ == 0, (vp), ("VOP_UNSET_TEXT returned %d",      \
891             error_));                                                   \
892 } while (0)
893 #else
894 #define VOP_ADD_WRITECOUNT_CHECKED(vp, cnt)     VOP_ADD_WRITECOUNT((vp), (cnt))
895 #define VOP_SET_TEXT_CHECKED(vp)                VOP_SET_TEXT((vp))
896 #define VOP_UNSET_TEXT_CHECKED(vp)              VOP_UNSET_TEXT((vp))
897 #endif
898
899 #define VN_IS_DOOMED(vp)        __predict_false((vp)->v_irflag & VIRF_DOOMED)
900
901 void    vput(struct vnode *vp);
902 void    vrele(struct vnode *vp);
903 void    vref(struct vnode *vp);
904 void    vrefl(struct vnode *vp);
905 void    vrefact(struct vnode *vp);
906 void    vrefactn(struct vnode *vp, u_int n);
907 int     vrefcnt(struct vnode *vp);
908 void    v_addpollinfo(struct vnode *vp);
909
910 int vnode_create_vobject(struct vnode *vp, off_t size, struct thread *td);
911 void vnode_destroy_vobject(struct vnode *vp);
912
913 extern struct vop_vector fifo_specops;
914 extern struct vop_vector dead_vnodeops;
915 extern struct vop_vector default_vnodeops;
916
917 #define VOP_PANIC       ((void*)(uintptr_t)vop_panic)
918 #define VOP_NULL        ((void*)(uintptr_t)vop_null)
919 #define VOP_EBADF       ((void*)(uintptr_t)vop_ebadf)
920 #define VOP_ENOTTY      ((void*)(uintptr_t)vop_enotty)
921 #define VOP_EINVAL      ((void*)(uintptr_t)vop_einval)
922 #define VOP_ENOENT      ((void*)(uintptr_t)vop_enoent)
923 #define VOP_EOPNOTSUPP  ((void*)(uintptr_t)vop_eopnotsupp)
924
925 /* fifo_vnops.c */
926 int     fifo_printinfo(struct vnode *);
927
928 /* vfs_hash.c */
929 typedef int vfs_hash_cmp_t(struct vnode *vp, void *arg);
930
931 void vfs_hash_changesize(u_long newhashsize);
932 int vfs_hash_get(const struct mount *mp, u_int hash, int flags,
933     struct thread *td, struct vnode **vpp, vfs_hash_cmp_t *fn, void *arg);
934 u_int vfs_hash_index(struct vnode *vp);
935 int vfs_hash_insert(struct vnode *vp, u_int hash, int flags, struct thread *td,
936     struct vnode **vpp, vfs_hash_cmp_t *fn, void *arg);
937 void vfs_hash_ref(const struct mount *mp, u_int hash, struct thread *td,
938     struct vnode **vpp, vfs_hash_cmp_t *fn, void *arg);
939 void vfs_hash_rehash(struct vnode *vp, u_int hash);
940 void vfs_hash_remove(struct vnode *vp);
941
942 int vfs_kqfilter(struct vop_kqfilter_args *);
943 struct dirent;
944 int vfs_read_dirent(struct vop_readdir_args *ap, struct dirent *dp, off_t off);
945 int vfs_emptydir(struct vnode *vp);
946
947 int vfs_unixify_accmode(accmode_t *accmode);
948
949 void vfs_unp_reclaim(struct vnode *vp);
950
951 int setfmode(struct thread *td, struct ucred *cred, struct vnode *vp, int mode);
952 int setfown(struct thread *td, struct ucred *cred, struct vnode *vp, uid_t uid,
953     gid_t gid);
954 int vn_chmod(struct file *fp, mode_t mode, struct ucred *active_cred,
955     struct thread *td);
956 int vn_chown(struct file *fp, uid_t uid, gid_t gid, struct ucred *active_cred,
957     struct thread *td);
958
959 void vn_fsid(struct vnode *vp, struct vattr *va);
960
961 int vn_dir_check_exec(struct vnode *vp, struct componentname *cnp);
962
963 #define VOP_UNLOCK_FLAGS(vp, flags)     ({                              \
964         struct vnode *_vp = (vp);                                       \
965         int _flags = (flags);                                           \
966         int _error;                                                     \
967                                                                         \
968         if ((_flags & ~(LK_INTERLOCK | LK_RELEASE)) != 0)               \
969                 panic("%s: unsupported flags %x\n", __func__, flags);   \
970         _error = VOP_UNLOCK(_vp);                                       \
971         if (_flags & LK_INTERLOCK)                                      \
972                 VI_UNLOCK(_vp);                                         \
973         _error;                                                         \
974 })
975
976 #include <sys/kernel.h>
977
978 #define VFS_VOP_VECTOR_REGISTER(vnodeops) \
979         SYSINIT(vfs_vector_##vnodeops##_f, SI_SUB_VFS, SI_ORDER_ANY, \
980             vfs_vector_op_register, &vnodeops)
981
982 #define VFS_SMR_DECLARE                         \
983         extern smr_t vfs_smr
984
985 #define VFS_SMR()       vfs_smr
986 #define vfs_smr_enter() smr_enter(VFS_SMR())
987 #define vfs_smr_exit()  smr_exit(VFS_SMR())
988 #define VFS_SMR_ASSERT_ENTERED()        SMR_ASSERT_ENTERED(VFS_SMR())
989 #define VFS_SMR_ASSERT_NOT_ENTERED()    SMR_ASSERT_NOT_ENTERED(VFS_SMR())
990 #define VFS_SMR_ZONE_SET(zone)  uma_zone_set_smr((zone), VFS_SMR())
991
992 #endif /* _KERNEL */
993
994 #endif /* !_SYS_VNODE_H_ */