sys/fs/nfsserver/nfs_nfsdport.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1989, 1993
   5  *      The Regents of the University of California.  All rights reserved.
   6  *
   7  * This code is derived from software contributed to Berkeley by
   8  * Rick Macklem at The University of Guelph.
   9  *
  10  * Redistribution and use in source and binary forms, with or without
  11  * modification, are permitted provided that the following conditions
  12  * are met:
  13  * 1. Redistributions of source code must retain the above copyright
  14  *    notice, this list of conditions and the following disclaimer.
  15  * 2. Redistributions in binary form must reproduce the above copyright
  16  *    notice, this list of conditions and the following disclaimer in the
  17  *    documentation and/or other materials provided with the distribution.
  18  * 3. Neither the name of the University nor the names of its contributors
  19  *    may be used to endorse or promote products derived from this software
  20  *    without specific prior written permission.
  21  *
  22  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  23  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  24  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  25  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  26  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  27  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  28  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  29  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  30  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  31  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  *
  34  */
  35
  36 #include <sys/cdefs.h>
  37 __FBSDID("$FreeBSD$");
  38
  39 #include <sys/capsicum.h>
  40 #include <sys/extattr.h>
  41
  42 /*
  43  * Functions that perform the vfs operations required by the routines in
  44  * nfsd_serv.c. It is hoped that this change will make the server more
  45  * portable.
  46  */
  47
  48 #include <fs/nfs/nfsport.h>
  49 #include <security/mac/mac_framework.h>
  50 #include <sys/filio.h>
  51 #include <sys/hash.h>
  52 #include <sys/sysctl.h>
  53 #include <nlm/nlm_prot.h>
  54 #include <nlm/nlm.h>
  55
  56 FEATURE(nfsd, "NFSv4 server");
  57
  58 extern u_int32_t newnfs_true, newnfs_false, newnfs_xdrneg1;
  59 extern int nfsrv_useacl;
  60 extern int newnfs_numnfsd;
  61 extern struct mount nfsv4root_mnt;
  62 extern struct nfsrv_stablefirst nfsrv_stablefirst;
  63 extern void (*nfsd_call_servertimer)(void);
  64 extern SVCPOOL  *nfsrvd_pool;
  65 extern struct nfsv4lock nfsd_suspend_lock;
  66 extern struct nfsclienthashhead *nfsclienthash;
  67 extern struct nfslockhashhead *nfslockhash;
  68 extern struct nfssessionhash *nfssessionhash;
  69 extern int nfsrv_sessionhashsize;
  70 extern struct nfsstatsv1 nfsstatsv1;
  71 extern struct nfslayouthash *nfslayouthash;
  72 extern int nfsrv_layouthashsize;
  73 extern struct mtx nfsrv_dslock_mtx;
  74 extern int nfs_pnfsiothreads;
  75 extern struct nfsdontlisthead nfsrv_dontlisthead;
  76 extern volatile int nfsrv_dontlistlen;
  77 extern volatile int nfsrv_devidcnt;
  78 extern int nfsrv_maxpnfsmirror;
  79 struct vfsoptlist nfsv4root_opt, nfsv4root_newopt;
  80 NFSDLOCKMUTEX;
  81 NFSSTATESPINLOCK;
  82 struct nfsrchash_bucket nfsrchash_table[NFSRVCACHE_HASHSIZE];
  83 struct nfsrchash_bucket nfsrcahash_table[NFSRVCACHE_HASHSIZE];
  84 struct mtx nfsrc_udpmtx;
  85 struct mtx nfs_v4root_mutex;
  86 struct mtx nfsrv_dontlistlock_mtx;
  87 struct mtx nfsrv_recalllock_mtx;
  88 struct nfsrvfh nfs_rootfh, nfs_pubfh;
  89 int nfs_pubfhset = 0, nfs_rootfhset = 0;
  90 struct proc *nfsd_master_proc = NULL;
  91 int nfsd_debuglevel = 0;
  92 static pid_t nfsd_master_pid = (pid_t)-1;
  93 static char nfsd_master_comm[MAXCOMLEN + 1];
  94 static struct timeval nfsd_master_start;
  95 static uint32_t nfsv4_sysid = 0;
  96 static fhandle_t zerofh;
  97
  98 static int nfssvc_srvcall(struct thread *, struct nfssvc_args *,
  99     struct ucred *);
 100
 101 int nfsrv_enable_crossmntpt = 1;
 102 static int nfs_commit_blks;
 103 static int nfs_commit_miss;
 104 extern int nfsrv_issuedelegs;
 105 extern int nfsrv_dolocallocks;
 106 extern int nfsd_enable_stringtouid;
 107 extern struct nfsdevicehead nfsrv_devidhead;
 108
 109 static int nfsrv_createiovec(int, struct mbuf **, struct mbuf **,
 110     struct iovec **);
 111 static int nfsrv_createiovecw(int, struct mbuf *, char *, struct iovec **,
 112     int *);
 113 static void nfsrv_pnfscreate(struct vnode *, struct vattr *, struct ucred *,
 114     NFSPROC_T *);
 115 static void nfsrv_pnfsremovesetup(struct vnode *, NFSPROC_T *, struct vnode **,
 116     int *, char *, fhandle_t *);
 117 static void nfsrv_pnfsremove(struct vnode **, int, char *, fhandle_t *,
 118     NFSPROC_T *);
 119 static int nfsrv_proxyds(struct vnode *, off_t, int, struct ucred *,
 120     struct thread *, int, struct mbuf **, char *, struct mbuf **,
 121     struct nfsvattr *, struct acl *, off_t *, int, bool *);
 122 static int nfsrv_setextattr(struct vnode *, struct nfsvattr *, NFSPROC_T *);
 123 static int nfsrv_readdsrpc(fhandle_t *, off_t, int, struct ucred *,
 124     NFSPROC_T *, struct nfsmount *, struct mbuf **, struct mbuf **);
 125 static int nfsrv_writedsrpc(fhandle_t *, off_t, int, struct ucred *,
 126     NFSPROC_T *, struct vnode *, struct nfsmount **, int, struct mbuf **,
 127     char *, int *);
 128 static int nfsrv_allocatedsrpc(fhandle_t *, off_t, off_t, struct ucred *,
 129     NFSPROC_T *, struct vnode *, struct nfsmount **, int, int *);
 130 static int nfsrv_setacldsrpc(fhandle_t *, struct ucred *, NFSPROC_T *,
 131     struct vnode *, struct nfsmount **, int, struct acl *, int *);
 132 static int nfsrv_setattrdsrpc(fhandle_t *, struct ucred *, NFSPROC_T *,
 133     struct vnode *, struct nfsmount **, int, struct nfsvattr *, int *);
 134 static int nfsrv_getattrdsrpc(fhandle_t *, struct ucred *, NFSPROC_T *,
 135     struct vnode *, struct nfsmount *, struct nfsvattr *);
 136 static int nfsrv_seekdsrpc(fhandle_t *, off_t *, int, bool *, struct ucred *,
 137     NFSPROC_T *, struct nfsmount *);
 138 static int nfsrv_putfhname(fhandle_t *, char *);
 139 static int nfsrv_pnfslookupds(struct vnode *, struct vnode *,
 140     struct pnfsdsfile *, struct vnode **, NFSPROC_T *);
 141 static void nfsrv_pnfssetfh(struct vnode *, struct pnfsdsfile *, char *, char *,
 142     struct vnode *, NFSPROC_T *);
 143 static int nfsrv_dsremove(struct vnode *, char *, struct ucred *, NFSPROC_T *);
 144 static int nfsrv_dssetacl(struct vnode *, struct acl *, struct ucred *,
 145     NFSPROC_T *);
 146 static int nfsrv_pnfsstatfs(struct statfs *, struct mount *);
 147
 148 int nfs_pnfsio(task_fn_t *, void *);
 149
 150 SYSCTL_NODE(_vfs, OID_AUTO, nfsd, CTLFLAG_RW | CTLFLAG_MPSAFE, 0,
 151     "NFS server");
 152 SYSCTL_INT(_vfs_nfsd, OID_AUTO, mirrormnt, CTLFLAG_RW,
 153     &nfsrv_enable_crossmntpt, 0, "Enable nfsd to cross mount points");
 154 SYSCTL_INT(_vfs_nfsd, OID_AUTO, commit_blks, CTLFLAG_RW, &nfs_commit_blks,
 155     0, "");
 156 SYSCTL_INT(_vfs_nfsd, OID_AUTO, commit_miss, CTLFLAG_RW, &nfs_commit_miss,
 157     0, "");
 158 SYSCTL_INT(_vfs_nfsd, OID_AUTO, issue_delegations, CTLFLAG_RW,
 159     &nfsrv_issuedelegs, 0, "Enable nfsd to issue delegations");
 160 SYSCTL_INT(_vfs_nfsd, OID_AUTO, enable_locallocks, CTLFLAG_RW,
 161     &nfsrv_dolocallocks, 0, "Enable nfsd to acquire local locks on files");
 162 SYSCTL_INT(_vfs_nfsd, OID_AUTO, debuglevel, CTLFLAG_RW, &nfsd_debuglevel,
 163     0, "Debug level for NFS server");
 164 SYSCTL_INT(_vfs_nfsd, OID_AUTO, enable_stringtouid, CTLFLAG_RW,
 165     &nfsd_enable_stringtouid, 0, "Enable nfsd to accept numeric owner_names");
 166 static int nfsrv_pnfsgetdsattr = 1;
 167 SYSCTL_INT(_vfs_nfsd, OID_AUTO, pnfsgetdsattr, CTLFLAG_RW,
 168     &nfsrv_pnfsgetdsattr, 0, "When set getattr gets DS attributes via RPC");
 169
 170 /*
 171  * nfsrv_dsdirsize can only be increased and only when the nfsd threads are
 172  * not running.
 173  * The dsN subdirectories for the increased values must have been created
 174  * on all DS servers before this increase is done.
 175  */
 176 u_int   nfsrv_dsdirsize = 20;
 177 static int
 178 sysctl_dsdirsize(SYSCTL_HANDLER_ARGS)
 179 {
 180         int error, newdsdirsize;
 181
 182         newdsdirsize = nfsrv_dsdirsize;
 183         error = sysctl_handle_int(oidp, &newdsdirsize, 0, req);
 184         if (error != 0 || req->newptr == NULL)
 185                 return (error);
 186         if (newdsdirsize <= nfsrv_dsdirsize || newdsdirsize > 10000 ||
 187             newnfs_numnfsd != 0)
 188                 return (EINVAL);
 189         nfsrv_dsdirsize = newdsdirsize;
 190         return (0);
 191 }
 192 SYSCTL_PROC(_vfs_nfsd, OID_AUTO, dsdirsize,
 193     CTLTYPE_UINT | CTLFLAG_MPSAFE | CTLFLAG_RW, 0, sizeof(nfsrv_dsdirsize),
 194     sysctl_dsdirsize, "IU", "Number of dsN subdirs on the DS servers");
 195
 196 #define MAX_REORDERED_RPC       16
 197 #define NUM_HEURISTIC           1031
 198 #define NHUSE_INIT              64
 199 #define NHUSE_INC               16
 200 #define NHUSE_MAX               2048
 201
 202 static struct nfsheur {
 203         struct vnode *nh_vp;    /* vp to match (unreferenced pointer) */
 204         off_t nh_nextoff;       /* next offset for sequential detection */
 205         int nh_use;             /* use count for selection */
 206         int nh_seqcount;        /* heuristic */
 207 } nfsheur[NUM_HEURISTIC];
 208
 209
 210 /*
 211  * Heuristic to detect sequential operation.
 212  */
 213 static struct nfsheur *
 214 nfsrv_sequential_heuristic(struct uio *uio, struct vnode *vp)
 215 {
 216         struct nfsheur *nh;
 217         int hi, try;
 218
 219         /* Locate best candidate. */
 220         try = 32;
 221         hi = ((int)(vm_offset_t)vp / sizeof(struct vnode)) % NUM_HEURISTIC;
 222         nh = &nfsheur[hi];
 223         while (try--) {
 224                 if (nfsheur[hi].nh_vp == vp) {
 225                         nh = &nfsheur[hi];
 226                         break;
 227                 }
 228                 if (nfsheur[hi].nh_use > 0)
 229                         --nfsheur[hi].nh_use;
 230                 hi = (hi + 1) % NUM_HEURISTIC;
 231                 if (nfsheur[hi].nh_use < nh->nh_use)
 232                         nh = &nfsheur[hi];
 233         }
 234
 235         /* Initialize hint if this is a new file. */
 236         if (nh->nh_vp != vp) {
 237                 nh->nh_vp = vp;
 238                 nh->nh_nextoff = uio->uio_offset;
 239                 nh->nh_use = NHUSE_INIT;
 240                 if (uio->uio_offset == 0)
 241                         nh->nh_seqcount = 4;
 242                 else
 243                         nh->nh_seqcount = 1;
 244         }
 245
 246         /* Calculate heuristic. */
 247         if ((uio->uio_offset == 0 && nh->nh_seqcount > 0) ||
 248             uio->uio_offset == nh->nh_nextoff) {
 249                 /* See comments in vfs_vnops.c:sequential_heuristic(). */
 250                 nh->nh_seqcount += howmany(uio->uio_resid, 16384);
 251                 if (nh->nh_seqcount > IO_SEQMAX)
 252                         nh->nh_seqcount = IO_SEQMAX;
 253         } else if (qabs(uio->uio_offset - nh->nh_nextoff) <= MAX_REORDERED_RPC *
 254             imax(vp->v_mount->mnt_stat.f_iosize, uio->uio_resid)) {
 255                 /* Probably a reordered RPC, leave seqcount alone. */
 256         } else if (nh->nh_seqcount > 1) {
 257                 nh->nh_seqcount /= 2;
 258         } else {
 259                 nh->nh_seqcount = 0;
 260         }
 261         nh->nh_use += NHUSE_INC;
 262         if (nh->nh_use > NHUSE_MAX)
 263                 nh->nh_use = NHUSE_MAX;
 264         return (nh);
 265 }
 266
 267 /*
 268  * Get attributes into nfsvattr structure.
 269  */
 270 int
 271 nfsvno_getattr(struct vnode *vp, struct nfsvattr *nvap,
 272     struct nfsrv_descript *nd, struct thread *p, int vpislocked,
 273     nfsattrbit_t *attrbitp)
 274 {
 275         int error, gotattr, lockedit = 0;
 276         struct nfsvattr na;
 277
 278         if (vpislocked == 0) {
 279                 /*
 280                  * When vpislocked == 0, the vnode is either exclusively
 281                  * locked by this thread or not locked by this thread.
 282                  * As such, shared lock it, if not exclusively locked.
 283                  */
 284                 if (NFSVOPISLOCKED(vp) != LK_EXCLUSIVE) {
 285                         lockedit = 1;
 286                         NFSVOPLOCK(vp, LK_SHARED | LK_RETRY);
 287                 }
 288         }
 289
 290         /*
 291          * Acquire the Change, Size, TimeAccess, TimeModify and SpaceUsed
 292          * attributes, as required.
 293          * This needs to be done for regular files if:
 294          * - non-NFSv4 RPCs or
 295          * - when attrbitp == NULL or
 296          * - an NFSv4 RPC with any of the above attributes in attrbitp.
 297          * A return of 0 for nfsrv_proxyds() indicates that it has acquired
 298          * these attributes.  nfsrv_proxyds() will return an error if the
 299          * server is not a pNFS one.
 300          */
 301         gotattr = 0;
 302         if (vp->v_type == VREG && nfsrv_devidcnt > 0 && (attrbitp == NULL ||
 303             (nd->nd_flag & ND_NFSV4) == 0 ||
 304             NFSISSET_ATTRBIT(attrbitp, NFSATTRBIT_CHANGE) ||
 305             NFSISSET_ATTRBIT(attrbitp, NFSATTRBIT_SIZE) ||
 306             NFSISSET_ATTRBIT(attrbitp, NFSATTRBIT_TIMEACCESS) ||
 307             NFSISSET_ATTRBIT(attrbitp, NFSATTRBIT_TIMEMODIFY) ||
 308             NFSISSET_ATTRBIT(attrbitp, NFSATTRBIT_SPACEUSED))) {
 309                 error = nfsrv_proxyds(vp, 0, 0, nd->nd_cred, p,
 310                     NFSPROC_GETATTR, NULL, NULL, NULL, &na, NULL, NULL, 0,
 311                     NULL);
 312                 if (error == 0)
 313                         gotattr = 1;
 314         }
 315
 316         error = VOP_GETATTR(vp, &nvap->na_vattr, nd->nd_cred);
 317         if (lockedit != 0)
 318                 NFSVOPUNLOCK(vp);
 319
 320         /*
 321          * If we got the Change, Size and Modify Time from the DS,
 322          * replace them.
 323          */
 324         if (gotattr != 0) {
 325                 nvap->na_atime = na.na_atime;
 326                 nvap->na_mtime = na.na_mtime;
 327                 nvap->na_filerev = na.na_filerev;
 328                 nvap->na_size = na.na_size;
 329                 nvap->na_bytes = na.na_bytes;
 330         }
 331         NFSD_DEBUG(4, "nfsvno_getattr: gotattr=%d err=%d chg=%ju\n", gotattr,
 332             error, (uintmax_t)na.na_filerev);
 333
 334         NFSEXITCODE(error);
 335         return (error);
 336 }
 337
 338 /*
 339  * Get a file handle for a vnode.
 340  */
 341 int
 342 nfsvno_getfh(struct vnode *vp, fhandle_t *fhp, struct thread *p)
 343 {
 344         int error;
 345
 346         NFSBZERO((caddr_t)fhp, sizeof(fhandle_t));
 347         fhp->fh_fsid = vp->v_mount->mnt_stat.f_fsid;
 348         error = VOP_VPTOFH(vp, &fhp->fh_fid);
 349
 350         NFSEXITCODE(error);
 351         return (error);
 352 }
 353
 354 /*
 355  * Perform access checking for vnodes obtained from file handles that would
 356  * refer to files already opened by a Unix client. You cannot just use
 357  * vn_writechk() and VOP_ACCESSX() for two reasons.
 358  * 1 - You must check for exported rdonly as well as MNT_RDONLY for the write
 359  *     case.
 360  * 2 - The owner is to be given access irrespective of mode bits for some
 361  *     operations, so that processes that chmod after opening a file don't
 362  *     break.
 363  */
 364 int
 365 nfsvno_accchk(struct vnode *vp, accmode_t accmode, struct ucred *cred,
 366     struct nfsexstuff *exp, struct thread *p, int override, int vpislocked,
 367     u_int32_t *supportedtypep)
 368 {
 369         struct vattr vattr;
 370         int error = 0, getret = 0;
 371
 372         if (vpislocked == 0) {
 373                 if (NFSVOPLOCK(vp, LK_SHARED) != 0) {
 374                         error = EPERM;
 375                         goto out;
 376                 }
 377         }
 378         if (accmode & VWRITE) {
 379                 /* Just vn_writechk() changed to check rdonly */
 380                 /*
 381                  * Disallow write attempts on read-only file systems;
 382                  * unless the file is a socket or a block or character
 383                  * device resident on the file system.
 384                  */
 385                 if (NFSVNO_EXRDONLY(exp) ||
 386                     (vp->v_mount->mnt_flag & MNT_RDONLY)) {
 387                         switch (vp->v_type) {
 388                         case VREG:
 389                         case VDIR:
 390                         case VLNK:
 391                                 error = EROFS;
 392                         default:
 393                                 break;
 394                         }
 395                 }
 396                 /*
 397                  * If there's shared text associated with
 398                  * the inode, try to free it up once.  If
 399                  * we fail, we can't allow writing.
 400                  */
 401                 if (VOP_IS_TEXT(vp) && error == 0)
 402                         error = ETXTBSY;
 403         }
 404         if (error != 0) {
 405                 if (vpislocked == 0)
 406                         NFSVOPUNLOCK(vp);
 407                 goto out;
 408         }
 409
 410         /*
 411          * Should the override still be applied when ACLs are enabled?
 412          */
 413         error = VOP_ACCESSX(vp, accmode, cred, p);
 414         if (error != 0 && (accmode & (VDELETE | VDELETE_CHILD))) {
 415                 /*
 416                  * Try again with VEXPLICIT_DENY, to see if the test for
 417                  * deletion is supported.
 418                  */
 419                 error = VOP_ACCESSX(vp, accmode | VEXPLICIT_DENY, cred, p);
 420                 if (error == 0) {
 421                         if (vp->v_type == VDIR) {
 422                                 accmode &= ~(VDELETE | VDELETE_CHILD);
 423                                 accmode |= VWRITE;
 424                                 error = VOP_ACCESSX(vp, accmode, cred, p);
 425                         } else if (supportedtypep != NULL) {
 426                                 *supportedtypep &= ~NFSACCESS_DELETE;
 427                         }
 428                 }
 429         }
 430
 431         /*
 432          * Allow certain operations for the owner (reads and writes
 433          * on files that are already open).
 434          */
 435         if (override != NFSACCCHK_NOOVERRIDE &&
 436             (error == EPERM || error == EACCES)) {
 437                 if (cred->cr_uid == 0 && (override & NFSACCCHK_ALLOWROOT))
 438                         error = 0;
 439                 else if (override & NFSACCCHK_ALLOWOWNER) {
 440                         getret = VOP_GETATTR(vp, &vattr, cred);
 441                         if (getret == 0 && cred->cr_uid == vattr.va_uid)
 442                                 error = 0;
 443                 }
 444         }
 445         if (vpislocked == 0)
 446                 NFSVOPUNLOCK(vp);
 447
 448 out:
 449         NFSEXITCODE(error);
 450         return (error);
 451 }
 452
 453 /*
 454  * Set attribute(s) vnop.
 455  */
 456 int
 457 nfsvno_setattr(struct vnode *vp, struct nfsvattr *nvap, struct ucred *cred,
 458     struct thread *p, struct nfsexstuff *exp)
 459 {
 460         u_quad_t savsize = 0;
 461         int error, savedit;
 462
 463         /*
 464          * If this is an exported file system and a pNFS service is running,
 465          * don't VOP_SETATTR() of size for the MDS file system.
 466          */
 467         savedit = 0;
 468         error = 0;
 469         if (vp->v_type == VREG && (vp->v_mount->mnt_flag & MNT_EXPORTED) != 0 &&
 470             nfsrv_devidcnt != 0 && nvap->na_vattr.va_size != VNOVAL &&
 471             nvap->na_vattr.va_size > 0) {
 472                 savsize = nvap->na_vattr.va_size;
 473                 nvap->na_vattr.va_size = VNOVAL;
 474                 if (nvap->na_vattr.va_uid != (uid_t)VNOVAL ||
 475                     nvap->na_vattr.va_gid != (gid_t)VNOVAL ||
 476                     nvap->na_vattr.va_mode != (mode_t)VNOVAL ||
 477                     nvap->na_vattr.va_atime.tv_sec != VNOVAL ||
 478                     nvap->na_vattr.va_mtime.tv_sec != VNOVAL)
 479                         savedit = 1;
 480                 else
 481                         savedit = 2;
 482         }
 483         if (savedit != 2)
 484                 error = VOP_SETATTR(vp, &nvap->na_vattr, cred);
 485         if (savedit != 0)
 486                 nvap->na_vattr.va_size = savsize;
 487         if (error == 0 && (nvap->na_vattr.va_uid != (uid_t)VNOVAL ||
 488             nvap->na_vattr.va_gid != (gid_t)VNOVAL ||
 489             nvap->na_vattr.va_size != VNOVAL ||
 490             nvap->na_vattr.va_mode != (mode_t)VNOVAL ||
 491             nvap->na_vattr.va_atime.tv_sec != VNOVAL ||
 492             nvap->na_vattr.va_mtime.tv_sec != VNOVAL)) {
 493                 /* For a pNFS server, set the attributes on the DS file. */
 494                 error = nfsrv_proxyds(vp, 0, 0, cred, p, NFSPROC_SETATTR,
 495                     NULL, NULL, NULL, nvap, NULL, NULL, 0, NULL);
 496                 if (error == ENOENT)
 497                         error = 0;
 498         }
 499         NFSEXITCODE(error);
 500         return (error);
 501 }
 502
 503 /*
 504  * Set up nameidata for a lookup() call and do it.
 505  */
 506 int
 507 nfsvno_namei(struct nfsrv_descript *nd, struct nameidata *ndp,
 508     struct vnode *dp, int islocked, struct nfsexstuff *exp, struct thread *p,
 509     struct vnode **retdirp)
 510 {
 511         struct componentname *cnp = &ndp->ni_cnd;
 512         int i;
 513         struct iovec aiov;
 514         struct uio auio;
 515         int lockleaf = (cnp->cn_flags & LOCKLEAF) != 0, linklen;
 516         int error = 0;
 517         char *cp;
 518
 519         *retdirp = NULL;
 520         cnp->cn_nameptr = cnp->cn_pnbuf;
 521         ndp->ni_lcf = 0;
 522         /*
 523          * Extract and set starting directory.
 524          */
 525         if (dp->v_type != VDIR) {
 526                 if (islocked)
 527                         vput(dp);
 528                 else
 529                         vrele(dp);
 530                 nfsvno_relpathbuf(ndp);
 531                 error = ENOTDIR;
 532                 goto out1;
 533         }
 534         if (islocked)
 535                 NFSVOPUNLOCK(dp);
 536         VREF(dp);
 537         *retdirp = dp;
 538         if (NFSVNO_EXRDONLY(exp))
 539                 cnp->cn_flags |= RDONLY;
 540         ndp->ni_segflg = UIO_SYSSPACE;
 541
 542         if (nd->nd_flag & ND_PUBLOOKUP) {
 543                 ndp->ni_loopcnt = 0;
 544                 if (cnp->cn_pnbuf[0] == '/') {
 545                         vrele(dp);
 546                         /*
 547                          * Check for degenerate pathnames here, since lookup()
 548                          * panics on them.
 549                          */
 550                         for (i = 1; i < ndp->ni_pathlen; i++)
 551                                 if (cnp->cn_pnbuf[i] != '/')
 552                                         break;
 553                         if (i == ndp->ni_pathlen) {
 554                                 error = NFSERR_ACCES;
 555                                 goto out;
 556                         }
 557                         dp = rootvnode;
 558                         VREF(dp);
 559                 }
 560         } else if ((nfsrv_enable_crossmntpt == 0 && NFSVNO_EXPORTED(exp)) ||
 561             (nd->nd_flag & ND_NFSV4) == 0) {
 562                 /*
 563                  * Only cross mount points for NFSv4 when doing a
 564                  * mount while traversing the file system above
 565                  * the mount point, unless nfsrv_enable_crossmntpt is set.
 566                  */
 567                 cnp->cn_flags |= NOCROSSMOUNT;
 568         }
 569
 570         /*
 571          * Initialize for scan, set ni_startdir and bump ref on dp again
 572          * because lookup() will dereference ni_startdir.
 573          */
 574
 575         cnp->cn_thread = p;
 576         ndp->ni_startdir = dp;
 577         ndp->ni_rootdir = rootvnode;
 578         ndp->ni_topdir = NULL;
 579
 580         if (!lockleaf)
 581                 cnp->cn_flags |= LOCKLEAF;
 582         for (;;) {
 583                 cnp->cn_nameptr = cnp->cn_pnbuf;
 584                 /*
 585                  * Call lookup() to do the real work.  If an error occurs,
 586                  * ndp->ni_vp and ni_dvp are left uninitialized or NULL and
 587                  * we do not have to dereference anything before returning.
 588                  * In either case ni_startdir will be dereferenced and NULLed
 589                  * out.
 590                  */
 591                 error = lookup(ndp);
 592                 if (error)
 593                         break;
 594
 595                 /*
 596                  * Check for encountering a symbolic link.  Trivial
 597                  * termination occurs if no symlink encountered.
 598                  */
 599                 if ((cnp->cn_flags & ISSYMLINK) == 0) {
 600                         if ((cnp->cn_flags & (SAVENAME | SAVESTART)) == 0)
 601                                 nfsvno_relpathbuf(ndp);
 602                         if (ndp->ni_vp && !lockleaf)
 603                                 NFSVOPUNLOCK(ndp->ni_vp);
 604                         break;
 605                 }
 606
 607                 /*
 608                  * Validate symlink
 609                  */
 610                 if ((cnp->cn_flags & LOCKPARENT) && ndp->ni_pathlen == 1)
 611                         NFSVOPUNLOCK(ndp->ni_dvp);
 612                 if (!(nd->nd_flag & ND_PUBLOOKUP)) {
 613                         error = EINVAL;
 614                         goto badlink2;
 615                 }
 616
 617                 if (ndp->ni_loopcnt++ >= MAXSYMLINKS) {
 618                         error = ELOOP;
 619                         goto badlink2;
 620                 }
 621                 if (ndp->ni_pathlen > 1)
 622                         cp = uma_zalloc(namei_zone, M_WAITOK);
 623                 else
 624                         cp = cnp->cn_pnbuf;
 625                 aiov.iov_base = cp;
 626                 aiov.iov_len = MAXPATHLEN;
 627                 auio.uio_iov = &aiov;
 628                 auio.uio_iovcnt = 1;
 629                 auio.uio_offset = 0;
 630                 auio.uio_rw = UIO_READ;
 631                 auio.uio_segflg = UIO_SYSSPACE;
 632                 auio.uio_td = NULL;
 633                 auio.uio_resid = MAXPATHLEN;
 634                 error = VOP_READLINK(ndp->ni_vp, &auio, cnp->cn_cred);
 635                 if (error) {
 636                 badlink1:
 637                         if (ndp->ni_pathlen > 1)
 638                                 uma_zfree(namei_zone, cp);
 639                 badlink2:
 640                         vrele(ndp->ni_dvp);
 641                         vput(ndp->ni_vp);
 642                         break;
 643                 }
 644                 linklen = MAXPATHLEN - auio.uio_resid;
 645                 if (linklen == 0) {
 646                         error = ENOENT;
 647                         goto badlink1;
 648                 }
 649                 if (linklen + ndp->ni_pathlen >= MAXPATHLEN) {
 650                         error = ENAMETOOLONG;
 651                         goto badlink1;
 652                 }
 653
 654                 /*
 655                  * Adjust or replace path
 656                  */
 657                 if (ndp->ni_pathlen > 1) {
 658                         NFSBCOPY(ndp->ni_next, cp + linklen, ndp->ni_pathlen);
 659                         uma_zfree(namei_zone, cnp->cn_pnbuf);
 660                         cnp->cn_pnbuf = cp;
 661                 } else
 662                         cnp->cn_pnbuf[linklen] = '\0';
 663                 ndp->ni_pathlen += linklen;
 664
 665                 /*
 666                  * Cleanup refs for next loop and check if root directory
 667                  * should replace current directory.  Normally ni_dvp
 668                  * becomes the new base directory and is cleaned up when
 669                  * we loop.  Explicitly null pointers after invalidation
 670                  * to clarify operation.
 671                  */
 672                 vput(ndp->ni_vp);
 673                 ndp->ni_vp = NULL;
 674
 675                 if (cnp->cn_pnbuf[0] == '/') {
 676                         vrele(ndp->ni_dvp);
 677                         ndp->ni_dvp = ndp->ni_rootdir;
 678                         VREF(ndp->ni_dvp);
 679                 }
 680                 ndp->ni_startdir = ndp->ni_dvp;
 681                 ndp->ni_dvp = NULL;
 682         }
 683         if (!lockleaf)
 684                 cnp->cn_flags &= ~LOCKLEAF;
 685
 686 out:
 687         if (error) {
 688                 nfsvno_relpathbuf(ndp);
 689                 ndp->ni_vp = NULL;
 690                 ndp->ni_dvp = NULL;
 691                 ndp->ni_startdir = NULL;
 692         } else if ((ndp->ni_cnd.cn_flags & (WANTPARENT|LOCKPARENT)) == 0) {
 693                 ndp->ni_dvp = NULL;
 694         }
 695
 696 out1:
 697         NFSEXITCODE2(error, nd);
 698         return (error);
 699 }
 700
 701 /*
 702  * Set up a pathname buffer and return a pointer to it and, optionally
 703  * set a hash pointer.
 704  */
 705 void
 706 nfsvno_setpathbuf(struct nameidata *ndp, char **bufpp, u_long **hashpp)
 707 {
 708         struct componentname *cnp = &ndp->ni_cnd;
 709
 710         cnp->cn_flags |= (NOMACCHECK | HASBUF);
 711         cnp->cn_pnbuf = uma_zalloc(namei_zone, M_WAITOK);
 712         if (hashpp != NULL)
 713                 *hashpp = NULL;
 714         *bufpp = cnp->cn_pnbuf;
 715 }
 716
 717 /*
 718  * Release the above path buffer, if not released by nfsvno_namei().
 719  */
 720 void
 721 nfsvno_relpathbuf(struct nameidata *ndp)
 722 {
 723
 724         if ((ndp->ni_cnd.cn_flags & HASBUF) == 0)
 725                 panic("nfsrelpath");
 726         uma_zfree(namei_zone, ndp->ni_cnd.cn_pnbuf);
 727         ndp->ni_cnd.cn_flags &= ~HASBUF;
 728 }
 729
 730 /*
 731  * Readlink vnode op into an mbuf list.
 732  */
 733 int
 734 nfsvno_readlink(struct vnode *vp, struct ucred *cred, struct thread *p,
 735     struct mbuf **mpp, struct mbuf **mpendp, int *lenp)
 736 {
 737         struct iovec *iv;
 738         struct uio io, *uiop = &io;
 739         struct mbuf *mp, *mp3;
 740         int len, tlen, error = 0;
 741
 742         len = NFS_MAXPATHLEN;
 743         uiop->uio_iovcnt = nfsrv_createiovec(len, &mp3, &mp, &iv);
 744         uiop->uio_iov = iv;
 745         uiop->uio_offset = 0;
 746         uiop->uio_resid = len;
 747         uiop->uio_rw = UIO_READ;
 748         uiop->uio_segflg = UIO_SYSSPACE;
 749         uiop->uio_td = NULL;
 750         error = VOP_READLINK(vp, uiop, cred);
 751         free(iv, M_TEMP);
 752         if (error) {
 753                 m_freem(mp3);
 754                 *lenp = 0;
 755                 goto out;
 756         }
 757         if (uiop->uio_resid > 0) {
 758                 len -= uiop->uio_resid;
 759                 tlen = NFSM_RNDUP(len);
 760                 nfsrv_adj(mp3, NFS_MAXPATHLEN - tlen, tlen - len);
 761         }
 762         *lenp = len;
 763         *mpp = mp3;
 764         *mpendp = mp;
 765
 766 out:
 767         NFSEXITCODE(error);
 768         return (error);
 769 }
 770
 771 /*
 772  * Create an mbuf chain and an associated iovec that can be used to Read
 773  * or Getextattr of data.
 774  * Upon success, return pointers to the first and last mbufs in the chain
 775  * plus the malloc'd iovec and its iovlen.
 776  */
 777 static int
 778 nfsrv_createiovec(int len, struct mbuf **mpp, struct mbuf **mpendp,
 779     struct iovec **ivp)
 780 {
 781         struct mbuf *m, *m2 = NULL, *m3;
 782         struct iovec *iv;
 783         int i, left, siz;
 784
 785         left = len;
 786         m3 = NULL;
 787         /*
 788          * Generate the mbuf list with the uio_iov ref. to it.
 789          */
 790         i = 0;
 791         while (left > 0) {
 792                 NFSMGET(m);
 793                 MCLGET(m, M_WAITOK);
 794                 m->m_len = 0;
 795                 siz = min(M_TRAILINGSPACE(m), left);
 796                 left -= siz;
 797                 i++;
 798                 if (m3)
 799                         m2->m_next = m;
 800                 else
 801                         m3 = m;
 802                 m2 = m;
 803         }
 804         *ivp = iv = malloc(i * sizeof (struct iovec), M_TEMP, M_WAITOK);
 805         m = m3;
 806         left = len;
 807         i = 0;
 808         while (left > 0) {
 809                 if (m == NULL)
 810                         panic("nfsvno_read iov");
 811                 siz = min(M_TRAILINGSPACE(m), left);
 812                 if (siz > 0) {
 813                         iv->iov_base = mtod(m, caddr_t) + m->m_len;
 814                         iv->iov_len = siz;
 815                         m->m_len += siz;
 816                         left -= siz;
 817                         iv++;
 818                         i++;
 819                 }
 820                 m = m->m_next;
 821         }
 822         *mpp = m3;
 823         *mpendp = m2;
 824         return (i);
 825 }
 826
 827 /*
 828  * Read vnode op call into mbuf list.
 829  */
 830 int
 831 nfsvno_read(struct vnode *vp, off_t off, int cnt, struct ucred *cred,
 832     struct thread *p, struct mbuf **mpp, struct mbuf **mpendp)
 833 {
 834         struct mbuf *m;
 835         struct iovec *iv;
 836         int error = 0, len, tlen, ioflag = 0;
 837         struct mbuf *m3;
 838         struct uio io, *uiop = &io;
 839         struct nfsheur *nh;
 840
 841         /*
 842          * Attempt to read from a DS file. A return of ENOENT implies
 843          * there is no DS file to read.
 844          */
 845         error = nfsrv_proxyds(vp, off, cnt, cred, p, NFSPROC_READDS, mpp,
 846             NULL, mpendp, NULL, NULL, NULL, 0, NULL);
 847         if (error != ENOENT)
 848                 return (error);
 849
 850         len = NFSM_RNDUP(cnt);
 851         uiop->uio_iovcnt = nfsrv_createiovec(len, &m3, &m, &iv);
 852         uiop->uio_iov = iv;
 853         uiop->uio_offset = off;
 854         uiop->uio_resid = len;
 855         uiop->uio_rw = UIO_READ;
 856         uiop->uio_segflg = UIO_SYSSPACE;
 857         uiop->uio_td = NULL;
 858         nh = nfsrv_sequential_heuristic(uiop, vp);
 859         ioflag |= nh->nh_seqcount << IO_SEQSHIFT;
 860         /* XXX KDM make this more systematic? */
 861         nfsstatsv1.srvbytes[NFSV4OP_READ] += uiop->uio_resid;
 862         error = VOP_READ(vp, uiop, IO_NODELOCKED | ioflag, cred);
 863         free(iv, M_TEMP);
 864         if (error) {
 865                 m_freem(m3);
 866                 *mpp = NULL;
 867                 goto out;
 868         }
 869         nh->nh_nextoff = uiop->uio_offset;
 870         tlen = len - uiop->uio_resid;
 871         cnt = cnt < tlen ? cnt : tlen;
 872         tlen = NFSM_RNDUP(cnt);
 873         if (tlen == 0) {
 874                 m_freem(m3);
 875                 m3 = NULL;
 876         } else if (len != tlen || tlen != cnt)
 877                 nfsrv_adj(m3, len - tlen, tlen - cnt);
 878         *mpp = m3;
 879         *mpendp = m;
 880
 881 out:
 882         NFSEXITCODE(error);
 883         return (error);
 884 }
 885
 886 /*
 887  * Create the iovec for the mbuf chain passed in as an argument.
 888  * The "cp" argument is where the data starts within the first mbuf in
 889  * the chain. It returns the iovec and the iovcnt.
 890  */
 891 static int
 892 nfsrv_createiovecw(int retlen, struct mbuf *m, char *cp, struct iovec **ivpp,
 893     int *iovcntp)
 894 {
 895         struct mbuf *mp;
 896         struct iovec *ivp;
 897         int cnt, i, len;
 898
 899         /*
 900          * Loop through the mbuf chain, counting how many mbufs are a
 901          * part of this write operation, so the iovec size is known.
 902          */
 903         cnt = 0;
 904         len = retlen;
 905         mp = m;
 906         i = mtod(mp, caddr_t) + mp->m_len - cp;
 907         while (len > 0) {
 908                 if (i > 0) {
 909                         len -= i;
 910                         cnt++;
 911                 }
 912                 mp = mp->m_next;
 913                 if (!mp) {
 914                         if (len > 0)
 915                                 return (EBADRPC);
 916                 } else
 917                         i = mp->m_len;
 918         }
 919
 920         /* Now, create the iovec. */
 921         mp = m;
 922         *ivpp = ivp = malloc(cnt * sizeof (struct iovec), M_TEMP,
 923             M_WAITOK);
 924         *iovcntp = cnt;
 925         i = mtod(mp, caddr_t) + mp->m_len - cp;
 926         len = retlen;
 927         while (len > 0) {
 928                 if (mp == NULL)
 929                         panic("nfsvno_write");
 930                 if (i > 0) {
 931                         i = min(i, len);
 932                         ivp->iov_base = cp;
 933                         ivp->iov_len = i;
 934                         ivp++;
 935                         len -= i;
 936                 }
 937                 mp = mp->m_next;
 938                 if (mp) {
 939                         i = mp->m_len;
 940                         cp = mtod(mp, caddr_t);
 941                 }
 942         }
 943         return (0);
 944 }
 945
 946 /*
 947  * Write vnode op from an mbuf list.
 948  */
 949 int
 950 nfsvno_write(struct vnode *vp, off_t off, int retlen, int *stable,
 951     struct mbuf *mp, char *cp, struct ucred *cred, struct thread *p)
 952 {
 953         struct iovec *iv;
 954         int cnt, ioflags, error;
 955         struct uio io, *uiop = &io;
 956         struct nfsheur *nh;
 957
 958         /*
 959          * Attempt to write to a DS file. A return of ENOENT implies
 960          * there is no DS file to write.
 961          */
 962         error = nfsrv_proxyds(vp, off, retlen, cred, p, NFSPROC_WRITEDS,
 963             &mp, cp, NULL, NULL, NULL, NULL, 0, NULL);
 964         if (error != ENOENT) {
 965                 *stable = NFSWRITE_FILESYNC;
 966                 return (error);
 967         }
 968
 969
 970         if (*stable == NFSWRITE_UNSTABLE)
 971                 ioflags = IO_NODELOCKED;
 972         else
 973                 ioflags = (IO_SYNC | IO_NODELOCKED);
 974         error = nfsrv_createiovecw(retlen, mp, cp, &iv, &cnt);
 975         if (error != 0)
 976                 return (error);
 977         uiop->uio_iov = iv;
 978         uiop->uio_iovcnt = cnt;
 979         uiop->uio_resid = retlen;
 980         uiop->uio_rw = UIO_WRITE;
 981         uiop->uio_segflg = UIO_SYSSPACE;
 982         NFSUIOPROC(uiop, p);
 983         uiop->uio_offset = off;
 984         nh = nfsrv_sequential_heuristic(uiop, vp);
 985         ioflags |= nh->nh_seqcount << IO_SEQSHIFT;
 986         /* XXX KDM make this more systematic? */
 987         nfsstatsv1.srvbytes[NFSV4OP_WRITE] += uiop->uio_resid;
 988         error = VOP_WRITE(vp, uiop, ioflags, cred);
 989         if (error == 0)
 990                 nh->nh_nextoff = uiop->uio_offset;
 991         free(iv, M_TEMP);
 992
 993         NFSEXITCODE(error);
 994         return (error);
 995 }
 996
 997 /*
 998  * Common code for creating a regular file (plus special files for V2).
 999  */
1000 int
1001 nfsvno_createsub(struct nfsrv_descript *nd, struct nameidata *ndp,
1002     struct vnode **vpp, struct nfsvattr *nvap, int *exclusive_flagp,
1003     int32_t *cverf, NFSDEV_T rdev, struct nfsexstuff *exp)
1004 {
1005         u_quad_t tempsize;
1006         int error;
1007         struct thread *p = curthread;
1008
1009         error = nd->nd_repstat;
1010         if (!error && ndp->ni_vp == NULL) {
1011                 if (nvap->na_type == VREG || nvap->na_type == VSOCK) {
1012                         vrele(ndp->ni_startdir);
1013                         error = VOP_CREATE(ndp->ni_dvp,
1014                             &ndp->ni_vp, &ndp->ni_cnd, &nvap->na_vattr);
1015                         /* For a pNFS server, create the data file on a DS. */
1016                         if (error == 0 && nvap->na_type == VREG) {
1017                                 /*
1018                                  * Create a data file on a DS for a pNFS server.
1019                                  * This function just returns if not
1020                                  * running a pNFS DS or the creation fails.
1021                                  */
1022                                 nfsrv_pnfscreate(ndp->ni_vp, &nvap->na_vattr,
1023                                     nd->nd_cred, p);
1024                         }
1025                         vput(ndp->ni_dvp);
1026                         nfsvno_relpathbuf(ndp);
1027                         if (!error) {
1028                                 if (*exclusive_flagp) {
1029                                         *exclusive_flagp = 0;
1030                                         NFSVNO_ATTRINIT(nvap);
1031                                         nvap->na_atime.tv_sec = cverf[0];
1032                                         nvap->na_atime.tv_nsec = cverf[1];
1033                                         error = VOP_SETATTR(ndp->ni_vp,
1034                                             &nvap->na_vattr, nd->nd_cred);
1035                                         if (error != 0) {
1036                                                 vput(ndp->ni_vp);
1037                                                 ndp->ni_vp = NULL;
1038                                                 error = NFSERR_NOTSUPP;
1039                                         }
1040                                 }
1041                         }
1042                 /*
1043                  * NFS V2 Only. nfsrvd_mknod() does this for V3.
1044                  * (This implies, just get out on an error.)
1045                  */
1046                 } else if (nvap->na_type == VCHR || nvap->na_type == VBLK ||
1047                         nvap->na_type == VFIFO) {
1048                         if (nvap->na_type == VCHR && rdev == 0xffffffff)
1049                                 nvap->na_type = VFIFO;
1050                         if (nvap->na_type != VFIFO &&
1051                             (error = priv_check_cred(nd->nd_cred, PRIV_VFS_MKNOD_DEV))) {
1052                                 vrele(ndp->ni_startdir);
1053                                 nfsvno_relpathbuf(ndp);
1054                                 vput(ndp->ni_dvp);
1055                                 goto out;
1056                         }
1057                         nvap->na_rdev = rdev;
1058                         error = VOP_MKNOD(ndp->ni_dvp, &ndp->ni_vp,
1059                             &ndp->ni_cnd, &nvap->na_vattr);
1060                         vput(ndp->ni_dvp);
1061                         nfsvno_relpathbuf(ndp);
1062                         vrele(ndp->ni_startdir);
1063                         if (error)
1064                                 goto out;
1065                 } else {
1066                         vrele(ndp->ni_startdir);
1067                         nfsvno_relpathbuf(ndp);
1068                         vput(ndp->ni_dvp);
1069                         error = ENXIO;
1070                         goto out;
1071                 }
1072                 *vpp = ndp->ni_vp;
1073         } else {
1074                 /*
1075                  * Handle cases where error is already set and/or
1076                  * the file exists.
1077                  * 1 - clean up the lookup
1078                  * 2 - iff !error and na_size set, truncate it
1079                  */
1080                 vrele(ndp->ni_startdir);
1081                 nfsvno_relpathbuf(ndp);
1082                 *vpp = ndp->ni_vp;
1083                 if (ndp->ni_dvp == *vpp)
1084                         vrele(ndp->ni_dvp);
1085                 else
1086                         vput(ndp->ni_dvp);
1087                 if (!error && nvap->na_size != VNOVAL) {
1088                         error = nfsvno_accchk(*vpp, VWRITE,
1089                             nd->nd_cred, exp, p, NFSACCCHK_NOOVERRIDE,
1090                             NFSACCCHK_VPISLOCKED, NULL);
1091                         if (!error) {
1092                                 tempsize = nvap->na_size;
1093                                 NFSVNO_ATTRINIT(nvap);
1094                                 nvap->na_size = tempsize;
1095                                 error = VOP_SETATTR(*vpp,
1096                                     &nvap->na_vattr, nd->nd_cred);
1097                         }
1098                 }
1099                 if (error)
1100                         vput(*vpp);
1101         }
1102
1103 out:
1104         NFSEXITCODE(error);
1105         return (error);
1106 }
1107
1108 /*
1109  * Do a mknod vnode op.
1110  */
1111 int
1112 nfsvno_mknod(struct nameidata *ndp, struct nfsvattr *nvap, struct ucred *cred,
1113     struct thread *p)
1114 {
1115         int error = 0;
1116         enum vtype vtyp;
1117
1118         vtyp = nvap->na_type;
1119         /*
1120          * Iff doesn't exist, create it.
1121          */
1122         if (ndp->ni_vp) {
1123                 vrele(ndp->ni_startdir);
1124                 nfsvno_relpathbuf(ndp);
1125                 vput(ndp->ni_dvp);
1126                 vrele(ndp->ni_vp);
1127                 error = EEXIST;
1128                 goto out;
1129         }
1130         if (vtyp != VCHR && vtyp != VBLK && vtyp != VSOCK && vtyp != VFIFO) {
1131                 vrele(ndp->ni_startdir);
1132                 nfsvno_relpathbuf(ndp);
1133                 vput(ndp->ni_dvp);
1134                 error = NFSERR_BADTYPE;
1135                 goto out;
1136         }
1137         if (vtyp == VSOCK) {
1138                 vrele(ndp->ni_startdir);
1139                 error = VOP_CREATE(ndp->ni_dvp, &ndp->ni_vp,
1140                     &ndp->ni_cnd, &nvap->na_vattr);
1141                 vput(ndp->ni_dvp);
1142                 nfsvno_relpathbuf(ndp);
1143         } else {
1144                 if (nvap->na_type != VFIFO &&
1145                     (error = priv_check_cred(cred, PRIV_VFS_MKNOD_DEV))) {
1146                         vrele(ndp->ni_startdir);
1147                         nfsvno_relpathbuf(ndp);
1148                         vput(ndp->ni_dvp);
1149                         goto out;
1150                 }
1151                 error = VOP_MKNOD(ndp->ni_dvp, &ndp->ni_vp,
1152                     &ndp->ni_cnd, &nvap->na_vattr);
1153                 vput(ndp->ni_dvp);
1154                 nfsvno_relpathbuf(ndp);
1155                 vrele(ndp->ni_startdir);
1156                 /*
1157                  * Since VOP_MKNOD returns the ni_vp, I can't
1158                  * see any reason to do the lookup.
1159                  */
1160         }
1161
1162 out:
1163         NFSEXITCODE(error);
1164         return (error);
1165 }
1166
1167 /*
1168  * Mkdir vnode op.
1169  */
1170 int
1171 nfsvno_mkdir(struct nameidata *ndp, struct nfsvattr *nvap, uid_t saved_uid,
1172     struct ucred *cred, struct thread *p, struct nfsexstuff *exp)
1173 {
1174         int error = 0;
1175
1176         if (ndp->ni_vp != NULL) {
1177                 if (ndp->ni_dvp == ndp->ni_vp)
1178                         vrele(ndp->ni_dvp);
1179                 else
1180                         vput(ndp->ni_dvp);
1181                 vrele(ndp->ni_vp);
1182                 nfsvno_relpathbuf(ndp);
1183                 error = EEXIST;
1184                 goto out;
1185         }
1186         error = VOP_MKDIR(ndp->ni_dvp, &ndp->ni_vp, &ndp->ni_cnd,
1187             &nvap->na_vattr);
1188         vput(ndp->ni_dvp);
1189         nfsvno_relpathbuf(ndp);
1190
1191 out:
1192         NFSEXITCODE(error);
1193         return (error);
1194 }
1195
1196 /*
1197  * symlink vnode op.
1198  */
1199 int
1200 nfsvno_symlink(struct nameidata *ndp, struct nfsvattr *nvap, char *pathcp,
1201     int pathlen, int not_v2, uid_t saved_uid, struct ucred *cred, struct thread *p,
1202     struct nfsexstuff *exp)
1203 {
1204         int error = 0;
1205
1206         if (ndp->ni_vp) {
1207                 vrele(ndp->ni_startdir);
1208                 nfsvno_relpathbuf(ndp);
1209                 if (ndp->ni_dvp == ndp->ni_vp)
1210                         vrele(ndp->ni_dvp);
1211                 else
1212                         vput(ndp->ni_dvp);
1213                 vrele(ndp->ni_vp);
1214                 error = EEXIST;
1215                 goto out;
1216         }
1217
1218         error = VOP_SYMLINK(ndp->ni_dvp, &ndp->ni_vp, &ndp->ni_cnd,
1219             &nvap->na_vattr, pathcp);
1220         vput(ndp->ni_dvp);
1221         vrele(ndp->ni_startdir);
1222         nfsvno_relpathbuf(ndp);
1223         /*
1224          * Although FreeBSD still had the lookup code in
1225          * it for 7/current, there doesn't seem to be any
1226          * point, since VOP_SYMLINK() returns the ni_vp.
1227          * Just vput it for v2.
1228          */
1229         if (!not_v2 && !error)
1230                 vput(ndp->ni_vp);
1231
1232 out:
1233         NFSEXITCODE(error);
1234         return (error);
1235 }
1236
1237 /*
1238  * Parse symbolic link arguments.
1239  * This function has an ugly side effect. It will malloc() an area for
1240  * the symlink and set iov_base to point to it, only if it succeeds.
1241  * So, if it returns with uiop->uio_iov->iov_base != NULL, that must
1242  * be FREE'd later.
1243  */
1244 int
1245 nfsvno_getsymlink(struct nfsrv_descript *nd, struct nfsvattr *nvap,
1246     struct thread *p, char **pathcpp, int *lenp)
1247 {
1248         u_int32_t *tl;
1249         char *pathcp = NULL;
1250         int error = 0, len;
1251         struct nfsv2_sattr *sp;
1252
1253         *pathcpp = NULL;
1254         *lenp = 0;
1255         if ((nd->nd_flag & ND_NFSV3) &&
1256             (error = nfsrv_sattr(nd, NULL, nvap, NULL, NULL, p)))
1257                 goto nfsmout;
1258         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
1259         len = fxdr_unsigned(int, *tl);
1260         if (len > NFS_MAXPATHLEN || len <= 0) {
1261                 error = EBADRPC;
1262                 goto nfsmout;
1263         }
1264         pathcp = malloc(len + 1, M_TEMP, M_WAITOK);
1265         error = nfsrv_mtostr(nd, pathcp, len);
1266         if (error)
1267                 goto nfsmout;
1268         if (nd->nd_flag & ND_NFSV2) {
1269                 NFSM_DISSECT(sp, struct nfsv2_sattr *, NFSX_V2SATTR);
1270                 nvap->na_mode = fxdr_unsigned(u_int16_t, sp->sa_mode);
1271         }
1272         *pathcpp = pathcp;
1273         *lenp = len;
1274         NFSEXITCODE2(0, nd);
1275         return (0);
1276 nfsmout:
1277         if (pathcp)
1278                 free(pathcp, M_TEMP);
1279         NFSEXITCODE2(error, nd);
1280         return (error);
1281 }
1282
1283 /*
1284  * Remove a non-directory object.
1285  */
1286 int
1287 nfsvno_removesub(struct nameidata *ndp, int is_v4, struct ucred *cred,
1288     struct thread *p, struct nfsexstuff *exp)
1289 {
1290         struct vnode *vp, *dsdvp[NFSDEV_MAXMIRRORS];
1291         int error = 0, mirrorcnt;
1292         char fname[PNFS_FILENAME_LEN + 1];
1293         fhandle_t fh;
1294
1295         vp = ndp->ni_vp;
1296         dsdvp[0] = NULL;
1297         if (vp->v_type == VDIR)
1298                 error = NFSERR_ISDIR;
1299         else if (is_v4)
1300                 error = nfsrv_checkremove(vp, 1, NULL, (nfsquad_t)((u_quad_t)0),
1301                     p);
1302         if (error == 0)
1303                 nfsrv_pnfsremovesetup(vp, p, dsdvp, &mirrorcnt, fname, &fh);
1304         if (!error)
1305                 error = VOP_REMOVE(ndp->ni_dvp, vp, &ndp->ni_cnd);
1306         if (error == 0 && dsdvp[0] != NULL)
1307                 nfsrv_pnfsremove(dsdvp, mirrorcnt, fname, &fh, p);
1308         if (ndp->ni_dvp == vp)
1309                 vrele(ndp->ni_dvp);
1310         else
1311                 vput(ndp->ni_dvp);
1312         vput(vp);
1313         if ((ndp->ni_cnd.cn_flags & SAVENAME) != 0)
1314                 nfsvno_relpathbuf(ndp);
1315         NFSEXITCODE(error);
1316         return (error);
1317 }
1318
1319 /*
1320  * Remove a directory.
1321  */
1322 int
1323 nfsvno_rmdirsub(struct nameidata *ndp, int is_v4, struct ucred *cred,
1324     struct thread *p, struct nfsexstuff *exp)
1325 {
1326         struct vnode *vp;
1327         int error = 0;
1328
1329         vp = ndp->ni_vp;
1330         if (vp->v_type != VDIR) {
1331                 error = ENOTDIR;
1332                 goto out;
1333         }
1334         /*
1335          * No rmdir "." please.
1336          */
1337         if (ndp->ni_dvp == vp) {
1338                 error = EINVAL;
1339                 goto out;
1340         }
1341         /*
1342          * The root of a mounted filesystem cannot be deleted.
1343          */
1344         if (vp->v_vflag & VV_ROOT)
1345                 error = EBUSY;
1346 out:
1347         if (!error)
1348                 error = VOP_RMDIR(ndp->ni_dvp, vp, &ndp->ni_cnd);
1349         if (ndp->ni_dvp == vp)
1350                 vrele(ndp->ni_dvp);
1351         else
1352                 vput(ndp->ni_dvp);
1353         vput(vp);
1354         if ((ndp->ni_cnd.cn_flags & SAVENAME) != 0)
1355                 nfsvno_relpathbuf(ndp);
1356         NFSEXITCODE(error);
1357         return (error);
1358 }
1359
1360 /*
1361  * Rename vnode op.
1362  */
1363 int
1364 nfsvno_rename(struct nameidata *fromndp, struct nameidata *tondp,
1365     u_int32_t ndstat, u_int32_t ndflag, struct ucred *cred, struct thread *p)
1366 {
1367         struct vnode *fvp, *tvp, *tdvp, *dsdvp[NFSDEV_MAXMIRRORS];
1368         int error = 0, mirrorcnt;
1369         char fname[PNFS_FILENAME_LEN + 1];
1370         fhandle_t fh;
1371
1372         dsdvp[0] = NULL;
1373         fvp = fromndp->ni_vp;
1374         if (ndstat) {
1375                 vrele(fromndp->ni_dvp);
1376                 vrele(fvp);
1377                 error = ndstat;
1378                 goto out1;
1379         }
1380         tdvp = tondp->ni_dvp;
1381         tvp = tondp->ni_vp;
1382         if (tvp != NULL) {
1383                 if (fvp->v_type == VDIR && tvp->v_type != VDIR) {
1384                         error = (ndflag & ND_NFSV2) ? EISDIR : EEXIST;
1385                         goto out;
1386                 } else if (fvp->v_type != VDIR && tvp->v_type == VDIR) {
1387                         error = (ndflag & ND_NFSV2) ? ENOTDIR : EEXIST;
1388                         goto out;
1389                 }
1390                 if (tvp->v_type == VDIR && tvp->v_mountedhere) {
1391                         error = (ndflag & ND_NFSV2) ? ENOTEMPTY : EXDEV;
1392                         goto out;
1393                 }
1394
1395                 /*
1396                  * A rename to '.' or '..' results in a prematurely
1397                  * unlocked vnode on FreeBSD5, so I'm just going to fail that
1398                  * here.
1399                  */
1400                 if ((tondp->ni_cnd.cn_namelen == 1 &&
1401                      tondp->ni_cnd.cn_nameptr[0] == '.') ||
1402                     (tondp->ni_cnd.cn_namelen == 2 &&
1403                      tondp->ni_cnd.cn_nameptr[0] == '.' &&
1404                      tondp->ni_cnd.cn_nameptr[1] == '.')) {
1405                         error = EINVAL;
1406                         goto out;
1407                 }
1408         }
1409         if (fvp->v_type == VDIR && fvp->v_mountedhere) {
1410                 error = (ndflag & ND_NFSV2) ? ENOTEMPTY : EXDEV;
1411                 goto out;
1412         }
1413         if (fvp->v_mount != tdvp->v_mount) {
1414                 error = (ndflag & ND_NFSV2) ? ENOTEMPTY : EXDEV;
1415                 goto out;
1416         }
1417         if (fvp == tdvp) {
1418                 error = (ndflag & ND_NFSV2) ? ENOTEMPTY : EINVAL;
1419                 goto out;
1420         }
1421         if (fvp == tvp) {
1422                 /*
1423                  * If source and destination are the same, there is nothing to
1424                  * do. Set error to -1 to indicate this.
1425                  */
1426                 error = -1;
1427                 goto out;
1428         }
1429         if (ndflag & ND_NFSV4) {
1430                 if (NFSVOPLOCK(fvp, LK_EXCLUSIVE) == 0) {
1431                         error = nfsrv_checkremove(fvp, 0, NULL,
1432                             (nfsquad_t)((u_quad_t)0), p);
1433                         NFSVOPUNLOCK(fvp);
1434                 } else
1435                         error = EPERM;
1436                 if (tvp && !error)
1437                         error = nfsrv_checkremove(tvp, 1, NULL,
1438                             (nfsquad_t)((u_quad_t)0), p);
1439         } else {
1440                 /*
1441                  * For NFSv2 and NFSv3, try to get rid of the delegation, so
1442                  * that the NFSv4 client won't be confused by the rename.
1443                  * Since nfsd_recalldelegation() can only be called on an
1444                  * unlocked vnode at this point and fvp is the file that will
1445                  * still exist after the rename, just do fvp.
1446                  */
1447                 nfsd_recalldelegation(fvp, p);
1448         }
1449         if (error == 0 && tvp != NULL) {
1450                 nfsrv_pnfsremovesetup(tvp, p, dsdvp, &mirrorcnt, fname, &fh);
1451                 NFSD_DEBUG(4, "nfsvno_rename: pnfsremovesetup"
1452                     " dsdvp=%p\n", dsdvp[0]);
1453         }
1454 out:
1455         if (!error) {
1456                 error = VOP_RENAME(fromndp->ni_dvp, fromndp->ni_vp,
1457                     &fromndp->ni_cnd, tondp->ni_dvp, tondp->ni_vp,
1458                     &tondp->ni_cnd);
1459         } else {
1460                 if (tdvp == tvp)
1461                         vrele(tdvp);
1462                 else
1463                         vput(tdvp);
1464                 if (tvp)
1465                         vput(tvp);
1466                 vrele(fromndp->ni_dvp);
1467                 vrele(fvp);
1468                 if (error == -1)
1469                         error = 0;
1470         }
1471
1472         /*
1473          * If dsdvp[0] != NULL, it was set up by nfsrv_pnfsremovesetup() and
1474          * if the rename succeeded, the DS file for the tvp needs to be
1475          * removed.
1476          */
1477         if (error == 0 && dsdvp[0] != NULL) {
1478                 nfsrv_pnfsremove(dsdvp, mirrorcnt, fname, &fh, p);
1479                 NFSD_DEBUG(4, "nfsvno_rename: pnfsremove\n");
1480         }
1481
1482         vrele(tondp->ni_startdir);
1483         nfsvno_relpathbuf(tondp);
1484 out1:
1485         vrele(fromndp->ni_startdir);
1486         nfsvno_relpathbuf(fromndp);
1487         NFSEXITCODE(error);
1488         return (error);
1489 }
1490
1491 /*
1492  * Link vnode op.
1493  */
1494 int
1495 nfsvno_link(struct nameidata *ndp, struct vnode *vp, struct ucred *cred,
1496     struct thread *p, struct nfsexstuff *exp)
1497 {
1498         struct vnode *xp;
1499         int error = 0;
1500
1501         xp = ndp->ni_vp;
1502         if (xp != NULL) {
1503                 error = EEXIST;
1504         } else {
1505                 xp = ndp->ni_dvp;
1506                 if (vp->v_mount != xp->v_mount)
1507                         error = EXDEV;
1508         }
1509         if (!error) {
1510                 NFSVOPLOCK(vp, LK_EXCLUSIVE | LK_RETRY);
1511                 if (!VN_IS_DOOMED(vp))
1512                         error = VOP_LINK(ndp->ni_dvp, vp, &ndp->ni_cnd);
1513                 else
1514                         error = EPERM;
1515                 if (ndp->ni_dvp == vp)
1516                         vrele(ndp->ni_dvp);
1517                 else
1518                         vput(ndp->ni_dvp);
1519                 NFSVOPUNLOCK(vp);
1520         } else {
1521                 if (ndp->ni_dvp == ndp->ni_vp)
1522                         vrele(ndp->ni_dvp);
1523                 else
1524                         vput(ndp->ni_dvp);
1525                 if (ndp->ni_vp)
1526                         vrele(ndp->ni_vp);
1527         }
1528         nfsvno_relpathbuf(ndp);
1529         NFSEXITCODE(error);
1530         return (error);
1531 }
1532
1533 /*
1534  * Do the fsync() appropriate for the commit.
1535  */
1536 int
1537 nfsvno_fsync(struct vnode *vp, u_int64_t off, int cnt, struct ucred *cred,
1538     struct thread *td)
1539 {
1540         int error = 0;
1541
1542         /*
1543          * RFC 1813 3.3.21: if count is 0, a flush from offset to the end of
1544          * file is done.  At this time VOP_FSYNC does not accept offset and
1545          * byte count parameters so call VOP_FSYNC the whole file for now.
1546          * The same is true for NFSv4: RFC 3530 Sec. 14.2.3.
1547          * File systems that do not use the buffer cache (as indicated
1548          * by MNTK_USES_BCACHE not being set) must use VOP_FSYNC().
1549          */
1550         if (cnt == 0 || cnt > MAX_COMMIT_COUNT ||
1551             (vp->v_mount->mnt_kern_flag & MNTK_USES_BCACHE) == 0) {
1552                 /*
1553                  * Give up and do the whole thing
1554                  */
1555                 if (vp->v_object && vm_object_mightbedirty(vp->v_object)) {
1556                         VM_OBJECT_WLOCK(vp->v_object);
1557                         vm_object_page_clean(vp->v_object, 0, 0, OBJPC_SYNC);
1558                         VM_OBJECT_WUNLOCK(vp->v_object);
1559                 }
1560                 error = VOP_FSYNC(vp, MNT_WAIT, td);
1561         } else {
1562                 /*
1563                  * Locate and synchronously write any buffers that fall
1564                  * into the requested range.  Note:  we are assuming that
1565                  * f_iosize is a power of 2.
1566                  */
1567                 int iosize = vp->v_mount->mnt_stat.f_iosize;
1568                 int iomask = iosize - 1;
1569                 struct bufobj *bo;
1570                 daddr_t lblkno;
1571
1572                 /*
1573                  * Align to iosize boundary, super-align to page boundary.
1574                  */
1575                 if (off & iomask) {
1576                         cnt += off & iomask;
1577                         off &= ~(u_quad_t)iomask;
1578                 }
1579                 if (off & PAGE_MASK) {
1580                         cnt += off & PAGE_MASK;
1581                         off &= ~(u_quad_t)PAGE_MASK;
1582                 }
1583                 lblkno = off / iosize;
1584
1585                 if (vp->v_object && vm_object_mightbedirty(vp->v_object)) {
1586                         VM_OBJECT_WLOCK(vp->v_object);
1587                         vm_object_page_clean(vp->v_object, off, off + cnt,
1588                             OBJPC_SYNC);
1589                         VM_OBJECT_WUNLOCK(vp->v_object);
1590                 }
1591
1592                 bo = &vp->v_bufobj;
1593                 BO_LOCK(bo);
1594                 while (cnt > 0) {
1595                         struct buf *bp;
1596
1597                         /*
1598                          * If we have a buffer and it is marked B_DELWRI we
1599                          * have to lock and write it.  Otherwise the prior
1600                          * write is assumed to have already been committed.
1601                          *
1602                          * gbincore() can return invalid buffers now so we
1603                          * have to check that bit as well (though B_DELWRI
1604                          * should not be set if B_INVAL is set there could be
1605                          * a race here since we haven't locked the buffer).
1606                          */
1607                         if ((bp = gbincore(&vp->v_bufobj, lblkno)) != NULL) {
1608                                 if (BUF_LOCK(bp, LK_EXCLUSIVE | LK_SLEEPFAIL |
1609                                     LK_INTERLOCK, BO_LOCKPTR(bo)) == ENOLCK) {
1610                                         BO_LOCK(bo);
1611                                         continue; /* retry */
1612                                 }
1613                                 if ((bp->b_flags & (B_DELWRI|B_INVAL)) ==
1614                                     B_DELWRI) {
1615                                         bremfree(bp);
1616                                         bp->b_flags &= ~B_ASYNC;
1617                                         bwrite(bp);
1618                                         ++nfs_commit_miss;
1619                                 } else
1620                                         BUF_UNLOCK(bp);
1621                                 BO_LOCK(bo);
1622                         }
1623                         ++nfs_commit_blks;
1624                         if (cnt < iosize)
1625                                 break;
1626                         cnt -= iosize;
1627                         ++lblkno;
1628                 }
1629                 BO_UNLOCK(bo);
1630         }
1631         NFSEXITCODE(error);
1632         return (error);
1633 }
1634
1635 /*
1636  * Statfs vnode op.
1637  */
1638 int
1639 nfsvno_statfs(struct vnode *vp, struct statfs *sf)
1640 {
1641         struct statfs *tsf;
1642         int error;
1643
1644         tsf = NULL;
1645         if (nfsrv_devidcnt > 0) {
1646                 /* For a pNFS service, get the DS numbers. */
1647                 tsf = malloc(sizeof(*tsf), M_TEMP, M_WAITOK | M_ZERO);
1648                 error = nfsrv_pnfsstatfs(tsf, vp->v_mount);
1649                 if (error != 0) {
1650                         free(tsf, M_TEMP);
1651                         tsf = NULL;
1652                 }
1653         }
1654         error = VFS_STATFS(vp->v_mount, sf);
1655         if (error == 0) {
1656                 if (tsf != NULL) {
1657                         sf->f_blocks = tsf->f_blocks;
1658                         sf->f_bavail = tsf->f_bavail;
1659                         sf->f_bfree = tsf->f_bfree;
1660                         sf->f_bsize = tsf->f_bsize;
1661                 }
1662                 /*
1663                  * Since NFS handles these values as unsigned on the
1664                  * wire, there is no way to represent negative values,
1665                  * so set them to 0. Without this, they will appear
1666                  * to be very large positive values for clients like
1667                  * Solaris10.
1668                  */
1669                 if (sf->f_bavail < 0)
1670                         sf->f_bavail = 0;
1671                 if (sf->f_ffree < 0)
1672                         sf->f_ffree = 0;
1673         }
1674         free(tsf, M_TEMP);
1675         NFSEXITCODE(error);
1676         return (error);
1677 }
1678
1679 /*
1680  * Do the vnode op stuff for Open. Similar to nfsvno_createsub(), but
1681  * must handle nfsrv_opencheck() calls after any other access checks.
1682  */
1683 void
1684 nfsvno_open(struct nfsrv_descript *nd, struct nameidata *ndp,
1685     nfsquad_t clientid, nfsv4stateid_t *stateidp, struct nfsstate *stp,
1686     int *exclusive_flagp, struct nfsvattr *nvap, int32_t *cverf, int create,
1687     NFSACL_T *aclp, nfsattrbit_t *attrbitp, struct ucred *cred,
1688     struct nfsexstuff *exp, struct vnode **vpp)
1689 {
1690         struct vnode *vp = NULL;
1691         u_quad_t tempsize;
1692         struct nfsexstuff nes;
1693         struct thread *p = curthread;
1694
1695         if (ndp->ni_vp == NULL)
1696                 nd->nd_repstat = nfsrv_opencheck(clientid,
1697                     stateidp, stp, NULL, nd, p, nd->nd_repstat);
1698         if (!nd->nd_repstat) {
1699                 if (ndp->ni_vp == NULL) {
1700                         vrele(ndp->ni_startdir);
1701                         nd->nd_repstat = VOP_CREATE(ndp->ni_dvp,
1702                             &ndp->ni_vp, &ndp->ni_cnd, &nvap->na_vattr);
1703                         /* For a pNFS server, create the data file on a DS. */
1704                         if (nd->nd_repstat == 0) {
1705                                 /*
1706                                  * Create a data file on a DS for a pNFS server.
1707                                  * This function just returns if not
1708                                  * running a pNFS DS or the creation fails.
1709                                  */
1710                                 nfsrv_pnfscreate(ndp->ni_vp, &nvap->na_vattr,
1711                                     cred, p);
1712                         }
1713                         vput(ndp->ni_dvp);
1714                         nfsvno_relpathbuf(ndp);
1715                         if (!nd->nd_repstat) {
1716                                 if (*exclusive_flagp) {
1717                                         *exclusive_flagp = 0;
1718                                         NFSVNO_ATTRINIT(nvap);
1719                                         nvap->na_atime.tv_sec = cverf[0];
1720                                         nvap->na_atime.tv_nsec = cverf[1];
1721                                         nd->nd_repstat = VOP_SETATTR(ndp->ni_vp,
1722                                             &nvap->na_vattr, cred);
1723                                         if (nd->nd_repstat != 0) {
1724                                                 vput(ndp->ni_vp);
1725                                                 ndp->ni_vp = NULL;
1726                                                 nd->nd_repstat = NFSERR_NOTSUPP;
1727                                         } else
1728                                                 NFSSETBIT_ATTRBIT(attrbitp,
1729                                                     NFSATTRBIT_TIMEACCESS);
1730                                 } else {
1731                                         nfsrv_fixattr(nd, ndp->ni_vp, nvap,
1732                                             aclp, p, attrbitp, exp);
1733                                 }
1734                         }
1735                         vp = ndp->ni_vp;
1736                 } else {
1737                         if (ndp->ni_startdir)
1738                                 vrele(ndp->ni_startdir);
1739                         nfsvno_relpathbuf(ndp);
1740                         vp = ndp->ni_vp;
1741                         if (create == NFSV4OPEN_CREATE) {
1742                                 if (ndp->ni_dvp == vp)
1743                                         vrele(ndp->ni_dvp);
1744                                 else
1745                                         vput(ndp->ni_dvp);
1746                         }
1747                         if (NFSVNO_ISSETSIZE(nvap) && vp->v_type == VREG) {
1748                                 if (ndp->ni_cnd.cn_flags & RDONLY)
1749                                         NFSVNO_SETEXRDONLY(&nes);
1750                                 else
1751                                         NFSVNO_EXINIT(&nes);
1752                                 nd->nd_repstat = nfsvno_accchk(vp,
1753                                     VWRITE, cred, &nes, p,
1754                                     NFSACCCHK_NOOVERRIDE,
1755                                     NFSACCCHK_VPISLOCKED, NULL);
1756                                 nd->nd_repstat = nfsrv_opencheck(clientid,
1757                                     stateidp, stp, vp, nd, p, nd->nd_repstat);
1758                                 if (!nd->nd_repstat) {
1759                                         tempsize = nvap->na_size;
1760                                         NFSVNO_ATTRINIT(nvap);
1761                                         nvap->na_size = tempsize;
1762                                         nd->nd_repstat = VOP_SETATTR(vp,
1763                                             &nvap->na_vattr, cred);
1764                                 }
1765                         } else if (vp->v_type == VREG) {
1766                                 nd->nd_repstat = nfsrv_opencheck(clientid,
1767                                     stateidp, stp, vp, nd, p, nd->nd_repstat);
1768                         }
1769                 }
1770         } else {
1771                 if (ndp->ni_cnd.cn_flags & HASBUF)
1772                         nfsvno_relpathbuf(ndp);
1773                 if (ndp->ni_startdir && create == NFSV4OPEN_CREATE) {
1774                         vrele(ndp->ni_startdir);
1775                         if (ndp->ni_dvp == ndp->ni_vp)
1776                                 vrele(ndp->ni_dvp);
1777                         else
1778                                 vput(ndp->ni_dvp);
1779                         if (ndp->ni_vp)
1780                                 vput(ndp->ni_vp);
1781                 }
1782         }
1783         *vpp = vp;
1784
1785         NFSEXITCODE2(0, nd);
1786 }
1787
1788 /*
1789  * Updates the file rev and sets the mtime and ctime
1790  * to the current clock time, returning the va_filerev and va_Xtime
1791  * values.
1792  * Return ESTALE to indicate the vnode is VIRF_DOOMED.
1793  */
1794 int
1795 nfsvno_updfilerev(struct vnode *vp, struct nfsvattr *nvap,
1796     struct nfsrv_descript *nd, struct thread *p)
1797 {
1798         struct vattr va;
1799
1800         VATTR_NULL(&va);
1801         vfs_timestamp(&va.va_mtime);
1802         if (NFSVOPISLOCKED(vp) != LK_EXCLUSIVE) {
1803                 NFSVOPLOCK(vp, LK_UPGRADE | LK_RETRY);
1804                 if (VN_IS_DOOMED(vp))
1805                         return (ESTALE);
1806         }
1807         (void) VOP_SETATTR(vp, &va, nd->nd_cred);
1808         (void) nfsvno_getattr(vp, nvap, nd, p, 1, NULL);
1809         return (0);
1810 }
1811
1812 /*
1813  * Glue routine to nfsv4_fillattr().
1814  */
1815 int
1816 nfsvno_fillattr(struct nfsrv_descript *nd, struct mount *mp, struct vnode *vp,
1817     struct nfsvattr *nvap, fhandle_t *fhp, int rderror, nfsattrbit_t *attrbitp,
1818     struct ucred *cred, struct thread *p, int isdgram, int reterr,
1819     int supports_nfsv4acls, int at_root, uint64_t mounted_on_fileno)
1820 {
1821         struct statfs *sf;
1822         int error;
1823
1824         sf = NULL;
1825         if (nfsrv_devidcnt > 0 &&
1826             (NFSISSET_ATTRBIT(attrbitp, NFSATTRBIT_SPACEAVAIL) ||
1827              NFSISSET_ATTRBIT(attrbitp, NFSATTRBIT_SPACEFREE) ||
1828              NFSISSET_ATTRBIT(attrbitp, NFSATTRBIT_SPACETOTAL))) {
1829                 sf = malloc(sizeof(*sf), M_TEMP, M_WAITOK | M_ZERO);
1830                 error = nfsrv_pnfsstatfs(sf, mp);
1831                 if (error != 0) {
1832                         free(sf, M_TEMP);
1833                         sf = NULL;
1834                 }
1835         }
1836         error = nfsv4_fillattr(nd, mp, vp, NULL, &nvap->na_vattr, fhp, rderror,
1837             attrbitp, cred, p, isdgram, reterr, supports_nfsv4acls, at_root,
1838             mounted_on_fileno, sf);
1839         free(sf, M_TEMP);
1840         NFSEXITCODE2(0, nd);
1841         return (error);
1842 }
1843
1844 /* Since the Readdir vnode ops vary, put the entire functions in here. */
1845 /*
1846  * nfs readdir service
1847  * - mallocs what it thinks is enough to read
1848  *      count rounded up to a multiple of DIRBLKSIZ <= NFS_MAXREADDIR
1849  * - calls VOP_READDIR()
1850  * - loops around building the reply
1851  *      if the output generated exceeds count break out of loop
1852  *      The NFSM_CLGET macro is used here so that the reply will be packed
1853  *      tightly in mbuf clusters.
1854  * - it trims out records with d_fileno == 0
1855  *      this doesn't matter for Unix clients, but they might confuse clients
1856  *      for other os'.
1857  * - it trims out records with d_type == DT_WHT
1858  *      these cannot be seen through NFS (unless we extend the protocol)
1859  *     The alternate call nfsrvd_readdirplus() does lookups as well.
1860  * PS: The NFS protocol spec. does not clarify what the "count" byte
1861  *      argument is a count of.. just name strings and file id's or the
1862  *      entire reply rpc or ...
1863  *      I tried just file name and id sizes and it confused the Sun client,
1864  *      so I am using the full rpc size now. The "paranoia.." comment refers
1865  *      to including the status longwords that are not a part of the dir.
1866  *      "entry" structures, but are in the rpc.
1867  */
1868 int
1869 nfsrvd_readdir(struct nfsrv_descript *nd, int isdgram,
1870     struct vnode *vp, struct nfsexstuff *exp)
1871 {
1872         struct dirent *dp;
1873         u_int32_t *tl;
1874         int dirlen;
1875         char *cpos, *cend, *rbuf;
1876         struct nfsvattr at;
1877         int nlen, error = 0, getret = 1;
1878         int siz, cnt, fullsiz, eofflag, ncookies;
1879         u_int64_t off, toff, verf __unused;
1880         u_long *cookies = NULL, *cookiep;
1881         struct uio io;
1882         struct iovec iv;
1883         int is_ufs;
1884         struct thread *p = curthread;
1885
1886         if (nd->nd_repstat) {
1887                 nfsrv_postopattr(nd, getret, &at);
1888                 goto out;
1889         }
1890         if (nd->nd_flag & ND_NFSV2) {
1891                 NFSM_DISSECT(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
1892                 off = fxdr_unsigned(u_quad_t, *tl++);
1893         } else {
1894                 NFSM_DISSECT(tl, u_int32_t *, 5 * NFSX_UNSIGNED);
1895                 off = fxdr_hyper(tl);
1896                 tl += 2;
1897                 verf = fxdr_hyper(tl);
1898                 tl += 2;
1899         }
1900         toff = off;
1901         cnt = fxdr_unsigned(int, *tl);
1902         if (cnt > NFS_SRVMAXDATA(nd) || cnt < 0)
1903                 cnt = NFS_SRVMAXDATA(nd);
1904         siz = ((cnt + DIRBLKSIZ - 1) & ~(DIRBLKSIZ - 1));
1905         fullsiz = siz;
1906         if (nd->nd_flag & ND_NFSV3) {
1907                 nd->nd_repstat = getret = nfsvno_getattr(vp, &at, nd, p, 1,
1908                     NULL);
1909 #if 0
1910                 /*
1911                  * va_filerev is not sufficient as a cookie verifier,
1912                  * since it is not supposed to change when entries are
1913                  * removed/added unless that offset cookies returned to
1914                  * the client are no longer valid.
1915                  */
1916                 if (!nd->nd_repstat && toff && verf != at.na_filerev)
1917                         nd->nd_repstat = NFSERR_BAD_COOKIE;
1918 #endif
1919         }
1920         if (!nd->nd_repstat && vp->v_type != VDIR)
1921                 nd->nd_repstat = NFSERR_NOTDIR;
1922         if (nd->nd_repstat == 0 && cnt == 0) {
1923                 if (nd->nd_flag & ND_NFSV2)
1924                         /* NFSv2 does not have NFSERR_TOOSMALL */
1925                         nd->nd_repstat = EPERM;
1926                 else
1927                         nd->nd_repstat = NFSERR_TOOSMALL;
1928         }
1929         if (!nd->nd_repstat)
1930                 nd->nd_repstat = nfsvno_accchk(vp, VEXEC,
1931                     nd->nd_cred, exp, p, NFSACCCHK_NOOVERRIDE,
1932                     NFSACCCHK_VPISLOCKED, NULL);
1933         if (nd->nd_repstat) {
1934                 vput(vp);
1935                 if (nd->nd_flag & ND_NFSV3)
1936                         nfsrv_postopattr(nd, getret, &at);
1937                 goto out;
1938         }
1939         is_ufs = strcmp(vp->v_mount->mnt_vfc->vfc_name, "ufs") == 0;
1940         rbuf = malloc(siz, M_TEMP, M_WAITOK);
1941 again:
1942         eofflag = 0;
1943         if (cookies) {
1944                 free(cookies, M_TEMP);
1945                 cookies = NULL;
1946         }
1947
1948         iv.iov_base = rbuf;
1949         iv.iov_len = siz;
1950         io.uio_iov = &iv;
1951         io.uio_iovcnt = 1;
1952         io.uio_offset = (off_t)off;
1953         io.uio_resid = siz;
1954         io.uio_segflg = UIO_SYSSPACE;
1955         io.uio_rw = UIO_READ;
1956         io.uio_td = NULL;
1957         nd->nd_repstat = VOP_READDIR(vp, &io, nd->nd_cred, &eofflag, &ncookies,
1958             &cookies);
1959         off = (u_int64_t)io.uio_offset;
1960         if (io.uio_resid)
1961                 siz -= io.uio_resid;
1962
1963         if (!cookies && !nd->nd_repstat)
1964                 nd->nd_repstat = NFSERR_PERM;
1965         if (nd->nd_flag & ND_NFSV3) {
1966                 getret = nfsvno_getattr(vp, &at, nd, p, 1, NULL);
1967                 if (!nd->nd_repstat)
1968                         nd->nd_repstat = getret;
1969         }
1970
1971         /*
1972          * Handles the failed cases. nd->nd_repstat == 0 past here.
1973          */
1974         if (nd->nd_repstat) {
1975                 vput(vp);
1976                 free(rbuf, M_TEMP);
1977                 if (cookies)
1978                         free(cookies, M_TEMP);
1979                 if (nd->nd_flag & ND_NFSV3)
1980                         nfsrv_postopattr(nd, getret, &at);
1981                 goto out;
1982         }
1983         /*
1984          * If nothing read, return eof
1985          * rpc reply
1986          */
1987         if (siz == 0) {
1988                 vput(vp);
1989                 if (nd->nd_flag & ND_NFSV2) {
1990                         NFSM_BUILD(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
1991                 } else {
1992                         nfsrv_postopattr(nd, getret, &at);
1993                         NFSM_BUILD(tl, u_int32_t *, 4 * NFSX_UNSIGNED);
1994                         txdr_hyper(at.na_filerev, tl);
1995                         tl += 2;
1996                 }
1997                 *tl++ = newnfs_false;
1998                 *tl = newnfs_true;
1999                 free(rbuf, M_TEMP);
2000                 free(cookies, M_TEMP);
2001                 goto out;
2002         }
2003
2004         /*
2005          * Check for degenerate cases of nothing useful read.
2006          * If so go try again
2007          */
2008         cpos = rbuf;
2009         cend = rbuf + siz;
2010         dp = (struct dirent *)cpos;
2011         cookiep = cookies;
2012
2013         /*
2014          * For some reason FreeBSD's ufs_readdir() chooses to back the
2015          * directory offset up to a block boundary, so it is necessary to
2016          * skip over the records that precede the requested offset. This
2017          * requires the assumption that file offset cookies monotonically
2018          * increase.
2019          */
2020         while (cpos < cend && ncookies > 0 &&
2021             (dp->d_fileno == 0 || dp->d_type == DT_WHT ||
2022              (is_ufs == 1 && ((u_quad_t)(*cookiep)) <= toff))) {
2023                 cpos += dp->d_reclen;
2024                 dp = (struct dirent *)cpos;
2025                 cookiep++;
2026                 ncookies--;
2027         }
2028         if (cpos >= cend || ncookies == 0) {
2029                 siz = fullsiz;
2030                 toff = off;
2031                 goto again;
2032         }
2033         vput(vp);
2034
2035         /*
2036          * dirlen is the size of the reply, including all XDR and must
2037          * not exceed cnt. For NFSv2, RFC1094 didn't clearly indicate
2038          * if the XDR should be included in "count", but to be safe, we do.
2039          * (Include the two booleans at the end of the reply in dirlen now.)
2040          */
2041         if (nd->nd_flag & ND_NFSV3) {
2042                 nfsrv_postopattr(nd, getret, &at);
2043                 NFSM_BUILD(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2044                 txdr_hyper(at.na_filerev, tl);
2045                 dirlen = NFSX_V3POSTOPATTR + NFSX_VERF + 2 * NFSX_UNSIGNED;
2046         } else {
2047                 dirlen = 2 * NFSX_UNSIGNED;
2048         }
2049
2050         /* Loop through the records and build reply */
2051         while (cpos < cend && ncookies > 0) {
2052                 nlen = dp->d_namlen;
2053                 if (dp->d_fileno != 0 && dp->d_type != DT_WHT &&
2054                         nlen <= NFS_MAXNAMLEN) {
2055                         if (nd->nd_flag & ND_NFSV3)
2056                                 dirlen += (6*NFSX_UNSIGNED + NFSM_RNDUP(nlen));
2057                         else
2058                                 dirlen += (4*NFSX_UNSIGNED + NFSM_RNDUP(nlen));
2059                         if (dirlen > cnt) {
2060                                 eofflag = 0;
2061                                 break;
2062                         }
2063
2064                         /*
2065                          * Build the directory record xdr from
2066                          * the dirent entry.
2067                          */
2068                         if (nd->nd_flag & ND_NFSV3) {
2069                                 NFSM_BUILD(tl, u_int32_t *, 3 * NFSX_UNSIGNED);
2070                                 *tl++ = newnfs_true;
2071                                 *tl++ = 0;
2072                         } else {
2073                                 NFSM_BUILD(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2074                                 *tl++ = newnfs_true;
2075                         }
2076                         *tl = txdr_unsigned(dp->d_fileno);
2077                         (void) nfsm_strtom(nd, dp->d_name, nlen);
2078                         if (nd->nd_flag & ND_NFSV3) {
2079                                 NFSM_BUILD(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2080                                 *tl++ = 0;
2081                         } else
2082                                 NFSM_BUILD(tl, u_int32_t *, NFSX_UNSIGNED);
2083                         *tl = txdr_unsigned(*cookiep);
2084                 }
2085                 cpos += dp->d_reclen;
2086                 dp = (struct dirent *)cpos;
2087                 cookiep++;
2088                 ncookies--;
2089         }
2090         if (cpos < cend)
2091                 eofflag = 0;
2092         NFSM_BUILD(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2093         *tl++ = newnfs_false;
2094         if (eofflag)
2095                 *tl = newnfs_true;
2096         else
2097                 *tl = newnfs_false;
2098         free(rbuf, M_TEMP);
2099         free(cookies, M_TEMP);
2100
2101 out:
2102         NFSEXITCODE2(0, nd);
2103         return (0);
2104 nfsmout:
2105         vput(vp);
2106         NFSEXITCODE2(error, nd);
2107         return (error);
2108 }
2109
2110 /*
2111  * Readdirplus for V3 and Readdir for V4.
2112  */
2113 int
2114 nfsrvd_readdirplus(struct nfsrv_descript *nd, int isdgram,
2115     struct vnode *vp, struct nfsexstuff *exp)
2116 {
2117         struct dirent *dp;
2118         u_int32_t *tl;
2119         int dirlen;
2120         char *cpos, *cend, *rbuf;
2121         struct vnode *nvp;
2122         fhandle_t nfh;
2123         struct nfsvattr nva, at, *nvap = &nva;
2124         struct mbuf *mb0, *mb1;
2125         struct nfsreferral *refp;
2126         int nlen, r, error = 0, getret = 1, usevget = 1;
2127         int siz, cnt, fullsiz, eofflag, ncookies, entrycnt;
2128         caddr_t bpos0, bpos1;
2129         u_int64_t off, toff, verf;
2130         u_long *cookies = NULL, *cookiep;
2131         nfsattrbit_t attrbits, rderrbits, savbits;
2132         struct uio io;
2133         struct iovec iv;
2134         struct componentname cn;
2135         int at_root, is_ufs, is_zfs, needs_unbusy, supports_nfsv4acls;
2136         struct mount *mp, *new_mp;
2137         uint64_t mounted_on_fileno;
2138         struct thread *p = curthread;
2139
2140         if (nd->nd_repstat) {
2141                 nfsrv_postopattr(nd, getret, &at);
2142                 goto out;
2143         }
2144         NFSM_DISSECT(tl, u_int32_t *, 6 * NFSX_UNSIGNED);
2145         off = fxdr_hyper(tl);
2146         toff = off;
2147         tl += 2;
2148         verf = fxdr_hyper(tl);
2149         tl += 2;
2150         siz = fxdr_unsigned(int, *tl++);
2151         cnt = fxdr_unsigned(int, *tl);
2152
2153         /*
2154          * Use the server's maximum data transfer size as the upper bound
2155          * on reply datalen.
2156          */
2157         if (cnt > NFS_SRVMAXDATA(nd) || cnt < 0)
2158                 cnt = NFS_SRVMAXDATA(nd);
2159
2160         /*
2161          * siz is a "hint" of how much directory information (name, fileid,
2162          * cookie) should be in the reply. At least one client "hints" 0,
2163          * so I set it to cnt for that case. I also round it up to the
2164          * next multiple of DIRBLKSIZ.
2165          * Since the size of a Readdirplus directory entry reply will always
2166          * be greater than a directory entry returned by VOP_READDIR(), it
2167          * does not make sense to read more than NFS_SRVMAXDATA() via
2168          * VOP_READDIR().
2169          */
2170         if (siz <= 0)
2171                 siz = cnt;
2172         else if (siz > NFS_SRVMAXDATA(nd))
2173                 siz = NFS_SRVMAXDATA(nd);
2174         siz = ((siz + DIRBLKSIZ - 1) & ~(DIRBLKSIZ - 1));
2175
2176         if (nd->nd_flag & ND_NFSV4) {
2177                 error = nfsrv_getattrbits(nd, &attrbits, NULL, NULL);
2178                 if (error)
2179                         goto nfsmout;
2180                 NFSSET_ATTRBIT(&savbits, &attrbits);
2181                 NFSCLRNOTFILLABLE_ATTRBIT(&attrbits, nd);
2182                 NFSZERO_ATTRBIT(&rderrbits);
2183                 NFSSETBIT_ATTRBIT(&rderrbits, NFSATTRBIT_RDATTRERROR);
2184         } else {
2185                 NFSZERO_ATTRBIT(&attrbits);
2186         }
2187         fullsiz = siz;
2188         nd->nd_repstat = getret = nfsvno_getattr(vp, &at, nd, p, 1, NULL);
2189 #if 0
2190         if (!nd->nd_repstat) {
2191             if (off && verf != at.na_filerev) {
2192                 /*
2193                  * va_filerev is not sufficient as a cookie verifier,
2194                  * since it is not supposed to change when entries are
2195                  * removed/added unless that offset cookies returned to
2196                  * the client are no longer valid.
2197                  */
2198                 if (nd->nd_flag & ND_NFSV4) {
2199                         nd->nd_repstat = NFSERR_NOTSAME;
2200                 } else {
2201                         nd->nd_repstat = NFSERR_BAD_COOKIE;
2202                 }
2203             }
2204         }
2205 #endif
2206         if (!nd->nd_repstat && vp->v_type != VDIR)
2207                 nd->nd_repstat = NFSERR_NOTDIR;
2208         if (!nd->nd_repstat && cnt == 0)
2209                 nd->nd_repstat = NFSERR_TOOSMALL;
2210         if (!nd->nd_repstat)
2211                 nd->nd_repstat = nfsvno_accchk(vp, VEXEC,
2212                     nd->nd_cred, exp, p, NFSACCCHK_NOOVERRIDE,
2213                     NFSACCCHK_VPISLOCKED, NULL);
2214         if (nd->nd_repstat) {
2215                 vput(vp);
2216                 if (nd->nd_flag & ND_NFSV3)
2217                         nfsrv_postopattr(nd, getret, &at);
2218                 goto out;
2219         }
2220         is_ufs = strcmp(vp->v_mount->mnt_vfc->vfc_name, "ufs") == 0;
2221         is_zfs = strcmp(vp->v_mount->mnt_vfc->vfc_name, "zfs") == 0;
2222
2223         rbuf = malloc(siz, M_TEMP, M_WAITOK);
2224 again:
2225         eofflag = 0;
2226         if (cookies) {
2227                 free(cookies, M_TEMP);
2228                 cookies = NULL;
2229         }
2230
2231         iv.iov_base = rbuf;
2232         iv.iov_len = siz;
2233         io.uio_iov = &iv;
2234         io.uio_iovcnt = 1;
2235         io.uio_offset = (off_t)off;
2236         io.uio_resid = siz;
2237         io.uio_segflg = UIO_SYSSPACE;
2238         io.uio_rw = UIO_READ;
2239         io.uio_td = NULL;
2240         nd->nd_repstat = VOP_READDIR(vp, &io, nd->nd_cred, &eofflag, &ncookies,
2241             &cookies);
2242         off = (u_int64_t)io.uio_offset;
2243         if (io.uio_resid)
2244                 siz -= io.uio_resid;
2245
2246         getret = nfsvno_getattr(vp, &at, nd, p, 1, NULL);
2247
2248         if (!cookies && !nd->nd_repstat)
2249                 nd->nd_repstat = NFSERR_PERM;
2250         if (!nd->nd_repstat)
2251                 nd->nd_repstat = getret;
2252         if (nd->nd_repstat) {
2253                 vput(vp);
2254                 if (cookies)
2255                         free(cookies, M_TEMP);
2256                 free(rbuf, M_TEMP);
2257                 if (nd->nd_flag & ND_NFSV3)
2258                         nfsrv_postopattr(nd, getret, &at);
2259                 goto out;
2260         }
2261         /*
2262          * If nothing read, return eof
2263          * rpc reply
2264          */
2265         if (siz == 0) {
2266                 vput(vp);
2267                 if (nd->nd_flag & ND_NFSV3)
2268                         nfsrv_postopattr(nd, getret, &at);
2269                 NFSM_BUILD(tl, u_int32_t *, 4 * NFSX_UNSIGNED);
2270                 txdr_hyper(at.na_filerev, tl);
2271                 tl += 2;
2272                 *tl++ = newnfs_false;
2273                 *tl = newnfs_true;
2274                 free(cookies, M_TEMP);
2275                 free(rbuf, M_TEMP);
2276                 goto out;
2277         }
2278
2279         /*
2280          * Check for degenerate cases of nothing useful read.
2281          * If so go try again
2282          */
2283         cpos = rbuf;
2284         cend = rbuf + siz;
2285         dp = (struct dirent *)cpos;
2286         cookiep = cookies;
2287
2288         /*
2289          * For some reason FreeBSD's ufs_readdir() chooses to back the
2290          * directory offset up to a block boundary, so it is necessary to
2291          * skip over the records that precede the requested offset. This
2292          * requires the assumption that file offset cookies monotonically
2293          * increase.
2294          */
2295         while (cpos < cend && ncookies > 0 &&
2296           (dp->d_fileno == 0 || dp->d_type == DT_WHT ||
2297            (is_ufs == 1 && ((u_quad_t)(*cookiep)) <= toff) ||
2298            ((nd->nd_flag & ND_NFSV4) &&
2299             ((dp->d_namlen == 1 && dp->d_name[0] == '.') ||
2300              (dp->d_namlen==2 && dp->d_name[0]=='.' && dp->d_name[1]=='.'))))) {
2301                 cpos += dp->d_reclen;
2302                 dp = (struct dirent *)cpos;
2303                 cookiep++;
2304                 ncookies--;
2305         }
2306         if (cpos >= cend || ncookies == 0) {
2307                 siz = fullsiz;
2308                 toff = off;
2309                 goto again;
2310         }
2311
2312         /*
2313          * Busy the file system so that the mount point won't go away
2314          * and, as such, VFS_VGET() can be used safely.
2315          */
2316         mp = vp->v_mount;
2317         vfs_ref(mp);
2318         NFSVOPUNLOCK(vp);
2319         nd->nd_repstat = vfs_busy(mp, 0);
2320         vfs_rel(mp);
2321         if (nd->nd_repstat != 0) {
2322                 vrele(vp);
2323                 free(cookies, M_TEMP);
2324                 free(rbuf, M_TEMP);
2325                 if (nd->nd_flag & ND_NFSV3)
2326                         nfsrv_postopattr(nd, getret, &at);
2327                 goto out;
2328         }
2329
2330         /*
2331          * Check to see if entries in this directory can be safely acquired
2332          * via VFS_VGET() or if a switch to VOP_LOOKUP() is required.
2333          * ZFS snapshot directories need VOP_LOOKUP(), so that any
2334          * automount of the snapshot directory that is required will
2335          * be done.
2336          * This needs to be done here for NFSv4, since NFSv4 never does
2337          * a VFS_VGET() for "." or "..".
2338          */
2339         if (is_zfs == 1) {
2340                 r = VFS_VGET(mp, at.na_fileid, LK_SHARED, &nvp);
2341                 if (r == EOPNOTSUPP) {
2342                         usevget = 0;
2343                         cn.cn_nameiop = LOOKUP;
2344                         cn.cn_lkflags = LK_SHARED | LK_RETRY;
2345                         cn.cn_cred = nd->nd_cred;
2346                         cn.cn_thread = p;
2347                 } else if (r == 0)
2348                         vput(nvp);
2349         }
2350
2351         /*
2352          * Save this position, in case there is an error before one entry
2353          * is created.
2354          */
2355         mb0 = nd->nd_mb;
2356         bpos0 = nd->nd_bpos;
2357
2358         /*
2359          * Fill in the first part of the reply.
2360          * dirlen is the reply length in bytes and cannot exceed cnt.
2361          * (Include the two booleans at the end of the reply in dirlen now,
2362          *  so we recognize when we have exceeded cnt.)
2363          */
2364         if (nd->nd_flag & ND_NFSV3) {
2365                 dirlen = NFSX_V3POSTOPATTR + NFSX_VERF + 2 * NFSX_UNSIGNED;
2366                 nfsrv_postopattr(nd, getret, &at);
2367         } else {
2368                 dirlen = NFSX_VERF + 2 * NFSX_UNSIGNED;
2369         }
2370         NFSM_BUILD(tl, u_int32_t *, NFSX_VERF);
2371         txdr_hyper(at.na_filerev, tl);
2372
2373         /*
2374          * Save this position, in case there is an empty reply needed.
2375          */
2376         mb1 = nd->nd_mb;
2377         bpos1 = nd->nd_bpos;
2378
2379         /* Loop through the records and build reply */
2380         entrycnt = 0;
2381         while (cpos < cend && ncookies > 0 && dirlen < cnt) {
2382                 nlen = dp->d_namlen;
2383                 if (dp->d_fileno != 0 && dp->d_type != DT_WHT &&
2384                     nlen <= NFS_MAXNAMLEN &&
2385                     ((nd->nd_flag & ND_NFSV3) || nlen > 2 ||
2386                      (nlen==2 && (dp->d_name[0]!='.' || dp->d_name[1]!='.'))
2387                       || (nlen == 1 && dp->d_name[0] != '.'))) {
2388                         /*
2389                          * Save the current position in the reply, in case
2390                          * this entry exceeds cnt.
2391                          */
2392                         mb1 = nd->nd_mb;
2393                         bpos1 = nd->nd_bpos;
2394
2395                         /*
2396                          * For readdir_and_lookup get the vnode using
2397                          * the file number.
2398                          */
2399                         nvp = NULL;
2400                         refp = NULL;
2401                         r = 0;
2402                         at_root = 0;
2403                         needs_unbusy = 0;
2404                         new_mp = mp;
2405                         mounted_on_fileno = (uint64_t)dp->d_fileno;
2406                         if ((nd->nd_flag & ND_NFSV3) ||
2407                             NFSNONZERO_ATTRBIT(&savbits)) {
2408                                 if (nd->nd_flag & ND_NFSV4)
2409                                         refp = nfsv4root_getreferral(NULL,
2410                                             vp, dp->d_fileno);
2411                                 if (refp == NULL) {
2412                                         if (usevget)
2413                                                 r = VFS_VGET(mp, dp->d_fileno,
2414                                                     LK_SHARED, &nvp);
2415                                         else
2416                                                 r = EOPNOTSUPP;
2417                                         if (r == EOPNOTSUPP) {
2418                                                 if (usevget) {
2419                                                         usevget = 0;
2420                                                         cn.cn_nameiop = LOOKUP;
2421                                                         cn.cn_lkflags =
2422                                                             LK_SHARED |
2423                                                             LK_RETRY;
2424                                                         cn.cn_cred =
2425                                                             nd->nd_cred;
2426                                                         cn.cn_thread = p;
2427                                                 }
2428                                                 cn.cn_nameptr = dp->d_name;
2429                                                 cn.cn_namelen = nlen;
2430                                                 cn.cn_flags = ISLASTCN |
2431                                                     NOFOLLOW | LOCKLEAF;
2432                                                 if (nlen == 2 &&
2433                                                     dp->d_name[0] == '.' &&
2434                                                     dp->d_name[1] == '.')
2435                                                         cn.cn_flags |=
2436                                                             ISDOTDOT;
2437                                                 if (NFSVOPLOCK(vp, LK_SHARED)
2438                                                     != 0) {
2439                                                         nd->nd_repstat = EPERM;
2440                                                         break;
2441                                                 }
2442                                                 if ((vp->v_vflag & VV_ROOT) != 0
2443                                                     && (cn.cn_flags & ISDOTDOT)
2444                                                     != 0) {
2445                                                         vref(vp);
2446                                                         nvp = vp;
2447                                                         r = 0;
2448                                                 } else {
2449                                                         r = VOP_LOOKUP(vp, &nvp,
2450                                                             &cn);
2451                                                         if (vp != nvp)
2452                                                                 NFSVOPUNLOCK(vp);
2453                                                 }
2454                                         }
2455
2456                                         /*
2457                                          * For NFSv4, check to see if nvp is
2458                                          * a mount point and get the mount
2459                                          * point vnode, as required.
2460                                          */
2461                                         if (r == 0 &&
2462                                             nfsrv_enable_crossmntpt != 0 &&
2463                                             (nd->nd_flag & ND_NFSV4) != 0 &&
2464                                             nvp->v_type == VDIR &&
2465                                             nvp->v_mountedhere != NULL) {
2466                                                 new_mp = nvp->v_mountedhere;
2467                                                 r = vfs_busy(new_mp, 0);
2468                                                 vput(nvp);
2469                                                 nvp = NULL;
2470                                                 if (r == 0) {
2471                                                         r = VFS_ROOT(new_mp,
2472                                                             LK_SHARED, &nvp);
2473                                                         needs_unbusy = 1;
2474                                                         if (r == 0)
2475                                                                 at_root = 1;
2476                                                 }
2477                                         }
2478                                 }
2479
2480                                 /*
2481                                  * If we failed to look up the entry, then it
2482                                  * has become invalid, most likely removed.
2483                                  */
2484                                 if (r != 0) {
2485                                         if (needs_unbusy)
2486                                                 vfs_unbusy(new_mp);
2487                                         goto invalid;
2488                                 }
2489                                 KASSERT(refp != NULL || nvp != NULL,
2490                                     ("%s: undetected lookup error", __func__));
2491
2492                                 if (refp == NULL &&
2493                                     ((nd->nd_flag & ND_NFSV3) ||
2494                                      NFSNONZERO_ATTRBIT(&attrbits))) {
2495                                         r = nfsvno_getfh(nvp, &nfh, p);
2496                                         if (!r)
2497                                             r = nfsvno_getattr(nvp, nvap, nd, p,
2498                                                 1, &attrbits);
2499                                         if (r == 0 && is_zfs == 1 &&
2500                                             nfsrv_enable_crossmntpt != 0 &&
2501                                             (nd->nd_flag & ND_NFSV4) != 0 &&
2502                                             nvp->v_type == VDIR &&
2503                                             vp->v_mount != nvp->v_mount) {
2504                                             /*
2505                                              * For a ZFS snapshot, there is a
2506                                              * pseudo mount that does not set
2507                                              * v_mountedhere, so it needs to
2508                                              * be detected via a different
2509                                              * mount structure.
2510                                              */
2511                                             at_root = 1;
2512                                             if (new_mp == mp)
2513                                                 new_mp = nvp->v_mount;
2514                                         }
2515                                 }
2516
2517                                 /*
2518                                  * If we failed to get attributes of the entry,
2519                                  * then just skip it for NFSv3 (the traditional
2520                                  * behavior in the old NFS server).
2521                                  * For NFSv4 the behavior is controlled by
2522                                  * RDATTRERROR: we either ignore the error or
2523                                  * fail the request.
2524                                  * Note that RDATTRERROR is never set for NFSv3.
2525                                  */
2526                                 if (r != 0) {
2527                                         if (!NFSISSET_ATTRBIT(&attrbits,
2528                                             NFSATTRBIT_RDATTRERROR)) {
2529                                                 vput(nvp);
2530                                                 if (needs_unbusy != 0)
2531                                                         vfs_unbusy(new_mp);
2532                                                 if ((nd->nd_flag & ND_NFSV3))
2533                                                         goto invalid;
2534                                                 nd->nd_repstat = r;
2535                                                 break;
2536                                         }
2537                                 }
2538                         }
2539
2540                         /*
2541                          * Build the directory record xdr
2542                          */
2543                         if (nd->nd_flag & ND_NFSV3) {
2544                                 NFSM_BUILD(tl, u_int32_t *, 3 * NFSX_UNSIGNED);
2545                                 *tl++ = newnfs_true;
2546                                 *tl++ = 0;
2547                                 *tl = txdr_unsigned(dp->d_fileno);
2548                                 dirlen += nfsm_strtom(nd, dp->d_name, nlen);
2549                                 NFSM_BUILD(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2550                                 *tl++ = 0;
2551                                 *tl = txdr_unsigned(*cookiep);
2552                                 nfsrv_postopattr(nd, 0, nvap);
2553                                 dirlen += nfsm_fhtom(nd,(u_int8_t *)&nfh,0,1);
2554                                 dirlen += (5*NFSX_UNSIGNED+NFSX_V3POSTOPATTR);
2555                                 if (nvp != NULL)
2556                                         vput(nvp);
2557                         } else {
2558                                 NFSM_BUILD(tl, u_int32_t *, 3 * NFSX_UNSIGNED);
2559                                 *tl++ = newnfs_true;
2560                                 *tl++ = 0;
2561                                 *tl = txdr_unsigned(*cookiep);
2562                                 dirlen += nfsm_strtom(nd, dp->d_name, nlen);
2563                                 if (nvp != NULL) {
2564                                         supports_nfsv4acls =
2565                                             nfs_supportsnfsv4acls(nvp);
2566                                         NFSVOPUNLOCK(nvp);
2567                                 } else
2568                                         supports_nfsv4acls = 0;
2569                                 if (refp != NULL) {
2570                                         dirlen += nfsrv_putreferralattr(nd,
2571                                             &savbits, refp, 0,
2572                                             &nd->nd_repstat);
2573                                         if (nd->nd_repstat) {
2574                                                 if (nvp != NULL)
2575                                                         vrele(nvp);
2576                                                 if (needs_unbusy != 0)
2577                                                         vfs_unbusy(new_mp);
2578                                                 break;
2579                                         }
2580                                 } else if (r) {
2581                                         dirlen += nfsvno_fillattr(nd, new_mp,
2582                                             nvp, nvap, &nfh, r, &rderrbits,
2583                                             nd->nd_cred, p, isdgram, 0,
2584                                             supports_nfsv4acls, at_root,
2585                                             mounted_on_fileno);
2586                                 } else {
2587                                         dirlen += nfsvno_fillattr(nd, new_mp,
2588                                             nvp, nvap, &nfh, r, &attrbits,
2589                                             nd->nd_cred, p, isdgram, 0,
2590                                             supports_nfsv4acls, at_root,
2591                                             mounted_on_fileno);
2592                                 }
2593                                 if (nvp != NULL)
2594                                         vrele(nvp);
2595                                 dirlen += (3 * NFSX_UNSIGNED);
2596                         }
2597                         if (needs_unbusy != 0)
2598                                 vfs_unbusy(new_mp);
2599                         if (dirlen <= cnt)
2600                                 entrycnt++;
2601                 }
2602 invalid:
2603                 cpos += dp->d_reclen;
2604                 dp = (struct dirent *)cpos;
2605                 cookiep++;
2606                 ncookies--;
2607         }
2608         vrele(vp);
2609         vfs_unbusy(mp);
2610
2611         /*
2612          * If dirlen > cnt, we must strip off the last entry. If that
2613          * results in an empty reply, report NFSERR_TOOSMALL.
2614          */
2615         if (dirlen > cnt || nd->nd_repstat) {
2616                 if (!nd->nd_repstat && entrycnt == 0)
2617                         nd->nd_repstat = NFSERR_TOOSMALL;
2618                 if (nd->nd_repstat) {
2619                         newnfs_trimtrailing(nd, mb0, bpos0);
2620                         if (nd->nd_flag & ND_NFSV3)
2621                                 nfsrv_postopattr(nd, getret, &at);
2622                 } else
2623                         newnfs_trimtrailing(nd, mb1, bpos1);
2624                 eofflag = 0;
2625         } else if (cpos < cend)
2626                 eofflag = 0;
2627         if (!nd->nd_repstat) {
2628                 NFSM_BUILD(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2629                 *tl++ = newnfs_false;
2630                 if (eofflag)
2631                         *tl = newnfs_true;
2632                 else
2633                         *tl = newnfs_false;
2634         }
2635         free(cookies, M_TEMP);
2636         free(rbuf, M_TEMP);
2637
2638 out:
2639         NFSEXITCODE2(0, nd);
2640         return (0);
2641 nfsmout:
2642         vput(vp);
2643         NFSEXITCODE2(error, nd);
2644         return (error);
2645 }
2646
2647 /*
2648  * Get the settable attributes out of the mbuf list.
2649  * (Return 0 or EBADRPC)
2650  */
2651 int
2652 nfsrv_sattr(struct nfsrv_descript *nd, vnode_t vp, struct nfsvattr *nvap,
2653     nfsattrbit_t *attrbitp, NFSACL_T *aclp, struct thread *p)
2654 {
2655         u_int32_t *tl;
2656         struct nfsv2_sattr *sp;
2657         int error = 0, toclient = 0;
2658
2659         switch (nd->nd_flag & (ND_NFSV2 | ND_NFSV3 | ND_NFSV4)) {
2660         case ND_NFSV2:
2661                 NFSM_DISSECT(sp, struct nfsv2_sattr *, NFSX_V2SATTR);
2662                 /*
2663                  * Some old clients didn't fill in the high order 16bits.
2664                  * --> check the low order 2 bytes for 0xffff
2665                  */
2666                 if ((fxdr_unsigned(int, sp->sa_mode) & 0xffff) != 0xffff)
2667                         nvap->na_mode = nfstov_mode(sp->sa_mode);
2668                 if (sp->sa_uid != newnfs_xdrneg1)
2669                         nvap->na_uid = fxdr_unsigned(uid_t, sp->sa_uid);
2670                 if (sp->sa_gid != newnfs_xdrneg1)
2671                         nvap->na_gid = fxdr_unsigned(gid_t, sp->sa_gid);
2672                 if (sp->sa_size != newnfs_xdrneg1)
2673                         nvap->na_size = fxdr_unsigned(u_quad_t, sp->sa_size);
2674                 if (sp->sa_atime.nfsv2_sec != newnfs_xdrneg1) {
2675 #ifdef notyet
2676                         fxdr_nfsv2time(&sp->sa_atime, &nvap->na_atime);
2677 #else
2678                         nvap->na_atime.tv_sec =
2679                                 fxdr_unsigned(u_int32_t,sp->sa_atime.nfsv2_sec);
2680                         nvap->na_atime.tv_nsec = 0;
2681 #endif
2682                 }
2683                 if (sp->sa_mtime.nfsv2_sec != newnfs_xdrneg1)
2684                         fxdr_nfsv2time(&sp->sa_mtime, &nvap->na_mtime);
2685                 break;
2686         case ND_NFSV3:
2687                 NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2688                 if (*tl == newnfs_true) {
2689                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2690                         nvap->na_mode = nfstov_mode(*tl);
2691                 }
2692                 NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2693                 if (*tl == newnfs_true) {
2694                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2695                         nvap->na_uid = fxdr_unsigned(uid_t, *tl);
2696                 }
2697                 NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2698                 if (*tl == newnfs_true) {
2699                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2700                         nvap->na_gid = fxdr_unsigned(gid_t, *tl);
2701                 }
2702                 NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2703                 if (*tl == newnfs_true) {
2704                         NFSM_DISSECT(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2705                         nvap->na_size = fxdr_hyper(tl);
2706                 }
2707                 NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2708                 switch (fxdr_unsigned(int, *tl)) {
2709                 case NFSV3SATTRTIME_TOCLIENT:
2710                         NFSM_DISSECT(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2711                         fxdr_nfsv3time(tl, &nvap->na_atime);
2712                         toclient = 1;
2713                         break;
2714                 case NFSV3SATTRTIME_TOSERVER:
2715                         vfs_timestamp(&nvap->na_atime);
2716                         nvap->na_vaflags |= VA_UTIMES_NULL;
2717                         break;
2718                 }
2719                 NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2720                 switch (fxdr_unsigned(int, *tl)) {
2721                 case NFSV3SATTRTIME_TOCLIENT:
2722                         NFSM_DISSECT(tl, u_int32_t *, 2 * NFSX_UNSIGNED);
2723                         fxdr_nfsv3time(tl, &nvap->na_mtime);
2724                         nvap->na_vaflags &= ~VA_UTIMES_NULL;
2725                         break;
2726                 case NFSV3SATTRTIME_TOSERVER:
2727                         vfs_timestamp(&nvap->na_mtime);
2728                         if (!toclient)
2729                                 nvap->na_vaflags |= VA_UTIMES_NULL;
2730                         break;
2731                 }
2732                 break;
2733         case ND_NFSV4:
2734                 error = nfsv4_sattr(nd, vp, nvap, attrbitp, aclp, p);
2735         }
2736 nfsmout:
2737         NFSEXITCODE2(error, nd);
2738         return (error);
2739 }
2740
2741 /*
2742  * Handle the setable attributes for V4.
2743  * Returns NFSERR_BADXDR if it can't be parsed, 0 otherwise.
2744  */
2745 int
2746 nfsv4_sattr(struct nfsrv_descript *nd, vnode_t vp, struct nfsvattr *nvap,
2747     nfsattrbit_t *attrbitp, NFSACL_T *aclp, struct thread *p)
2748 {
2749         u_int32_t *tl;
2750         int attrsum = 0;
2751         int i, j;
2752         int error, attrsize, bitpos, aclsize, aceerr, retnotsup = 0;
2753         int moderet, toclient = 0;
2754         u_char *cp, namestr[NFSV4_SMALLSTR + 1];
2755         uid_t uid;
2756         gid_t gid;
2757         u_short mode, mask;             /* Same type as va_mode. */
2758         struct vattr va;
2759
2760         error = nfsrv_getattrbits(nd, attrbitp, NULL, &retnotsup);
2761         if (error)
2762                 goto nfsmout;
2763         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2764         attrsize = fxdr_unsigned(int, *tl);
2765
2766         /*
2767          * Loop around getting the setable attributes. If an unsupported
2768          * one is found, set nd_repstat == NFSERR_ATTRNOTSUPP and return.
2769          */
2770         if (retnotsup) {
2771                 nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2772                 bitpos = NFSATTRBIT_MAX;
2773         } else {
2774                 bitpos = 0;
2775         }
2776         moderet = 0;
2777         for (; bitpos < NFSATTRBIT_MAX; bitpos++) {
2778             if (attrsum > attrsize) {
2779                 error = NFSERR_BADXDR;
2780                 goto nfsmout;
2781             }
2782             if (NFSISSET_ATTRBIT(attrbitp, bitpos))
2783                 switch (bitpos) {
2784                 case NFSATTRBIT_SIZE:
2785                         NFSM_DISSECT(tl, u_int32_t *, NFSX_HYPER);
2786                      if (vp != NULL && vp->v_type != VREG) {
2787                             error = (vp->v_type == VDIR) ? NFSERR_ISDIR :
2788                                 NFSERR_INVAL;
2789                             goto nfsmout;
2790                         }
2791                         nvap->na_size = fxdr_hyper(tl);
2792                         attrsum += NFSX_HYPER;
2793                         break;
2794                 case NFSATTRBIT_ACL:
2795                         error = nfsrv_dissectacl(nd, aclp, &aceerr, &aclsize,
2796                             p);
2797                         if (error)
2798                                 goto nfsmout;
2799                         if (aceerr && !nd->nd_repstat)
2800                                 nd->nd_repstat = aceerr;
2801                         attrsum += aclsize;
2802                         break;
2803                 case NFSATTRBIT_ARCHIVE:
2804                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2805                         if (!nd->nd_repstat)
2806                                 nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2807                         attrsum += NFSX_UNSIGNED;
2808                         break;
2809                 case NFSATTRBIT_HIDDEN:
2810                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2811                         if (!nd->nd_repstat)
2812                                 nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2813                         attrsum += NFSX_UNSIGNED;
2814                         break;
2815                 case NFSATTRBIT_MIMETYPE:
2816                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2817                         i = fxdr_unsigned(int, *tl);
2818                         error = nfsm_advance(nd, NFSM_RNDUP(i), -1);
2819                         if (error)
2820                                 goto nfsmout;
2821                         if (!nd->nd_repstat)
2822                                 nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2823                         attrsum += (NFSX_UNSIGNED + NFSM_RNDUP(i));
2824                         break;
2825                 case NFSATTRBIT_MODE:
2826                         moderet = NFSERR_INVAL; /* Can't do MODESETMASKED. */
2827                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2828                         nvap->na_mode = nfstov_mode(*tl);
2829                         attrsum += NFSX_UNSIGNED;
2830                         break;
2831                 case NFSATTRBIT_OWNER:
2832                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2833                         j = fxdr_unsigned(int, *tl);
2834                         if (j < 0) {
2835                                 error = NFSERR_BADXDR;
2836                                 goto nfsmout;
2837                         }
2838                         if (j > NFSV4_SMALLSTR)
2839                                 cp = malloc(j + 1, M_NFSSTRING, M_WAITOK);
2840                         else
2841                                 cp = namestr;
2842                         error = nfsrv_mtostr(nd, cp, j);
2843                         if (error) {
2844                                 if (j > NFSV4_SMALLSTR)
2845                                         free(cp, M_NFSSTRING);
2846                                 goto nfsmout;
2847                         }
2848                         if (!nd->nd_repstat) {
2849                                 nd->nd_repstat = nfsv4_strtouid(nd, cp, j,
2850                                     &uid);
2851                                 if (!nd->nd_repstat)
2852                                         nvap->na_uid = uid;
2853                         }
2854                         if (j > NFSV4_SMALLSTR)
2855                                 free(cp, M_NFSSTRING);
2856                         attrsum += (NFSX_UNSIGNED + NFSM_RNDUP(j));
2857                         break;
2858                 case NFSATTRBIT_OWNERGROUP:
2859                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2860                         j = fxdr_unsigned(int, *tl);
2861                         if (j < 0) {
2862                                 error = NFSERR_BADXDR;
2863                                 goto nfsmout;
2864                         }
2865                         if (j > NFSV4_SMALLSTR)
2866                                 cp = malloc(j + 1, M_NFSSTRING, M_WAITOK);
2867                         else
2868                                 cp = namestr;
2869                         error = nfsrv_mtostr(nd, cp, j);
2870                         if (error) {
2871                                 if (j > NFSV4_SMALLSTR)
2872                                         free(cp, M_NFSSTRING);
2873                                 goto nfsmout;
2874                         }
2875                         if (!nd->nd_repstat) {
2876                                 nd->nd_repstat = nfsv4_strtogid(nd, cp, j,
2877                                     &gid);
2878                                 if (!nd->nd_repstat)
2879                                         nvap->na_gid = gid;
2880                         }
2881                         if (j > NFSV4_SMALLSTR)
2882                                 free(cp, M_NFSSTRING);
2883                         attrsum += (NFSX_UNSIGNED + NFSM_RNDUP(j));
2884                         break;
2885                 case NFSATTRBIT_SYSTEM:
2886                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2887                         if (!nd->nd_repstat)
2888                                 nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2889                         attrsum += NFSX_UNSIGNED;
2890                         break;
2891                 case NFSATTRBIT_TIMEACCESSSET:
2892                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2893                         attrsum += NFSX_UNSIGNED;
2894                         if (fxdr_unsigned(int, *tl)==NFSV4SATTRTIME_TOCLIENT) {
2895                             NFSM_DISSECT(tl, u_int32_t *, NFSX_V4TIME);
2896                             fxdr_nfsv4time(tl, &nvap->na_atime);
2897                             toclient = 1;
2898                             attrsum += NFSX_V4TIME;
2899                         } else {
2900                             vfs_timestamp(&nvap->na_atime);
2901                             nvap->na_vaflags |= VA_UTIMES_NULL;
2902                         }
2903                         break;
2904                 case NFSATTRBIT_TIMEBACKUP:
2905                         NFSM_DISSECT(tl, u_int32_t *, NFSX_V4TIME);
2906                         if (!nd->nd_repstat)
2907                                 nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2908                         attrsum += NFSX_V4TIME;
2909                         break;
2910                 case NFSATTRBIT_TIMECREATE:
2911                         NFSM_DISSECT(tl, u_int32_t *, NFSX_V4TIME);
2912                         if (!nd->nd_repstat)
2913                                 nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2914                         attrsum += NFSX_V4TIME;
2915                         break;
2916                 case NFSATTRBIT_TIMEMODIFYSET:
2917                         NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
2918                         attrsum += NFSX_UNSIGNED;
2919                         if (fxdr_unsigned(int, *tl)==NFSV4SATTRTIME_TOCLIENT) {
2920                             NFSM_DISSECT(tl, u_int32_t *, NFSX_V4TIME);
2921                             fxdr_nfsv4time(tl, &nvap->na_mtime);
2922                             nvap->na_vaflags &= ~VA_UTIMES_NULL;
2923                             attrsum += NFSX_V4TIME;
2924                         } else {
2925                             vfs_timestamp(&nvap->na_mtime);
2926                             if (!toclient)
2927                                 nvap->na_vaflags |= VA_UTIMES_NULL;
2928                         }
2929                         break;
2930                 case NFSATTRBIT_MODESETMASKED:
2931                         NFSM_DISSECT(tl, uint32_t *, 2 * NFSX_UNSIGNED);
2932                         mode = fxdr_unsigned(u_short, *tl++);
2933                         mask = fxdr_unsigned(u_short, *tl);
2934                         /*
2935                          * vp == NULL implies an Open/Create operation.
2936                          * This attribute can only be used for Setattr and
2937                          * only for NFSv4.1 or higher.
2938                          * If moderet != 0, a mode attribute has also been
2939                          * specified and this attribute cannot be done in the
2940                          * same Setattr operation.
2941                          */
2942                         if ((nd->nd_flag & ND_NFSV41) == 0)
2943                                 nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2944                         else if ((mode & ~07777) != 0 || (mask & ~07777) != 0 ||
2945                             vp == NULL)
2946                                 nd->nd_repstat = NFSERR_INVAL;
2947                         else if (moderet == 0)
2948                                 moderet = VOP_GETATTR(vp, &va, nd->nd_cred);
2949                         if (moderet == 0)
2950                                 nvap->na_mode = (mode & mask) |
2951                                     (va.va_mode & ~mask);
2952                         else
2953                                 nd->nd_repstat = moderet;
2954                         attrsum += 2 * NFSX_UNSIGNED;
2955                         break;
2956                 default:
2957                         nd->nd_repstat = NFSERR_ATTRNOTSUPP;
2958                         /*
2959                          * set bitpos so we drop out of the loop.
2960                          */
2961                         bitpos = NFSATTRBIT_MAX;
2962                         break;
2963                 }
2964         }
2965
2966         /*
2967          * some clients pad the attrlist, so we need to skip over the
2968          * padding.
2969          */
2970         if (attrsum > attrsize) {
2971                 error = NFSERR_BADXDR;
2972         } else {
2973                 attrsize = NFSM_RNDUP(attrsize);
2974                 if (attrsum < attrsize)
2975                         error = nfsm_advance(nd, attrsize - attrsum, -1);
2976         }
2977 nfsmout:
2978         NFSEXITCODE2(error, nd);
2979         return (error);
2980 }
2981
2982 /*
2983  * Check/setup export credentials.
2984  */
2985 int
2986 nfsd_excred(struct nfsrv_descript *nd, struct nfsexstuff *exp,
2987     struct ucred *credanon)
2988 {
2989         int error = 0;
2990
2991         /*
2992          * Check/setup credentials.
2993          */
2994         if (nd->nd_flag & ND_GSS)
2995                 exp->nes_exflag &= ~MNT_EXPORTANON;
2996
2997         /*
2998          * Check to see if the operation is allowed for this security flavor.
2999          * RFC2623 suggests that the NFSv3 Fsinfo RPC be allowed to
3000          * AUTH_NONE or AUTH_SYS for file systems requiring RPCSEC_GSS.
3001          * Also, allow Secinfo, so that it can acquire the correct flavor(s).
3002          */
3003         if (nfsvno_testexp(nd, exp) &&
3004             nd->nd_procnum != NFSV4OP_SECINFO &&
3005             nd->nd_procnum != NFSPROC_FSINFO) {
3006                 if (nd->nd_flag & ND_NFSV4)
3007                         error = NFSERR_WRONGSEC;
3008                 else
3009                         error = (NFSERR_AUTHERR | AUTH_TOOWEAK);
3010                 goto out;
3011         }
3012
3013         /*
3014          * Check to see if the file system is exported V4 only.
3015          */
3016         if (NFSVNO_EXV4ONLY(exp) && !(nd->nd_flag & ND_NFSV4)) {
3017                 error = NFSERR_PROGNOTV4;
3018                 goto out;
3019         }
3020
3021         /*
3022          * Now, map the user credentials.
3023          * (Note that ND_AUTHNONE will only be set for an NFSv3
3024          *  Fsinfo RPC. If set for anything else, this code might need
3025          *  to change.)
3026          */
3027         if (NFSVNO_EXPORTED(exp)) {
3028                 if (((nd->nd_flag & ND_GSS) == 0 && nd->nd_cred->cr_uid == 0) ||
3029                      NFSVNO_EXPORTANON(exp) ||
3030                      (nd->nd_flag & ND_AUTHNONE) != 0) {
3031                         nd->nd_cred->cr_uid = credanon->cr_uid;
3032                         nd->nd_cred->cr_gid = credanon->cr_gid;
3033                         crsetgroups(nd->nd_cred, credanon->cr_ngroups,
3034                             credanon->cr_groups);
3035                 } else if ((nd->nd_flag & ND_GSS) == 0) {
3036                         /*
3037                          * If using AUTH_SYS, call nfsrv_getgrpscred() to see
3038                          * if there is a replacement credential with a group
3039                          * list set up by "nfsuserd -manage-gids".
3040                          * If there is no replacement, nfsrv_getgrpscred()
3041                          * simply returns its argument.
3042                          */
3043                         nd->nd_cred = nfsrv_getgrpscred(nd->nd_cred);
3044                 }
3045         }
3046
3047 out:
3048         NFSEXITCODE2(error, nd);
3049         return (error);
3050 }
3051
3052 /*
3053  * Check exports.
3054  */
3055 int
3056 nfsvno_checkexp(struct mount *mp, struct sockaddr *nam, struct nfsexstuff *exp,
3057     struct ucred **credp)
3058 {
3059         int i, error, *secflavors;
3060
3061         error = VFS_CHECKEXP(mp, nam, &exp->nes_exflag, credp,
3062             &exp->nes_numsecflavor, &secflavors);
3063         if (error) {
3064                 if (nfs_rootfhset) {
3065                         exp->nes_exflag = 0;
3066                         exp->nes_numsecflavor = 0;
3067                         error = 0;
3068                 }
3069         } else if (exp->nes_numsecflavor < 1 || exp->nes_numsecflavor >
3070             MAXSECFLAVORS) {
3071                 printf("nfsvno_checkexp: numsecflavors out of range\n");
3072                 exp->nes_numsecflavor = 0;
3073                 error = EACCES;
3074         } else {
3075                 /* Copy the security flavors. */
3076                 for (i = 0; i < exp->nes_numsecflavor; i++)
3077                         exp->nes_secflavors[i] = secflavors[i];
3078         }
3079         NFSEXITCODE(error);
3080         return (error);
3081 }
3082
3083 /*
3084  * Get a vnode for a file handle and export stuff.
3085  */
3086 int
3087 nfsvno_fhtovp(struct mount *mp, fhandle_t *fhp, struct sockaddr *nam,
3088     int lktype, struct vnode **vpp, struct nfsexstuff *exp,
3089     struct ucred **credp)
3090 {
3091         int i, error, *secflavors;
3092
3093         *credp = NULL;
3094         exp->nes_numsecflavor = 0;
3095         error = VFS_FHTOVP(mp, &fhp->fh_fid, lktype, vpp);
3096         if (error != 0)
3097                 /* Make sure the server replies ESTALE to the client. */
3098                 error = ESTALE;
3099         if (nam && !error) {
3100                 error = VFS_CHECKEXP(mp, nam, &exp->nes_exflag, credp,
3101                     &exp->nes_numsecflavor, &secflavors);
3102                 if (error) {
3103                         if (nfs_rootfhset) {
3104                                 exp->nes_exflag = 0;
3105                                 exp->nes_numsecflavor = 0;
3106                                 error = 0;
3107                         } else {
3108                                 vput(*vpp);
3109                         }
3110                 } else if (exp->nes_numsecflavor < 1 || exp->nes_numsecflavor >
3111                     MAXSECFLAVORS) {
3112                         printf("nfsvno_fhtovp: numsecflavors out of range\n");
3113                         exp->nes_numsecflavor = 0;
3114                         error = EACCES;
3115                         vput(*vpp);
3116                 } else {
3117                         /* Copy the security flavors. */
3118                         for (i = 0; i < exp->nes_numsecflavor; i++)
3119                                 exp->nes_secflavors[i] = secflavors[i];
3120                 }
3121         }
3122         NFSEXITCODE(error);
3123         return (error);
3124 }
3125
3126 /*
3127  * nfsd_fhtovp() - convert a fh to a vnode ptr
3128  *      - look up fsid in mount list (if not found ret error)
3129  *      - get vp and export rights by calling nfsvno_fhtovp()
3130  *      - if cred->cr_uid == 0 or MNT_EXPORTANON set it to credanon
3131  *        for AUTH_SYS
3132  *      - if mpp != NULL, return the mount point so that it can
3133  *        be used for vn_finished_write() by the caller
3134  */
3135 void
3136 nfsd_fhtovp(struct nfsrv_descript *nd, struct nfsrvfh *nfp, int lktype,
3137     struct vnode **vpp, struct nfsexstuff *exp,
3138     struct mount **mpp, int startwrite)
3139 {
3140         struct mount *mp;
3141         struct ucred *credanon;
3142         fhandle_t *fhp;
3143
3144         fhp = (fhandle_t *)nfp->nfsrvfh_data;
3145         /*
3146          * Check for the special case of the nfsv4root_fh.
3147          */
3148         mp = vfs_busyfs(&fhp->fh_fsid);
3149         if (mpp != NULL)
3150                 *mpp = mp;
3151         if (mp == NULL) {
3152                 *vpp = NULL;
3153                 nd->nd_repstat = ESTALE;
3154                 goto out;
3155         }
3156
3157         if (startwrite) {
3158                 vn_start_write(NULL, mpp, V_WAIT);
3159                 if (lktype == LK_SHARED && !(MNT_SHARED_WRITES(mp)))
3160                         lktype = LK_EXCLUSIVE;
3161         }
3162         nd->nd_repstat = nfsvno_fhtovp(mp, fhp, nd->nd_nam, lktype, vpp, exp,
3163             &credanon);
3164         vfs_unbusy(mp);
3165
3166         /*
3167          * For NFSv4 without a pseudo root fs, unexported file handles
3168          * can be returned, so that Lookup works everywhere.
3169          */
3170         if (!nd->nd_repstat && exp->nes_exflag == 0 &&
3171             !(nd->nd_flag & ND_NFSV4)) {
3172                 vput(*vpp);
3173                 nd->nd_repstat = EACCES;
3174         }
3175
3176         /*
3177          * Personally, I've never seen any point in requiring a
3178          * reserved port#, since only in the rare case where the
3179          * clients are all boxes with secure system privileges,
3180          * does it provide any enhanced security, but... some people
3181          * believe it to be useful and keep putting this code back in.
3182          * (There is also some "security checker" out there that
3183          *  complains if the nfs server doesn't enforce this.)
3184          * However, note the following:
3185          * RFC3530 (NFSv4) specifies that a reserved port# not be
3186          *      required.
3187          * RFC2623 recommends that, if a reserved port# is checked for,
3188          *      that there be a way to turn that off--> ifdef'd.
3189          */
3190 #ifdef NFS_REQRSVPORT
3191         if (!nd->nd_repstat) {
3192                 struct sockaddr_in *saddr;
3193                 struct sockaddr_in6 *saddr6;
3194
3195                 saddr = NFSSOCKADDR(nd->nd_nam, struct sockaddr_in *);
3196                 saddr6 = NFSSOCKADDR(nd->nd_nam, struct sockaddr_in6 *);
3197                 if (!(nd->nd_flag & ND_NFSV4) &&
3198                     ((saddr->sin_family == AF_INET &&
3199                       ntohs(saddr->sin_port) >= IPPORT_RESERVED) ||
3200                      (saddr6->sin6_family == AF_INET6 &&
3201                       ntohs(saddr6->sin6_port) >= IPPORT_RESERVED))) {
3202                         vput(*vpp);
3203                         nd->nd_repstat = (NFSERR_AUTHERR | AUTH_TOOWEAK);
3204                 }
3205         }
3206 #endif  /* NFS_REQRSVPORT */
3207
3208         /*
3209          * Check/setup credentials.
3210          */
3211         if (!nd->nd_repstat) {
3212                 nd->nd_saveduid = nd->nd_cred->cr_uid;
3213                 nd->nd_repstat = nfsd_excred(nd, exp, credanon);
3214                 if (nd->nd_repstat)
3215                         vput(*vpp);
3216         }
3217         if (credanon != NULL)
3218                 crfree(credanon);
3219         if (nd->nd_repstat) {
3220                 if (startwrite)
3221                         vn_finished_write(mp);
3222                 *vpp = NULL;
3223                 if (mpp != NULL)
3224                         *mpp = NULL;
3225         }
3226
3227 out:
3228         NFSEXITCODE2(0, nd);
3229 }
3230
3231 /*
3232  * glue for fp.
3233  */
3234 static int
3235 fp_getfvp(struct thread *p, int fd, struct file **fpp, struct vnode **vpp)
3236 {
3237         struct filedesc *fdp;
3238         struct file *fp;
3239         int error = 0;
3240
3241         fdp = p->td_proc->p_fd;
3242         if (fd < 0 || fd >= fdp->fd_nfiles ||
3243             (fp = fdp->fd_ofiles[fd].fde_file) == NULL) {
3244                 error = EBADF;
3245                 goto out;
3246         }
3247         *fpp = fp;
3248
3249 out:
3250         NFSEXITCODE(error);
3251         return (error);
3252 }
3253
3254 /*
3255  * Called from nfssvc() to update the exports list. Just call
3256  * vfs_export(). This has to be done, since the v4 root fake fs isn't
3257  * in the mount list.
3258  */
3259 int
3260 nfsrv_v4rootexport(void *argp, struct ucred *cred, struct thread *p)
3261 {
3262         struct nfsex_args *nfsexargp = (struct nfsex_args *)argp;
3263         int error = 0;
3264         struct nameidata nd;
3265         fhandle_t fh;
3266
3267         error = vfs_export(&nfsv4root_mnt, &nfsexargp->export);
3268         if ((nfsexargp->export.ex_flags & MNT_DELEXPORT) != 0)
3269                 nfs_rootfhset = 0;
3270         else if (error == 0) {
3271                 if (nfsexargp->fspec == NULL) {
3272                         error = EPERM;
3273                         goto out;
3274                 }
3275                 /*
3276                  * If fspec != NULL, this is the v4root path.
3277                  */
3278                 NDINIT(&nd, LOOKUP, FOLLOW, UIO_USERSPACE,
3279                     nfsexargp->fspec, p);
3280                 if ((error = namei(&nd)) != 0)
3281                         goto out;
3282                 error = nfsvno_getfh(nd.ni_vp, &fh, p);
3283                 vrele(nd.ni_vp);
3284                 if (!error) {
3285                         nfs_rootfh.nfsrvfh_len = NFSX_MYFH;
3286                         NFSBCOPY((caddr_t)&fh,
3287                             nfs_rootfh.nfsrvfh_data,
3288                             sizeof (fhandle_t));
3289                         nfs_rootfhset = 1;
3290                 }
3291         }
3292
3293 out:
3294         NFSEXITCODE(error);
3295         return (error);
3296 }
3297
3298 /*
3299  * This function needs to test to see if the system is near its limit
3300  * for memory allocation via malloc() or mget() and return True iff
3301  * either of these resources are near their limit.
3302  * XXX (For now, this is just a stub.)
3303  */
3304 int nfsrv_testmalloclimit = 0;
3305 int
3306 nfsrv_mallocmget_limit(void)
3307 {
3308         static int printmesg = 0;
3309         static int testval = 1;
3310
3311         if (nfsrv_testmalloclimit && (testval++ % 1000) == 0) {
3312                 if ((printmesg++ % 100) == 0)
3313                         printf("nfsd: malloc/mget near limit\n");
3314                 return (1);
3315         }
3316         return (0);
3317 }
3318
3319 /*
3320  * BSD specific initialization of a mount point.
3321  */
3322 void
3323 nfsd_mntinit(void)
3324 {
3325         static int inited = 0;
3326
3327         if (inited)
3328                 return;
3329         inited = 1;
3330         nfsv4root_mnt.mnt_flag = (MNT_RDONLY | MNT_EXPORTED);
3331         TAILQ_INIT(&nfsv4root_mnt.mnt_nvnodelist);
3332         TAILQ_INIT(&nfsv4root_mnt.mnt_lazyvnodelist);
3333         nfsv4root_mnt.mnt_export = NULL;
3334         TAILQ_INIT(&nfsv4root_opt);
3335         TAILQ_INIT(&nfsv4root_newopt);
3336         nfsv4root_mnt.mnt_opt = &nfsv4root_opt;
3337         nfsv4root_mnt.mnt_optnew = &nfsv4root_newopt;
3338         nfsv4root_mnt.mnt_nvnodelistsize = 0;
3339         nfsv4root_mnt.mnt_lazyvnodelistsize = 0;
3340 }
3341
3342 /*
3343  * Get a vnode for a file handle, without checking exports, etc.
3344  */
3345 struct vnode *
3346 nfsvno_getvp(fhandle_t *fhp)
3347 {
3348         struct mount *mp;
3349         struct vnode *vp;
3350         int error;
3351
3352         mp = vfs_busyfs(&fhp->fh_fsid);
3353         if (mp == NULL)
3354                 return (NULL);
3355         error = VFS_FHTOVP(mp, &fhp->fh_fid, LK_EXCLUSIVE, &vp);
3356         vfs_unbusy(mp);
3357         if (error)
3358                 return (NULL);
3359         return (vp);
3360 }
3361
3362 /*
3363  * Do a local VOP_ADVLOCK().
3364  */
3365 int
3366 nfsvno_advlock(struct vnode *vp, int ftype, u_int64_t first,
3367     u_int64_t end, struct thread *td)
3368 {
3369         int error = 0;
3370         struct flock fl;
3371         u_int64_t tlen;
3372
3373         if (nfsrv_dolocallocks == 0)
3374                 goto out;
3375         ASSERT_VOP_UNLOCKED(vp, "nfsvno_advlock: vp locked");
3376
3377         fl.l_whence = SEEK_SET;
3378         fl.l_type = ftype;
3379         fl.l_start = (off_t)first;
3380         if (end == NFS64BITSSET) {
3381                 fl.l_len = 0;
3382         } else {
3383                 tlen = end - first;
3384                 fl.l_len = (off_t)tlen;
3385         }
3386         /*
3387          * For FreeBSD8, the l_pid and l_sysid must be set to the same
3388          * values for all calls, so that all locks will be held by the
3389          * nfsd server. (The nfsd server handles conflicts between the
3390          * various clients.)
3391          * Since an NFSv4 lockowner is a ClientID plus an array of up to 1024
3392          * bytes, so it can't be put in l_sysid.
3393          */
3394         if (nfsv4_sysid == 0)
3395                 nfsv4_sysid = nlm_acquire_next_sysid();
3396         fl.l_pid = (pid_t)0;
3397         fl.l_sysid = (int)nfsv4_sysid;
3398
3399         if (ftype == F_UNLCK)
3400                 error = VOP_ADVLOCK(vp, (caddr_t)td->td_proc, F_UNLCK, &fl,
3401                     (F_POSIX | F_REMOTE));
3402         else
3403                 error = VOP_ADVLOCK(vp, (caddr_t)td->td_proc, F_SETLK, &fl,
3404                     (F_POSIX | F_REMOTE));
3405
3406 out:
3407         NFSEXITCODE(error);
3408         return (error);
3409 }
3410
3411 /*
3412  * Check the nfsv4 root exports.
3413  */
3414 int
3415 nfsvno_v4rootexport(struct nfsrv_descript *nd)
3416 {
3417         struct ucred *credanon;
3418         int exflags, error = 0, numsecflavor, *secflavors, i;
3419
3420         error = vfs_stdcheckexp(&nfsv4root_mnt, nd->nd_nam, &exflags,
3421             &credanon, &numsecflavor, &secflavors);
3422         if (error) {
3423                 error = NFSERR_PROGUNAVAIL;
3424                 goto out;
3425         }
3426         if (credanon != NULL)
3427                 crfree(credanon);
3428         for (i = 0; i < numsecflavor; i++) {
3429                 if (secflavors[i] == AUTH_SYS)
3430                         nd->nd_flag |= ND_EXAUTHSYS;
3431                 else if (secflavors[i] == RPCSEC_GSS_KRB5)
3432                         nd->nd_flag |= ND_EXGSS;
3433                 else if (secflavors[i] == RPCSEC_GSS_KRB5I)
3434                         nd->nd_flag |= ND_EXGSSINTEGRITY;
3435                 else if (secflavors[i] == RPCSEC_GSS_KRB5P)
3436                         nd->nd_flag |= ND_EXGSSPRIVACY;
3437         }
3438
3439 out:
3440         NFSEXITCODE(error);
3441         return (error);
3442 }
3443
3444 /*
3445  * Nfs server pseudo system call for the nfsd's
3446  */
3447 /*
3448  * MPSAFE
3449  */
3450 static int
3451 nfssvc_nfsd(struct thread *td, struct nfssvc_args *uap)
3452 {
3453         struct file *fp;
3454         struct nfsd_addsock_args sockarg;
3455         struct nfsd_nfsd_args nfsdarg;
3456         struct nfsd_nfsd_oargs onfsdarg;
3457         struct nfsd_pnfsd_args pnfsdarg;
3458         struct vnode *vp, *nvp, *curdvp;
3459         struct pnfsdsfile *pf;
3460         struct nfsdevice *ds, *fds;
3461         cap_rights_t rights;
3462         int buflen, error, ret;
3463         char *buf, *cp, *cp2, *cp3;
3464         char fname[PNFS_FILENAME_LEN + 1];
3465
3466         if (uap->flag & NFSSVC_NFSDADDSOCK) {
3467                 error = copyin(uap->argp, (caddr_t)&sockarg, sizeof (sockarg));
3468                 if (error)
3469                         goto out;
3470                 /*
3471                  * Since we don't know what rights might be required,
3472                  * pretend that we need them all. It is better to be too
3473                  * careful than too reckless.
3474                  */
3475                 error = fget(td, sockarg.sock,
3476                     cap_rights_init(&rights, CAP_SOCK_SERVER), &fp);
3477                 if (error != 0)
3478                         goto out;
3479                 if (fp->f_type != DTYPE_SOCKET) {
3480                         fdrop(fp, td);
3481                         error = EPERM;
3482                         goto out;
3483                 }
3484                 error = nfsrvd_addsock(fp);
3485                 fdrop(fp, td);
3486         } else if (uap->flag & NFSSVC_NFSDNFSD) {
3487                 if (uap->argp == NULL) {
3488                         error = EINVAL;
3489                         goto out;
3490                 }
3491                 if ((uap->flag & NFSSVC_NEWSTRUCT) == 0) {
3492                         error = copyin(uap->argp, &onfsdarg, sizeof(onfsdarg));
3493                         if (error == 0) {
3494                                 nfsdarg.principal = onfsdarg.principal;
3495                                 nfsdarg.minthreads = onfsdarg.minthreads;
3496                                 nfsdarg.maxthreads = onfsdarg.maxthreads;
3497                                 nfsdarg.version = 1;
3498                                 nfsdarg.addr = NULL;
3499                                 nfsdarg.addrlen = 0;
3500                                 nfsdarg.dnshost = NULL;
3501                                 nfsdarg.dnshostlen = 0;
3502                                 nfsdarg.dspath = NULL;
3503                                 nfsdarg.dspathlen = 0;
3504                                 nfsdarg.mdspath = NULL;
3505                                 nfsdarg.mdspathlen = 0;
3506                                 nfsdarg.mirrorcnt = 1;
3507                         }
3508                 } else
3509                         error = copyin(uap->argp, &nfsdarg, sizeof(nfsdarg));
3510                 if (error)
3511                         goto out;
3512                 if (nfsdarg.addrlen > 0 && nfsdarg.addrlen < 10000 &&
3513                     nfsdarg.dnshostlen > 0 && nfsdarg.dnshostlen < 10000 &&
3514                     nfsdarg.dspathlen > 0 && nfsdarg.dspathlen < 10000 &&
3515                     nfsdarg.mdspathlen > 0 && nfsdarg.mdspathlen < 10000 &&
3516                     nfsdarg.mirrorcnt >= 1 &&
3517                     nfsdarg.mirrorcnt <= NFSDEV_MAXMIRRORS &&
3518                     nfsdarg.addr != NULL && nfsdarg.dnshost != NULL &&
3519                     nfsdarg.dspath != NULL && nfsdarg.mdspath != NULL) {
3520                         NFSD_DEBUG(1, "addrlen=%d dspathlen=%d dnslen=%d"
3521                             " mdspathlen=%d mirrorcnt=%d\n", nfsdarg.addrlen,
3522                             nfsdarg.dspathlen, nfsdarg.dnshostlen,
3523                             nfsdarg.mdspathlen, nfsdarg.mirrorcnt);
3524                         cp = malloc(nfsdarg.addrlen + 1, M_TEMP, M_WAITOK);
3525                         error = copyin(nfsdarg.addr, cp, nfsdarg.addrlen);
3526                         if (error != 0) {
3527                                 free(cp, M_TEMP);
3528                                 goto out;
3529                         }
3530                         cp[nfsdarg.addrlen] = '\0';     /* Ensure nul term. */
3531                         nfsdarg.addr = cp;
3532                         cp = malloc(nfsdarg.dnshostlen + 1, M_TEMP, M_WAITOK);
3533                         error = copyin(nfsdarg.dnshost, cp, nfsdarg.dnshostlen);
3534                         if (error != 0) {
3535                                 free(nfsdarg.addr, M_TEMP);
3536                                 free(cp, M_TEMP);
3537                                 goto out;
3538                         }
3539                         cp[nfsdarg.dnshostlen] = '\0';  /* Ensure nul term. */
3540                         nfsdarg.dnshost = cp;
3541                         cp = malloc(nfsdarg.dspathlen + 1, M_TEMP, M_WAITOK);
3542                         error = copyin(nfsdarg.dspath, cp, nfsdarg.dspathlen);
3543                         if (error != 0) {
3544                                 free(nfsdarg.addr, M_TEMP);
3545                                 free(nfsdarg.dnshost, M_TEMP);
3546                                 free(cp, M_TEMP);
3547                                 goto out;
3548                         }
3549                         cp[nfsdarg.dspathlen] = '\0';   /* Ensure nul term. */
3550                         nfsdarg.dspath = cp;
3551                         cp = malloc(nfsdarg.mdspathlen + 1, M_TEMP, M_WAITOK);
3552                         error = copyin(nfsdarg.mdspath, cp, nfsdarg.mdspathlen);
3553                         if (error != 0) {
3554                                 free(nfsdarg.addr, M_TEMP);
3555                                 free(nfsdarg.dnshost, M_TEMP);
3556                                 free(nfsdarg.dspath, M_TEMP);
3557                                 free(cp, M_TEMP);
3558                                 goto out;
3559                         }
3560                         cp[nfsdarg.mdspathlen] = '\0';  /* Ensure nul term. */
3561                         nfsdarg.mdspath = cp;
3562                 } else {
3563                         nfsdarg.addr = NULL;
3564                         nfsdarg.addrlen = 0;
3565                         nfsdarg.dnshost = NULL;
3566                         nfsdarg.dnshostlen = 0;
3567                         nfsdarg.dspath = NULL;
3568                         nfsdarg.dspathlen = 0;
3569                         nfsdarg.mdspath = NULL;
3570                         nfsdarg.mdspathlen = 0;
3571                         nfsdarg.mirrorcnt = 1;
3572                 }
3573                 error = nfsrvd_nfsd(td, &nfsdarg);
3574                 free(nfsdarg.addr, M_TEMP);
3575                 free(nfsdarg.dnshost, M_TEMP);
3576                 free(nfsdarg.dspath, M_TEMP);
3577                 free(nfsdarg.mdspath, M_TEMP);
3578         } else if (uap->flag & NFSSVC_PNFSDS) {
3579                 error = copyin(uap->argp, &pnfsdarg, sizeof(pnfsdarg));
3580                 if (error == 0 && (pnfsdarg.op == PNFSDOP_DELDSSERVER ||
3581                     pnfsdarg.op == PNFSDOP_FORCEDELDS)) {
3582                         cp = malloc(PATH_MAX + 1, M_TEMP, M_WAITOK);
3583                         error = copyinstr(pnfsdarg.dspath, cp, PATH_MAX + 1,
3584                             NULL);
3585                         if (error == 0)
3586                                 error = nfsrv_deldsserver(pnfsdarg.op, cp, td);
3587                         free(cp, M_TEMP);
3588                 } else if (error == 0 && pnfsdarg.op == PNFSDOP_COPYMR) {
3589                         cp = malloc(PATH_MAX + 1, M_TEMP, M_WAITOK);
3590                         buflen = sizeof(*pf) * NFSDEV_MAXMIRRORS;
3591                         buf = malloc(buflen, M_TEMP, M_WAITOK);
3592                         error = copyinstr(pnfsdarg.mdspath, cp, PATH_MAX + 1,
3593                             NULL);
3594                         NFSD_DEBUG(4, "pnfsdcopymr cp mdspath=%d\n", error);
3595                         if (error == 0 && pnfsdarg.dspath != NULL) {
3596                                 cp2 = malloc(PATH_MAX + 1, M_TEMP, M_WAITOK);
3597                                 error = copyinstr(pnfsdarg.dspath, cp2,
3598                                     PATH_MAX + 1, NULL);
3599                                 NFSD_DEBUG(4, "pnfsdcopymr cp dspath=%d\n",
3600                                     error);
3601                         } else
3602                                 cp2 = NULL;
3603                         if (error == 0 && pnfsdarg.curdspath != NULL) {
3604                                 cp3 = malloc(PATH_MAX + 1, M_TEMP, M_WAITOK);
3605                                 error = copyinstr(pnfsdarg.curdspath, cp3,
3606                                     PATH_MAX + 1, NULL);
3607                                 NFSD_DEBUG(4, "pnfsdcopymr cp curdspath=%d\n",
3608                                     error);
3609                         } else
3610                                 cp3 = NULL;
3611                         curdvp = NULL;
3612                         fds = NULL;
3613                         if (error == 0)
3614                                 error = nfsrv_mdscopymr(cp, cp2, cp3, buf,
3615                                     &buflen, fname, td, &vp, &nvp, &pf, &ds,
3616                                     &fds);
3617                         NFSD_DEBUG(4, "nfsrv_mdscopymr=%d\n", error);
3618                         if (error == 0) {
3619                                 if (pf->dsf_dir >= nfsrv_dsdirsize) {
3620                                         printf("copymr: dsdir out of range\n");
3621                                         pf->dsf_dir = 0;
3622                                 }
3623                                 NFSD_DEBUG(4, "copymr: buflen=%d\n", buflen);
3624                                 error = nfsrv_copymr(vp, nvp,
3625                                     ds->nfsdev_dsdir[pf->dsf_dir], ds, pf,
3626                                     (struct pnfsdsfile *)buf,
3627                                     buflen / sizeof(*pf), td->td_ucred, td);
3628                                 vput(vp);
3629                                 vput(nvp);
3630                                 if (fds != NULL && error == 0) {
3631                                         curdvp = fds->nfsdev_dsdir[pf->dsf_dir];
3632                                         ret = vn_lock(curdvp, LK_EXCLUSIVE);
3633                                         if (ret == 0) {
3634                                                 nfsrv_dsremove(curdvp, fname,
3635                                                     td->td_ucred, td);
3636                                                 NFSVOPUNLOCK(curdvp);
3637                                         }
3638                                 }
3639                                 NFSD_DEBUG(4, "nfsrv_copymr=%d\n", error);
3640                         }
3641                         free(cp, M_TEMP);
3642                         free(cp2, M_TEMP);
3643                         free(cp3, M_TEMP);
3644                         free(buf, M_TEMP);
3645                 }
3646         } else {
3647                 error = nfssvc_srvcall(td, uap, td->td_ucred);
3648         }
3649
3650 out:
3651         NFSEXITCODE(error);
3652         return (error);
3653 }
3654
3655 static int
3656 nfssvc_srvcall(struct thread *p, struct nfssvc_args *uap, struct ucred *cred)
3657 {
3658         struct nfsex_args export;
3659         struct file *fp = NULL;
3660         int stablefd, len;
3661         struct nfsd_clid adminrevoke;
3662         struct nfsd_dumplist dumplist;
3663         struct nfsd_dumpclients *dumpclients;
3664         struct nfsd_dumplocklist dumplocklist;
3665         struct nfsd_dumplocks *dumplocks;
3666         struct nameidata nd;
3667         vnode_t vp;
3668         int error = EINVAL, igotlock;
3669         struct proc *procp;
3670         static int suspend_nfsd = 0;
3671
3672         if (uap->flag & NFSSVC_PUBLICFH) {
3673                 NFSBZERO((caddr_t)&nfs_pubfh.nfsrvfh_data,
3674                     sizeof (fhandle_t));
3675                 error = copyin(uap->argp,
3676                     &nfs_pubfh.nfsrvfh_data, sizeof (fhandle_t));
3677                 if (!error)
3678                         nfs_pubfhset = 1;
3679         } else if (uap->flag & NFSSVC_V4ROOTEXPORT) {
3680                 error = copyin(uap->argp,(caddr_t)&export,
3681                     sizeof (struct nfsex_args));
3682                 if (!error)
3683                         error = nfsrv_v4rootexport(&export, cred, p);
3684         } else if (uap->flag & NFSSVC_NOPUBLICFH) {
3685                 nfs_pubfhset = 0;
3686                 error = 0;
3687         } else if (uap->flag & NFSSVC_STABLERESTART) {
3688                 error = copyin(uap->argp, (caddr_t)&stablefd,
3689                     sizeof (int));
3690                 if (!error)
3691                         error = fp_getfvp(p, stablefd, &fp, &vp);
3692                 if (!error && (NFSFPFLAG(fp) & (FREAD | FWRITE)) != (FREAD | FWRITE))
3693                         error = EBADF;
3694                 if (!error && newnfs_numnfsd != 0)
3695                         error = EPERM;
3696                 if (!error) {
3697                         nfsrv_stablefirst.nsf_fp = fp;
3698                         nfsrv_setupstable(p);
3699                 }
3700         } else if (uap->flag & NFSSVC_ADMINREVOKE) {
3701                 error = copyin(uap->argp, (caddr_t)&adminrevoke,
3702                     sizeof (struct nfsd_clid));
3703                 if (!error)
3704                         error = nfsrv_adminrevoke(&adminrevoke, p);
3705         } else if (uap->flag & NFSSVC_DUMPCLIENTS) {
3706                 error = copyin(uap->argp, (caddr_t)&dumplist,
3707                     sizeof (struct nfsd_dumplist));
3708                 if (!error && (dumplist.ndl_size < 1 ||
3709                         dumplist.ndl_size > NFSRV_MAXDUMPLIST))
3710                         error = EPERM;
3711                 if (!error) {
3712                     len = sizeof (struct nfsd_dumpclients) * dumplist.ndl_size;
3713                     dumpclients = malloc(len, M_TEMP, M_WAITOK | M_ZERO);
3714                     nfsrv_dumpclients(dumpclients, dumplist.ndl_size);
3715                     error = copyout(dumpclients, dumplist.ndl_list, len);
3716                     free(dumpclients, M_TEMP);
3717                 }
3718         } else if (uap->flag & NFSSVC_DUMPLOCKS) {
3719                 error = copyin(uap->argp, (caddr_t)&dumplocklist,
3720                     sizeof (struct nfsd_dumplocklist));
3721                 if (!error && (dumplocklist.ndllck_size < 1 ||
3722                         dumplocklist.ndllck_size > NFSRV_MAXDUMPLIST))
3723                         error = EPERM;
3724                 if (!error)
3725                         error = nfsrv_lookupfilename(&nd,
3726                                 dumplocklist.ndllck_fname, p);
3727                 if (!error) {
3728                         len = sizeof (struct nfsd_dumplocks) *
3729                                 dumplocklist.ndllck_size;
3730                         dumplocks = malloc(len, M_TEMP, M_WAITOK | M_ZERO);
3731                         nfsrv_dumplocks(nd.ni_vp, dumplocks,
3732                             dumplocklist.ndllck_size, p);
3733                         vput(nd.ni_vp);
3734                         error = copyout(dumplocks, dumplocklist.ndllck_list,
3735                             len);
3736                         free(dumplocks, M_TEMP);
3737                 }
3738         } else if (uap->flag & NFSSVC_BACKUPSTABLE) {
3739                 procp = p->td_proc;
3740                 PROC_LOCK(procp);
3741                 nfsd_master_pid = procp->p_pid;
3742                 bcopy(procp->p_comm, nfsd_master_comm, MAXCOMLEN + 1);
3743                 nfsd_master_start = procp->p_stats->p_start;
3744                 nfsd_master_proc = procp;
3745                 PROC_UNLOCK(procp);
3746         } else if ((uap->flag & NFSSVC_SUSPENDNFSD) != 0) {
3747                 NFSLOCKV4ROOTMUTEX();
3748                 if (suspend_nfsd == 0) {
3749                         /* Lock out all nfsd threads */
3750                         do {
3751                                 igotlock = nfsv4_lock(&nfsd_suspend_lock, 1,
3752                                     NULL, NFSV4ROOTLOCKMUTEXPTR, NULL);
3753                         } while (igotlock == 0 && suspend_nfsd == 0);
3754                         suspend_nfsd = 1;
3755                 }
3756                 NFSUNLOCKV4ROOTMUTEX();
3757                 error = 0;
3758         } else if ((uap->flag & NFSSVC_RESUMENFSD) != 0) {
3759                 NFSLOCKV4ROOTMUTEX();
3760                 if (suspend_nfsd != 0) {
3761                         nfsv4_unlock(&nfsd_suspend_lock, 0);
3762                         suspend_nfsd = 0;
3763                 }
3764                 NFSUNLOCKV4ROOTMUTEX();
3765                 error = 0;
3766         }
3767
3768         NFSEXITCODE(error);
3769         return (error);
3770 }
3771
3772 /*
3773  * Check exports.
3774  * Returns 0 if ok, 1 otherwise.
3775  */
3776 int
3777 nfsvno_testexp(struct nfsrv_descript *nd, struct nfsexstuff *exp)
3778 {
3779         int i;
3780
3781         /*
3782          * This seems odd, but allow the case where the security flavor
3783          * list is empty. This happens when NFSv4 is traversing non-exported
3784          * file systems. Exported file systems should always have a non-empty
3785          * security flavor list.
3786          */
3787         if (exp->nes_numsecflavor == 0)
3788                 return (0);
3789
3790         for (i = 0; i < exp->nes_numsecflavor; i++) {
3791                 /*
3792                  * The tests for privacy and integrity must be first,
3793                  * since ND_GSS is set for everything but AUTH_SYS.
3794                  */
3795                 if (exp->nes_secflavors[i] == RPCSEC_GSS_KRB5P &&
3796                     (nd->nd_flag & ND_GSSPRIVACY))
3797                         return (0);
3798                 if (exp->nes_secflavors[i] == RPCSEC_GSS_KRB5I &&
3799                     (nd->nd_flag & ND_GSSINTEGRITY))
3800                         return (0);
3801                 if (exp->nes_secflavors[i] == RPCSEC_GSS_KRB5 &&
3802                     (nd->nd_flag & ND_GSS))
3803                         return (0);
3804                 if (exp->nes_secflavors[i] == AUTH_SYS &&
3805                     (nd->nd_flag & ND_GSS) == 0)
3806                         return (0);
3807         }
3808         return (1);
3809 }
3810
3811 /*
3812  * Calculate a hash value for the fid in a file handle.
3813  */
3814 uint32_t
3815 nfsrv_hashfh(fhandle_t *fhp)
3816 {
3817         uint32_t hashval;
3818
3819         hashval = hash32_buf(&fhp->fh_fid, sizeof(struct fid), 0);
3820         return (hashval);
3821 }
3822
3823 /*
3824  * Calculate a hash value for the sessionid.
3825  */
3826 uint32_t
3827 nfsrv_hashsessionid(uint8_t *sessionid)
3828 {
3829         uint32_t hashval;
3830
3831         hashval = hash32_buf(sessionid, NFSX_V4SESSIONID, 0);
3832         return (hashval);
3833 }
3834
3835 /*
3836  * Signal the userland master nfsd to backup the stable restart file.
3837  */
3838 void
3839 nfsrv_backupstable(void)
3840 {
3841         struct proc *procp;
3842
3843         if (nfsd_master_proc != NULL) {
3844                 procp = pfind(nfsd_master_pid);
3845                 /* Try to make sure it is the correct process. */
3846                 if (procp == nfsd_master_proc &&
3847                     procp->p_stats->p_start.tv_sec ==
3848                     nfsd_master_start.tv_sec &&
3849                     procp->p_stats->p_start.tv_usec ==
3850                     nfsd_master_start.tv_usec &&
3851                     strcmp(procp->p_comm, nfsd_master_comm) == 0)
3852                         kern_psignal(procp, SIGUSR2);
3853                 else
3854                         nfsd_master_proc = NULL;
3855
3856                 if (procp != NULL)
3857                         PROC_UNLOCK(procp);
3858         }
3859 }
3860
3861 /*
3862  * Create a DS data file for nfsrv_pnfscreate(). Called for each mirror.
3863  * The arguments are in a structure, so that they can be passed through
3864  * taskqueue for a kernel process to execute this function.
3865  */
3866 struct nfsrvdscreate {
3867         int                     done;
3868         int                     inprog;
3869         struct task             tsk;
3870         struct ucred            *tcred;
3871         struct vnode            *dvp;
3872         NFSPROC_T               *p;
3873         struct pnfsdsfile       *pf;
3874         int                     err;
3875         fhandle_t               fh;
3876         struct vattr            va;
3877         struct vattr            createva;
3878 };
3879
3880 int
3881 nfsrv_dscreate(struct vnode *dvp, struct vattr *vap, struct vattr *nvap,
3882     fhandle_t *fhp, struct pnfsdsfile *pf, struct pnfsdsattr *dsa,
3883     char *fnamep, struct ucred *tcred, NFSPROC_T *p, struct vnode **nvpp)
3884 {
3885         struct vnode *nvp;
3886         struct nameidata named;
3887         struct vattr va;
3888         char *bufp;
3889         u_long *hashp;
3890         struct nfsnode *np;
3891         struct nfsmount *nmp;
3892         int error;
3893
3894         NFSNAMEICNDSET(&named.ni_cnd, tcred, CREATE,
3895             LOCKPARENT | LOCKLEAF | SAVESTART | NOCACHE);
3896         nfsvno_setpathbuf(&named, &bufp, &hashp);
3897         named.ni_cnd.cn_lkflags = LK_EXCLUSIVE;
3898         named.ni_cnd.cn_thread = p;
3899         named.ni_cnd.cn_nameptr = bufp;
3900         if (fnamep != NULL) {
3901                 strlcpy(bufp, fnamep, PNFS_FILENAME_LEN + 1);
3902                 named.ni_cnd.cn_namelen = strlen(bufp);
3903         } else
3904                 named.ni_cnd.cn_namelen = nfsrv_putfhname(fhp, bufp);
3905         NFSD_DEBUG(4, "nfsrv_dscreate: dvp=%p fname=%s\n", dvp, bufp);
3906
3907         /* Create the date file in the DS mount. */
3908         error = NFSVOPLOCK(dvp, LK_EXCLUSIVE);
3909         if (error == 0) {
3910                 error = VOP_CREATE(dvp, &nvp, &named.ni_cnd, vap);
3911                 NFSVOPUNLOCK(dvp);
3912                 if (error == 0) {
3913                         /* Set the ownership of the file. */
3914                         error = VOP_SETATTR(nvp, nvap, tcred);
3915                         NFSD_DEBUG(4, "nfsrv_dscreate:"
3916                             " setattr-uid=%d\n", error);
3917                         if (error != 0)
3918                                 vput(nvp);
3919                 }
3920                 if (error != 0)
3921                         printf("pNFS: pnfscreate failed=%d\n", error);
3922         } else
3923                 printf("pNFS: pnfscreate vnlock=%d\n", error);
3924         if (error == 0) {
3925                 np = VTONFS(nvp);
3926                 nmp = VFSTONFS(nvp->v_mount);
3927                 if (strcmp(nvp->v_mount->mnt_vfc->vfc_name, "nfs")
3928                     != 0 || nmp->nm_nam->sa_len > sizeof(
3929                     struct sockaddr_in6) ||
3930                     np->n_fhp->nfh_len != NFSX_MYFH) {
3931                         printf("Bad DS file: fstype=%s salen=%d"
3932                             " fhlen=%d\n",
3933                             nvp->v_mount->mnt_vfc->vfc_name,
3934                             nmp->nm_nam->sa_len, np->n_fhp->nfh_len);
3935                         error = ENOENT;
3936                 }
3937
3938                 /* Set extattrs for the DS on the MDS file. */
3939                 if (error == 0) {
3940                         if (dsa != NULL) {
3941                                 error = VOP_GETATTR(nvp, &va, tcred);
3942                                 if (error == 0) {
3943                                         dsa->dsa_filerev = va.va_filerev;
3944                                         dsa->dsa_size = va.va_size;
3945                                         dsa->dsa_atime = va.va_atime;
3946                                         dsa->dsa_mtime = va.va_mtime;
3947                                         dsa->dsa_bytes = va.va_bytes;
3948                                 }
3949                         }
3950                         if (error == 0) {
3951                                 NFSBCOPY(np->n_fhp->nfh_fh, &pf->dsf_fh,
3952                                     NFSX_MYFH);
3953                                 NFSBCOPY(nmp->nm_nam, &pf->dsf_sin,
3954                                     nmp->nm_nam->sa_len);
3955                                 NFSBCOPY(named.ni_cnd.cn_nameptr,
3956                                     pf->dsf_filename,
3957                                     sizeof(pf->dsf_filename));
3958                         }
3959                 } else
3960                         printf("pNFS: pnfscreate can't get DS"
3961                             " attr=%d\n", error);
3962                 if (nvpp != NULL && error == 0)
3963                         *nvpp = nvp;
3964                 else
3965                         vput(nvp);
3966         }
3967         nfsvno_relpathbuf(&named);
3968         return (error);
3969 }
3970
3971 /*
3972  * Start up the thread that will execute nfsrv_dscreate().
3973  */
3974 static void
3975 start_dscreate(void *arg, int pending)
3976 {
3977         struct nfsrvdscreate *dsc;
3978
3979         dsc = (struct nfsrvdscreate *)arg;
3980         dsc->err = nfsrv_dscreate(dsc->dvp, &dsc->createva, &dsc->va, &dsc->fh,
3981             dsc->pf, NULL, NULL, dsc->tcred, dsc->p, NULL);
3982         dsc->done = 1;
3983         NFSD_DEBUG(4, "start_dscreate: err=%d\n", dsc->err);
3984 }
3985
3986 /*
3987  * Create a pNFS data file on the Data Server(s).
3988  */
3989 static void
3990 nfsrv_pnfscreate(struct vnode *vp, struct vattr *vap, struct ucred *cred,
3991     NFSPROC_T *p)
3992 {
3993         struct nfsrvdscreate *dsc, *tdsc = NULL;
3994         struct nfsdevice *ds, *tds, *fds;
3995         struct mount *mp;
3996         struct pnfsdsfile *pf, *tpf;
3997         struct pnfsdsattr dsattr;
3998         struct vattr va;
3999         struct vnode *dvp[NFSDEV_MAXMIRRORS];
4000         struct nfsmount *nmp;
4001         fhandle_t fh;
4002         uid_t vauid;
4003         gid_t vagid;
4004         u_short vamode;
4005         struct ucred *tcred;
4006         int dsdir[NFSDEV_MAXMIRRORS], error, i, mirrorcnt, ret;
4007         int failpos, timo;
4008
4009         /* Get a DS server directory in a round-robin order. */
4010         mirrorcnt = 1;
4011         mp = vp->v_mount;
4012         ds = fds = NULL;
4013         NFSDDSLOCK();
4014         /*
4015          * Search for the first entry that handles this MDS fs, but use the
4016          * first entry for all MDS fs's otherwise.
4017          */
4018         TAILQ_FOREACH(tds, &nfsrv_devidhead, nfsdev_list) {
4019                 if (tds->nfsdev_nmp != NULL) {
4020                         if (tds->nfsdev_mdsisset == 0 && ds == NULL)
4021                                 ds = tds;
4022                         else if (tds->nfsdev_mdsisset != 0 && fsidcmp(
4023                             &mp->mnt_stat.f_fsid, &tds->nfsdev_mdsfsid) == 0) {
4024                                 ds = fds = tds;
4025                                 break;
4026                         }
4027                 }
4028         }
4029         if (ds == NULL) {
4030                 NFSDDSUNLOCK();
4031                 NFSD_DEBUG(4, "nfsrv_pnfscreate: no srv\n");
4032                 return;
4033         }
4034         i = dsdir[0] = ds->nfsdev_nextdir;
4035         ds->nfsdev_nextdir = (ds->nfsdev_nextdir + 1) % nfsrv_dsdirsize;
4036         dvp[0] = ds->nfsdev_dsdir[i];
4037         tds = TAILQ_NEXT(ds, nfsdev_list);
4038         if (nfsrv_maxpnfsmirror > 1 && tds != NULL) {
4039                 TAILQ_FOREACH_FROM(tds, &nfsrv_devidhead, nfsdev_list) {
4040                         if (tds->nfsdev_nmp != NULL &&
4041                             ((tds->nfsdev_mdsisset == 0 && fds == NULL) ||
4042                              (tds->nfsdev_mdsisset != 0 && fds != NULL &&
4043                               fsidcmp(&mp->mnt_stat.f_fsid,
4044                               &tds->nfsdev_mdsfsid) == 0))) {
4045                                 dsdir[mirrorcnt] = i;
4046                                 dvp[mirrorcnt] = tds->nfsdev_dsdir[i];
4047                                 mirrorcnt++;
4048                                 if (mirrorcnt >= nfsrv_maxpnfsmirror)
4049                                         break;
4050                         }
4051                 }
4052         }
4053         /* Put at end of list to implement round-robin usage. */
4054         TAILQ_REMOVE(&nfsrv_devidhead, ds, nfsdev_list);
4055         TAILQ_INSERT_TAIL(&nfsrv_devidhead, ds, nfsdev_list);
4056         NFSDDSUNLOCK();
4057         dsc = NULL;
4058         if (mirrorcnt > 1)
4059                 tdsc = dsc = malloc(sizeof(*dsc) * (mirrorcnt - 1), M_TEMP,
4060                     M_WAITOK | M_ZERO);
4061         tpf = pf = malloc(sizeof(*pf) * nfsrv_maxpnfsmirror, M_TEMP, M_WAITOK |
4062             M_ZERO);
4063
4064         error = nfsvno_getfh(vp, &fh, p);
4065         if (error == 0)
4066                 error = VOP_GETATTR(vp, &va, cred);
4067         if (error == 0) {
4068                 /* Set the attributes for "vp" to Setattr the DS vp. */
4069                 vauid = va.va_uid;
4070                 vagid = va.va_gid;
4071                 vamode = va.va_mode;
4072                 VATTR_NULL(&va);
4073                 va.va_uid = vauid;
4074                 va.va_gid = vagid;
4075                 va.va_mode = vamode;
4076                 va.va_size = 0;
4077         } else
4078                 printf("pNFS: pnfscreate getfh+attr=%d\n", error);
4079
4080         NFSD_DEBUG(4, "nfsrv_pnfscreate: cruid=%d crgid=%d\n", cred->cr_uid,
4081             cred->cr_gid);
4082         /* Make data file name based on FH. */
4083         tcred = newnfs_getcred();
4084
4085         /*
4086          * Create the file on each DS mirror, using kernel process(es) for the
4087          * additional mirrors.
4088          */
4089         failpos = -1;
4090         for (i = 0; i < mirrorcnt - 1 && error == 0; i++, tpf++, tdsc++) {
4091                 tpf->dsf_dir = dsdir[i];
4092                 tdsc->tcred = tcred;
4093                 tdsc->p = p;
4094                 tdsc->pf = tpf;
4095                 tdsc->createva = *vap;
4096                 NFSBCOPY(&fh, &tdsc->fh, sizeof(fh));
4097                 tdsc->va = va;
4098                 tdsc->dvp = dvp[i];
4099                 tdsc->done = 0;
4100                 tdsc->inprog = 0;
4101                 tdsc->err = 0;
4102                 ret = EIO;
4103                 if (nfs_pnfsiothreads != 0) {
4104                         ret = nfs_pnfsio(start_dscreate, tdsc);
4105                         NFSD_DEBUG(4, "nfsrv_pnfscreate: nfs_pnfsio=%d\n", ret);
4106                 }
4107                 if (ret != 0) {
4108                         ret = nfsrv_dscreate(dvp[i], vap, &va, &fh, tpf, NULL,
4109                             NULL, tcred, p, NULL);
4110                         if (ret != 0) {
4111                                 KASSERT(error == 0, ("nfsrv_dscreate err=%d",
4112                                     error));
4113                                 if (failpos == -1 && nfsds_failerr(ret))
4114                                         failpos = i;
4115                                 else
4116                                         error = ret;
4117                         }
4118                 }
4119         }
4120         if (error == 0) {
4121                 tpf->dsf_dir = dsdir[mirrorcnt - 1];
4122                 error = nfsrv_dscreate(dvp[mirrorcnt - 1], vap, &va, &fh, tpf,
4123                     &dsattr, NULL, tcred, p, NULL);
4124                 if (failpos == -1 && mirrorcnt > 1 && nfsds_failerr(error)) {
4125                         failpos = mirrorcnt - 1;
4126                         error = 0;
4127                 }
4128         }
4129         timo = hz / 50;         /* Wait for 20msec. */
4130         if (timo < 1)
4131                 timo = 1;
4132         /* Wait for kernel task(s) to complete. */
4133         for (tdsc = dsc, i = 0; i < mirrorcnt - 1; i++, tdsc++) {
4134                 while (tdsc->inprog != 0 && tdsc->done == 0)
4135                         tsleep(&tdsc->tsk, PVFS, "srvdcr", timo);
4136                 if (tdsc->err != 0) {
4137                         if (failpos == -1 && nfsds_failerr(tdsc->err))
4138                                 failpos = i;
4139                         else if (error == 0)
4140                                 error = tdsc->err;
4141                 }
4142         }
4143
4144         /*
4145          * If failpos has been set, that mirror has failed, so it needs
4146          * to be disabled.
4147          */
4148         if (failpos >= 0) {
4149                 nmp = VFSTONFS(dvp[failpos]->v_mount);
4150                 NFSLOCKMNT(nmp);
4151                 if ((nmp->nm_privflag & (NFSMNTP_FORCEDISM |
4152                      NFSMNTP_CANCELRPCS)) == 0) {
4153                         nmp->nm_privflag |= NFSMNTP_CANCELRPCS;
4154                         NFSUNLOCKMNT(nmp);
4155                         ds = nfsrv_deldsnmp(PNFSDOP_DELDSSERVER, nmp, p);
4156                         NFSD_DEBUG(4, "dscreatfail fail=%d ds=%p\n", failpos,
4157                             ds);
4158                         if (ds != NULL)
4159                                 nfsrv_killrpcs(nmp);
4160                         NFSLOCKMNT(nmp);
4161                         nmp->nm_privflag &= ~NFSMNTP_CANCELRPCS;
4162                         wakeup(nmp);
4163                 }
4164                 NFSUNLOCKMNT(nmp);
4165         }
4166
4167         NFSFREECRED(tcred);
4168         if (error == 0) {
4169                 ASSERT_VOP_ELOCKED(vp, "nfsrv_pnfscreate vp");
4170
4171                 NFSD_DEBUG(4, "nfsrv_pnfscreate: mirrorcnt=%d maxmirror=%d\n",
4172                     mirrorcnt, nfsrv_maxpnfsmirror);
4173                 /*
4174                  * For all mirrors that couldn't be created, fill in the
4175                  * *pf structure, but with an IP address == 0.0.0.0.
4176                  */
4177                 tpf = pf + mirrorcnt;
4178                 for (i = mirrorcnt; i < nfsrv_maxpnfsmirror; i++, tpf++) {
4179                         *tpf = *pf;
4180                         tpf->dsf_sin.sin_family = AF_INET;
4181                         tpf->dsf_sin.sin_len = sizeof(struct sockaddr_in);
4182                         tpf->dsf_sin.sin_addr.s_addr = 0;
4183                         tpf->dsf_sin.sin_port = 0;
4184                 }
4185
4186                 error = vn_extattr_set(vp, IO_NODELOCKED,
4187                     EXTATTR_NAMESPACE_SYSTEM, "pnfsd.dsfile",
4188                     sizeof(*pf) * nfsrv_maxpnfsmirror, (char *)pf, p);
4189                 if (error == 0)
4190                         error = vn_extattr_set(vp, IO_NODELOCKED,
4191                             EXTATTR_NAMESPACE_SYSTEM, "pnfsd.dsattr",
4192                             sizeof(dsattr), (char *)&dsattr, p);
4193                 if (error != 0)
4194                         printf("pNFS: pnfscreate setextattr=%d\n",
4195                             error);
4196         } else
4197                 printf("pNFS: pnfscreate=%d\n", error);
4198         free(pf, M_TEMP);
4199         free(dsc, M_TEMP);
4200 }
4201
4202 /*
4203  * Get the information needed to remove the pNFS Data Server file from the
4204  * Metadata file.  Upon success, ddvp is set non-NULL to the locked
4205  * DS directory vnode.  The caller must unlock *ddvp when done with it.
4206  */
4207 static void
4208 nfsrv_pnfsremovesetup(struct vnode *vp, NFSPROC_T *p, struct vnode **dvpp,
4209     int *mirrorcntp, char *fname, fhandle_t *fhp)
4210 {
4211         struct vattr va;
4212         struct ucred *tcred;
4213         char *buf;
4214         int buflen, error;
4215
4216         dvpp[0] = NULL;
4217         /* If not an exported regular file or not a pNFS server, just return. */
4218         if (vp->v_type != VREG || (vp->v_mount->mnt_flag & MNT_EXPORTED) == 0 ||
4219             nfsrv_devidcnt == 0)
4220                 return;
4221
4222         /* Check to see if this is the last hard link. */
4223         tcred = newnfs_getcred();
4224         error = VOP_GETATTR(vp, &va, tcred);
4225         NFSFREECRED(tcred);
4226         if (error != 0) {
4227                 printf("pNFS: nfsrv_pnfsremovesetup getattr=%d\n", error);
4228                 return;
4229         }
4230         if (va.va_nlink > 1)
4231                 return;
4232
4233         error = nfsvno_getfh(vp, fhp, p);
4234         if (error != 0) {
4235                 printf("pNFS: nfsrv_pnfsremovesetup getfh=%d\n", error);
4236                 return;
4237         }
4238
4239         buflen = 1024;
4240         buf = malloc(buflen, M_TEMP, M_WAITOK);
4241         /* Get the directory vnode for the DS mount and the file handle. */
4242         error = nfsrv_dsgetsockmnt(vp, 0, buf, &buflen, mirrorcntp, p, dvpp,
4243             NULL, NULL, fname, NULL, NULL, NULL, NULL, NULL);
4244         free(buf, M_TEMP);
4245         if (error != 0)
4246                 printf("pNFS: nfsrv_pnfsremovesetup getsockmnt=%d\n", error);
4247 }
4248
4249 /*
4250  * Remove a DS data file for nfsrv_pnfsremove(). Called for each mirror.
4251  * The arguments are in a structure, so that they can be passed through
4252  * taskqueue for a kernel process to execute this function.
4253  */
4254 struct nfsrvdsremove {
4255         int                     done;
4256         int                     inprog;
4257         struct task             tsk;
4258         struct ucred            *tcred;
4259         struct vnode            *dvp;
4260         NFSPROC_T               *p;
4261         int                     err;
4262         char                    fname[PNFS_FILENAME_LEN + 1];
4263 };
4264
4265 static int
4266 nfsrv_dsremove(struct vnode *dvp, char *fname, struct ucred *tcred,
4267     NFSPROC_T *p)
4268 {
4269         struct nameidata named;
4270         struct vnode *nvp;
4271         char *bufp;
4272         u_long *hashp;
4273         int error;
4274
4275         error = NFSVOPLOCK(dvp, LK_EXCLUSIVE);
4276         if (error != 0)
4277                 return (error);
4278         named.ni_cnd.cn_nameiop = DELETE;
4279         named.ni_cnd.cn_lkflags = LK_EXCLUSIVE | LK_RETRY;
4280         named.ni_cnd.cn_cred = tcred;
4281         named.ni_cnd.cn_thread = p;
4282         named.ni_cnd.cn_flags = ISLASTCN | LOCKPARENT | LOCKLEAF | SAVENAME;
4283         nfsvno_setpathbuf(&named, &bufp, &hashp);
4284         named.ni_cnd.cn_nameptr = bufp;
4285         named.ni_cnd.cn_namelen = strlen(fname);
4286         strlcpy(bufp, fname, NAME_MAX);
4287         NFSD_DEBUG(4, "nfsrv_pnfsremove: filename=%s\n", bufp);
4288         error = VOP_LOOKUP(dvp, &nvp, &named.ni_cnd);
4289         NFSD_DEBUG(4, "nfsrv_pnfsremove: aft LOOKUP=%d\n", error);
4290         if (error == 0) {
4291                 error = VOP_REMOVE(dvp, nvp, &named.ni_cnd);
4292                 vput(nvp);
4293         }
4294         NFSVOPUNLOCK(dvp);
4295         nfsvno_relpathbuf(&named);
4296         if (error != 0)
4297                 printf("pNFS: nfsrv_pnfsremove failed=%d\n", error);
4298         return (error);
4299 }
4300
4301 /*
4302  * Start up the thread that will execute nfsrv_dsremove().
4303  */
4304 static void
4305 start_dsremove(void *arg, int pending)
4306 {
4307         struct nfsrvdsremove *dsrm;
4308
4309         dsrm = (struct nfsrvdsremove *)arg;
4310         dsrm->err = nfsrv_dsremove(dsrm->dvp, dsrm->fname, dsrm->tcred,
4311             dsrm->p);
4312         dsrm->done = 1;
4313         NFSD_DEBUG(4, "start_dsremove: err=%d\n", dsrm->err);
4314 }
4315
4316 /*
4317  * Remove a pNFS data file from a Data Server.
4318  * nfsrv_pnfsremovesetup() must have been called before the MDS file was
4319  * removed to set up the dvp and fill in the FH.
4320  */
4321 static void
4322 nfsrv_pnfsremove(struct vnode **dvp, int mirrorcnt, char *fname, fhandle_t *fhp,
4323     NFSPROC_T *p)
4324 {
4325         struct ucred *tcred;
4326         struct nfsrvdsremove *dsrm, *tdsrm;
4327         struct nfsdevice *ds;
4328         struct nfsmount *nmp;
4329         int failpos, i, ret, timo;
4330
4331         tcred = newnfs_getcred();
4332         dsrm = NULL;
4333         if (mirrorcnt > 1)
4334                 dsrm = malloc(sizeof(*dsrm) * mirrorcnt - 1, M_TEMP, M_WAITOK);
4335         /*
4336          * Remove the file on each DS mirror, using kernel process(es) for the
4337          * additional mirrors.
4338          */
4339         failpos = -1;
4340         for (tdsrm = dsrm, i = 0; i < mirrorcnt - 1; i++, tdsrm++) {
4341                 tdsrm->tcred = tcred;
4342                 tdsrm->p = p;
4343                 tdsrm->dvp = dvp[i];
4344                 strlcpy(tdsrm->fname, fname, PNFS_FILENAME_LEN + 1);
4345                 tdsrm->inprog = 0;
4346                 tdsrm->done = 0;
4347                 tdsrm->err = 0;
4348                 ret = EIO;
4349                 if (nfs_pnfsiothreads != 0) {
4350                         ret = nfs_pnfsio(start_dsremove, tdsrm);
4351                         NFSD_DEBUG(4, "nfsrv_pnfsremove: nfs_pnfsio=%d\n", ret);
4352                 }
4353                 if (ret != 0) {
4354                         ret = nfsrv_dsremove(dvp[i], fname, tcred, p);
4355                         if (failpos == -1 && nfsds_failerr(ret))
4356                                 failpos = i;
4357                 }
4358         }
4359         ret = nfsrv_dsremove(dvp[mirrorcnt - 1], fname, tcred, p);
4360         if (failpos == -1 && mirrorcnt > 1 && nfsds_failerr(ret))
4361                 failpos = mirrorcnt - 1;
4362         timo = hz / 50;         /* Wait for 20msec. */
4363         if (timo < 1)
4364                 timo = 1;
4365         /* Wait for kernel task(s) to complete. */
4366         for (tdsrm = dsrm, i = 0; i < mirrorcnt - 1; i++, tdsrm++) {
4367                 while (tdsrm->inprog != 0 && tdsrm->done == 0)
4368                         tsleep(&tdsrm->tsk, PVFS, "srvdsrm", timo);
4369                 if (failpos == -1 && nfsds_failerr(tdsrm->err))
4370                         failpos = i;
4371         }
4372
4373         /*
4374          * If failpos has been set, that mirror has failed, so it needs
4375          * to be disabled.
4376          */
4377         if (failpos >= 0) {
4378                 nmp = VFSTONFS(dvp[failpos]->v_mount);
4379                 NFSLOCKMNT(nmp);
4380                 if ((nmp->nm_privflag & (NFSMNTP_FORCEDISM |
4381                      NFSMNTP_CANCELRPCS)) == 0) {
4382                         nmp->nm_privflag |= NFSMNTP_CANCELRPCS;
4383                         NFSUNLOCKMNT(nmp);
4384                         ds = nfsrv_deldsnmp(PNFSDOP_DELDSSERVER, nmp, p);
4385                         NFSD_DEBUG(4, "dsremovefail fail=%d ds=%p\n", failpos,
4386                             ds);
4387                         if (ds != NULL)
4388                                 nfsrv_killrpcs(nmp);
4389                         NFSLOCKMNT(nmp);
4390                         nmp->nm_privflag &= ~NFSMNTP_CANCELRPCS;
4391                         wakeup(nmp);
4392                 }
4393                 NFSUNLOCKMNT(nmp);
4394         }
4395
4396         /* Get rid all layouts for the file. */
4397         nfsrv_freefilelayouts(fhp);
4398
4399         NFSFREECRED(tcred);
4400         free(dsrm, M_TEMP);
4401 }
4402
4403 /*
4404  * Generate a file name based on the file handle and put it in *bufp.
4405  * Return the number of bytes generated.
4406  */
4407 static int
4408 nfsrv_putfhname(fhandle_t *fhp, char *bufp)
4409 {
4410         int i;
4411         uint8_t *cp;
4412         const uint8_t *hexdigits = "0123456789abcdef";
4413
4414         cp = (uint8_t *)fhp;
4415         for (i = 0; i < sizeof(*fhp); i++) {
4416                 bufp[2 * i] = hexdigits[(*cp >> 4) & 0xf];
4417                 bufp[2 * i + 1] = hexdigits[*cp++ & 0xf];
4418         }
4419         bufp[2 * i] = '\0';
4420         return (2 * i);
4421 }
4422
4423 /*
4424  * Update the Metadata file's attributes from the DS file when a Read/Write
4425  * layout is returned.
4426  * Basically just call nfsrv_proxyds() with procedure == NFSPROC_LAYOUTRETURN
4427  * so that it does a nfsrv_getattrdsrpc() and nfsrv_setextattr() on the DS file.
4428  */
4429 int
4430 nfsrv_updatemdsattr(struct vnode *vp, struct nfsvattr *nap, NFSPROC_T *p)
4431 {
4432         struct ucred *tcred;
4433         int error;
4434
4435         /* Do this as root so that it won't fail with EACCES. */
4436         tcred = newnfs_getcred();
4437         error = nfsrv_proxyds(vp, 0, 0, tcred, p, NFSPROC_LAYOUTRETURN,
4438             NULL, NULL, NULL, nap, NULL, NULL, 0, NULL);
4439         NFSFREECRED(tcred);
4440         return (error);
4441 }
4442
4443 /*
4444  * Set the NFSv4 ACL on the DS file to the same ACL as the MDS file.
4445  */
4446 static int
4447 nfsrv_dssetacl(struct vnode *vp, struct acl *aclp, struct ucred *cred,
4448     NFSPROC_T *p)
4449 {
4450         int error;
4451
4452         error = nfsrv_proxyds(vp, 0, 0, cred, p, NFSPROC_SETACL,
4453             NULL, NULL, NULL, NULL, aclp, NULL, 0, NULL);
4454         return (error);
4455 }
4456
4457 static int
4458 nfsrv_proxyds(struct vnode *vp, off_t off, int cnt, struct ucred *cred,
4459     struct thread *p, int ioproc, struct mbuf **mpp, char *cp,
4460     struct mbuf **mpp2, struct nfsvattr *nap, struct acl *aclp,
4461     off_t *offp, int content, bool *eofp)
4462 {
4463         struct nfsmount *nmp[NFSDEV_MAXMIRRORS], *failnmp;
4464         fhandle_t fh[NFSDEV_MAXMIRRORS];
4465         struct vnode *dvp[NFSDEV_MAXMIRRORS];
4466         struct nfsdevice *ds;
4467         struct pnfsdsattr dsattr;
4468         struct opnfsdsattr odsattr;
4469         char *buf;
4470         int buflen, error, failpos, i, mirrorcnt, origmircnt, trycnt;
4471
4472         NFSD_DEBUG(4, "in nfsrv_proxyds\n");
4473         /*
4474          * If not a regular file, not exported or not a pNFS server,
4475          * just return ENOENT.
4476          */
4477         if (vp->v_type != VREG || (vp->v_mount->mnt_flag & MNT_EXPORTED) == 0 ||
4478             nfsrv_devidcnt == 0)
4479                 return (ENOENT);
4480
4481         buflen = 1024;
4482         buf = malloc(buflen, M_TEMP, M_WAITOK);
4483         error = 0;
4484
4485         /*
4486          * For Getattr, get the Change attribute (va_filerev) and size (va_size)
4487          * from the MetaData file's extended attribute.
4488          */
4489         if (ioproc == NFSPROC_GETATTR) {
4490                 error = vn_extattr_get(vp, IO_NODELOCKED,
4491                     EXTATTR_NAMESPACE_SYSTEM, "pnfsd.dsattr", &buflen, buf,
4492                     p);
4493                 if (error == 0) {
4494                         if (buflen == sizeof(odsattr)) {
4495                                 NFSBCOPY(buf, &odsattr, buflen);
4496                                 nap->na_filerev = odsattr.dsa_filerev;
4497                                 nap->na_size = odsattr.dsa_size;
4498                                 nap->na_atime = odsattr.dsa_atime;
4499                                 nap->na_mtime = odsattr.dsa_mtime;
4500                                 /*
4501                                  * Fake na_bytes by rounding up na_size.
4502                                  * Since we don't know the block size, just
4503                                  * use BLKDEV_IOSIZE.
4504                                  */
4505                                 nap->na_bytes = (odsattr.dsa_size +
4506                                     BLKDEV_IOSIZE - 1) & ~(BLKDEV_IOSIZE - 1);
4507                         } else if (buflen == sizeof(dsattr)) {
4508                                 NFSBCOPY(buf, &dsattr, buflen);
4509                                 nap->na_filerev = dsattr.dsa_filerev;
4510                                 nap->na_size = dsattr.dsa_size;
4511                                 nap->na_atime = dsattr.dsa_atime;
4512                                 nap->na_mtime = dsattr.dsa_mtime;
4513                                 nap->na_bytes = dsattr.dsa_bytes;
4514                         } else
4515                                 error = ENXIO;
4516                 }
4517                 if (error == 0) {
4518                         /*
4519                          * If nfsrv_pnfsgetdsattr is 0 or nfsrv_checkdsattr()
4520                          * returns 0, just return now.  nfsrv_checkdsattr()
4521                          * returns 0 if there is no Read/Write layout
4522                          * plus either an Open/Write_access or Write
4523                          * delegation issued to a client for the file.
4524                          */
4525                         if (nfsrv_pnfsgetdsattr == 0 ||
4526                             nfsrv_checkdsattr(vp, p) == 0) {
4527                                 free(buf, M_TEMP);
4528                                 return (error);
4529                         }
4530                 }
4531
4532                 /*
4533                  * Clear ENOATTR so the code below will attempt to do a
4534                  * nfsrv_getattrdsrpc() to get the attributes and (re)create
4535                  * the extended attribute.
4536                  */
4537                 if (error == ENOATTR)
4538                         error = 0;
4539         }
4540
4541         origmircnt = -1;
4542         trycnt = 0;
4543 tryagain:
4544         if (error == 0) {
4545                 buflen = 1024;
4546                 if (ioproc == NFSPROC_READDS && NFSVOPISLOCKED(vp) ==
4547                     LK_EXCLUSIVE)
4548                         printf("nfsrv_proxyds: Readds vp exclusively locked\n");
4549                 error = nfsrv_dsgetsockmnt(vp, LK_SHARED, buf, &buflen,
4550                     &mirrorcnt, p, dvp, fh, NULL, NULL, NULL, NULL, NULL,
4551                     NULL, NULL);
4552                 if (error == 0) {
4553                         for (i = 0; i < mirrorcnt; i++)
4554                                 nmp[i] = VFSTONFS(dvp[i]->v_mount);
4555                 } else
4556                         printf("pNFS: proxy getextattr sockaddr=%d\n", error);
4557         } else
4558                 printf("pNFS: nfsrv_dsgetsockmnt=%d\n", error);
4559         if (error == 0) {
4560                 failpos = -1;
4561                 if (origmircnt == -1)
4562                         origmircnt = mirrorcnt;
4563                 /*
4564                  * If failpos is set to a mirror#, then that mirror has
4565                  * failed and will be disabled. For Read, Getattr and Seek, the
4566                  * function only tries one mirror, so if that mirror has
4567                  * failed, it will need to be retried. As such, increment
4568                  * tryitagain for these cases.
4569                  * For Write, Setattr and Setacl, the function tries all
4570                  * mirrors and will not return an error for the case where
4571                  * one mirror has failed. For these cases, the functioning
4572                  * mirror(s) will have been modified, so a retry isn't
4573                  * necessary. These functions will set failpos for the
4574                  * failed mirror#.
4575                  */
4576                 if (ioproc == NFSPROC_READDS) {
4577                         error = nfsrv_readdsrpc(fh, off, cnt, cred, p, nmp[0],
4578                             mpp, mpp2);
4579                         if (nfsds_failerr(error) && mirrorcnt > 1) {
4580                                 /*
4581                                  * Setting failpos will cause the mirror
4582                                  * to be disabled and then a retry of this
4583                                  * read is required.
4584                                  */
4585                                 failpos = 0;
4586                                 error = 0;
4587                                 trycnt++;
4588                         }
4589                 } else if (ioproc == NFSPROC_WRITEDS)
4590                         error = nfsrv_writedsrpc(fh, off, cnt, cred, p, vp,
4591                             &nmp[0], mirrorcnt, mpp, cp, &failpos);
4592                 else if (ioproc == NFSPROC_SETATTR)
4593                         error = nfsrv_setattrdsrpc(fh, cred, p, vp, &nmp[0],
4594                             mirrorcnt, nap, &failpos);
4595                 else if (ioproc == NFSPROC_SETACL)
4596                         error = nfsrv_setacldsrpc(fh, cred, p, vp, &nmp[0],
4597                             mirrorcnt, aclp, &failpos);
4598                 else if (ioproc == NFSPROC_SEEKDS) {
4599                         error = nfsrv_seekdsrpc(fh, offp, content, eofp, cred,
4600                             p, nmp[0]);
4601                         if (nfsds_failerr(error) && mirrorcnt > 1) {
4602                                 /*
4603                                  * Setting failpos will cause the mirror
4604                                  * to be disabled and then a retry of this
4605                                  * read is required.
4606                                  */
4607                                 failpos = 0;
4608                                 error = 0;
4609                                 trycnt++;
4610                         }
4611                 } else if (ioproc == NFSPROC_ALLOCATE)
4612                         error = nfsrv_allocatedsrpc(fh, off, *offp, cred, p, vp,
4613                             &nmp[0], mirrorcnt, &failpos);
4614                 else {
4615                         error = nfsrv_getattrdsrpc(&fh[mirrorcnt - 1], cred, p,
4616                             vp, nmp[mirrorcnt - 1], nap);
4617                         if (nfsds_failerr(error) && mirrorcnt > 1) {
4618                                 /*
4619                                  * Setting failpos will cause the mirror
4620                                  * to be disabled and then a retry of this
4621                                  * getattr is required.
4622                                  */
4623                                 failpos = mirrorcnt - 1;
4624                                 error = 0;
4625                                 trycnt++;
4626                         }
4627                 }
4628                 ds = NULL;
4629                 if (failpos >= 0) {
4630                         failnmp = nmp[failpos];
4631                         NFSLOCKMNT(failnmp);
4632                         if ((failnmp->nm_privflag & (NFSMNTP_FORCEDISM |
4633                              NFSMNTP_CANCELRPCS)) == 0) {
4634                                 failnmp->nm_privflag |= NFSMNTP_CANCELRPCS;
4635                                 NFSUNLOCKMNT(failnmp);
4636                                 ds = nfsrv_deldsnmp(PNFSDOP_DELDSSERVER,
4637                                     failnmp, p);
4638                                 NFSD_DEBUG(4, "dsldsnmp fail=%d ds=%p\n",
4639                                     failpos, ds);
4640                                 if (ds != NULL)
4641                                         nfsrv_killrpcs(failnmp);
4642                                 NFSLOCKMNT(failnmp);
4643                                 failnmp->nm_privflag &= ~NFSMNTP_CANCELRPCS;
4644                                 wakeup(failnmp);
4645                         }
4646                         NFSUNLOCKMNT(failnmp);
4647                 }
4648                 for (i = 0; i < mirrorcnt; i++)
4649                         NFSVOPUNLOCK(dvp[i]);
4650                 NFSD_DEBUG(4, "nfsrv_proxyds: aft RPC=%d trya=%d\n", error,
4651                     trycnt);
4652                 /* Try the Read/Getattr again if a mirror was deleted. */
4653                 if (ds != NULL && trycnt > 0 && trycnt < origmircnt)
4654                         goto tryagain;
4655         } else {
4656                 /* Return ENOENT for any Extended Attribute error. */
4657                 error = ENOENT;
4658         }
4659         free(buf, M_TEMP);
4660         NFSD_DEBUG(4, "nfsrv_proxyds: error=%d\n", error);
4661         return (error);
4662 }
4663
4664 /*
4665  * Get the DS mount point, fh and directory from the "pnfsd.dsfile" extended
4666  * attribute.
4667  * newnmpp - If it points to a non-NULL nmp, that is the destination and needs
4668  *           to be checked.  If it points to a NULL nmp, then it returns
4669  *           a suitable destination.
4670  * curnmp - If non-NULL, it is the source mount for the copy.
4671  */
4672 int
4673 nfsrv_dsgetsockmnt(struct vnode *vp, int lktype, char *buf, int *buflenp,
4674     int *mirrorcntp, NFSPROC_T *p, struct vnode **dvpp, fhandle_t *fhp,
4675     char *devid, char *fnamep, struct vnode **nvpp, struct nfsmount **newnmpp,
4676     struct nfsmount *curnmp, int *ippos, int *dsdirp)
4677 {
4678         struct vnode *dvp, *nvp = NULL, **tdvpp;
4679         struct mount *mp;
4680         struct nfsmount *nmp, *newnmp;
4681         struct sockaddr *sad;
4682         struct sockaddr_in *sin;
4683         struct nfsdevice *ds, *tds, *fndds;
4684         struct pnfsdsfile *pf;
4685         uint32_t dsdir;
4686         int error, fhiszero, fnd, gotone, i, mirrorcnt;
4687
4688         ASSERT_VOP_LOCKED(vp, "nfsrv_dsgetsockmnt vp");
4689         *mirrorcntp = 1;
4690         tdvpp = dvpp;
4691         if (nvpp != NULL)
4692                 *nvpp = NULL;
4693         if (dvpp != NULL)
4694                 *dvpp = NULL;
4695         if (ippos != NULL)
4696                 *ippos = -1;
4697         if (newnmpp != NULL)
4698                 newnmp = *newnmpp;
4699         else
4700                 newnmp = NULL;
4701         mp = vp->v_mount;
4702         error = vn_extattr_get(vp, IO_NODELOCKED, EXTATTR_NAMESPACE_SYSTEM,
4703             "pnfsd.dsfile", buflenp, buf, p);
4704         mirrorcnt = *buflenp / sizeof(*pf);
4705         if (error == 0 && (mirrorcnt < 1 || mirrorcnt > NFSDEV_MAXMIRRORS ||
4706             *buflenp != sizeof(*pf) * mirrorcnt))
4707                 error = ENOATTR;
4708
4709         pf = (struct pnfsdsfile *)buf;
4710         /* If curnmp != NULL, check for a match in the mirror list. */
4711         if (curnmp != NULL && error == 0) {
4712                 fnd = 0;
4713                 for (i = 0; i < mirrorcnt; i++, pf++) {
4714                         sad = (struct sockaddr *)&pf->dsf_sin;
4715                         if (nfsaddr2_match(sad, curnmp->nm_nam)) {
4716                                 if (ippos != NULL)
4717                                         *ippos = i;
4718                                 fnd = 1;
4719                                 break;
4720                         }
4721                 }
4722                 if (fnd == 0)
4723                         error = ENXIO;
4724         }
4725
4726         gotone = 0;
4727         pf = (struct pnfsdsfile *)buf;
4728         NFSD_DEBUG(4, "nfsrv_dsgetsockmnt: mirrorcnt=%d err=%d\n", mirrorcnt,
4729             error);
4730         for (i = 0; i < mirrorcnt && error == 0; i++, pf++) {
4731                 fhiszero = 0;
4732                 sad = (struct sockaddr *)&pf->dsf_sin;
4733                 sin = &pf->dsf_sin;
4734                 dsdir = pf->dsf_dir;
4735                 if (dsdir >= nfsrv_dsdirsize) {
4736                         printf("nfsrv_dsgetsockmnt: dsdir=%d\n", dsdir);
4737                         error = ENOATTR;
4738                 } else if (nvpp != NULL && newnmp != NULL &&
4739                     nfsaddr2_match(sad, newnmp->nm_nam))
4740                         error = EEXIST;
4741                 if (error == 0) {
4742                         if (ippos != NULL && curnmp == NULL &&
4743                             sad->sa_family == AF_INET &&
4744                             sin->sin_addr.s_addr == 0)
4745                                 *ippos = i;
4746                         if (NFSBCMP(&zerofh, &pf->dsf_fh, sizeof(zerofh)) == 0)
4747                                 fhiszero = 1;
4748                         /* Use the socket address to find the mount point. */
4749                         fndds = NULL;
4750                         NFSDDSLOCK();
4751                         /* Find a match for the IP address. */
4752                         TAILQ_FOREACH(ds, &nfsrv_devidhead, nfsdev_list) {
4753                                 if (ds->nfsdev_nmp != NULL) {
4754                                         dvp = ds->nfsdev_dvp;
4755                                         nmp = VFSTONFS(dvp->v_mount);
4756                                         if (nmp != ds->nfsdev_nmp)
4757                                                 printf("different2 nmp %p %p\n",
4758                                                     nmp, ds->nfsdev_nmp);
4759                                         if (nfsaddr2_match(sad, nmp->nm_nam)) {
4760                                                 fndds = ds;
4761                                                 break;
4762                                         }
4763                                 }
4764                         }
4765                         if (fndds != NULL && newnmpp != NULL &&
4766                             newnmp == NULL) {
4767                                 /* Search for a place to make a mirror copy. */
4768                                 TAILQ_FOREACH(tds, &nfsrv_devidhead,
4769                                     nfsdev_list) {
4770                                         if (tds->nfsdev_nmp != NULL &&
4771                                             fndds != tds &&
4772                                             ((tds->nfsdev_mdsisset == 0 &&
4773                                               fndds->nfsdev_mdsisset == 0) ||
4774                                              (tds->nfsdev_mdsisset != 0 &&
4775                                               fndds->nfsdev_mdsisset != 0 &&
4776                                               fsidcmp(&tds->nfsdev_mdsfsid,
4777                                               &mp->mnt_stat.f_fsid) == 0))) {
4778                                                 *newnmpp = tds->nfsdev_nmp;
4779                                                 break;
4780                                         }
4781                                 }
4782                                 if (tds != NULL) {
4783                                         /*
4784                                          * Move this entry to the end of the
4785                                          * list, so it won't be selected as
4786                                          * easily the next time.
4787                                          */
4788                                         TAILQ_REMOVE(&nfsrv_devidhead, tds,
4789                                             nfsdev_list);
4790                                         TAILQ_INSERT_TAIL(&nfsrv_devidhead, tds,
4791                                             nfsdev_list);
4792                                 }
4793                         }
4794                         NFSDDSUNLOCK();
4795                         if (fndds != NULL) {
4796                                 dvp = fndds->nfsdev_dsdir[dsdir];
4797                                 if (lktype != 0 || fhiszero != 0 ||
4798                                     (nvpp != NULL && *nvpp == NULL)) {
4799                                         if (fhiszero != 0)
4800                                                 error = vn_lock(dvp,
4801                                                     LK_EXCLUSIVE);
4802                                         else if (lktype != 0)
4803                                                 error = vn_lock(dvp, lktype);
4804                                         else
4805                                                 error = vn_lock(dvp, LK_SHARED);
4806                                         /*
4807                                          * If the file handle is all 0's, try to
4808                                          * do a Lookup against the DS to acquire
4809                                          * it.
4810                                          * If dvpp == NULL or the Lookup fails,
4811                                          * unlock dvp after the call.
4812                                          */
4813                                         if (error == 0 && (fhiszero != 0 ||
4814                                             (nvpp != NULL && *nvpp == NULL))) {
4815                                                 error = nfsrv_pnfslookupds(vp,
4816                                                     dvp, pf, &nvp, p);
4817                                                 if (error == 0) {
4818                                                         if (fhiszero != 0)
4819                                                                 nfsrv_pnfssetfh(
4820                                                                     vp, pf,
4821                                                                     devid,
4822                                                                     fnamep,
4823                                                                     nvp, p);
4824                                                         if (nvpp != NULL &&
4825                                                             *nvpp == NULL) {
4826                                                                 *nvpp = nvp;
4827                                                                 *dsdirp = dsdir;
4828                                                         } else
4829                                                                 vput(nvp);
4830                                                 }
4831                                                 if (error != 0 || lktype == 0)
4832                                                         NFSVOPUNLOCK(dvp);
4833                                         }
4834                                 }
4835                                 if (error == 0) {
4836                                         gotone++;
4837                                         NFSD_DEBUG(4, "gotone=%d\n", gotone);
4838                                         if (devid != NULL) {
4839                                                 NFSBCOPY(fndds->nfsdev_deviceid,
4840                                                     devid, NFSX_V4DEVICEID);
4841                                                 devid += NFSX_V4DEVICEID;
4842                                         }
4843                                         if (dvpp != NULL)
4844                                                 *tdvpp++ = dvp;
4845                                         if (fhp != NULL)
4846                                                 NFSBCOPY(&pf->dsf_fh, fhp++,
4847                                                     NFSX_MYFH);
4848                                         if (fnamep != NULL && gotone == 1)
4849                                                 strlcpy(fnamep,
4850                                                     pf->dsf_filename,
4851                                                     sizeof(pf->dsf_filename));
4852                                 } else
4853                                         NFSD_DEBUG(4, "nfsrv_dsgetsockmnt "
4854                                             "err=%d\n", error);
4855                         }
4856                 }
4857         }
4858         if (error == 0 && gotone == 0)
4859                 error = ENOENT;
4860
4861         NFSD_DEBUG(4, "eo nfsrv_dsgetsockmnt: gotone=%d err=%d\n", gotone,
4862             error);
4863         if (error == 0)
4864                 *mirrorcntp = gotone;
4865         else {
4866                 if (gotone > 0 && dvpp != NULL) {
4867                         /*
4868                          * If the error didn't occur on the first one and
4869                          * dvpp != NULL, the one(s) prior to the failure will
4870                          * have locked dvp's that need to be unlocked.
4871                          */
4872                         for (i = 0; i < gotone; i++) {
4873                                 NFSVOPUNLOCK(*dvpp);
4874                                 *dvpp++ = NULL;
4875                         }
4876                 }
4877                 /*
4878                  * If it found the vnode to be copied from before a failure,
4879                  * it needs to be vput()'d.
4880                  */
4881                 if (nvpp != NULL && *nvpp != NULL) {
4882                         vput(*nvpp);
4883                         *nvpp = NULL;
4884                 }
4885         }
4886         return (error);
4887 }
4888
4889 /*
4890  * Set the extended attribute for the Change attribute.
4891  */
4892 static int
4893 nfsrv_setextattr(struct vnode *vp, struct nfsvattr *nap, NFSPROC_T *p)
4894 {
4895         struct pnfsdsattr dsattr;
4896         int error;
4897
4898         ASSERT_VOP_ELOCKED(vp, "nfsrv_setextattr vp");
4899         dsattr.dsa_filerev = nap->na_filerev;
4900         dsattr.dsa_size = nap->na_size;
4901         dsattr.dsa_atime = nap->na_atime;
4902         dsattr.dsa_mtime = nap->na_mtime;
4903         dsattr.dsa_bytes = nap->na_bytes;
4904         error = vn_extattr_set(vp, IO_NODELOCKED, EXTATTR_NAMESPACE_SYSTEM,
4905             "pnfsd.dsattr", sizeof(dsattr), (char *)&dsattr, p);
4906         if (error != 0)
4907                 printf("pNFS: setextattr=%d\n", error);
4908         return (error);
4909 }
4910
4911 static int
4912 nfsrv_readdsrpc(fhandle_t *fhp, off_t off, int len, struct ucred *cred,
4913     NFSPROC_T *p, struct nfsmount *nmp, struct mbuf **mpp, struct mbuf **mpendp)
4914 {
4915         uint32_t *tl;
4916         struct nfsrv_descript *nd;
4917         nfsv4stateid_t st;
4918         struct mbuf *m, *m2;
4919         int error = 0, retlen, tlen, trimlen;
4920
4921         NFSD_DEBUG(4, "in nfsrv_readdsrpc\n");
4922         nd = malloc(sizeof(*nd), M_TEMP, M_WAITOK | M_ZERO);
4923         *mpp = NULL;
4924         /*
4925          * Use a stateid where other is an alternating 01010 pattern and
4926          * seqid is 0xffffffff.  This value is not defined as special by
4927          * the RFC and is used by the FreeBSD NFS server to indicate an
4928          * MDS->DS proxy operation.
4929          */
4930         st.other[0] = 0x55555555;
4931         st.other[1] = 0x55555555;
4932         st.other[2] = 0x55555555;
4933         st.seqid = 0xffffffff;
4934         nfscl_reqstart(nd, NFSPROC_READDS, nmp, (u_int8_t *)fhp, sizeof(*fhp),
4935             NULL, NULL, 0, 0);
4936         nfsm_stateidtom(nd, &st, NFSSTATEID_PUTSTATEID);
4937         NFSM_BUILD(tl, uint32_t *, NFSX_UNSIGNED * 3);
4938         txdr_hyper(off, tl);
4939         *(tl + 2) = txdr_unsigned(len);
4940         error = newnfs_request(nd, nmp, NULL, &nmp->nm_sockreq, NULL, p, cred,
4941             NFS_PROG, NFS_VER4, NULL, 1, NULL, NULL);
4942         if (error != 0) {
4943                 free(nd, M_TEMP);
4944                 return (error);
4945         }
4946         if (nd->nd_repstat == 0) {
4947                 NFSM_DISSECT(tl, u_int32_t *, NFSX_UNSIGNED);
4948                 NFSM_STRSIZ(retlen, len);
4949                 if (retlen > 0) {
4950                         /* Trim off the pre-data XDR from the mbuf chain. */
4951                         m = nd->nd_mrep;
4952                         while (m != NULL && m != nd->nd_md) {
4953                                 if (m->m_next == nd->nd_md) {
4954                                         m->m_next = NULL;
4955                                         m_freem(nd->nd_mrep);
4956                                         nd->nd_mrep = m = nd->nd_md;
4957                                 } else
4958                                         m = m->m_next;
4959                         }
4960                         if (m == NULL) {
4961                                 printf("nfsrv_readdsrpc: busted mbuf list\n");
4962                                 error = ENOENT;
4963                                 goto nfsmout;
4964                         }
4965
4966                         /*
4967                          * Now, adjust first mbuf so that any XDR before the
4968                          * read data is skipped over.
4969                          */
4970                         trimlen = nd->nd_dpos - mtod(m, char *);
4971                         if (trimlen > 0) {
4972                                 m->m_len -= trimlen;
4973                                 NFSM_DATAP(m, trimlen);
4974                         }
4975
4976                         /*
4977                          * Truncate the mbuf chain at retlen bytes of data,
4978                          * plus XDR padding that brings the length up to a
4979                          * multiple of 4.
4980                          */
4981                         tlen = NFSM_RNDUP(retlen);
4982                         do {
4983                                 if (m->m_len >= tlen) {
4984                                         m->m_len = tlen;
4985                                         tlen = 0;
4986                                         m2 = m->m_next;
4987                                         m->m_next = NULL;
4988                                         m_freem(m2);
4989                                         break;
4990                                 }
4991                                 tlen -= m->m_len;
4992                                 m = m->m_next;
4993                         } while (m != NULL);
4994                         if (tlen > 0) {
4995                                 printf("nfsrv_readdsrpc: busted mbuf list\n");
4996                                 error = ENOENT;
4997                                 goto nfsmout;
4998                         }
4999                         *mpp = nd->nd_mrep;
5000                         *mpendp = m;
5001                         nd->nd_mrep = NULL;
5002                 }
5003         } else
5004                 error = nd->nd_repstat;
5005 nfsmout:
5006         /* If nd->nd_mrep is already NULL, this is a no-op. */
5007         m_freem(nd->nd_mrep);
5008         free(nd, M_TEMP);
5009         NFSD_DEBUG(4, "nfsrv_readdsrpc error=%d\n", error);
5010         return (error);
5011 }
5012
5013 /*
5014  * Do a write RPC on a DS data file, using this structure for the arguments,
5015  * so that this function can be executed by a separate kernel process.
5016  */
5017 struct nfsrvwritedsdorpc {
5018         int                     done;
5019         int                     inprog;
5020         struct task             tsk;
5021         fhandle_t               fh;
5022         off_t                   off;
5023         int                     len;
5024         struct nfsmount         *nmp;
5025         struct ucred            *cred;
5026         NFSPROC_T               *p;
5027         struct mbuf             *m;
5028         int                     err;
5029 };
5030
5031 static int
5032 nfsrv_writedsdorpc(struct nfsmount *nmp, fhandle_t *fhp, off_t off, int len,
5033     struct nfsvattr *nap, struct mbuf *m, struct ucred *cred, NFSPROC_T *p)
5034 {
5035         uint32_t *tl;
5036         struct nfsrv_descript *nd;
5037         nfsattrbit_t attrbits;
5038         nfsv4stateid_t st;
5039         int commit, error, retlen;
5040
5041         nd = malloc(sizeof(*nd), M_TEMP, M_WAITOK | M_ZERO);
5042         nfscl_reqstart(nd, NFSPROC_WRITE, nmp, (u_int8_t *)fhp,
5043             sizeof(fhandle_t), NULL, NULL, 0, 0);
5044
5045         /*
5046          * Use a stateid where other is an alternating 01010 pattern and
5047          * seqid is 0xffffffff.  This value is not defined as special by
5048          * the RFC and is used by the FreeBSD NFS server to indicate an
5049          * MDS->DS proxy operation.
5050          */
5051         st.other[0] = 0x55555555;
5052         st.other[1] = 0x55555555;
5053         st.other[2] = 0x55555555;
5054         st.seqid = 0xffffffff;
5055         nfsm_stateidtom(nd, &st, NFSSTATEID_PUTSTATEID);
5056         NFSM_BUILD(tl, u_int32_t *, NFSX_HYPER + 2 * NFSX_UNSIGNED);
5057         txdr_hyper(off, tl);
5058         tl += 2;
5059         /*
5060          * Do all writes FileSync, since the server doesn't hold onto dirty
5061          * buffers.  Since clients should be accessing the DS servers directly
5062          * using the pNFS layouts, this just needs to work correctly as a
5063          * fallback.
5064          */
5065         *tl++ = txdr_unsigned(NFSWRITE_FILESYNC);
5066         *tl = txdr_unsigned(len);
5067         NFSD_DEBUG(4, "nfsrv_writedsdorpc: len=%d\n", len);
5068
5069         /* Put data in mbuf chain. */
5070         nd->nd_mb->m_next = m;
5071
5072         /* Set nd_mb and nd_bpos to end of data. */
5073         while (m->m_next != NULL)
5074                 m = m->m_next;
5075         nd->nd_mb = m;
5076         nfsm_set(nd, m->m_len);
5077         NFSD_DEBUG(4, "nfsrv_writedsdorpc: lastmb len=%d\n", m->m_len);
5078
5079         /* Do a Getattr for the attributes that change upon writing. */
5080         NFSZERO_ATTRBIT(&attrbits);
5081         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_SIZE);
5082         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_CHANGE);
5083         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_TIMEACCESS);
5084         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_TIMEMODIFY);
5085         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_SPACEUSED);
5086         NFSM_BUILD(tl, u_int32_t *, NFSX_UNSIGNED);
5087         *tl = txdr_unsigned(NFSV4OP_GETATTR);
5088         (void) nfsrv_putattrbit(nd, &attrbits);
5089         error = newnfs_request(nd, nmp, NULL, &nmp->nm_sockreq, NULL, p,
5090             cred, NFS_PROG, NFS_VER4, NULL, 1, NULL, NULL);
5091         if (error != 0) {
5092                 free(nd, M_TEMP);
5093                 return (error);
5094         }
5095         NFSD_DEBUG(4, "nfsrv_writedsdorpc: aft writerpc=%d\n", nd->nd_repstat);
5096         /* Get rid of weak cache consistency data for now. */
5097         if ((nd->nd_flag & (ND_NOMOREDATA | ND_NFSV4 | ND_V4WCCATTR)) ==
5098             (ND_NFSV4 | ND_V4WCCATTR)) {
5099                 error = nfsv4_loadattr(nd, NULL, nap, NULL, NULL, 0, NULL, NULL,
5100                     NULL, NULL, NULL, 0, NULL, NULL, NULL, NULL, NULL);
5101                 NFSD_DEBUG(4, "nfsrv_writedsdorpc: wcc attr=%d\n", error);
5102                 if (error != 0)
5103                         goto nfsmout;
5104                 /*
5105                  * Get rid of Op# and status for next op.
5106                  */
5107                 NFSM_DISSECT(tl, uint32_t *, 2 * NFSX_UNSIGNED);
5108                 if (*++tl != 0)
5109                         nd->nd_flag |= ND_NOMOREDATA;
5110         }
5111         if (nd->nd_repstat == 0) {
5112                 NFSM_DISSECT(tl, uint32_t *, 2 * NFSX_UNSIGNED + NFSX_VERF);
5113                 retlen = fxdr_unsigned(int, *tl++);
5114                 commit = fxdr_unsigned(int, *tl);
5115                 if (commit != NFSWRITE_FILESYNC)
5116                         error = NFSERR_IO;
5117                 NFSD_DEBUG(4, "nfsrv_writedsdorpc:retlen=%d commit=%d err=%d\n",
5118                     retlen, commit, error);
5119         } else
5120                 error = nd->nd_repstat;
5121         /* We have no use for the Write Verifier since we use FileSync. */
5122
5123         /*
5124          * Get the Change, Size, Access Time and Modify Time attributes and set
5125          * on the Metadata file, so its attributes will be what the file's
5126          * would be if it had been written.
5127          */
5128         if (error == 0) {
5129                 NFSM_DISSECT(tl, uint32_t *, 2 * NFSX_UNSIGNED);
5130                 error = nfsv4_loadattr(nd, NULL, nap, NULL, NULL, 0, NULL, NULL,
5131                     NULL, NULL, NULL, 0, NULL, NULL, NULL, NULL, NULL);
5132         }
5133         NFSD_DEBUG(4, "nfsrv_writedsdorpc: aft loadattr=%d\n", error);
5134 nfsmout:
5135         m_freem(nd->nd_mrep);
5136         free(nd, M_TEMP);
5137         NFSD_DEBUG(4, "nfsrv_writedsdorpc error=%d\n", error);
5138         return (error);
5139 }
5140
5141 /*
5142  * Start up the thread that will execute nfsrv_writedsdorpc().
5143  */
5144 static void
5145 start_writedsdorpc(void *arg, int pending)
5146 {
5147         struct nfsrvwritedsdorpc *drpc;
5148
5149         drpc = (struct nfsrvwritedsdorpc *)arg;
5150         drpc->err = nfsrv_writedsdorpc(drpc->nmp, &drpc->fh, drpc->off,
5151             drpc->len, NULL, drpc->m, drpc->cred, drpc->p);
5152         drpc->done = 1;
5153         NFSD_DEBUG(4, "start_writedsdorpc: err=%d\n", drpc->err);
5154 }
5155
5156 static int
5157 nfsrv_writedsrpc(fhandle_t *fhp, off_t off, int len, struct ucred *cred,
5158     NFSPROC_T *p, struct vnode *vp, struct nfsmount **nmpp, int mirrorcnt,
5159     struct mbuf **mpp, char *cp, int *failposp)
5160 {
5161         struct nfsrvwritedsdorpc *drpc, *tdrpc = NULL;
5162         struct nfsvattr na;
5163         struct mbuf *m;
5164         int error, i, offs, ret, timo;
5165
5166         NFSD_DEBUG(4, "in nfsrv_writedsrpc\n");
5167         KASSERT(*mpp != NULL, ("nfsrv_writedsrpc: NULL mbuf chain"));
5168         drpc = NULL;
5169         if (mirrorcnt > 1)
5170                 tdrpc = drpc = malloc(sizeof(*drpc) * (mirrorcnt - 1), M_TEMP,
5171                     M_WAITOK);
5172
5173         /* Calculate offset in mbuf chain that data starts. */
5174         offs = cp - mtod(*mpp, char *);
5175         NFSD_DEBUG(4, "nfsrv_writedsrpc: mcopy offs=%d len=%d\n", offs, len);
5176
5177         /*
5178          * Do the write RPC for every DS, using a separate kernel process
5179          * for every DS except the last one.
5180          */
5181         error = 0;
5182         for (i = 0; i < mirrorcnt - 1; i++, tdrpc++) {
5183                 tdrpc->done = 0;
5184                 NFSBCOPY(fhp, &tdrpc->fh, sizeof(*fhp));
5185                 tdrpc->off = off;
5186                 tdrpc->len = len;
5187                 tdrpc->nmp = *nmpp;
5188                 tdrpc->cred = cred;
5189                 tdrpc->p = p;
5190                 tdrpc->inprog = 0;
5191                 tdrpc->err = 0;
5192                 tdrpc->m = m_copym(*mpp, offs, NFSM_RNDUP(len), M_WAITOK);
5193                 ret = EIO;
5194                 if (nfs_pnfsiothreads != 0) {
5195                         ret = nfs_pnfsio(start_writedsdorpc, tdrpc);
5196                         NFSD_DEBUG(4, "nfsrv_writedsrpc: nfs_pnfsio=%d\n",
5197                             ret);
5198                 }
5199                 if (ret != 0) {
5200                         ret = nfsrv_writedsdorpc(*nmpp, fhp, off, len, NULL,
5201                             tdrpc->m, cred, p);
5202                         if (nfsds_failerr(ret) && *failposp == -1)
5203                                 *failposp = i;
5204                         else if (error == 0 && ret != 0)
5205                                 error = ret;
5206                 }
5207                 nmpp++;
5208                 fhp++;
5209         }
5210         m = m_copym(*mpp, offs, NFSM_RNDUP(len), M_WAITOK);
5211         ret = nfsrv_writedsdorpc(*nmpp, fhp, off, len, &na, m, cred, p);
5212         if (nfsds_failerr(ret) && *failposp == -1 && mirrorcnt > 1)
5213                 *failposp = mirrorcnt - 1;
5214         else if (error == 0 && ret != 0)
5215                 error = ret;
5216         if (error == 0)
5217                 error = nfsrv_setextattr(vp, &na, p);
5218         NFSD_DEBUG(4, "nfsrv_writedsrpc: aft setextat=%d\n", error);
5219         tdrpc = drpc;
5220         timo = hz / 50;         /* Wait for 20msec. */
5221         if (timo < 1)
5222                 timo = 1;
5223         for (i = 0; i < mirrorcnt - 1; i++, tdrpc++) {
5224                 /* Wait for RPCs on separate threads to complete. */
5225                 while (tdrpc->inprog != 0 && tdrpc->done == 0)
5226                         tsleep(&tdrpc->tsk, PVFS, "srvwrds", timo);
5227                 if (nfsds_failerr(tdrpc->err) && *failposp == -1)
5228                         *failposp = i;
5229                 else if (error == 0 && tdrpc->err != 0)
5230                         error = tdrpc->err;
5231         }
5232         free(drpc, M_TEMP);
5233         return (error);
5234 }
5235
5236 /*
5237  * Do a allocate RPC on a DS data file, using this structure for the arguments,
5238  * so that this function can be executed by a separate kernel process.
5239  */
5240 struct nfsrvallocatedsdorpc {
5241         int                     done;
5242         int                     inprog;
5243         struct task             tsk;
5244         fhandle_t               fh;
5245         off_t                   off;
5246         off_t                   len;
5247         struct nfsmount         *nmp;
5248         struct ucred            *cred;
5249         NFSPROC_T               *p;
5250         int                     err;
5251 };
5252
5253 static int
5254 nfsrv_allocatedsdorpc(struct nfsmount *nmp, fhandle_t *fhp, off_t off,
5255     off_t len, struct nfsvattr *nap, struct ucred *cred, NFSPROC_T *p)
5256 {
5257         uint32_t *tl;
5258         struct nfsrv_descript *nd;
5259         nfsattrbit_t attrbits;
5260         nfsv4stateid_t st;
5261         int error;
5262
5263         nd = malloc(sizeof(*nd), M_TEMP, M_WAITOK | M_ZERO);
5264         nfscl_reqstart(nd, NFSPROC_ALLOCATE, nmp, (u_int8_t *)fhp,
5265             sizeof(fhandle_t), NULL, NULL, 0, 0);
5266
5267         /*
5268          * Use a stateid where other is an alternating 01010 pattern and
5269          * seqid is 0xffffffff.  This value is not defined as special by
5270          * the RFC and is used by the FreeBSD NFS server to indicate an
5271          * MDS->DS proxy operation.
5272          */
5273         st.other[0] = 0x55555555;
5274         st.other[1] = 0x55555555;
5275         st.other[2] = 0x55555555;
5276         st.seqid = 0xffffffff;
5277         nfsm_stateidtom(nd, &st, NFSSTATEID_PUTSTATEID);
5278         NFSM_BUILD(tl, uint32_t *, 2 * NFSX_HYPER + NFSX_UNSIGNED);
5279         txdr_hyper(off, tl); tl += 2;
5280         txdr_hyper(len, tl); tl += 2;
5281         NFSD_DEBUG(4, "nfsrv_allocatedsdorpc: len=%jd\n", (intmax_t)len);
5282
5283         *tl = txdr_unsigned(NFSV4OP_GETATTR);
5284         NFSGETATTR_ATTRBIT(&attrbits);
5285         nfsrv_putattrbit(nd, &attrbits);
5286         error = newnfs_request(nd, nmp, NULL, &nmp->nm_sockreq, NULL, p,
5287             cred, NFS_PROG, NFS_VER4, NULL, 1, NULL, NULL);
5288         if (error != 0) {
5289                 free(nd, M_TEMP);
5290                 return (error);
5291         }
5292         NFSD_DEBUG(4, "nfsrv_allocatedsdorpc: aft allocaterpc=%d\n",
5293             nd->nd_repstat);
5294         if (nd->nd_repstat == 0) {
5295                 NFSM_DISSECT(tl, uint32_t *, 2 * NFSX_UNSIGNED);
5296                 error = nfsv4_loadattr(nd, NULL, nap, NULL, NULL, 0, NULL, NULL,
5297                     NULL, NULL, NULL, 0, NULL, NULL, NULL, NULL, NULL);
5298         } else
5299                 error = nd->nd_repstat;
5300         NFSD_DEBUG(4, "nfsrv_allocatedsdorpc: aft loadattr=%d\n", error);
5301 nfsmout:
5302         m_freem(nd->nd_mrep);
5303         free(nd, M_TEMP);
5304         NFSD_DEBUG(4, "nfsrv_allocatedsdorpc error=%d\n", error);
5305         return (error);
5306 }
5307
5308 /*
5309  * Start up the thread that will execute nfsrv_allocatedsdorpc().
5310  */
5311 static void
5312 start_allocatedsdorpc(void *arg, int pending)
5313 {
5314         struct nfsrvallocatedsdorpc *drpc;
5315
5316         drpc = (struct nfsrvallocatedsdorpc *)arg;
5317         drpc->err = nfsrv_allocatedsdorpc(drpc->nmp, &drpc->fh, drpc->off,
5318             drpc->len, NULL, drpc->cred, drpc->p);
5319         drpc->done = 1;
5320         NFSD_DEBUG(4, "start_allocatedsdorpc: err=%d\n", drpc->err);
5321 }
5322
5323 static int
5324 nfsrv_allocatedsrpc(fhandle_t *fhp, off_t off, off_t len, struct ucred *cred,
5325     NFSPROC_T *p, struct vnode *vp, struct nfsmount **nmpp, int mirrorcnt,
5326     int *failposp)
5327 {
5328         struct nfsrvallocatedsdorpc *drpc, *tdrpc = NULL;
5329         struct nfsvattr na;
5330         int error, i, ret, timo;
5331
5332         NFSD_DEBUG(4, "in nfsrv_allocatedsrpc\n");
5333         drpc = NULL;
5334         if (mirrorcnt > 1)
5335                 tdrpc = drpc = malloc(sizeof(*drpc) * (mirrorcnt - 1), M_TEMP,
5336                     M_WAITOK);
5337
5338         /*
5339          * Do the allocate RPC for every DS, using a separate kernel process
5340          * for every DS except the last one.
5341          */
5342         error = 0;
5343         for (i = 0; i < mirrorcnt - 1; i++, tdrpc++) {
5344                 tdrpc->done = 0;
5345                 NFSBCOPY(fhp, &tdrpc->fh, sizeof(*fhp));
5346                 tdrpc->off = off;
5347                 tdrpc->len = len;
5348                 tdrpc->nmp = *nmpp;
5349                 tdrpc->cred = cred;
5350                 tdrpc->p = p;
5351                 tdrpc->inprog = 0;
5352                 tdrpc->err = 0;
5353                 ret = EIO;
5354                 if (nfs_pnfsiothreads != 0) {
5355                         ret = nfs_pnfsio(start_allocatedsdorpc, tdrpc);
5356                         NFSD_DEBUG(4, "nfsrv_allocatedsrpc: nfs_pnfsio=%d\n",
5357                             ret);
5358                 }
5359                 if (ret != 0) {
5360                         ret = nfsrv_allocatedsdorpc(*nmpp, fhp, off, len, NULL,
5361                             cred, p);
5362                         if (nfsds_failerr(ret) && *failposp == -1)
5363                                 *failposp = i;
5364                         else if (error == 0 && ret != 0)
5365                                 error = ret;
5366                 }
5367                 nmpp++;
5368                 fhp++;
5369         }
5370         ret = nfsrv_allocatedsdorpc(*nmpp, fhp, off, len, &na, cred, p);
5371         if (nfsds_failerr(ret) && *failposp == -1 && mirrorcnt > 1)
5372                 *failposp = mirrorcnt - 1;
5373         else if (error == 0 && ret != 0)
5374                 error = ret;
5375         if (error == 0)
5376                 error = nfsrv_setextattr(vp, &na, p);
5377         NFSD_DEBUG(4, "nfsrv_allocatedsrpc: aft setextat=%d\n", error);
5378         tdrpc = drpc;
5379         timo = hz / 50;         /* Wait for 20msec. */
5380         if (timo < 1)
5381                 timo = 1;
5382         for (i = 0; i < mirrorcnt - 1; i++, tdrpc++) {
5383                 /* Wait for RPCs on separate threads to complete. */
5384                 while (tdrpc->inprog != 0 && tdrpc->done == 0)
5385                         tsleep(&tdrpc->tsk, PVFS, "srvalds", timo);
5386                 if (nfsds_failerr(tdrpc->err) && *failposp == -1)
5387                         *failposp = i;
5388                 else if (error == 0 && tdrpc->err != 0)
5389                         error = tdrpc->err;
5390         }
5391         free(drpc, M_TEMP);
5392         return (error);
5393 }
5394
5395 static int
5396 nfsrv_setattrdsdorpc(fhandle_t *fhp, struct ucred *cred, NFSPROC_T *p,
5397     struct vnode *vp, struct nfsmount *nmp, struct nfsvattr *nap,
5398     struct nfsvattr *dsnap)
5399 {
5400         uint32_t *tl;
5401         struct nfsrv_descript *nd;
5402         nfsv4stateid_t st;
5403         nfsattrbit_t attrbits;
5404         int error;
5405
5406         NFSD_DEBUG(4, "in nfsrv_setattrdsdorpc\n");
5407         nd = malloc(sizeof(*nd), M_TEMP, M_WAITOK | M_ZERO);
5408         /*
5409          * Use a stateid where other is an alternating 01010 pattern and
5410          * seqid is 0xffffffff.  This value is not defined as special by
5411          * the RFC and is used by the FreeBSD NFS server to indicate an
5412          * MDS->DS proxy operation.
5413          */
5414         st.other[0] = 0x55555555;
5415         st.other[1] = 0x55555555;
5416         st.other[2] = 0x55555555;
5417         st.seqid = 0xffffffff;
5418         nfscl_reqstart(nd, NFSPROC_SETATTR, nmp, (u_int8_t *)fhp, sizeof(*fhp),
5419             NULL, NULL, 0, 0);
5420         nfsm_stateidtom(nd, &st, NFSSTATEID_PUTSTATEID);
5421         nfscl_fillsattr(nd, &nap->na_vattr, vp, NFSSATTR_FULL, 0);
5422
5423         /* Do a Getattr for the attributes that change due to writing. */
5424         NFSZERO_ATTRBIT(&attrbits);
5425         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_SIZE);
5426         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_CHANGE);
5427         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_TIMEACCESS);
5428         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_TIMEMODIFY);
5429         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_SPACEUSED);
5430         NFSM_BUILD(tl, u_int32_t *, NFSX_UNSIGNED);
5431         *tl = txdr_unsigned(NFSV4OP_GETATTR);
5432         (void) nfsrv_putattrbit(nd, &attrbits);
5433         error = newnfs_request(nd, nmp, NULL, &nmp->nm_sockreq, NULL, p, cred,
5434             NFS_PROG, NFS_VER4, NULL, 1, NULL, NULL);
5435         if (error != 0) {
5436                 free(nd, M_TEMP);
5437                 return (error);
5438         }
5439         NFSD_DEBUG(4, "nfsrv_setattrdsdorpc: aft setattrrpc=%d\n",
5440             nd->nd_repstat);
5441         /* Get rid of weak cache consistency data for now. */
5442         if ((nd->nd_flag & (ND_NOMOREDATA | ND_NFSV4 | ND_V4WCCATTR)) ==
5443             (ND_NFSV4 | ND_V4WCCATTR)) {
5444                 error = nfsv4_loadattr(nd, NULL, dsnap, NULL, NULL, 0, NULL,
5445                     NULL, NULL, NULL, NULL, 0, NULL, NULL, NULL, NULL, NULL);
5446                 NFSD_DEBUG(4, "nfsrv_setattrdsdorpc: wcc attr=%d\n", error);
5447                 if (error != 0)
5448                         goto nfsmout;
5449                 /*
5450                  * Get rid of Op# and status for next op.
5451                  */
5452                 NFSM_DISSECT(tl, uint32_t *, 2 * NFSX_UNSIGNED);
5453                 if (*++tl != 0)
5454                         nd->nd_flag |= ND_NOMOREDATA;
5455         }
5456         error = nfsrv_getattrbits(nd, &attrbits, NULL, NULL);
5457         if (error != 0)
5458                 goto nfsmout;
5459         if (nd->nd_repstat != 0)
5460                 error = nd->nd_repstat;
5461         /*
5462          * Get the Change, Size, Access Time and Modify Time attributes and set
5463          * on the Metadata file, so its attributes will be what the file's
5464          * would be if it had been written.
5465          */
5466         if (error == 0) {
5467                 NFSM_DISSECT(tl, uint32_t *, 2 * NFSX_UNSIGNED);
5468                 error = nfsv4_loadattr(nd, NULL, dsnap, NULL, NULL, 0, NULL,
5469                     NULL, NULL, NULL, NULL, 0, NULL, NULL, NULL, NULL, NULL);
5470         }
5471         NFSD_DEBUG(4, "nfsrv_setattrdsdorpc: aft setattr loadattr=%d\n", error);
5472 nfsmout:
5473         m_freem(nd->nd_mrep);
5474         free(nd, M_TEMP);
5475         NFSD_DEBUG(4, "nfsrv_setattrdsdorpc error=%d\n", error);
5476         return (error);
5477 }
5478
5479 struct nfsrvsetattrdsdorpc {
5480         int                     done;
5481         int                     inprog;
5482         struct task             tsk;
5483         fhandle_t               fh;
5484         struct nfsmount         *nmp;
5485         struct vnode            *vp;
5486         struct ucred            *cred;
5487         NFSPROC_T               *p;
5488         struct nfsvattr         na;
5489         struct nfsvattr         dsna;
5490         int                     err;
5491 };
5492
5493 /*
5494  * Start up the thread that will execute nfsrv_setattrdsdorpc().
5495  */
5496 static void
5497 start_setattrdsdorpc(void *arg, int pending)
5498 {
5499         struct nfsrvsetattrdsdorpc *drpc;
5500
5501         drpc = (struct nfsrvsetattrdsdorpc *)arg;
5502         drpc->err = nfsrv_setattrdsdorpc(&drpc->fh, drpc->cred, drpc->p,
5503             drpc->vp, drpc->nmp, &drpc->na, &drpc->dsna);
5504         drpc->done = 1;
5505 }
5506
5507 static int
5508 nfsrv_setattrdsrpc(fhandle_t *fhp, struct ucred *cred, NFSPROC_T *p,
5509     struct vnode *vp, struct nfsmount **nmpp, int mirrorcnt,
5510     struct nfsvattr *nap, int *failposp)
5511 {
5512         struct nfsrvsetattrdsdorpc *drpc, *tdrpc = NULL;
5513         struct nfsvattr na;
5514         int error, i, ret, timo;
5515
5516         NFSD_DEBUG(4, "in nfsrv_setattrdsrpc\n");
5517         drpc = NULL;
5518         if (mirrorcnt > 1)
5519                 tdrpc = drpc = malloc(sizeof(*drpc) * (mirrorcnt - 1), M_TEMP,
5520                     M_WAITOK);
5521
5522         /*
5523          * Do the setattr RPC for every DS, using a separate kernel process
5524          * for every DS except the last one.
5525          */
5526         error = 0;
5527         for (i = 0; i < mirrorcnt - 1; i++, tdrpc++) {
5528                 tdrpc->done = 0;
5529                 tdrpc->inprog = 0;
5530                 NFSBCOPY(fhp, &tdrpc->fh, sizeof(*fhp));
5531                 tdrpc->nmp = *nmpp;
5532                 tdrpc->vp = vp;
5533                 tdrpc->cred = cred;
5534                 tdrpc->p = p;
5535                 tdrpc->na = *nap;
5536                 tdrpc->err = 0;
5537                 ret = EIO;
5538                 if (nfs_pnfsiothreads != 0) {
5539                         ret = nfs_pnfsio(start_setattrdsdorpc, tdrpc);
5540                         NFSD_DEBUG(4, "nfsrv_setattrdsrpc: nfs_pnfsio=%d\n",
5541                             ret);
5542                 }
5543                 if (ret != 0) {
5544                         ret = nfsrv_setattrdsdorpc(fhp, cred, p, vp, *nmpp, nap,
5545                             &na);
5546                         if (nfsds_failerr(ret) && *failposp == -1)
5547                                 *failposp = i;
5548                         else if (error == 0 && ret != 0)
5549                                 error = ret;
5550                 }
5551                 nmpp++;
5552                 fhp++;
5553         }
5554         ret = nfsrv_setattrdsdorpc(fhp, cred, p, vp, *nmpp, nap, &na);
5555         if (nfsds_failerr(ret) && *failposp == -1 && mirrorcnt > 1)
5556                 *failposp = mirrorcnt - 1;
5557         else if (error == 0 && ret != 0)
5558                 error = ret;
5559         if (error == 0)
5560                 error = nfsrv_setextattr(vp, &na, p);
5561         NFSD_DEBUG(4, "nfsrv_setattrdsrpc: aft setextat=%d\n", error);
5562         tdrpc = drpc;
5563         timo = hz / 50;         /* Wait for 20msec. */
5564         if (timo < 1)
5565                 timo = 1;
5566         for (i = 0; i < mirrorcnt - 1; i++, tdrpc++) {
5567                 /* Wait for RPCs on separate threads to complete. */
5568                 while (tdrpc->inprog != 0 && tdrpc->done == 0)
5569                         tsleep(&tdrpc->tsk, PVFS, "srvsads", timo);
5570                 if (nfsds_failerr(tdrpc->err) && *failposp == -1)
5571                         *failposp = i;
5572                 else if (error == 0 && tdrpc->err != 0)
5573                         error = tdrpc->err;
5574         }
5575         free(drpc, M_TEMP);
5576         return (error);
5577 }
5578
5579 /*
5580  * Do a Setattr of an NFSv4 ACL on the DS file.
5581  */
5582 static int
5583 nfsrv_setacldsdorpc(fhandle_t *fhp, struct ucred *cred, NFSPROC_T *p,
5584     struct vnode *vp, struct nfsmount *nmp, struct acl *aclp)
5585 {
5586         struct nfsrv_descript *nd;
5587         nfsv4stateid_t st;
5588         nfsattrbit_t attrbits;
5589         int error;
5590
5591         NFSD_DEBUG(4, "in nfsrv_setacldsdorpc\n");
5592         nd = malloc(sizeof(*nd), M_TEMP, M_WAITOK | M_ZERO);
5593         /*
5594          * Use a stateid where other is an alternating 01010 pattern and
5595          * seqid is 0xffffffff.  This value is not defined as special by
5596          * the RFC and is used by the FreeBSD NFS server to indicate an
5597          * MDS->DS proxy operation.
5598          */
5599         st.other[0] = 0x55555555;
5600         st.other[1] = 0x55555555;
5601         st.other[2] = 0x55555555;
5602         st.seqid = 0xffffffff;
5603         nfscl_reqstart(nd, NFSPROC_SETACL, nmp, (u_int8_t *)fhp, sizeof(*fhp),
5604             NULL, NULL, 0, 0);
5605         nfsm_stateidtom(nd, &st, NFSSTATEID_PUTSTATEID);
5606         NFSZERO_ATTRBIT(&attrbits);
5607         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_ACL);
5608         /*
5609          * The "vp" argument to nfsv4_fillattr() is only used for vnode_type(),
5610          * so passing in the metadata "vp" will be ok, since it is of
5611          * the same type (VREG).
5612          */
5613         nfsv4_fillattr(nd, NULL, vp, aclp, NULL, NULL, 0, &attrbits, NULL,
5614             NULL, 0, 0, 0, 0, 0, NULL);
5615         error = newnfs_request(nd, nmp, NULL, &nmp->nm_sockreq, NULL, p, cred,
5616             NFS_PROG, NFS_VER4, NULL, 1, NULL, NULL);
5617         if (error != 0) {
5618                 free(nd, M_TEMP);
5619                 return (error);
5620         }
5621         NFSD_DEBUG(4, "nfsrv_setacldsdorpc: aft setaclrpc=%d\n",
5622             nd->nd_repstat);
5623         error = nd->nd_repstat;
5624         m_freem(nd->nd_mrep);
5625         free(nd, M_TEMP);
5626         return (error);
5627 }
5628
5629 struct nfsrvsetacldsdorpc {
5630         int                     done;
5631         int                     inprog;
5632         struct task             tsk;
5633         fhandle_t               fh;
5634         struct nfsmount         *nmp;
5635         struct vnode            *vp;
5636         struct ucred            *cred;
5637         NFSPROC_T               *p;
5638         struct acl              *aclp;
5639         int                     err;
5640 };
5641
5642 /*
5643  * Start up the thread that will execute nfsrv_setacldsdorpc().
5644  */
5645 static void
5646 start_setacldsdorpc(void *arg, int pending)
5647 {
5648         struct nfsrvsetacldsdorpc *drpc;
5649
5650         drpc = (struct nfsrvsetacldsdorpc *)arg;
5651         drpc->err = nfsrv_setacldsdorpc(&drpc->fh, drpc->cred, drpc->p,
5652             drpc->vp, drpc->nmp, drpc->aclp);
5653         drpc->done = 1;
5654 }
5655
5656 static int
5657 nfsrv_setacldsrpc(fhandle_t *fhp, struct ucred *cred, NFSPROC_T *p,
5658     struct vnode *vp, struct nfsmount **nmpp, int mirrorcnt, struct acl *aclp,
5659     int *failposp)
5660 {
5661         struct nfsrvsetacldsdorpc *drpc, *tdrpc = NULL;
5662         int error, i, ret, timo;
5663
5664         NFSD_DEBUG(4, "in nfsrv_setacldsrpc\n");
5665         drpc = NULL;
5666         if (mirrorcnt > 1)
5667                 tdrpc = drpc = malloc(sizeof(*drpc) * (mirrorcnt - 1), M_TEMP,
5668                     M_WAITOK);
5669
5670         /*
5671          * Do the setattr RPC for every DS, using a separate kernel process
5672          * for every DS except the last one.
5673          */
5674         error = 0;
5675         for (i = 0; i < mirrorcnt - 1; i++, tdrpc++) {
5676                 tdrpc->done = 0;
5677                 tdrpc->inprog = 0;
5678                 NFSBCOPY(fhp, &tdrpc->fh, sizeof(*fhp));
5679                 tdrpc->nmp = *nmpp;
5680                 tdrpc->vp = vp;
5681                 tdrpc->cred = cred;
5682                 tdrpc->p = p;
5683                 tdrpc->aclp = aclp;
5684                 tdrpc->err = 0;
5685                 ret = EIO;
5686                 if (nfs_pnfsiothreads != 0) {
5687                         ret = nfs_pnfsio(start_setacldsdorpc, tdrpc);
5688                         NFSD_DEBUG(4, "nfsrv_setacldsrpc: nfs_pnfsio=%d\n",
5689                             ret);
5690                 }
5691                 if (ret != 0) {
5692                         ret = nfsrv_setacldsdorpc(fhp, cred, p, vp, *nmpp,
5693                             aclp);
5694                         if (nfsds_failerr(ret) && *failposp == -1)
5695                                 *failposp = i;
5696                         else if (error == 0 && ret != 0)
5697                                 error = ret;
5698                 }
5699                 nmpp++;
5700                 fhp++;
5701         }
5702         ret = nfsrv_setacldsdorpc(fhp, cred, p, vp, *nmpp, aclp);
5703         if (nfsds_failerr(ret) && *failposp == -1 && mirrorcnt > 1)
5704                 *failposp = mirrorcnt - 1;
5705         else if (error == 0 && ret != 0)
5706                 error = ret;
5707         NFSD_DEBUG(4, "nfsrv_setacldsrpc: aft setextat=%d\n", error);
5708         tdrpc = drpc;
5709         timo = hz / 50;         /* Wait for 20msec. */
5710         if (timo < 1)
5711                 timo = 1;
5712         for (i = 0; i < mirrorcnt - 1; i++, tdrpc++) {
5713                 /* Wait for RPCs on separate threads to complete. */
5714                 while (tdrpc->inprog != 0 && tdrpc->done == 0)
5715                         tsleep(&tdrpc->tsk, PVFS, "srvacds", timo);
5716                 if (nfsds_failerr(tdrpc->err) && *failposp == -1)
5717                         *failposp = i;
5718                 else if (error == 0 && tdrpc->err != 0)
5719                         error = tdrpc->err;
5720         }
5721         free(drpc, M_TEMP);
5722         return (error);
5723 }
5724
5725 /*
5726  * Getattr call to the DS for the attributes that change due to writing.
5727  */
5728 static int
5729 nfsrv_getattrdsrpc(fhandle_t *fhp, struct ucred *cred, NFSPROC_T *p,
5730     struct vnode *vp, struct nfsmount *nmp, struct nfsvattr *nap)
5731 {
5732         struct nfsrv_descript *nd;
5733         int error;
5734         nfsattrbit_t attrbits;
5735
5736         NFSD_DEBUG(4, "in nfsrv_getattrdsrpc\n");
5737         nd = malloc(sizeof(*nd), M_TEMP, M_WAITOK | M_ZERO);
5738         nfscl_reqstart(nd, NFSPROC_GETATTR, nmp, (u_int8_t *)fhp,
5739             sizeof(fhandle_t), NULL, NULL, 0, 0);
5740         NFSZERO_ATTRBIT(&attrbits);
5741         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_SIZE);
5742         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_CHANGE);
5743         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_TIMEACCESS);
5744         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_TIMEMODIFY);
5745         NFSSETBIT_ATTRBIT(&attrbits, NFSATTRBIT_SPACEUSED);
5746         (void) nfsrv_putattrbit(nd, &attrbits);
5747         error = newnfs_request(nd, nmp, NULL, &nmp->nm_sockreq, NULL, p, cred,
5748             NFS_PROG, NFS_VER4, NULL, 1, NULL, NULL);
5749         if (error != 0) {
5750                 free(nd, M_TEMP);
5751                 return (error);
5752         }
5753         NFSD_DEBUG(4, "nfsrv_getattrdsrpc: aft getattrrpc=%d\n",
5754             nd->nd_repstat);
5755         if (nd->nd_repstat == 0) {
5756                 error = nfsv4_loadattr(nd, NULL, nap, NULL, NULL, 0,
5757                     NULL, NULL, NULL, NULL, NULL, 0, NULL, NULL, NULL,
5758                     NULL, NULL);
5759                 /*
5760                  * We can only save the updated values in the extended
5761                  * attribute if the vp is exclusively locked.
5762                  * This should happen when any of the following operations
5763                  * occur on the vnode:
5764                  *    Close, Delegreturn, LayoutCommit, LayoutReturn
5765                  * As such, the updated extended attribute should get saved
5766                  * before nfsrv_checkdsattr() returns 0 and allows the cached
5767                  * attributes to be returned without calling this function.
5768                  */
5769                 if (error == 0 && VOP_ISLOCKED(vp) == LK_EXCLUSIVE) {
5770                         error = nfsrv_setextattr(vp, nap, p);
5771                         NFSD_DEBUG(4, "nfsrv_getattrdsrpc: aft setextat=%d\n",
5772                             error);
5773                 }
5774         } else
5775                 error = nd->nd_repstat;
5776         m_freem(nd->nd_mrep);
5777         free(nd, M_TEMP);
5778         NFSD_DEBUG(4, "nfsrv_getattrdsrpc error=%d\n", error);
5779         return (error);
5780 }
5781
5782 /*
5783  * Seek call to a DS.
5784  */
5785 static int
5786 nfsrv_seekdsrpc(fhandle_t *fhp, off_t *offp, int content, bool *eofp,
5787     struct ucred *cred, NFSPROC_T *p, struct nfsmount *nmp)
5788 {
5789         uint32_t *tl;
5790         struct nfsrv_descript *nd;
5791         nfsv4stateid_t st;
5792         int error;
5793
5794         NFSD_DEBUG(4, "in nfsrv_seekdsrpc\n");
5795         /*
5796          * Use a stateid where other is an alternating 01010 pattern and
5797          * seqid is 0xffffffff.  This value is not defined as special by
5798          * the RFC and is used by the FreeBSD NFS server to indicate an
5799          * MDS->DS proxy operation.
5800          */
5801         st.other[0] = 0x55555555;
5802         st.other[1] = 0x55555555;
5803         st.other[2] = 0x55555555;
5804         st.seqid = 0xffffffff;
5805         nd = malloc(sizeof(*nd), M_TEMP, M_WAITOK | M_ZERO);
5806         nfscl_reqstart(nd, NFSPROC_SEEKDS, nmp, (u_int8_t *)fhp,
5807             sizeof(fhandle_t), NULL, NULL, 0, 0);
5808         nfsm_stateidtom(nd, &st, NFSSTATEID_PUTSTATEID);
5809         NFSM_BUILD(tl, uint32_t *, NFSX_HYPER + NFSX_UNSIGNED);
5810         txdr_hyper(*offp, tl); tl += 2;
5811         *tl = txdr_unsigned(content);
5812         error = newnfs_request(nd, nmp, NULL, &nmp->nm_sockreq, NULL, p, cred,
5813             NFS_PROG, NFS_VER4, NULL, 1, NULL, NULL);
5814         if (error != 0) {
5815                 free(nd, M_TEMP);
5816                 return (error);
5817         }
5818         NFSD_DEBUG(4, "nfsrv_seekdsrpc: aft seekrpc=%d\n", nd->nd_repstat);
5819         if (nd->nd_repstat == 0) {
5820                 NFSM_DISSECT(tl, uint32_t *, NFSX_UNSIGNED + NFSX_HYPER);
5821                 if (*tl++ == newnfs_true)
5822                         *eofp = true;
5823                 else
5824                         *eofp = false;
5825                 *offp = fxdr_hyper(tl);
5826         } else
5827                 error = nd->nd_repstat;
5828 nfsmout:
5829         m_freem(nd->nd_mrep);
5830         free(nd, M_TEMP);
5831         NFSD_DEBUG(4, "nfsrv_seekdsrpc error=%d\n", error);
5832         return (error);
5833 }
5834
5835 /*
5836  * Get the device id and file handle for a DS file.
5837  */
5838 int
5839 nfsrv_dsgetdevandfh(struct vnode *vp, NFSPROC_T *p, int *mirrorcntp,
5840     fhandle_t *fhp, char *devid)
5841 {
5842         int buflen, error;
5843         char *buf;
5844
5845         buflen = 1024;
5846         buf = malloc(buflen, M_TEMP, M_WAITOK);
5847         error = nfsrv_dsgetsockmnt(vp, 0, buf, &buflen, mirrorcntp, p, NULL,
5848             fhp, devid, NULL, NULL, NULL, NULL, NULL, NULL);
5849         free(buf, M_TEMP);
5850         return (error);
5851 }
5852
5853 /*
5854  * Do a Lookup against the DS for the filename.
5855  */
5856 static int
5857 nfsrv_pnfslookupds(struct vnode *vp, struct vnode *dvp, struct pnfsdsfile *pf,
5858     struct vnode **nvpp, NFSPROC_T *p)
5859 {
5860         struct nameidata named;
5861         struct ucred *tcred;
5862         char *bufp;
5863         u_long *hashp;
5864         struct vnode *nvp;
5865         int error;
5866
5867         tcred = newnfs_getcred();
5868         named.ni_cnd.cn_nameiop = LOOKUP;
5869         named.ni_cnd.cn_lkflags = LK_SHARED | LK_RETRY;
5870         named.ni_cnd.cn_cred = tcred;
5871         named.ni_cnd.cn_thread = p;
5872         named.ni_cnd.cn_flags = ISLASTCN | LOCKPARENT | LOCKLEAF | SAVENAME;
5873         nfsvno_setpathbuf(&named, &bufp, &hashp);
5874         named.ni_cnd.cn_nameptr = bufp;
5875         named.ni_cnd.cn_namelen = strlen(pf->dsf_filename);
5876         strlcpy(bufp, pf->dsf_filename, NAME_MAX);
5877         NFSD_DEBUG(4, "nfsrv_pnfslookupds: filename=%s\n", bufp);
5878         error = VOP_LOOKUP(dvp, &nvp, &named.ni_cnd);
5879         NFSD_DEBUG(4, "nfsrv_pnfslookupds: aft LOOKUP=%d\n", error);
5880         NFSFREECRED(tcred);
5881         nfsvno_relpathbuf(&named);
5882         if (error == 0)
5883                 *nvpp = nvp;
5884         NFSD_DEBUG(4, "eo nfsrv_pnfslookupds=%d\n", error);
5885         return (error);
5886 }
5887
5888 /*
5889  * Set the file handle to the correct one.
5890  */
5891 static void
5892 nfsrv_pnfssetfh(struct vnode *vp, struct pnfsdsfile *pf, char *devid,
5893     char *fnamep, struct vnode *nvp, NFSPROC_T *p)
5894 {
5895         struct nfsnode *np;
5896         int ret = 0;
5897
5898         np = VTONFS(nvp);
5899         NFSBCOPY(np->n_fhp->nfh_fh, &pf->dsf_fh, NFSX_MYFH);
5900         /*
5901          * We can only do a vn_set_extattr() if the vnode is exclusively
5902          * locked and vn_start_write() has been done.  If devid != NULL or
5903          * fnamep != NULL or the vnode is shared locked, vn_start_write()
5904          * may not have been done.
5905          * If not done now, it will be done on a future call.
5906          */
5907         if (devid == NULL && fnamep == NULL && NFSVOPISLOCKED(vp) ==
5908             LK_EXCLUSIVE)
5909                 ret = vn_extattr_set(vp, IO_NODELOCKED,
5910                     EXTATTR_NAMESPACE_SYSTEM, "pnfsd.dsfile", sizeof(*pf),
5911                     (char *)pf, p);
5912         NFSD_DEBUG(4, "eo nfsrv_pnfssetfh=%d\n", ret);
5913 }
5914
5915 /*
5916  * Cause RPCs waiting on "nmp" to fail.  This is called for a DS mount point
5917  * when the DS has failed.
5918  */
5919 void
5920 nfsrv_killrpcs(struct nfsmount *nmp)
5921 {
5922
5923         /*
5924          * Call newnfs_nmcancelreqs() to cause
5925          * any RPCs in progress on the mount point to
5926          * fail.
5927          * This will cause any process waiting for an
5928          * RPC to complete while holding a vnode lock
5929          * on the mounted-on vnode (such as "df" or
5930          * a non-forced "umount") to fail.
5931          * This will unlock the mounted-on vnode so
5932          * a forced dismount can succeed.
5933          * The NFSMNTP_CANCELRPCS flag should be set when this function is
5934          * called.
5935          */
5936         newnfs_nmcancelreqs(nmp);
5937 }
5938
5939 /*
5940  * Sum up the statfs info for each of the DSs, so that the client will
5941  * receive the total for all DSs.
5942  */
5943 static int
5944 nfsrv_pnfsstatfs(struct statfs *sf, struct mount *mp)
5945 {
5946         struct statfs *tsf;
5947         struct nfsdevice *ds;
5948         struct vnode **dvpp, **tdvpp, *dvp;
5949         uint64_t tot;
5950         int cnt, error = 0, i;
5951
5952         if (nfsrv_devidcnt <= 0)
5953                 return (ENXIO);
5954         dvpp = mallocarray(nfsrv_devidcnt, sizeof(*dvpp), M_TEMP, M_WAITOK);
5955         tsf = malloc(sizeof(*tsf), M_TEMP, M_WAITOK);
5956
5957         /* Get an array of the dvps for the DSs. */
5958         tdvpp = dvpp;
5959         i = 0;
5960         NFSDDSLOCK();
5961         /* First, search for matches for same file system. */
5962         TAILQ_FOREACH(ds, &nfsrv_devidhead, nfsdev_list) {
5963                 if (ds->nfsdev_nmp != NULL && ds->nfsdev_mdsisset != 0 &&
5964                     fsidcmp(&ds->nfsdev_mdsfsid, &mp->mnt_stat.f_fsid) == 0) {
5965                         if (++i > nfsrv_devidcnt)
5966                                 break;
5967                         *tdvpp++ = ds->nfsdev_dvp;
5968                 }
5969         }
5970         /*
5971          * If no matches for same file system, total all servers not assigned
5972          * to a file system.
5973          */
5974         if (i == 0) {
5975                 TAILQ_FOREACH(ds, &nfsrv_devidhead, nfsdev_list) {
5976                         if (ds->nfsdev_nmp != NULL &&
5977                             ds->nfsdev_mdsisset == 0) {
5978                                 if (++i > nfsrv_devidcnt)
5979                                         break;
5980                                 *tdvpp++ = ds->nfsdev_dvp;
5981                         }
5982                 }
5983         }
5984         NFSDDSUNLOCK();
5985         cnt = i;
5986
5987         /* Do a VFS_STATFS() for each of the DSs and sum them up. */
5988         tdvpp = dvpp;
5989         for (i = 0; i < cnt && error == 0; i++) {
5990                 dvp = *tdvpp++;
5991                 error = VFS_STATFS(dvp->v_mount, tsf);
5992                 if (error == 0) {
5993                         if (sf->f_bsize == 0) {
5994                                 if (tsf->f_bsize > 0)
5995                                         sf->f_bsize = tsf->f_bsize;
5996                                 else
5997                                         sf->f_bsize = 8192;
5998                         }
5999                         if (tsf->f_blocks > 0) {
6000                                 if (sf->f_bsize != tsf->f_bsize) {
6001                                         tot = tsf->f_blocks * tsf->f_bsize;
6002                                         sf->f_blocks += (tot / sf->f_bsize);
6003                                 } else
6004                                         sf->f_blocks += tsf->f_blocks;
6005                         }
6006                         if (tsf->f_bfree > 0) {
6007                                 if (sf->f_bsize != tsf->f_bsize) {
6008                                         tot = tsf->f_bfree * tsf->f_bsize;
6009                                         sf->f_bfree += (tot / sf->f_bsize);
6010                                 } else
6011                                         sf->f_bfree += tsf->f_bfree;
6012                         }
6013                         if (tsf->f_bavail > 0) {
6014                                 if (sf->f_bsize != tsf->f_bsize) {
6015                                         tot = tsf->f_bavail * tsf->f_bsize;
6016                                         sf->f_bavail += (tot / sf->f_bsize);
6017                                 } else
6018                                         sf->f_bavail += tsf->f_bavail;
6019                         }
6020                 }
6021         }
6022         free(tsf, M_TEMP);
6023         free(dvpp, M_TEMP);
6024         return (error);
6025 }
6026
6027 /*
6028  * Set an NFSv4 acl.
6029  */
6030 int
6031 nfsrv_setacl(struct vnode *vp, NFSACL_T *aclp, struct ucred *cred, NFSPROC_T *p)
6032 {
6033         int error;
6034
6035         if (nfsrv_useacl == 0 || nfs_supportsnfsv4acls(vp) == 0) {
6036                 error = NFSERR_ATTRNOTSUPP;
6037                 goto out;
6038         }
6039         /*
6040          * With NFSv4 ACLs, chmod(2) may need to add additional entries.
6041          * Make sure it has enough room for that - splitting every entry
6042          * into two and appending "canonical six" entries at the end.
6043          * Cribbed out of kern/vfs_acl.c - Rick M.
6044          */
6045         if (aclp->acl_cnt > (ACL_MAX_ENTRIES - 6) / 2) {
6046                 error = NFSERR_ATTRNOTSUPP;
6047                 goto out;
6048         }
6049         error = VOP_SETACL(vp, ACL_TYPE_NFS4, aclp, cred, p);
6050         if (error == 0) {
6051                 error = nfsrv_dssetacl(vp, aclp, cred, p);
6052                 if (error == ENOENT)
6053                         error = 0;
6054         }
6055
6056 out:
6057         NFSEXITCODE(error);
6058         return (error);
6059 }
6060
6061 /*
6062  * Seek vnode op call (actually it is a VOP_IOCTL()).
6063  * This function is called with the vnode locked, but unlocks and vrele()s
6064  * the vp before returning.
6065  */
6066 int
6067 nfsvno_seek(struct nfsrv_descript *nd, struct vnode *vp, u_long cmd,
6068     off_t *offp, int content, bool *eofp, struct ucred *cred, NFSPROC_T *p)
6069 {
6070         struct nfsvattr at;
6071         int error, ret;
6072
6073         ASSERT_VOP_LOCKED(vp, "nfsvno_seek vp");
6074         /*
6075          * Attempt to seek on a DS file. A return of ENOENT implies
6076          * there is no DS file to seek on.
6077          */
6078         error = nfsrv_proxyds(vp, 0, 0, cred, p, NFSPROC_SEEKDS, NULL,
6079             NULL, NULL, NULL, NULL, offp, content, eofp);
6080         if (error != ENOENT) {
6081                 vput(vp);
6082                 return (error);
6083         }
6084
6085         /*
6086          * Do the VOP_IOCTL() call.  For the case where *offp == file_size,
6087          * VOP_IOCTL() will return ENXIO.  However, the correct reply for
6088          * NFSv4.2 is *eofp == true and error == 0 for this case.
6089          */
6090         NFSVOPUNLOCK(vp);
6091         error = VOP_IOCTL(vp, cmd, offp, 0, cred, p);
6092         *eofp = false;
6093         if (error == ENXIO || (error == 0 && cmd == FIOSEEKHOLE)) {
6094                 /* Handle the cases where we might be at EOF. */
6095                 ret = nfsvno_getattr(vp, &at, nd, p, 0, NULL);
6096                 if (ret == 0 && *offp == at.na_size) {
6097                         *eofp = true;
6098                         error = 0;
6099                 }
6100                 if (ret != 0 && error == 0)
6101                         error = ret;
6102         }
6103         vrele(vp);
6104         NFSEXITCODE(error);
6105         return (error);
6106 }
6107
6108 /*
6109  * Allocate vnode op call.
6110  */
6111 int
6112 nfsvno_allocate(struct vnode *vp, off_t off, off_t len, struct ucred *cred,
6113     NFSPROC_T *p)
6114 {
6115         int error, trycnt;
6116
6117         ASSERT_VOP_ELOCKED(vp, "nfsvno_allocate vp");
6118         /*
6119          * Attempt to allocate on a DS file. A return of ENOENT implies
6120          * there is no DS file to allocate on.
6121          */
6122         error = nfsrv_proxyds(vp, off, 0, cred, p, NFSPROC_ALLOCATE, NULL,
6123             NULL, NULL, NULL, NULL, &len, 0, NULL);
6124         if (error != ENOENT)
6125                 return (error);
6126         error = 0;
6127
6128         /*
6129          * Do the actual VOP_ALLOCATE(), looping a reasonable number of
6130          * times to achieve completion.
6131          */
6132         trycnt = 0;
6133         while (error == 0 && len > 0 && trycnt++ < 20)
6134                 error = VOP_ALLOCATE(vp, &off, &len);
6135         if (error == 0 && len > 0)
6136                 error = NFSERR_IO;
6137         NFSEXITCODE(error);
6138         return (error);
6139 }
6140
6141 /*
6142  * Get Extended Atribute vnode op into an mbuf list.
6143  */
6144 int
6145 nfsvno_getxattr(struct vnode *vp, char *name, uint32_t maxresp,
6146     struct ucred *cred, struct thread *p, struct mbuf **mpp,
6147     struct mbuf **mpendp, int *lenp)
6148 {
6149         struct iovec *iv;
6150         struct uio io, *uiop = &io;
6151         struct mbuf *m, *m2;
6152         int alen, error, len, tlen;
6153         size_t siz;
6154
6155         /* First, find out the size of the extended attribute. */
6156         error = VOP_GETEXTATTR(vp, EXTATTR_NAMESPACE_USER, name, NULL,
6157             &siz, cred, p);
6158         if (error != 0)
6159                 return (NFSERR_NOXATTR);
6160         if (siz > maxresp - NFS_MAXXDR)
6161                 return (NFSERR_XATTR2BIG);
6162         len = siz;
6163         tlen = NFSM_RNDUP(len);
6164         if (tlen > 0) {
6165                 uiop->uio_iovcnt = nfsrv_createiovec(tlen, &m, &m2, &iv);
6166                 uiop->uio_iov = iv;
6167         } else {
6168                 uiop->uio_iovcnt = 0;
6169                 uiop->uio_iov = iv = NULL;
6170                 m = m2 = NULL;
6171         }
6172         uiop->uio_offset = 0;
6173         uiop->uio_resid = tlen;
6174         uiop->uio_rw = UIO_READ;
6175         uiop->uio_segflg = UIO_SYSSPACE;
6176         uiop->uio_td = p;
6177 #ifdef MAC
6178         error = mac_vnode_check_getextattr(cred, vp, EXTATTR_NAMESPACE_USER,
6179             name);
6180         if (error != 0)
6181                 goto out;
6182 #endif
6183
6184         if (tlen > 0)
6185                 error = VOP_GETEXTATTR(vp, EXTATTR_NAMESPACE_USER, name, uiop,
6186                     NULL, cred, p);
6187         if (error != 0)
6188                 goto out;
6189         if (uiop->uio_resid > 0) {
6190                 alen = tlen;
6191                 len = tlen - uiop->uio_resid;
6192                 tlen = NFSM_RNDUP(len);
6193                 if (alen != tlen)
6194                         printf("nfsvno_getxattr: weird size read\n");
6195                 nfsrv_adj(m, alen - tlen, tlen - len);
6196         }
6197         *lenp = len;
6198         *mpp = m;
6199         *mpendp = m2;
6200
6201 out:
6202         if (error != 0) {
6203                 if (m != NULL)
6204                         m_freem(m);
6205                 *lenp = 0;
6206         }
6207         free(iv, M_TEMP);
6208         NFSEXITCODE(error);
6209         return (error);
6210 }
6211
6212 /*
6213  * Set Extended attribute vnode op from an mbuf list.
6214  */
6215 int
6216 nfsvno_setxattr(struct vnode *vp, char *name, int len, struct mbuf *m,
6217     char *cp, struct ucred *cred, struct thread *p)
6218 {
6219         struct iovec *iv;
6220         struct uio uio, *uiop = &uio;
6221         int cnt, error;
6222
6223         error = 0;
6224 #ifdef MAC
6225         error = mac_vnode_check_setextattr(cred, vp, EXTATTR_NAMESPACE_USER,
6226             name);
6227 #endif
6228         if (error != 0)
6229                 goto out;
6230
6231         uiop->uio_rw = UIO_WRITE;
6232         uiop->uio_segflg = UIO_SYSSPACE;
6233         uiop->uio_td = p;
6234         uiop->uio_offset = 0;
6235         uiop->uio_resid = len;
6236         if (len > 0) {
6237                 error = nfsrv_createiovecw(len, m, cp, &iv, &cnt);
6238                 uiop->uio_iov = iv;
6239                 uiop->uio_iovcnt = cnt;
6240         } else {
6241                 uiop->uio_iov = iv = NULL;
6242                 uiop->uio_iovcnt = 0;
6243         }
6244         if (error == 0) {
6245                 error = VOP_SETEXTATTR(vp, EXTATTR_NAMESPACE_USER, name, uiop,
6246                     cred, p);
6247                 free(iv, M_TEMP);
6248         }
6249
6250 out:
6251         NFSEXITCODE(error);
6252         return (error);
6253 }
6254
6255 /*
6256  * Remove Extended attribute vnode op.
6257  */
6258 int
6259 nfsvno_rmxattr(struct nfsrv_descript *nd, struct vnode *vp, char *name,
6260     struct ucred *cred, struct thread *p)
6261 {
6262         int error;
6263
6264         /*
6265          * Get rid of any delegations.  I am not sure why this is required,
6266          * but RFC-8276 says so.
6267          */
6268         error = nfsrv_checkremove(vp, 0, nd, nd->nd_clientid, p);
6269         if (error != 0)
6270                 goto out;
6271 #ifdef MAC
6272         error = mac_vnode_check_deleteextattr(cred, vp, EXTATTR_NAMESPACE_USER,
6273             name);
6274         if (error != 0)
6275                 goto out;
6276 #endif
6277
6278         error = VOP_DELETEEXTATTR(vp, EXTATTR_NAMESPACE_USER, name, cred, p);
6279         if (error == EOPNOTSUPP)
6280                 error = VOP_SETEXTATTR(vp, EXTATTR_NAMESPACE_USER, name, NULL,
6281                     cred, p);
6282 out:
6283         NFSEXITCODE(error);
6284         return (error);
6285 }
6286
6287 /*
6288  * List Extended Atribute vnode op into an mbuf list.
6289  */
6290 int
6291 nfsvno_listxattr(struct vnode *vp, uint64_t cookie, struct ucred *cred,
6292     struct thread *p, u_char **bufp, uint32_t *lenp, bool *eofp)
6293 {
6294         struct iovec iv;
6295         struct uio io;
6296         int error;
6297         size_t siz;
6298
6299         *bufp = NULL;
6300         /* First, find out the size of the extended attribute. */
6301         error = VOP_LISTEXTATTR(vp, EXTATTR_NAMESPACE_USER, NULL, &siz, cred,
6302             p);
6303         if (error != 0)
6304                 return (NFSERR_NOXATTR);
6305         if (siz <= cookie) {
6306                 *lenp = 0;
6307                 *eofp = true;
6308                 goto out;
6309         }
6310         if (siz > cookie + *lenp) {
6311                 siz = cookie + *lenp;
6312                 *eofp = false;
6313         } else
6314                 *eofp = true;
6315         /* Just choose a sanity limit of 10Mbytes for malloc(M_TEMP). */
6316         if (siz > 10 * 1024 * 1024) {
6317                 error = NFSERR_XATTR2BIG;
6318                 goto out;
6319         }
6320         *bufp = malloc(siz, M_TEMP, M_WAITOK);
6321         iv.iov_base = *bufp;
6322         iv.iov_len = siz;
6323         io.uio_iovcnt = 1;
6324         io.uio_iov = &iv;
6325         io.uio_offset = 0;
6326         io.uio_resid = siz;
6327         io.uio_rw = UIO_READ;
6328         io.uio_segflg = UIO_SYSSPACE;
6329         io.uio_td = p;
6330 #ifdef MAC
6331         error = mac_vnode_check_listextattr(cred, vp, EXTATTR_NAMESPACE_USER);
6332         if (error != 0)
6333                 goto out;
6334 #endif
6335
6336         error = VOP_LISTEXTATTR(vp, EXTATTR_NAMESPACE_USER, &io, NULL, cred,
6337             p);
6338         if (error != 0)
6339                 goto out;
6340         if (io.uio_resid > 0)
6341                 siz -= io.uio_resid;
6342         *lenp = siz;
6343
6344 out:
6345         if (error != 0) {
6346                 free(*bufp, M_TEMP);
6347                 *bufp = NULL;
6348         }
6349         NFSEXITCODE(error);
6350         return (error);
6351 }
6352
6353 extern int (*nfsd_call_nfsd)(struct thread *, struct nfssvc_args *);
6354
6355 /*
6356  * Called once to initialize data structures...
6357  */
6358 static int
6359 nfsd_modevent(module_t mod, int type, void *data)
6360 {
6361         int error = 0, i;
6362         static int loaded = 0;
6363
6364         switch (type) {
6365         case MOD_LOAD:
6366                 if (loaded)
6367                         goto out;
6368                 newnfs_portinit();
6369                 for (i = 0; i < NFSRVCACHE_HASHSIZE; i++) {
6370                         mtx_init(&nfsrchash_table[i].mtx, "nfsrtc", NULL,
6371                             MTX_DEF);
6372                         mtx_init(&nfsrcahash_table[i].mtx, "nfsrtca", NULL,
6373                             MTX_DEF);
6374                 }
6375                 mtx_init(&nfsrc_udpmtx, "nfsuc", NULL, MTX_DEF);
6376                 mtx_init(&nfs_v4root_mutex, "nfs4rt", NULL, MTX_DEF);
6377                 mtx_init(&nfsv4root_mnt.mnt_mtx, "nfs4mnt", NULL, MTX_DEF);
6378                 mtx_init(&nfsrv_dontlistlock_mtx, "nfs4dnl", NULL, MTX_DEF);
6379                 mtx_init(&nfsrv_recalllock_mtx, "nfs4rec", NULL, MTX_DEF);
6380                 lockinit(&nfsv4root_mnt.mnt_explock, PVFS, "explock", 0, 0);
6381                 nfsrvd_initcache();
6382                 nfsd_init();
6383                 NFSD_LOCK();
6384                 nfsrvd_init(0);
6385                 NFSD_UNLOCK();
6386                 nfsd_mntinit();
6387 #ifdef VV_DISABLEDELEG
6388                 vn_deleg_ops.vndeleg_recall = nfsd_recalldelegation;
6389                 vn_deleg_ops.vndeleg_disable = nfsd_disabledelegation;
6390 #endif
6391                 nfsd_call_servertimer = nfsrv_servertimer;
6392                 nfsd_call_nfsd = nfssvc_nfsd;
6393                 loaded = 1;
6394                 break;
6395
6396         case MOD_UNLOAD:
6397                 if (newnfs_numnfsd != 0) {
6398                         error = EBUSY;
6399                         break;
6400                 }
6401
6402 #ifdef VV_DISABLEDELEG
6403                 vn_deleg_ops.vndeleg_recall = NULL;
6404                 vn_deleg_ops.vndeleg_disable = NULL;
6405 #endif
6406                 nfsd_call_servertimer = NULL;
6407                 nfsd_call_nfsd = NULL;
6408
6409                 /* Clean out all NFSv4 state. */
6410                 nfsrv_throwawayallstate(curthread);
6411
6412                 /* Clean the NFS server reply cache */
6413                 nfsrvd_cleancache();
6414
6415                 /* Free up the krpc server pool. */
6416                 if (nfsrvd_pool != NULL)
6417                         svcpool_destroy(nfsrvd_pool);
6418
6419                 /* and get rid of the locks */
6420                 for (i = 0; i < NFSRVCACHE_HASHSIZE; i++) {
6421                         mtx_destroy(&nfsrchash_table[i].mtx);
6422                         mtx_destroy(&nfsrcahash_table[i].mtx);
6423                 }
6424                 mtx_destroy(&nfsrc_udpmtx);
6425                 mtx_destroy(&nfs_v4root_mutex);
6426                 mtx_destroy(&nfsv4root_mnt.mnt_mtx);
6427                 mtx_destroy(&nfsrv_dontlistlock_mtx);
6428                 mtx_destroy(&nfsrv_recalllock_mtx);
6429                 for (i = 0; i < nfsrv_sessionhashsize; i++)
6430                         mtx_destroy(&nfssessionhash[i].mtx);
6431                 if (nfslayouthash != NULL) {
6432                         for (i = 0; i < nfsrv_layouthashsize; i++)
6433                                 mtx_destroy(&nfslayouthash[i].mtx);
6434                         free(nfslayouthash, M_NFSDSESSION);
6435                 }
6436                 lockdestroy(&nfsv4root_mnt.mnt_explock);
6437                 free(nfsclienthash, M_NFSDCLIENT);
6438                 free(nfslockhash, M_NFSDLOCKFILE);
6439                 free(nfssessionhash, M_NFSDSESSION);
6440                 loaded = 0;
6441                 break;
6442         default:
6443                 error = EOPNOTSUPP;
6444                 break;
6445         }
6446
6447 out:
6448         NFSEXITCODE(error);
6449         return (error);
6450 }
6451 static moduledata_t nfsd_mod = {
6452         "nfsd",
6453         nfsd_modevent,
6454         NULL,
6455 };
6456 DECLARE_MODULE(nfsd, nfsd_mod, SI_SUB_VFS, SI_ORDER_ANY);
6457
6458 /* So that loader and kldload(2) can find us, wherever we are.. */
6459 MODULE_VERSION(nfsd, 1);
6460 MODULE_DEPEND(nfsd, nfscommon, 1, 1, 1);
6461 MODULE_DEPEND(nfsd, nfslockd, 1, 1, 1);
6462 MODULE_DEPEND(nfsd, krpc, 1, 1, 1);
6463 MODULE_DEPEND(nfsd, nfssvc, 1, 1, 1);
6464