sys/nfsserver/nfs_serv.c

   1 /*
   2  * Copyright (c) 1989, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  *
   5  * This code is derived from software contributed to Berkeley by
   6  * Rick Macklem at The University of Guelph.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 3. All advertising materials mentioning features or use of this software
  17  *    must display the following acknowledgement:
  18  *      This product includes software developed by the University of
  19  *      California, Berkeley and its contributors.
  20  * 4. Neither the name of the University nor the names of its contributors
  21  *    may be used to endorse or promote products derived from this software
  22  *    without specific prior written permission.
  23  *
  24  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  25  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  26  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  27  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  28  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  29  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  30  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  31  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  32  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  33  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  34  * SUCH DAMAGE.
  35  *
  36  *      @(#)nfs_serv.c  8.8 (Berkeley) 7/31/95
  37  */
  38
  39 #include <sys/cdefs.h>
  40 __FBSDID("$FreeBSD$");
  41
  42 /*
  43  * nfs version 2 and 3 server calls to vnode ops
  44  * - these routines generally have 3 phases
  45  *   1 - break down and validate rpc request in mbuf list
  46  *   2 - do the vnode ops for the request
  47  *       (surprisingly ?? many are very similar to syscalls in vfs_syscalls.c)
  48  *   3 - build the rpc reply in an mbuf list
  49  *   nb:
  50  *      - do not mix the phases, since the nfsm_?? macros can return failures
  51  *        on a bad rpc or similar and do not do any vrele() or vput()'s
  52  *
  53  *      - the nfsm_reply() macro generates an nfs rpc reply with the nfs
  54  *      error number iff error != 0 whereas
  55  *      returning an error from the server function implies a fatal error
  56  *      such as a badly constructed rpc request that should be dropped without
  57  *      a reply.
  58  *      For nfsm_reply(), the case where error == EBADRPC is treated
  59  *      specially; after constructing a reply, it does an immediate
  60  *      `goto nfsmout' to avoid getting any V3 post-op status appended.
  61  *
  62  * Other notes:
  63  *      Warning: always pay careful attention to resource cleanup on return
  64  *      and note that nfsm_*() macros can terminate a procedure on certain
  65  *      errors.
  66  *
  67  *      lookup() and namei()
  68  *      may return garbage in various structural fields/return elements
  69  *      if an error is returned, and may garbage up nd.ni_dvp even if no
  70  *      error is returned and you did not request LOCKPARENT or WANTPARENT.
  71  *
  72  *      We use the ni_cnd.cn_flags 'HASBUF' flag to track whether the name
  73  *      buffer has been freed or not.
  74  */
  75
  76 #include <sys/param.h>
  77 #include <sys/systm.h>
  78 #include <sys/proc.h>
  79 #include <sys/namei.h>
  80 #include <sys/unistd.h>
  81 #include <sys/vnode.h>
  82 #include <sys/mount.h>
  83 #include <sys/socket.h>
  84 #include <sys/socketvar.h>
  85 #include <sys/malloc.h>
  86 #include <sys/mbuf.h>
  87 #include <sys/dirent.h>
  88 #include <sys/stat.h>
  89 #include <sys/kernel.h>
  90 #include <sys/sysctl.h>
  91 #include <sys/bio.h>
  92 #include <sys/buf.h>
  93
  94 #include <vm/vm.h>
  95 #include <vm/vm_extern.h>
  96 #include <vm/vm_object.h>
  97
  98 #include <nfs/nfsproto.h>
  99 #include <nfs/rpcv2.h>
 100 #include <nfsserver/nfs.h>
 101 #include <nfs/xdr_subs.h>
 102 #include <nfsserver/nfsm_subs.h>
 103
 104 #ifdef NFSRV_DEBUG
 105 #define nfsdbprintf(info)       printf info
 106 #else
 107 #define nfsdbprintf(info)
 108 #endif
 109
 110 #define MAX_COMMIT_COUNT        (1024 * 1024)
 111
 112 #define NUM_HEURISTIC           64
 113 #define NHUSE_INIT              64
 114 #define NHUSE_INC               16
 115 #define NHUSE_MAX               2048
 116
 117 static struct nfsheur {
 118         struct vnode *nh_vp;    /* vp to match (unreferenced pointer) */
 119         off_t nh_nextr;         /* next offset for sequential detection */
 120         int nh_use;             /* use count for selection */
 121         int nh_seqcount;        /* heuristic */
 122 } nfsheur[NUM_HEURISTIC];
 123
 124 /* Global vars */
 125
 126 int nfsrvw_procrastinate = NFS_GATHERDELAY * 1000;
 127 int nfsrvw_procrastinate_v3 = 0;
 128
 129 static struct timeval   nfsver = { 0 };
 130
 131 SYSCTL_NODE(_vfs, OID_AUTO, nfsrv, CTLFLAG_RW, 0, "NFS server");
 132
 133 static int nfs_async;
 134 static int nfs_commit_blks;
 135 static int nfs_commit_miss;
 136 SYSCTL_INT(_vfs_nfsrv, OID_AUTO, async, CTLFLAG_RW, &nfs_async, 0, "");
 137 SYSCTL_INT(_vfs_nfsrv, OID_AUTO, commit_blks, CTLFLAG_RW, &nfs_commit_blks, 0, "");
 138 SYSCTL_INT(_vfs_nfsrv, OID_AUTO, commit_miss, CTLFLAG_RW, &nfs_commit_miss, 0, "");
 139
 140 struct nfsrvstats nfsrvstats;
 141 SYSCTL_STRUCT(_vfs_nfsrv, NFS_NFSRVSTATS, nfsrvstats, CTLFLAG_RD,
 142         &nfsrvstats, nfsrvstats, "S,nfsrvstats");
 143
 144 static int      nfsrv_access(struct vnode *, int, struct ucred *, int,
 145                     struct thread *, int);
 146 static void     nfsrvw_coalesce(struct nfsrv_descript *,
 147                     struct nfsrv_descript *);
 148
 149 /*
 150  * Clear nameidata fields that are tested in nsfmout cleanup code prior
 151  * to using first nfsm macro (that might jump to the cleanup code).
 152  */
 153
 154 static __inline void
 155 ndclear(struct nameidata *nd)
 156 {
 157
 158         nd->ni_cnd.cn_flags = 0;
 159         nd->ni_vp = NULL;
 160         nd->ni_dvp = NULL;
 161         nd->ni_startdir = NULL;
 162 }
 163
 164 /*
 165  * nfs v3 access service
 166  */
 167 int
 168 nfsrv3_access(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
 169     struct thread *td, struct mbuf **mrq)
 170 {
 171         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
 172         struct sockaddr *nam = nfsd->nd_nam;
 173         caddr_t dpos = nfsd->nd_dpos;
 174         struct ucred *cred = &nfsd->nd_cr;
 175         struct vnode *vp = NULL;
 176         nfsfh_t nfh;
 177         fhandle_t *fhp;
 178         u_int32_t *tl;
 179         caddr_t bpos;
 180         int error = 0, rdonly, getret;
 181         struct mbuf *mb, *mreq;
 182         struct vattr vattr, *vap = &vattr;
 183         u_long testmode, nfsmode;
 184         int v3 = (nfsd->nd_flag & ND_NFSV3);
 185
 186         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
 187         if (!v3)
 188                 panic("nfsrv3_access: v3 proc called on a v2 connection");
 189         fhp = &nfh.fh_generic;
 190         nfsm_srvmtofh(fhp);
 191         tl = nfsm_dissect(u_int32_t *, NFSX_UNSIGNED);
 192         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
 193         if (error) {
 194                 nfsm_reply(NFSX_UNSIGNED);
 195                 nfsm_srvpostop_attr(1, (struct vattr *)0);
 196                 error = 0;
 197                 goto nfsmout;
 198         }
 199         nfsmode = fxdr_unsigned(u_int32_t, *tl);
 200         if ((nfsmode & NFSV3ACCESS_READ) &&
 201                 nfsrv_access(vp, VREAD, cred, rdonly, td, 0))
 202                 nfsmode &= ~NFSV3ACCESS_READ;
 203         if (vp->v_type == VDIR)
 204                 testmode = (NFSV3ACCESS_MODIFY | NFSV3ACCESS_EXTEND |
 205                         NFSV3ACCESS_DELETE);
 206         else
 207                 testmode = (NFSV3ACCESS_MODIFY | NFSV3ACCESS_EXTEND);
 208         if ((nfsmode & testmode) &&
 209                 nfsrv_access(vp, VWRITE, cred, rdonly, td, 0))
 210                 nfsmode &= ~testmode;
 211         if (vp->v_type == VDIR)
 212                 testmode = NFSV3ACCESS_LOOKUP;
 213         else
 214                 testmode = NFSV3ACCESS_EXECUTE;
 215         if ((nfsmode & testmode) &&
 216                 nfsrv_access(vp, VEXEC, cred, rdonly, td, 0))
 217                 nfsmode &= ~testmode;
 218         getret = VOP_GETATTR(vp, vap, cred, td);
 219         vput(vp);
 220         vp = NULL;
 221         nfsm_reply(NFSX_POSTOPATTR(1) + NFSX_UNSIGNED);
 222         nfsm_srvpostop_attr(getret, vap);
 223         tl = nfsm_build(u_int32_t *, NFSX_UNSIGNED);
 224         *tl = txdr_unsigned(nfsmode);
 225 nfsmout:
 226         if (vp)
 227                 vput(vp);
 228         return(error);
 229 }
 230
 231 /*
 232  * nfs getattr service
 233  */
 234 int
 235 nfsrv_getattr(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
 236     struct thread *td, struct mbuf **mrq)
 237 {
 238         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
 239         struct sockaddr *nam = nfsd->nd_nam;
 240         caddr_t dpos = nfsd->nd_dpos;
 241         struct ucred *cred = &nfsd->nd_cr;
 242         struct nfs_fattr *fp;
 243         struct vattr va;
 244         struct vattr *vap = &va;
 245         struct vnode *vp = NULL;
 246         nfsfh_t nfh;
 247         fhandle_t *fhp;
 248         caddr_t bpos;
 249         int error = 0, rdonly;
 250         struct mbuf *mb, *mreq;
 251
 252         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
 253         fhp = &nfh.fh_generic;
 254         nfsm_srvmtofh(fhp);
 255         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
 256         if (error) {
 257                 nfsm_reply(0);
 258                 error = 0;
 259                 goto nfsmout;
 260         }
 261         error = VOP_GETATTR(vp, vap, cred, td);
 262         vput(vp);
 263         vp = NULL;
 264         nfsm_reply(NFSX_FATTR(nfsd->nd_flag & ND_NFSV3));
 265         if (error) {
 266                 error = 0;
 267                 goto nfsmout;
 268         }
 269         fp = nfsm_build(struct nfs_fattr *,
 270             NFSX_FATTR(nfsd->nd_flag & ND_NFSV3));
 271         nfsm_srvfillattr(vap, fp);
 272         /* fall through */
 273
 274 nfsmout:
 275         if (vp)
 276                 vput(vp);
 277         return(error);
 278 }
 279
 280 /*
 281  * nfs setattr service
 282  */
 283 int
 284 nfsrv_setattr(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
 285     struct thread *td, struct mbuf **mrq)
 286 {
 287         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
 288         struct sockaddr *nam = nfsd->nd_nam;
 289         caddr_t dpos = nfsd->nd_dpos;
 290         struct ucred *cred = &nfsd->nd_cr;
 291         struct vattr va, preat;
 292         struct vattr *vap = &va;
 293         struct nfsv2_sattr *sp;
 294         struct nfs_fattr *fp;
 295         struct vnode *vp = NULL;
 296         nfsfh_t nfh;
 297         fhandle_t *fhp;
 298         u_int32_t *tl;
 299         caddr_t bpos;
 300         int error = 0, rdonly, preat_ret = 1, postat_ret = 1;
 301         int v3 = (nfsd->nd_flag & ND_NFSV3), gcheck = 0;
 302         struct mbuf *mb, *mreq;
 303         struct timespec guard;
 304         struct mount *mp = NULL;
 305
 306         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
 307         fhp = &nfh.fh_generic;
 308         nfsm_srvmtofh(fhp);
 309         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
 310                 error = ESTALE;
 311                 goto out;
 312         }
 313         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
 314                 mp = NULL;
 315                 goto out;
 316         }
 317         (void) vn_start_write(vp, &mp, V_WAIT);
 318         vput(vp);
 319         vp = NULL;
 320         VATTR_NULL(vap);
 321         if (v3) {
 322                 nfsm_srvsattr(vap);
 323                 tl = nfsm_dissect(u_int32_t *, NFSX_UNSIGNED);
 324                 gcheck = fxdr_unsigned(int, *tl);
 325                 if (gcheck) {
 326                         tl = nfsm_dissect(u_int32_t *, 2 * NFSX_UNSIGNED);
 327                         fxdr_nfsv3time(tl, &guard);
 328                 }
 329         } else {
 330                 sp = nfsm_dissect(struct nfsv2_sattr *, NFSX_V2SATTR);
 331                 /*
 332                  * Nah nah nah nah na nah
 333                  * There is a bug in the Sun client that puts 0xffff in the mode
 334                  * field of sattr when it should put in 0xffffffff. The u_short
 335                  * doesn't sign extend.
 336                  * --> check the low order 2 bytes for 0xffff
 337                  */
 338                 if ((fxdr_unsigned(int, sp->sa_mode) & 0xffff) != 0xffff)
 339                         vap->va_mode = nfstov_mode(sp->sa_mode);
 340                 if (sp->sa_uid != nfsrv_nfs_xdrneg1)
 341                         vap->va_uid = fxdr_unsigned(uid_t, sp->sa_uid);
 342                 if (sp->sa_gid != nfsrv_nfs_xdrneg1)
 343                         vap->va_gid = fxdr_unsigned(gid_t, sp->sa_gid);
 344                 if (sp->sa_size != nfsrv_nfs_xdrneg1)
 345                         vap->va_size = fxdr_unsigned(u_quad_t, sp->sa_size);
 346                 if (sp->sa_atime.nfsv2_sec != nfsrv_nfs_xdrneg1) {
 347 #ifdef notyet
 348                         fxdr_nfsv2time(&sp->sa_atime, &vap->va_atime);
 349 #else
 350                         vap->va_atime.tv_sec =
 351                                 fxdr_unsigned(int32_t, sp->sa_atime.nfsv2_sec);
 352                         vap->va_atime.tv_nsec = 0;
 353 #endif
 354                 }
 355                 if (sp->sa_mtime.nfsv2_sec != nfsrv_nfs_xdrneg1)
 356                         fxdr_nfsv2time(&sp->sa_mtime, &vap->va_mtime);
 357
 358         }
 359
 360         /*
 361          * Now that we have all the fields, lets do it.
 362          */
 363         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
 364         if (error) {
 365                 nfsm_reply(2 * NFSX_UNSIGNED);
 366                 if (v3)
 367                         nfsm_srvwcc_data(preat_ret, &preat, postat_ret, vap);
 368                 error = 0;
 369                 goto nfsmout;
 370         }
 371
 372         /*
 373          * vp now an active resource, pay careful attention to cleanup
 374          */
 375         if (v3) {
 376                 error = preat_ret = VOP_GETATTR(vp, &preat, cred, td);
 377                 if (!error && gcheck &&
 378                         (preat.va_ctime.tv_sec != guard.tv_sec ||
 379                          preat.va_ctime.tv_nsec != guard.tv_nsec))
 380                         error = NFSERR_NOT_SYNC;
 381                 if (error) {
 382                         vput(vp);
 383                         vp = NULL;
 384                         nfsm_reply(NFSX_WCCDATA(v3));
 385                         if (v3)
 386                                 nfsm_srvwcc_data(preat_ret, &preat, postat_ret, vap);
 387                         error = 0;
 388                         goto nfsmout;
 389                 }
 390         }
 391
 392         /*
 393          * If the size is being changed write acces is required, otherwise
 394          * just check for a read only file system.
 395          */
 396         if (vap->va_size == ((u_quad_t)((quad_t) -1))) {
 397                 if (rdonly || (vp->v_mount->mnt_flag & MNT_RDONLY)) {
 398                         error = EROFS;
 399                         goto out;
 400                 }
 401         } else {
 402                 if (vp->v_type == VDIR) {
 403                         error = EISDIR;
 404                         goto out;
 405                 } else if ((error = nfsrv_access(vp, VWRITE, cred, rdonly,
 406                         td, 0)) != 0)
 407                         goto out;
 408         }
 409         error = VOP_SETATTR(vp, vap, cred, td);
 410         postat_ret = VOP_GETATTR(vp, vap, cred, td);
 411         if (!error)
 412                 error = postat_ret;
 413 out:
 414         if (vp != NULL)
 415                 vput(vp);
 416         vp = NULL;
 417         nfsm_reply(NFSX_WCCORFATTR(v3));
 418         if (v3) {
 419                 nfsm_srvwcc_data(preat_ret, &preat, postat_ret, vap);
 420         } else if (!error) {
 421                 /* v2 non-error case. */
 422                 fp = nfsm_build(struct nfs_fattr *, NFSX_V2FATTR);
 423                 nfsm_srvfillattr(vap, fp);
 424         }
 425         error = 0;
 426         /* fall through */
 427
 428 nfsmout:
 429         if (vp)
 430                 vput(vp);
 431         vn_finished_write(mp);
 432         return(error);
 433 }
 434
 435 /*
 436  * nfs lookup rpc
 437  */
 438 int
 439 nfsrv_lookup(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
 440     struct thread *td, struct mbuf **mrq)
 441 {
 442         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
 443         struct sockaddr *nam = nfsd->nd_nam;
 444         caddr_t dpos = nfsd->nd_dpos;
 445         struct ucred *cred = &nfsd->nd_cr;
 446         struct nfs_fattr *fp;
 447         struct nameidata nd, ind, *ndp = &nd;
 448         struct vnode *vp, *dirp = NULL;
 449         nfsfh_t nfh;
 450         fhandle_t *fhp;
 451         caddr_t bpos;
 452         int error = 0, len, dirattr_ret = 1;
 453         int v3 = (nfsd->nd_flag & ND_NFSV3), pubflag;
 454         struct mbuf *mb, *mreq;
 455         struct vattr va, dirattr, *vap = &va;
 456
 457         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
 458         ndclear(&nd);
 459
 460         fhp = &nfh.fh_generic;
 461         nfsm_srvmtofh(fhp);
 462         nfsm_srvnamesiz(len);
 463
 464         pubflag = nfs_ispublicfh(fhp);
 465
 466         nd.ni_cnd.cn_cred = cred;
 467         nd.ni_cnd.cn_nameiop = LOOKUP;
 468         nd.ni_cnd.cn_flags = LOCKLEAF | SAVESTART;
 469         error = nfs_namei(&nd, fhp, len, slp, nam, &md, &dpos,
 470                 &dirp, td, pubflag);
 471
 472         /*
 473          * namei failure, only dirp to cleanup.  Clear out garbarge from
 474          * structure in case macros jump to nfsmout.
 475          */
 476
 477         if (error) {
 478                 if (dirp) {
 479                         if (v3)
 480                                 dirattr_ret = VOP_GETATTR(dirp, &dirattr, cred,
 481                                         td);
 482                         vrele(dirp);
 483                         dirp = NULL;
 484                 }
 485                 nfsm_reply(NFSX_POSTOPATTR(v3));
 486                 if (v3)
 487                         nfsm_srvpostop_attr(dirattr_ret, &dirattr);
 488                 error = 0;
 489                 goto nfsmout;
 490         }
 491
 492         /*
 493          * Locate index file for public filehandle
 494          *
 495          * error is 0 on entry and 0 on exit from this block.
 496          */
 497
 498         if (pubflag) {
 499                 if (nd.ni_vp->v_type == VDIR && nfs_pub.np_index != NULL) {
 500                         /*
 501                          * Setup call to lookup() to see if we can find
 502                          * the index file. Arguably, this doesn't belong
 503                          * in a kernel.. Ugh.  If an error occurs, do not
 504                          * try to install an index file and then clear the
 505                          * error.
 506                          *
 507                          * When we replace nd with ind and redirect ndp,
 508                          * maintenance of ni_startdir and ni_vp shift to
 509                          * ind and we have to clean them up in the old nd.
 510                          * However, the cnd resource continues to be maintained
 511                          * via the original nd.  Confused?  You aren't alone!
 512                          */
 513                         ind = nd;
 514                         VOP_UNLOCK(nd.ni_vp, 0, td);
 515                         ind.ni_pathlen = strlen(nfs_pub.np_index);
 516                         ind.ni_cnd.cn_nameptr = ind.ni_cnd.cn_pnbuf =
 517                             nfs_pub.np_index;
 518                         ind.ni_startdir = nd.ni_vp;
 519                         VREF(ind.ni_startdir);
 520
 521                         error = lookup(&ind);
 522                         ind.ni_dvp = NULL;
 523
 524                         if (error == 0) {
 525                                 /*
 526                                  * Found an index file. Get rid of
 527                                  * the old references.  transfer nd.ni_vp'
 528                                  */
 529                                 if (dirp)
 530                                         vrele(dirp);
 531                                 dirp = nd.ni_vp;
 532                                 nd.ni_vp = NULL;
 533                                 vrele(nd.ni_startdir);
 534                                 nd.ni_startdir = NULL;
 535                                 ndp = &ind;
 536                         }
 537                         error = 0;
 538                 }
 539                 /*
 540                  * If the public filehandle was used, check that this lookup
 541                  * didn't result in a filehandle outside the publicly exported
 542                  * filesystem.  We clear the poor vp here to avoid lockups due
 543                  * to NFS I/O.
 544                  */
 545
 546                 if (ndp->ni_vp->v_mount != nfs_pub.np_mount) {
 547                         vput(nd.ni_vp);
 548                         nd.ni_vp = NULL;
 549                         error = EPERM;
 550                 }
 551         }
 552
 553         if (dirp) {
 554                 if (v3)
 555                         dirattr_ret = VOP_GETATTR(dirp, &dirattr, cred,
 556                                 td);
 557                 vrele(dirp);
 558                 dirp = NULL;
 559         }
 560
 561         /*
 562          * Resources at this point:
 563          *      ndp->ni_vp      may not be NULL
 564          *
 565          */
 566
 567         if (error) {
 568                 nfsm_reply(NFSX_POSTOPATTR(v3));
 569                 if (v3)
 570                         nfsm_srvpostop_attr(dirattr_ret, &dirattr);
 571                 error = 0;
 572                 goto nfsmout;
 573         }
 574
 575         /*
 576          * Clear out some resources prior to potentially blocking.  This
 577          * is not as critical as ni_dvp resources in other routines, but
 578          * it helps.
 579          */
 580         vrele(ndp->ni_startdir);
 581         ndp->ni_startdir = NULL;
 582         NDFREE(&nd, NDF_ONLY_PNBUF);
 583
 584         /*
 585          * Get underlying attribute, then release remaining resources ( for
 586          * the same potential blocking reason ) and reply.
 587          */
 588         vp = ndp->ni_vp;
 589         bzero((caddr_t)fhp, sizeof(nfh));
 590         fhp->fh_fsid = vp->v_mount->mnt_stat.f_fsid;
 591         error = VFS_VPTOFH(vp, &fhp->fh_fid);
 592         if (!error)
 593                 error = VOP_GETATTR(vp, vap, cred, td);
 594
 595         vput(vp);
 596         ndp->ni_vp = NULL;
 597         nfsm_reply(NFSX_SRVFH(v3) + NFSX_POSTOPORFATTR(v3) + NFSX_POSTOPATTR(v3));
 598         if (error) {
 599                 if (v3)
 600                         nfsm_srvpostop_attr(dirattr_ret, &dirattr);
 601                 error = 0;
 602                 goto nfsmout;
 603         }
 604         nfsm_srvfhtom(fhp, v3);
 605         if (v3) {
 606                 nfsm_srvpostop_attr(0, vap);
 607                 nfsm_srvpostop_attr(dirattr_ret, &dirattr);
 608         } else {
 609                 fp = nfsm_build(struct nfs_fattr *, NFSX_V2FATTR);
 610                 nfsm_srvfillattr(vap, fp);
 611         }
 612
 613 nfsmout:
 614         if (dirp)
 615                 vrele(dirp);
 616         NDFREE(&nd, NDF_ONLY_PNBUF);
 617         if (ndp->ni_startdir)
 618                 vrele(ndp->ni_startdir);
 619         if (ndp->ni_vp)
 620                 vput(ndp->ni_vp);
 621         return (error);
 622 }
 623
 624 /*
 625  * nfs readlink service
 626  */
 627 int
 628 nfsrv_readlink(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
 629     struct thread *td, struct mbuf **mrq)
 630 {
 631         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
 632         struct sockaddr *nam = nfsd->nd_nam;
 633         caddr_t dpos = nfsd->nd_dpos;
 634         struct ucred *cred = &nfsd->nd_cr;
 635         struct iovec iv[(NFS_MAXPATHLEN+MLEN-1)/MLEN];
 636         struct iovec *ivp = iv;
 637         struct mbuf *mp;
 638         u_int32_t *tl;
 639         caddr_t bpos;
 640         int error = 0, rdonly, i, tlen, len, getret;
 641         int v3 = (nfsd->nd_flag & ND_NFSV3);
 642         struct mbuf *mb, *mp3, *nmp, *mreq;
 643         struct vnode *vp = NULL;
 644         struct vattr attr;
 645         nfsfh_t nfh;
 646         fhandle_t *fhp;
 647         struct uio io, *uiop = &io;
 648
 649         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
 650 #ifndef nolint
 651         mp = (struct mbuf *)0;
 652 #endif
 653         mp3 = NULL;
 654         fhp = &nfh.fh_generic;
 655         nfsm_srvmtofh(fhp);
 656         len = 0;
 657         i = 0;
 658         while (len < NFS_MAXPATHLEN) {
 659                 MGET(nmp, M_TRYWAIT, MT_DATA);
 660                 MCLGET(nmp, M_TRYWAIT);
 661                 nmp->m_len = NFSMSIZ(nmp);
 662                 if (len == 0)
 663                         mp3 = mp = nmp;
 664                 else {
 665                         mp->m_next = nmp;
 666                         mp = nmp;
 667                 }
 668                 if ((len + mp->m_len) > NFS_MAXPATHLEN) {
 669                         mp->m_len = NFS_MAXPATHLEN - len;
 670                         len = NFS_MAXPATHLEN;
 671                 } else
 672                         len += mp->m_len;
 673                 ivp->iov_base = mtod(mp, caddr_t);
 674                 ivp->iov_len = mp->m_len;
 675                 i++;
 676                 ivp++;
 677         }
 678         uiop->uio_iov = iv;
 679         uiop->uio_iovcnt = i;
 680         uiop->uio_offset = 0;
 681         uiop->uio_resid = len;
 682         uiop->uio_rw = UIO_READ;
 683         uiop->uio_segflg = UIO_SYSSPACE;
 684         uiop->uio_td = (struct thread *)0;
 685         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
 686         if (error) {
 687                 nfsm_reply(2 * NFSX_UNSIGNED);
 688                 if (v3)
 689                         nfsm_srvpostop_attr(1, (struct vattr *)0);
 690                 error = 0;
 691                 goto nfsmout;
 692         }
 693         if (vp->v_type != VLNK) {
 694                 if (v3)
 695                         error = EINVAL;
 696                 else
 697                         error = ENXIO;
 698                 goto out;
 699         }
 700         error = VOP_READLINK(vp, uiop, cred);
 701 out:
 702         getret = VOP_GETATTR(vp, &attr, cred, td);
 703         vput(vp);
 704         vp = NULL;
 705         nfsm_reply(NFSX_POSTOPATTR(v3) + NFSX_UNSIGNED);
 706         if (v3)
 707                 nfsm_srvpostop_attr(getret, &attr);
 708         if (error) {
 709                 error = 0;
 710                 goto nfsmout;
 711         }
 712         if (uiop->uio_resid > 0) {
 713                 len -= uiop->uio_resid;
 714                 tlen = nfsm_rndup(len);
 715                 nfsm_adj(mp3, NFS_MAXPATHLEN-tlen, tlen-len);
 716         }
 717         tl = nfsm_build(u_int32_t *, NFSX_UNSIGNED);
 718         *tl = txdr_unsigned(len);
 719         mb->m_next = mp3;
 720         mp3 = NULL;
 721 nfsmout:
 722         if (mp3)
 723                 m_freem(mp3);
 724         if (vp)
 725                 vput(vp);
 726         return(error);
 727 }
 728
 729 /*
 730  * nfs read service
 731  */
 732 int
 733 nfsrv_read(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
 734     struct thread *td, struct mbuf **mrq)
 735 {
 736         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
 737         struct sockaddr *nam = nfsd->nd_nam;
 738         caddr_t dpos = nfsd->nd_dpos;
 739         struct ucred *cred = &nfsd->nd_cr;
 740         struct iovec *iv;
 741         struct iovec *iv2;
 742         struct mbuf *m;
 743         struct nfs_fattr *fp;
 744         u_int32_t *tl;
 745         int i;
 746         caddr_t bpos;
 747         int error = 0, rdonly, cnt, len, left, siz, tlen, getret;
 748         int v3 = (nfsd->nd_flag & ND_NFSV3), reqlen;
 749         struct mbuf *mb, *mreq;
 750         struct mbuf *m2;
 751         struct vnode *vp = NULL;
 752         nfsfh_t nfh;
 753         fhandle_t *fhp;
 754         struct uio io, *uiop = &io;
 755         struct vattr va, *vap = &va;
 756         struct nfsheur *nh;
 757         off_t off;
 758         int ioflag = 0;
 759
 760         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
 761         fhp = &nfh.fh_generic;
 762         nfsm_srvmtofh(fhp);
 763         if (v3) {
 764                 tl = nfsm_dissect(u_int32_t *, 2 * NFSX_UNSIGNED);
 765                 off = fxdr_hyper(tl);
 766         } else {
 767                 tl = nfsm_dissect(u_int32_t *, NFSX_UNSIGNED);
 768                 off = (off_t)fxdr_unsigned(u_int32_t, *tl);
 769         }
 770         nfsm_srvstrsiz(reqlen, NFS_SRVMAXDATA(nfsd));
 771
 772         /*
 773          * Reference vp.  If an error occurs, vp will be invalid, but we
 774          * have to NULL it just in case.  The macros might goto nfsmout
 775          * as well.
 776          */
 777
 778         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
 779         if (error) {
 780                 vp = NULL;
 781                 nfsm_reply(2 * NFSX_UNSIGNED);
 782                 if (v3)
 783                         nfsm_srvpostop_attr(1, (struct vattr *)0);
 784                 error = 0;
 785                 goto nfsmout;
 786         }
 787
 788         if (vp->v_type != VREG) {
 789                 if (v3)
 790                         error = EINVAL;
 791                 else
 792                         error = (vp->v_type == VDIR) ? EISDIR : EACCES;
 793         }
 794         if (!error) {
 795                 if ((error = nfsrv_access(vp, VREAD, cred, rdonly, td, 1)) != 0)
 796                         error = nfsrv_access(vp, VEXEC, cred, rdonly, td, 1);
 797         }
 798         getret = VOP_GETATTR(vp, vap, cred, td);
 799         if (!error)
 800                 error = getret;
 801         if (error) {
 802                 vput(vp);
 803                 vp = NULL;
 804                 nfsm_reply(NFSX_POSTOPATTR(v3));
 805                 if (v3)
 806                         nfsm_srvpostop_attr(getret, vap);
 807                 error = 0;
 808                 goto nfsmout;
 809         }
 810
 811         /*
 812          * Calculate byte count to read
 813          */
 814
 815         if (off >= vap->va_size)
 816                 cnt = 0;
 817         else if ((off + reqlen) > vap->va_size)
 818                 cnt = vap->va_size - off;
 819         else
 820                 cnt = reqlen;
 821
 822         /*
 823          * Calculate seqcount for heuristic
 824          */
 825
 826         {
 827                 int hi;
 828                 int try = 4;
 829
 830                 /*
 831                  * Locate best candidate
 832                  */
 833
 834                 hi = ((int)(vm_offset_t)vp / sizeof(struct vnode)) & (NUM_HEURISTIC - 1);
 835                 nh = &nfsheur[hi];
 836
 837                 while (try--) {
 838                         if (nfsheur[hi].nh_vp == vp) {
 839                                 nh = &nfsheur[hi];
 840                                 break;
 841                         }
 842                         if (nfsheur[hi].nh_use > 0)
 843                                 --nfsheur[hi].nh_use;
 844                         hi = (hi + 1) & (NUM_HEURISTIC - 1);
 845                         if (nfsheur[hi].nh_use < nh->nh_use)
 846                                 nh = &nfsheur[hi];
 847                 }
 848
 849                 if (nh->nh_vp != vp) {
 850                         nh->nh_vp = vp;
 851                         nh->nh_nextr = off;
 852                         nh->nh_use = NHUSE_INIT;
 853                         if (off == 0)
 854                                 nh->nh_seqcount = 4;
 855                         else
 856                                 nh->nh_seqcount = 1;
 857                 }
 858
 859                 /*
 860                  * Calculate heuristic
 861                  */
 862
 863                 if ((off == 0 && nh->nh_seqcount > 0) || off == nh->nh_nextr) {
 864                         if (++nh->nh_seqcount > 127)
 865                                 nh->nh_seqcount = 127;
 866                 } else if (nh->nh_seqcount > 1) {
 867                         nh->nh_seqcount = 1;
 868                 } else {
 869                         nh->nh_seqcount = 0;
 870                 }
 871                 nh->nh_use += NHUSE_INC;
 872                 if (nh->nh_use > NHUSE_MAX)
 873                         nh->nh_use = NHUSE_MAX;
 874                 ioflag |= nh->nh_seqcount << 16;
 875         }
 876
 877         nfsm_reply(NFSX_POSTOPORFATTR(v3) + 3 * NFSX_UNSIGNED+nfsm_rndup(cnt));
 878         if (v3) {
 879                 tl = nfsm_build(u_int32_t *, NFSX_V3FATTR + 4 * NFSX_UNSIGNED);
 880                 *tl++ = nfsrv_nfs_true;
 881                 fp = (struct nfs_fattr *)tl;
 882                 tl += (NFSX_V3FATTR / sizeof (u_int32_t));
 883         } else {
 884                 tl = nfsm_build(u_int32_t *, NFSX_V2FATTR + NFSX_UNSIGNED);
 885                 fp = (struct nfs_fattr *)tl;
 886                 tl += (NFSX_V2FATTR / sizeof (u_int32_t));
 887         }
 888         len = left = nfsm_rndup(cnt);
 889         if (cnt > 0) {
 890                 /*
 891                  * Generate the mbuf list with the uio_iov ref. to it.
 892                  */
 893                 i = 0;
 894                 m = m2 = mb;
 895                 while (left > 0) {
 896                         siz = min(M_TRAILINGSPACE(m), left);
 897                         if (siz > 0) {
 898                                 left -= siz;
 899                                 i++;
 900                         }
 901                         if (left > 0) {
 902                                 MGET(m, M_TRYWAIT, MT_DATA);
 903                                 MCLGET(m, M_TRYWAIT);
 904                                 m->m_len = 0;
 905                                 m2->m_next = m;
 906                                 m2 = m;
 907                         }
 908                 }
 909                 MALLOC(iv, struct iovec *, i * sizeof (struct iovec),
 910                        M_TEMP, M_WAITOK);
 911                 uiop->uio_iov = iv2 = iv;
 912                 m = mb;
 913                 left = len;
 914                 i = 0;
 915                 while (left > 0) {
 916                         if (m == NULL)
 917                                 panic("nfsrv_read iov");
 918                         siz = min(M_TRAILINGSPACE(m), left);
 919                         if (siz > 0) {
 920                                 iv->iov_base = mtod(m, caddr_t) + m->m_len;
 921                                 iv->iov_len = siz;
 922                                 m->m_len += siz;
 923                                 left -= siz;
 924                                 iv++;
 925                                 i++;
 926                         }
 927                         m = m->m_next;
 928                 }
 929                 uiop->uio_iovcnt = i;
 930                 uiop->uio_offset = off;
 931                 uiop->uio_resid = len;
 932                 uiop->uio_rw = UIO_READ;
 933                 uiop->uio_segflg = UIO_SYSSPACE;
 934                 error = VOP_READ(vp, uiop, IO_NODELOCKED | ioflag, cred);
 935                 off = uiop->uio_offset;
 936                 nh->nh_nextr = off;
 937                 FREE((caddr_t)iv2, M_TEMP);
 938                 if (error || (getret = VOP_GETATTR(vp, vap, cred, td))) {
 939                         if (!error)
 940                                 error = getret;
 941                         m_freem(mreq);
 942                         vput(vp);
 943                         vp = NULL;
 944                         nfsm_reply(NFSX_POSTOPATTR(v3));
 945                         if (v3)
 946                                 nfsm_srvpostop_attr(getret, vap);
 947                         error = 0;
 948                         goto nfsmout;
 949                 }
 950         } else {
 951                 uiop->uio_resid = 0;
 952         }
 953         vput(vp);
 954         vp = NULL;
 955         nfsm_srvfillattr(vap, fp);
 956         tlen = len - uiop->uio_resid;
 957         cnt = cnt < tlen ? cnt : tlen;
 958         tlen = nfsm_rndup(cnt);
 959         if (len != tlen || tlen != cnt)
 960                 nfsm_adj(mb, len - tlen, tlen - cnt);
 961         if (v3) {
 962                 *tl++ = txdr_unsigned(cnt);
 963                 if (len < reqlen)
 964                         *tl++ = nfsrv_nfs_true;
 965                 else
 966                         *tl++ = nfsrv_nfs_false;
 967         }
 968         *tl = txdr_unsigned(cnt);
 969 nfsmout:
 970         if (vp)
 971                 vput(vp);
 972         return(error);
 973 }
 974
 975 /*
 976  * nfs write service
 977  */
 978 int
 979 nfsrv_write(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
 980     struct thread *td, struct mbuf **mrq)
 981 {
 982         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
 983         struct sockaddr *nam = nfsd->nd_nam;
 984         caddr_t dpos = nfsd->nd_dpos;
 985         struct ucred *cred = &nfsd->nd_cr;
 986         struct iovec *ivp;
 987         int i, cnt;
 988         struct mbuf *mp;
 989         struct nfs_fattr *fp;
 990         struct iovec *iv;
 991         struct vattr va, forat;
 992         struct vattr *vap = &va;
 993         u_int32_t *tl;
 994         caddr_t bpos;
 995         int error = 0, rdonly, len, forat_ret = 1;
 996         int ioflags, aftat_ret = 1, retlen = 0, zeroing, adjust;
 997         int stable = NFSV3WRITE_FILESYNC;
 998         int v3 = (nfsd->nd_flag & ND_NFSV3);
 999         struct mbuf *mb, *mreq;
1000         struct vnode *vp = NULL;
1001         nfsfh_t nfh;
1002         fhandle_t *fhp;
1003         struct uio io, *uiop = &io;
1004         off_t off;
1005         struct mount *mntp = NULL;
1006
1007         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
1008         if (mrep == NULL) {
1009                 *mrq = NULL;
1010                 error = 0;
1011                 goto nfsmout;
1012         }
1013         fhp = &nfh.fh_generic;
1014         nfsm_srvmtofh(fhp);
1015         if ((mntp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
1016                 error = ESTALE;
1017                 goto ereply;
1018         }
1019         if ((error = VFS_FHTOVP(mntp, &fhp->fh_fid, &vp)) != 0) {
1020                 mntp = NULL;
1021                 goto ereply;
1022         }
1023         (void) vn_start_write(vp, &mntp, V_WAIT);
1024         vput(vp);
1025         vp = NULL;
1026         if (v3) {
1027                 tl = nfsm_dissect(u_int32_t *, 5 * NFSX_UNSIGNED);
1028                 off = fxdr_hyper(tl);
1029                 tl += 3;
1030                 stable = fxdr_unsigned(int, *tl++);
1031         } else {
1032                 tl = nfsm_dissect(u_int32_t *, 4 * NFSX_UNSIGNED);
1033                 off = (off_t)fxdr_unsigned(u_int32_t, *++tl);
1034                 tl += 2;
1035                 if (nfs_async)
1036                         stable = NFSV3WRITE_UNSTABLE;
1037         }
1038         retlen = len = fxdr_unsigned(int32_t, *tl);
1039         cnt = i = 0;
1040
1041         /*
1042          * For NFS Version 2, it is not obvious what a write of zero length
1043          * should do, but I might as well be consistent with Version 3,
1044          * which is to return ok so long as there are no permission problems.
1045          */
1046         if (len > 0) {
1047             zeroing = 1;
1048             mp = mrep;
1049             while (mp) {
1050                 if (mp == md) {
1051                         zeroing = 0;
1052                         adjust = dpos - mtod(mp, caddr_t);
1053                         mp->m_len -= adjust;
1054                         if (mp->m_len > 0 && adjust > 0)
1055                                 mp->m_data += adjust;
1056                 }
1057                 if (zeroing)
1058                         mp->m_len = 0;
1059                 else if (mp->m_len > 0) {
1060                         i += mp->m_len;
1061                         if (i > len) {
1062                                 mp->m_len -= (i - len);
1063                                 zeroing = 1;
1064                         }
1065                         if (mp->m_len > 0)
1066                                 cnt++;
1067                 }
1068                 mp = mp->m_next;
1069             }
1070         }
1071         if (len > NFS_MAXDATA || len < 0 || i < len) {
1072                 error = EIO;
1073                 nfsm_reply(2 * NFSX_UNSIGNED);
1074                 if (v3)
1075                         nfsm_srvwcc_data(forat_ret, &forat, aftat_ret, vap);
1076                 error = 0;
1077                 goto nfsmout;
1078         }
1079         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
1080         if (error) {
1081                 vp = NULL;
1082                 nfsm_reply(2 * NFSX_UNSIGNED);
1083                 if (v3)
1084                         nfsm_srvwcc_data(forat_ret, &forat, aftat_ret, vap);
1085                 error = 0;
1086                 goto nfsmout;
1087         }
1088         if (v3)
1089                 forat_ret = VOP_GETATTR(vp, &forat, cred, td);
1090         if (vp->v_type != VREG) {
1091                 if (v3)
1092                         error = EINVAL;
1093                 else
1094                         error = (vp->v_type == VDIR) ? EISDIR : EACCES;
1095         }
1096         if (!error)
1097                 error = nfsrv_access(vp, VWRITE, cred, rdonly, td, 1);
1098         if (error) {
1099                 vput(vp);
1100                 vp = NULL;
1101                 nfsm_reply(NFSX_WCCDATA(v3));
1102                 if (v3)
1103                         nfsm_srvwcc_data(forat_ret, &forat, aftat_ret, vap);
1104                 error = 0;
1105                 goto nfsmout;
1106         }
1107
1108         if (len > 0) {
1109             MALLOC(ivp, struct iovec *, cnt * sizeof (struct iovec), M_TEMP,
1110                 M_WAITOK);
1111             uiop->uio_iov = iv = ivp;
1112             uiop->uio_iovcnt = cnt;
1113             mp = mrep;
1114             while (mp) {
1115                 if (mp->m_len > 0) {
1116                         ivp->iov_base = mtod(mp, caddr_t);
1117                         ivp->iov_len = mp->m_len;
1118                         ivp++;
1119                 }
1120                 mp = mp->m_next;
1121             }
1122
1123             /*
1124              * XXX
1125              * The IO_METASYNC flag indicates that all metadata (and not just
1126              * enough to ensure data integrity) mus be written to stable storage
1127              * synchronously.
1128              * (IO_METASYNC is not yet implemented in 4.4BSD-Lite.)
1129              */
1130             if (stable == NFSV3WRITE_UNSTABLE)
1131                 ioflags = IO_NODELOCKED;
1132             else if (stable == NFSV3WRITE_DATASYNC)
1133                 ioflags = (IO_SYNC | IO_NODELOCKED);
1134             else
1135                 ioflags = (IO_METASYNC | IO_SYNC | IO_NODELOCKED);
1136             uiop->uio_resid = len;
1137             uiop->uio_rw = UIO_WRITE;
1138             uiop->uio_segflg = UIO_SYSSPACE;
1139             uiop->uio_td = (struct thread *)0;
1140             uiop->uio_offset = off;
1141             error = VOP_WRITE(vp, uiop, ioflags, cred);
1142             nfsrvstats.srvvop_writes++;
1143             FREE((caddr_t)iv, M_TEMP);
1144         }
1145         aftat_ret = VOP_GETATTR(vp, vap, cred, td);
1146         vput(vp);
1147         vp = NULL;
1148         if (!error)
1149                 error = aftat_ret;
1150 ereply:
1151         nfsm_reply(NFSX_PREOPATTR(v3) + NFSX_POSTOPORFATTR(v3) +
1152                 2 * NFSX_UNSIGNED + NFSX_WRITEVERF(v3));
1153         if (v3) {
1154                 nfsm_srvwcc_data(forat_ret, &forat, aftat_ret, vap);
1155                 if (error) {
1156                         error = 0;
1157                         goto nfsmout;
1158                 }
1159                 tl = nfsm_build(u_int32_t *, 4 * NFSX_UNSIGNED);
1160                 *tl++ = txdr_unsigned(retlen);
1161                 /*
1162                  * If nfs_async is set, then pretend the write was FILESYNC.
1163                  */
1164                 if (stable == NFSV3WRITE_UNSTABLE && !nfs_async)
1165                         *tl++ = txdr_unsigned(stable);
1166                 else
1167                         *tl++ = txdr_unsigned(NFSV3WRITE_FILESYNC);
1168                 /*
1169                  * Actually, there is no need to txdr these fields,
1170                  * but it may make the values more human readable,
1171                  * for debugging purposes.
1172                  */
1173                 if (nfsver.tv_sec == 0)
1174                         nfsver = boottime;
1175                 *tl++ = txdr_unsigned(nfsver.tv_sec);
1176                 *tl = txdr_unsigned(nfsver.tv_usec);
1177         } else if (!error) {
1178                 /* v2 non-error case. */
1179                 fp = nfsm_build(struct nfs_fattr *, NFSX_V2FATTR);
1180                 nfsm_srvfillattr(vap, fp);
1181         }
1182         error = 0;
1183 nfsmout:
1184         if (vp)
1185                 vput(vp);
1186         vn_finished_write(mntp);
1187         return(error);
1188 }
1189
1190 /*
1191  * NFS write service with write gathering support. Called when
1192  * nfsrvw_procrastinate > 0.
1193  * See: Chet Juszczak, "Improving the Write Performance of an NFS Server",
1194  * in Proc. of the Winter 1994 Usenix Conference, pg. 247-259, San Franscisco,
1195  * Jan. 1994.
1196  */
1197 int
1198 nfsrv_writegather(struct nfsrv_descript **ndp, struct nfssvc_sock *slp,
1199     struct thread *td, struct mbuf **mrq)
1200 {
1201         struct iovec *ivp;
1202         struct mbuf *mp;
1203         struct nfsrv_descript *wp, *nfsd, *owp, *swp;
1204         struct nfs_fattr *fp;
1205         int i;
1206         struct iovec *iov;
1207         struct nfsrvw_delayhash *wpp;
1208         struct ucred *cred;
1209         struct vattr va, forat;
1210         u_int32_t *tl;
1211         caddr_t bpos, dpos;
1212         int error = 0, rdonly, len, forat_ret = 1;
1213         int ioflags, aftat_ret = 1, s, adjust, v3, zeroing;
1214         struct mbuf *mb, *mreq, *mrep, *md;
1215         struct vnode *vp = NULL;
1216         struct uio io, *uiop = &io;
1217         u_quad_t cur_usec;
1218         struct mount *mntp = NULL;
1219
1220         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
1221 #ifndef nolint
1222         i = 0;
1223         len = 0;
1224 #endif
1225         *mrq = NULL;
1226         if (*ndp) {
1227             nfsd = *ndp;
1228             *ndp = NULL;
1229             mrep = nfsd->nd_mrep;
1230             md = nfsd->nd_md;
1231             dpos = nfsd->nd_dpos;
1232             cred = &nfsd->nd_cr;
1233             v3 = (nfsd->nd_flag & ND_NFSV3);
1234             LIST_INIT(&nfsd->nd_coalesce);
1235             nfsd->nd_mreq = NULL;
1236             nfsd->nd_stable = NFSV3WRITE_FILESYNC;
1237             cur_usec = nfs_curusec();
1238             nfsd->nd_time = cur_usec +
1239                 (v3 ? nfsrvw_procrastinate_v3 : nfsrvw_procrastinate);
1240
1241             /*
1242              * Now, get the write header..
1243              */
1244             nfsm_srvmtofh(&nfsd->nd_fh);
1245             if (v3) {
1246                 tl = nfsm_dissect(u_int32_t *, 5 * NFSX_UNSIGNED);
1247                 nfsd->nd_off = fxdr_hyper(tl);
1248                 tl += 3;
1249                 nfsd->nd_stable = fxdr_unsigned(int, *tl++);
1250             } else {
1251                 tl = nfsm_dissect(u_int32_t *, 4 * NFSX_UNSIGNED);
1252                 nfsd->nd_off = (off_t)fxdr_unsigned(u_int32_t, *++tl);
1253                 tl += 2;
1254                 if (nfs_async)
1255                         nfsd->nd_stable = NFSV3WRITE_UNSTABLE;
1256             }
1257             len = fxdr_unsigned(int32_t, *tl);
1258             nfsd->nd_len = len;
1259             nfsd->nd_eoff = nfsd->nd_off + len;
1260
1261             /*
1262              * Trim the header out of the mbuf list and trim off any trailing
1263              * junk so that the mbuf list has only the write data.
1264              */
1265             zeroing = 1;
1266             i = 0;
1267             mp = mrep;
1268             while (mp) {
1269                 if (mp == md) {
1270                     zeroing = 0;
1271                     adjust = dpos - mtod(mp, caddr_t);
1272                     mp->m_len -= adjust;
1273                     if (mp->m_len > 0 && adjust > 0)
1274                         mp->m_data += adjust;
1275                 }
1276                 if (zeroing)
1277                     mp->m_len = 0;
1278                 else {
1279                     i += mp->m_len;
1280                     if (i > len) {
1281                         mp->m_len -= (i - len);
1282                         zeroing = 1;
1283                     }
1284                 }
1285                 mp = mp->m_next;
1286             }
1287             if (len > NFS_MAXDATA || len < 0  || i < len) {
1288 nfsmout:
1289                 m_freem(mrep);
1290                 error = EIO;
1291                 nfsm_writereply(2 * NFSX_UNSIGNED);
1292                 if (v3)
1293                     nfsm_srvwcc_data(forat_ret, &forat, aftat_ret, &va);
1294                 nfsd->nd_mreq = mreq;
1295                 nfsd->nd_mrep = NULL;
1296                 nfsd->nd_time = 0;
1297             }
1298
1299             /*
1300              * Add this entry to the hash and time queues.
1301              */
1302             s = splsoftclock();
1303             owp = NULL;
1304             wp = LIST_FIRST(&slp->ns_tq);
1305             while (wp && wp->nd_time < nfsd->nd_time) {
1306                 owp = wp;
1307                 wp = LIST_NEXT(wp, nd_tq);
1308             }
1309             NFS_DPF(WG, ("Q%03x", nfsd->nd_retxid & 0xfff));
1310             if (owp) {
1311                 LIST_INSERT_AFTER(owp, nfsd, nd_tq);
1312             } else {
1313                 LIST_INSERT_HEAD(&slp->ns_tq, nfsd, nd_tq);
1314             }
1315             if (nfsd->nd_mrep) {
1316                 wpp = NWDELAYHASH(slp, nfsd->nd_fh.fh_fid.fid_data);
1317                 owp = NULL;
1318                 wp = LIST_FIRST(wpp);
1319                 while (wp &&
1320                     bcmp((caddr_t)&nfsd->nd_fh,(caddr_t)&wp->nd_fh, NFSX_V3FH)){
1321                     owp = wp;
1322                     wp = LIST_NEXT(wp, nd_hash);
1323                 }
1324                 while (wp && wp->nd_off < nfsd->nd_off &&
1325                     !bcmp((caddr_t)&nfsd->nd_fh,(caddr_t)&wp->nd_fh, NFSX_V3FH)) {
1326                     owp = wp;
1327                     wp = LIST_NEXT(wp, nd_hash);
1328                 }
1329                 if (owp) {
1330                     LIST_INSERT_AFTER(owp, nfsd, nd_hash);
1331
1332                     /*
1333                      * Search the hash list for overlapping entries and
1334                      * coalesce.
1335                      */
1336                     for(; nfsd && NFSW_CONTIG(owp, nfsd); nfsd = wp) {
1337                         wp = LIST_NEXT(nfsd, nd_hash);
1338                         if (NFSW_SAMECRED(owp, nfsd))
1339                             nfsrvw_coalesce(owp, nfsd);
1340                     }
1341                 } else {
1342                     LIST_INSERT_HEAD(wpp, nfsd, nd_hash);
1343                 }
1344             }
1345             splx(s);
1346         }
1347
1348         /*
1349          * Now, do VOP_WRITE()s for any one(s) that need to be done now
1350          * and generate the associated reply mbuf list(s).
1351          */
1352 loop1:
1353         cur_usec = nfs_curusec();
1354         s = splsoftclock();
1355         for (nfsd = LIST_FIRST(&slp->ns_tq); nfsd; nfsd = owp) {
1356                 owp = LIST_NEXT(nfsd, nd_tq);
1357                 if (nfsd->nd_time > cur_usec)
1358                     break;
1359                 if (nfsd->nd_mreq)
1360                     continue;
1361                 NFS_DPF(WG, ("P%03x", nfsd->nd_retxid & 0xfff));
1362                 LIST_REMOVE(nfsd, nd_tq);
1363                 LIST_REMOVE(nfsd, nd_hash);
1364                 splx(s);
1365                 mrep = nfsd->nd_mrep;
1366                 nfsd->nd_mrep = NULL;
1367                 cred = &nfsd->nd_cr;
1368                 v3 = (nfsd->nd_flag & ND_NFSV3);
1369                 forat_ret = aftat_ret = 1;
1370                 error = nfsrv_fhtovp(&nfsd->nd_fh, 1, &vp, cred, slp,
1371                     nfsd->nd_nam, &rdonly, TRUE);
1372                 if (!error) {
1373                     if (v3)
1374                         forat_ret = VOP_GETATTR(vp, &forat, cred, td);
1375                     if (vp->v_type != VREG) {
1376                         if (v3)
1377                             error = EINVAL;
1378                         else
1379                             error = (vp->v_type == VDIR) ? EISDIR : EACCES;
1380                     }
1381                 } else {
1382                     vp = NULL;
1383                 }
1384                 if (!error)
1385                     error = nfsrv_access(vp, VWRITE, cred, rdonly, td, 1);
1386                 if (nfsd->nd_stable == NFSV3WRITE_UNSTABLE)
1387                     ioflags = IO_NODELOCKED;
1388                 else if (nfsd->nd_stable == NFSV3WRITE_DATASYNC)
1389                     ioflags = (IO_SYNC | IO_NODELOCKED);
1390                 else
1391                     ioflags = (IO_METASYNC | IO_SYNC | IO_NODELOCKED);
1392                 uiop->uio_rw = UIO_WRITE;
1393                 uiop->uio_segflg = UIO_SYSSPACE;
1394                 uiop->uio_td = (struct thread *)0;
1395                 uiop->uio_offset = nfsd->nd_off;
1396                 uiop->uio_resid = nfsd->nd_eoff - nfsd->nd_off;
1397                 if (uiop->uio_resid > 0) {
1398                     mp = mrep;
1399                     i = 0;
1400                     while (mp) {
1401                         if (mp->m_len > 0)
1402                             i++;
1403                         mp = mp->m_next;
1404                     }
1405                     uiop->uio_iovcnt = i;
1406                     MALLOC(iov, struct iovec *, i * sizeof (struct iovec),
1407                         M_TEMP, M_WAITOK);
1408                     uiop->uio_iov = ivp = iov;
1409                     mp = mrep;
1410                     while (mp) {
1411                         if (mp->m_len > 0) {
1412                             ivp->iov_base = mtod(mp, caddr_t);
1413                             ivp->iov_len = mp->m_len;
1414                             ivp++;
1415                         }
1416                         mp = mp->m_next;
1417                     }
1418                     if (!error) {
1419                         if (vn_start_write(vp, &mntp, V_NOWAIT) != 0) {
1420                             VOP_UNLOCK(vp, 0, td);
1421                             error = vn_start_write(NULL, &mntp, V_WAIT);
1422                             vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, td);
1423                         }
1424                     }
1425                     if (!error) {
1426                         error = VOP_WRITE(vp, uiop, ioflags, cred);
1427                         nfsrvstats.srvvop_writes++;
1428                         vn_finished_write(mntp);
1429                     }
1430                     FREE((caddr_t)iov, M_TEMP);
1431                 }
1432                 m_freem(mrep);
1433                 if (vp) {
1434                     aftat_ret = VOP_GETATTR(vp, &va, cred, td);
1435                     vput(vp);
1436                     vp = NULL;
1437                 }
1438
1439                 /*
1440                  * Loop around generating replies for all write rpcs that have
1441                  * now been completed.
1442                  */
1443                 swp = nfsd;
1444                 do {
1445                     NFS_DPF(WG, ("R%03x", nfsd->nd_retxid & 0xfff));
1446                     if (error) {
1447                         nfsm_writereply(NFSX_WCCDATA(v3));
1448                         if (v3) {
1449                             nfsm_srvwcc_data(forat_ret, &forat, aftat_ret, &va);
1450                         }
1451                     } else {
1452                         nfsm_writereply(NFSX_PREOPATTR(v3) +
1453                             NFSX_POSTOPORFATTR(v3) + 2 * NFSX_UNSIGNED +
1454                             NFSX_WRITEVERF(v3));
1455                         if (v3) {
1456                             nfsm_srvwcc_data(forat_ret, &forat, aftat_ret, &va);
1457                             tl = nfsm_build(u_int32_t *, 4 * NFSX_UNSIGNED);
1458                             *tl++ = txdr_unsigned(nfsd->nd_len);
1459                             *tl++ = txdr_unsigned(swp->nd_stable);
1460                             /*
1461                              * Actually, there is no need to txdr these fields,
1462                              * but it may make the values more human readable,
1463                              * for debugging purposes.
1464                              */
1465                             if (nfsver.tv_sec == 0)
1466                                     nfsver = boottime;
1467                             *tl++ = txdr_unsigned(nfsver.tv_sec);
1468                             *tl = txdr_unsigned(nfsver.tv_usec);
1469                         } else {
1470                             fp = nfsm_build(struct nfs_fattr *, NFSX_V2FATTR);
1471                             nfsm_srvfillattr(&va, fp);
1472                         }
1473                     }
1474                     nfsd->nd_mreq = mreq;
1475                     if (nfsd->nd_mrep)
1476                         panic("nfsrv_write: nd_mrep not free");
1477
1478                     /*
1479                      * Done. Put it at the head of the timer queue so that
1480                      * the final phase can return the reply.
1481                      */
1482                     s = splsoftclock();
1483                     if (nfsd != swp) {
1484                         nfsd->nd_time = 0;
1485                         LIST_INSERT_HEAD(&slp->ns_tq, nfsd, nd_tq);
1486                     }
1487                     nfsd = LIST_FIRST(&swp->nd_coalesce);
1488                     if (nfsd) {
1489                         LIST_REMOVE(nfsd, nd_tq);
1490                     }
1491                     splx(s);
1492                 } while (nfsd);
1493                 s = splsoftclock();
1494                 swp->nd_time = 0;
1495                 LIST_INSERT_HEAD(&slp->ns_tq, swp, nd_tq);
1496                 splx(s);
1497                 goto loop1;
1498         }
1499         splx(s);
1500
1501         /*
1502          * Search for a reply to return.
1503          */
1504         s = splsoftclock();
1505         LIST_FOREACH(nfsd, &slp->ns_tq, nd_tq)
1506                 if (nfsd->nd_mreq) {
1507                     NFS_DPF(WG, ("X%03x", nfsd->nd_retxid & 0xfff));
1508                     LIST_REMOVE(nfsd, nd_tq);
1509                     *mrq = nfsd->nd_mreq;
1510                     *ndp = nfsd;
1511                     break;
1512                 }
1513         splx(s);
1514         return (0);
1515 }
1516
1517 /*
1518  * Coalesce the write request nfsd into owp. To do this we must:
1519  * - remove nfsd from the queues
1520  * - merge nfsd->nd_mrep into owp->nd_mrep
1521  * - update the nd_eoff and nd_stable for owp
1522  * - put nfsd on owp's nd_coalesce list
1523  * NB: Must be called at splsoftclock().
1524  */
1525 static void
1526 nfsrvw_coalesce(struct nfsrv_descript *owp, struct nfsrv_descript *nfsd)
1527 {
1528         int overlap;
1529         struct mbuf *mp;
1530         struct nfsrv_descript *p;
1531
1532         NFS_DPF(WG, ("C%03x-%03x",
1533                      nfsd->nd_retxid & 0xfff, owp->nd_retxid & 0xfff));
1534         LIST_REMOVE(nfsd, nd_hash);
1535         LIST_REMOVE(nfsd, nd_tq);
1536         if (owp->nd_eoff < nfsd->nd_eoff) {
1537             overlap = owp->nd_eoff - nfsd->nd_off;
1538             if (overlap < 0)
1539                 panic("nfsrv_coalesce: bad off");
1540             if (overlap > 0)
1541                 m_adj(nfsd->nd_mrep, overlap);
1542             mp = owp->nd_mrep;
1543             while (mp->m_next)
1544                 mp = mp->m_next;
1545             mp->m_next = nfsd->nd_mrep;
1546             owp->nd_eoff = nfsd->nd_eoff;
1547         } else
1548             m_freem(nfsd->nd_mrep);
1549         nfsd->nd_mrep = NULL;
1550         if (nfsd->nd_stable == NFSV3WRITE_FILESYNC)
1551             owp->nd_stable = NFSV3WRITE_FILESYNC;
1552         else if (nfsd->nd_stable == NFSV3WRITE_DATASYNC &&
1553             owp->nd_stable == NFSV3WRITE_UNSTABLE)
1554             owp->nd_stable = NFSV3WRITE_DATASYNC;
1555         LIST_INSERT_HEAD(&owp->nd_coalesce, nfsd, nd_tq);
1556
1557         /*
1558          * If nfsd had anything else coalesced into it, transfer them
1559          * to owp, otherwise their replies will never get sent.
1560          */
1561         for (p = LIST_FIRST(&nfsd->nd_coalesce); p;
1562              p = LIST_FIRST(&nfsd->nd_coalesce)) {
1563             LIST_REMOVE(p, nd_tq);
1564             LIST_INSERT_HEAD(&owp->nd_coalesce, p, nd_tq);
1565         }
1566 }
1567
1568 /*
1569  * nfs create service
1570  * now does a truncate to 0 length via. setattr if it already exists
1571  */
1572 int
1573 nfsrv_create(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
1574     struct thread *td, struct mbuf **mrq)
1575 {
1576         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
1577         struct sockaddr *nam = nfsd->nd_nam;
1578         caddr_t dpos = nfsd->nd_dpos;
1579         struct ucred *cred = &nfsd->nd_cr;
1580         struct nfs_fattr *fp;
1581         struct vattr va, dirfor, diraft;
1582         struct vattr *vap = &va;
1583         struct nfsv2_sattr *sp;
1584         u_int32_t *tl;
1585         struct nameidata nd;
1586         caddr_t bpos;
1587         int error = 0, rdev, len, tsize, dirfor_ret = 1, diraft_ret = 1;
1588         int v3 = (nfsd->nd_flag & ND_NFSV3), how, exclusive_flag = 0;
1589         caddr_t cp;
1590         struct mbuf *mb, *mreq;
1591         struct vnode *dirp = (struct vnode *)0;
1592         nfsfh_t nfh;
1593         fhandle_t *fhp;
1594         u_quad_t tempsize;
1595         u_char cverf[NFSX_V3CREATEVERF];
1596         struct mount *mp = NULL;
1597         struct vnode *vp;
1598
1599         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
1600 #ifndef nolint
1601         rdev = 0;
1602 #endif
1603         ndclear(&nd);
1604
1605         fhp = &nfh.fh_generic;
1606         nfsm_srvmtofh(fhp);
1607         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
1608                 error = ESTALE;
1609                 goto ereply;
1610         }
1611         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
1612                 mp = NULL;
1613                 goto ereply;
1614         }
1615         (void) vn_start_write(vp, &mp, V_WAIT);
1616         vput(vp);
1617         nfsm_srvnamesiz(len);
1618
1619         nd.ni_cnd.cn_cred = cred;
1620         nd.ni_cnd.cn_nameiop = CREATE;
1621         nd.ni_cnd.cn_flags = LOCKPARENT | LOCKLEAF | SAVESTART;
1622
1623         /*
1624          * Call namei and do initial cleanup to get a few things
1625          * out of the way.  If we get an initial error we cleanup
1626          * and return here to avoid special-casing the invalid nd
1627          * structure through the rest of the case.  dirp may be
1628          * set even if an error occurs, but the nd structure will not
1629          * be valid at all if an error occurs so we have to invalidate it
1630          * prior to calling nfsm_reply ( which might goto nfsmout ).
1631          */
1632         error = nfs_namei(&nd, fhp, len, slp, nam, &md, &dpos,
1633                 &dirp, td, FALSE);
1634         if (dirp) {
1635                 if (v3) {
1636                         dirfor_ret = VOP_GETATTR(dirp, &dirfor, cred,
1637                                 td);
1638                 } else {
1639                         vrele(dirp);
1640                         dirp = NULL;
1641                 }
1642         }
1643         if (error) {
1644                 nfsm_reply(NFSX_WCCDATA(v3));
1645                 if (v3)
1646                         nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
1647                 error = 0;
1648                 goto nfsmout;
1649         }
1650
1651         /*
1652          * No error.  Continue.  State:
1653          *
1654          *      startdir        is valid ( we release this immediately )
1655          *      dirp            may be valid
1656          *      nd.ni_vp        may be valid
1657          *      nd.ni_dvp       is valid
1658          *
1659          * The error state is set through the code and we may also do some
1660          * opportunistic releasing of vnodes to avoid holding locks through
1661          * NFS I/O.  The cleanup at the end is a catch-all
1662          */
1663
1664         VATTR_NULL(vap);
1665         if (v3) {
1666                 tl = nfsm_dissect(u_int32_t *, NFSX_UNSIGNED);
1667                 how = fxdr_unsigned(int, *tl);
1668                 switch (how) {
1669                 case NFSV3CREATE_GUARDED:
1670                         if (nd.ni_vp) {
1671                                 error = EEXIST;
1672                                 break;
1673                         }
1674                         /* fall through */
1675                 case NFSV3CREATE_UNCHECKED:
1676                         nfsm_srvsattr(vap);
1677                         break;
1678                 case NFSV3CREATE_EXCLUSIVE:
1679                         cp = nfsm_dissect(caddr_t, NFSX_V3CREATEVERF);
1680                         bcopy(cp, cverf, NFSX_V3CREATEVERF);
1681                         exclusive_flag = 1;
1682                         break;
1683                 };
1684                 vap->va_type = VREG;
1685         } else {
1686                 sp = nfsm_dissect(struct nfsv2_sattr *, NFSX_V2SATTR);
1687                 vap->va_type = IFTOVT(fxdr_unsigned(u_int32_t, sp->sa_mode));
1688                 if (vap->va_type == VNON)
1689                         vap->va_type = VREG;
1690                 vap->va_mode = nfstov_mode(sp->sa_mode);
1691                 switch (vap->va_type) {
1692                 case VREG:
1693                         tsize = fxdr_unsigned(int32_t, sp->sa_size);
1694                         if (tsize != -1)
1695                                 vap->va_size = (u_quad_t)tsize;
1696                         break;
1697                 case VCHR:
1698                 case VBLK:
1699                 case VFIFO:
1700                         rdev = fxdr_unsigned(long, sp->sa_size);
1701                         break;
1702                 default:
1703                         break;
1704                 };
1705         }
1706
1707         /*
1708          * Iff doesn't exist, create it
1709          * otherwise just truncate to 0 length
1710          *   should I set the mode too ?
1711          *
1712          * The only possible error we can have at this point is EEXIST.
1713          * nd.ni_vp will also be non-NULL in that case.
1714          */
1715         if (nd.ni_vp == NULL) {
1716                 if (vap->va_mode == (mode_t)VNOVAL)
1717                         vap->va_mode = 0;
1718                 if (vap->va_type == VREG || vap->va_type == VSOCK) {
1719                         error = VOP_CREATE(nd.ni_dvp, &nd.ni_vp, &nd.ni_cnd, vap);
1720                         if (error)
1721                                 NDFREE(&nd, NDF_ONLY_PNBUF);
1722                         else {
1723                                 nfsrv_object_create(nd.ni_vp);
1724                                 if (exclusive_flag) {
1725                                         exclusive_flag = 0;
1726                                         VATTR_NULL(vap);
1727                                         bcopy(cverf, (caddr_t)&vap->va_atime,
1728                                                 NFSX_V3CREATEVERF);
1729                                         error = VOP_SETATTR(nd.ni_vp, vap, cred,
1730                                                 td);
1731                                 }
1732                         }
1733                 } else if (vap->va_type == VCHR || vap->va_type == VBLK ||
1734                     vap->va_type == VFIFO) {
1735                         /*
1736                          * NFSv2-specific code for creating device nodes
1737                          * and fifos.
1738                          *
1739                          * Handle SysV FIFO node special cases.  All other
1740                          * devices require super user to access.
1741                          */
1742                         if (vap->va_type == VCHR && rdev == 0xffffffff)
1743                                 vap->va_type = VFIFO;
1744                         if (vap->va_type != VFIFO &&
1745                             (error = suser_xxx(cred, 0, 0))) {
1746                                 goto ereply;
1747                         }
1748                         vap->va_rdev = rdev;
1749                         error = VOP_MKNOD(nd.ni_dvp, &nd.ni_vp, &nd.ni_cnd, vap);
1750                         if (error) {
1751                                 NDFREE(&nd, NDF_ONLY_PNBUF);
1752                                 goto ereply;
1753                         }
1754                         vput(nd.ni_vp);
1755                         nd.ni_vp = NULL;
1756
1757                         /*
1758                          * release dvp prior to lookup
1759                          */
1760                         vput(nd.ni_dvp);
1761                         nd.ni_dvp = NULL;
1762
1763                         /*
1764                          * Setup for lookup.
1765                          *
1766                          * Even though LOCKPARENT was cleared, ni_dvp may
1767                          * be garbage.
1768                          */
1769                         nd.ni_cnd.cn_nameiop = LOOKUP;
1770                         nd.ni_cnd.cn_flags &= ~(LOCKPARENT);
1771                         nd.ni_cnd.cn_thread = td;
1772                         nd.ni_cnd.cn_cred = cred;
1773
1774                         error = lookup(&nd);
1775                         nd.ni_dvp = NULL;
1776                         if (error)
1777                                 goto ereply;
1778
1779                         nfsrv_object_create(nd.ni_vp);
1780                         if (nd.ni_cnd.cn_flags & ISSYMLINK) {
1781                                 error = EINVAL;
1782                                 goto ereply;
1783                         }
1784                 } else {
1785                         error = ENXIO;
1786                 }
1787         } else {
1788                 if (vap->va_size != -1) {
1789                         error = nfsrv_access(nd.ni_vp, VWRITE, cred,
1790                             (nd.ni_cnd.cn_flags & RDONLY), td, 0);
1791                         if (!error) {
1792                                 tempsize = vap->va_size;
1793                                 VATTR_NULL(vap);
1794                                 vap->va_size = tempsize;
1795                                 error = VOP_SETATTR(nd.ni_vp, vap, cred,
1796                                          td);
1797                         }
1798                 }
1799         }
1800
1801         if (!error) {
1802                 bzero((caddr_t)fhp, sizeof(nfh));
1803                 fhp->fh_fsid = nd.ni_vp->v_mount->mnt_stat.f_fsid;
1804                 error = VFS_VPTOFH(nd.ni_vp, &fhp->fh_fid);
1805                 if (!error)
1806                         error = VOP_GETATTR(nd.ni_vp, vap, cred, td);
1807         }
1808         if (v3) {
1809                 if (exclusive_flag && !error &&
1810                         bcmp(cverf, (caddr_t)&vap->va_atime, NFSX_V3CREATEVERF))
1811                         error = EEXIST;
1812                 diraft_ret = VOP_GETATTR(dirp, &diraft, cred, td);
1813                 vrele(dirp);
1814                 dirp = NULL;
1815         }
1816 ereply:
1817         nfsm_reply(NFSX_SRVFH(v3) + NFSX_FATTR(v3) + NFSX_WCCDATA(v3));
1818         if (v3) {
1819                 if (!error) {
1820                         nfsm_srvpostop_fh(fhp);
1821                         nfsm_srvpostop_attr(0, vap);
1822                 }
1823                 nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
1824         } else if (!error) {
1825                 /* v2 non-error case. */
1826                 nfsm_srvfhtom(fhp, v3);
1827                 fp = nfsm_build(struct nfs_fattr *, NFSX_V2FATTR);
1828                 nfsm_srvfillattr(vap, fp);
1829         }
1830         error = 0;
1831
1832 nfsmout:
1833         if (nd.ni_startdir) {
1834                 vrele(nd.ni_startdir);
1835                 nd.ni_startdir = NULL;
1836         }
1837         if (dirp)
1838                 vrele(dirp);
1839         NDFREE(&nd, NDF_ONLY_PNBUF);
1840         if (nd.ni_dvp) {
1841                 if (nd.ni_dvp == nd.ni_vp)
1842                         vrele(nd.ni_dvp);
1843                 else
1844                         vput(nd.ni_dvp);
1845         }
1846         if (nd.ni_vp)
1847                 vput(nd.ni_vp);
1848         vn_finished_write(mp);
1849         return (error);
1850 }
1851
1852 /*
1853  * nfs v3 mknod service
1854  */
1855 int
1856 nfsrv_mknod(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
1857     struct thread *td, struct mbuf **mrq)
1858 {
1859         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
1860         struct sockaddr *nam = nfsd->nd_nam;
1861         caddr_t dpos = nfsd->nd_dpos;
1862         struct ucred *cred = &nfsd->nd_cr;
1863         struct vattr va, dirfor, diraft;
1864         struct vattr *vap = &va;
1865         u_int32_t *tl;
1866         struct nameidata nd;
1867         caddr_t bpos;
1868         int error = 0, len, dirfor_ret = 1, diraft_ret = 1;
1869         u_int32_t major, minor;
1870         enum vtype vtyp;
1871         struct mbuf *mb, *mreq;
1872         struct vnode *vp, *dirp = (struct vnode *)0;
1873         nfsfh_t nfh;
1874         fhandle_t *fhp;
1875         struct mount *mp = NULL;
1876         int v3 = (nfsd->nd_flag & ND_NFSV3);
1877
1878         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
1879         if (!v3)
1880                 panic("nfsrv_mknod: v3 proc called on a v2 connection");
1881         ndclear(&nd);
1882
1883         fhp = &nfh.fh_generic;
1884         nfsm_srvmtofh(fhp);
1885         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
1886                 error = ESTALE;
1887                 goto ereply;
1888         }
1889         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
1890                 mp = NULL;
1891                 goto ereply;
1892         }
1893         (void) vn_start_write(vp, &mp, V_WAIT);
1894         vput(vp);
1895         vp = NULL;
1896         nfsm_srvnamesiz(len);
1897
1898         nd.ni_cnd.cn_cred = cred;
1899         nd.ni_cnd.cn_nameiop = CREATE;
1900         nd.ni_cnd.cn_flags = LOCKPARENT | LOCKLEAF | SAVESTART;
1901
1902         /*
1903          * Handle nfs_namei() call.  If an error occurs, the nd structure
1904          * is not valid.  However, nfsm_*() routines may still jump to
1905          * nfsmout.
1906          */
1907
1908         error = nfs_namei(&nd, fhp, len, slp, nam, &md, &dpos,
1909                 &dirp, td, FALSE);
1910         if (dirp)
1911                 dirfor_ret = VOP_GETATTR(dirp, &dirfor, cred, td);
1912         if (error) {
1913                 nfsm_reply(NFSX_WCCDATA(1));
1914                 nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
1915                 error = 0;
1916                 goto nfsmout;
1917         }
1918         tl = nfsm_dissect(u_int32_t *, NFSX_UNSIGNED);
1919         vtyp = nfsv3tov_type(*tl);
1920         if (vtyp != VCHR && vtyp != VBLK && vtyp != VSOCK && vtyp != VFIFO) {
1921                 error = NFSERR_BADTYPE;
1922                 goto out;
1923         }
1924         VATTR_NULL(vap);
1925         nfsm_srvsattr(vap);
1926         if (vtyp == VCHR || vtyp == VBLK) {
1927                 tl = nfsm_dissect(u_int32_t *, 2 * NFSX_UNSIGNED);
1928                 major = fxdr_unsigned(u_int32_t, *tl++);
1929                 minor = fxdr_unsigned(u_int32_t, *tl);
1930                 vap->va_rdev = makeudev(major, minor);
1931         }
1932
1933         /*
1934          * Iff doesn't exist, create it.
1935          */
1936         if (nd.ni_vp) {
1937                 error = EEXIST;
1938                 goto out;
1939         }
1940         vap->va_type = vtyp;
1941         if (vap->va_mode == (mode_t)VNOVAL)
1942                 vap->va_mode = 0;
1943         if (vtyp == VSOCK) {
1944                 vrele(nd.ni_startdir);
1945                 nd.ni_startdir = NULL;
1946                 error = VOP_CREATE(nd.ni_dvp, &nd.ni_vp, &nd.ni_cnd, vap);
1947                 if (error)
1948                         NDFREE(&nd, NDF_ONLY_PNBUF);
1949         } else {
1950                 if (vtyp != VFIFO && (error = suser_xxx(cred, 0, 0)))
1951                         goto out;
1952                 error = VOP_MKNOD(nd.ni_dvp, &nd.ni_vp, &nd.ni_cnd, vap);
1953                 if (error) {
1954                         NDFREE(&nd, NDF_ONLY_PNBUF);
1955                         goto out;
1956                 }
1957                 vput(nd.ni_vp);
1958                 nd.ni_vp = NULL;
1959
1960                 /*
1961                  * Release dvp prior to lookup
1962                  */
1963                 vput(nd.ni_dvp);
1964                 nd.ni_dvp = NULL;
1965
1966                 nd.ni_cnd.cn_nameiop = LOOKUP;
1967                 nd.ni_cnd.cn_flags &= ~(LOCKPARENT);
1968                 nd.ni_cnd.cn_thread = td;
1969                 nd.ni_cnd.cn_cred = td->td_proc->p_ucred;
1970
1971                 error = lookup(&nd);
1972                 nd.ni_dvp = NULL;
1973
1974                 if (error)
1975                         goto out;
1976                 if (nd.ni_cnd.cn_flags & ISSYMLINK)
1977                         error = EINVAL;
1978         }
1979
1980         /*
1981          * send response, cleanup, return.
1982          */
1983 out:
1984         if (nd.ni_startdir) {
1985                 vrele(nd.ni_startdir);
1986                 nd.ni_startdir = NULL;
1987         }
1988         NDFREE(&nd, NDF_ONLY_PNBUF);
1989         if (nd.ni_dvp) {
1990                 if (nd.ni_dvp == nd.ni_vp)
1991                         vrele(nd.ni_dvp);
1992                 else
1993                         vput(nd.ni_dvp);
1994                 nd.ni_dvp = NULL;
1995         }
1996         vp = nd.ni_vp;
1997         if (!error) {
1998                 bzero((caddr_t)fhp, sizeof(nfh));
1999                 fhp->fh_fsid = vp->v_mount->mnt_stat.f_fsid;
2000                 error = VFS_VPTOFH(vp, &fhp->fh_fid);
2001                 if (!error)
2002                         error = VOP_GETATTR(vp, vap, cred, td);
2003                 vput(vp);
2004                 vp = NULL;
2005                 nd.ni_vp = NULL;
2006         }
2007         diraft_ret = VOP_GETATTR(dirp, &diraft, cred, td);
2008         if (dirp) {
2009                 vrele(dirp);
2010                 dirp = NULL;
2011         }
2012 ereply:
2013         nfsm_reply(NFSX_SRVFH(1) + NFSX_POSTOPATTR(1) + NFSX_WCCDATA(1));
2014         if (v3) {
2015                 if (!error) {
2016                         nfsm_srvpostop_fh(fhp);
2017                         nfsm_srvpostop_attr(0, vap);
2018                 }
2019                 nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2020         }
2021         vn_finished_write(mp);
2022         return (0);
2023 nfsmout:
2024         if (dirp)
2025                 vrele(dirp);
2026         if (nd.ni_startdir)
2027                 vrele(nd.ni_startdir);
2028         NDFREE(&nd, NDF_ONLY_PNBUF);
2029         if (nd.ni_dvp) {
2030                 if (nd.ni_dvp == nd.ni_vp)
2031                         vrele(nd.ni_dvp);
2032                 else
2033                         vput(nd.ni_dvp);
2034         }
2035         if (nd.ni_vp)
2036                 vput(nd.ni_vp);
2037         vn_finished_write(mp);
2038         return (error);
2039 }
2040
2041 /*
2042  * nfs remove service
2043  */
2044 int
2045 nfsrv_remove(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
2046     struct thread *td, struct mbuf **mrq)
2047 {
2048         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
2049         struct sockaddr *nam = nfsd->nd_nam;
2050         caddr_t dpos = nfsd->nd_dpos;
2051         struct ucred *cred = &nfsd->nd_cr;
2052         struct nameidata nd;
2053         caddr_t bpos;
2054         int error = 0, len, dirfor_ret = 1, diraft_ret = 1;
2055         int v3 = (nfsd->nd_flag & ND_NFSV3);
2056         struct mbuf *mb, *mreq;
2057         struct vnode *dirp;
2058         struct vattr dirfor, diraft;
2059         nfsfh_t nfh;
2060         fhandle_t *fhp;
2061         struct mount *mp = NULL;
2062         struct vnode *vp;
2063
2064         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
2065         ndclear(&nd);
2066
2067         fhp = &nfh.fh_generic;
2068         nfsm_srvmtofh(fhp);
2069         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
2070                 error = ESTALE;
2071                 goto ereply;
2072         }
2073         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
2074                 mp = NULL;
2075                 goto ereply;
2076         }
2077         (void) vn_start_write(vp, &mp, V_WAIT);
2078         vput(vp);
2079         vp = NULL;
2080         nfsm_srvnamesiz(len);
2081
2082         nd.ni_cnd.cn_cred = cred;
2083         nd.ni_cnd.cn_nameiop = DELETE;
2084         nd.ni_cnd.cn_flags = LOCKPARENT | LOCKLEAF;
2085         error = nfs_namei(&nd, fhp, len, slp, nam, &md, &dpos,
2086                 &dirp, td, FALSE);
2087         if (dirp) {
2088                 if (v3) {
2089                         dirfor_ret = VOP_GETATTR(dirp, &dirfor, cred,
2090                                 td);
2091                 } else {
2092                         vrele(dirp);
2093                         dirp = NULL;
2094                 }
2095         }
2096         if (error == 0) {
2097                 if (nd.ni_vp->v_type == VDIR) {
2098                         error = EPERM;          /* POSIX */
2099                         goto out;
2100                 }
2101                 /*
2102                  * The root of a mounted filesystem cannot be deleted.
2103                  */
2104                 if (nd.ni_vp->v_flag & VROOT) {
2105                         error = EBUSY;
2106                         goto out;
2107                 }
2108 out:
2109                 if (!error) {
2110                         error = VOP_REMOVE(nd.ni_dvp, nd.ni_vp, &nd.ni_cnd);
2111                         NDFREE(&nd, NDF_ONLY_PNBUF);
2112                 }
2113         }
2114         if (dirp && v3) {
2115                 diraft_ret = VOP_GETATTR(dirp, &diraft, cred, td);
2116                 vrele(dirp);
2117                 dirp = NULL;
2118         }
2119 ereply:
2120         nfsm_reply(NFSX_WCCDATA(v3));
2121         if (v3) {
2122                 nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2123                 error = 0;
2124         }
2125 nfsmout:
2126         NDFREE(&nd, NDF_ONLY_PNBUF);
2127         if (nd.ni_dvp) {
2128                 if (nd.ni_dvp == nd.ni_vp)
2129                         vrele(nd.ni_dvp);
2130                 else
2131                         vput(nd.ni_dvp);
2132         }
2133         if (nd.ni_vp)
2134                 vput(nd.ni_vp);
2135         vn_finished_write(mp);
2136         return(error);
2137 }
2138
2139 /*
2140  * nfs rename service
2141  */
2142 int
2143 nfsrv_rename(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
2144     struct thread *td, struct mbuf **mrq)
2145 {
2146         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
2147         struct sockaddr *nam = nfsd->nd_nam;
2148         caddr_t dpos = nfsd->nd_dpos;
2149         struct ucred *cred = &nfsd->nd_cr;
2150         caddr_t bpos;
2151         int error = 0, len, len2, fdirfor_ret = 1, fdiraft_ret = 1;
2152         int tdirfor_ret = 1, tdiraft_ret = 1;
2153         int v3 = (nfsd->nd_flag & ND_NFSV3);
2154         struct mbuf *mb, *mreq;
2155         struct nameidata fromnd, tond;
2156         struct vnode *fvp, *tvp, *tdvp, *fdirp = (struct vnode *)0;
2157         struct vnode *tdirp = (struct vnode *)0;
2158         struct vattr fdirfor, fdiraft, tdirfor, tdiraft;
2159         nfsfh_t fnfh, tnfh;
2160         fhandle_t *ffhp, *tfhp;
2161         uid_t saved_uid;
2162         struct mount *mp = NULL;
2163         struct vnode *vp;
2164
2165         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
2166 #ifndef nolint
2167         fvp = (struct vnode *)0;
2168 #endif
2169         ffhp = &fnfh.fh_generic;
2170         tfhp = &tnfh.fh_generic;
2171
2172         /*
2173          * Clear fields incase goto nfsmout occurs from macro.
2174          */
2175
2176         ndclear(&fromnd);
2177         ndclear(&tond);
2178
2179         nfsm_srvmtofh(ffhp);
2180         if ((mp = vfs_getvfs(&ffhp->fh_fsid)) == NULL) {
2181                 error = ESTALE;
2182                 goto out1;
2183         }
2184         if ((error = VFS_FHTOVP(mp, &ffhp->fh_fid, &vp)) != 0) {
2185                 mp = NULL;
2186                 goto out1;
2187         }
2188         (void) vn_start_write(vp, &mp, V_WAIT);
2189         vput(vp);
2190         vp = NULL;
2191         nfsm_srvnamesiz(len);
2192         /*
2193          * Remember our original uid so that we can reset cr_uid before
2194          * the second nfs_namei() call, in case it is remapped.
2195          */
2196         saved_uid = cred->cr_uid;
2197         fromnd.ni_cnd.cn_cred = cred;
2198         fromnd.ni_cnd.cn_nameiop = DELETE;
2199         fromnd.ni_cnd.cn_flags = WANTPARENT | SAVESTART;
2200         error = nfs_namei(&fromnd, ffhp, len, slp, nam, &md,
2201                 &dpos, &fdirp, td, FALSE);
2202         if (fdirp) {
2203                 if (v3) {
2204                         fdirfor_ret = VOP_GETATTR(fdirp, &fdirfor, cred,
2205                                 td);
2206                 } else {
2207                         vrele(fdirp);
2208                         fdirp = NULL;
2209                 }
2210         }
2211         if (error) {
2212                 nfsm_reply(2 * NFSX_WCCDATA(v3));
2213                 if (v3) {
2214                         nfsm_srvwcc_data(fdirfor_ret, &fdirfor, fdiraft_ret, &fdiraft);
2215                         nfsm_srvwcc_data(tdirfor_ret, &tdirfor, tdiraft_ret, &tdiraft);
2216                 }
2217                 error = 0;
2218                 goto nfsmout;
2219         }
2220         fvp = fromnd.ni_vp;
2221         nfsm_srvmtofh(tfhp);
2222         nfsm_strsiz(len2, NFS_MAXNAMLEN);
2223         cred->cr_uid = saved_uid;
2224         tond.ni_cnd.cn_cred = cred;
2225         tond.ni_cnd.cn_nameiop = RENAME;
2226         tond.ni_cnd.cn_flags = LOCKPARENT | LOCKLEAF | NOCACHE | SAVESTART;
2227         error = nfs_namei(&tond, tfhp, len2, slp, nam, &md,
2228                 &dpos, &tdirp, td, FALSE);
2229         if (tdirp) {
2230                 if (v3) {
2231                         tdirfor_ret = VOP_GETATTR(tdirp, &tdirfor, cred,
2232                                 td);
2233                 } else {
2234                         vrele(tdirp);
2235                         tdirp = NULL;
2236                 }
2237         }
2238         if (error)
2239                 goto out1;
2240
2241         tdvp = tond.ni_dvp;
2242         tvp = tond.ni_vp;
2243         if (tvp != NULL) {
2244                 if (fvp->v_type == VDIR && tvp->v_type != VDIR) {
2245                         if (v3)
2246                                 error = EEXIST;
2247                         else
2248                                 error = EISDIR;
2249                         goto out;
2250                 } else if (fvp->v_type != VDIR && tvp->v_type == VDIR) {
2251                         if (v3)
2252                                 error = EEXIST;
2253                         else
2254                                 error = ENOTDIR;
2255                         goto out;
2256                 }
2257                 if (tvp->v_type == VDIR && tvp->v_mountedhere) {
2258                         if (v3)
2259                                 error = EXDEV;
2260                         else
2261                                 error = ENOTEMPTY;
2262                         goto out;
2263                 }
2264         }
2265         if (fvp->v_type == VDIR && fvp->v_mountedhere) {
2266                 if (v3)
2267                         error = EXDEV;
2268                 else
2269                         error = ENOTEMPTY;
2270                 goto out;
2271         }
2272         if (fvp->v_mount != tdvp->v_mount) {
2273                 if (v3)
2274                         error = EXDEV;
2275                 else
2276                         error = ENOTEMPTY;
2277                 goto out;
2278         }
2279         if (fvp == tdvp) {
2280                 if (v3)
2281                         error = EINVAL;
2282                 else
2283                         error = ENOTEMPTY;
2284         }
2285         /*
2286          * If source is the same as the destination (that is the
2287          * same vnode with the same name in the same directory),
2288          * then there is nothing to do.
2289          */
2290         if (fvp == tvp && fromnd.ni_dvp == tdvp &&
2291             fromnd.ni_cnd.cn_namelen == tond.ni_cnd.cn_namelen &&
2292             !bcmp(fromnd.ni_cnd.cn_nameptr, tond.ni_cnd.cn_nameptr,
2293               fromnd.ni_cnd.cn_namelen))
2294                 error = -1;
2295 out:
2296         if (!error) {
2297                 /*
2298                  * The VOP_RENAME function releases all vnode references &
2299                  * locks prior to returning so we need to clear the pointers
2300                  * to bypass cleanup code later on.
2301                  */
2302                 error = VOP_RENAME(fromnd.ni_dvp, fromnd.ni_vp, &fromnd.ni_cnd,
2303                                    tond.ni_dvp, tond.ni_vp, &tond.ni_cnd);
2304                 fromnd.ni_dvp = NULL;
2305                 fromnd.ni_vp = NULL;
2306                 tond.ni_dvp = NULL;
2307                 tond.ni_vp = NULL;
2308                 if (error) {
2309                         fromnd.ni_cnd.cn_flags &= ~HASBUF;
2310                         tond.ni_cnd.cn_flags &= ~HASBUF;
2311                 }
2312         } else {
2313                 if (error == -1)
2314                         error = 0;
2315         }
2316         /* fall through */
2317
2318 out1:
2319         if (fdirp)
2320                 fdiraft_ret = VOP_GETATTR(fdirp, &fdiraft, cred, td);
2321         if (tdirp)
2322                 tdiraft_ret = VOP_GETATTR(tdirp, &tdiraft, cred, td);
2323         nfsm_reply(2 * NFSX_WCCDATA(v3));
2324         if (v3) {
2325                 nfsm_srvwcc_data(fdirfor_ret, &fdirfor, fdiraft_ret, &fdiraft);
2326                 nfsm_srvwcc_data(tdirfor_ret, &tdirfor, tdiraft_ret, &tdiraft);
2327         }
2328         error = 0;
2329         /* fall through */
2330
2331 nfsmout:
2332         /*
2333          * Clear out tond related fields
2334          */
2335         if (tdirp)
2336                 vrele(tdirp);
2337         if (tond.ni_startdir)
2338                 vrele(tond.ni_startdir);
2339         NDFREE(&tond, NDF_ONLY_PNBUF);
2340         if (tond.ni_dvp) {
2341                 if (tond.ni_dvp == tond.ni_vp)
2342                         vrele(tond.ni_dvp);
2343                 else
2344                         vput(tond.ni_dvp);
2345         }
2346         if (tond.ni_vp)
2347                 vput(tond.ni_vp);
2348
2349         /*
2350          * Clear out fromnd related fields
2351          */
2352         if (fdirp)
2353                 vrele(fdirp);
2354         if (fromnd.ni_startdir)
2355                 vrele(fromnd.ni_startdir);
2356         NDFREE(&fromnd, NDF_ONLY_PNBUF);
2357         if (fromnd.ni_dvp)
2358                 vrele(fromnd.ni_dvp);
2359         if (fromnd.ni_vp)
2360                 vrele(fromnd.ni_vp);
2361
2362         vn_finished_write(mp);
2363         return (error);
2364 }
2365
2366 /*
2367  * nfs link service
2368  */
2369 int
2370 nfsrv_link(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
2371     struct thread *td, struct mbuf **mrq)
2372 {
2373         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
2374         struct sockaddr *nam = nfsd->nd_nam;
2375         caddr_t dpos = nfsd->nd_dpos;
2376         struct ucred *cred = &nfsd->nd_cr;
2377         struct nameidata nd;
2378         caddr_t bpos;
2379         int error = 0, rdonly, len, dirfor_ret = 1, diraft_ret = 1;
2380         int getret = 1, v3 = (nfsd->nd_flag & ND_NFSV3);
2381         struct mbuf *mb, *mreq;
2382         struct vnode *vp = NULL, *xp, *dirp = (struct vnode *)0;
2383         struct vattr dirfor, diraft, at;
2384         nfsfh_t nfh, dnfh;
2385         fhandle_t *fhp, *dfhp;
2386         struct mount *mp = NULL;
2387
2388         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
2389         ndclear(&nd);
2390
2391         fhp = &nfh.fh_generic;
2392         dfhp = &dnfh.fh_generic;
2393         nfsm_srvmtofh(fhp);
2394         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
2395                 error = ESTALE;
2396                 goto ereply;
2397         }
2398         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
2399                 mp = NULL;
2400                 goto ereply;
2401         }
2402         (void) vn_start_write(vp, &mp, V_WAIT);
2403         vput(vp);
2404         vp = NULL;
2405         nfsm_srvmtofh(dfhp);
2406         nfsm_srvnamesiz(len);
2407
2408         error = nfsrv_fhtovp(fhp, FALSE, &vp, cred, slp, nam, &rdonly, TRUE);
2409         if (error) {
2410                 nfsm_reply(NFSX_POSTOPATTR(v3) + NFSX_WCCDATA(v3));
2411                 if (v3) {
2412                         nfsm_srvpostop_attr(getret, &at);
2413                         nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2414                 }
2415                 vp = NULL;
2416                 error = 0;
2417                 goto nfsmout;
2418         }
2419         if (vp->v_type == VDIR) {
2420                 error = EPERM;          /* POSIX */
2421                 goto out1;
2422         }
2423         nd.ni_cnd.cn_cred = cred;
2424         nd.ni_cnd.cn_nameiop = CREATE;
2425         nd.ni_cnd.cn_flags = LOCKPARENT;
2426         error = nfs_namei(&nd, dfhp, len, slp, nam, &md, &dpos,
2427                 &dirp, td, FALSE);
2428         if (dirp) {
2429                 if (v3) {
2430                         dirfor_ret = VOP_GETATTR(dirp, &dirfor, cred,
2431                                 td);
2432                 } else {
2433                         vrele(dirp);
2434                         dirp = NULL;
2435                 }
2436         }
2437         if (error)
2438                 goto out1;
2439
2440         xp = nd.ni_vp;
2441         if (xp != NULL) {
2442                 error = EEXIST;
2443                 goto out;
2444         }
2445         xp = nd.ni_dvp;
2446         if (vp->v_mount != xp->v_mount)
2447                 error = EXDEV;
2448 out:
2449         if (!error) {
2450                 error = VOP_LINK(nd.ni_dvp, vp, &nd.ni_cnd);
2451                 NDFREE(&nd, NDF_ONLY_PNBUF);
2452         }
2453         /* fall through */
2454
2455 out1:
2456         if (v3)
2457                 getret = VOP_GETATTR(vp, &at, cred, td);
2458         if (dirp)
2459                 diraft_ret = VOP_GETATTR(dirp, &diraft, cred, td);
2460 ereply:
2461         nfsm_reply(NFSX_POSTOPATTR(v3) + NFSX_WCCDATA(v3));
2462         if (v3) {
2463                 nfsm_srvpostop_attr(getret, &at);
2464                 nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2465                 error = 0;
2466         }
2467         /* fall through */
2468
2469 nfsmout:
2470         NDFREE(&nd, NDF_ONLY_PNBUF);
2471         if (dirp)
2472                 vrele(dirp);
2473         if (vp)
2474                 vrele(vp);
2475         if (nd.ni_dvp) {
2476                 if (nd.ni_dvp == nd.ni_vp)
2477                         vrele(nd.ni_dvp);
2478                 else
2479                         vput(nd.ni_dvp);
2480         }
2481         if (nd.ni_vp)
2482                 vrele(nd.ni_vp);
2483         vn_finished_write(mp);
2484         return(error);
2485 }
2486
2487 /*
2488  * nfs symbolic link service
2489  */
2490 int
2491 nfsrv_symlink(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
2492     struct thread *td, struct mbuf **mrq)
2493 {
2494         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
2495         struct sockaddr *nam = nfsd->nd_nam;
2496         caddr_t dpos = nfsd->nd_dpos;
2497         struct ucred *cred = &nfsd->nd_cr;
2498         struct vattr va, dirfor, diraft;
2499         struct nameidata nd;
2500         struct vattr *vap = &va;
2501         struct nfsv2_sattr *sp;
2502         char *bpos, *pathcp = (char *)0;
2503         struct uio io;
2504         struct iovec iv;
2505         int error = 0, len, len2, dirfor_ret = 1, diraft_ret = 1;
2506         int v3 = (nfsd->nd_flag & ND_NFSV3);
2507         struct mbuf *mb, *mreq;
2508         struct vnode *dirp = (struct vnode *)0;
2509         nfsfh_t nfh;
2510         fhandle_t *fhp;
2511         struct mount *mp = NULL;
2512         struct vnode *vp;
2513
2514         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
2515         ndclear(&nd);
2516
2517         fhp = &nfh.fh_generic;
2518         nfsm_srvmtofh(fhp);
2519         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
2520                 error = ESTALE;
2521                 goto out;
2522         }
2523         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
2524                 mp = NULL;
2525                 goto out;
2526         }
2527         (void) vn_start_write(vp, &mp, V_WAIT);
2528         vput(vp);
2529         vp = NULL;
2530         nfsm_srvnamesiz(len);
2531         nd.ni_cnd.cn_cred = cred;
2532         nd.ni_cnd.cn_nameiop = CREATE;
2533         nd.ni_cnd.cn_flags = LOCKPARENT | SAVESTART;
2534         error = nfs_namei(&nd, fhp, len, slp, nam, &md, &dpos,
2535                 &dirp, td, FALSE);
2536         if (dirp) {
2537                 if (v3) {
2538                         dirfor_ret = VOP_GETATTR(dirp, &dirfor, cred,
2539                                 td);
2540                 } else {
2541                         vrele(dirp);
2542                         dirp = NULL;
2543                 }
2544         }
2545         if (error)
2546                 goto out;
2547
2548         VATTR_NULL(vap);
2549         if (v3)
2550                 nfsm_srvsattr(vap);
2551         nfsm_strsiz(len2, NFS_MAXPATHLEN);
2552         MALLOC(pathcp, caddr_t, len2 + 1, M_TEMP, M_WAITOK);
2553         iv.iov_base = pathcp;
2554         iv.iov_len = len2;
2555         io.uio_resid = len2;
2556         io.uio_offset = 0;
2557         io.uio_iov = &iv;
2558         io.uio_iovcnt = 1;
2559         io.uio_segflg = UIO_SYSSPACE;
2560         io.uio_rw = UIO_READ;
2561         io.uio_td = (struct thread *)0;
2562         nfsm_mtouio(&io, len2);
2563         if (!v3) {
2564                 sp = nfsm_dissect(struct nfsv2_sattr *, NFSX_V2SATTR);
2565                 vap->va_mode = nfstov_mode(sp->sa_mode);
2566         }
2567         *(pathcp + len2) = '\0';
2568         if (nd.ni_vp) {
2569                 error = EEXIST;
2570                 goto out;
2571         }
2572
2573         /*
2574          * issue symlink op.  SAVESTART is set so the underlying path component
2575          * is only freed by the VOP if an error occurs.
2576          */
2577         if (vap->va_mode == (mode_t)VNOVAL)
2578                 vap->va_mode = 0;
2579         error = VOP_SYMLINK(nd.ni_dvp, &nd.ni_vp, &nd.ni_cnd, vap, pathcp);
2580         if (error)
2581                 NDFREE(&nd, NDF_ONLY_PNBUF);
2582         else
2583                 vput(nd.ni_vp);
2584         nd.ni_vp = NULL;
2585         /*
2586          * releases directory prior to potential lookup op.
2587          */
2588         vput(nd.ni_dvp);
2589         nd.ni_dvp = NULL;
2590
2591         if (error == 0) {
2592             if (v3) {
2593                 /*
2594                  * Issue lookup.  Leave SAVESTART set so we can easily free
2595                  * the name buffer later on.
2596                  *
2597                  * since LOCKPARENT is not set, ni_dvp will be garbage on
2598                  * return whether an error occurs or not.
2599                  */
2600                 nd.ni_cnd.cn_nameiop = LOOKUP;
2601                 nd.ni_cnd.cn_flags &= ~(LOCKPARENT | FOLLOW);
2602                 nd.ni_cnd.cn_flags |= (NOFOLLOW | LOCKLEAF);
2603                 nd.ni_cnd.cn_thread = td;
2604                 nd.ni_cnd.cn_cred = cred;
2605
2606                 error = lookup(&nd);
2607                 nd.ni_dvp = NULL;
2608
2609                 if (error == 0) {
2610                         bzero((caddr_t)fhp, sizeof(nfh));
2611                         fhp->fh_fsid = nd.ni_vp->v_mount->mnt_stat.f_fsid;
2612                         error = VFS_VPTOFH(nd.ni_vp, &fhp->fh_fid);
2613                         if (!error)
2614                                 error = VOP_GETATTR(nd.ni_vp, vap, cred,
2615                                         td);
2616                         vput(nd.ni_vp);
2617                         nd.ni_vp = NULL;
2618                 }
2619             }
2620         }
2621 out:
2622         /*
2623          * These releases aren't strictly required, does even doing them
2624          * make any sense? XXX can nfsm_reply() block?
2625          */
2626         if (pathcp) {
2627                 FREE(pathcp, M_TEMP);
2628                 pathcp = NULL;
2629         }
2630         if (dirp) {
2631                 diraft_ret = VOP_GETATTR(dirp, &diraft, cred, td);
2632                 vrele(dirp);
2633                 dirp = NULL;
2634         }
2635         if (nd.ni_startdir) {
2636                 vrele(nd.ni_startdir);
2637                 nd.ni_startdir = NULL;
2638         }
2639         nfsm_reply(NFSX_SRVFH(v3) + NFSX_POSTOPATTR(v3) + NFSX_WCCDATA(v3));
2640         if (v3) {
2641                 if (!error) {
2642                         nfsm_srvpostop_fh(fhp);
2643                         nfsm_srvpostop_attr(0, vap);
2644                 }
2645                 nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2646         }
2647         error = 0;
2648         /* fall through */
2649
2650 nfsmout:
2651         NDFREE(&nd, NDF_ONLY_PNBUF);
2652         if (nd.ni_dvp) {
2653                 if (nd.ni_dvp == nd.ni_vp)
2654                         vrele(nd.ni_dvp);
2655                 else
2656                         vput(nd.ni_dvp);
2657         }
2658         if (nd.ni_vp)
2659                 vrele(nd.ni_vp);
2660         if (nd.ni_startdir)
2661                 vrele(nd.ni_startdir);
2662         if (dirp)
2663                 vrele(dirp);
2664         if (pathcp)
2665                 FREE(pathcp, M_TEMP);
2666
2667         vn_finished_write(mp);
2668         return (error);
2669 }
2670
2671 /*
2672  * nfs mkdir service
2673  */
2674 int
2675 nfsrv_mkdir(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
2676     struct thread *td, struct mbuf **mrq)
2677 {
2678         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
2679         struct sockaddr *nam = nfsd->nd_nam;
2680         caddr_t dpos = nfsd->nd_dpos;
2681         struct ucred *cred = &nfsd->nd_cr;
2682         struct vattr va, dirfor, diraft;
2683         struct vattr *vap = &va;
2684         struct nfs_fattr *fp;
2685         struct nameidata nd;
2686         u_int32_t *tl;
2687         caddr_t bpos;
2688         int error = 0, len, dirfor_ret = 1, diraft_ret = 1;
2689         int v3 = (nfsd->nd_flag & ND_NFSV3);
2690         struct mbuf *mb, *mreq;
2691         struct vnode *dirp = NULL;
2692         int vpexcl = 0;
2693         nfsfh_t nfh;
2694         fhandle_t *fhp;
2695         struct mount *mp = NULL;
2696         struct vnode *vp;
2697
2698         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
2699         ndclear(&nd);
2700
2701         fhp = &nfh.fh_generic;
2702         nfsm_srvmtofh(fhp);
2703         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
2704                 error = ESTALE;
2705                 goto out;
2706         }
2707         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
2708                 mp = NULL;
2709                 goto out;
2710         }
2711         (void) vn_start_write(vp, &mp, V_WAIT);
2712         vput(vp);
2713         vp = NULL;
2714         nfsm_srvnamesiz(len);
2715         nd.ni_cnd.cn_cred = cred;
2716         nd.ni_cnd.cn_nameiop = CREATE;
2717         nd.ni_cnd.cn_flags = LOCKPARENT;
2718
2719         error = nfs_namei(&nd, fhp, len, slp, nam, &md, &dpos,
2720                 &dirp, td, FALSE);
2721         if (dirp) {
2722                 if (v3) {
2723                         dirfor_ret = VOP_GETATTR(dirp, &dirfor, cred,
2724                                 td);
2725                 } else {
2726                         vrele(dirp);
2727                         dirp = NULL;
2728                 }
2729         }
2730         if (error) {
2731                 nfsm_reply(NFSX_WCCDATA(v3));
2732                 if (v3)
2733                         nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2734                 error = 0;
2735                 goto nfsmout;
2736         }
2737         VATTR_NULL(vap);
2738         if (v3) {
2739                 nfsm_srvsattr(vap);
2740         } else {
2741                 tl = nfsm_dissect(u_int32_t *, NFSX_UNSIGNED);
2742                 vap->va_mode = nfstov_mode(*tl++);
2743         }
2744
2745         /*
2746          * At this point nd.ni_dvp is referenced and exclusively locked and
2747          * nd.ni_vp, if it exists, is referenced but not locked.
2748          */
2749
2750         vap->va_type = VDIR;
2751         if (nd.ni_vp != NULL) {
2752                 NDFREE(&nd, NDF_ONLY_PNBUF);
2753                 error = EEXIST;
2754                 goto out;
2755         }
2756
2757         /*
2758          * Issue mkdir op.  Since SAVESTART is not set, the pathname
2759          * component is freed by the VOP call.  This will fill-in
2760          * nd.ni_vp, reference, and exclusively lock it.
2761          */
2762         if (vap->va_mode == (mode_t)VNOVAL)
2763                 vap->va_mode = 0;
2764         error = VOP_MKDIR(nd.ni_dvp, &nd.ni_vp, &nd.ni_cnd, vap);
2765         NDFREE(&nd, NDF_ONLY_PNBUF);
2766         vpexcl = 1;
2767
2768         vput(nd.ni_dvp);
2769         nd.ni_dvp = NULL;
2770
2771         if (!error) {
2772                 bzero((caddr_t)fhp, sizeof(nfh));
2773                 fhp->fh_fsid = nd.ni_vp->v_mount->mnt_stat.f_fsid;
2774                 error = VFS_VPTOFH(nd.ni_vp, &fhp->fh_fid);
2775                 if (!error)
2776                         error = VOP_GETATTR(nd.ni_vp, vap, cred, td);
2777         }
2778 out:
2779         if (dirp)
2780                 diraft_ret = VOP_GETATTR(dirp, &diraft, cred, td);
2781         nfsm_reply(NFSX_SRVFH(v3) + NFSX_POSTOPATTR(v3) + NFSX_WCCDATA(v3));
2782         if (v3) {
2783                 if (!error) {
2784                         nfsm_srvpostop_fh(fhp);
2785                         nfsm_srvpostop_attr(0, vap);
2786                 }
2787                 nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2788         } else if (!error) {
2789                 /* v2 non-error case. */
2790                 nfsm_srvfhtom(fhp, v3);
2791                 fp = nfsm_build(struct nfs_fattr *, NFSX_V2FATTR);
2792                 nfsm_srvfillattr(vap, fp);
2793         }
2794         error = 0;
2795         /* fall through */
2796
2797 nfsmout:
2798         if (dirp)
2799                 vrele(dirp);
2800         if (nd.ni_dvp) {
2801                 NDFREE(&nd, NDF_ONLY_PNBUF);
2802                 if (nd.ni_dvp == nd.ni_vp && vpexcl)
2803                         vrele(nd.ni_dvp);
2804                 else
2805                         vput(nd.ni_dvp);
2806         }
2807         if (nd.ni_vp) {
2808                 if (vpexcl)
2809                         vput(nd.ni_vp);
2810                 else
2811                         vrele(nd.ni_vp);
2812         }
2813         vn_finished_write(mp);
2814         return (error);
2815 }
2816
2817 /*
2818  * nfs rmdir service
2819  */
2820 int
2821 nfsrv_rmdir(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
2822     struct thread *td, struct mbuf **mrq)
2823 {
2824         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
2825         struct sockaddr *nam = nfsd->nd_nam;
2826         caddr_t dpos = nfsd->nd_dpos;
2827         struct ucred *cred = &nfsd->nd_cr;
2828         caddr_t bpos;
2829         int error = 0, len, dirfor_ret = 1, diraft_ret = 1;
2830         int v3 = (nfsd->nd_flag & ND_NFSV3);
2831         struct mbuf *mb, *mreq;
2832         struct vnode *vp, *dirp = (struct vnode *)0;
2833         struct vattr dirfor, diraft;
2834         nfsfh_t nfh;
2835         fhandle_t *fhp;
2836         struct nameidata nd;
2837         struct mount *mp = NULL;
2838
2839         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
2840         ndclear(&nd);
2841
2842         fhp = &nfh.fh_generic;
2843         nfsm_srvmtofh(fhp);
2844         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
2845                 error = ESTALE;
2846                 goto out;
2847         }
2848         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
2849                 mp = NULL;
2850                 goto out;
2851         }
2852         (void) vn_start_write(vp, &mp, V_WAIT);
2853         vput(vp);
2854         vp = NULL;
2855         nfsm_srvnamesiz(len);
2856         nd.ni_cnd.cn_cred = cred;
2857         nd.ni_cnd.cn_nameiop = DELETE;
2858         nd.ni_cnd.cn_flags = LOCKPARENT | LOCKLEAF;
2859         error = nfs_namei(&nd, fhp, len, slp, nam, &md, &dpos,
2860                 &dirp, td, FALSE);
2861         if (dirp) {
2862                 if (v3) {
2863                         dirfor_ret = VOP_GETATTR(dirp, &dirfor, cred,
2864                                 td);
2865                 } else {
2866                         vrele(dirp);
2867                         dirp = NULL;
2868                 }
2869         }
2870         if (error) {
2871                 nfsm_reply(NFSX_WCCDATA(v3));
2872                 if (v3)
2873                         nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2874                 error = 0;
2875                 goto nfsmout;
2876         }
2877         vp = nd.ni_vp;
2878         if (vp->v_type != VDIR) {
2879                 error = ENOTDIR;
2880                 goto out;
2881         }
2882         /*
2883          * No rmdir "." please.
2884          */
2885         if (nd.ni_dvp == vp) {
2886                 error = EINVAL;
2887                 goto out;
2888         }
2889         /*
2890          * The root of a mounted filesystem cannot be deleted.
2891          */
2892         if (vp->v_flag & VROOT)
2893                 error = EBUSY;
2894 out:
2895         /*
2896          * Issue or abort op.  Since SAVESTART is not set, path name
2897          * component is freed by the VOP after either.
2898          */
2899         if (!error)
2900                 error = VOP_RMDIR(nd.ni_dvp, nd.ni_vp, &nd.ni_cnd);
2901         NDFREE(&nd, NDF_ONLY_PNBUF);
2902
2903         if (dirp)
2904                 diraft_ret = VOP_GETATTR(dirp, &diraft, cred, td);
2905         nfsm_reply(NFSX_WCCDATA(v3));
2906         if (v3) {
2907                 nfsm_srvwcc_data(dirfor_ret, &dirfor, diraft_ret, &diraft);
2908                 error = 0;
2909         }
2910         /* fall through */
2911
2912 nfsmout:
2913         NDFREE(&nd, NDF_ONLY_PNBUF);
2914         if (dirp)
2915                 vrele(dirp);
2916         if (nd.ni_dvp) {
2917                 if (nd.ni_dvp == nd.ni_vp)
2918                         vrele(nd.ni_dvp);
2919                 else
2920                         vput(nd.ni_dvp);
2921         }
2922         if (nd.ni_vp)
2923                 vput(nd.ni_vp);
2924
2925         vn_finished_write(mp);
2926         return(error);
2927 }
2928
2929 /*
2930  * nfs readdir service
2931  * - mallocs what it thinks is enough to read
2932  *      count rounded up to a multiple of NFS_DIRBLKSIZ <= NFS_MAXREADDIR
2933  * - calls VOP_READDIR()
2934  * - loops around building the reply
2935  *      if the output generated exceeds count break out of loop
2936  *      The nfsm_clget macro is used here so that the reply will be packed
2937  *      tightly in mbuf clusters.
2938  * - it only knows that it has encountered eof when the VOP_READDIR()
2939  *      reads nothing
2940  * - as such one readdir rpc will return eof false although you are there
2941  *      and then the next will return eof
2942  * - it trims out records with d_fileno == 0
2943  *      this doesn't matter for Unix clients, but they might confuse clients
2944  *      for other os'.
2945  * NB: It is tempting to set eof to true if the VOP_READDIR() reads less
2946  *      than requested, but this may not apply to all filesystems. For
2947  *      example, client NFS does not { although it is never remote mounted
2948  *      anyhow }
2949  *     The alternate call nfsrv_readdirplus() does lookups as well.
2950  * PS: The NFS protocol spec. does not clarify what the "count" byte
2951  *      argument is a count of.. just name strings and file id's or the
2952  *      entire reply rpc or ...
2953  *      I tried just file name and id sizes and it confused the Sun client,
2954  *      so I am using the full rpc size now. The "paranoia.." comment refers
2955  *      to including the status longwords that are not a part of the dir.
2956  *      "entry" structures, but are in the rpc.
2957  */
2958 struct flrep {
2959         nfsuint64       fl_off;
2960         u_int32_t       fl_postopok;
2961         u_int32_t       fl_fattr[NFSX_V3FATTR / sizeof (u_int32_t)];
2962         u_int32_t       fl_fhok;
2963         u_int32_t       fl_fhsize;
2964         u_int32_t       fl_nfh[NFSX_V3FH / sizeof (u_int32_t)];
2965 };
2966
2967 int
2968 nfsrv_readdir(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
2969     struct thread *td, struct mbuf **mrq)
2970 {
2971         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
2972         struct sockaddr *nam = nfsd->nd_nam;
2973         caddr_t dpos = nfsd->nd_dpos;
2974         struct ucred *cred = &nfsd->nd_cr;
2975         char *bp, *be;
2976         struct mbuf *mp;
2977         struct dirent *dp;
2978         caddr_t cp;
2979         u_int32_t *tl;
2980         caddr_t bpos;
2981         struct mbuf *mb, *mreq;
2982         char *cpos, *cend, *rbuf;
2983         struct vnode *vp = NULL;
2984         struct vattr at;
2985         nfsfh_t nfh;
2986         fhandle_t *fhp;
2987         struct uio io;
2988         struct iovec iv;
2989         int len, nlen, rem, xfer, tsiz, i, error = 0, getret = 1;
2990         int siz, cnt, fullsiz, eofflag, rdonly, ncookies;
2991         int v3 = (nfsd->nd_flag & ND_NFSV3);
2992         u_quad_t off, toff, verf;
2993         u_long *cookies = NULL, *cookiep; /* needs to be int64_t or off_t */
2994
2995         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
2996         fhp = &nfh.fh_generic;
2997         nfsm_srvmtofh(fhp);
2998         if (v3) {
2999                 tl = nfsm_dissect(u_int32_t *, 5 * NFSX_UNSIGNED);
3000                 toff = fxdr_hyper(tl);
3001                 tl += 2;
3002                 verf = fxdr_hyper(tl);
3003                 tl += 2;
3004         } else {
3005                 tl = nfsm_dissect(u_int32_t *, 2 * NFSX_UNSIGNED);
3006                 toff = fxdr_unsigned(u_quad_t, *tl++);
3007                 verf = 0;       /* shut up gcc */
3008         }
3009         off = toff;
3010         cnt = fxdr_unsigned(int, *tl);
3011         siz = ((cnt + DIRBLKSIZ - 1) & ~(DIRBLKSIZ - 1));
3012         xfer = NFS_SRVMAXDATA(nfsd);
3013         if (siz > xfer)
3014                 siz = xfer;
3015         fullsiz = siz;
3016         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
3017         if (!error && vp->v_type != VDIR) {
3018                 error = ENOTDIR;
3019                 vput(vp);
3020                 vp = NULL;
3021         }
3022         if (error) {
3023                 nfsm_reply(NFSX_UNSIGNED);
3024                 if (v3)
3025                         nfsm_srvpostop_attr(getret, &at);
3026                 error = 0;
3027                 goto nfsmout;
3028         }
3029
3030         /*
3031          * Obtain lock on vnode for this section of the code
3032          */
3033         if (v3) {
3034                 error = getret = VOP_GETATTR(vp, &at, cred, td);
3035 #if 0
3036                 /*
3037                  * XXX This check may be too strict for Solaris 2.5 clients.
3038                  */
3039                 if (!error && toff && verf && verf != at.va_filerev)
3040                         error = NFSERR_BAD_COOKIE;
3041 #endif
3042         }
3043         if (!error)
3044                 error = nfsrv_access(vp, VEXEC, cred, rdonly, td, 0);
3045         if (error) {
3046                 vput(vp);
3047                 vp = NULL;
3048                 nfsm_reply(NFSX_POSTOPATTR(v3));
3049                 if (v3)
3050                         nfsm_srvpostop_attr(getret, &at);
3051                 error = 0;
3052                 goto nfsmout;
3053         }
3054         VOP_UNLOCK(vp, 0, td);
3055
3056         /*
3057          * end section.  Allocate rbuf and continue
3058          */
3059         MALLOC(rbuf, caddr_t, siz, M_TEMP, M_WAITOK);
3060 again:
3061         iv.iov_base = rbuf;
3062         iv.iov_len = fullsiz;
3063         io.uio_iov = &iv;
3064         io.uio_iovcnt = 1;
3065         io.uio_offset = (off_t)off;
3066         io.uio_resid = fullsiz;
3067         io.uio_segflg = UIO_SYSSPACE;
3068         io.uio_rw = UIO_READ;
3069         io.uio_td = (struct thread *)0;
3070         eofflag = 0;
3071         vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, td);
3072         if (cookies) {
3073                 free((caddr_t)cookies, M_TEMP);
3074                 cookies = NULL;
3075         }
3076         error = VOP_READDIR(vp, &io, cred, &eofflag, &ncookies, &cookies);
3077         off = (off_t)io.uio_offset;
3078         if (!cookies && !error)
3079                 error = NFSERR_PERM;
3080         if (v3) {
3081                 getret = VOP_GETATTR(vp, &at, cred, td);
3082                 if (!error)
3083                         error = getret;
3084         }
3085         VOP_UNLOCK(vp, 0, td);
3086         if (error) {
3087                 vrele(vp);
3088                 vp = NULL;
3089                 free((caddr_t)rbuf, M_TEMP);
3090                 if (cookies)
3091                         free((caddr_t)cookies, M_TEMP);
3092                 nfsm_reply(NFSX_POSTOPATTR(v3));
3093                 if (v3)
3094                         nfsm_srvpostop_attr(getret, &at);
3095                 error = 0;
3096                 goto nfsmout;
3097         }
3098         if (io.uio_resid) {
3099                 siz -= io.uio_resid;
3100
3101                 /*
3102                  * If nothing read, return eof
3103                  * rpc reply
3104                  */
3105                 if (siz == 0) {
3106                         vrele(vp);
3107                         vp = NULL;
3108                         nfsm_reply(NFSX_POSTOPATTR(v3) + NFSX_COOKIEVERF(v3) +
3109                                 2 * NFSX_UNSIGNED);
3110                         if (v3) {
3111                                 nfsm_srvpostop_attr(getret, &at);
3112                                 tl = nfsm_build(u_int32_t *, 4 * NFSX_UNSIGNED);
3113                                 txdr_hyper(at.va_filerev, tl);
3114                                 tl += 2;
3115                         } else
3116                                 tl = nfsm_build(u_int32_t *, 2 * NFSX_UNSIGNED);
3117                         *tl++ = nfsrv_nfs_false;
3118                         *tl = nfsrv_nfs_true;
3119                         FREE((caddr_t)rbuf, M_TEMP);
3120                         FREE((caddr_t)cookies, M_TEMP);
3121                         error = 0;
3122                         goto nfsmout;
3123                 }
3124         }
3125
3126         /*
3127          * Check for degenerate cases of nothing useful read.
3128          * If so go try again
3129          */
3130         cpos = rbuf;
3131         cend = rbuf + siz;
3132         dp = (struct dirent *)cpos;
3133         cookiep = cookies;
3134         /*
3135          * For some reason FreeBSD's ufs_readdir() chooses to back the
3136          * directory offset up to a block boundary, so it is necessary to
3137          * skip over the records that precede the requested offset. This
3138          * requires the assumption that file offset cookies monotonically
3139          * increase.
3140          */
3141         while (cpos < cend && ncookies > 0 &&
3142                 (dp->d_fileno == 0 || dp->d_type == DT_WHT ||
3143                  ((u_quad_t)(*cookiep)) <= toff)) {
3144                 cpos += dp->d_reclen;
3145                 dp = (struct dirent *)cpos;
3146                 cookiep++;
3147                 ncookies--;
3148         }
3149         if (cpos >= cend || ncookies == 0) {
3150                 toff = off;
3151                 siz = fullsiz;
3152                 goto again;
3153         }
3154
3155         len = 3 * NFSX_UNSIGNED;        /* paranoia, probably can be 0 */
3156         nfsm_reply(NFSX_POSTOPATTR(v3) + NFSX_COOKIEVERF(v3) + siz);
3157         if (v3) {
3158                 nfsm_srvpostop_attr(getret, &at);
3159                 tl = nfsm_build(u_int32_t *, 2 * NFSX_UNSIGNED);
3160                 txdr_hyper(at.va_filerev, tl);
3161         }
3162         mp = mb;
3163         bp = bpos;
3164         be = bp + M_TRAILINGSPACE(mp);
3165
3166         /* Loop through the records and build reply */
3167         while (cpos < cend && ncookies > 0) {
3168                 if (dp->d_fileno != 0 && dp->d_type != DT_WHT) {
3169                         nlen = dp->d_namlen;
3170                         rem = nfsm_rndup(nlen) - nlen;
3171                         len += (4 * NFSX_UNSIGNED + nlen + rem);
3172                         if (v3)
3173                                 len += 2 * NFSX_UNSIGNED;
3174                         if (len > cnt) {
3175                                 eofflag = 0;
3176                                 break;
3177                         }
3178                         /*
3179                          * Build the directory record xdr from
3180                          * the dirent entry.
3181                          */
3182                         nfsm_clget;
3183                         *tl = nfsrv_nfs_true;
3184                         bp += NFSX_UNSIGNED;
3185                         if (v3) {
3186                                 nfsm_clget;
3187                                 *tl = 0;
3188                                 bp += NFSX_UNSIGNED;
3189                         }
3190                         nfsm_clget;
3191                         *tl = txdr_unsigned(dp->d_fileno);
3192                         bp += NFSX_UNSIGNED;
3193                         nfsm_clget;
3194                         *tl = txdr_unsigned(nlen);
3195                         bp += NFSX_UNSIGNED;
3196
3197                         /* And loop around copying the name */
3198                         xfer = nlen;
3199                         cp = dp->d_name;
3200                         while (xfer > 0) {
3201                                 nfsm_clget;
3202                                 if ((bp+xfer) > be)
3203                                         tsiz = be-bp;
3204                                 else
3205                                         tsiz = xfer;
3206                                 bcopy(cp, bp, tsiz);
3207                                 bp += tsiz;
3208                                 xfer -= tsiz;
3209                                 if (xfer > 0)
3210                                         cp += tsiz;
3211                         }
3212                         /* And null pad to a int32_t boundary */
3213                         for (i = 0; i < rem; i++)
3214                                 *bp++ = '\0';
3215                         nfsm_clget;
3216
3217                         /* Finish off the record */
3218                         if (v3) {
3219                                 *tl = 0;
3220                                 bp += NFSX_UNSIGNED;
3221                                 nfsm_clget;
3222                         }
3223                         *tl = txdr_unsigned(*cookiep);
3224                         bp += NFSX_UNSIGNED;
3225                 }
3226                 cpos += dp->d_reclen;
3227                 dp = (struct dirent *)cpos;
3228                 cookiep++;
3229                 ncookies--;
3230         }
3231         vrele(vp);
3232         vp = NULL;
3233         nfsm_clget;
3234         *tl = nfsrv_nfs_false;
3235         bp += NFSX_UNSIGNED;
3236         nfsm_clget;
3237         if (eofflag)
3238                 *tl = nfsrv_nfs_true;
3239         else
3240                 *tl = nfsrv_nfs_false;
3241         bp += NFSX_UNSIGNED;
3242         if (mp != mb) {
3243                 if (bp < be)
3244                         mp->m_len = bp - mtod(mp, caddr_t);
3245         } else
3246                 mp->m_len += bp - bpos;
3247         FREE((caddr_t)rbuf, M_TEMP);
3248         FREE((caddr_t)cookies, M_TEMP);
3249
3250 nfsmout:
3251         if (vp)
3252                 vrele(vp);
3253         return(error);
3254 }
3255
3256 int
3257 nfsrv_readdirplus(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
3258     struct thread *td, struct mbuf **mrq)
3259 {
3260         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
3261         struct sockaddr *nam = nfsd->nd_nam;
3262         caddr_t dpos = nfsd->nd_dpos;
3263         struct ucred *cred = &nfsd->nd_cr;
3264         char *bp, *be;
3265         struct mbuf *mp;
3266         struct dirent *dp;
3267         caddr_t cp;
3268         u_int32_t *tl;
3269         caddr_t bpos;
3270         struct mbuf *mb, *mreq;
3271         char *cpos, *cend, *rbuf;
3272         struct vnode *vp = NULL, *nvp;
3273         struct flrep fl;
3274         nfsfh_t nfh;
3275         fhandle_t *fhp, *nfhp = (fhandle_t *)fl.fl_nfh;
3276         struct uio io;
3277         struct iovec iv;
3278         struct vattr va, at, *vap = &va;
3279         struct nfs_fattr *fp;
3280         int len, nlen, rem, xfer, tsiz, i, error = 0, getret = 1;
3281         int siz, cnt, fullsiz, eofflag, rdonly, dirlen, ncookies;
3282         u_quad_t off, toff, verf;
3283         u_long *cookies = NULL, *cookiep; /* needs to be int64_t or off_t */
3284         int v3 = (nfsd->nd_flag & ND_NFSV3);
3285
3286         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
3287         if (!v3)
3288                 panic("nfsrv_readdirplus: v3 proc called on a v2 connection");
3289         fhp = &nfh.fh_generic;
3290         nfsm_srvmtofh(fhp);
3291         tl = nfsm_dissect(u_int32_t *, 6 * NFSX_UNSIGNED);
3292         toff = fxdr_hyper(tl);
3293         tl += 2;
3294         verf = fxdr_hyper(tl);
3295         tl += 2;
3296         siz = fxdr_unsigned(int, *tl++);
3297         cnt = fxdr_unsigned(int, *tl);
3298         off = toff;
3299         siz = ((siz + DIRBLKSIZ - 1) & ~(DIRBLKSIZ - 1));
3300         xfer = NFS_SRVMAXDATA(nfsd);
3301         if (siz > xfer)
3302                 siz = xfer;
3303         fullsiz = siz;
3304         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
3305         if (!error && vp->v_type != VDIR) {
3306                 error = ENOTDIR;
3307                 vput(vp);
3308                 vp = NULL;
3309         }
3310         if (error) {
3311                 nfsm_reply(NFSX_UNSIGNED);
3312                 nfsm_srvpostop_attr(getret, &at);
3313                 error = 0;
3314                 goto nfsmout;
3315         }
3316         error = getret = VOP_GETATTR(vp, &at, cred, td);
3317 #if 0
3318         /*
3319          * XXX This check may be too strict for Solaris 2.5 clients.
3320          */
3321         if (!error && toff && verf && verf != at.va_filerev)
3322                 error = NFSERR_BAD_COOKIE;
3323 #endif
3324         if (!error)
3325                 error = nfsrv_access(vp, VEXEC, cred, rdonly, td, 0);
3326         if (error) {
3327                 vput(vp);
3328                 vp = NULL;
3329                 nfsm_reply(NFSX_V3POSTOPATTR);
3330                 nfsm_srvpostop_attr(getret, &at);
3331                 error = 0;
3332                 goto nfsmout;
3333         }
3334         VOP_UNLOCK(vp, 0, td);
3335         MALLOC(rbuf, caddr_t, siz, M_TEMP, M_WAITOK);
3336 again:
3337         iv.iov_base = rbuf;
3338         iv.iov_len = fullsiz;
3339         io.uio_iov = &iv;
3340         io.uio_iovcnt = 1;
3341         io.uio_offset = (off_t)off;
3342         io.uio_resid = fullsiz;
3343         io.uio_segflg = UIO_SYSSPACE;
3344         io.uio_rw = UIO_READ;
3345         io.uio_td = (struct thread *)0;
3346         eofflag = 0;
3347         vn_lock(vp, LK_EXCLUSIVE | LK_RETRY, td);
3348         if (cookies) {
3349                 free((caddr_t)cookies, M_TEMP);
3350                 cookies = NULL;
3351         }
3352         error = VOP_READDIR(vp, &io, cred, &eofflag, &ncookies, &cookies);
3353         off = (u_quad_t)io.uio_offset;
3354         getret = VOP_GETATTR(vp, &at, cred, td);
3355         VOP_UNLOCK(vp, 0, td);
3356         if (!cookies && !error)
3357                 error = NFSERR_PERM;
3358         if (!error)
3359                 error = getret;
3360         if (error) {
3361                 vrele(vp);
3362                 vp = NULL;
3363                 if (cookies)
3364                         free((caddr_t)cookies, M_TEMP);
3365                 free((caddr_t)rbuf, M_TEMP);
3366                 nfsm_reply(NFSX_V3POSTOPATTR);
3367                 nfsm_srvpostop_attr(getret, &at);
3368                 error = 0;
3369                 goto nfsmout;
3370         }
3371         if (io.uio_resid) {
3372                 siz -= io.uio_resid;
3373
3374                 /*
3375                  * If nothing read, return eof
3376                  * rpc reply
3377                  */
3378                 if (siz == 0) {
3379                         vrele(vp);
3380                         vp = NULL;
3381                         nfsm_reply(NFSX_V3POSTOPATTR + NFSX_V3COOKIEVERF +
3382                                 2 * NFSX_UNSIGNED);
3383                         nfsm_srvpostop_attr(getret, &at);
3384                         tl = nfsm_build(u_int32_t *, 4 * NFSX_UNSIGNED);
3385                         txdr_hyper(at.va_filerev, tl);
3386                         tl += 2;
3387                         *tl++ = nfsrv_nfs_false;
3388                         *tl = nfsrv_nfs_true;
3389                         FREE((caddr_t)cookies, M_TEMP);
3390                         FREE((caddr_t)rbuf, M_TEMP);
3391                         error = 0;
3392                         goto nfsmout;
3393                 }
3394         }
3395
3396         /*
3397          * Check for degenerate cases of nothing useful read.
3398          * If so go try again
3399          */
3400         cpos = rbuf;
3401         cend = rbuf + siz;
3402         dp = (struct dirent *)cpos;
3403         cookiep = cookies;
3404         /*
3405          * For some reason FreeBSD's ufs_readdir() chooses to back the
3406          * directory offset up to a block boundary, so it is necessary to
3407          * skip over the records that precede the requested offset. This
3408          * requires the assumption that file offset cookies monotonically
3409          * increase.
3410          */
3411         while (cpos < cend && ncookies > 0 &&
3412                 (dp->d_fileno == 0 || dp->d_type == DT_WHT ||
3413                  ((u_quad_t)(*cookiep)) <= toff)) {
3414                 cpos += dp->d_reclen;
3415                 dp = (struct dirent *)cpos;
3416                 cookiep++;
3417                 ncookies--;
3418         }
3419         if (cpos >= cend || ncookies == 0) {
3420                 toff = off;
3421                 siz = fullsiz;
3422                 goto again;
3423         }
3424
3425         /*
3426          * Probe one of the directory entries to see if the filesystem
3427          * supports VGET.
3428          */
3429         if (VFS_VGET(vp->v_mount, dp->d_fileno, &nvp) == EOPNOTSUPP) {
3430                 error = NFSERR_NOTSUPP;
3431                 vrele(vp);
3432                 vp = NULL;
3433                 free((caddr_t)cookies, M_TEMP);
3434                 free((caddr_t)rbuf, M_TEMP);
3435                 nfsm_reply(NFSX_V3POSTOPATTR);
3436                 nfsm_srvpostop_attr(getret, &at);
3437                 error = 0;
3438                 goto nfsmout;
3439         }
3440         vput(nvp);
3441         nvp = NULL;
3442
3443         dirlen = len = NFSX_V3POSTOPATTR + NFSX_V3COOKIEVERF +
3444             2 * NFSX_UNSIGNED;
3445         nfsm_reply(cnt);
3446         nfsm_srvpostop_attr(getret, &at);
3447         tl = nfsm_build(u_int32_t *, 2 * NFSX_UNSIGNED);
3448         txdr_hyper(at.va_filerev, tl);
3449         mp = mb;
3450         bp = bpos;
3451         be = bp + M_TRAILINGSPACE(mp);
3452
3453         /* Loop through the records and build reply */
3454         while (cpos < cend && ncookies > 0) {
3455                 if (dp->d_fileno != 0 && dp->d_type != DT_WHT) {
3456                         nlen = dp->d_namlen;
3457                         rem = nfsm_rndup(nlen)-nlen;
3458
3459                         /*
3460                          * For readdir_and_lookup get the vnode using
3461                          * the file number.
3462                          */
3463                         if (VFS_VGET(vp->v_mount, dp->d_fileno, &nvp))
3464                                 goto invalid;
3465                         bzero((caddr_t)nfhp, NFSX_V3FH);
3466                         nfhp->fh_fsid =
3467                                 nvp->v_mount->mnt_stat.f_fsid;
3468                         if (VFS_VPTOFH(nvp, &nfhp->fh_fid)) {
3469                                 vput(nvp);
3470                                 nvp = NULL;
3471                                 goto invalid;
3472                         }
3473                         if (VOP_GETATTR(nvp, vap, cred, td)) {
3474                                 vput(nvp);
3475                                 nvp = NULL;
3476                                 goto invalid;
3477                         }
3478                         vput(nvp);
3479                         nvp = NULL;
3480
3481                         /*
3482                          * If either the dircount or maxcount will be
3483                          * exceeded, get out now. Both of these lengths
3484                          * are calculated conservatively, including all
3485                          * XDR overheads.
3486                          */
3487                         len += (8 * NFSX_UNSIGNED + nlen + rem + NFSX_V3FH +
3488                                 NFSX_V3POSTOPATTR);
3489                         dirlen += (6 * NFSX_UNSIGNED + nlen + rem);
3490                         if (len > cnt || dirlen > fullsiz) {
3491                                 eofflag = 0;
3492                                 break;
3493                         }
3494
3495                         /*
3496                          * Build the directory record xdr from
3497                          * the dirent entry.
3498                          */
3499                         fp = (struct nfs_fattr *)&fl.fl_fattr;
3500                         nfsm_srvfillattr(vap, fp);
3501                         fl.fl_fhsize = txdr_unsigned(NFSX_V3FH);
3502                         fl.fl_fhok = nfsrv_nfs_true;
3503                         fl.fl_postopok = nfsrv_nfs_true;
3504                         fl.fl_off.nfsuquad[0] = 0;
3505                         fl.fl_off.nfsuquad[1] = txdr_unsigned(*cookiep);
3506
3507                         nfsm_clget;
3508                         *tl = nfsrv_nfs_true;
3509                         bp += NFSX_UNSIGNED;
3510                         nfsm_clget;
3511                         *tl = 0;
3512                         bp += NFSX_UNSIGNED;
3513                         nfsm_clget;
3514                         *tl = txdr_unsigned(dp->d_fileno);
3515                         bp += NFSX_UNSIGNED;
3516                         nfsm_clget;
3517                         *tl = txdr_unsigned(nlen);
3518                         bp += NFSX_UNSIGNED;
3519
3520                         /* And loop around copying the name */
3521                         xfer = nlen;
3522                         cp = dp->d_name;
3523                         while (xfer > 0) {
3524                                 nfsm_clget;
3525                                 if ((bp + xfer) > be)
3526                                         tsiz = be - bp;
3527                                 else
3528                                         tsiz = xfer;
3529                                 bcopy(cp, bp, tsiz);
3530                                 bp += tsiz;
3531                                 xfer -= tsiz;
3532                                 if (xfer > 0)
3533                                         cp += tsiz;
3534                         }
3535                         /* And null pad to a int32_t boundary */
3536                         for (i = 0; i < rem; i++)
3537                                 *bp++ = '\0';
3538
3539                         /*
3540                          * Now copy the flrep structure out.
3541                          */
3542                         xfer = sizeof (struct flrep);
3543                         cp = (caddr_t)&fl;
3544                         while (xfer > 0) {
3545                                 nfsm_clget;
3546                                 if ((bp + xfer) > be)
3547                                         tsiz = be - bp;
3548                                 else
3549                                         tsiz = xfer;
3550                                 bcopy(cp, bp, tsiz);
3551                                 bp += tsiz;
3552                                 xfer -= tsiz;
3553                                 if (xfer > 0)
3554                                         cp += tsiz;
3555                         }
3556                 }
3557 invalid:
3558                 cpos += dp->d_reclen;
3559                 dp = (struct dirent *)cpos;
3560                 cookiep++;
3561                 ncookies--;
3562         }
3563         vrele(vp);
3564         vp = NULL;
3565         nfsm_clget;
3566         *tl = nfsrv_nfs_false;
3567         bp += NFSX_UNSIGNED;
3568         nfsm_clget;
3569         if (eofflag)
3570                 *tl = nfsrv_nfs_true;
3571         else
3572                 *tl = nfsrv_nfs_false;
3573         bp += NFSX_UNSIGNED;
3574         if (mp != mb) {
3575                 if (bp < be)
3576                         mp->m_len = bp - mtod(mp, caddr_t);
3577         } else
3578                 mp->m_len += bp - bpos;
3579         FREE((caddr_t)cookies, M_TEMP);
3580         FREE((caddr_t)rbuf, M_TEMP);
3581 nfsmout:
3582         if (vp)
3583                 vrele(vp);
3584         return(error);
3585 }
3586
3587 /*
3588  * nfs commit service
3589  */
3590 int
3591 nfsrv_commit(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
3592     struct thread *td, struct mbuf **mrq)
3593 {
3594         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
3595         struct sockaddr *nam = nfsd->nd_nam;
3596         caddr_t dpos = nfsd->nd_dpos;
3597         struct ucred *cred = &nfsd->nd_cr;
3598         struct vattr bfor, aft;
3599         struct vnode *vp = NULL;
3600         nfsfh_t nfh;
3601         fhandle_t *fhp;
3602         u_int32_t *tl;
3603         caddr_t bpos;
3604         int error = 0, rdonly, for_ret = 1, aft_ret = 1, cnt;
3605         struct mbuf *mb, *mreq;
3606         u_quad_t off;
3607         struct mount *mp = NULL;
3608         int v3 = (nfsd->nd_flag & ND_NFSV3);
3609
3610         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
3611         if (!v3)
3612                 panic("nfsrv_commit: v3 proc called on a v2 connection");
3613         fhp = &nfh.fh_generic;
3614         nfsm_srvmtofh(fhp);
3615         if ((mp = vfs_getvfs(&fhp->fh_fsid)) == NULL) {
3616                 error = ESTALE;
3617                 goto ereply;
3618         }
3619         if ((error = VFS_FHTOVP(mp, &fhp->fh_fid, &vp)) != 0) {
3620                 mp = NULL;
3621                 goto ereply;
3622         }
3623         (void) vn_start_write(vp, &mp, V_WAIT);
3624         vput(vp);
3625         vp = NULL;
3626         tl = nfsm_dissect(u_int32_t *, 3 * NFSX_UNSIGNED);
3627
3628         /*
3629          * XXX At this time VOP_FSYNC() does not accept offset and byte
3630          * count parameters, so these arguments are useless (someday maybe).
3631          */
3632         off = fxdr_hyper(tl);
3633         tl += 2;
3634         cnt = fxdr_unsigned(int, *tl);
3635         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
3636         if (error) {
3637                 nfsm_reply(2 * NFSX_UNSIGNED);
3638                 nfsm_srvwcc_data(for_ret, &bfor, aft_ret, &aft);
3639                 error = 0;
3640                 goto nfsmout;
3641         }
3642         for_ret = VOP_GETATTR(vp, &bfor, cred, td);
3643
3644         if (cnt > MAX_COMMIT_COUNT) {
3645                 /*
3646                  * Give up and do the whole thing
3647                  */
3648                 if (vp->v_object &&
3649                    (vp->v_object->flags & OBJ_MIGHTBEDIRTY)) {
3650                         vm_object_page_clean(vp->v_object, 0, 0, OBJPC_SYNC);
3651                 }
3652                 error = VOP_FSYNC(vp, cred, MNT_WAIT, td);
3653         } else {
3654                 /*
3655                  * Locate and synchronously write any buffers that fall
3656                  * into the requested range.  Note:  we are assuming that
3657                  * f_iosize is a power of 2.
3658                  */
3659                 int iosize = vp->v_mount->mnt_stat.f_iosize;
3660                 int iomask = iosize - 1;
3661                 int s;
3662                 daddr_t lblkno;
3663
3664                 /*
3665                  * Align to iosize boundry, super-align to page boundry.
3666                  */
3667                 if (off & iomask) {
3668                         cnt += off & iomask;
3669                         off &= ~(u_quad_t)iomask;
3670                 }
3671                 if (off & PAGE_MASK) {
3672                         cnt += off & PAGE_MASK;
3673                         off &= ~(u_quad_t)PAGE_MASK;
3674                 }
3675                 lblkno = off / iosize;
3676
3677                 if (vp->v_object &&
3678                    (vp->v_object->flags & OBJ_MIGHTBEDIRTY)) {
3679                         vm_object_page_clean(vp->v_object, off / PAGE_SIZE, (cnt + PAGE_MASK) / PAGE_SIZE, OBJPC_SYNC);
3680                 }
3681
3682                 s = splbio();
3683                 while (cnt > 0) {
3684                         struct buf *bp;
3685
3686                         /*
3687                          * If we have a buffer and it is marked B_DELWRI we
3688                          * have to lock and write it.  Otherwise the prior
3689                          * write is assumed to have already been committed.
3690                          */
3691                         if ((bp = gbincore(vp, lblkno)) != NULL && (bp->b_flags & B_DELWRI)) {
3692                                 if (BUF_LOCK(bp, LK_EXCLUSIVE | LK_NOWAIT)) {
3693                                         BUF_LOCK(bp, LK_EXCLUSIVE | LK_SLEEPFAIL);
3694                                         continue; /* retry */
3695                                 }
3696                                 bremfree(bp);
3697                                 bp->b_flags &= ~B_ASYNC;
3698                                 BUF_WRITE(bp);
3699                                 ++nfs_commit_miss;
3700                         }
3701                         ++nfs_commit_blks;
3702                         if (cnt < iosize)
3703                                 break;
3704                         cnt -= iosize;
3705                         ++lblkno;
3706                 }
3707                 splx(s);
3708         }
3709
3710         aft_ret = VOP_GETATTR(vp, &aft, cred, td);
3711         vput(vp);
3712         vp = NULL;
3713 ereply:
3714         nfsm_reply(NFSX_V3WCCDATA + NFSX_V3WRITEVERF);
3715         nfsm_srvwcc_data(for_ret, &bfor, aft_ret, &aft);
3716         if (!error) {
3717                 tl = nfsm_build(u_int32_t *, NFSX_V3WRITEVERF);
3718                 if (nfsver.tv_sec == 0)
3719                         nfsver = boottime;
3720                 *tl++ = txdr_unsigned(nfsver.tv_sec);
3721                 *tl = txdr_unsigned(nfsver.tv_usec);
3722         } else {
3723                 error = 0;
3724         }
3725 nfsmout:
3726         if (vp)
3727                 vput(vp);
3728         vn_finished_write(mp);
3729         return(error);
3730 }
3731
3732 /*
3733  * nfs statfs service
3734  */
3735 int
3736 nfsrv_statfs(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
3737     struct thread *td, struct mbuf **mrq)
3738 {
3739         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
3740         struct sockaddr *nam = nfsd->nd_nam;
3741         caddr_t dpos = nfsd->nd_dpos;
3742         struct ucred *cred = &nfsd->nd_cr;
3743         struct statfs *sf;
3744         struct nfs_statfs *sfp;
3745         caddr_t bpos;
3746         int error = 0, rdonly, getret = 1;
3747         int v3 = (nfsd->nd_flag & ND_NFSV3);
3748         struct mbuf *mb, *mreq;
3749         struct vnode *vp = NULL;
3750         struct vattr at;
3751         nfsfh_t nfh;
3752         fhandle_t *fhp;
3753         struct statfs statfs;
3754         u_quad_t tval;
3755
3756         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
3757         fhp = &nfh.fh_generic;
3758         nfsm_srvmtofh(fhp);
3759         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
3760         if (error) {
3761                 nfsm_reply(NFSX_UNSIGNED);
3762                 if (v3)
3763                         nfsm_srvpostop_attr(getret, &at);
3764                 error = 0;
3765                 goto nfsmout;
3766         }
3767         sf = &statfs;
3768         error = VFS_STATFS(vp->v_mount, sf, td);
3769         getret = VOP_GETATTR(vp, &at, cred, td);
3770         vput(vp);
3771         vp = NULL;
3772         nfsm_reply(NFSX_POSTOPATTR(v3) + NFSX_STATFS(v3));
3773         if (v3)
3774                 nfsm_srvpostop_attr(getret, &at);
3775         if (error) {
3776                 error = 0;
3777                 goto nfsmout;
3778         }
3779         sfp = nfsm_build(struct nfs_statfs *, NFSX_STATFS(v3));
3780         if (v3) {
3781                 tval = (u_quad_t)sf->f_blocks;
3782                 tval *= (u_quad_t)sf->f_bsize;
3783                 txdr_hyper(tval, &sfp->sf_tbytes);
3784                 tval = (u_quad_t)sf->f_bfree;
3785                 tval *= (u_quad_t)sf->f_bsize;
3786                 txdr_hyper(tval, &sfp->sf_fbytes);
3787                 tval = (u_quad_t)sf->f_bavail;
3788                 tval *= (u_quad_t)sf->f_bsize;
3789                 txdr_hyper(tval, &sfp->sf_abytes);
3790                 sfp->sf_tfiles.nfsuquad[0] = 0;
3791                 sfp->sf_tfiles.nfsuquad[1] = txdr_unsigned(sf->f_files);
3792                 sfp->sf_ffiles.nfsuquad[0] = 0;
3793                 sfp->sf_ffiles.nfsuquad[1] = txdr_unsigned(sf->f_ffree);
3794                 sfp->sf_afiles.nfsuquad[0] = 0;
3795                 sfp->sf_afiles.nfsuquad[1] = txdr_unsigned(sf->f_ffree);
3796                 sfp->sf_invarsec = 0;
3797         } else {
3798                 sfp->sf_tsize = txdr_unsigned(NFS_MAXDGRAMDATA);
3799                 sfp->sf_bsize = txdr_unsigned(sf->f_bsize);
3800                 sfp->sf_blocks = txdr_unsigned(sf->f_blocks);
3801                 sfp->sf_bfree = txdr_unsigned(sf->f_bfree);
3802                 sfp->sf_bavail = txdr_unsigned(sf->f_bavail);
3803         }
3804 nfsmout:
3805         if (vp)
3806                 vput(vp);
3807         return(error);
3808 }
3809
3810 /*
3811  * nfs fsinfo service
3812  */
3813 int
3814 nfsrv_fsinfo(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
3815     struct thread *td, struct mbuf **mrq)
3816 {
3817         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
3818         struct sockaddr *nam = nfsd->nd_nam;
3819         caddr_t dpos = nfsd->nd_dpos;
3820         struct ucred *cred = &nfsd->nd_cr;
3821         struct nfsv3_fsinfo *sip;
3822         caddr_t bpos;
3823         int error = 0, rdonly, getret = 1, pref;
3824         struct mbuf *mb, *mreq;
3825         struct vnode *vp = NULL;
3826         struct vattr at;
3827         nfsfh_t nfh;
3828         fhandle_t *fhp;
3829         u_quad_t maxfsize;
3830         struct statfs sb;
3831         int v3 = (nfsd->nd_flag & ND_NFSV3);
3832
3833         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
3834         if (!v3)
3835                 panic("nfsrv_fsinfo: v3 proc called on a v2 connection");
3836         fhp = &nfh.fh_generic;
3837         nfsm_srvmtofh(fhp);
3838         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
3839         if (error) {
3840                 nfsm_reply(NFSX_UNSIGNED);
3841                 nfsm_srvpostop_attr(getret, &at);
3842                 error = 0;
3843                 goto nfsmout;
3844         }
3845
3846         /* XXX Try to make a guess on the max file size. */
3847         VFS_STATFS(vp->v_mount, &sb, td);
3848         maxfsize = (u_quad_t)0x80000000 * sb.f_bsize - 1;
3849
3850         getret = VOP_GETATTR(vp, &at, cred, td);
3851         vput(vp);
3852         vp = NULL;
3853         nfsm_reply(NFSX_V3POSTOPATTR + NFSX_V3FSINFO);
3854         nfsm_srvpostop_attr(getret, &at);
3855         sip = nfsm_build(struct nfsv3_fsinfo *, NFSX_V3FSINFO);
3856
3857         /*
3858          * XXX
3859          * There should be file system VFS OP(s) to get this information.
3860          * For now, assume ufs.
3861          */
3862         if (slp->ns_so->so_type == SOCK_DGRAM)
3863                 pref = NFS_MAXDGRAMDATA;
3864         else
3865                 pref = NFS_MAXDATA;
3866         sip->fs_rtmax = txdr_unsigned(NFS_MAXDATA);
3867         sip->fs_rtpref = txdr_unsigned(pref);
3868         sip->fs_rtmult = txdr_unsigned(NFS_FABLKSIZE);
3869         sip->fs_wtmax = txdr_unsigned(NFS_MAXDATA);
3870         sip->fs_wtpref = txdr_unsigned(pref);
3871         sip->fs_wtmult = txdr_unsigned(NFS_FABLKSIZE);
3872         sip->fs_dtpref = txdr_unsigned(pref);
3873         txdr_hyper(maxfsize, &sip->fs_maxfilesize);
3874         sip->fs_timedelta.nfsv3_sec = 0;
3875         sip->fs_timedelta.nfsv3_nsec = txdr_unsigned(1);
3876         sip->fs_properties = txdr_unsigned(NFSV3FSINFO_LINK |
3877                 NFSV3FSINFO_SYMLINK | NFSV3FSINFO_HOMOGENEOUS |
3878                 NFSV3FSINFO_CANSETTIME);
3879 nfsmout:
3880         if (vp)
3881                 vput(vp);
3882         return(error);
3883 }
3884
3885 /*
3886  * nfs pathconf service
3887  */
3888 int
3889 nfsrv_pathconf(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
3890     struct thread *td, struct mbuf **mrq)
3891 {
3892         struct mbuf *mrep = nfsd->nd_mrep, *md = nfsd->nd_md;
3893         struct sockaddr *nam = nfsd->nd_nam;
3894         caddr_t dpos = nfsd->nd_dpos;
3895         struct ucred *cred = &nfsd->nd_cr;
3896         struct nfsv3_pathconf *pc;
3897         caddr_t bpos;
3898         int error = 0, rdonly, getret = 1;
3899         register_t linkmax, namemax, chownres, notrunc;
3900         struct mbuf *mb, *mreq;
3901         struct vnode *vp = NULL;
3902         struct vattr at;
3903         nfsfh_t nfh;
3904         fhandle_t *fhp;
3905         int v3 = (nfsd->nd_flag & ND_NFSV3);
3906
3907         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
3908         if (!v3)
3909                 panic("nfsrv_pathconf: v3 proc called on a v2 connection");
3910         fhp = &nfh.fh_generic;
3911         nfsm_srvmtofh(fhp);
3912         error = nfsrv_fhtovp(fhp, 1, &vp, cred, slp, nam, &rdonly, TRUE);
3913         if (error) {
3914                 nfsm_reply(NFSX_UNSIGNED);
3915                 nfsm_srvpostop_attr(getret, &at);
3916                 error = 0;
3917                 goto nfsmout;
3918         }
3919         error = VOP_PATHCONF(vp, _PC_LINK_MAX, &linkmax);
3920         if (!error)
3921                 error = VOP_PATHCONF(vp, _PC_NAME_MAX, &namemax);
3922         if (!error)
3923                 error = VOP_PATHCONF(vp, _PC_CHOWN_RESTRICTED, &chownres);
3924         if (!error)
3925                 error = VOP_PATHCONF(vp, _PC_NO_TRUNC, &notrunc);
3926         getret = VOP_GETATTR(vp, &at, cred, td);
3927         vput(vp);
3928         vp = NULL;
3929         nfsm_reply(NFSX_V3POSTOPATTR + NFSX_V3PATHCONF);
3930         nfsm_srvpostop_attr(getret, &at);
3931         if (error) {
3932                 error = 0;
3933                 goto nfsmout;
3934         }
3935         pc = nfsm_build(struct nfsv3_pathconf *, NFSX_V3PATHCONF);
3936
3937         pc->pc_linkmax = txdr_unsigned(linkmax);
3938         pc->pc_namemax = txdr_unsigned(namemax);
3939         pc->pc_notrunc = txdr_unsigned(notrunc);
3940         pc->pc_chownrestricted = txdr_unsigned(chownres);
3941
3942         /*
3943          * These should probably be supported by VOP_PATHCONF(), but
3944          * until msdosfs is exportable (why would you want to?), the
3945          * Unix defaults should be ok.
3946          */
3947         pc->pc_caseinsensitive = nfsrv_nfs_false;
3948         pc->pc_casepreserving = nfsrv_nfs_true;
3949 nfsmout:
3950         if (vp)
3951                 vput(vp);
3952         return(error);
3953 }
3954
3955 /*
3956  * Null operation, used by clients to ping server
3957  */
3958 /* ARGSUSED */
3959 int
3960 nfsrv_null(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
3961     struct thread *td, struct mbuf **mrq)
3962 {
3963         struct mbuf *mrep = nfsd->nd_mrep;
3964         caddr_t bpos;
3965         int error = NFSERR_RETVOID;
3966         struct mbuf *mb, *mreq;
3967
3968         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
3969         nfsm_reply(0);
3970 nfsmout:
3971         return (error);
3972 }
3973
3974 /*
3975  * No operation, used for obsolete procedures
3976  */
3977 /* ARGSUSED */
3978 int
3979 nfsrv_noop(struct nfsrv_descript *nfsd, struct nfssvc_sock *slp,
3980     struct thread *td, struct mbuf **mrq)
3981 {
3982         struct mbuf *mrep = nfsd->nd_mrep;
3983         caddr_t bpos;
3984         int error;
3985         struct mbuf *mb, *mreq;
3986
3987         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
3988         if (nfsd->nd_repstat)
3989                 error = nfsd->nd_repstat;
3990         else
3991                 error = EPROCUNAVAIL;
3992         nfsm_reply(0);
3993         error = 0;
3994 nfsmout:
3995         return (error);
3996 }
3997
3998 /*
3999  * Perform access checking for vnodes obtained from file handles that would
4000  * refer to files already opened by a Unix client. You cannot just use
4001  * vn_writechk() and VOP_ACCESS() for two reasons.
4002  * 1 - You must check for exported rdonly as well as MNT_RDONLY for the write case
4003  * 2 - The owner is to be given access irrespective of mode bits for some
4004  *     operations, so that processes that chmod after opening a file don't
4005  *     break. I don't like this because it opens a security hole, but since
4006  *     the nfs server opens a security hole the size of a barn door anyhow,
4007  *     what the heck.
4008  *
4009  * The exception to rule 2 is EPERM. If a file is IMMUTABLE, VOP_ACCESS()
4010  * will return EPERM instead of EACCESS. EPERM is always an error.
4011  */
4012 static int
4013 nfsrv_access(struct vnode *vp, int flags, struct ucred *cred, int rdonly,
4014     struct thread *td, int override)
4015 {
4016         struct vattr vattr;
4017         int error;
4018
4019         nfsdbprintf(("%s %d\n", __FILE__, __LINE__));
4020         if (flags & VWRITE) {
4021                 /* Just vn_writechk() changed to check rdonly */
4022                 /*
4023                  * Disallow write attempts on read-only file systems;
4024                  * unless the file is a socket or a block or character
4025                  * device resident on the file system.
4026                  */
4027                 if (rdonly || (vp->v_mount->mnt_flag & MNT_RDONLY)) {
4028                         switch (vp->v_type) {
4029                         case VREG:
4030                         case VDIR:
4031                         case VLNK:
4032                                 return (EROFS);
4033                         default:
4034                                 break;
4035                         }
4036                 }
4037                 /*
4038                  * If there's shared text associated with
4039                  * the inode, we can't allow writing.
4040                  */
4041                 if (vp->v_flag & VTEXT)
4042                         return (ETXTBSY);
4043         }
4044         error = VOP_GETATTR(vp, &vattr, cred, td);
4045         if (error)
4046                 return (error);
4047         error = VOP_ACCESS(vp, flags, cred, td);
4048         /*
4049          * Allow certain operations for the owner (reads and writes
4050          * on files that are already open).
4051          */
4052         if (override && error == EACCES && cred->cr_uid == vattr.va_uid)
4053                 error = 0;
4054         return error;
4055 }