sys/fs/nfs/nfs_commonport.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1989, 1993
   5  *      The Regents of the University of California.  All rights reserved.
   6  *
   7  * This code is derived from software contributed to Berkeley by
   8  * Rick Macklem at The University of Guelph.
   9  *
  10  * Redistribution and use in source and binary forms, with or without
  11  * modification, are permitted provided that the following conditions
  12  * are met:
  13  * 1. Redistributions of source code must retain the above copyright
  14  *    notice, this list of conditions and the following disclaimer.
  15  * 2. Redistributions in binary form must reproduce the above copyright
  16  *    notice, this list of conditions and the following disclaimer in the
  17  *    documentation and/or other materials provided with the distribution.
  18  * 3. Neither the name of the University nor the names of its contributors
  19  *    may be used to endorse or promote products derived from this software
  20  *    without specific prior written permission.
  21  *
  22  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  23  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  24  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  25  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  26  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  27  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  28  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  29  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  30  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  31  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  32  * SUCH DAMAGE.
  33  *
  34  */
  35
  36 #include <sys/cdefs.h>
  37 __FBSDID("$FreeBSD$");
  38
  39 /*
  40  * Functions that need to be different for different versions of BSD
  41  * kernel should be kept here, along with any global storage specific
  42  * to this BSD variant.
  43  */
  44 #include <fs/nfs/nfsport.h>
  45 #include <sys/smp.h>
  46 #include <sys/sysctl.h>
  47 #include <sys/taskqueue.h>
  48 #include <rpc/rpc_com.h>
  49 #include <vm/vm.h>
  50 #include <vm/vm_object.h>
  51 #include <vm/vm_page.h>
  52 #include <vm/vm_param.h>
  53 #include <vm/vm_map.h>
  54 #include <vm/vm_kern.h>
  55 #include <vm/vm_extern.h>
  56 #include <vm/uma.h>
  57
  58 extern int nfscl_ticks;
  59 extern nfsuserd_state nfsrv_nfsuserd;
  60 extern struct nfssockreq nfsrv_nfsuserdsock;
  61 extern void (*nfsd_call_recall)(struct vnode *, int, struct ucred *,
  62     struct thread *);
  63 extern int nfsrv_useacl;
  64 struct mount nfsv4root_mnt;
  65 int newnfs_numnfsd = 0;
  66 struct nfsstatsv1 nfsstatsv1;
  67 int nfs_numnfscbd = 0;
  68 int nfscl_debuglevel = 0;
  69 char nfsv4_callbackaddr[INET6_ADDRSTRLEN];
  70 struct callout newnfsd_callout;
  71 int nfsrv_lughashsize = 100;
  72 struct mtx nfsrv_dslock_mtx;
  73 struct nfsdevicehead nfsrv_devidhead;
  74 volatile int nfsrv_devidcnt = 0;
  75 void (*nfsd_call_servertimer)(void) = NULL;
  76 void (*ncl_call_invalcaches)(struct vnode *) = NULL;
  77 vop_advlock_t *nfs_advlock_p = NULL;
  78 vop_reclaim_t *nfs_reclaim_p = NULL;
  79
  80 int nfs_pnfsio(task_fn_t *, void *);
  81
  82 static int nfs_realign_test;
  83 static int nfs_realign_count;
  84 static struct ext_nfsstats oldnfsstats;
  85 static struct nfsstatsov1 nfsstatsov1;
  86
  87 SYSCTL_NODE(_vfs, OID_AUTO, nfs, CTLFLAG_RW | CTLFLAG_MPSAFE, 0,
  88     "NFS filesystem");
  89 SYSCTL_INT(_vfs_nfs, OID_AUTO, realign_test, CTLFLAG_RW, &nfs_realign_test,
  90     0, "Number of realign tests done");
  91 SYSCTL_INT(_vfs_nfs, OID_AUTO, realign_count, CTLFLAG_RW, &nfs_realign_count,
  92     0, "Number of mbuf realignments done");
  93 SYSCTL_STRING(_vfs_nfs, OID_AUTO, callback_addr, CTLFLAG_RW,
  94     nfsv4_callbackaddr, sizeof(nfsv4_callbackaddr),
  95     "NFSv4 callback addr for server to use");
  96 SYSCTL_INT(_vfs_nfs, OID_AUTO, debuglevel, CTLFLAG_RW, &nfscl_debuglevel,
  97     0, "Debug level for NFS client");
  98 SYSCTL_INT(_vfs_nfs, OID_AUTO, userhashsize, CTLFLAG_RDTUN, &nfsrv_lughashsize,
  99     0, "Size of hash tables for uid/name mapping");
 100 int nfs_pnfsiothreads = -1;
 101 SYSCTL_INT(_vfs_nfs, OID_AUTO, pnfsiothreads, CTLFLAG_RW, &nfs_pnfsiothreads,
 102     0, "Number of pNFS mirror I/O threads");
 103
 104 /*
 105  * Defines for malloc
 106  * (Here for FreeBSD, since they allocate storage.)
 107  */
 108 MALLOC_DEFINE(M_NEWNFSRVCACHE, "NFSD srvcache", "NFSD Server Request Cache");
 109 MALLOC_DEFINE(M_NEWNFSDCLIENT, "NFSD V4client", "NFSD V4 Client Id");
 110 MALLOC_DEFINE(M_NEWNFSDSTATE, "NFSD V4state",
 111     "NFSD V4 State (Openowner, Open, Lockowner, Delegation");
 112 MALLOC_DEFINE(M_NEWNFSDLOCK, "NFSD V4lock", "NFSD V4 byte range lock");
 113 MALLOC_DEFINE(M_NEWNFSDLOCKFILE, "NFSD lckfile", "NFSD Open/Lock file");
 114 MALLOC_DEFINE(M_NEWNFSSTRING, "NFSD string", "NFSD V4 long string");
 115 MALLOC_DEFINE(M_NEWNFSUSERGROUP, "NFSD usrgroup", "NFSD V4 User/group map");
 116 MALLOC_DEFINE(M_NEWNFSDREQ, "NFS req", "NFS request header");
 117 MALLOC_DEFINE(M_NEWNFSFH, "NFS fh", "NFS file handle");
 118 MALLOC_DEFINE(M_NEWNFSCLOWNER, "NFSCL owner", "NFSCL Open Owner");
 119 MALLOC_DEFINE(M_NEWNFSCLOPEN, "NFSCL open", "NFSCL Open");
 120 MALLOC_DEFINE(M_NEWNFSCLDELEG, "NFSCL deleg", "NFSCL Delegation");
 121 MALLOC_DEFINE(M_NEWNFSCLCLIENT, "NFSCL client", "NFSCL Client");
 122 MALLOC_DEFINE(M_NEWNFSCLLOCKOWNER, "NFSCL lckown", "NFSCL Lock Owner");
 123 MALLOC_DEFINE(M_NEWNFSCLLOCK, "NFSCL lck", "NFSCL Lock");
 124 MALLOC_DEFINE(M_NEWNFSV4NODE, "NEWNFSnode", "NFS vnode");
 125 MALLOC_DEFINE(M_NEWNFSDIRECTIO, "NEWdirectio", "NFS Direct IO buffer");
 126 MALLOC_DEFINE(M_NEWNFSDIROFF, "NFSCL diroffdiroff",
 127     "NFS directory offset data");
 128 MALLOC_DEFINE(M_NEWNFSDROLLBACK, "NFSD rollback",
 129     "NFS local lock rollback");
 130 MALLOC_DEFINE(M_NEWNFSLAYOUT, "NFSCL layout", "NFSv4.1 Layout");
 131 MALLOC_DEFINE(M_NEWNFSFLAYOUT, "NFSCL flayout", "NFSv4.1 File Layout");
 132 MALLOC_DEFINE(M_NEWNFSDEVINFO, "NFSCL devinfo", "NFSv4.1 Device Info");
 133 MALLOC_DEFINE(M_NEWNFSSOCKREQ, "NFSCL sockreq", "NFS Sock Req");
 134 MALLOC_DEFINE(M_NEWNFSCLDS, "NFSCL session", "NFSv4.1 Session");
 135 MALLOC_DEFINE(M_NEWNFSLAYRECALL, "NFSCL layrecall", "NFSv4.1 Layout Recall");
 136 MALLOC_DEFINE(M_NEWNFSDSESSION, "NFSD session", "NFSD Session for a client");
 137
 138 /*
 139  * Definition of mutex locks.
 140  * newnfsd_mtx is used in nfsrvd_nfsd() to protect the nfs socket list
 141  * and assorted other nfsd structures.
 142  */
 143 struct mtx newnfsd_mtx;
 144 struct mtx nfs_sockl_mutex;
 145 struct mtx nfs_state_mutex;
 146 struct mtx nfs_nameid_mutex;
 147 struct mtx nfs_req_mutex;
 148 struct mtx nfs_slock_mutex;
 149 struct mtx nfs_clstate_mutex;
 150
 151 /* local functions */
 152 static int nfssvc_call(struct thread *, struct nfssvc_args *, struct ucred *);
 153
 154 #ifdef __NO_STRICT_ALIGNMENT
 155 /*
 156  * These architectures don't need re-alignment, so just return.
 157  */
 158 int
 159 newnfs_realign(struct mbuf **pm, int how)
 160 {
 161
 162         return (0);
 163 }
 164 #else   /* !__NO_STRICT_ALIGNMENT */
 165 /*
 166  *      newnfs_realign:
 167  *
 168  *      Check for badly aligned mbuf data and realign by copying the unaligned
 169  *      portion of the data into a new mbuf chain and freeing the portions
 170  *      of the old chain that were replaced.
 171  *
 172  *      We cannot simply realign the data within the existing mbuf chain
 173  *      because the underlying buffers may contain other rpc commands and
 174  *      we cannot afford to overwrite them.
 175  *
 176  *      We would prefer to avoid this situation entirely.  The situation does
 177  *      not occur with NFS/UDP and is supposed to only occasionally occur
 178  *      with TCP.  Use vfs.nfs.realign_count and realign_test to check this.
 179  *
 180  */
 181 int
 182 newnfs_realign(struct mbuf **pm, int how)
 183 {
 184         struct mbuf *m, *n;
 185         int off, space;
 186
 187         ++nfs_realign_test;
 188         while ((m = *pm) != NULL) {
 189                 if ((m->m_len & 0x3) || (mtod(m, intptr_t) & 0x3)) {
 190                         /*
 191                          * NB: we can't depend on m_pkthdr.len to help us
 192                          * decide what to do here.  May not be worth doing
 193                          * the m_length calculation as m_copyback will
 194                          * expand the mbuf chain below as needed.
 195                          */
 196                         space = m_length(m, NULL);
 197                         if (space >= MINCLSIZE) {
 198                                 /* NB: m_copyback handles space > MCLBYTES */
 199                                 n = m_getcl(how, MT_DATA, 0);
 200                         } else
 201                                 n = m_get(how, MT_DATA);
 202                         if (n == NULL)
 203                                 return (ENOMEM);
 204                         /*
 205                          * Align the remainder of the mbuf chain.
 206                          */
 207                         n->m_len = 0;
 208                         off = 0;
 209                         while (m != NULL) {
 210                                 m_copyback(n, off, m->m_len, mtod(m, caddr_t));
 211                                 off += m->m_len;
 212                                 m = m->m_next;
 213                         }
 214                         m_freem(*pm);
 215                         *pm = n;
 216                         ++nfs_realign_count;
 217                         break;
 218                 }
 219                 pm = &m->m_next;
 220         }
 221
 222         return (0);
 223 }
 224 #endif  /* __NO_STRICT_ALIGNMENT */
 225
 226 #ifdef notdef
 227 static void
 228 nfsrv_object_create(struct vnode *vp, struct thread *td)
 229 {
 230
 231         if (vp == NULL || vp->v_type != VREG)
 232                 return;
 233         (void) vfs_object_create(vp, td, td->td_ucred);
 234 }
 235 #endif
 236
 237 /*
 238  * Look up a file name. Basically just initialize stuff and call namei().
 239  */
 240 int
 241 nfsrv_lookupfilename(struct nameidata *ndp, char *fname, NFSPROC_T *p)
 242 {
 243         int error;
 244
 245         NDINIT(ndp, LOOKUP, FOLLOW | LOCKLEAF, UIO_USERSPACE, fname,
 246             p);
 247         error = namei(ndp);
 248         if (!error) {
 249                 NDFREE(ndp, NDF_ONLY_PNBUF);
 250         }
 251         return (error);
 252 }
 253
 254 /*
 255  * Copy NFS uid, gids to the cred structure.
 256  */
 257 void
 258 newnfs_copycred(struct nfscred *nfscr, struct ucred *cr)
 259 {
 260
 261         KASSERT(nfscr->nfsc_ngroups >= 0,
 262             ("newnfs_copycred: negative nfsc_ngroups"));
 263         cr->cr_uid = nfscr->nfsc_uid;
 264         crsetgroups(cr, nfscr->nfsc_ngroups, nfscr->nfsc_groups);
 265 }
 266
 267 /*
 268  * Map args from nfsmsleep() to msleep().
 269  */
 270 int
 271 nfsmsleep(void *chan, void *mutex, int prio, const char *wmesg,
 272     struct timespec *ts)
 273 {
 274         u_int64_t nsecval;
 275         int error, timeo;
 276
 277         if (ts) {
 278                 timeo = hz * ts->tv_sec;
 279                 nsecval = (u_int64_t)ts->tv_nsec;
 280                 nsecval = ((nsecval * ((u_int64_t)hz)) + 500000000) /
 281                     1000000000;
 282                 timeo += (int)nsecval;
 283         } else {
 284                 timeo = 0;
 285         }
 286         error = msleep(chan, (struct mtx *)mutex, prio, wmesg, timeo);
 287         return (error);
 288 }
 289
 290 /*
 291  * Get the file system info for the server. For now, just assume FFS.
 292  */
 293 void
 294 nfsvno_getfs(struct nfsfsinfo *sip, int isdgram)
 295 {
 296         int pref;
 297
 298         /*
 299          * XXX
 300          * There should be file system VFS OP(s) to get this information.
 301          * For now, assume ufs.
 302          */
 303         if (isdgram)
 304                 pref = NFS_MAXDGRAMDATA;
 305         else
 306                 pref = NFS_SRVMAXIO;
 307         sip->fs_rtmax = NFS_SRVMAXIO;
 308         sip->fs_rtpref = pref;
 309         sip->fs_rtmult = NFS_FABLKSIZE;
 310         sip->fs_wtmax = NFS_SRVMAXIO;
 311         sip->fs_wtpref = pref;
 312         sip->fs_wtmult = NFS_FABLKSIZE;
 313         sip->fs_dtpref = pref;
 314         sip->fs_maxfilesize = 0xffffffffffffffffull;
 315         sip->fs_timedelta.tv_sec = 0;
 316         sip->fs_timedelta.tv_nsec = 1;
 317         sip->fs_properties = (NFSV3FSINFO_LINK |
 318             NFSV3FSINFO_SYMLINK | NFSV3FSINFO_HOMOGENEOUS |
 319             NFSV3FSINFO_CANSETTIME);
 320 }
 321
 322 /*
 323  * Do the pathconf vnode op.
 324  */
 325 int
 326 nfsvno_pathconf(struct vnode *vp, int flag, long *retf,
 327     struct ucred *cred, struct thread *p)
 328 {
 329         int error;
 330
 331         error = VOP_PATHCONF(vp, flag, retf);
 332         if (error == EOPNOTSUPP || error == EINVAL) {
 333                 /*
 334                  * Some file systems return EINVAL for name arguments not
 335                  * supported and some return EOPNOTSUPP for this case.
 336                  * So the NFSv3 Pathconf RPC doesn't fail for these cases,
 337                  * just fake them.
 338                  */
 339                 switch (flag) {
 340                 case _PC_LINK_MAX:
 341                         *retf = NFS_LINK_MAX;
 342                         break;
 343                 case _PC_NAME_MAX:
 344                         *retf = NAME_MAX;
 345                         break;
 346                 case _PC_CHOWN_RESTRICTED:
 347                         *retf = 1;
 348                         break;
 349                 case _PC_NO_TRUNC:
 350                         *retf = 1;
 351                         break;
 352                 default:
 353                         /*
 354                          * Only happens if a _PC_xxx is added to the server,
 355                          * but this isn't updated.
 356                          */
 357                         *retf = 0;
 358                         printf("nfsrvd pathconf flag=%d not supp\n", flag);
 359                 }
 360                 error = 0;
 361         }
 362         NFSEXITCODE(error);
 363         return (error);
 364 }
 365
 366 /* Fake nfsrv_atroot. Just return 0 */
 367 int
 368 nfsrv_atroot(struct vnode *vp, uint64_t *retp)
 369 {
 370
 371         return (0);
 372 }
 373
 374 /*
 375  * Set the credentials to refer to root.
 376  * If only the various BSDen could agree on whether cr_gid is a separate
 377  * field or cr_groups[0]...
 378  */
 379 void
 380 newnfs_setroot(struct ucred *cred)
 381 {
 382
 383         cred->cr_uid = 0;
 384         cred->cr_groups[0] = 0;
 385         cred->cr_ngroups = 1;
 386 }
 387
 388 /*
 389  * Get the client credential. Used for Renew and recovery.
 390  */
 391 struct ucred *
 392 newnfs_getcred(void)
 393 {
 394         struct ucred *cred;
 395         struct thread *td = curthread;
 396
 397         cred = crdup(td->td_ucred);
 398         newnfs_setroot(cred);
 399         return (cred);
 400 }
 401
 402 /*
 403  * Nfs timer routine
 404  * Call the nfsd's timer function once/sec.
 405  */
 406 void
 407 newnfs_timer(void *arg)
 408 {
 409         static time_t lasttime = 0;
 410         /*
 411          * Call the server timer, if set up.
 412          * The argument indicates if it is the next second and therefore
 413          * leases should be checked.
 414          */
 415         if (lasttime != NFSD_MONOSEC) {
 416                 lasttime = NFSD_MONOSEC;
 417                 if (nfsd_call_servertimer != NULL)
 418                         (*nfsd_call_servertimer)();
 419         }
 420         callout_reset(&newnfsd_callout, nfscl_ticks, newnfs_timer, NULL);
 421 }
 422
 423 /*
 424  * Sleep for a short period of time unless errval == NFSERR_GRACE, where
 425  * the sleep should be for 5 seconds.
 426  * Since lbolt doesn't exist in FreeBSD-CURRENT, just use a timeout on
 427  * an event that never gets a wakeup. Only return EINTR or 0.
 428  */
 429 int
 430 nfs_catnap(int prio, int errval, const char *wmesg)
 431 {
 432         static int non_event;
 433         int ret;
 434
 435         if (errval == NFSERR_GRACE)
 436                 ret = tsleep(&non_event, prio, wmesg, 5 * hz);
 437         else
 438                 ret = tsleep(&non_event, prio, wmesg, 1);
 439         if (ret != EINTR)
 440                 ret = 0;
 441         return (ret);
 442 }
 443
 444 /*
 445  * Get referral. For now, just fail.
 446  */
 447 struct nfsreferral *
 448 nfsv4root_getreferral(struct vnode *vp, struct vnode *dvp, u_int32_t fileno)
 449 {
 450
 451         return (NULL);
 452 }
 453
 454 static int
 455 nfssvc_nfscommon(struct thread *td, struct nfssvc_args *uap)
 456 {
 457         int error;
 458
 459         error = nfssvc_call(td, uap, td->td_ucred);
 460         NFSEXITCODE(error);
 461         return (error);
 462 }
 463
 464 static int
 465 nfssvc_call(struct thread *p, struct nfssvc_args *uap, struct ucred *cred)
 466 {
 467         int error = EINVAL, i, j;
 468         struct nfsd_idargs nid;
 469         struct nfsd_oidargs onid;
 470         struct {
 471                 int vers;       /* Just the first field of nfsstats. */
 472         } nfsstatver;
 473
 474         if (uap->flag & NFSSVC_IDNAME) {
 475                 if ((uap->flag & NFSSVC_NEWSTRUCT) != 0)
 476                         error = copyin(uap->argp, &nid, sizeof(nid));
 477                 else {
 478                         error = copyin(uap->argp, &onid, sizeof(onid));
 479                         if (error == 0) {
 480                                 nid.nid_flag = onid.nid_flag;
 481                                 nid.nid_uid = onid.nid_uid;
 482                                 nid.nid_gid = onid.nid_gid;
 483                                 nid.nid_usermax = onid.nid_usermax;
 484                                 nid.nid_usertimeout = onid.nid_usertimeout;
 485                                 nid.nid_name = onid.nid_name;
 486                                 nid.nid_namelen = onid.nid_namelen;
 487                                 nid.nid_ngroup = 0;
 488                                 nid.nid_grps = NULL;
 489                         }
 490                 }
 491                 if (error)
 492                         goto out;
 493                 error = nfssvc_idname(&nid);
 494                 goto out;
 495         } else if (uap->flag & NFSSVC_GETSTATS) {
 496                 if ((uap->flag & NFSSVC_NEWSTRUCT) == 0) {
 497                         /* Copy fields to the old ext_nfsstat structure. */
 498                         oldnfsstats.attrcache_hits =
 499                             nfsstatsv1.attrcache_hits;
 500                         oldnfsstats.attrcache_misses =
 501                             nfsstatsv1.attrcache_misses;
 502                         oldnfsstats.lookupcache_hits =
 503                             nfsstatsv1.lookupcache_hits;
 504                         oldnfsstats.lookupcache_misses =
 505                             nfsstatsv1.lookupcache_misses;
 506                         oldnfsstats.direofcache_hits =
 507                             nfsstatsv1.direofcache_hits;
 508                         oldnfsstats.direofcache_misses =
 509                             nfsstatsv1.direofcache_misses;
 510                         oldnfsstats.accesscache_hits =
 511                             nfsstatsv1.accesscache_hits;
 512                         oldnfsstats.accesscache_misses =
 513                             nfsstatsv1.accesscache_misses;
 514                         oldnfsstats.biocache_reads =
 515                             nfsstatsv1.biocache_reads;
 516                         oldnfsstats.read_bios =
 517                             nfsstatsv1.read_bios;
 518                         oldnfsstats.read_physios =
 519                             nfsstatsv1.read_physios;
 520                         oldnfsstats.biocache_writes =
 521                             nfsstatsv1.biocache_writes;
 522                         oldnfsstats.write_bios =
 523                             nfsstatsv1.write_bios;
 524                         oldnfsstats.write_physios =
 525                             nfsstatsv1.write_physios;
 526                         oldnfsstats.biocache_readlinks =
 527                             nfsstatsv1.biocache_readlinks;
 528                         oldnfsstats.readlink_bios =
 529                             nfsstatsv1.readlink_bios;
 530                         oldnfsstats.biocache_readdirs =
 531                             nfsstatsv1.biocache_readdirs;
 532                         oldnfsstats.readdir_bios =
 533                             nfsstatsv1.readdir_bios;
 534                         for (i = 0; i < NFSV4_NPROCS; i++)
 535                                 oldnfsstats.rpccnt[i] = nfsstatsv1.rpccnt[i];
 536                         oldnfsstats.rpcretries = nfsstatsv1.rpcretries;
 537                         for (i = 0; i < NFSV4OP_NOPS; i++)
 538                                 oldnfsstats.srvrpccnt[i] =
 539                                     nfsstatsv1.srvrpccnt[i];
 540                         for (i = NFSV42_NOPS, j = NFSV4OP_NOPS;
 541                             i < NFSV42_NOPS + NFSV4OP_FAKENOPS; i++, j++)
 542                                 oldnfsstats.srvrpccnt[j] =
 543                                     nfsstatsv1.srvrpccnt[i];
 544                         oldnfsstats.reserved_0 = 0;
 545                         oldnfsstats.reserved_1 = 0;
 546                         oldnfsstats.rpcrequests = nfsstatsv1.rpcrequests;
 547                         oldnfsstats.rpctimeouts = nfsstatsv1.rpctimeouts;
 548                         oldnfsstats.rpcunexpected = nfsstatsv1.rpcunexpected;
 549                         oldnfsstats.rpcinvalid = nfsstatsv1.rpcinvalid;
 550                         oldnfsstats.srvcache_inproghits =
 551                             nfsstatsv1.srvcache_inproghits;
 552                         oldnfsstats.reserved_2 = 0;
 553                         oldnfsstats.srvcache_nonidemdonehits =
 554                             nfsstatsv1.srvcache_nonidemdonehits;
 555                         oldnfsstats.srvcache_misses =
 556                             nfsstatsv1.srvcache_misses;
 557                         oldnfsstats.srvcache_tcppeak =
 558                             nfsstatsv1.srvcache_tcppeak;
 559                         oldnfsstats.srvcache_size = nfsstatsv1.srvcache_size;
 560                         oldnfsstats.srvclients = nfsstatsv1.srvclients;
 561                         oldnfsstats.srvopenowners = nfsstatsv1.srvopenowners;
 562                         oldnfsstats.srvopens = nfsstatsv1.srvopens;
 563                         oldnfsstats.srvlockowners = nfsstatsv1.srvlockowners;
 564                         oldnfsstats.srvlocks = nfsstatsv1.srvlocks;
 565                         oldnfsstats.srvdelegates = nfsstatsv1.srvdelegates;
 566                         for (i = 0; i < NFSV4OP_CBNOPS; i++)
 567                                 oldnfsstats.cbrpccnt[i] =
 568                                     nfsstatsv1.cbrpccnt[i];
 569                         oldnfsstats.clopenowners = nfsstatsv1.clopenowners;
 570                         oldnfsstats.clopens = nfsstatsv1.clopens;
 571                         oldnfsstats.cllockowners = nfsstatsv1.cllockowners;
 572                         oldnfsstats.cllocks = nfsstatsv1.cllocks;
 573                         oldnfsstats.cldelegates = nfsstatsv1.cldelegates;
 574                         oldnfsstats.cllocalopenowners =
 575                             nfsstatsv1.cllocalopenowners;
 576                         oldnfsstats.cllocalopens = nfsstatsv1.cllocalopens;
 577                         oldnfsstats.cllocallockowners =
 578                             nfsstatsv1.cllocallockowners;
 579                         oldnfsstats.cllocallocks = nfsstatsv1.cllocallocks;
 580                         error = copyout(&oldnfsstats, uap->argp,
 581                             sizeof (oldnfsstats));
 582                 } else {
 583                         error = copyin(uap->argp, &nfsstatver,
 584                             sizeof(nfsstatver));
 585                         if (error == 0) {
 586                                 if (nfsstatver.vers == NFSSTATS_OV1) {
 587                                         /* Copy nfsstatsv1 to nfsstatsov1. */
 588                                         nfsstatsov1.attrcache_hits =
 589                                             nfsstatsv1.attrcache_hits;
 590                                         nfsstatsov1.attrcache_misses =
 591                                             nfsstatsv1.attrcache_misses;
 592                                         nfsstatsov1.lookupcache_hits =
 593                                             nfsstatsv1.lookupcache_hits;
 594                                         nfsstatsov1.lookupcache_misses =
 595                                             nfsstatsv1.lookupcache_misses;
 596                                         nfsstatsov1.direofcache_hits =
 597                                             nfsstatsv1.direofcache_hits;
 598                                         nfsstatsov1.direofcache_misses =
 599                                             nfsstatsv1.direofcache_misses;
 600                                         nfsstatsov1.accesscache_hits =
 601                                             nfsstatsv1.accesscache_hits;
 602                                         nfsstatsov1.accesscache_misses =
 603                                             nfsstatsv1.accesscache_misses;
 604                                         nfsstatsov1.biocache_reads =
 605                                             nfsstatsv1.biocache_reads;
 606                                         nfsstatsov1.read_bios =
 607                                             nfsstatsv1.read_bios;
 608                                         nfsstatsov1.read_physios =
 609                                             nfsstatsv1.read_physios;
 610                                         nfsstatsov1.biocache_writes =
 611                                             nfsstatsv1.biocache_writes;
 612                                         nfsstatsov1.write_bios =
 613                                             nfsstatsv1.write_bios;
 614                                         nfsstatsov1.write_physios =
 615                                             nfsstatsv1.write_physios;
 616                                         nfsstatsov1.biocache_readlinks =
 617                                             nfsstatsv1.biocache_readlinks;
 618                                         nfsstatsov1.readlink_bios =
 619                                             nfsstatsv1.readlink_bios;
 620                                         nfsstatsov1.biocache_readdirs =
 621                                             nfsstatsv1.biocache_readdirs;
 622                                         nfsstatsov1.readdir_bios =
 623                                             nfsstatsv1.readdir_bios;
 624                                         for (i = 0; i < NFSV42_NPROCS; i++)
 625                                                 nfsstatsov1.rpccnt[i] =
 626                                                     nfsstatsv1.rpccnt[i];
 627                                         nfsstatsov1.rpcretries =
 628                                             nfsstatsv1.rpcretries;
 629                                         for (i = 0; i < NFSV42_PURENOPS; i++)
 630                                                 nfsstatsov1.srvrpccnt[i] =
 631                                                     nfsstatsv1.srvrpccnt[i];
 632                                         for (i = NFSV42_NOPS,
 633                                              j = NFSV42_PURENOPS;
 634                                              i < NFSV42_NOPS + NFSV4OP_FAKENOPS;
 635                                              i++, j++)
 636                                                 nfsstatsov1.srvrpccnt[j] =
 637                                                     nfsstatsv1.srvrpccnt[i];
 638                                         nfsstatsov1.reserved_0 = 0;
 639                                         nfsstatsov1.reserved_1 = 0;
 640                                         nfsstatsov1.rpcrequests =
 641                                             nfsstatsv1.rpcrequests;
 642                                         nfsstatsov1.rpctimeouts =
 643                                             nfsstatsv1.rpctimeouts;
 644                                         nfsstatsov1.rpcunexpected =
 645                                             nfsstatsv1.rpcunexpected;
 646                                         nfsstatsov1.rpcinvalid =
 647                                             nfsstatsv1.rpcinvalid;
 648                                         nfsstatsov1.srvcache_inproghits =
 649                                             nfsstatsv1.srvcache_inproghits;
 650                                         nfsstatsov1.reserved_2 = 0;
 651                                         nfsstatsov1.srvcache_nonidemdonehits =
 652                                             nfsstatsv1.srvcache_nonidemdonehits;
 653                                         nfsstatsov1.srvcache_misses =
 654                                             nfsstatsv1.srvcache_misses;
 655                                         nfsstatsov1.srvcache_tcppeak =
 656                                             nfsstatsv1.srvcache_tcppeak;
 657                                         nfsstatsov1.srvcache_size =
 658                                             nfsstatsv1.srvcache_size;
 659                                         nfsstatsov1.srvclients =
 660                                             nfsstatsv1.srvclients;
 661                                         nfsstatsov1.srvopenowners =
 662                                             nfsstatsv1.srvopenowners;
 663                                         nfsstatsov1.srvopens =
 664                                             nfsstatsv1.srvopens;
 665                                         nfsstatsov1.srvlockowners =
 666                                             nfsstatsv1.srvlockowners;
 667                                         nfsstatsov1.srvlocks =
 668                                             nfsstatsv1.srvlocks;
 669                                         nfsstatsov1.srvdelegates =
 670                                             nfsstatsv1.srvdelegates;
 671                                         for (i = 0; i < NFSV42_CBNOPS; i++)
 672                                                 nfsstatsov1.cbrpccnt[i] =
 673                                                     nfsstatsv1.cbrpccnt[i];
 674                                         nfsstatsov1.clopenowners =
 675                                             nfsstatsv1.clopenowners;
 676                                         nfsstatsov1.clopens =
 677                                             nfsstatsv1.clopens;
 678                                         nfsstatsov1.cllockowners =
 679                                             nfsstatsv1.cllockowners;
 680                                         nfsstatsov1.cllocks =
 681                                             nfsstatsv1.cllocks;
 682                                         nfsstatsov1.cldelegates =
 683                                             nfsstatsv1.cldelegates;
 684                                         nfsstatsov1.cllocalopenowners =
 685                                             nfsstatsv1.cllocalopenowners;
 686                                         nfsstatsov1.cllocalopens =
 687                                             nfsstatsv1.cllocalopens;
 688                                         nfsstatsov1.cllocallockowners =
 689                                             nfsstatsv1.cllocallockowners;
 690                                         nfsstatsov1.cllocallocks =
 691                                             nfsstatsv1.cllocallocks;
 692                                         nfsstatsov1.srvstartcnt =
 693                                             nfsstatsv1.srvstartcnt;
 694                                         nfsstatsov1.srvdonecnt =
 695                                             nfsstatsv1.srvdonecnt;
 696                                         for (i = NFSV42_NOPS,
 697                                              j = NFSV42_PURENOPS;
 698                                              i < NFSV42_NOPS + NFSV4OP_FAKENOPS;
 699                                              i++, j++) {
 700                                                 nfsstatsov1.srvbytes[j] =
 701                                                     nfsstatsv1.srvbytes[i];
 702                                                 nfsstatsov1.srvops[j] =
 703                                                     nfsstatsv1.srvops[i];
 704                                                 nfsstatsov1.srvduration[j] =
 705                                                     nfsstatsv1.srvduration[i];
 706                                         }
 707                                         nfsstatsov1.busyfrom =
 708                                             nfsstatsv1.busyfrom;
 709                                         nfsstatsov1.busyfrom =
 710                                             nfsstatsv1.busyfrom;
 711                                         error = copyout(&nfsstatsov1, uap->argp,
 712                                             sizeof(nfsstatsov1));
 713                                 } else if (nfsstatver.vers != NFSSTATS_V1)
 714                                         error = EPERM;
 715                                 else
 716                                         error = copyout(&nfsstatsv1, uap->argp,
 717                                             sizeof(nfsstatsv1));
 718                         }
 719                 }
 720                 if (error == 0) {
 721                         if ((uap->flag & NFSSVC_ZEROCLTSTATS) != 0) {
 722                                 nfsstatsv1.attrcache_hits = 0;
 723                                 nfsstatsv1.attrcache_misses = 0;
 724                                 nfsstatsv1.lookupcache_hits = 0;
 725                                 nfsstatsv1.lookupcache_misses = 0;
 726                                 nfsstatsv1.direofcache_hits = 0;
 727                                 nfsstatsv1.direofcache_misses = 0;
 728                                 nfsstatsv1.accesscache_hits = 0;
 729                                 nfsstatsv1.accesscache_misses = 0;
 730                                 nfsstatsv1.biocache_reads = 0;
 731                                 nfsstatsv1.read_bios = 0;
 732                                 nfsstatsv1.read_physios = 0;
 733                                 nfsstatsv1.biocache_writes = 0;
 734                                 nfsstatsv1.write_bios = 0;
 735                                 nfsstatsv1.write_physios = 0;
 736                                 nfsstatsv1.biocache_readlinks = 0;
 737                                 nfsstatsv1.readlink_bios = 0;
 738                                 nfsstatsv1.biocache_readdirs = 0;
 739                                 nfsstatsv1.readdir_bios = 0;
 740                                 nfsstatsv1.rpcretries = 0;
 741                                 nfsstatsv1.rpcrequests = 0;
 742                                 nfsstatsv1.rpctimeouts = 0;
 743                                 nfsstatsv1.rpcunexpected = 0;
 744                                 nfsstatsv1.rpcinvalid = 0;
 745                                 bzero(nfsstatsv1.rpccnt,
 746                                     sizeof(nfsstatsv1.rpccnt));
 747                         }
 748                         if ((uap->flag & NFSSVC_ZEROSRVSTATS) != 0) {
 749                                 nfsstatsv1.srvcache_inproghits = 0;
 750                                 nfsstatsv1.srvcache_nonidemdonehits = 0;
 751                                 nfsstatsv1.srvcache_misses = 0;
 752                                 nfsstatsv1.srvcache_tcppeak = 0;
 753                                 bzero(nfsstatsv1.srvrpccnt,
 754                                     sizeof(nfsstatsv1.srvrpccnt));
 755                                 bzero(nfsstatsv1.cbrpccnt,
 756                                     sizeof(nfsstatsv1.cbrpccnt));
 757                         }
 758                 }
 759                 goto out;
 760         } else if (uap->flag & NFSSVC_NFSUSERDPORT) {
 761                 u_short sockport;
 762                 struct nfsuserd_args nargs;
 763
 764                 if ((uap->flag & NFSSVC_NEWSTRUCT) == 0) {
 765                         error = copyin(uap->argp, (caddr_t)&sockport,
 766                             sizeof (u_short));
 767                         if (error == 0) {
 768                                 nargs.nuserd_family = AF_INET;
 769                                 nargs.nuserd_port = sockport;
 770                         }
 771                 } else {
 772                         /*
 773                          * New nfsuserd_args structure, which indicates
 774                          * which IP version to use along with the port#.
 775                          */
 776                         error = copyin(uap->argp, &nargs, sizeof(nargs));
 777                 }
 778                 if (!error)
 779                         error = nfsrv_nfsuserdport(&nargs, p);
 780         } else if (uap->flag & NFSSVC_NFSUSERDDELPORT) {
 781                 nfsrv_nfsuserddelport();
 782                 error = 0;
 783         }
 784
 785 out:
 786         NFSEXITCODE(error);
 787         return (error);
 788 }
 789
 790 /*
 791  * called by all three modevent routines, so that it gets things
 792  * initialized soon enough.
 793  */
 794 void
 795 newnfs_portinit(void)
 796 {
 797         static int inited = 0;
 798
 799         if (inited)
 800                 return;
 801         inited = 1;
 802         /* Initialize SMP locks used by both client and server. */
 803         mtx_init(&newnfsd_mtx, "newnfsd_mtx", NULL, MTX_DEF);
 804         mtx_init(&nfs_state_mutex, "nfs_state_mutex", NULL, MTX_DEF);
 805         mtx_init(&nfs_clstate_mutex, "nfs_clstate_mutex", NULL, MTX_DEF);
 806 }
 807
 808 /*
 809  * Determine if the file system supports NFSv4 ACLs.
 810  * Return 1 if it does, 0 otherwise.
 811  */
 812 int
 813 nfs_supportsnfsv4acls(struct vnode *vp)
 814 {
 815         int error;
 816         long retval;
 817
 818         ASSERT_VOP_LOCKED(vp, "nfs supports nfsv4acls");
 819
 820         if (nfsrv_useacl == 0)
 821                 return (0);
 822         error = VOP_PATHCONF(vp, _PC_ACL_NFS4, &retval);
 823         if (error == 0 && retval != 0)
 824                 return (1);
 825         return (0);
 826 }
 827
 828 /*
 829  * These are the first fields of all the context structures passed into
 830  * nfs_pnfsio().
 831  */
 832 struct pnfsio {
 833         int             done;
 834         int             inprog;
 835         struct task     tsk;
 836 };
 837
 838 /*
 839  * Do a mirror I/O on a pNFS thread.
 840  */
 841 int
 842 nfs_pnfsio(task_fn_t *func, void *context)
 843 {
 844         struct pnfsio *pio;
 845         int ret;
 846         static struct taskqueue *pnfsioq = NULL;
 847
 848         pio = (struct pnfsio *)context;
 849         if (pnfsioq == NULL) {
 850                 if (nfs_pnfsiothreads == 0)
 851                         return (EPERM);
 852                 if (nfs_pnfsiothreads < 0)
 853                         nfs_pnfsiothreads = mp_ncpus * 4;
 854                 pnfsioq = taskqueue_create("pnfsioq", M_WAITOK,
 855                     taskqueue_thread_enqueue, &pnfsioq);
 856                 if (pnfsioq == NULL)
 857                         return (ENOMEM);
 858                 ret = taskqueue_start_threads(&pnfsioq, nfs_pnfsiothreads,
 859                     0, "pnfsiot");
 860                 if (ret != 0) {
 861                         taskqueue_free(pnfsioq);
 862                         pnfsioq = NULL;
 863                         return (ret);
 864                 }
 865         }
 866         pio->inprog = 1;
 867         TASK_INIT(&pio->tsk, 0, func, context);
 868         ret = taskqueue_enqueue(pnfsioq, &pio->tsk);
 869         if (ret != 0)
 870                 pio->inprog = 0;
 871         return (ret);
 872 }
 873
 874 extern int (*nfsd_call_nfscommon)(struct thread *, struct nfssvc_args *);
 875
 876 /*
 877  * Called once to initialize data structures...
 878  */
 879 static int
 880 nfscommon_modevent(module_t mod, int type, void *data)
 881 {
 882         int error = 0;
 883         static int loaded = 0;
 884
 885         switch (type) {
 886         case MOD_LOAD:
 887                 if (loaded)
 888                         goto out;
 889                 newnfs_portinit();
 890                 mtx_init(&nfs_nameid_mutex, "nfs_nameid_mutex", NULL, MTX_DEF);
 891                 mtx_init(&nfs_sockl_mutex, "nfs_sockl_mutex", NULL, MTX_DEF);
 892                 mtx_init(&nfs_slock_mutex, "nfs_slock_mutex", NULL, MTX_DEF);
 893                 mtx_init(&nfs_req_mutex, "nfs_req_mutex", NULL, MTX_DEF);
 894                 mtx_init(&nfsrv_nfsuserdsock.nr_mtx, "nfsuserd", NULL,
 895                     MTX_DEF);
 896                 mtx_init(&nfsrv_dslock_mtx, "nfs4ds", NULL, MTX_DEF);
 897                 TAILQ_INIT(&nfsrv_devidhead);
 898                 callout_init(&newnfsd_callout, 1);
 899                 newnfs_init();
 900                 nfsd_call_nfscommon = nfssvc_nfscommon;
 901                 loaded = 1;
 902                 break;
 903
 904         case MOD_UNLOAD:
 905                 if (newnfs_numnfsd != 0 || nfsrv_nfsuserd != NOTRUNNING ||
 906                     nfs_numnfscbd != 0) {
 907                         error = EBUSY;
 908                         break;
 909                 }
 910
 911                 nfsd_call_nfscommon = NULL;
 912                 callout_drain(&newnfsd_callout);
 913                 /* Clean out the name<-->id cache. */
 914                 nfsrv_cleanusergroup();
 915                 /* and get rid of the mutexes */
 916                 mtx_destroy(&nfs_nameid_mutex);
 917                 mtx_destroy(&newnfsd_mtx);
 918                 mtx_destroy(&nfs_state_mutex);
 919                 mtx_destroy(&nfs_clstate_mutex);
 920                 mtx_destroy(&nfs_sockl_mutex);
 921                 mtx_destroy(&nfs_slock_mutex);
 922                 mtx_destroy(&nfs_req_mutex);
 923                 mtx_destroy(&nfsrv_nfsuserdsock.nr_mtx);
 924                 mtx_destroy(&nfsrv_dslock_mtx);
 925                 loaded = 0;
 926                 break;
 927         default:
 928                 error = EOPNOTSUPP;
 929                 break;
 930         }
 931
 932 out:
 933         NFSEXITCODE(error);
 934         return error;
 935 }
 936 static moduledata_t nfscommon_mod = {
 937         "nfscommon",
 938         nfscommon_modevent,
 939         NULL,
 940 };
 941 DECLARE_MODULE(nfscommon, nfscommon_mod, SI_SUB_VFS, SI_ORDER_ANY);
 942
 943 /* So that loader and kldload(2) can find us, wherever we are.. */
 944 MODULE_VERSION(nfscommon, 1);
 945 MODULE_DEPEND(nfscommon, nfssvc, 1, 1, 1);
 946 MODULE_DEPEND(nfscommon, krpc, 1, 1, 1);