sys/nfsclient/nfs_subs.c

   1 /*-
   2  * Copyright (c) 1989, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  *
   5  * This code is derived from software contributed to Berkeley by
   6  * Rick Macklem at The University of Guelph.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 4. Neither the name of the University nor the names of its contributors
  17  *    may be used to endorse or promote products derived from this software
  18  *    without specific prior written permission.
  19  *
  20  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  21  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  22  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  23  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  24  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  25  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  26  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  27  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  28  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  29  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  30  * SUCH DAMAGE.
  31  *
  32  *      @(#)nfs_subs.c  8.8 (Berkeley) 5/22/95
  33  */
  34
  35 #include <sys/cdefs.h>
  36 __FBSDID("$FreeBSD$");
  37
  38 /*
  39  * These functions support the macros and help fiddle mbuf chains for
  40  * the nfs op functions. They do things like create the rpc header and
  41  * copy data between mbuf chains and uio lists.
  42  */
  43
  44 #include "opt_kdtrace.h"
  45
  46 #include <sys/param.h>
  47 #include <sys/systm.h>
  48 #include <sys/kernel.h>
  49 #include <sys/bio.h>
  50 #include <sys/buf.h>
  51 #include <sys/proc.h>
  52 #include <sys/mount.h>
  53 #include <sys/vnode.h>
  54 #include <sys/namei.h>
  55 #include <sys/mbuf.h>
  56 #include <sys/socket.h>
  57 #include <sys/stat.h>
  58 #include <sys/malloc.h>
  59 #include <sys/sysent.h>
  60 #include <sys/syscall.h>
  61 #include <sys/sysproto.h>
  62 #include <sys/taskqueue.h>
  63
  64 #include <vm/vm.h>
  65 #include <vm/vm_object.h>
  66 #include <vm/vm_extern.h>
  67 #include <vm/uma.h>
  68
  69 #include <nfs/nfsproto.h>
  70 #include <nfsclient/nfs.h>
  71 #include <nfsclient/nfsnode.h>
  72 #include <nfs/nfs_kdtrace.h>
  73 #include <nfs/xdr_subs.h>
  74 #include <nfsclient/nfsm_subs.h>
  75 #include <nfsclient/nfsmount.h>
  76
  77 #include <netinet/in.h>
  78
  79 /*
  80  * Note that stdarg.h and the ANSI style va_start macro is used for both
  81  * ANSI and traditional C compilers.
  82  */
  83 #include <machine/stdarg.h>
  84
  85 #ifdef KDTRACE_HOOKS
  86 dtrace_nfsclient_attrcache_flush_probe_func_t
  87     dtrace_nfsclient_attrcache_flush_done_probe;
  88 uint32_t nfsclient_attrcache_flush_done_id;
  89
  90 dtrace_nfsclient_attrcache_get_hit_probe_func_t
  91     dtrace_nfsclient_attrcache_get_hit_probe;
  92 uint32_t nfsclient_attrcache_get_hit_id;
  93
  94 dtrace_nfsclient_attrcache_get_miss_probe_func_t
  95     dtrace_nfsclient_attrcache_get_miss_probe;
  96 uint32_t nfsclient_attrcache_get_miss_id;
  97
  98 dtrace_nfsclient_attrcache_load_probe_func_t
  99     dtrace_nfsclient_attrcache_load_done_probe;
 100 uint32_t nfsclient_attrcache_load_done_id;
 101 #endif /* !KDTRACE_HOOKS */
 102
 103 /*
 104  * Data items converted to xdr at startup, since they are constant
 105  * This is kinda hokey, but may save a little time doing byte swaps
 106  */
 107 u_int32_t       nfs_xdrneg1;
 108 u_int32_t       nfs_true, nfs_false;
 109
 110 /* And other global data */
 111 static u_int32_t nfs_xid = 0;
 112 static enum vtype nv2tov_type[8]= {
 113         VNON, VREG, VDIR, VBLK, VCHR, VLNK, VNON,  VNON
 114 };
 115
 116 int             nfs_ticks;
 117 int             nfs_pbuf_freecnt = -1;  /* start out unlimited */
 118
 119 struct nfs_bufq nfs_bufq;
 120 static struct mtx nfs_xid_mtx;
 121 struct task     nfs_nfsiodnew_task;
 122
 123 /*
 124  * and the reverse mapping from generic to Version 2 procedure numbers
 125  */
 126 int nfsv2_procid[NFS_NPROCS] = {
 127         NFSV2PROC_NULL,
 128         NFSV2PROC_GETATTR,
 129         NFSV2PROC_SETATTR,
 130         NFSV2PROC_LOOKUP,
 131         NFSV2PROC_NOOP,
 132         NFSV2PROC_READLINK,
 133         NFSV2PROC_READ,
 134         NFSV2PROC_WRITE,
 135         NFSV2PROC_CREATE,
 136         NFSV2PROC_MKDIR,
 137         NFSV2PROC_SYMLINK,
 138         NFSV2PROC_CREATE,
 139         NFSV2PROC_REMOVE,
 140         NFSV2PROC_RMDIR,
 141         NFSV2PROC_RENAME,
 142         NFSV2PROC_LINK,
 143         NFSV2PROC_READDIR,
 144         NFSV2PROC_NOOP,
 145         NFSV2PROC_STATFS,
 146         NFSV2PROC_NOOP,
 147         NFSV2PROC_NOOP,
 148         NFSV2PROC_NOOP,
 149         NFSV2PROC_NOOP,
 150 };
 151
 152 LIST_HEAD(nfsnodehashhead, nfsnode);
 153
 154 u_int32_t
 155 nfs_xid_gen(void)
 156 {
 157         uint32_t xid;
 158
 159         mtx_lock(&nfs_xid_mtx);
 160
 161         /* Get a pretty random xid to start with */
 162         if (!nfs_xid)
 163                 nfs_xid = random();
 164         /*
 165          * Skip zero xid if it should ever happen.
 166          */
 167         if (++nfs_xid == 0)
 168                 nfs_xid++;
 169         xid = nfs_xid;
 170         mtx_unlock(&nfs_xid_mtx);
 171         return xid;
 172 }
 173
 174 /*
 175  * Create the header for an rpc request packet
 176  * The hsiz is the size of the rest of the nfs request header.
 177  * (just used to decide if a cluster is a good idea)
 178  */
 179 struct mbuf *
 180 nfsm_reqhead(struct vnode *vp, u_long procid, int hsiz)
 181 {
 182         struct mbuf *mb;
 183
 184         MGET(mb, M_WAIT, MT_DATA);
 185         if (hsiz >= MINCLSIZE)
 186                 MCLGET(mb, M_WAIT);
 187         mb->m_len = 0;
 188         return (mb);
 189 }
 190
 191 /*
 192  * copies a uio scatter/gather list to an mbuf chain.
 193  * NOTE: can ony handle iovcnt == 1
 194  */
 195 int
 196 nfsm_uiotombuf(struct uio *uiop, struct mbuf **mq, int siz, caddr_t *bpos)
 197 {
 198         char *uiocp;
 199         struct mbuf *mp, *mp2;
 200         int xfer, left, mlen;
 201         int uiosiz, clflg, rem;
 202         char *cp;
 203
 204         KASSERT(uiop->uio_iovcnt == 1, ("nfsm_uiotombuf: iovcnt != 1"));
 205
 206         if (siz > MLEN)         /* or should it >= MCLBYTES ?? */
 207                 clflg = 1;
 208         else
 209                 clflg = 0;
 210         rem = nfsm_rndup(siz)-siz;
 211         mp = mp2 = *mq;
 212         while (siz > 0) {
 213                 left = uiop->uio_iov->iov_len;
 214                 uiocp = uiop->uio_iov->iov_base;
 215                 if (left > siz)
 216                         left = siz;
 217                 uiosiz = left;
 218                 while (left > 0) {
 219                         mlen = M_TRAILINGSPACE(mp);
 220                         if (mlen == 0) {
 221                                 MGET(mp, M_WAIT, MT_DATA);
 222                                 if (clflg)
 223                                         MCLGET(mp, M_WAIT);
 224                                 mp->m_len = 0;
 225                                 mp2->m_next = mp;
 226                                 mp2 = mp;
 227                                 mlen = M_TRAILINGSPACE(mp);
 228                         }
 229                         xfer = (left > mlen) ? mlen : left;
 230 #ifdef notdef
 231                         /* Not Yet.. */
 232                         if (uiop->uio_iov->iov_op != NULL)
 233                                 (*(uiop->uio_iov->iov_op))
 234                                 (uiocp, mtod(mp, caddr_t)+mp->m_len, xfer);
 235                         else
 236 #endif
 237                         if (uiop->uio_segflg == UIO_SYSSPACE)
 238                                 bcopy(uiocp, mtod(mp, caddr_t)+mp->m_len, xfer);
 239                         else
 240                                 copyin(uiocp, mtod(mp, caddr_t)+mp->m_len, xfer);
 241                         mp->m_len += xfer;
 242                         left -= xfer;
 243                         uiocp += xfer;
 244                         uiop->uio_offset += xfer;
 245                         uiop->uio_resid -= xfer;
 246                 }
 247                 uiop->uio_iov->iov_base =
 248                     (char *)uiop->uio_iov->iov_base + uiosiz;
 249                 uiop->uio_iov->iov_len -= uiosiz;
 250                 siz -= uiosiz;
 251         }
 252         if (rem > 0) {
 253                 if (rem > M_TRAILINGSPACE(mp)) {
 254                         MGET(mp, M_WAIT, MT_DATA);
 255                         mp->m_len = 0;
 256                         mp2->m_next = mp;
 257                 }
 258                 cp = mtod(mp, caddr_t)+mp->m_len;
 259                 for (left = 0; left < rem; left++)
 260                         *cp++ = '\0';
 261                 mp->m_len += rem;
 262                 *bpos = cp;
 263         } else
 264                 *bpos = mtod(mp, caddr_t)+mp->m_len;
 265         *mq = mp;
 266         return (0);
 267 }
 268
 269 /*
 270  * Copy a string into mbufs for the hard cases...
 271  */
 272 int
 273 nfsm_strtmbuf(struct mbuf **mb, char **bpos, const char *cp, long siz)
 274 {
 275         struct mbuf *m1 = NULL, *m2;
 276         long left, xfer, len, tlen;
 277         u_int32_t *tl;
 278         int putsize;
 279
 280         putsize = 1;
 281         m2 = *mb;
 282         left = M_TRAILINGSPACE(m2);
 283         if (left > 0) {
 284                 tl = ((u_int32_t *)(*bpos));
 285                 *tl++ = txdr_unsigned(siz);
 286                 putsize = 0;
 287                 left -= NFSX_UNSIGNED;
 288                 m2->m_len += NFSX_UNSIGNED;
 289                 if (left > 0) {
 290                         bcopy(cp, (caddr_t) tl, left);
 291                         siz -= left;
 292                         cp += left;
 293                         m2->m_len += left;
 294                         left = 0;
 295                 }
 296         }
 297         /* Loop around adding mbufs */
 298         while (siz > 0) {
 299                 MGET(m1, M_WAIT, MT_DATA);
 300                 if (siz > MLEN)
 301                         MCLGET(m1, M_WAIT);
 302                 m1->m_len = NFSMSIZ(m1);
 303                 m2->m_next = m1;
 304                 m2 = m1;
 305                 tl = mtod(m1, u_int32_t *);
 306                 tlen = 0;
 307                 if (putsize) {
 308                         *tl++ = txdr_unsigned(siz);
 309                         m1->m_len -= NFSX_UNSIGNED;
 310                         tlen = NFSX_UNSIGNED;
 311                         putsize = 0;
 312                 }
 313                 if (siz < m1->m_len) {
 314                         len = nfsm_rndup(siz);
 315                         xfer = siz;
 316                         if (xfer < len)
 317                                 *(tl+(xfer>>2)) = 0;
 318                 } else {
 319                         xfer = len = m1->m_len;
 320                 }
 321                 bcopy(cp, (caddr_t) tl, xfer);
 322                 m1->m_len = len+tlen;
 323                 siz -= xfer;
 324                 cp += xfer;
 325         }
 326         *mb = m1;
 327         *bpos = mtod(m1, caddr_t)+m1->m_len;
 328         return (0);
 329 }
 330
 331 /*
 332  * Called once to initialize data structures...
 333  */
 334 int
 335 nfs_init(struct vfsconf *vfsp)
 336 {
 337         int i;
 338
 339         nfsmount_zone = uma_zcreate("NFSMOUNT", sizeof(struct nfsmount),
 340             NULL, NULL, NULL, NULL, UMA_ALIGN_PTR, 0);
 341         nfs_true = txdr_unsigned(TRUE);
 342         nfs_false = txdr_unsigned(FALSE);
 343         nfs_xdrneg1 = txdr_unsigned(-1);
 344         nfs_ticks = (hz * NFS_TICKINTVL + 500) / 1000;
 345         if (nfs_ticks < 1)
 346                 nfs_ticks = 1;
 347         /* Ensure async daemons disabled */
 348         for (i = 0; i < NFS_MAXASYNCDAEMON; i++) {
 349                 nfs_iodwant[i] = NFSIOD_NOT_AVAILABLE;
 350                 nfs_iodmount[i] = NULL;
 351         }
 352         nfs_nhinit();                   /* Init the nfsnode table */
 353
 354         /*
 355          * Initialize reply list and start timer
 356          */
 357         mtx_init(&nfs_iod_mtx, "NFS iod lock", NULL, MTX_DEF);
 358         mtx_init(&nfs_xid_mtx, "NFS xid lock", NULL, MTX_DEF);
 359         TASK_INIT(&nfs_nfsiodnew_task, 0, nfs_nfsiodnew_tq, NULL);
 360
 361         nfs_pbuf_freecnt = nswbuf / 2 + 1;
 362
 363         return (0);
 364 }
 365
 366 int
 367 nfs_uninit(struct vfsconf *vfsp)
 368 {
 369         int i;
 370
 371         /*
 372          * Tell all nfsiod processes to exit. Clear nfs_iodmax, and wakeup
 373          * any sleeping nfsiods so they check nfs_iodmax and exit.
 374          * Drain nfsiodnew task before we wait for them to finish.
 375          */
 376         mtx_lock(&nfs_iod_mtx);
 377         nfs_iodmax = 0;
 378         mtx_unlock(&nfs_iod_mtx);
 379         taskqueue_drain(taskqueue_thread, &nfs_nfsiodnew_task);
 380         mtx_lock(&nfs_iod_mtx);
 381         for (i = 0; i < nfs_numasync; i++)
 382                 if (nfs_iodwant[i] == NFSIOD_AVAILABLE)
 383                         wakeup(&nfs_iodwant[i]);
 384         /* The last nfsiod to exit will wake us up when nfs_numasync hits 0 */
 385         while (nfs_numasync)
 386                 msleep(&nfs_numasync, &nfs_iod_mtx, PWAIT, "ioddie", 0);
 387         mtx_unlock(&nfs_iod_mtx);
 388         nfs_nhuninit();
 389         uma_zdestroy(nfsmount_zone);
 390         return (0);
 391 }
 392
 393 void
 394 nfs_dircookie_lock(struct nfsnode *np)
 395 {
 396         mtx_lock(&np->n_mtx);
 397         while (np->n_flag & NDIRCOOKIELK)
 398                 (void) msleep(&np->n_flag, &np->n_mtx, PZERO, "nfsdirlk", 0);
 399         np->n_flag |= NDIRCOOKIELK;
 400         mtx_unlock(&np->n_mtx);
 401 }
 402
 403 void
 404 nfs_dircookie_unlock(struct nfsnode *np)
 405 {
 406         mtx_lock(&np->n_mtx);
 407         np->n_flag &= ~NDIRCOOKIELK;
 408         wakeup(&np->n_flag);
 409         mtx_unlock(&np->n_mtx);
 410 }
 411
 412 int
 413 nfs_upgrade_vnlock(struct vnode *vp)
 414 {
 415         int old_lock;
 416
 417         ASSERT_VOP_LOCKED(vp, "nfs_upgrade_vnlock");
 418         old_lock = VOP_ISLOCKED(vp);
 419         if (old_lock != LK_EXCLUSIVE) {
 420                 KASSERT(old_lock == LK_SHARED,
 421                     ("nfs_upgrade_vnlock: wrong old_lock %d", old_lock));
 422                 /* Upgrade to exclusive lock, this might block */
 423                 vn_lock(vp, LK_UPGRADE | LK_RETRY);
 424         }
 425         return (old_lock);
 426 }
 427
 428 void
 429 nfs_downgrade_vnlock(struct vnode *vp, int old_lock)
 430 {
 431         if (old_lock != LK_EXCLUSIVE) {
 432                 KASSERT(old_lock == LK_SHARED, ("wrong old_lock %d", old_lock));
 433                 /* Downgrade from exclusive lock. */
 434                 vn_lock(vp, LK_DOWNGRADE | LK_RETRY);
 435         }
 436 }
 437
 438 void
 439 nfs_printf(const char *fmt, ...)
 440 {
 441         va_list ap;
 442
 443         mtx_lock(&Giant);
 444         va_start(ap, fmt);
 445         vprintf(fmt, ap);
 446         va_end(ap);
 447         mtx_unlock(&Giant);
 448 }
 449
 450 /*
 451  * Attribute cache routines.
 452  * nfs_loadattrcache() - loads or updates the cache contents from attributes
 453  *      that are on the mbuf list
 454  * nfs_getattrcache() - returns valid attributes if found in cache, returns
 455  *      error otherwise
 456  */
 457
 458 /*
 459  * Load the attribute cache (that lives in the nfsnode entry) with
 460  * the values on the mbuf list and
 461  * Iff vap not NULL
 462  *    copy the attributes to *vaper
 463  */
 464 int
 465 nfs_loadattrcache(struct vnode **vpp, struct mbuf **mdp, caddr_t *dposp,
 466                   struct vattr *vaper, int dontshrink)
 467 {
 468         struct vnode *vp = *vpp;
 469         struct vattr *vap;
 470         struct nfs_fattr *fp;
 471         struct nfsnode *np = NULL;
 472         int32_t t1;
 473         caddr_t cp2;
 474         int rdev;
 475         struct mbuf *md;
 476         enum vtype vtyp;
 477         u_short vmode;
 478         struct timespec mtime, mtime_save;
 479         int v3 = NFS_ISV3(vp);
 480         int error = 0;
 481         u_quad_t nsize;
 482         int setnsize;
 483
 484         md = *mdp;
 485         t1 = (mtod(md, caddr_t) + md->m_len) - *dposp;
 486         cp2 = nfsm_disct(mdp, dposp, NFSX_FATTR(v3), t1, M_WAIT);
 487         if (cp2 == NULL) {
 488                 error = EBADRPC;
 489                 goto out;
 490         }
 491         fp = (struct nfs_fattr *)cp2;
 492         if (v3) {
 493                 vtyp = nfsv3tov_type(fp->fa_type);
 494                 vmode = fxdr_unsigned(u_short, fp->fa_mode);
 495                 rdev = makedev(fxdr_unsigned(int, fp->fa3_rdev.specdata1),
 496                         fxdr_unsigned(int, fp->fa3_rdev.specdata2));
 497                 fxdr_nfsv3time(&fp->fa3_mtime, &mtime);
 498         } else {
 499                 vtyp = nfsv2tov_type(fp->fa_type);
 500                 vmode = fxdr_unsigned(u_short, fp->fa_mode);
 501                 /*
 502                  * XXX
 503                  *
 504                  * The duplicate information returned in fa_type and fa_mode
 505                  * is an ambiguity in the NFS version 2 protocol.
 506                  *
 507                  * VREG should be taken literally as a regular file.  If a
 508                  * server intents to return some type information differently
 509                  * in the upper bits of the mode field (e.g. for sockets, or
 510                  * FIFOs), NFSv2 mandates fa_type to be VNON.  Anyway, we
 511                  * leave the examination of the mode bits even in the VREG
 512                  * case to avoid breakage for bogus servers, but we make sure
 513                  * that there are actually type bits set in the upper part of
 514                  * fa_mode (and failing that, trust the va_type field).
 515                  *
 516                  * NFSv3 cleared the issue, and requires fa_mode to not
 517                  * contain any type information (while also introduing sockets
 518                  * and FIFOs for fa_type).
 519                  */
 520                 if (vtyp == VNON || (vtyp == VREG && (vmode & S_IFMT) != 0))
 521                         vtyp = IFTOVT(vmode);
 522                 rdev = fxdr_unsigned(int32_t, fp->fa2_rdev);
 523                 fxdr_nfsv2time(&fp->fa2_mtime, &mtime);
 524
 525                 /*
 526                  * Really ugly NFSv2 kludge.
 527                  */
 528                 if (vtyp == VCHR && rdev == 0xffffffff)
 529                         vtyp = VFIFO;
 530         }
 531
 532         /*
 533          * If v_type == VNON it is a new node, so fill in the v_type,
 534          * n_mtime fields. Check to see if it represents a special
 535          * device, and if so, check for a possible alias. Once the
 536          * correct vnode has been obtained, fill in the rest of the
 537          * information.
 538          */
 539         np = VTONFS(vp);
 540         mtx_lock(&np->n_mtx);
 541         if (vp->v_type != vtyp) {
 542                 vp->v_type = vtyp;
 543                 if (vp->v_type == VFIFO)
 544                         vp->v_op = &nfs_fifoops;
 545                 np->n_mtime = mtime;
 546         }
 547         vap = &np->n_vattr;
 548         vap->va_type = vtyp;
 549         vap->va_mode = (vmode & 07777);
 550         vap->va_rdev = rdev;
 551         mtime_save = vap->va_mtime;
 552         vap->va_mtime = mtime;
 553         vap->va_fsid = vp->v_mount->mnt_stat.f_fsid.val[0];
 554         if (v3) {
 555                 vap->va_nlink = fxdr_unsigned(u_short, fp->fa_nlink);
 556                 vap->va_uid = fxdr_unsigned(uid_t, fp->fa_uid);
 557                 vap->va_gid = fxdr_unsigned(gid_t, fp->fa_gid);
 558                 vap->va_size = fxdr_hyper(&fp->fa3_size);
 559                 vap->va_blocksize = NFS_FABLKSIZE;
 560                 vap->va_bytes = fxdr_hyper(&fp->fa3_used);
 561                 vap->va_fileid = fxdr_unsigned(int32_t,
 562                     fp->fa3_fileid.nfsuquad[1]);
 563                 fxdr_nfsv3time(&fp->fa3_atime, &vap->va_atime);
 564                 fxdr_nfsv3time(&fp->fa3_ctime, &vap->va_ctime);
 565                 vap->va_flags = 0;
 566                 vap->va_filerev = 0;
 567         } else {
 568                 vap->va_nlink = fxdr_unsigned(u_short, fp->fa_nlink);
 569                 vap->va_uid = fxdr_unsigned(uid_t, fp->fa_uid);
 570                 vap->va_gid = fxdr_unsigned(gid_t, fp->fa_gid);
 571                 vap->va_size = fxdr_unsigned(u_int32_t, fp->fa2_size);
 572                 vap->va_blocksize = fxdr_unsigned(int32_t, fp->fa2_blocksize);
 573                 vap->va_bytes = (u_quad_t)fxdr_unsigned(int32_t, fp->fa2_blocks)
 574                     * NFS_FABLKSIZE;
 575                 vap->va_fileid = fxdr_unsigned(int32_t, fp->fa2_fileid);
 576                 fxdr_nfsv2time(&fp->fa2_atime, &vap->va_atime);
 577                 vap->va_flags = 0;
 578                 vap->va_ctime.tv_sec = fxdr_unsigned(u_int32_t,
 579                     fp->fa2_ctime.nfsv2_sec);
 580                 vap->va_ctime.tv_nsec = 0;
 581                 vap->va_gen = fxdr_unsigned(u_int32_t, fp->fa2_ctime.nfsv2_usec);
 582                 vap->va_filerev = 0;
 583         }
 584         np->n_attrstamp = time_second;
 585         setnsize = 0;
 586         nsize = 0;
 587         if (vap->va_size != np->n_size) {
 588                 if (vap->va_type == VREG) {
 589                         if (dontshrink && vap->va_size < np->n_size) {
 590                                 /*
 591                                  * We've been told not to shrink the file;
 592                                  * zero np->n_attrstamp to indicate that
 593                                  * the attributes are stale.
 594                                  */
 595                                 vap->va_size = np->n_size;
 596                                 np->n_attrstamp = 0;
 597                                 KDTRACE_NFS_ATTRCACHE_FLUSH_DONE(vp);
 598                         } else if (np->n_flag & NMODIFIED) {
 599                                 /*
 600                                  * We've modified the file: Use the larger
 601                                  * of our size, and the server's size.
 602                                  */
 603                                 if (vap->va_size < np->n_size) {
 604                                         vap->va_size = np->n_size;
 605                                 } else {
 606                                         np->n_size = vap->va_size;
 607                                         np->n_flag |= NSIZECHANGED;
 608                                 }
 609                         } else {
 610                                 np->n_size = vap->va_size;
 611                                 np->n_flag |= NSIZECHANGED;
 612                         }
 613                         setnsize = 1;
 614                         nsize = vap->va_size;
 615                 } else {
 616                         np->n_size = vap->va_size;
 617                 }
 618         }
 619         /*
 620          * The following checks are added to prevent a race between (say)
 621          * a READDIR+ and a WRITE.
 622          * READDIR+, WRITE requests sent out.
 623          * READDIR+ resp, WRITE resp received on client.
 624          * However, the WRITE resp was handled before the READDIR+ resp
 625          * causing the post op attrs from the write to be loaded first
 626          * and the attrs from the READDIR+ to be loaded later. If this
 627          * happens, we have stale attrs loaded into the attrcache.
 628          * We detect this by for the mtime moving back. We invalidate the
 629          * attrcache when this happens.
 630          */
 631         if (timespeccmp(&mtime_save, &vap->va_mtime, >)) {
 632                 /* Size changed or mtime went backwards */
 633                 np->n_attrstamp = 0;
 634                 KDTRACE_NFS_ATTRCACHE_FLUSH_DONE(vp);
 635         }
 636         if (vaper != NULL) {
 637                 bcopy((caddr_t)vap, (caddr_t)vaper, sizeof(*vap));
 638                 if (np->n_flag & NCHG) {
 639                         if (np->n_flag & NACC)
 640                                 vaper->va_atime = np->n_atim;
 641                         if (np->n_flag & NUPD)
 642                                 vaper->va_mtime = np->n_mtim;
 643                 }
 644         }
 645
 646 #ifdef KDTRACE_HOOKS
 647         if (np->n_attrstamp != 0)
 648                 KDTRACE_NFS_ATTRCACHE_LOAD_DONE(vp, &np->n_vattr, 0);
 649 #endif
 650         mtx_unlock(&np->n_mtx);
 651         if (setnsize)
 652                 vnode_pager_setsize(vp, nsize);
 653 out:
 654 #ifdef KDTRACE_HOOKS
 655         if (error)
 656                 KDTRACE_NFS_ATTRCACHE_LOAD_DONE(vp, NULL, error);
 657 #endif
 658         return (error);
 659 }
 660
 661 #ifdef NFS_ACDEBUG
 662 #include <sys/sysctl.h>
 663 SYSCTL_DECL(_vfs_oldnfs);
 664 static int nfs_acdebug;
 665 SYSCTL_INT(_vfs_oldnfs, OID_AUTO, acdebug, CTLFLAG_RW, &nfs_acdebug, 0,
 666     "Toggle acdebug (attribute cache debug) flag");
 667 #endif
 668
 669 /*
 670  * Check the time stamp
 671  * If the cache is valid, copy contents to *vap and return 0
 672  * otherwise return an error
 673  */
 674 int
 675 nfs_getattrcache(struct vnode *vp, struct vattr *vaper)
 676 {
 677         struct nfsnode *np;
 678         struct vattr *vap;
 679         struct nfsmount *nmp;
 680         int timeo;
 681
 682         np = VTONFS(vp);
 683         vap = &np->n_vattr;
 684         nmp = VFSTONFS(vp->v_mount);
 685 #ifdef NFS_ACDEBUG
 686         mtx_lock(&Giant);       /* nfs_printf() */
 687 #endif
 688         mtx_lock(&np->n_mtx);
 689         /* XXX n_mtime doesn't seem to be updated on a miss-and-reload */
 690         timeo = (time_second - np->n_mtime.tv_sec) / 10;
 691
 692 #ifdef NFS_ACDEBUG
 693         if (nfs_acdebug>1)
 694                 nfs_printf("nfs_getattrcache: initial timeo = %d\n", timeo);
 695 #endif
 696
 697         if (vap->va_type == VDIR) {
 698                 if ((np->n_flag & NMODIFIED) || timeo < nmp->nm_acdirmin)
 699                         timeo = nmp->nm_acdirmin;
 700                 else if (timeo > nmp->nm_acdirmax)
 701                         timeo = nmp->nm_acdirmax;
 702         } else {
 703                 if ((np->n_flag & NMODIFIED) || timeo < nmp->nm_acregmin)
 704                         timeo = nmp->nm_acregmin;
 705                 else if (timeo > nmp->nm_acregmax)
 706                         timeo = nmp->nm_acregmax;
 707         }
 708
 709 #ifdef NFS_ACDEBUG
 710         if (nfs_acdebug > 2)
 711                 nfs_printf("acregmin %d; acregmax %d; acdirmin %d; acdirmax %d\n",
 712                            nmp->nm_acregmin, nmp->nm_acregmax,
 713                            nmp->nm_acdirmin, nmp->nm_acdirmax);
 714
 715         if (nfs_acdebug)
 716                 nfs_printf("nfs_getattrcache: age = %d; final timeo = %d\n",
 717                            (time_second - np->n_attrstamp), timeo);
 718 #endif
 719
 720         if ((time_second - np->n_attrstamp) >= timeo) {
 721                 nfsstats.attrcache_misses++;
 722                 mtx_unlock(&np->n_mtx);
 723 #ifdef NFS_ACDEBUG
 724                 mtx_unlock(&Giant);     /* nfs_printf() */
 725 #endif
 726                 KDTRACE_NFS_ATTRCACHE_GET_MISS(vp);
 727                 return (ENOENT);
 728         }
 729         nfsstats.attrcache_hits++;
 730         if (vap->va_size != np->n_size) {
 731                 if (vap->va_type == VREG) {
 732                         if (np->n_flag & NMODIFIED) {
 733                                 if (vap->va_size < np->n_size)
 734                                         vap->va_size = np->n_size;
 735                                 else
 736                                         np->n_size = vap->va_size;
 737                         } else {
 738                                 np->n_size = vap->va_size;
 739                         }
 740                         vnode_pager_setsize(vp, np->n_size);
 741                 } else {
 742                         np->n_size = vap->va_size;
 743                 }
 744         }
 745         bcopy((caddr_t)vap, (caddr_t)vaper, sizeof(struct vattr));
 746         if (np->n_flag & NCHG) {
 747                 if (np->n_flag & NACC)
 748                         vaper->va_atime = np->n_atim;
 749                 if (np->n_flag & NUPD)
 750                         vaper->va_mtime = np->n_mtim;
 751         }
 752         mtx_unlock(&np->n_mtx);
 753 #ifdef NFS_ACDEBUG
 754         mtx_unlock(&Giant);     /* nfs_printf() */
 755 #endif
 756         KDTRACE_NFS_ATTRCACHE_GET_HIT(vp, vap);
 757         return (0);
 758 }
 759
 760 /*
 761  * Purge all cached information about an NFS vnode including name
 762  * cache entries, the attribute cache, and the access cache.  This is
 763  * called when an NFS request for a node fails with a stale
 764  * filehandle.
 765  */
 766 void
 767 nfs_purgecache(struct vnode *vp)
 768 {
 769         struct nfsnode *np;
 770         int i;
 771
 772         np = VTONFS(vp);
 773         cache_purge(vp);
 774         mtx_lock(&np->n_mtx);
 775         np->n_attrstamp = 0;
 776         KDTRACE_NFS_ATTRCACHE_FLUSH_DONE(vp);
 777         for (i = 0; i < NFS_ACCESSCACHESIZE; i++)
 778                 np->n_accesscache[i].stamp = 0;
 779         KDTRACE_NFS_ACCESSCACHE_FLUSH_DONE(vp);
 780         mtx_unlock(&np->n_mtx);
 781 }
 782
 783 static nfsuint64 nfs_nullcookie = { { 0, 0 } };
 784 /*
 785  * This function finds the directory cookie that corresponds to the
 786  * logical byte offset given.
 787  */
 788 nfsuint64 *
 789 nfs_getcookie(struct nfsnode *np, off_t off, int add)
 790 {
 791         struct nfsdmap *dp, *dp2;
 792         int pos;
 793         nfsuint64 *retval = NULL;
 794
 795         pos = (uoff_t)off / NFS_DIRBLKSIZ;
 796         if (pos == 0 || off < 0) {
 797                 KASSERT(!add, ("nfs getcookie add at <= 0"));
 798                 return (&nfs_nullcookie);
 799         }
 800         pos--;
 801         dp = LIST_FIRST(&np->n_cookies);
 802         if (!dp) {
 803                 if (add) {
 804                         dp = malloc(sizeof (struct nfsdmap),
 805                                 M_NFSDIROFF, M_WAITOK);
 806                         dp->ndm_eocookie = 0;
 807                         LIST_INSERT_HEAD(&np->n_cookies, dp, ndm_list);
 808                 } else
 809                         goto out;
 810         }
 811         while (pos >= NFSNUMCOOKIES) {
 812                 pos -= NFSNUMCOOKIES;
 813                 if (LIST_NEXT(dp, ndm_list)) {
 814                         if (!add && dp->ndm_eocookie < NFSNUMCOOKIES &&
 815                             pos >= dp->ndm_eocookie)
 816                                 goto out;
 817                         dp = LIST_NEXT(dp, ndm_list);
 818                 } else if (add) {
 819                         dp2 = malloc(sizeof (struct nfsdmap),
 820                                 M_NFSDIROFF, M_WAITOK);
 821                         dp2->ndm_eocookie = 0;
 822                         LIST_INSERT_AFTER(dp, dp2, ndm_list);
 823                         dp = dp2;
 824                 } else
 825                         goto out;
 826         }
 827         if (pos >= dp->ndm_eocookie) {
 828                 if (add)
 829                         dp->ndm_eocookie = pos + 1;
 830                 else
 831                         goto out;
 832         }
 833         retval = &dp->ndm_cookies[pos];
 834 out:
 835         return (retval);
 836 }
 837
 838 /*
 839  * Invalidate cached directory information, except for the actual directory
 840  * blocks (which are invalidated separately).
 841  * Done mainly to avoid the use of stale offset cookies.
 842  */
 843 void
 844 nfs_invaldir(struct vnode *vp)
 845 {
 846         struct nfsnode *np = VTONFS(vp);
 847
 848         KASSERT(vp->v_type == VDIR, ("nfs: invaldir not dir"));
 849         nfs_dircookie_lock(np);
 850         np->n_direofoffset = 0;
 851         np->n_cookieverf.nfsuquad[0] = 0;
 852         np->n_cookieverf.nfsuquad[1] = 0;
 853         if (LIST_FIRST(&np->n_cookies))
 854                 LIST_FIRST(&np->n_cookies)->ndm_eocookie = 0;
 855         nfs_dircookie_unlock(np);
 856 }
 857
 858 /*
 859  * The write verifier has changed (probably due to a server reboot), so all
 860  * B_NEEDCOMMIT blocks will have to be written again. Since they are on the
 861  * dirty block list as B_DELWRI, all this takes is clearing the B_NEEDCOMMIT
 862  * and B_CLUSTEROK flags.  Once done the new write verifier can be set for the
 863  * mount point.
 864  *
 865  * B_CLUSTEROK must be cleared along with B_NEEDCOMMIT because stage 1 data
 866  * writes are not clusterable.
 867  */
 868 void
 869 nfs_clearcommit(struct mount *mp)
 870 {
 871         struct vnode *vp, *nvp;
 872         struct buf *bp, *nbp;
 873         struct bufobj *bo;
 874
 875         MNT_VNODE_FOREACH_ALL(vp, mp, nvp) {
 876                 bo = &vp->v_bufobj;
 877                 vholdl(vp);
 878                 VI_UNLOCK(vp);
 879                 BO_LOCK(bo);
 880                 TAILQ_FOREACH_SAFE(bp, &bo->bo_dirty.bv_hd, b_bobufs, nbp) {
 881                         if (!BUF_ISLOCKED(bp) &&
 882                             (bp->b_flags & (B_DELWRI | B_NEEDCOMMIT))
 883                                 == (B_DELWRI | B_NEEDCOMMIT))
 884                                 bp->b_flags &= ~(B_NEEDCOMMIT | B_CLUSTEROK);
 885                 }
 886                 BO_UNLOCK(bo);
 887                 vdrop(vp);
 888         }
 889 }
 890
 891 /*
 892  * Helper functions for former macros.  Some of these should be
 893  * moved to their callers.
 894  */
 895
 896 int
 897 nfsm_mtofh_xx(struct vnode *d, struct vnode **v, int v3, int *f,
 898     struct mbuf **md, caddr_t *dpos)
 899 {
 900         struct nfsnode *ttnp;
 901         struct vnode *ttvp;
 902         nfsfh_t *ttfhp;
 903         u_int32_t *tl;
 904         int ttfhsize;
 905         int t1;
 906
 907         if (v3) {
 908                 tl = nfsm_dissect_xx(NFSX_UNSIGNED, md, dpos);
 909                 if (tl == NULL)
 910                         return EBADRPC;
 911                 *f = fxdr_unsigned(int, *tl);
 912         } else
 913                 *f = 1;
 914         if (*f) {
 915                 t1 = nfsm_getfh_xx(&ttfhp, &ttfhsize, (v3), md, dpos);
 916                 if (t1 != 0)
 917                         return t1;
 918                 t1 = nfs_nget(d->v_mount, ttfhp, ttfhsize, &ttnp, LK_EXCLUSIVE);
 919                 if (t1 != 0)
 920                         return t1;
 921                 *v = NFSTOV(ttnp);
 922         }
 923         if (v3) {
 924                 tl = nfsm_dissect_xx(NFSX_UNSIGNED, md, dpos);
 925                 if (tl == NULL)
 926                         return EBADRPC;
 927                 if (*f)
 928                         *f = fxdr_unsigned(int, *tl);
 929                 else if (fxdr_unsigned(int, *tl))
 930                         nfsm_adv_xx(NFSX_V3FATTR, md, dpos);
 931         }
 932         if (*f) {
 933                 ttvp = *v;
 934                 t1 = nfs_loadattrcache(&ttvp, md, dpos, NULL, 0);
 935                 if (t1)
 936                         return t1;
 937                 *v = ttvp;
 938         }
 939         return 0;
 940 }
 941
 942 int
 943 nfsm_getfh_xx(nfsfh_t **f, int *s, int v3, struct mbuf **md, caddr_t *dpos)
 944 {
 945         u_int32_t *tl;
 946
 947         if (v3) {
 948                 tl = nfsm_dissect_xx(NFSX_UNSIGNED, md, dpos);
 949                 if (tl == NULL)
 950                         return EBADRPC;
 951                 *s = fxdr_unsigned(int, *tl);
 952                 if (*s <= 0 || *s > NFSX_V3FHMAX)
 953                         return EBADRPC;
 954         } else
 955                 *s = NFSX_V2FH;
 956         *f = nfsm_dissect_xx(nfsm_rndup(*s), md, dpos);
 957         if (*f == NULL)
 958                 return EBADRPC;
 959         else
 960                 return 0;
 961 }
 962
 963
 964 int
 965 nfsm_loadattr_xx(struct vnode **v, struct vattr *va, struct mbuf **md,
 966                  caddr_t *dpos)
 967 {
 968         int t1;
 969
 970         struct vnode *ttvp = *v;
 971         t1 = nfs_loadattrcache(&ttvp, md, dpos, va, 0);
 972         if (t1 != 0)
 973                 return t1;
 974         *v = ttvp;
 975         return 0;
 976 }
 977
 978 int
 979 nfsm_postop_attr_xx(struct vnode **v, int *f, struct vattr *va,
 980                     struct mbuf **md, caddr_t *dpos)
 981 {
 982         u_int32_t *tl;
 983         int t1;
 984
 985         struct vnode *ttvp = *v;
 986         tl = nfsm_dissect_xx(NFSX_UNSIGNED, md, dpos);
 987         if (tl == NULL)
 988                 return EBADRPC;
 989         *f = fxdr_unsigned(int, *tl);
 990         if (*f != 0) {
 991                 t1 = nfs_loadattrcache(&ttvp, md, dpos, va, 1);
 992                 if (t1 != 0) {
 993                         *f = 0;
 994                         return t1;
 995                 }
 996                 *v = ttvp;
 997         }
 998         return 0;
 999 }
1000
1001 int
1002 nfsm_wcc_data_xx(struct vnode **v, int *f, struct mbuf **md, caddr_t *dpos)
1003 {
1004         u_int32_t *tl;
1005         int ttattrf, ttretf = 0;
1006         int t1;
1007
1008         tl = nfsm_dissect_xx(NFSX_UNSIGNED, md, dpos);
1009         if (tl == NULL)
1010                 return EBADRPC;
1011         if (*tl == nfs_true) {
1012                 tl = nfsm_dissect_xx(6 * NFSX_UNSIGNED, md, dpos);
1013                 if (tl == NULL)
1014                         return EBADRPC;
1015                 mtx_lock(&(VTONFS(*v))->n_mtx);
1016                 if (*f)
1017                         ttretf = (VTONFS(*v)->n_mtime.tv_sec == fxdr_unsigned(u_int32_t, *(tl + 2)) &&
1018                                   VTONFS(*v)->n_mtime.tv_nsec == fxdr_unsigned(u_int32_t, *(tl + 3)));
1019                 mtx_unlock(&(VTONFS(*v))->n_mtx);
1020         }
1021         t1 = nfsm_postop_attr_xx(v, &ttattrf, NULL, md, dpos);
1022         if (t1)
1023                 return t1;
1024         if (*f)
1025                 *f = ttretf;
1026         else
1027                 *f = ttattrf;
1028         return 0;
1029 }
1030
1031 int
1032 nfsm_strtom_xx(const char *a, int s, int m, struct mbuf **mb, caddr_t *bpos)
1033 {
1034         u_int32_t *tl;
1035         int t1;
1036
1037         if (s > m)
1038                 return ENAMETOOLONG;
1039         t1 = nfsm_rndup(s) + NFSX_UNSIGNED;
1040         if (t1 <= M_TRAILINGSPACE(*mb)) {
1041                 tl = nfsm_build_xx(t1, mb, bpos);
1042                 *tl++ = txdr_unsigned(s);
1043                 *(tl + ((t1 >> 2) - 2)) = 0;
1044                 bcopy(a, tl, s);
1045         } else {
1046                 t1 = nfsm_strtmbuf(mb, bpos, a, s);
1047                 if (t1 != 0)
1048                         return t1;
1049         }
1050         return 0;
1051 }
1052
1053 int
1054 nfsm_fhtom_xx(struct vnode *v, int v3, struct mbuf **mb, caddr_t *bpos)
1055 {
1056         u_int32_t *tl;
1057         int t1;
1058         caddr_t cp;
1059
1060         if (v3) {
1061                 t1 = nfsm_rndup(VTONFS(v)->n_fhsize) + NFSX_UNSIGNED;
1062                 if (t1 < M_TRAILINGSPACE(*mb)) {
1063                         tl = nfsm_build_xx(t1, mb, bpos);
1064                         *tl++ = txdr_unsigned(VTONFS(v)->n_fhsize);
1065                         *(tl + ((t1 >> 2) - 2)) = 0;
1066                         bcopy(VTONFS(v)->n_fhp, tl, VTONFS(v)->n_fhsize);
1067                 } else {
1068                         t1 = nfsm_strtmbuf(mb, bpos,
1069                             (const char *)VTONFS(v)->n_fhp,
1070                             VTONFS(v)->n_fhsize);
1071                         if (t1 != 0)
1072                                 return t1;
1073                 }
1074         } else {
1075                 cp = nfsm_build_xx(NFSX_V2FH, mb, bpos);
1076                 bcopy(VTONFS(v)->n_fhp, cp, NFSX_V2FH);
1077         }
1078         return 0;
1079 }
1080
1081 void
1082 nfsm_v3attrbuild_xx(struct vattr *va, int full, struct mbuf **mb,
1083     caddr_t *bpos)
1084 {
1085         u_int32_t *tl;
1086
1087         if (va->va_mode != (mode_t)VNOVAL) {
1088                 tl = nfsm_build_xx(2 * NFSX_UNSIGNED, mb, bpos);
1089                 *tl++ = nfs_true;
1090                 *tl = txdr_unsigned(va->va_mode);
1091         } else {
1092                 tl = nfsm_build_xx(NFSX_UNSIGNED, mb, bpos);
1093                 *tl = nfs_false;
1094         }
1095         if (full && va->va_uid != (uid_t)VNOVAL) {
1096                 tl = nfsm_build_xx(2 * NFSX_UNSIGNED, mb, bpos);
1097                 *tl++ = nfs_true;
1098                 *tl = txdr_unsigned(va->va_uid);
1099         } else {
1100                 tl = nfsm_build_xx(NFSX_UNSIGNED, mb, bpos);
1101                 *tl = nfs_false;
1102         }
1103         if (full && va->va_gid != (gid_t)VNOVAL) {
1104                 tl = nfsm_build_xx(2 * NFSX_UNSIGNED, mb, bpos);
1105                 *tl++ = nfs_true;
1106                 *tl = txdr_unsigned(va->va_gid);
1107         } else {
1108                 tl = nfsm_build_xx(NFSX_UNSIGNED, mb, bpos);
1109                 *tl = nfs_false;
1110         }
1111         if (full && va->va_size != VNOVAL) {
1112                 tl = nfsm_build_xx(3 * NFSX_UNSIGNED, mb, bpos);
1113                 *tl++ = nfs_true;
1114                 txdr_hyper(va->va_size, tl);
1115         } else {
1116                 tl = nfsm_build_xx(NFSX_UNSIGNED, mb, bpos);
1117                 *tl = nfs_false;
1118         }
1119         if (va->va_atime.tv_sec != VNOVAL) {
1120                 if ((va->va_vaflags & VA_UTIMES_NULL) == 0) {
1121                         tl = nfsm_build_xx(3 * NFSX_UNSIGNED, mb, bpos);
1122                         *tl++ = txdr_unsigned(NFSV3SATTRTIME_TOCLIENT);
1123                         txdr_nfsv3time(&va->va_atime, tl);
1124                 } else {
1125                         tl = nfsm_build_xx(NFSX_UNSIGNED, mb, bpos);
1126                         *tl = txdr_unsigned(NFSV3SATTRTIME_TOSERVER);
1127                 }
1128         } else {
1129                 tl = nfsm_build_xx(NFSX_UNSIGNED, mb, bpos);
1130                 *tl = txdr_unsigned(NFSV3SATTRTIME_DONTCHANGE);
1131         }
1132         if (va->va_mtime.tv_sec != VNOVAL) {
1133                 if ((va->va_vaflags & VA_UTIMES_NULL) == 0) {
1134                         tl = nfsm_build_xx(3 * NFSX_UNSIGNED, mb, bpos);
1135                         *tl++ = txdr_unsigned(NFSV3SATTRTIME_TOCLIENT);
1136                         txdr_nfsv3time(&va->va_mtime, tl);
1137                 } else {
1138                         tl = nfsm_build_xx(NFSX_UNSIGNED, mb, bpos);
1139                         *tl = txdr_unsigned(NFSV3SATTRTIME_TOSERVER);
1140                 }
1141         } else {
1142                 tl = nfsm_build_xx(NFSX_UNSIGNED, mb, bpos);
1143                 *tl = txdr_unsigned(NFSV3SATTRTIME_DONTCHANGE);
1144         }
1145 }