sys/contrib/openzfs/module/zfs/zfs_log.c

   1 /*
   2  * CDDL HEADER START
   3  *
   4  * The contents of this file are subject to the terms of the
   5  * Common Development and Distribution License (the "License").
   6  * You may not use this file except in compliance with the License.
   7  *
   8  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
   9  * or https://opensource.org/licenses/CDDL-1.0.
  10  * See the License for the specific language governing permissions
  11  * and limitations under the License.
  12  *
  13  * When distributing Covered Code, include this CDDL HEADER in each
  14  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
  15  * If applicable, add the following below this CDDL HEADER, with the
  16  * fields enclosed by brackets "[]" replaced with your own identifying
  17  * information: Portions Copyright [yyyy] [name of copyright owner]
  18  *
  19  * CDDL HEADER END
  20  */
  21 /*
  22  * Copyright (c) 2005, 2010, Oracle and/or its affiliates. All rights reserved.
  23  * Copyright (c) 2015, 2018 by Delphix. All rights reserved.
  24  * Copyright (c) 2022 by Pawel Jakub Dawidek
  25  */
  26
  27
  28 #include <sys/types.h>
  29 #include <sys/param.h>
  30 #include <sys/sysmacros.h>
  31 #include <sys/cmn_err.h>
  32 #include <sys/kmem.h>
  33 #include <sys/thread.h>
  34 #include <sys/file.h>
  35 #include <sys/vfs.h>
  36 #include <sys/zfs_znode.h>
  37 #include <sys/zfs_dir.h>
  38 #include <sys/zil.h>
  39 #include <sys/zil_impl.h>
  40 #include <sys/byteorder.h>
  41 #include <sys/policy.h>
  42 #include <sys/stat.h>
  43 #include <sys/acl.h>
  44 #include <sys/dmu.h>
  45 #include <sys/dbuf.h>
  46 #include <sys/spa.h>
  47 #include <sys/zfs_fuid.h>
  48 #include <sys/dsl_dataset.h>
  49
  50 /*
  51  * These zfs_log_* functions must be called within a dmu tx, in one
  52  * of 2 contexts depending on zilog->z_replay:
  53  *
  54  * Non replay mode
  55  * ---------------
  56  * We need to record the transaction so that if it is committed to
  57  * the Intent Log then it can be replayed.  An intent log transaction
  58  * structure (itx_t) is allocated and all the information necessary to
  59  * possibly replay the transaction is saved in it. The itx is then assigned
  60  * a sequence number and inserted in the in-memory list anchored in the zilog.
  61  *
  62  * Replay mode
  63  * -----------
  64  * We need to mark the intent log record as replayed in the log header.
  65  * This is done in the same transaction as the replay so that they
  66  * commit atomically.
  67  */
  68
  69 int
  70 zfs_log_create_txtype(zil_create_t type, vsecattr_t *vsecp, vattr_t *vap)
  71 {
  72         int isxvattr = (vap->va_mask & ATTR_XVATTR);
  73         switch (type) {
  74         case Z_FILE:
  75                 if (vsecp == NULL && !isxvattr)
  76                         return (TX_CREATE);
  77                 if (vsecp && isxvattr)
  78                         return (TX_CREATE_ACL_ATTR);
  79                 if (vsecp)
  80                         return (TX_CREATE_ACL);
  81                 else
  82                         return (TX_CREATE_ATTR);
  83         case Z_DIR:
  84                 if (vsecp == NULL && !isxvattr)
  85                         return (TX_MKDIR);
  86                 if (vsecp && isxvattr)
  87                         return (TX_MKDIR_ACL_ATTR);
  88                 if (vsecp)
  89                         return (TX_MKDIR_ACL);
  90                 else
  91                         return (TX_MKDIR_ATTR);
  92         case Z_XATTRDIR:
  93                 return (TX_MKXATTR);
  94         }
  95         ASSERT(0);
  96         return (TX_MAX_TYPE);
  97 }
  98
  99 /*
 100  * build up the log data necessary for logging xvattr_t
 101  * First lr_attr_t is initialized.  following the lr_attr_t
 102  * is the mapsize and attribute bitmap copied from the xvattr_t.
 103  * Following the bitmap and bitmapsize two 64 bit words are reserved
 104  * for the create time which may be set.  Following the create time
 105  * records a single 64 bit integer which has the bits to set on
 106  * replay for the xvattr.
 107  */
 108 static void
 109 zfs_log_xvattr(lr_attr_t *lrattr, xvattr_t *xvap)
 110 {
 111         xoptattr_t *xoap;
 112
 113         xoap = xva_getxoptattr(xvap);
 114         ASSERT(xoap);
 115
 116         lrattr->lr_attr_masksize = xvap->xva_mapsize;
 117         uint32_t *bitmap = &lrattr->lr_attr_bitmap;
 118         for (int i = 0; i != xvap->xva_mapsize; i++, bitmap++)
 119                 *bitmap = xvap->xva_reqattrmap[i];
 120
 121         lr_attr_end_t *end = (lr_attr_end_t *)bitmap;
 122         end->lr_attr_attrs = 0;
 123         end->lr_attr_crtime[0] = 0;
 124         end->lr_attr_crtime[1] = 0;
 125         memset(end->lr_attr_scanstamp, 0, AV_SCANSTAMP_SZ);
 126
 127         if (XVA_ISSET_REQ(xvap, XAT_READONLY))
 128                 end->lr_attr_attrs |= (xoap->xoa_readonly == 0) ? 0 :
 129                     XAT0_READONLY;
 130         if (XVA_ISSET_REQ(xvap, XAT_HIDDEN))
 131                 end->lr_attr_attrs |= (xoap->xoa_hidden == 0) ? 0 :
 132                     XAT0_HIDDEN;
 133         if (XVA_ISSET_REQ(xvap, XAT_SYSTEM))
 134                 end->lr_attr_attrs |= (xoap->xoa_system == 0) ? 0 :
 135                     XAT0_SYSTEM;
 136         if (XVA_ISSET_REQ(xvap, XAT_ARCHIVE))
 137                 end->lr_attr_attrs |= (xoap->xoa_archive == 0) ? 0 :
 138                     XAT0_ARCHIVE;
 139         if (XVA_ISSET_REQ(xvap, XAT_IMMUTABLE))
 140                 end->lr_attr_attrs |= (xoap->xoa_immutable == 0) ? 0 :
 141                     XAT0_IMMUTABLE;
 142         if (XVA_ISSET_REQ(xvap, XAT_NOUNLINK))
 143                 end->lr_attr_attrs |= (xoap->xoa_nounlink == 0) ? 0 :
 144                     XAT0_NOUNLINK;
 145         if (XVA_ISSET_REQ(xvap, XAT_APPENDONLY))
 146                 end->lr_attr_attrs |= (xoap->xoa_appendonly == 0) ? 0 :
 147                     XAT0_APPENDONLY;
 148         if (XVA_ISSET_REQ(xvap, XAT_OPAQUE))
 149                 end->lr_attr_attrs |= (xoap->xoa_opaque == 0) ? 0 :
 150                     XAT0_APPENDONLY;
 151         if (XVA_ISSET_REQ(xvap, XAT_NODUMP))
 152                 end->lr_attr_attrs |= (xoap->xoa_nodump == 0) ? 0 :
 153                     XAT0_NODUMP;
 154         if (XVA_ISSET_REQ(xvap, XAT_AV_QUARANTINED))
 155                 end->lr_attr_attrs |= (xoap->xoa_av_quarantined == 0) ? 0 :
 156                     XAT0_AV_QUARANTINED;
 157         if (XVA_ISSET_REQ(xvap, XAT_AV_MODIFIED))
 158                 end->lr_attr_attrs |= (xoap->xoa_av_modified == 0) ? 0 :
 159                     XAT0_AV_MODIFIED;
 160         if (XVA_ISSET_REQ(xvap, XAT_CREATETIME))
 161                 ZFS_TIME_ENCODE(&xoap->xoa_createtime, end->lr_attr_crtime);
 162         if (XVA_ISSET_REQ(xvap, XAT_AV_SCANSTAMP)) {
 163                 ASSERT(!XVA_ISSET_REQ(xvap, XAT_PROJID));
 164
 165                 memcpy(end->lr_attr_scanstamp, xoap->xoa_av_scanstamp,
 166                     AV_SCANSTAMP_SZ);
 167         } else if (XVA_ISSET_REQ(xvap, XAT_PROJID)) {
 168                 /*
 169                  * XAT_PROJID and XAT_AV_SCANSTAMP will never be valid
 170                  * at the same time, so we can share the same space.
 171                  */
 172                 memcpy(end->lr_attr_scanstamp, &xoap->xoa_projid,
 173                     sizeof (uint64_t));
 174         }
 175         if (XVA_ISSET_REQ(xvap, XAT_REPARSE))
 176                 end->lr_attr_attrs |= (xoap->xoa_reparse == 0) ? 0 :
 177                     XAT0_REPARSE;
 178         if (XVA_ISSET_REQ(xvap, XAT_OFFLINE))
 179                 end->lr_attr_attrs |= (xoap->xoa_offline == 0) ? 0 :
 180                     XAT0_OFFLINE;
 181         if (XVA_ISSET_REQ(xvap, XAT_SPARSE))
 182                 end->lr_attr_attrs |= (xoap->xoa_sparse == 0) ? 0 :
 183                     XAT0_SPARSE;
 184         if (XVA_ISSET_REQ(xvap, XAT_PROJINHERIT))
 185                 end->lr_attr_attrs |= (xoap->xoa_projinherit == 0) ? 0 :
 186                     XAT0_PROJINHERIT;
 187 }
 188
 189 static void *
 190 zfs_log_fuid_ids(zfs_fuid_info_t *fuidp, void *start)
 191 {
 192         zfs_fuid_t *zfuid;
 193         uint64_t *fuidloc = start;
 194
 195         /* First copy in the ACE FUIDs */
 196         for (zfuid = list_head(&fuidp->z_fuids); zfuid;
 197             zfuid = list_next(&fuidp->z_fuids, zfuid)) {
 198                 *fuidloc++ = zfuid->z_logfuid;
 199         }
 200         return (fuidloc);
 201 }
 202
 203
 204 static void *
 205 zfs_log_fuid_domains(zfs_fuid_info_t *fuidp, void *start)
 206 {
 207         zfs_fuid_domain_t *zdomain;
 208
 209         /* now copy in the domain info, if any */
 210         if (fuidp->z_domain_str_sz != 0) {
 211                 for (zdomain = list_head(&fuidp->z_domains); zdomain;
 212                     zdomain = list_next(&fuidp->z_domains, zdomain)) {
 213                         memcpy(start, zdomain->z_domain,
 214                             strlen(zdomain->z_domain) + 1);
 215                         start = (caddr_t)start +
 216                             strlen(zdomain->z_domain) + 1;
 217                 }
 218         }
 219         return (start);
 220 }
 221
 222 /*
 223  * If zp is an xattr node, check whether the xattr owner is unlinked.
 224  * We don't want to log anything if the owner is unlinked.
 225  */
 226 static int
 227 zfs_xattr_owner_unlinked(znode_t *zp)
 228 {
 229         int unlinked = 0;
 230         znode_t *dzp;
 231 #ifdef __FreeBSD__
 232         znode_t *tzp = zp;
 233
 234         /*
 235          * zrele drops the vnode lock which violates the VOP locking contract
 236          * on FreeBSD. See comment at the top of zfs_replay.c for more detail.
 237          */
 238         /*
 239          * if zp is XATTR node, keep walking up via z_xattr_parent until we
 240          * get the owner
 241          */
 242         while (tzp->z_pflags & ZFS_XATTR) {
 243                 ASSERT3U(zp->z_xattr_parent, !=, 0);
 244                 if (zfs_zget(ZTOZSB(tzp), tzp->z_xattr_parent, &dzp) != 0) {
 245                         unlinked = 1;
 246                         break;
 247                 }
 248
 249                 if (tzp != zp)
 250                         zrele(tzp);
 251                 tzp = dzp;
 252                 unlinked = tzp->z_unlinked;
 253         }
 254         if (tzp != zp)
 255                 zrele(tzp);
 256 #else
 257         zhold(zp);
 258         /*
 259          * if zp is XATTR node, keep walking up via z_xattr_parent until we
 260          * get the owner
 261          */
 262         while (zp->z_pflags & ZFS_XATTR) {
 263                 ASSERT3U(zp->z_xattr_parent, !=, 0);
 264                 if (zfs_zget(ZTOZSB(zp), zp->z_xattr_parent, &dzp) != 0) {
 265                         unlinked = 1;
 266                         break;
 267                 }
 268
 269                 zrele(zp);
 270                 zp = dzp;
 271                 unlinked = zp->z_unlinked;
 272         }
 273         zrele(zp);
 274 #endif
 275         return (unlinked);
 276 }
 277
 278 /*
 279  * Handles TX_CREATE, TX_CREATE_ATTR, TX_MKDIR, TX_MKDIR_ATTR and
 280  * TK_MKXATTR transactions.
 281  *
 282  * TX_CREATE and TX_MKDIR are standard creates, but they may have FUID
 283  * domain information appended prior to the name.  In this case the
 284  * uid/gid in the log record will be a log centric FUID.
 285  *
 286  * TX_CREATE_ACL_ATTR and TX_MKDIR_ACL_ATTR handle special creates that
 287  * may contain attributes, ACL and optional fuid information.
 288  *
 289  * TX_CREATE_ACL and TX_MKDIR_ACL handle special creates that specify
 290  * and ACL and normal users/groups in the ACEs.
 291  *
 292  * There may be an optional xvattr attribute information similar
 293  * to zfs_log_setattr.
 294  *
 295  * Also, after the file name "domain" strings may be appended.
 296  */
 297 void
 298 zfs_log_create(zilog_t *zilog, dmu_tx_t *tx, uint64_t txtype,
 299     znode_t *dzp, znode_t *zp, const char *name, vsecattr_t *vsecp,
 300     zfs_fuid_info_t *fuidp, vattr_t *vap)
 301 {
 302         itx_t *itx;
 303         lr_create_t *lr;
 304         lr_acl_create_t *lracl;
 305         size_t aclsize = 0;
 306         size_t xvatsize = 0;
 307         size_t txsize;
 308         xvattr_t *xvap = (xvattr_t *)vap;
 309         void *end;
 310         size_t lrsize;
 311         size_t namesize = strlen(name) + 1;
 312         size_t fuidsz = 0;
 313
 314         if (zil_replaying(zilog, tx) || zfs_xattr_owner_unlinked(dzp))
 315                 return;
 316
 317         /*
 318          * If we have FUIDs present then add in space for
 319          * domains and ACE fuid's if any.
 320          */
 321         if (fuidp) {
 322                 fuidsz += fuidp->z_domain_str_sz;
 323                 fuidsz += fuidp->z_fuid_cnt * sizeof (uint64_t);
 324         }
 325
 326         if (vap->va_mask & ATTR_XVATTR)
 327                 xvatsize = ZIL_XVAT_SIZE(xvap->xva_mapsize);
 328
 329         if ((int)txtype == TX_CREATE_ATTR || (int)txtype == TX_MKDIR_ATTR ||
 330             (int)txtype == TX_CREATE || (int)txtype == TX_MKDIR ||
 331             (int)txtype == TX_MKXATTR) {
 332                 txsize = sizeof (*lr) + namesize + fuidsz + xvatsize;
 333                 lrsize = sizeof (*lr);
 334         } else {
 335                 txsize =
 336                     sizeof (lr_acl_create_t) + namesize + fuidsz +
 337                     ZIL_ACE_LENGTH(aclsize) + xvatsize;
 338                 lrsize = sizeof (lr_acl_create_t);
 339         }
 340
 341         itx = zil_itx_create(txtype, txsize);
 342
 343         lr = (lr_create_t *)&itx->itx_lr;
 344         lr->lr_doid = dzp->z_id;
 345         lr->lr_foid = zp->z_id;
 346         /* Store dnode slot count in 8 bits above object id. */
 347         LR_FOID_SET_SLOTS(lr->lr_foid, zp->z_dnodesize >> DNODE_SHIFT);
 348         lr->lr_mode = zp->z_mode;
 349         if (!IS_EPHEMERAL(KUID_TO_SUID(ZTOUID(zp)))) {
 350                 lr->lr_uid = (uint64_t)KUID_TO_SUID(ZTOUID(zp));
 351         } else {
 352                 lr->lr_uid = fuidp->z_fuid_owner;
 353         }
 354         if (!IS_EPHEMERAL(KGID_TO_SGID(ZTOGID(zp)))) {
 355                 lr->lr_gid = (uint64_t)KGID_TO_SGID(ZTOGID(zp));
 356         } else {
 357                 lr->lr_gid = fuidp->z_fuid_group;
 358         }
 359         (void) sa_lookup(zp->z_sa_hdl, SA_ZPL_GEN(ZTOZSB(zp)), &lr->lr_gen,
 360             sizeof (uint64_t));
 361         (void) sa_lookup(zp->z_sa_hdl, SA_ZPL_CRTIME(ZTOZSB(zp)),
 362             lr->lr_crtime, sizeof (uint64_t) * 2);
 363
 364         if (sa_lookup(zp->z_sa_hdl, SA_ZPL_RDEV(ZTOZSB(zp)), &lr->lr_rdev,
 365             sizeof (lr->lr_rdev)) != 0)
 366                 lr->lr_rdev = 0;
 367
 368         /*
 369          * Fill in xvattr info if any
 370          */
 371         if (vap->va_mask & ATTR_XVATTR) {
 372                 zfs_log_xvattr((lr_attr_t *)((caddr_t)lr + lrsize), xvap);
 373                 end = (caddr_t)lr + lrsize + xvatsize;
 374         } else {
 375                 end = (caddr_t)lr + lrsize;
 376         }
 377
 378         /* Now fill in any ACL info */
 379
 380         if (vsecp) {
 381                 lracl = (lr_acl_create_t *)&itx->itx_lr;
 382                 lracl->lr_aclcnt = vsecp->vsa_aclcnt;
 383                 lracl->lr_acl_bytes = aclsize;
 384                 lracl->lr_domcnt = fuidp ? fuidp->z_domain_cnt : 0;
 385                 lracl->lr_fuidcnt  = fuidp ? fuidp->z_fuid_cnt : 0;
 386                 if (vsecp->vsa_aclflags & VSA_ACE_ACLFLAGS)
 387                         lracl->lr_acl_flags = (uint64_t)vsecp->vsa_aclflags;
 388                 else
 389                         lracl->lr_acl_flags = 0;
 390
 391                 memcpy(end, vsecp->vsa_aclentp, aclsize);
 392                 end = (caddr_t)end + ZIL_ACE_LENGTH(aclsize);
 393         }
 394
 395         /* drop in FUID info */
 396         if (fuidp) {
 397                 end = zfs_log_fuid_ids(fuidp, end);
 398                 end = zfs_log_fuid_domains(fuidp, end);
 399         }
 400         /*
 401          * Now place file name in log record
 402          */
 403         memcpy(end, name, namesize);
 404
 405         zil_itx_assign(zilog, itx, tx);
 406 }
 407
 408 /*
 409  * Handles both TX_REMOVE and TX_RMDIR transactions.
 410  */
 411 void
 412 zfs_log_remove(zilog_t *zilog, dmu_tx_t *tx, uint64_t txtype,
 413     znode_t *dzp, const char *name, uint64_t foid, boolean_t unlinked)
 414 {
 415         itx_t *itx;
 416         lr_remove_t *lr;
 417         size_t namesize = strlen(name) + 1;
 418
 419         if (zil_replaying(zilog, tx) || zfs_xattr_owner_unlinked(dzp))
 420                 return;
 421
 422         itx = zil_itx_create(txtype, sizeof (*lr) + namesize);
 423         lr = (lr_remove_t *)&itx->itx_lr;
 424         lr->lr_doid = dzp->z_id;
 425         memcpy(lr + 1, name, namesize);
 426
 427         itx->itx_oid = foid;
 428
 429         /*
 430          * Object ids can be re-instantiated in the next txg so
 431          * remove any async transactions to avoid future leaks.
 432          * This can happen if a fsync occurs on the re-instantiated
 433          * object for a WR_INDIRECT or WR_NEED_COPY write, which gets
 434          * the new file data and flushes a write record for the old object.
 435          */
 436         if (unlinked) {
 437                 ASSERT((txtype & ~TX_CI) == TX_REMOVE);
 438                 zil_remove_async(zilog, foid);
 439         }
 440         zil_itx_assign(zilog, itx, tx);
 441 }
 442
 443 /*
 444  * Handles TX_LINK transactions.
 445  */
 446 void
 447 zfs_log_link(zilog_t *zilog, dmu_tx_t *tx, uint64_t txtype,
 448     znode_t *dzp, znode_t *zp, const char *name)
 449 {
 450         itx_t *itx;
 451         lr_link_t *lr;
 452         size_t namesize = strlen(name) + 1;
 453
 454         if (zil_replaying(zilog, tx))
 455                 return;
 456
 457         itx = zil_itx_create(txtype, sizeof (*lr) + namesize);
 458         lr = (lr_link_t *)&itx->itx_lr;
 459         lr->lr_doid = dzp->z_id;
 460         lr->lr_link_obj = zp->z_id;
 461         memcpy(lr + 1, name, namesize);
 462
 463         zil_itx_assign(zilog, itx, tx);
 464 }
 465
 466 /*
 467  * Handles TX_SYMLINK transactions.
 468  */
 469 void
 470 zfs_log_symlink(zilog_t *zilog, dmu_tx_t *tx, uint64_t txtype,
 471     znode_t *dzp, znode_t *zp, const char *name, const char *link)
 472 {
 473         itx_t *itx;
 474         lr_create_t *lr;
 475         size_t namesize = strlen(name) + 1;
 476         size_t linksize = strlen(link) + 1;
 477
 478         if (zil_replaying(zilog, tx))
 479                 return;
 480
 481         itx = zil_itx_create(txtype, sizeof (*lr) + namesize + linksize);
 482         lr = (lr_create_t *)&itx->itx_lr;
 483         lr->lr_doid = dzp->z_id;
 484         lr->lr_foid = zp->z_id;
 485         lr->lr_uid = KUID_TO_SUID(ZTOUID(zp));
 486         lr->lr_gid = KGID_TO_SGID(ZTOGID(zp));
 487         lr->lr_mode = zp->z_mode;
 488         (void) sa_lookup(zp->z_sa_hdl, SA_ZPL_GEN(ZTOZSB(zp)), &lr->lr_gen,
 489             sizeof (uint64_t));
 490         (void) sa_lookup(zp->z_sa_hdl, SA_ZPL_CRTIME(ZTOZSB(zp)),
 491             lr->lr_crtime, sizeof (uint64_t) * 2);
 492         memcpy((char *)(lr + 1), name, namesize);
 493         memcpy((char *)(lr + 1) + namesize, link, linksize);
 494
 495         zil_itx_assign(zilog, itx, tx);
 496 }
 497
 498 static void
 499 do_zfs_log_rename(zilog_t *zilog, dmu_tx_t *tx, uint64_t txtype, znode_t *sdzp,
 500     const char *sname, znode_t *tdzp, const char *dname, znode_t *szp)
 501 {
 502         itx_t *itx;
 503         lr_rename_t *lr;
 504         size_t snamesize = strlen(sname) + 1;
 505         size_t dnamesize = strlen(dname) + 1;
 506
 507         if (zil_replaying(zilog, tx))
 508                 return;
 509
 510         itx = zil_itx_create(txtype, sizeof (*lr) + snamesize + dnamesize);
 511         lr = (lr_rename_t *)&itx->itx_lr;
 512         lr->lr_sdoid = sdzp->z_id;
 513         lr->lr_tdoid = tdzp->z_id;
 514         memcpy((char *)(lr + 1), sname, snamesize);
 515         memcpy((char *)(lr + 1) + snamesize, dname, dnamesize);
 516         itx->itx_oid = szp->z_id;
 517
 518         zil_itx_assign(zilog, itx, tx);
 519 }
 520
 521 /*
 522  * Handles TX_RENAME transactions.
 523  */
 524 void
 525 zfs_log_rename(zilog_t *zilog, dmu_tx_t *tx, uint64_t txtype, znode_t *sdzp,
 526     const char *sname, znode_t *tdzp, const char *dname, znode_t *szp)
 527 {
 528         txtype |= TX_RENAME;
 529         do_zfs_log_rename(zilog, tx, txtype, sdzp, sname, tdzp, dname, szp);
 530 }
 531
 532 /*
 533  * Handles TX_RENAME_EXCHANGE transactions.
 534  */
 535 void
 536 zfs_log_rename_exchange(zilog_t *zilog, dmu_tx_t *tx, uint64_t txtype,
 537     znode_t *sdzp, const char *sname, znode_t *tdzp, const char *dname,
 538     znode_t *szp)
 539 {
 540         txtype |= TX_RENAME_EXCHANGE;
 541         do_zfs_log_rename(zilog, tx, txtype, sdzp, sname, tdzp, dname, szp);
 542 }
 543
 544 /*
 545  * Handles TX_RENAME_WHITEOUT transactions.
 546  *
 547  * Unfortunately we cannot reuse do_zfs_log_rename because we we need to call
 548  * zfs_mknode() on replay which requires stashing bits as with TX_CREATE.
 549  */
 550 void
 551 zfs_log_rename_whiteout(zilog_t *zilog, dmu_tx_t *tx, uint64_t txtype,
 552     znode_t *sdzp, const char *sname, znode_t *tdzp, const char *dname,
 553     znode_t *szp, znode_t *wzp)
 554 {
 555         itx_t *itx;
 556         lr_rename_whiteout_t *lr;
 557         size_t snamesize = strlen(sname) + 1;
 558         size_t dnamesize = strlen(dname) + 1;
 559
 560         if (zil_replaying(zilog, tx))
 561                 return;
 562
 563         txtype |= TX_RENAME_WHITEOUT;
 564         itx = zil_itx_create(txtype, sizeof (*lr) + snamesize + dnamesize);
 565         lr = (lr_rename_whiteout_t *)&itx->itx_lr;
 566         lr->lr_rename.lr_sdoid = sdzp->z_id;
 567         lr->lr_rename.lr_tdoid = tdzp->z_id;
 568
 569         /*
 570          * RENAME_WHITEOUT will create an entry at the source znode, so we need
 571          * to store the same data that the equivalent call to zfs_log_create()
 572          * would.
 573          */
 574         lr->lr_wfoid = wzp->z_id;
 575         LR_FOID_SET_SLOTS(lr->lr_wfoid, wzp->z_dnodesize >> DNODE_SHIFT);
 576         (void) sa_lookup(wzp->z_sa_hdl, SA_ZPL_GEN(ZTOZSB(wzp)), &lr->lr_wgen,
 577             sizeof (uint64_t));
 578         (void) sa_lookup(wzp->z_sa_hdl, SA_ZPL_CRTIME(ZTOZSB(wzp)),
 579             lr->lr_wcrtime, sizeof (uint64_t) * 2);
 580         lr->lr_wmode = wzp->z_mode;
 581         lr->lr_wuid = (uint64_t)KUID_TO_SUID(ZTOUID(wzp));
 582         lr->lr_wgid = (uint64_t)KGID_TO_SGID(ZTOGID(wzp));
 583
 584         /*
 585          * This rdev will always be makdevice(0, 0) but because the ZIL log and
 586          * replay code needs to be platform independent (and there is no
 587          * platform independent makdev()) we need to copy the one created
 588          * during the rename operation.
 589          */
 590         (void) sa_lookup(wzp->z_sa_hdl, SA_ZPL_RDEV(ZTOZSB(wzp)), &lr->lr_wrdev,
 591             sizeof (lr->lr_wrdev));
 592
 593         memcpy((char *)(lr + 1), sname, snamesize);
 594         memcpy((char *)(lr + 1) + snamesize, dname, dnamesize);
 595         itx->itx_oid = szp->z_id;
 596
 597         zil_itx_assign(zilog, itx, tx);
 598 }
 599
 600 /*
 601  * zfs_log_write() handles TX_WRITE transactions. The specified callback is
 602  * called as soon as the write is on stable storage (be it via a DMU sync or a
 603  * ZIL commit).
 604  */
 605 static int64_t zfs_immediate_write_sz = 32768;
 606
 607 void
 608 zfs_log_write(zilog_t *zilog, dmu_tx_t *tx, int txtype,
 609     znode_t *zp, offset_t off, ssize_t resid, int ioflag,
 610     zil_callback_t callback, void *callback_data)
 611 {
 612         dmu_buf_impl_t *db = (dmu_buf_impl_t *)sa_get_db(zp->z_sa_hdl);
 613         uint32_t blocksize = zp->z_blksz;
 614         itx_wr_state_t write_state;
 615         uintptr_t fsync_cnt;
 616         uint64_t gen = 0;
 617         ssize_t size = resid;
 618
 619         if (zil_replaying(zilog, tx) || zp->z_unlinked ||
 620             zfs_xattr_owner_unlinked(zp)) {
 621                 if (callback != NULL)
 622                         callback(callback_data);
 623                 return;
 624         }
 625
 626         if (zilog->zl_logbias == ZFS_LOGBIAS_THROUGHPUT)
 627                 write_state = WR_INDIRECT;
 628         else if (!spa_has_slogs(zilog->zl_spa) &&
 629             resid >= zfs_immediate_write_sz)
 630                 write_state = WR_INDIRECT;
 631         else if (ioflag & (O_SYNC | O_DSYNC))
 632                 write_state = WR_COPIED;
 633         else
 634                 write_state = WR_NEED_COPY;
 635
 636         if ((fsync_cnt = (uintptr_t)tsd_get(zfs_fsyncer_key)) != 0) {
 637                 (void) tsd_set(zfs_fsyncer_key, (void *)(fsync_cnt - 1));
 638         }
 639
 640         (void) sa_lookup(zp->z_sa_hdl, SA_ZPL_GEN(ZTOZSB(zp)), &gen,
 641             sizeof (gen));
 642
 643         while (resid) {
 644                 itx_t *itx;
 645                 lr_write_t *lr;
 646                 itx_wr_state_t wr_state = write_state;
 647                 ssize_t len = resid;
 648
 649                 /*
 650                  * A WR_COPIED record must fit entirely in one log block.
 651                  * Large writes can use WR_NEED_COPY, which the ZIL will
 652                  * split into multiple records across several log blocks
 653                  * if necessary.
 654                  */
 655                 if (wr_state == WR_COPIED &&
 656                     resid > zil_max_copied_data(zilog))
 657                         wr_state = WR_NEED_COPY;
 658                 else if (wr_state == WR_INDIRECT)
 659                         len = MIN(blocksize - P2PHASE(off, blocksize), resid);
 660
 661                 itx = zil_itx_create(txtype, sizeof (*lr) +
 662                     (wr_state == WR_COPIED ? len : 0));
 663                 lr = (lr_write_t *)&itx->itx_lr;
 664
 665                 /*
 666                  * For WR_COPIED records, copy the data into the lr_write_t.
 667                  */
 668                 if (wr_state == WR_COPIED) {
 669                         int err;
 670                         DB_DNODE_ENTER(db);
 671                         err = dmu_read_by_dnode(DB_DNODE(db), off, len, lr + 1,
 672                             DMU_READ_NO_PREFETCH);
 673                         if (err != 0) {
 674                                 zil_itx_destroy(itx);
 675                                 itx = zil_itx_create(txtype, sizeof (*lr));
 676                                 lr = (lr_write_t *)&itx->itx_lr;
 677                                 wr_state = WR_NEED_COPY;
 678                         }
 679                         DB_DNODE_EXIT(db);
 680                 }
 681
 682                 itx->itx_wr_state = wr_state;
 683                 lr->lr_foid = zp->z_id;
 684                 lr->lr_offset = off;
 685                 lr->lr_length = len;
 686                 lr->lr_blkoff = 0;
 687                 BP_ZERO(&lr->lr_blkptr);
 688
 689                 itx->itx_private = ZTOZSB(zp);
 690                 itx->itx_gen = gen;
 691
 692                 if (!(ioflag & (O_SYNC | O_DSYNC)) && (zp->z_sync_cnt == 0) &&
 693                     (fsync_cnt == 0))
 694                         itx->itx_sync = B_FALSE;
 695
 696                 itx->itx_callback = callback;
 697                 itx->itx_callback_data = callback_data;
 698                 zil_itx_assign(zilog, itx, tx);
 699
 700                 off += len;
 701                 resid -= len;
 702         }
 703
 704         if (write_state == WR_COPIED || write_state == WR_NEED_COPY) {
 705                 dsl_pool_wrlog_count(zilog->zl_dmu_pool, size, tx->tx_txg);
 706         }
 707 }
 708
 709 /*
 710  * Handles TX_TRUNCATE transactions.
 711  */
 712 void
 713 zfs_log_truncate(zilog_t *zilog, dmu_tx_t *tx, int txtype,
 714     znode_t *zp, uint64_t off, uint64_t len)
 715 {
 716         itx_t *itx;
 717         lr_truncate_t *lr;
 718
 719         if (zil_replaying(zilog, tx) || zp->z_unlinked ||
 720             zfs_xattr_owner_unlinked(zp))
 721                 return;
 722
 723         itx = zil_itx_create(txtype, sizeof (*lr));
 724         lr = (lr_truncate_t *)&itx->itx_lr;
 725         lr->lr_foid = zp->z_id;
 726         lr->lr_offset = off;
 727         lr->lr_length = len;
 728
 729         itx->itx_sync = (zp->z_sync_cnt != 0);
 730         zil_itx_assign(zilog, itx, tx);
 731 }
 732
 733 /*
 734  * Handles TX_SETATTR transactions.
 735  */
 736 void
 737 zfs_log_setattr(zilog_t *zilog, dmu_tx_t *tx, int txtype,
 738     znode_t *zp, vattr_t *vap, uint_t mask_applied, zfs_fuid_info_t *fuidp)
 739 {
 740         itx_t           *itx;
 741         lr_setattr_t    *lr;
 742         xvattr_t        *xvap = (xvattr_t *)vap;
 743         size_t          recsize = sizeof (lr_setattr_t);
 744         void            *start;
 745
 746         if (zil_replaying(zilog, tx) || zp->z_unlinked)
 747                 return;
 748
 749         /*
 750          * If XVATTR set, then log record size needs to allow
 751          * for lr_attr_t + xvattr mask, mapsize and create time
 752          * plus actual attribute values
 753          */
 754         if (vap->va_mask & ATTR_XVATTR)
 755                 recsize = sizeof (*lr) + ZIL_XVAT_SIZE(xvap->xva_mapsize);
 756
 757         if (fuidp)
 758                 recsize += fuidp->z_domain_str_sz;
 759
 760         itx = zil_itx_create(txtype, recsize);
 761         lr = (lr_setattr_t *)&itx->itx_lr;
 762         lr->lr_foid = zp->z_id;
 763         lr->lr_mask = (uint64_t)mask_applied;
 764         lr->lr_mode = (uint64_t)vap->va_mode;
 765         if ((mask_applied & ATTR_UID) && IS_EPHEMERAL(vap->va_uid))
 766                 lr->lr_uid = fuidp->z_fuid_owner;
 767         else
 768                 lr->lr_uid = (uint64_t)vap->va_uid;
 769
 770         if ((mask_applied & ATTR_GID) && IS_EPHEMERAL(vap->va_gid))
 771                 lr->lr_gid = fuidp->z_fuid_group;
 772         else
 773                 lr->lr_gid = (uint64_t)vap->va_gid;
 774
 775         lr->lr_size = (uint64_t)vap->va_size;
 776         ZFS_TIME_ENCODE(&vap->va_atime, lr->lr_atime);
 777         ZFS_TIME_ENCODE(&vap->va_mtime, lr->lr_mtime);
 778         start = (lr_setattr_t *)(lr + 1);
 779         if (vap->va_mask & ATTR_XVATTR) {
 780                 zfs_log_xvattr((lr_attr_t *)start, xvap);
 781                 start = (caddr_t)start + ZIL_XVAT_SIZE(xvap->xva_mapsize);
 782         }
 783
 784         /*
 785          * Now stick on domain information if any on end
 786          */
 787
 788         if (fuidp)
 789                 (void) zfs_log_fuid_domains(fuidp, start);
 790
 791         itx->itx_sync = (zp->z_sync_cnt != 0);
 792         zil_itx_assign(zilog, itx, tx);
 793 }
 794
 795 /*
 796  * Handles TX_SETSAXATTR transactions.
 797  */
 798 void
 799 zfs_log_setsaxattr(zilog_t *zilog, dmu_tx_t *tx, int txtype,
 800     znode_t *zp, const char *name, const void *value, size_t size)
 801 {
 802         itx_t           *itx;
 803         lr_setsaxattr_t *lr;
 804         size_t          recsize = sizeof (lr_setsaxattr_t);
 805         void            *xattrstart;
 806         int             namelen;
 807
 808         if (zil_replaying(zilog, tx) || zp->z_unlinked)
 809                 return;
 810
 811         namelen = strlen(name) + 1;
 812         recsize += (namelen + size);
 813         itx = zil_itx_create(txtype, recsize);
 814         lr = (lr_setsaxattr_t *)&itx->itx_lr;
 815         lr->lr_foid = zp->z_id;
 816         xattrstart = (char *)(lr + 1);
 817         memcpy(xattrstart, name, namelen);
 818         if (value != NULL) {
 819                 memcpy((char *)xattrstart + namelen, value, size);
 820                 lr->lr_size = size;
 821         } else {
 822                 lr->lr_size = 0;
 823         }
 824
 825         itx->itx_sync = (zp->z_sync_cnt != 0);
 826         zil_itx_assign(zilog, itx, tx);
 827 }
 828
 829 /*
 830  * Handles TX_ACL transactions.
 831  */
 832 void
 833 zfs_log_acl(zilog_t *zilog, dmu_tx_t *tx, znode_t *zp,
 834     vsecattr_t *vsecp, zfs_fuid_info_t *fuidp)
 835 {
 836         itx_t *itx;
 837         lr_acl_v0_t *lrv0;
 838         lr_acl_t *lr;
 839         int txtype;
 840         int lrsize;
 841         size_t txsize;
 842         size_t aclbytes = vsecp->vsa_aclentsz;
 843
 844         if (zil_replaying(zilog, tx) || zp->z_unlinked)
 845                 return;
 846
 847         txtype = (ZTOZSB(zp)->z_version < ZPL_VERSION_FUID) ?
 848             TX_ACL_V0 : TX_ACL;
 849
 850         if (txtype == TX_ACL)
 851                 lrsize = sizeof (*lr);
 852         else
 853                 lrsize = sizeof (*lrv0);
 854
 855         txsize = lrsize +
 856             ((txtype == TX_ACL) ? ZIL_ACE_LENGTH(aclbytes) : aclbytes) +
 857             (fuidp ? fuidp->z_domain_str_sz : 0) +
 858             sizeof (uint64_t) * (fuidp ? fuidp->z_fuid_cnt : 0);
 859
 860         itx = zil_itx_create(txtype, txsize);
 861
 862         lr = (lr_acl_t *)&itx->itx_lr;
 863         lr->lr_foid = zp->z_id;
 864         if (txtype == TX_ACL) {
 865                 lr->lr_acl_bytes = aclbytes;
 866                 lr->lr_domcnt = fuidp ? fuidp->z_domain_cnt : 0;
 867                 lr->lr_fuidcnt = fuidp ? fuidp->z_fuid_cnt : 0;
 868                 if (vsecp->vsa_mask & VSA_ACE_ACLFLAGS)
 869                         lr->lr_acl_flags = (uint64_t)vsecp->vsa_aclflags;
 870                 else
 871                         lr->lr_acl_flags = 0;
 872         }
 873         lr->lr_aclcnt = (uint64_t)vsecp->vsa_aclcnt;
 874
 875         if (txtype == TX_ACL_V0) {
 876                 lrv0 = (lr_acl_v0_t *)lr;
 877                 memcpy(lrv0 + 1, vsecp->vsa_aclentp, aclbytes);
 878         } else {
 879                 void *start = (ace_t *)(lr + 1);
 880
 881                 memcpy(start, vsecp->vsa_aclentp, aclbytes);
 882
 883                 start = (caddr_t)start + ZIL_ACE_LENGTH(aclbytes);
 884
 885                 if (fuidp) {
 886                         start = zfs_log_fuid_ids(fuidp, start);
 887                         (void) zfs_log_fuid_domains(fuidp, start);
 888                 }
 889         }
 890
 891         itx->itx_sync = (zp->z_sync_cnt != 0);
 892         zil_itx_assign(zilog, itx, tx);
 893 }
 894
 895 /*
 896  * Handles TX_CLONE_RANGE transactions.
 897  */
 898 void
 899 zfs_log_clone_range(zilog_t *zilog, dmu_tx_t *tx, int txtype, znode_t *zp,
 900     uint64_t off, uint64_t len, uint64_t blksz, const blkptr_t *bps,
 901     size_t nbps)
 902 {
 903         itx_t *itx;
 904         lr_clone_range_t *lr;
 905         uint64_t partlen, max_log_data;
 906         size_t i, partnbps;
 907
 908         if (zil_replaying(zilog, tx) || zp->z_unlinked)
 909                 return;
 910
 911         max_log_data = zil_max_log_data(zilog, sizeof (lr_clone_range_t));
 912
 913         while (nbps > 0) {
 914                 partnbps = MIN(nbps, max_log_data / sizeof (bps[0]));
 915                 partlen = 0;
 916                 for (i = 0; i < partnbps; i++) {
 917                         partlen += BP_GET_LSIZE(&bps[i]);
 918                 }
 919                 partlen = MIN(partlen, len);
 920
 921                 itx = zil_itx_create(txtype,
 922                     sizeof (*lr) + sizeof (bps[0]) * partnbps);
 923                 lr = (lr_clone_range_t *)&itx->itx_lr;
 924                 lr->lr_foid = zp->z_id;
 925                 lr->lr_offset = off;
 926                 lr->lr_length = partlen;
 927                 lr->lr_blksz = blksz;
 928                 lr->lr_nbps = partnbps;
 929                 memcpy(lr->lr_bps, bps, sizeof (bps[0]) * partnbps);
 930
 931                 itx->itx_sync = (zp->z_sync_cnt != 0);
 932
 933                 zil_itx_assign(zilog, itx, tx);
 934
 935                 bps += partnbps;
 936                 ASSERT3U(nbps, >=, partnbps);
 937                 nbps -= partnbps;
 938                 off += partlen;
 939                 ASSERT3U(len, >=, partlen);
 940                 len -= partlen;
 941         }
 942 }
 943
 944 ZFS_MODULE_PARAM(zfs, zfs_, immediate_write_sz, S64, ZMOD_RW,
 945         "Largest data block to write to zil");