bin/dd/dd.c

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1991, 1993, 1994
   5  *      The Regents of the University of California.  All rights reserved.
   6  *
   7  * This code is derived from software contributed to Berkeley by
   8  * Keith Muller of the University of California, San Diego and Lance
   9  * Visser of Convex Computer Corporation.
  10  *
  11  * Redistribution and use in source and binary forms, with or without
  12  * modification, are permitted provided that the following conditions
  13  * are met:
  14  * 1. Redistributions of source code must retain the above copyright
  15  *    notice, this list of conditions and the following disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  * 3. Neither the name of the University nor the names of its contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  */
  35
  36 #if 0
  37 #ifndef lint
  38 static char const copyright[] =
  39 "@(#) Copyright (c) 1991, 1993, 1994\n\
  40         The Regents of the University of California.  All rights reserved.\n";
  41 #endif /* not lint */
  42
  43 #ifndef lint
  44 static char sccsid[] = "@(#)dd.c        8.5 (Berkeley) 4/2/94";
  45 #endif /* not lint */
  46 #endif
  47 #include <sys/cdefs.h>
  48 __FBSDID("$FreeBSD$");
  49
  50 #include <sys/param.h>
  51 #include <sys/stat.h>
  52 #include <sys/capsicum.h>
  53 #include <sys/conf.h>
  54 #include <sys/disklabel.h>
  55 #include <sys/filio.h>
  56 #include <sys/mtio.h>
  57 #include <sys/time.h>
  58
  59 #include <assert.h>
  60 #include <capsicum_helpers.h>
  61 #include <ctype.h>
  62 #include <err.h>
  63 #include <errno.h>
  64 #include <fcntl.h>
  65 #include <inttypes.h>
  66 #include <locale.h>
  67 #include <stdio.h>
  68 #include <stdlib.h>
  69 #include <string.h>
  70 #include <time.h>
  71 #include <unistd.h>
  72
  73 #include "dd.h"
  74 #include "extern.h"
  75
  76 static void dd_close(void);
  77 static void dd_in(void);
  78 static void getfdtype(IO *);
  79 static void setup(void);
  80
  81 IO      in, out;                /* input/output state */
  82 STAT    st;                     /* statistics */
  83 void    (*cfunc)(void);         /* conversion function */
  84 uintmax_t cpy_cnt;              /* # of blocks to copy */
  85 static off_t    pending = 0;    /* pending seek if sparse */
  86 uint64_t        ddflags = 0;    /* conversion options */
  87 size_t  cbsz;                   /* conversion block size */
  88 uintmax_t files_cnt = 1;        /* # of files to copy */
  89 const   u_char *ctab;           /* conversion table */
  90 char    fill_char;              /* Character to fill with if defined */
  91 size_t  speed = 0;              /* maximum speed, in bytes per second */
  92 volatile sig_atomic_t need_summary;
  93 volatile sig_atomic_t need_progress;
  94
  95 int
  96 main(int argc __unused, char *argv[])
  97 {
  98         struct itimerval itv = { { 1, 0 }, { 1, 0 } }; /* SIGALARM every second, if needed */
  99
 100         (void)setlocale(LC_CTYPE, "");
 101         jcl(argv);
 102         setup();
 103
 104         caph_cache_catpages();
 105         if (caph_enter() < 0)
 106                 err(1, "unable to enter capability mode");
 107
 108         (void)signal(SIGINFO, siginfo_handler);
 109         if (ddflags & C_PROGRESS) {
 110                 (void)signal(SIGALRM, sigalarm_handler);
 111                 setitimer(ITIMER_REAL, &itv, NULL);
 112         }
 113         (void)signal(SIGINT, terminate);
 114
 115         atexit(summary);
 116
 117         while (files_cnt--)
 118                 dd_in();
 119
 120         dd_close();
 121         /*
 122          * Some devices such as cfi(4) may perform significant amounts
 123          * of work when a write descriptor is closed.  Close the out
 124          * descriptor explicitly so that the summary handler (called
 125          * from an atexit() hook) includes this work.
 126          */
 127         if (close(out.fd) == -1 && errno != EINTR)
 128                 err(1, "close");
 129         exit(0);
 130 }
 131
 132 static int
 133 parity(u_char c)
 134 {
 135         int i;
 136
 137         i = c ^ (c >> 1) ^ (c >> 2) ^ (c >> 3) ^
 138             (c >> 4) ^ (c >> 5) ^ (c >> 6) ^ (c >> 7);
 139         return (i & 1);
 140 }
 141
 142 static void
 143 setup(void)
 144 {
 145         u_int cnt;
 146         int oflags;
 147         cap_rights_t rights;
 148         unsigned long cmds[] = { FIODTYPE, MTIOCTOP };
 149
 150         if (in.name == NULL) {
 151                 in.name = "stdin";
 152                 in.fd = STDIN_FILENO;
 153         } else {
 154                 in.fd = open(in.name, O_RDONLY, 0);
 155                 if (in.fd == -1)
 156                         err(1, "%s", in.name);
 157         }
 158
 159         getfdtype(&in);
 160
 161         cap_rights_init(&rights, CAP_READ, CAP_SEEK);
 162         if (caph_rights_limit(in.fd, &rights) == -1)
 163                 err(1, "unable to limit capability rights");
 164
 165         if (files_cnt > 1 && !(in.flags & ISTAPE))
 166                 errx(1, "files is not supported for non-tape devices");
 167
 168         cap_rights_set(&rights, CAP_FTRUNCATE, CAP_IOCTL, CAP_WRITE);
 169         if (ddflags & (C_FDATASYNC | C_FSYNC))
 170                 cap_rights_set(&rights, CAP_FSYNC);
 171         if (out.name == NULL) {
 172                 /* No way to check for read access here. */
 173                 out.fd = STDOUT_FILENO;
 174                 out.name = "stdout";
 175                 if (ddflags & C_OFSYNC) {
 176                         oflags = fcntl(out.fd, F_GETFL);
 177                         if (oflags == -1)
 178                                 err(1, "unable to get fd flags for stdout");
 179                         oflags |= O_FSYNC;
 180                         if (fcntl(out.fd, F_SETFL, oflags) == -1)
 181                                 err(1, "unable to set fd flags for stdout");
 182                 }
 183         } else {
 184                 oflags = O_CREAT;
 185                 if (!(ddflags & (C_SEEK | C_NOTRUNC)))
 186                         oflags |= O_TRUNC;
 187                 if (ddflags & C_OFSYNC)
 188                         oflags |= O_FSYNC;
 189                 out.fd = open(out.name, O_RDWR | oflags, DEFFILEMODE);
 190                 /*
 191                  * May not have read access, so try again with write only.
 192                  * Without read we may have a problem if output also does
 193                  * not support seeks.
 194                  */
 195                 if (out.fd == -1) {
 196                         out.fd = open(out.name, O_WRONLY | oflags, DEFFILEMODE);
 197                         out.flags |= NOREAD;
 198                         cap_rights_clear(&rights, CAP_READ);
 199                 }
 200                 if (out.fd == -1)
 201                         err(1, "%s", out.name);
 202         }
 203
 204         getfdtype(&out);
 205
 206         if (caph_rights_limit(out.fd, &rights) == -1)
 207                 err(1, "unable to limit capability rights");
 208         if (caph_ioctls_limit(out.fd, cmds, nitems(cmds)) == -1)
 209                 err(1, "unable to limit capability rights");
 210
 211         if (in.fd != STDIN_FILENO && out.fd != STDIN_FILENO) {
 212                 if (caph_limit_stdin() == -1)
 213                         err(1, "unable to limit capability rights");
 214         }
 215
 216         if (in.fd != STDOUT_FILENO && out.fd != STDOUT_FILENO) {
 217                 if (caph_limit_stdout() == -1)
 218                         err(1, "unable to limit capability rights");
 219         }
 220
 221         if (in.fd != STDERR_FILENO && out.fd != STDERR_FILENO) {
 222                 if (caph_limit_stderr() == -1)
 223                         err(1, "unable to limit capability rights");
 224         }
 225
 226         /*
 227          * Allocate space for the input and output buffers.  If not doing
 228          * record oriented I/O, only need a single buffer.
 229          */
 230         if (!(ddflags & (C_BLOCK | C_UNBLOCK))) {
 231                 if ((in.db = malloc((size_t)out.dbsz + in.dbsz - 1)) == NULL)
 232                         err(1, "input buffer");
 233                 out.db = in.db;
 234         } else if ((in.db = malloc(MAX((size_t)in.dbsz, cbsz) + cbsz)) == NULL ||
 235             (out.db = malloc(out.dbsz + cbsz)) == NULL)
 236                 err(1, "output buffer");
 237
 238         /* dbp is the first free position in each buffer. */
 239         in.dbp = in.db;
 240         out.dbp = out.db;
 241
 242         /* Position the input/output streams. */
 243         if (in.offset)
 244                 pos_in();
 245         if (out.offset)
 246                 pos_out();
 247
 248         /*
 249          * Truncate the output file.  If it fails on a type of output file
 250          * that it should _not_ fail on, error out.
 251          */
 252         if ((ddflags & (C_OF | C_SEEK | C_NOTRUNC)) == (C_OF | C_SEEK) &&
 253             out.flags & ISTRUNC)
 254                 if (ftruncate(out.fd, out.offset * out.dbsz) == -1)
 255                         err(1, "truncating %s", out.name);
 256
 257         if (ddflags & (C_LCASE  | C_UCASE | C_ASCII | C_EBCDIC | C_PARITY)) {
 258                 if (ctab != NULL) {
 259                         for (cnt = 0; cnt <= 0377; ++cnt)
 260                                 casetab[cnt] = ctab[cnt];
 261                 } else {
 262                         for (cnt = 0; cnt <= 0377; ++cnt)
 263                                 casetab[cnt] = cnt;
 264                 }
 265                 if ((ddflags & C_PARITY) && !(ddflags & C_ASCII)) {
 266                         /*
 267                          * If the input is not EBCDIC, and we do parity
 268                          * processing, strip input parity.
 269                          */
 270                         for (cnt = 200; cnt <= 0377; ++cnt)
 271                                 casetab[cnt] = casetab[cnt & 0x7f];
 272                 }
 273                 if (ddflags & C_LCASE) {
 274                         for (cnt = 0; cnt <= 0377; ++cnt)
 275                                 casetab[cnt] = tolower(casetab[cnt]);
 276                 } else if (ddflags & C_UCASE) {
 277                         for (cnt = 0; cnt <= 0377; ++cnt)
 278                                 casetab[cnt] = toupper(casetab[cnt]);
 279                 }
 280                 if ((ddflags & C_PARITY)) {
 281                         /*
 282                          * This should strictly speaking be a no-op, but I
 283                          * wonder what funny LANG settings could get us.
 284                          */
 285                         for (cnt = 0; cnt <= 0377; ++cnt)
 286                                 casetab[cnt] = casetab[cnt] & 0x7f;
 287                 }
 288                 if ((ddflags & C_PARSET)) {
 289                         for (cnt = 0; cnt <= 0377; ++cnt)
 290                                 casetab[cnt] = casetab[cnt] | 0x80;
 291                 }
 292                 if ((ddflags & C_PAREVEN)) {
 293                         for (cnt = 0; cnt <= 0377; ++cnt)
 294                                 if (parity(casetab[cnt]))
 295                                         casetab[cnt] = casetab[cnt] | 0x80;
 296                 }
 297                 if ((ddflags & C_PARODD)) {
 298                         for (cnt = 0; cnt <= 0377; ++cnt)
 299                                 if (!parity(casetab[cnt]))
 300                                         casetab[cnt] = casetab[cnt] | 0x80;
 301                 }
 302
 303                 ctab = casetab;
 304         }
 305
 306         if (clock_gettime(CLOCK_MONOTONIC, &st.start))
 307                 err(1, "clock_gettime");
 308 }
 309
 310 static void
 311 getfdtype(IO *io)
 312 {
 313         struct stat sb;
 314         int type;
 315
 316         if (fstat(io->fd, &sb) == -1)
 317                 err(1, "%s", io->name);
 318         if (S_ISREG(sb.st_mode))
 319                 io->flags |= ISTRUNC;
 320         if (S_ISCHR(sb.st_mode) || S_ISBLK(sb.st_mode)) {
 321                 if (ioctl(io->fd, FIODTYPE, &type) == -1) {
 322                         err(1, "%s", io->name);
 323                 } else {
 324                         if (type & D_TAPE)
 325                                 io->flags |= ISTAPE;
 326                         else if (type & (D_DISK | D_MEM))
 327                                 io->flags |= ISSEEK;
 328                         if (S_ISCHR(sb.st_mode) && (type & D_TAPE) == 0)
 329                                 io->flags |= ISCHR;
 330                 }
 331                 return;
 332         }
 333         errno = 0;
 334         if (lseek(io->fd, (off_t)0, SEEK_CUR) == -1 && errno == ESPIPE)
 335                 io->flags |= ISPIPE;
 336         else
 337                 io->flags |= ISSEEK;
 338 }
 339
 340 /*
 341  * Limit the speed by adding a delay before every block read.
 342  * The delay (t_usleep) is equal to the time computed from block
 343  * size and the specified speed limit (t_target) minus the time
 344  * spent on actual read and write operations (t_io).
 345  */
 346 static void
 347 speed_limit(void)
 348 {
 349         static double t_prev, t_usleep;
 350         double t_now, t_io, t_target;
 351
 352         t_now = secs_elapsed();
 353         t_io = t_now - t_prev - t_usleep;
 354         t_target = (double)in.dbsz / (double)speed;
 355         t_usleep = t_target - t_io;
 356         if (t_usleep > 0)
 357                 usleep(t_usleep * 1000000);
 358         else
 359                 t_usleep = 0;
 360         t_prev = t_now;
 361 }
 362
 363 static void
 364 swapbytes(void *v, size_t len)
 365 {
 366         unsigned char *p = v;
 367         unsigned char t;
 368
 369         while (len > 1) {
 370                 t = p[0];
 371                 p[0] = p[1];
 372                 p[1] = t;
 373                 p += 2;
 374                 len -= 2;
 375         }
 376 }
 377
 378 static void
 379 dd_in(void)
 380 {
 381         ssize_t n;
 382
 383         for (;;) {
 384                 switch (cpy_cnt) {
 385                 case -1:                        /* count=0 was specified */
 386                         return;
 387                 case 0:
 388                         break;
 389                 default:
 390                         if (st.in_full + st.in_part >= (uintmax_t)cpy_cnt)
 391                                 return;
 392                         break;
 393                 }
 394
 395                 if (speed > 0)
 396                         speed_limit();
 397
 398                 /*
 399                  * Zero the buffer first if sync; if doing block operations,
 400                  * use spaces.
 401                  */
 402                 if (ddflags & C_SYNC) {
 403                         if (ddflags & C_FILL)
 404                                 memset(in.dbp, fill_char, in.dbsz);
 405                         else if (ddflags & (C_BLOCK | C_UNBLOCK))
 406                                 memset(in.dbp, ' ', in.dbsz);
 407                         else
 408                                 memset(in.dbp, 0, in.dbsz);
 409                 }
 410
 411                 in.dbrcnt = 0;
 412 fill:
 413                 n = read(in.fd, in.dbp + in.dbrcnt, in.dbsz - in.dbrcnt);
 414
 415                 /* EOF */
 416                 if (n == 0 && in.dbrcnt == 0)
 417                         return;
 418
 419                 /* Read error */
 420                 if (n == -1) {
 421                         /*
 422                          * If noerror not specified, die.  POSIX requires that
 423                          * the warning message be followed by an I/O display.
 424                          */
 425                         if (!(ddflags & C_NOERROR))
 426                                 err(1, "%s", in.name);
 427                         warn("%s", in.name);
 428                         summary();
 429
 430                         /*
 431                          * If it's a seekable file descriptor, seek past the
 432                          * error.  If your OS doesn't do the right thing for
 433                          * raw disks this section should be modified to re-read
 434                          * in sector size chunks.
 435                          */
 436                         if (in.flags & ISSEEK &&
 437                             lseek(in.fd, (off_t)in.dbsz, SEEK_CUR))
 438                                 warn("%s", in.name);
 439
 440                         /* If sync not specified, omit block and continue. */
 441                         if (!(ddflags & C_SYNC))
 442                                 continue;
 443                 }
 444
 445                 /* If conv=sync, use the entire block. */
 446                 if (ddflags & C_SYNC)
 447                         n = in.dbsz;
 448
 449                 /* Count the bytes read for this block. */
 450                 in.dbrcnt += n;
 451
 452                 /* Count the number of full and partial blocks. */
 453                 if (in.dbrcnt == in.dbsz)
 454                         ++st.in_full;
 455                 else if (ddflags & C_IFULLBLOCK && n != 0)
 456                         goto fill; /* these don't count */
 457                 else
 458                         ++st.in_part;
 459
 460                 /* Count the total bytes read for this file. */
 461                 in.dbcnt += in.dbrcnt;
 462
 463                 /*
 464                  * POSIX states that if bs is set and no other conversions
 465                  * than noerror, notrunc or sync are specified, the block
 466                  * is output without buffering as it is read.
 467                  */
 468                 if ((ddflags & ~(C_NOERROR | C_NOTRUNC | C_SYNC)) == C_BS) {
 469                         out.dbcnt = in.dbcnt;
 470                         dd_out(1);
 471                         in.dbcnt = 0;
 472                         continue;
 473                 }
 474
 475                 if (ddflags & C_SWAB) {
 476                         if ((n = in.dbrcnt) & 1) {
 477                                 ++st.swab;
 478                                 --n;
 479                         }
 480                         swapbytes(in.dbp, (size_t)n);
 481                 }
 482
 483                 /* Advance to the next block. */
 484                 in.dbp += in.dbrcnt;
 485                 (*cfunc)();
 486                 if (need_summary)
 487                         summary();
 488                 if (need_progress)
 489                         progress();
 490         }
 491 }
 492
 493 /*
 494  * Clean up any remaining I/O and flush output.  If necessary, the output file
 495  * is truncated.
 496  */
 497 static void
 498 dd_close(void)
 499 {
 500         if (cfunc == def)
 501                 def_close();
 502         else if (cfunc == block)
 503                 block_close();
 504         else if (cfunc == unblock)
 505                 unblock_close();
 506         if (ddflags & C_OSYNC && out.dbcnt && out.dbcnt < out.dbsz) {
 507                 if (ddflags & C_FILL)
 508                         memset(out.dbp, fill_char, out.dbsz - out.dbcnt);
 509                 else if (ddflags & (C_BLOCK | C_UNBLOCK))
 510                         memset(out.dbp, ' ', out.dbsz - out.dbcnt);
 511                 else
 512                         memset(out.dbp, 0, out.dbsz - out.dbcnt);
 513                 out.dbcnt = out.dbsz;
 514         }
 515         if (out.dbcnt || pending)
 516                 dd_out(1);
 517
 518         /*
 519          * If the file ends with a hole, ftruncate it to extend its size
 520          * up to the end of the hole (without having to write any data).
 521          */
 522         if (out.seek_offset > 0 && (out.flags & ISTRUNC)) {
 523                 if (ftruncate(out.fd, out.seek_offset) == -1)
 524                         err(1, "truncating %s", out.name);
 525         }
 526
 527         if (ddflags & C_FSYNC) {
 528                 if (fsync(out.fd) == -1)
 529                         err(1, "fsyncing %s", out.name);
 530         } else if (ddflags & C_FDATASYNC) {
 531                 if (fdatasync(out.fd) == -1)
 532                         err(1, "fdatasyncing %s", out.name);
 533         }
 534 }
 535
 536 void
 537 dd_out(int force)
 538 {
 539         u_char *outp;
 540         size_t cnt, n;
 541         ssize_t nw;
 542         static int warned;
 543         int sparse;
 544
 545         /*
 546          * Write one or more blocks out.  The common case is writing a full
 547          * output block in a single write; increment the full block stats.
 548          * Otherwise, we're into partial block writes.  If a partial write,
 549          * and it's a character device, just warn.  If a tape device, quit.
 550          *
 551          * The partial writes represent two cases.  1: Where the input block
 552          * was less than expected so the output block was less than expected.
 553          * 2: Where the input block was the right size but we were forced to
 554          * write the block in multiple chunks.  The original versions of dd(1)
 555          * never wrote a block in more than a single write, so the latter case
 556          * never happened.
 557          *
 558          * One special case is if we're forced to do the write -- in that case
 559          * we play games with the buffer size, and it's usually a partial write.
 560          */
 561         outp = out.db;
 562
 563         /*
 564          * If force, first try to write all pending data, else try to write
 565          * just one block. Subsequently always write data one full block at
 566          * a time at most.
 567          */
 568         for (n = force ? out.dbcnt : out.dbsz;; n = out.dbsz) {
 569                 cnt = n;
 570                 do {
 571                         sparse = 0;
 572                         if (ddflags & C_SPARSE) {
 573                                 /* Is buffer sparse? */
 574                                 sparse = BISZERO(outp, cnt);
 575                         }
 576                         if (sparse && !force) {
 577                                 pending += cnt;
 578                                 nw = cnt;
 579                         } else {
 580                                 if (pending != 0) {
 581                                         /*
 582                                          * Seek past hole.  Note that we need to record the
 583                                          * reached offset, because we might have no more data
 584                                          * to write, in which case we'll need to call
 585                                          * ftruncate to extend the file size.
 586                                          */
 587                                         out.seek_offset = lseek(out.fd, pending, SEEK_CUR);
 588                                         if (out.seek_offset == -1)
 589                                                 err(2, "%s: seek error creating sparse file",
 590                                                     out.name);
 591                                         pending = 0;
 592                                 }
 593                                 if (cnt) {
 594                                         nw = write(out.fd, outp, cnt);
 595                                         out.seek_offset = 0;
 596                                 } else {
 597                                         return;
 598                                 }
 599                         }
 600
 601                         if (nw <= 0) {
 602                                 if (nw == 0)
 603                                         errx(1, "%s: end of device", out.name);
 604                                 if (errno != EINTR)
 605                                         err(1, "%s", out.name);
 606                                 nw = 0;
 607                         }
 608
 609                         outp += nw;
 610                         st.bytes += nw;
 611
 612                         if ((size_t)nw == n && n == (size_t)out.dbsz)
 613                                 ++st.out_full;
 614                         else
 615                                 ++st.out_part;
 616
 617                         if ((size_t) nw != cnt) {
 618                                 if (out.flags & ISTAPE)
 619                                         errx(1, "%s: short write on tape device",
 620                                         out.name);
 621                                 if (out.flags & ISCHR && !warned) {
 622                                         warned = 1;
 623                                         warnx("%s: short write on character device",
 624                                         out.name);
 625                                 }
 626                         }
 627
 628                         cnt -= nw;
 629                 } while (cnt != 0);
 630
 631                 if ((out.dbcnt -= n) < out.dbsz)
 632                         break;
 633         }
 634
 635         /* Reassemble the output block. */
 636         if (out.dbcnt)
 637                 (void)memmove(out.db, out.dbp - out.dbcnt, out.dbcnt);
 638         out.dbp = out.db + out.dbcnt;
 639 }