sys/geom/uzip/g_uzip.c

   1 /*-
   2  * Copyright (c) 2004 Max Khon
   3  * Copyright (c) 2014 Juniper Networks, Inc.
   4  * Copyright (c) 2006-2016 Maxim Sobolev <sobomax@FreeBSD.org>
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  17  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  20  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  21  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  22  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  23  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  24  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  25  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  */
  28
  29 #include <sys/cdefs.h>
  30 __FBSDID("$FreeBSD$");
  31
  32 #include <sys/param.h>
  33 #include <sys/bio.h>
  34 #include <sys/endian.h>
  35 #include <sys/errno.h>
  36 #include <sys/kernel.h>
  37 #include <sys/lock.h>
  38 #include <sys/mutex.h>
  39 #include <sys/malloc.h>
  40 #include <sys/sysctl.h>
  41 #include <sys/systm.h>
  42 #include <sys/kthread.h>
  43
  44 #include <geom/geom.h>
  45
  46 #include <geom/uzip/g_uzip.h>
  47 #include <geom/uzip/g_uzip_cloop.h>
  48 #include <geom/uzip/g_uzip_softc.h>
  49 #include <geom/uzip/g_uzip_dapi.h>
  50 #include <geom/uzip/g_uzip_zlib.h>
  51 #include <geom/uzip/g_uzip_lzma.h>
  52 #include <geom/uzip/g_uzip_wrkthr.h>
  53
  54 #include "opt_geom.h"
  55
  56 MALLOC_DEFINE(M_GEOM_UZIP, "geom_uzip", "GEOM UZIP data structures");
  57
  58 FEATURE(geom_uzip, "GEOM read-only compressed disks support");
  59
  60 struct g_uzip_blk {
  61         uint64_t offset;
  62         uint32_t blen;
  63         unsigned char last:1;
  64         unsigned char padded:1;
  65 #define BLEN_UNDEF      UINT32_MAX
  66 };
  67
  68 #ifndef ABS
  69 #define ABS(a)                  ((a) < 0 ? -(a) : (a))
  70 #endif
  71
  72 #define BLK_IN_RANGE(mcn, bcn, ilen)    \
  73     (((bcn) != BLEN_UNDEF) && ( \
  74         ((ilen) >= 0 && (mcn >= bcn) && (mcn <= ((intmax_t)(bcn) + (ilen)))) || \
  75         ((ilen) < 0 && (mcn <= bcn) && (mcn >= ((intmax_t)(bcn) + (ilen)))) \
  76     ))
  77
  78 #ifdef GEOM_UZIP_DEBUG
  79 # define GEOM_UZIP_DBG_DEFAULT  3
  80 #else
  81 # define GEOM_UZIP_DBG_DEFAULT  0
  82 #endif
  83
  84 #define GUZ_DBG_ERR     1
  85 #define GUZ_DBG_INFO    2
  86 #define GUZ_DBG_IO      3
  87 #define GUZ_DBG_TOC     4
  88
  89 #define GUZ_DEV_SUFX    ".uzip"
  90 #define GUZ_DEV_NAME(p) (p GUZ_DEV_SUFX)
  91
  92 static char g_uzip_attach_to[MAXPATHLEN] = {"*"};
  93 static char g_uzip_noattach_to[MAXPATHLEN] = {GUZ_DEV_NAME("*")};
  94 TUNABLE_STR("kern.geom.uzip.attach_to", g_uzip_attach_to,
  95     sizeof(g_uzip_attach_to));
  96 TUNABLE_STR("kern.geom.uzip.noattach_to", g_uzip_noattach_to,
  97     sizeof(g_uzip_noattach_to));
  98
  99 SYSCTL_DECL(_kern_geom);
 100 SYSCTL_NODE(_kern_geom, OID_AUTO, uzip, CTLFLAG_RW, 0, "GEOM_UZIP stuff");
 101 static u_int g_uzip_debug = GEOM_UZIP_DBG_DEFAULT;
 102 SYSCTL_UINT(_kern_geom_uzip, OID_AUTO, debug, CTLFLAG_RWTUN, &g_uzip_debug, 0,
 103     "Debug level (0-4)");
 104 static u_int g_uzip_debug_block = BLEN_UNDEF;
 105 SYSCTL_UINT(_kern_geom_uzip, OID_AUTO, debug_block, CTLFLAG_RWTUN,
 106     &g_uzip_debug_block, 0, "Debug operations around specific cluster#");
 107
 108 #define DPRINTF(lvl, a)         \
 109         if ((lvl) <= g_uzip_debug) { \
 110                 printf a; \
 111         }
 112 #define DPRINTF_BLK(lvl, cn, a) \
 113         if ((lvl) <= g_uzip_debug || \
 114             BLK_IN_RANGE(cn, g_uzip_debug_block, 8) || \
 115             BLK_IN_RANGE(cn, g_uzip_debug_block, -8)) { \
 116                 printf a; \
 117         }
 118 #define DPRINTF_BRNG(lvl, bcn, ecn, a) \
 119         KASSERT(bcn < ecn, ("DPRINTF_BRNG: invalid range (%ju, %ju)", \
 120             (uintmax_t)bcn, (uintmax_t)ecn)); \
 121         if (((lvl) <= g_uzip_debug) || \
 122             BLK_IN_RANGE(g_uzip_debug_block, bcn, \
 123              (intmax_t)ecn - (intmax_t)bcn)) { \
 124                 printf a; \
 125         }
 126
 127 #define UZIP_CLASS_NAME "UZIP"
 128
 129 /*
 130  * Maximum allowed valid block size (to prevent foot-shooting)
 131  */
 132 #define MAX_BLKSZ       (MAXPHYS)
 133
 134 static char CLOOP_MAGIC_START[] = "#!/bin/sh\n";
 135
 136 static void g_uzip_read_done(struct bio *bp);
 137 static void g_uzip_do(struct g_uzip_softc *, struct bio *bp);
 138
 139 static void
 140 g_uzip_softc_free(struct g_uzip_softc *sc, struct g_geom *gp)
 141 {
 142
 143         if (gp != NULL) {
 144                 DPRINTF(GUZ_DBG_INFO, ("%s: %d requests, %d cached\n",
 145                     gp->name, sc->req_total, sc->req_cached));
 146         }
 147
 148         mtx_lock(&sc->queue_mtx);
 149         sc->wrkthr_flags |= GUZ_SHUTDOWN;
 150         wakeup(sc);
 151         while (!(sc->wrkthr_flags & GUZ_EXITING)) {
 152                 msleep(sc->procp, &sc->queue_mtx, PRIBIO, "guzfree",
 153                     hz / 10);
 154         }
 155         mtx_unlock(&sc->queue_mtx);
 156
 157         sc->dcp->free(sc->dcp);
 158         free(sc->toc, M_GEOM_UZIP);
 159         mtx_destroy(&sc->queue_mtx);
 160         mtx_destroy(&sc->last_mtx);
 161         free(sc->last_buf, M_GEOM_UZIP);
 162         free(sc, M_GEOM_UZIP);
 163 }
 164
 165 static int
 166 g_uzip_cached(struct g_geom *gp, struct bio *bp)
 167 {
 168         struct g_uzip_softc *sc;
 169         off_t ofs;
 170         size_t blk, blkofs, usz;
 171
 172         sc = gp->softc;
 173         ofs = bp->bio_offset + bp->bio_completed;
 174         blk = ofs / sc->blksz;
 175         mtx_lock(&sc->last_mtx);
 176         if (blk == sc->last_blk) {
 177                 blkofs = ofs % sc->blksz;
 178                 usz = sc->blksz - blkofs;
 179                 if (bp->bio_resid < usz)
 180                         usz = bp->bio_resid;
 181                 memcpy(bp->bio_data + bp->bio_completed, sc->last_buf + blkofs,
 182                     usz);
 183                 sc->req_cached++;
 184                 mtx_unlock(&sc->last_mtx);
 185
 186                 DPRINTF(GUZ_DBG_IO, ("%s/%s: %p: offset=%jd: got %jd bytes "
 187                     "from cache\n", __func__, gp->name, bp, (intmax_t)ofs,
 188                     (intmax_t)usz));
 189
 190                 bp->bio_completed += usz;
 191                 bp->bio_resid -= usz;
 192
 193                 if (bp->bio_resid == 0) {
 194                         g_io_deliver(bp, 0);
 195                         return (1);
 196                 }
 197         } else
 198                 mtx_unlock(&sc->last_mtx);
 199
 200         return (0);
 201 }
 202
 203 #define BLK_ENDS(sc, bi)        ((sc)->toc[(bi)].offset + \
 204     (sc)->toc[(bi)].blen)
 205
 206 #define BLK_IS_CONT(sc, bi)     (BLK_ENDS((sc), (bi) - 1) == \
 207     (sc)->toc[(bi)].offset)
 208 #define BLK_IS_NIL(sc, bi)      ((sc)->toc[(bi)].blen == 0)
 209
 210 #define TOFF_2_BOFF(sc, pp, bi)     ((sc)->toc[(bi)].offset - \
 211     (sc)->toc[(bi)].offset % (pp)->sectorsize)
 212 #define TLEN_2_BLEN(sc, pp, bp, ei) roundup(BLK_ENDS((sc), (ei)) - \
 213     (bp)->bio_offset, (pp)->sectorsize)
 214
 215 static int
 216 g_uzip_request(struct g_geom *gp, struct bio *bp)
 217 {
 218         struct g_uzip_softc *sc;
 219         struct bio *bp2;
 220         struct g_consumer *cp;
 221         struct g_provider *pp;
 222         off_t ofs, start_blk_ofs;
 223         size_t i, start_blk, end_blk, zsize;
 224
 225         if (g_uzip_cached(gp, bp) != 0)
 226                 return (1);
 227
 228         sc = gp->softc;
 229
 230         cp = LIST_FIRST(&gp->consumer);
 231         pp = cp->provider;
 232
 233         ofs = bp->bio_offset + bp->bio_completed;
 234         start_blk = ofs / sc->blksz;
 235         KASSERT(start_blk < sc->nblocks, ("start_blk out of range"));
 236         end_blk = howmany(ofs + bp->bio_resid, sc->blksz);
 237         KASSERT(end_blk <= sc->nblocks, ("end_blk out of range"));
 238
 239         for (; BLK_IS_NIL(sc, start_blk) && start_blk < end_blk; start_blk++) {
 240                 /* Fill in any leading Nil blocks */
 241                 start_blk_ofs = ofs % sc->blksz;
 242                 zsize = MIN(sc->blksz - start_blk_ofs, bp->bio_resid);
 243                 DPRINTF_BLK(GUZ_DBG_IO, start_blk, ("%s/%s: %p/%ju: "
 244                     "filling %ju zero bytes\n", __func__, gp->name, gp,
 245                     (uintmax_t)bp->bio_completed, (uintmax_t)zsize));
 246                 bzero(bp->bio_data + bp->bio_completed, zsize);
 247                 bp->bio_completed += zsize;
 248                 bp->bio_resid -= zsize;
 249                 ofs += zsize;
 250         }
 251
 252         if (start_blk == end_blk) {
 253                 KASSERT(bp->bio_resid == 0, ("bp->bio_resid is invalid"));
 254                 /*
 255                  * No non-Nil data is left, complete request immediately.
 256                  */
 257                 DPRINTF(GUZ_DBG_IO, ("%s/%s: %p: all done returning %ju "
 258                     "bytes\n", __func__, gp->name, gp,
 259                     (uintmax_t)bp->bio_completed));
 260                 g_io_deliver(bp, 0);
 261                 return (1);
 262         }
 263
 264         for (i = start_blk + 1; i < end_blk; i++) {
 265                 /* Trim discontinuous areas if any */
 266                 if (!BLK_IS_CONT(sc, i)) {
 267                         end_blk = i;
 268                         break;
 269                 }
 270         }
 271
 272         DPRINTF_BRNG(GUZ_DBG_IO, start_blk, end_blk, ("%s/%s: %p: "
 273             "start=%u (%ju[%jd]), end=%u (%ju)\n", __func__, gp->name, bp,
 274             (u_int)start_blk, (uintmax_t)sc->toc[start_blk].offset,
 275             (intmax_t)sc->toc[start_blk].blen,
 276             (u_int)end_blk, (uintmax_t)BLK_ENDS(sc, end_blk - 1)));
 277
 278         bp2 = g_clone_bio(bp);
 279         if (bp2 == NULL) {
 280                 g_io_deliver(bp, ENOMEM);
 281                 return (1);
 282         }
 283         bp2->bio_done = g_uzip_read_done;
 284
 285         bp2->bio_offset = TOFF_2_BOFF(sc, pp, start_blk);
 286         while (1) {
 287                 bp2->bio_length = TLEN_2_BLEN(sc, pp, bp2, end_blk - 1);
 288                 if (bp2->bio_length <= MAXPHYS) {
 289                         break;
 290                 }
 291                 if (end_blk == (start_blk + 1)) {
 292                         break;
 293                 }
 294                 end_blk--;
 295         }
 296
 297         DPRINTF(GUZ_DBG_IO, ("%s/%s: bp2->bio_length = %jd, "
 298             "bp2->bio_offset = %jd\n", __func__, gp->name,
 299             (intmax_t)bp2->bio_length, (intmax_t)bp2->bio_offset));
 300
 301         bp2->bio_data = malloc(bp2->bio_length, M_GEOM_UZIP, M_NOWAIT);
 302         if (bp2->bio_data == NULL) {
 303                 g_destroy_bio(bp2);
 304                 g_io_deliver(bp, ENOMEM);
 305                 return (1);
 306         }
 307
 308         DPRINTF_BRNG(GUZ_DBG_IO, start_blk, end_blk, ("%s/%s: %p: "
 309             "reading %jd bytes from offset %jd\n", __func__, gp->name, bp,
 310             (intmax_t)bp2->bio_length, (intmax_t)bp2->bio_offset));
 311
 312         g_io_request(bp2, cp);
 313         return (0);
 314 }
 315
 316 static void
 317 g_uzip_read_done(struct bio *bp)
 318 {
 319         struct bio *bp2;
 320         struct g_geom *gp;
 321         struct g_uzip_softc *sc;
 322
 323         bp2 = bp->bio_parent;
 324         gp = bp2->bio_to->geom;
 325         sc = gp->softc;
 326
 327         mtx_lock(&sc->queue_mtx);
 328         bioq_disksort(&sc->bio_queue, bp);
 329         mtx_unlock(&sc->queue_mtx);
 330         wakeup(sc);
 331 }
 332
 333 static int
 334 g_uzip_memvcmp(const void *memory, unsigned char val, size_t size)
 335 {
 336         const u_char *mm;
 337
 338         mm = (const u_char *)memory;
 339         return (*mm == val) && memcmp(mm, mm + 1, size - 1) == 0;
 340 }
 341
 342 static void
 343 g_uzip_do(struct g_uzip_softc *sc, struct bio *bp)
 344 {
 345         struct bio *bp2;
 346         struct g_provider *pp;
 347         struct g_consumer *cp;
 348         struct g_geom *gp;
 349         char *data, *data2;
 350         off_t ofs;
 351         size_t blk, blkofs, len, ulen, firstblk;
 352         int err;
 353
 354         bp2 = bp->bio_parent;
 355         gp = bp2->bio_to->geom;
 356
 357         cp = LIST_FIRST(&gp->consumer);
 358         pp = cp->provider;
 359
 360         bp2->bio_error = bp->bio_error;
 361         if (bp2->bio_error != 0)
 362                 goto done;
 363
 364         /* Make sure there's forward progress. */
 365         if (bp->bio_completed == 0) {
 366                 bp2->bio_error = ECANCELED;
 367                 goto done;
 368         }
 369
 370         ofs = bp2->bio_offset + bp2->bio_completed;
 371         firstblk = blk = ofs / sc->blksz;
 372         blkofs = ofs % sc->blksz;
 373         data = bp->bio_data + sc->toc[blk].offset % pp->sectorsize;
 374         data2 = bp2->bio_data + bp2->bio_completed;
 375         while (bp->bio_completed && bp2->bio_resid) {
 376                 if (blk > firstblk && !BLK_IS_CONT(sc, blk)) {
 377                         DPRINTF_BLK(GUZ_DBG_IO, blk, ("%s/%s: %p: backref'ed "
 378                             "cluster #%u requested, looping around\n",
 379                             __func__, gp->name, bp2, (u_int)blk));
 380                         goto done;
 381                 }
 382                 ulen = MIN(sc->blksz - blkofs, bp2->bio_resid);
 383                 len = sc->toc[blk].blen;
 384                 DPRINTF(GUZ_DBG_IO, ("%s/%s: %p/%ju: data2=%p, ulen=%u, "
 385                     "data=%p, len=%u\n", __func__, gp->name, gp,
 386                     bp->bio_completed, data2, (u_int)ulen, data, (u_int)len));
 387                 if (len == 0) {
 388                         /* All zero block: no cache update */
 389 zero_block:
 390                         bzero(data2, ulen);
 391                 } else if (len <= bp->bio_completed) {
 392                         mtx_lock(&sc->last_mtx);
 393                         err = sc->dcp->decompress(sc->dcp, gp->name, data,
 394                             len, sc->last_buf);
 395                         if (err != 0 && sc->toc[blk].last != 0) {
 396                                 /*
 397                                  * Last block decompression has failed, check
 398                                  * if it's just zero padding.
 399                                  */
 400                                 if (g_uzip_memvcmp(data, '\0', len) == 0) {
 401                                         sc->toc[blk].blen = 0;
 402                                         sc->last_blk = -1;
 403                                         mtx_unlock(&sc->last_mtx);
 404                                         len = 0;
 405                                         goto zero_block;
 406                                 }
 407                         }
 408                         if (err != 0) {
 409                                 sc->last_blk = -1;
 410                                 mtx_unlock(&sc->last_mtx);
 411                                 bp2->bio_error = EILSEQ;
 412                                 DPRINTF(GUZ_DBG_ERR, ("%s/%s: decompress"
 413                                     "(%p, %ju, %ju) failed\n", __func__,
 414                                     gp->name, sc->dcp, (uintmax_t)blk,
 415                                     (uintmax_t)len));
 416                                 goto done;
 417                         }
 418                         sc->last_blk = blk;
 419                         memcpy(data2, sc->last_buf + blkofs, ulen);
 420                         mtx_unlock(&sc->last_mtx);
 421                         err = sc->dcp->rewind(sc->dcp, gp->name);
 422                         if (err != 0) {
 423                                 bp2->bio_error = EILSEQ;
 424                                 DPRINTF(GUZ_DBG_ERR, ("%s/%s: rewind(%p) "
 425                                     "failed\n", __func__, gp->name, sc->dcp));
 426                                 goto done;
 427                         }
 428                         data += len;
 429                 } else
 430                         break;
 431
 432                 data2 += ulen;
 433                 bp2->bio_completed += ulen;
 434                 bp2->bio_resid -= ulen;
 435                 bp->bio_completed -= len;
 436                 blkofs = 0;
 437                 blk++;
 438         }
 439
 440 done:
 441         /* Finish processing the request. */
 442         free(bp->bio_data, M_GEOM_UZIP);
 443         g_destroy_bio(bp);
 444         if (bp2->bio_error != 0 || bp2->bio_resid == 0)
 445                 g_io_deliver(bp2, bp2->bio_error);
 446         else
 447                 g_uzip_request(gp, bp2);
 448 }
 449
 450 static void
 451 g_uzip_start(struct bio *bp)
 452 {
 453         struct g_provider *pp;
 454         struct g_geom *gp;
 455         struct g_uzip_softc *sc;
 456
 457         pp = bp->bio_to;
 458         gp = pp->geom;
 459
 460         DPRINTF(GUZ_DBG_IO, ("%s/%s: %p: cmd=%d, offset=%jd, length=%jd, "
 461             "buffer=%p\n", __func__, gp->name, bp, bp->bio_cmd,
 462             (intmax_t)bp->bio_offset, (intmax_t)bp->bio_length, bp->bio_data));
 463
 464         sc = gp->softc;
 465         sc->req_total++;
 466
 467         if (bp->bio_cmd != BIO_READ) {
 468                 g_io_deliver(bp, EOPNOTSUPP);
 469                 return;
 470         }
 471
 472         bp->bio_resid = bp->bio_length;
 473         bp->bio_completed = 0;
 474
 475         g_uzip_request(gp, bp);
 476 }
 477
 478 static void
 479 g_uzip_orphan(struct g_consumer *cp)
 480 {
 481         struct g_geom *gp;
 482
 483         g_trace(G_T_TOPOLOGY, "%s(%p/%s)", __func__, cp, cp->provider->name);
 484         g_topology_assert();
 485
 486         gp = cp->geom;
 487         g_uzip_softc_free(gp->softc, gp);
 488         gp->softc = NULL;
 489         g_wither_geom(gp, ENXIO);
 490 }
 491
 492 static int
 493 g_uzip_access(struct g_provider *pp, int dr, int dw, int de)
 494 {
 495         struct g_geom *gp;
 496         struct g_consumer *cp;
 497
 498         gp = pp->geom;
 499         cp = LIST_FIRST(&gp->consumer);
 500         KASSERT (cp != NULL, ("g_uzip_access but no consumer"));
 501
 502         if (cp->acw + dw > 0)
 503                 return (EROFS);
 504
 505         return (g_access(cp, dr, dw, de));
 506 }
 507
 508 static void
 509 g_uzip_spoiled(struct g_consumer *cp)
 510 {
 511         struct g_geom *gp;
 512
 513         G_VALID_CONSUMER(cp);
 514         gp = cp->geom;
 515         g_trace(G_T_TOPOLOGY, "%s(%p/%s)", __func__, cp, gp->name);
 516         g_topology_assert();
 517
 518         g_uzip_softc_free(gp->softc, gp);
 519         gp->softc = NULL;
 520         g_wither_geom(gp, ENXIO);
 521 }
 522
 523 static int
 524 g_uzip_parse_toc(struct g_uzip_softc *sc, struct g_provider *pp,
 525     struct g_geom *gp)
 526 {
 527         uint32_t i, j, backref_to;
 528         uint64_t max_offset, min_offset;
 529         struct g_uzip_blk *last_blk;
 530
 531         min_offset = sizeof(struct cloop_header) +
 532             (sc->nblocks + 1) * sizeof(uint64_t);
 533         max_offset = sc->toc[0].offset - 1;
 534         last_blk = &sc->toc[0];
 535         for (i = 0; i < sc->nblocks; i++) {
 536                 /* First do some bounds checking */
 537                 if ((sc->toc[i].offset < min_offset) ||
 538                     (sc->toc[i].offset > pp->mediasize)) {
 539                         goto error_offset;
 540                 }
 541                 DPRINTF_BLK(GUZ_DBG_IO, i, ("%s: cluster #%u "
 542                     "offset=%ju max_offset=%ju\n", gp->name,
 543                     (u_int)i, (uintmax_t)sc->toc[i].offset,
 544                     (uintmax_t)max_offset));
 545                 backref_to = BLEN_UNDEF;
 546                 if (sc->toc[i].offset < max_offset) {
 547                         /*
 548                          * For the backref'ed blocks search already parsed
 549                          * TOC entries for the matching offset and copy the
 550                          * size from matched entry.
 551                          */
 552                         for (j = 0; j <= i; j++) {
 553                                 if (sc->toc[j].offset == sc->toc[i].offset &&
 554                                     !BLK_IS_NIL(sc, j)) {
 555                                         break;
 556                                 }
 557                                 if (j != i) {
 558                                         continue;
 559                                 }
 560                                 DPRINTF(GUZ_DBG_ERR, ("%s: cannot match "
 561                                     "backref'ed offset at cluster #%u\n",
 562                                     gp->name, i));
 563                                 return (-1);
 564                         }
 565                         sc->toc[i].blen = sc->toc[j].blen;
 566                         backref_to = j;
 567                 } else {
 568                         last_blk = &sc->toc[i];
 569                         /*
 570                          * For the "normal blocks" seek forward until we hit
 571                          * block whose offset is larger than ours and assume
 572                          * it's going to be the next one.
 573                          */
 574                         for (j = i + 1; j < sc->nblocks; j++) {
 575                                 if (sc->toc[j].offset > max_offset) {
 576                                         break;
 577                                 }
 578                         }
 579                         sc->toc[i].blen = sc->toc[j].offset -
 580                             sc->toc[i].offset;
 581                         if (BLK_ENDS(sc, i) > pp->mediasize) {
 582                                 DPRINTF(GUZ_DBG_ERR, ("%s: cluster #%u "
 583                                     "extends past media boundary (%ju > %ju)\n",
 584                                     gp->name, (u_int)i,
 585                                     (uintmax_t)BLK_ENDS(sc, i),
 586                                     (intmax_t)pp->mediasize));
 587                                 return (-1);
 588                         }
 589                         KASSERT(max_offset <= sc->toc[i].offset, (
 590                             "%s: max_offset is incorrect: %ju",
 591                             gp->name, (uintmax_t)max_offset));
 592                         max_offset = BLK_ENDS(sc, i) - 1;
 593                 }
 594                 DPRINTF_BLK(GUZ_DBG_TOC, i, ("%s: cluster #%u, original %u "
 595                     "bytes, in %u bytes", gp->name, i, sc->blksz,
 596                     sc->toc[i].blen));
 597                 if (backref_to != BLEN_UNDEF) {
 598                         DPRINTF_BLK(GUZ_DBG_TOC, i, (" (->#%u)",
 599                             (u_int)backref_to));
 600                 }
 601                 DPRINTF_BLK(GUZ_DBG_TOC, i, ("\n"));
 602         }
 603         last_blk->last = 1;
 604         /* Do a second pass to validate block lengths */
 605         for (i = 0; i < sc->nblocks; i++) {
 606                 if (sc->toc[i].blen > sc->dcp->max_blen) {
 607                         if (sc->toc[i].last == 0) {
 608                                 DPRINTF(GUZ_DBG_ERR, ("%s: cluster #%u "
 609                                     "length (%ju) exceeds "
 610                                     "max_blen (%ju)\n", gp->name, i,
 611                                     (uintmax_t)sc->toc[i].blen,
 612                                     (uintmax_t)sc->dcp->max_blen));
 613                                 return (-1);
 614                         }
 615                         DPRINTF(GUZ_DBG_INFO, ("%s: cluster #%u extra "
 616                             "padding is detected, trimmed to %ju\n",
 617                             gp->name, i, (uintmax_t)sc->dcp->max_blen));
 618                             sc->toc[i].blen = sc->dcp->max_blen;
 619                         sc->toc[i].padded = 1;
 620                 }
 621         }
 622         return (0);
 623
 624 error_offset:
 625         DPRINTF(GUZ_DBG_ERR, ("%s: cluster #%u: invalid offset %ju, "
 626             "min_offset=%ju mediasize=%jd\n", gp->name, (u_int)i,
 627             sc->toc[i].offset, min_offset, pp->mediasize));
 628         return (-1);
 629 }
 630
 631 static struct g_geom *
 632 g_uzip_taste(struct g_class *mp, struct g_provider *pp, int flags)
 633 {
 634         int error;
 635         uint32_t i, total_offsets, offsets_read, blk;
 636         void *buf;
 637         struct cloop_header *header;
 638         struct g_consumer *cp;
 639         struct g_geom *gp;
 640         struct g_provider *pp2;
 641         struct g_uzip_softc *sc;
 642         enum {
 643                 G_UZIP = 1,
 644                 G_ULZMA
 645         } type;
 646
 647         g_trace(G_T_TOPOLOGY, "%s(%s,%s)", __func__, mp->name, pp->name);
 648         g_topology_assert();
 649
 650         /* Skip providers that are already open for writing. */
 651         if (pp->acw > 0)
 652                 return (NULL);
 653
 654         if ((fnmatch(g_uzip_attach_to, pp->name, 0) != 0) ||
 655             (fnmatch(g_uzip_noattach_to, pp->name, 0) == 0)) {
 656                 DPRINTF(GUZ_DBG_INFO, ("%s(%s,%s), ignoring\n", __func__,
 657                     mp->name, pp->name));
 658                 return (NULL);
 659         }
 660
 661         buf = NULL;
 662
 663         /*
 664          * Create geom instance.
 665          */
 666         gp = g_new_geomf(mp, GUZ_DEV_NAME("%s"), pp->name);
 667         cp = g_new_consumer(gp);
 668         error = g_attach(cp, pp);
 669         if (error == 0)
 670                 error = g_access(cp, 1, 0, 0);
 671         if (error) {
 672                 goto e1;
 673         }
 674         g_topology_unlock();
 675
 676         /*
 677          * Read cloop header, look for CLOOP magic, perform
 678          * other validity checks.
 679          */
 680         DPRINTF(GUZ_DBG_INFO, ("%s: media sectorsize %u, mediasize %jd\n",
 681             gp->name, pp->sectorsize, (intmax_t)pp->mediasize));
 682         buf = g_read_data(cp, 0, pp->sectorsize, NULL);
 683         if (buf == NULL)
 684                 goto e2;
 685         header = (struct cloop_header *) buf;
 686         if (strncmp(header->magic, CLOOP_MAGIC_START,
 687             sizeof(CLOOP_MAGIC_START) - 1) != 0) {
 688                 DPRINTF(GUZ_DBG_ERR, ("%s: no CLOOP magic\n", gp->name));
 689                 goto e3;
 690         }
 691
 692         switch (header->magic[CLOOP_OFS_COMPR]) {
 693         case CLOOP_COMP_LZMA:
 694         case CLOOP_COMP_LZMA_DDP:
 695                 type = G_ULZMA;
 696                 if (header->magic[CLOOP_OFS_VERSN] < CLOOP_MINVER_LZMA) {
 697                         DPRINTF(GUZ_DBG_ERR, ("%s: image version too old\n",
 698                             gp->name));
 699                         goto e3;
 700                 }
 701                 DPRINTF(GUZ_DBG_INFO, ("%s: GEOM_UZIP_LZMA image found\n",
 702                     gp->name));
 703                 break;
 704         case CLOOP_COMP_LIBZ:
 705         case CLOOP_COMP_LIBZ_DDP:
 706                 type = G_UZIP;
 707                 if (header->magic[CLOOP_OFS_VERSN] < CLOOP_MINVER_ZLIB) {
 708                         DPRINTF(GUZ_DBG_ERR, ("%s: image version too old\n",
 709                             gp->name));
 710                         goto e3;
 711                 }
 712                 DPRINTF(GUZ_DBG_INFO, ("%s: GEOM_UZIP_ZLIB image found\n",
 713                     gp->name));
 714                 break;
 715         default:
 716                 DPRINTF(GUZ_DBG_ERR, ("%s: unsupported image type\n",
 717                     gp->name));
 718                 goto e3;
 719         }
 720
 721         /*
 722          * Initialize softc and read offsets.
 723          */
 724         sc = malloc(sizeof(*sc), M_GEOM_UZIP, M_WAITOK | M_ZERO);
 725         gp->softc = sc;
 726         sc->blksz = ntohl(header->blksz);
 727         sc->nblocks = ntohl(header->nblocks);
 728         if (sc->blksz % 512 != 0) {
 729                 printf("%s: block size (%u) should be multiple of 512.\n",
 730                     gp->name, sc->blksz);
 731                 goto e4;
 732         }
 733         if (sc->blksz > MAX_BLKSZ) {
 734                 printf("%s: block size (%u) should not be larger than %d.\n",
 735                     gp->name, sc->blksz, MAX_BLKSZ);
 736         }
 737         total_offsets = sc->nblocks + 1;
 738         if (sizeof(struct cloop_header) +
 739             total_offsets * sizeof(uint64_t) > pp->mediasize) {
 740                 printf("%s: media too small for %u blocks\n",
 741                     gp->name, sc->nblocks);
 742                 goto e4;
 743         }
 744         sc->toc = malloc(total_offsets * sizeof(struct g_uzip_blk),
 745             M_GEOM_UZIP, M_WAITOK | M_ZERO);
 746         offsets_read = MIN(total_offsets,
 747             (pp->sectorsize - sizeof(*header)) / sizeof(uint64_t));
 748         for (i = 0; i < offsets_read; i++) {
 749                 sc->toc[i].offset = be64toh(((uint64_t *) (header + 1))[i]);
 750                 sc->toc[i].blen = BLEN_UNDEF;
 751         }
 752         DPRINTF(GUZ_DBG_INFO, ("%s: %u offsets in the first sector\n",
 753                gp->name, offsets_read));
 754         for (blk = 1; offsets_read < total_offsets; blk++) {
 755                 uint32_t nread;
 756
 757                 free(buf, M_GEOM);
 758                 buf = g_read_data(
 759                     cp, blk * pp->sectorsize, pp->sectorsize, NULL);
 760                 if (buf == NULL)
 761                         goto e5;
 762                 nread = MIN(total_offsets - offsets_read,
 763                      pp->sectorsize / sizeof(uint64_t));
 764                 DPRINTF(GUZ_DBG_TOC, ("%s: %u offsets read from sector %d\n",
 765                     gp->name, nread, blk));
 766                 for (i = 0; i < nread; i++) {
 767                         sc->toc[offsets_read + i].offset =
 768                             be64toh(((uint64_t *) buf)[i]);
 769                         sc->toc[offsets_read + i].blen = BLEN_UNDEF;
 770                 }
 771                 offsets_read += nread;
 772         }
 773         free(buf, M_GEOM);
 774         buf = NULL;
 775         offsets_read -= 1;
 776         DPRINTF(GUZ_DBG_INFO, ("%s: done reading %u block offsets from %u "
 777             "sectors\n", gp->name, offsets_read, blk));
 778         if (sc->nblocks != offsets_read) {
 779                 DPRINTF(GUZ_DBG_ERR, ("%s: read %s offsets than expected "
 780                     "blocks\n", gp->name,
 781                     sc->nblocks < offsets_read ? "more" : "less"));
 782                 goto e5;
 783         }
 784
 785         if (type == G_UZIP) {
 786                 sc->dcp = g_uzip_zlib_ctor(sc->blksz);
 787         } else {
 788                 sc->dcp = g_uzip_lzma_ctor(sc->blksz);
 789         }
 790         if (sc->dcp == NULL) {
 791                 goto e5;
 792         }
 793
 794         /*
 795          * "Fake" last+1 block, to make it easier for the TOC parser to
 796          * iterate without making the last element a special case.
 797          */
 798         sc->toc[sc->nblocks].offset = pp->mediasize;
 799         /* Massage TOC (table of contents), make sure it is sound */
 800         if (g_uzip_parse_toc(sc, pp, gp) != 0) {
 801                 DPRINTF(GUZ_DBG_ERR, ("%s: TOC error\n", gp->name));
 802                 goto e6;
 803         }
 804         mtx_init(&sc->last_mtx, "geom_uzip cache", NULL, MTX_DEF);
 805         mtx_init(&sc->queue_mtx, "geom_uzip wrkthread", NULL, MTX_DEF);
 806         bioq_init(&sc->bio_queue);
 807         sc->last_blk = -1;
 808         sc->last_buf = malloc(sc->blksz, M_GEOM_UZIP, M_WAITOK);
 809         sc->req_total = 0;
 810         sc->req_cached = 0;
 811
 812         sc->uzip_do = &g_uzip_do;
 813
 814         error = kproc_create(g_uzip_wrkthr, sc, &sc->procp, 0, 0, "%s",
 815             gp->name);
 816         if (error != 0) {
 817                 goto e7;
 818         }
 819
 820         g_topology_lock();
 821         pp2 = g_new_providerf(gp, "%s", gp->name);
 822         pp2->sectorsize = 512;
 823         pp2->mediasize = (off_t)sc->nblocks * sc->blksz;
 824         pp2->stripesize = pp->stripesize;
 825         pp2->stripeoffset = pp->stripeoffset;
 826         g_error_provider(pp2, 0);
 827         g_access(cp, -1, 0, 0);
 828
 829         DPRINTF(GUZ_DBG_INFO, ("%s: taste ok (%d, %jd), (%d, %d), %x\n",
 830             gp->name, pp2->sectorsize, (intmax_t)pp2->mediasize,
 831             pp2->stripeoffset, pp2->stripesize, pp2->flags));
 832         DPRINTF(GUZ_DBG_INFO, ("%s: %u x %u blocks\n", gp->name, sc->nblocks,
 833             sc->blksz));
 834         return (gp);
 835
 836 e7:
 837         free(sc->last_buf, M_GEOM);
 838         mtx_destroy(&sc->queue_mtx);
 839         mtx_destroy(&sc->last_mtx);
 840 e6:
 841         sc->dcp->free(sc->dcp);
 842 e5:
 843         free(sc->toc, M_GEOM);
 844 e4:
 845         free(gp->softc, M_GEOM_UZIP);
 846 e3:
 847         if (buf != NULL) {
 848                 free(buf, M_GEOM);
 849         }
 850 e2:
 851         g_topology_lock();
 852         g_access(cp, -1, 0, 0);
 853 e1:
 854         g_detach(cp);
 855         g_destroy_consumer(cp);
 856         g_destroy_geom(gp);
 857
 858         return (NULL);
 859 }
 860
 861 static int
 862 g_uzip_destroy_geom(struct gctl_req *req, struct g_class *mp, struct g_geom *gp)
 863 {
 864         struct g_provider *pp;
 865
 866         KASSERT(gp != NULL, ("NULL geom"));
 867         g_trace(G_T_TOPOLOGY, "%s(%s, %s)", __func__, mp->name, gp->name);
 868         g_topology_assert();
 869
 870         if (gp->softc == NULL) {
 871                 DPRINTF(GUZ_DBG_ERR, ("%s(%s): gp->softc == NULL\n", __func__,
 872                     gp->name));
 873                 return (ENXIO);
 874         }
 875
 876         pp = LIST_FIRST(&gp->provider);
 877         KASSERT(pp != NULL, ("NULL provider"));
 878         if (pp->acr > 0 || pp->acw > 0 || pp->ace > 0)
 879                 return (EBUSY);
 880
 881         g_uzip_softc_free(gp->softc, gp);
 882         gp->softc = NULL;
 883         g_wither_geom(gp, ENXIO);
 884
 885         return (0);
 886 }
 887
 888 static struct g_class g_uzip_class = {
 889         .name = UZIP_CLASS_NAME,
 890         .version = G_VERSION,
 891         .taste = g_uzip_taste,
 892         .destroy_geom = g_uzip_destroy_geom,
 893
 894         .start = g_uzip_start,
 895         .orphan = g_uzip_orphan,
 896         .access = g_uzip_access,
 897         .spoiled = g_uzip_spoiled,
 898 };
 899
 900 DECLARE_GEOM_CLASS(g_uzip_class, g_uzip);
 901 MODULE_DEPEND(g_uzip, xz, 1, 1, 1);
 902 MODULE_DEPEND(g_uzip, zlib, 1, 1, 1);
 903 MODULE_VERSION(geom_uzip, 0);