contrib/zstd/NEWS

   1 v1.3.0
   2 cli : new : `--list` command, by Paul Cruz
   3 cli : changed : xz/lzma support enabled by default
   4 cli : changed : `-t *` continue processing list after a decompression error
   5 API : added : ZSTD_versionString()
   6 API : promoted to stable status : ZSTD_getFrameContentSize(), by Sean Purcell
   7 API exp : new advanced API : ZSTD_compress_generic(), ZSTD_CCtx_setParameter()
   8 API exp : new : API for static or external allocation : ZSTD_initStatic?Ctx()
   9 API exp : added : ZSTD_decompressBegin_usingDDict(), requested by Guy Riddle (#700)
  10 API exp : clarified memory estimation / measurement functions.
  11 API exp : changed : strongest strategy renamed ZSTD_btultra, fastest strategy ZSTD_fast set to 1
  12 tools : decodecorpus can generate random dictionary-compressed samples, by Paul Cruz
  13 new : contrib/seekable_format, demo and API, by Sean Purcell
  14 changed : contrib/linux-kernel, updated version and license, by Nick Terrell
  15
  16 v1.2.0
  17 cli : changed : Multithreading enabled by default (use target zstd-nomt or HAVE_THREAD=0 to disable)
  18 cli : new : command -T0 means "detect and use nb of cores", by Sean Purcell
  19 cli : new : zstdmt symlink hardwired to `zstd -T0`
  20 cli : new : command --threads=# (#671)
  21 cli : changed : cover dictionary builder by default, for improved quality, by Nick Terrell
  22 cli : new : commands --train-cover and --train-legacy, to select dictionary algorithm and parameters
  23 cli : experimental targets `zstd4` and `xzstd4`, with support for lz4 format, by Sean Purcell
  24 cli : fix : does not output compressed data on console
  25 cli : fix : ignore symbolic links unless --force specified,
  26 API : breaking change : ZSTD_createCDict_advanced(), only use compressionParameters as argument
  27 API : added : prototypes ZSTD_*_usingCDict_advanced(), for direct control over frameParameters.
  28 API : improved: ZSTDMT_compressCCtx() reduced memory usage
  29 API : fix : ZSTDMT_compressCCtx() now provides srcSize in header (#634)
  30 API : fix : src size stored in frame header is controlled at end of frame
  31 API : fix : enforced consistent rules for pledgedSrcSize==0 (#641)
  32 API : fix : error code "GENERIC" replaced by "dstSizeTooSmall" when appropriate
  33 build: improved cmake script, by @Majlen
  34 build: enabled Multi-threading support for *BSD, by Baptiste Daroussin
  35 tools: updated Paramgrill. Command -O# provides best parameters for sample and speed target.
  36 new : contrib/linux-kernel version, by Nick Terrell
  37
  38 v1.1.4
  39 cli : new : can compress in *.gz format, using --format=gzip command, by Przemyslaw Skibinski
  40 cli : new : advanced benchmark command --priority=rt
  41 cli : fix : write on sparse-enabled file systems in 32-bits mode, by @ds77
  42 cli : fix : --rm remains silent when input is stdin
  43 cli : experimental : xzstd, with support for xz/lzma decoding, by Przemyslaw Skibinski
  44 speed : improved decompression speed in streaming mode for single shot scenarios (+5%)
  45 memory: DDict (decompression dictionary) memory usage down from 150 KB to 20 KB
  46 arch: 32-bits variant able to generate and decode very long matches (>32 MB), by Sean Purcell
  47 API : new : ZSTD_findFrameCompressedSize(), ZSTD_getFrameContentSize(), ZSTD_findDecompressedSize()
  48 API : changed : dropped support of legacy versions <= v0.3 (can be changed by modifying ZSTD_LEGACY_SUPPORT value)
  49 build : new: meson build system in contrib/meson, by Dima Krasner
  50 build : improved cmake script, by @Majlen
  51 build : added -Wformat-security flag, as recommended by Padraig Brady
  52 doc : new : educational decoder, by Sean Purcell
  53
  54 v1.1.3
  55 cli : zstd can decompress .gz files (can be disabled with `make zstd-nogz` or `make HAVE_ZLIB=0`)
  56 cli : new : experimental target `make zstdmt`, with multi-threading support
  57 cli : new : improved dictionary builder "cover" (experimental), by Nick Terrell, based on prior work by Giuseppe Ottaviano.
  58 cli : new : advanced commands for detailed parameters, by Przemyslaw Skibinski
  59 cli : fix zstdless on Mac OS-X, by Andrew Janke
  60 cli : fix #232 "compress non-files"
  61 dictBuilder : improved dictionary generation quality, thanks to Nick Terrell
  62 API : new : lib/compress/ZSTDMT_compress.h multithreading API (experimental)
  63 API : new : ZSTD_create?Dict_byReference(), requested by Bartosz Taudul
  64 API : new : ZDICT_finalizeDictionary()
  65 API : fix : ZSTD_initCStream_usingCDict() properly writes dictID into frame header, by Gregory Szorc (#511)
  66 API : fix : all symbols properly exposed in libzstd, by Nick Terrell
  67 build : support for Solaris target, by Przemyslaw Skibinski
  68 doc : clarified specification, by Sean Purcell
  69
  70 v1.1.2
  71 API : streaming : decompression : changed : automatic implicit reset when chain-decoding new frames without init
  72 API : experimental : added : dictID retrieval functions, and ZSTD_initCStream_srcSize()
  73 API : zbuff : changed : prototypes now generate deprecation warnings
  74 lib : improved : faster decompression speed at ultra compression settings and 32-bits mode
  75 lib : changed : only public ZSTD_ symbols are now exposed
  76 lib : changed : reduced usage  of stack memory
  77 lib : fixed : several corner case bugs, by Nick Terrell
  78 cli : new : gzstd, experimental version able to decode .gz files, by Przemyslaw Skibinski
  79 cli : new : preserve file attributes
  80 cli : new : added zstdless and zstdgrep tools
  81 cli : fixed : status displays total amount decoded, even for file consisting of multiple frames (like pzstd)
  82 cli : fixed : zstdcat
  83 zlib_wrapper : added support for gz* functions, by Przemyslaw Skibinski
  84 install : better compatibility with FreeBSD, by Dimitry Andric
  85 source tree : changed : zbuff source files moved to lib/deprecated
  86
  87 v1.1.1
  88 New : command -M#, --memory=, --memlimit=, --memlimit-decompress= to limit allowed memory consumption
  89 New : doc/zstd_manual.html, by Przemyslaw Skibinski
  90 Improved : slightly better compression ratio at --ultra levels (>= 20)
  91 Improved : better memory usage when using streaming compression API, thanks to @Rogier-5 report
  92 Added : API : ZSTD_initCStream_usingCDict(), ZSTD_initDStream_usingDDict() (experimental section)
  93 Added : example/multiple_streaming_compression.c
  94 Changed : zstd_errors.h is now installed within /include (and replaces errors_public.h)
  95 Updated man page
  96 Fixed : zstd-small, zstd-compress and zstd-decompress compilation targets
  97
  98 v1.1.0
  99 New : contrib/pzstd, parallel version of zstd, by Nick Terrell
 100 added : NetBSD install target (#338)
 101 Improved : speed for batches of small files
 102 Improved : speed of zlib wrapper, by Przemyslaw Skibinski
 103 Changed : libzstd on Windows supports legacy formats, by Christophe Chevalier
 104 Fixed : CLI -d output to stdout by default when input is stdin (#322)
 105 Fixed : CLI correctly detects console on Mac OS-X
 106 Fixed : CLI supports recursive mode `-r` on Mac OS-X
 107 Fixed : Legacy decoders use unified error codes, reported by benrg (#341), fixed by Przemyslaw Skibinski
 108 Fixed : compatibility with OpenBSD, reported by Juan Francisco Cantero Hurtado (#319)
 109 Fixed : compatibility with Hurd, by Przemyslaw Skibinski (#365)
 110 Fixed : zstd-pgo, reported by octoploid (#329)
 111
 112 v1.0.0
 113 Change Licensing, all project is now BSD, Copyright Facebook
 114 Small decompression speed improvement
 115 API : Streaming API supports legacy format
 116 API : ZDICT_getDictID(), ZSTD_sizeof_{CCtx, DCtx, CStream, DStream}(), ZSTD_setDStreamParamter()
 117 CLI supports legacy formats v0.4+
 118 Fixed : compression fails on certain huge files, reported by Jesse McGrew
 119 Enhanced documentation, by Przemyslaw Skibinski
 120
 121 v0.8.1
 122 New streaming API
 123 Changed : --ultra now enables levels beyond 19
 124 Changed : -i# now selects benchmark time in second
 125 Fixed : ZSTD_compress* can now compress > 4 GB in a single pass, reported by Nick Terrell
 126 Fixed : speed regression on specific patterns (#272)
 127 Fixed : support for Z_SYNC_FLUSH, by Dmitry Krot (#291)
 128 Fixed : ICC compilation, by Przemyslaw Skibinski
 129
 130 v0.8.0
 131 Improved : better speed on clang and gcc -O2, thanks to Eric Biggers
 132 New : Build on FreeBSD and DragonFly, thanks to JrMarino
 133 Changed : modified API : ZSTD_compressEnd()
 134 Fixed : legacy mode with ZSTD_HEAPMODE=0, by Christopher Bergqvist
 135 Fixed : premature end of frame when zero-sized raw block, reported by Eric Biggers
 136 Fixed : large dictionaries (> 384 KB), reported by Ilona Papava
 137 Fixed : checksum correctly checked in single-pass mode
 138 Fixed : combined --test amd --rm, reported by Andreas M. Nilsson
 139 Modified : minor compression level adaptations
 140 Updated : compression format specification to v0.2.0
 141 changed : zstd.h moved to /lib directory
 142
 143 v0.7.5
 144 Transition version, supporting decoding of v0.8.x
 145
 146 v0.7.4
 147 Added : homebrew for Mac, by Daniel Cade
 148 Added : more examples
 149 Fixed : segfault when using small dictionaries, reported by Felix Handte
 150 Modified : default compression level for CLI is now 3
 151 Updated : specification, to v0.1.1
 152
 153 v0.7.3
 154 New : compression format specification
 155 New : `--` separator, stating that all following arguments are file names. Suggested by Chip Turner.
 156 New : `ZSTD_getDecompressedSize()`
 157 New : OpenBSD target, by Juan Francisco Cantero Hurtado
 158 New : `examples` directory
 159 fixed : dictBuilder using HC levels, reported by Bartosz Taudul
 160 fixed : legacy support from ZSTD_decompress_usingDDict(), reported by Felix Handte
 161 fixed : multi-blocks decoding with intermediate uncompressed blocks, reported by Greg Slazinski
 162 modified : removed "mem.h" and "error_public.h" dependencies from "zstd.h" (experimental section)
 163 modified : legacy functions no longer need magic number
 164
 165 v0.7.2
 166 fixed : ZSTD_decompressBlock() using multiple consecutive blocks. Reported by Greg Slazinski.
 167 fixed : potential segfault on very large files (many gigabytes). Reported by Chip Turner.
 168 fixed : CLI displays system error message when destination file cannot be created (#231). Reported by Chip Turner.
 169
 170 v0.7.1
 171 fixed : ZBUFF_compressEnd() called multiple times with too small `dst` buffer, reported by Christophe Chevalier
 172 fixed : dictBuilder fails if first sample is too small, reported by Руслан Ковалёв
 173 fixed : corruption issue, reported by cj
 174 modified : checksum enabled by default in command line mode
 175
 176 v0.7.0
 177 New : Support for directory compression, using `-r`, thanks to Przemyslaw Skibinski
 178 New : Command `--rm`, to remove source file after successful de/compression
 179 New : Visual build scripts, by Christophe Chevalier
 180 New : Support for Sparse File-systems (do not use space for zero-filled sectors)
 181 New : Frame checksum support
 182 New : Support pass-through mode (when using `-df`)
 183 API : more efficient Dictionary API : `ZSTD_compress_usingCDict()`, `ZSTD_decompress_usingDDict()`
 184 API : create dictionary files from custom content, by Giuseppe Ottaviano
 185 API : support for custom malloc/free functions
 186 New : controllable Dictionary ID
 187 New : Support for skippable frames
 188
 189 v0.6.1
 190 New : zlib wrapper API, thanks to Przemyslaw Skibinski
 191 New : Ability to compile compressor / decompressor separately
 192 Changed : new lib directory structure
 193 Fixed : Legacy codec v0.5 compatible with dictionary decompression
 194 Fixed : Decoder corruption error (#173)
 195 Fixed : null-string roundtrip (#176)
 196 New : benchmark mode can select directory as input
 197 Experimental : midipix support, VMS support
 198
 199 v0.6.0
 200 Stronger high compression modes, thanks to Przemyslaw Skibinski
 201 API : ZSTD_getFrameParams() provides size of decompressed content
 202 New : highest compression modes require `--ultra` command to fully unleash their capacity
 203 Fixed : zstd cli return error code > 0 and removes dst file artifact when decompression fails, thanks to Chip Turner
 204
 205 v0.5.1
 206 New : Optimal parsing => Very high compression modes, thanks to Przemyslaw Skibinski
 207 Changed : Dictionary builder integrated into libzstd and zstd cli
 208 Changed (!) : zstd cli now uses "multiple input files" as default mode. See `zstd -h`.
 209 Fix : high compression modes for big-endian platforms
 210 New : zstd cli : `-t` | `--test` command
 211
 212 v0.5.0
 213 New : dictionary builder utility
 214 Changed : streaming & dictionary API
 215 Improved : better compression of small data
 216
 217 v0.4.7
 218 Improved : small compression speed improvement in HC mode
 219 Changed : `zstd_decompress.c` has ZSTD_LEGACY_SUPPORT to 0 by default
 220 fix : bt search bug
 221
 222 v0.4.6
 223 fix : fast compression mode on Windows
 224 New : cmake configuration file, thanks to Artyom Dymchenko
 225 Improved : high compression mode on repetitive data
 226 New : block-level API
 227 New : ZSTD_duplicateCCtx()
 228
 229 v0.4.5
 230 new : -m/--multiple : compress/decompress multiple files
 231
 232 v0.4.4
 233 Fixed : high compression modes for Windows 32 bits
 234 new : external dictionary API extended to buffered mode and accessible through command line
 235 new : windows DLL project, thanks to Christophe Chevalier
 236
 237 v0.4.3 :
 238 new : external dictionary API
 239 new : zstd-frugal
 240
 241 v0.4.2 :
 242 Generic minor improvements for small blocks
 243 Fixed : big-endian compatibility, by Peter Harris (#85)
 244
 245 v0.4.1
 246 Fixed : ZSTD_LEGACY_SUPPORT=0 build mode (reported by Luben)
 247 removed `zstd.c`
 248
 249 v0.4.0
 250 Command line utility compatible with high compression levels
 251 Removed zstdhc => merged into zstd
 252 Added : ZBUFF API (see zstd_buffered.h)
 253 Rolling buffer support
 254
 255 v0.3.6
 256 small blocks params
 257
 258 v0.3.5
 259 minor generic compression improvements
 260
 261 v0.3.4
 262 Faster fast cLevels
 263
 264 v0.3.3
 265 Small compression ratio improvement
 266
 267 v0.3.2
 268 Fixed Visual Studio
 269
 270 v0.3.1 :
 271 Small compression ratio improvement
 272
 273 v0.3
 274 HC mode : compression levels 2-26
 275
 276 v0.2.2
 277 Fix : Visual Studio 2013 & 2015 release compilation, by Christophe Chevalier
 278
 279 v0.2.1
 280 Fix : Read errors, advanced fuzzer tests, by Hanno Böck
 281
 282 v0.2.0
 283 **Breaking format change**
 284 Faster decompression speed
 285 Can still decode v0.1 format
 286
 287 v0.1.3
 288 fix uninitialization warning, reported by Evan Nemerson
 289
 290 v0.1.2
 291 frame concatenation support
 292
 293 v0.1.1
 294 fix compression bug
 295 detects write-flush errors
 296
 297 v0.1.0
 298 first release