sys/contrib/zstd/NEWS

   1 v1.3.2
   2 new : long range mode, using --long command, by Stella Lau (@stellamplau)
   3 new : ability to generate and decode magicless frames (#591)
   4 changed : maximum nb of threads reduced to 200, to avoid address space exhaustion in 32-bits mode
   5 fix : multi-threading compression works with custom allocators
   6 fix : ZSTD_sizeof_CStream() was over-evaluating memory usage
   7 fix : a rare compression bug when compression generates very large distances and bunch of other conditions (only possible at --ultra -22)
   8 fix : 32-bits build can now decode large offsets (levels 21+)
   9 cli : added LZ4 frame support by default, by Felix Handte (@felixhandte)
  10 cli : improved --list output
  11 cli : new : can split input file for dictionary training, using command -B#
  12 cli : new : clean operation artefact on Ctrl-C interruption
  13 cli : fix : do not change /dev/null permissions when using command -t with root access, reported by @mike155 (#851)
  14 cli : fix : write file size in header in multiple-files mode
  15 api : added macro ZSTD_COMPRESSBOUND() for static allocation
  16 api : experimental : new advanced decompression API
  17 api : fix : sizeof_CCtx() used to over-estimate
  18 build: fix : no-multithread variant compiles without pool.c dependency, reported by Mitchell Blank Jr (@mitchblank) (#819)
  19 build: better compatibility with reproducible builds, by Bernhard M. Wiedemann (@bmwiedemann) (#818)
  20 example : added streaming_memory_usage
  21 license : changed /examples license to BSD + GPLv2
  22 license : fix a few header files to reflect new license (#825)
  23
  24 v1.3.1
  25 New license : BSD + GPLv2
  26 perf: substantially decreased memory usage in Multi-threading mode, thanks to reports by Tino Reichardt (@mcmilk)
  27 perf: Multi-threading supports up to 256 threads. Cap at 256 when more are requested (#760)
  28 cli : improved and fixed --list command, by @ib (#772)
  29 cli : command -vV to list supported formats, by @ib (#771)
  30 build : fixed binary variants, reported by @svenha (#788)
  31 build : fix Visual compilation for non x86/x64 targets, reported by Greg Slazinski (@GregSlazinski) (#718)
  32 API exp : breaking change : ZSTD_getframeHeader() provides more information
  33 API exp : breaking change : pinned down values of error codes
  34 doc : fixed huffman example, by Ulrich Kunitz (@ulikunitz)
  35 new : contrib/adaptive-compression, I/O driven compression strength, by Paul Cruz (@paulcruz74)
  36 new : contrib/long_distance_matching, statistics by Stella Lau (@stellamplau)
  37 updated : contrib/linux-kernel, by Nick Terrell (@terrelln)
  38
  39 v1.3.0
  40 cli : new : `--list` command, by Paul Cruz
  41 cli : changed : xz/lzma support enabled by default
  42 cli : changed : `-t *` continue processing list after a decompression error
  43 API : added : ZSTD_versionString()
  44 API : promoted to stable status : ZSTD_getFrameContentSize(), by Sean Purcell
  45 API exp : new advanced API : ZSTD_compress_generic(), ZSTD_CCtx_setParameter()
  46 API exp : new : API for static or external allocation : ZSTD_initStatic?Ctx()
  47 API exp : added : ZSTD_decompressBegin_usingDDict(), requested by Guy Riddle (#700)
  48 API exp : clarified memory estimation / measurement functions.
  49 API exp : changed : strongest strategy renamed ZSTD_btultra, fastest strategy ZSTD_fast set to 1
  50 tools : decodecorpus can generate random dictionary-compressed samples, by Paul Cruz
  51 new : contrib/seekable_format, demo and API, by Sean Purcell
  52 changed : contrib/linux-kernel, updated version and license, by Nick Terrell
  53
  54 v1.2.0
  55 cli : changed : Multithreading enabled by default (use target zstd-nomt or HAVE_THREAD=0 to disable)
  56 cli : new : command -T0 means "detect and use nb of cores", by Sean Purcell
  57 cli : new : zstdmt symlink hardwired to `zstd -T0`
  58 cli : new : command --threads=# (#671)
  59 cli : changed : cover dictionary builder by default, for improved quality, by Nick Terrell
  60 cli : new : commands --train-cover and --train-legacy, to select dictionary algorithm and parameters
  61 cli : experimental targets `zstd4` and `xzstd4`, with support for lz4 format, by Sean Purcell
  62 cli : fix : does not output compressed data on console
  63 cli : fix : ignore symbolic links unless --force specified,
  64 API : breaking change : ZSTD_createCDict_advanced(), only use compressionParameters as argument
  65 API : added : prototypes ZSTD_*_usingCDict_advanced(), for direct control over frameParameters.
  66 API : improved: ZSTDMT_compressCCtx() reduced memory usage
  67 API : fix : ZSTDMT_compressCCtx() now provides srcSize in header (#634)
  68 API : fix : src size stored in frame header is controlled at end of frame
  69 API : fix : enforced consistent rules for pledgedSrcSize==0 (#641)
  70 API : fix : error code "GENERIC" replaced by "dstSizeTooSmall" when appropriate
  71 build: improved cmake script, by @Majlen
  72 build: enabled Multi-threading support for *BSD, by Baptiste Daroussin
  73 tools: updated Paramgrill. Command -O# provides best parameters for sample and speed target.
  74 new : contrib/linux-kernel version, by Nick Terrell
  75
  76 v1.1.4
  77 cli : new : can compress in *.gz format, using --format=gzip command, by Przemyslaw Skibinski
  78 cli : new : advanced benchmark command --priority=rt
  79 cli : fix : write on sparse-enabled file systems in 32-bits mode, by @ds77
  80 cli : fix : --rm remains silent when input is stdin
  81 cli : experimental : xzstd, with support for xz/lzma decoding, by Przemyslaw Skibinski
  82 speed : improved decompression speed in streaming mode for single shot scenarios (+5%)
  83 memory: DDict (decompression dictionary) memory usage down from 150 KB to 20 KB
  84 arch: 32-bits variant able to generate and decode very long matches (>32 MB), by Sean Purcell
  85 API : new : ZSTD_findFrameCompressedSize(), ZSTD_getFrameContentSize(), ZSTD_findDecompressedSize()
  86 API : changed : dropped support of legacy versions <= v0.3 (can be changed by modifying ZSTD_LEGACY_SUPPORT value)
  87 build : new: meson build system in contrib/meson, by Dima Krasner
  88 build : improved cmake script, by @Majlen
  89 build : added -Wformat-security flag, as recommended by Padraig Brady
  90 doc : new : educational decoder, by Sean Purcell
  91
  92 v1.1.3
  93 cli : zstd can decompress .gz files (can be disabled with `make zstd-nogz` or `make HAVE_ZLIB=0`)
  94 cli : new : experimental target `make zstdmt`, with multi-threading support
  95 cli : new : improved dictionary builder "cover" (experimental), by Nick Terrell, based on prior work by Giuseppe Ottaviano.
  96 cli : new : advanced commands for detailed parameters, by Przemyslaw Skibinski
  97 cli : fix zstdless on Mac OS-X, by Andrew Janke
  98 cli : fix #232 "compress non-files"
  99 dictBuilder : improved dictionary generation quality, thanks to Nick Terrell
 100 API : new : lib/compress/ZSTDMT_compress.h multithreading API (experimental)
 101 API : new : ZSTD_create?Dict_byReference(), requested by Bartosz Taudul
 102 API : new : ZDICT_finalizeDictionary()
 103 API : fix : ZSTD_initCStream_usingCDict() properly writes dictID into frame header, by Gregory Szorc (#511)
 104 API : fix : all symbols properly exposed in libzstd, by Nick Terrell
 105 build : support for Solaris target, by Przemyslaw Skibinski
 106 doc : clarified specification, by Sean Purcell
 107
 108 v1.1.2
 109 API : streaming : decompression : changed : automatic implicit reset when chain-decoding new frames without init
 110 API : experimental : added : dictID retrieval functions, and ZSTD_initCStream_srcSize()
 111 API : zbuff : changed : prototypes now generate deprecation warnings
 112 lib : improved : faster decompression speed at ultra compression settings and 32-bits mode
 113 lib : changed : only public ZSTD_ symbols are now exposed
 114 lib : changed : reduced usage  of stack memory
 115 lib : fixed : several corner case bugs, by Nick Terrell
 116 cli : new : gzstd, experimental version able to decode .gz files, by Przemyslaw Skibinski
 117 cli : new : preserve file attributes
 118 cli : new : added zstdless and zstdgrep tools
 119 cli : fixed : status displays total amount decoded, even for file consisting of multiple frames (like pzstd)
 120 cli : fixed : zstdcat
 121 zlib_wrapper : added support for gz* functions, by Przemyslaw Skibinski
 122 install : better compatibility with FreeBSD, by Dimitry Andric
 123 source tree : changed : zbuff source files moved to lib/deprecated
 124
 125 v1.1.1
 126 New : command -M#, --memory=, --memlimit=, --memlimit-decompress= to limit allowed memory consumption
 127 New : doc/zstd_manual.html, by Przemyslaw Skibinski
 128 Improved : slightly better compression ratio at --ultra levels (>= 20)
 129 Improved : better memory usage when using streaming compression API, thanks to @Rogier-5 report
 130 Added : API : ZSTD_initCStream_usingCDict(), ZSTD_initDStream_usingDDict() (experimental section)
 131 Added : example/multiple_streaming_compression.c
 132 Changed : zstd_errors.h is now installed within /include (and replaces errors_public.h)
 133 Updated man page
 134 Fixed : zstd-small, zstd-compress and zstd-decompress compilation targets
 135
 136 v1.1.0
 137 New : contrib/pzstd, parallel version of zstd, by Nick Terrell
 138 added : NetBSD install target (#338)
 139 Improved : speed for batches of small files
 140 Improved : speed of zlib wrapper, by Przemyslaw Skibinski
 141 Changed : libzstd on Windows supports legacy formats, by Christophe Chevalier
 142 Fixed : CLI -d output to stdout by default when input is stdin (#322)
 143 Fixed : CLI correctly detects console on Mac OS-X
 144 Fixed : CLI supports recursive mode `-r` on Mac OS-X
 145 Fixed : Legacy decoders use unified error codes, reported by benrg (#341), fixed by Przemyslaw Skibinski
 146 Fixed : compatibility with OpenBSD, reported by Juan Francisco Cantero Hurtado (#319)
 147 Fixed : compatibility with Hurd, by Przemyslaw Skibinski (#365)
 148 Fixed : zstd-pgo, reported by octoploid (#329)
 149
 150 v1.0.0
 151 Change Licensing, all project is now BSD, Copyright Facebook
 152 Small decompression speed improvement
 153 API : Streaming API supports legacy format
 154 API : ZDICT_getDictID(), ZSTD_sizeof_{CCtx, DCtx, CStream, DStream}(), ZSTD_setDStreamParamter()
 155 CLI supports legacy formats v0.4+
 156 Fixed : compression fails on certain huge files, reported by Jesse McGrew
 157 Enhanced documentation, by Przemyslaw Skibinski
 158
 159 v0.8.1
 160 New streaming API
 161 Changed : --ultra now enables levels beyond 19
 162 Changed : -i# now selects benchmark time in second
 163 Fixed : ZSTD_compress* can now compress > 4 GB in a single pass, reported by Nick Terrell
 164 Fixed : speed regression on specific patterns (#272)
 165 Fixed : support for Z_SYNC_FLUSH, by Dmitry Krot (#291)
 166 Fixed : ICC compilation, by Przemyslaw Skibinski
 167
 168 v0.8.0
 169 Improved : better speed on clang and gcc -O2, thanks to Eric Biggers
 170 New : Build on FreeBSD and DragonFly, thanks to JrMarino
 171 Changed : modified API : ZSTD_compressEnd()
 172 Fixed : legacy mode with ZSTD_HEAPMODE=0, by Christopher Bergqvist
 173 Fixed : premature end of frame when zero-sized raw block, reported by Eric Biggers
 174 Fixed : large dictionaries (> 384 KB), reported by Ilona Papava
 175 Fixed : checksum correctly checked in single-pass mode
 176 Fixed : combined --test amd --rm, reported by Andreas M. Nilsson
 177 Modified : minor compression level adaptations
 178 Updated : compression format specification to v0.2.0
 179 changed : zstd.h moved to /lib directory
 180
 181 v0.7.5
 182 Transition version, supporting decoding of v0.8.x
 183
 184 v0.7.4
 185 Added : homebrew for Mac, by Daniel Cade
 186 Added : more examples
 187 Fixed : segfault when using small dictionaries, reported by Felix Handte
 188 Modified : default compression level for CLI is now 3
 189 Updated : specification, to v0.1.1
 190
 191 v0.7.3
 192 New : compression format specification
 193 New : `--` separator, stating that all following arguments are file names. Suggested by Chip Turner.
 194 New : `ZSTD_getDecompressedSize()`
 195 New : OpenBSD target, by Juan Francisco Cantero Hurtado
 196 New : `examples` directory
 197 fixed : dictBuilder using HC levels, reported by Bartosz Taudul
 198 fixed : legacy support from ZSTD_decompress_usingDDict(), reported by Felix Handte
 199 fixed : multi-blocks decoding with intermediate uncompressed blocks, reported by Greg Slazinski
 200 modified : removed "mem.h" and "error_public.h" dependencies from "zstd.h" (experimental section)
 201 modified : legacy functions no longer need magic number
 202
 203 v0.7.2
 204 fixed : ZSTD_decompressBlock() using multiple consecutive blocks. Reported by Greg Slazinski.
 205 fixed : potential segfault on very large files (many gigabytes). Reported by Chip Turner.
 206 fixed : CLI displays system error message when destination file cannot be created (#231). Reported by Chip Turner.
 207
 208 v0.7.1
 209 fixed : ZBUFF_compressEnd() called multiple times with too small `dst` buffer, reported by Christophe Chevalier
 210 fixed : dictBuilder fails if first sample is too small, reported by Руслан Ковалёв
 211 fixed : corruption issue, reported by cj
 212 modified : checksum enabled by default in command line mode
 213
 214 v0.7.0
 215 New : Support for directory compression, using `-r`, thanks to Przemyslaw Skibinski
 216 New : Command `--rm`, to remove source file after successful de/compression
 217 New : Visual build scripts, by Christophe Chevalier
 218 New : Support for Sparse File-systems (do not use space for zero-filled sectors)
 219 New : Frame checksum support
 220 New : Support pass-through mode (when using `-df`)
 221 API : more efficient Dictionary API : `ZSTD_compress_usingCDict()`, `ZSTD_decompress_usingDDict()`
 222 API : create dictionary files from custom content, by Giuseppe Ottaviano
 223 API : support for custom malloc/free functions
 224 New : controllable Dictionary ID
 225 New : Support for skippable frames
 226
 227 v0.6.1
 228 New : zlib wrapper API, thanks to Przemyslaw Skibinski
 229 New : Ability to compile compressor / decompressor separately
 230 Changed : new lib directory structure
 231 Fixed : Legacy codec v0.5 compatible with dictionary decompression
 232 Fixed : Decoder corruption error (#173)
 233 Fixed : null-string roundtrip (#176)
 234 New : benchmark mode can select directory as input
 235 Experimental : midipix support, VMS support
 236
 237 v0.6.0
 238 Stronger high compression modes, thanks to Przemyslaw Skibinski
 239 API : ZSTD_getFrameParams() provides size of decompressed content
 240 New : highest compression modes require `--ultra` command to fully unleash their capacity
 241 Fixed : zstd cli return error code > 0 and removes dst file artifact when decompression fails, thanks to Chip Turner
 242
 243 v0.5.1
 244 New : Optimal parsing => Very high compression modes, thanks to Przemyslaw Skibinski
 245 Changed : Dictionary builder integrated into libzstd and zstd cli
 246 Changed (!) : zstd cli now uses "multiple input files" as default mode. See `zstd -h`.
 247 Fix : high compression modes for big-endian platforms
 248 New : zstd cli : `-t` | `--test` command
 249
 250 v0.5.0
 251 New : dictionary builder utility
 252 Changed : streaming & dictionary API
 253 Improved : better compression of small data
 254
 255 v0.4.7
 256 Improved : small compression speed improvement in HC mode
 257 Changed : `zstd_decompress.c` has ZSTD_LEGACY_SUPPORT to 0 by default
 258 fix : bt search bug
 259
 260 v0.4.6
 261 fix : fast compression mode on Windows
 262 New : cmake configuration file, thanks to Artyom Dymchenko
 263 Improved : high compression mode on repetitive data
 264 New : block-level API
 265 New : ZSTD_duplicateCCtx()
 266
 267 v0.4.5
 268 new : -m/--multiple : compress/decompress multiple files
 269
 270 v0.4.4
 271 Fixed : high compression modes for Windows 32 bits
 272 new : external dictionary API extended to buffered mode and accessible through command line
 273 new : windows DLL project, thanks to Christophe Chevalier
 274
 275 v0.4.3 :
 276 new : external dictionary API
 277 new : zstd-frugal
 278
 279 v0.4.2 :
 280 Generic minor improvements for small blocks
 281 Fixed : big-endian compatibility, by Peter Harris (#85)
 282
 283 v0.4.1
 284 Fixed : ZSTD_LEGACY_SUPPORT=0 build mode (reported by Luben)
 285 removed `zstd.c`
 286
 287 v0.4.0
 288 Command line utility compatible with high compression levels
 289 Removed zstdhc => merged into zstd
 290 Added : ZBUFF API (see zstd_buffered.h)
 291 Rolling buffer support
 292
 293 v0.3.6
 294 small blocks params
 295
 296 v0.3.5
 297 minor generic compression improvements
 298
 299 v0.3.4
 300 Faster fast cLevels
 301
 302 v0.3.3
 303 Small compression ratio improvement
 304
 305 v0.3.2
 306 Fixed Visual Studio
 307
 308 v0.3.1 :
 309 Small compression ratio improvement
 310
 311 v0.3
 312 HC mode : compression levels 2-26
 313
 314 v0.2.2
 315 Fix : Visual Studio 2013 & 2015 release compilation, by Christophe Chevalier
 316
 317 v0.2.1
 318 Fix : Read errors, advanced fuzzer tests, by Hanno Böck
 319
 320 v0.2.0
 321 **Breaking format change**
 322 Faster decompression speed
 323 Can still decode v0.1 format
 324
 325 v0.1.3
 326 fix uninitialization warning, reported by Evan Nemerson
 327
 328 v0.1.2
 329 frame concatenation support
 330
 331 v0.1.1
 332 fix compression bug
 333 detects write-flush errors
 334
 335 v0.1.0
 336 first release