sys/contrib/zlib/FAQ

   1
   2                 Frequently Asked Questions about zlib
   3
   4
   5 If your question is not there, please check the zlib home page
   6 http://zlib.net/ which may have more recent information.
   7 The latest zlib FAQ is at http://zlib.net/zlib_faq.html
   8
   9
  10  1. Is zlib Y2K-compliant?
  11
  12     Yes. zlib doesn't handle dates.
  13
  14  2. Where can I get a Windows DLL version?
  15
  16     The zlib sources can be compiled without change to produce a DLL.  See the
  17     file win32/DLL_FAQ.txt in the zlib distribution.
  18
  19  3. Where can I get a Visual Basic interface to zlib?
  20
  21     See
  22         * http://marknelson.us/1997/01/01/zlib-engine/
  23         * win32/DLL_FAQ.txt in the zlib distribution
  24
  25  4. compress() returns Z_BUF_ERROR.
  26
  27     Make sure that before the call of compress(), the length of the compressed
  28     buffer is equal to the available size of the compressed buffer and not
  29     zero.  For Visual Basic, check that this parameter is passed by reference
  30     ("as any"), not by value ("as long").
  31
  32  5. deflate() or inflate() returns Z_BUF_ERROR.
  33
  34     Before making the call, make sure that avail_in and avail_out are not zero.
  35     When setting the parameter flush equal to Z_FINISH, also make sure that
  36     avail_out is big enough to allow processing all pending input.  Note that a
  37     Z_BUF_ERROR is not fatal--another call to deflate() or inflate() can be
  38     made with more input or output space.  A Z_BUF_ERROR may in fact be
  39     unavoidable depending on how the functions are used, since it is not
  40     possible to tell whether or not there is more output pending when
  41     strm.avail_out returns with zero.  See http://zlib.net/zlib_how.html for a
  42     heavily annotated example.
  43
  44  6. Where's the zlib documentation (man pages, etc.)?
  45
  46     It's in zlib.h .  Examples of zlib usage are in the files test/example.c
  47     and test/minigzip.c, with more in examples/ .
  48
  49  7. Why don't you use GNU autoconf or libtool or ...?
  50
  51     Because we would like to keep zlib as a very small and simple package.
  52     zlib is rather portable and doesn't need much configuration.
  53
  54  8. I found a bug in zlib.
  55
  56     Most of the time, such problems are due to an incorrect usage of zlib.
  57     Please try to reproduce the problem with a small program and send the
  58     corresponding source to us at zlib@gzip.org .  Do not send multi-megabyte
  59     data files without prior agreement.
  60
  61  9. Why do I get "undefined reference to gzputc"?
  62
  63     If "make test" produces something like
  64
  65        example.o(.text+0x154): undefined reference to `gzputc'
  66
  67     check that you don't have old files libz.* in /usr/lib, /usr/local/lib or
  68     /usr/X11R6/lib. Remove any old versions, then do "make install".
  69
  70 10. I need a Delphi interface to zlib.
  71
  72     See the contrib/delphi directory in the zlib distribution.
  73
  74 11. Can zlib handle .zip archives?
  75
  76     Not by itself, no.  See the directory contrib/minizip in the zlib
  77     distribution.
  78
  79 12. Can zlib handle .Z files?
  80
  81     No, sorry.  You have to spawn an uncompress or gunzip subprocess, or adapt
  82     the code of uncompress on your own.
  83
  84 13. How can I make a Unix shared library?
  85
  86     By default a shared (and a static) library is built for Unix.  So:
  87
  88     make distclean
  89     ./configure
  90     make
  91
  92 14. How do I install a shared zlib library on Unix?
  93
  94     After the above, then:
  95
  96     make install
  97
  98     However, many flavors of Unix come with a shared zlib already installed.
  99     Before going to the trouble of compiling a shared version of zlib and
 100     trying to install it, you may want to check if it's already there!  If you
 101     can #include <zlib.h>, it's there.  The -lz option will probably link to
 102     it.  You can check the version at the top of zlib.h or with the
 103     ZLIB_VERSION symbol defined in zlib.h .
 104
 105 15. I have a question about OttoPDF.
 106
 107     We are not the authors of OttoPDF. The real author is on the OttoPDF web
 108     site: Joel Hainley, jhainley@myndkryme.com.
 109
 110 16. Can zlib decode Flate data in an Adobe PDF file?
 111
 112     Yes. See http://www.pdflib.com/ . To modify PDF forms, see
 113     http://sourceforge.net/projects/acroformtool/ .
 114
 115 17. Why am I getting this "register_frame_info not found" error on Solaris?
 116
 117     After installing zlib 1.1.4 on Solaris 2.6, running applications using zlib
 118     generates an error such as:
 119
 120         ld.so.1: rpm: fatal: relocation error: file /usr/local/lib/libz.so:
 121         symbol __register_frame_info: referenced symbol not found
 122
 123     The symbol __register_frame_info is not part of zlib, it is generated by
 124     the C compiler (cc or gcc).  You must recompile applications using zlib
 125     which have this problem.  This problem is specific to Solaris.  See
 126     http://www.sunfreeware.com for Solaris versions of zlib and applications
 127     using zlib.
 128
 129 18. Why does gzip give an error on a file I make with compress/deflate?
 130
 131     The compress and deflate functions produce data in the zlib format, which
 132     is different and incompatible with the gzip format.  The gz* functions in
 133     zlib on the other hand use the gzip format.  Both the zlib and gzip formats
 134     use the same compressed data format internally, but have different headers
 135     and trailers around the compressed data.
 136
 137 19. Ok, so why are there two different formats?
 138
 139     The gzip format was designed to retain the directory information about a
 140     single file, such as the name and last modification date.  The zlib format
 141     on the other hand was designed for in-memory and communication channel
 142     applications, and has a much more compact header and trailer and uses a
 143     faster integrity check than gzip.
 144
 145 20. Well that's nice, but how do I make a gzip file in memory?
 146
 147     You can request that deflate write the gzip format instead of the zlib
 148     format using deflateInit2().  You can also request that inflate decode the
 149     gzip format using inflateInit2().  Read zlib.h for more details.
 150
 151 21. Is zlib thread-safe?
 152
 153     Yes.  However any library routines that zlib uses and any application-
 154     provided memory allocation routines must also be thread-safe.  zlib's gz*
 155     functions use stdio library routines, and most of zlib's functions use the
 156     library memory allocation routines by default.  zlib's *Init* functions
 157     allow for the application to provide custom memory allocation routines.
 158
 159     Of course, you should only operate on any given zlib or gzip stream from a
 160     single thread at a time.
 161
 162 22. Can I use zlib in my commercial application?
 163
 164     Yes.  Please read the license in zlib.h.
 165
 166 23. Is zlib under the GNU license?
 167
 168     No.  Please read the license in zlib.h.
 169
 170 24. The license says that altered source versions must be "plainly marked". So
 171     what exactly do I need to do to meet that requirement?
 172
 173     You need to change the ZLIB_VERSION and ZLIB_VERNUM #defines in zlib.h.  In
 174     particular, the final version number needs to be changed to "f", and an
 175     identification string should be appended to ZLIB_VERSION.  Version numbers
 176     x.x.x.f are reserved for modifications to zlib by others than the zlib
 177     maintainers.  For example, if the version of the base zlib you are altering
 178     is "1.2.3.4", then in zlib.h you should change ZLIB_VERNUM to 0x123f, and
 179     ZLIB_VERSION to something like "1.2.3.f-zachary-mods-v3".  You can also
 180     update the version strings in deflate.c and inftrees.c.
 181
 182     For altered source distributions, you should also note the origin and
 183     nature of the changes in zlib.h, as well as in ChangeLog and README, along
 184     with the dates of the alterations.  The origin should include at least your
 185     name (or your company's name), and an email address to contact for help or
 186     issues with the library.
 187
 188     Note that distributing a compiled zlib library along with zlib.h and
 189     zconf.h is also a source distribution, and so you should change
 190     ZLIB_VERSION and ZLIB_VERNUM and note the origin and nature of the changes
 191     in zlib.h as you would for a full source distribution.
 192
 193 25. Will zlib work on a big-endian or little-endian architecture, and can I
 194     exchange compressed data between them?
 195
 196     Yes and yes.
 197
 198 26. Will zlib work on a 64-bit machine?
 199
 200     Yes.  It has been tested on 64-bit machines, and has no dependence on any
 201     data types being limited to 32-bits in length.  If you have any
 202     difficulties, please provide a complete problem report to zlib@gzip.org
 203
 204 27. Will zlib decompress data from the PKWare Data Compression Library?
 205
 206     No.  The PKWare DCL uses a completely different compressed data format than
 207     does PKZIP and zlib.  However, you can look in zlib's contrib/blast
 208     directory for a possible solution to your problem.
 209
 210 28. Can I access data randomly in a compressed stream?
 211
 212     No, not without some preparation.  If when compressing you periodically use
 213     Z_FULL_FLUSH, carefully write all the pending data at those points, and
 214     keep an index of those locations, then you can start decompression at those
 215     points.  You have to be careful to not use Z_FULL_FLUSH too often, since it
 216     can significantly degrade compression.  Alternatively, you can scan a
 217     deflate stream once to generate an index, and then use that index for
 218     random access.  See examples/zran.c .
 219
 220 29. Does zlib work on MVS, OS/390, CICS, etc.?
 221
 222     It has in the past, but we have not heard of any recent evidence.  There
 223     were working ports of zlib 1.1.4 to MVS, but those links no longer work.
 224     If you know of recent, successful applications of zlib on these operating
 225     systems, please let us know.  Thanks.
 226
 227 30. Is there some simpler, easier to read version of inflate I can look at to
 228     understand the deflate format?
 229
 230     First off, you should read RFC 1951.  Second, yes.  Look in zlib's
 231     contrib/puff directory.
 232
 233 31. Does zlib infringe on any patents?
 234
 235     As far as we know, no.  In fact, that was originally the whole point behind
 236     zlib.  Look here for some more information:
 237
 238     http://www.gzip.org/#faq11
 239
 240 32. Can zlib work with greater than 4 GB of data?
 241
 242     Yes.  inflate() and deflate() will process any amount of data correctly.
 243     Each call of inflate() or deflate() is limited to input and output chunks
 244     of the maximum value that can be stored in the compiler's "unsigned int"
 245     type, but there is no limit to the number of chunks.  Note however that the
 246     strm.total_in and strm_total_out counters may be limited to 4 GB.  These
 247     counters are provided as a convenience and are not used internally by
 248     inflate() or deflate().  The application can easily set up its own counters
 249     updated after each call of inflate() or deflate() to count beyond 4 GB.
 250     compress() and uncompress() may be limited to 4 GB, since they operate in a
 251     single call.  gzseek() and gztell() may be limited to 4 GB depending on how
 252     zlib is compiled.  See the zlibCompileFlags() function in zlib.h.
 253
 254     The word "may" appears several times above since there is a 4 GB limit only
 255     if the compiler's "long" type is 32 bits.  If the compiler's "long" type is
 256     64 bits, then the limit is 16 exabytes.
 257
 258 33. Does zlib have any security vulnerabilities?
 259
 260     The only one that we are aware of is potentially in gzprintf().  If zlib is
 261     compiled to use sprintf() or vsprintf(), then there is no protection
 262     against a buffer overflow of an 8K string space (or other value as set by
 263     gzbuffer()), other than the caller of gzprintf() assuring that the output
 264     will not exceed 8K.  On the other hand, if zlib is compiled to use
 265     snprintf() or vsnprintf(), which should normally be the case, then there is
 266     no vulnerability.  The ./configure script will display warnings if an
 267     insecure variation of sprintf() will be used by gzprintf().  Also the
 268     zlibCompileFlags() function will return information on what variant of
 269     sprintf() is used by gzprintf().
 270
 271     If you don't have snprintf() or vsnprintf() and would like one, you can
 272     find a portable implementation here:
 273
 274         http://www.ijs.si/software/snprintf/
 275
 276     Note that you should be using the most recent version of zlib.  Versions
 277     1.1.3 and before were subject to a double-free vulnerability, and versions
 278     1.2.1 and 1.2.2 were subject to an access exception when decompressing
 279     invalid compressed data.
 280
 281 34. Is there a Java version of zlib?
 282
 283     Probably what you want is to use zlib in Java. zlib is already included
 284     as part of the Java SDK in the java.util.zip package. If you really want
 285     a version of zlib written in the Java language, look on the zlib home
 286     page for links: http://zlib.net/ .
 287
 288 35. I get this or that compiler or source-code scanner warning when I crank it
 289     up to maximally-pedantic. Can't you guys write proper code?
 290
 291     Many years ago, we gave up attempting to avoid warnings on every compiler
 292     in the universe.  It just got to be a waste of time, and some compilers
 293     were downright silly as well as contradicted each other.  So now, we simply
 294     make sure that the code always works.
 295
 296 36. Valgrind (or some similar memory access checker) says that deflate is
 297     performing a conditional jump that depends on an uninitialized value.
 298     Isn't that a bug?
 299
 300     No.  That is intentional for performance reasons, and the output of deflate
 301     is not affected.  This only started showing up recently since zlib 1.2.x
 302     uses malloc() by default for allocations, whereas earlier versions used
 303     calloc(), which zeros out the allocated memory.  Even though the code was
 304     correct, versions 1.2.4 and later was changed to not stimulate these
 305     checkers.
 306
 307 37. Will zlib read the (insert any ancient or arcane format here) compressed
 308     data format?
 309
 310     Probably not. Look in the comp.compression FAQ for pointers to various
 311     formats and associated software.
 312
 313 38. How can I encrypt/decrypt zip files with zlib?
 314
 315     zlib doesn't support encryption.  The original PKZIP encryption is very
 316     weak and can be broken with freely available programs.  To get strong
 317     encryption, use GnuPG, http://www.gnupg.org/ , which already includes zlib
 318     compression.  For PKZIP compatible "encryption", look at
 319     http://www.info-zip.org/
 320
 321 39. What's the difference between the "gzip" and "deflate" HTTP 1.1 encodings?
 322
 323     "gzip" is the gzip format, and "deflate" is the zlib format.  They should
 324     probably have called the second one "zlib" instead to avoid confusion with
 325     the raw deflate compressed data format.  While the HTTP 1.1 RFC 2616
 326     correctly points to the zlib specification in RFC 1950 for the "deflate"
 327     transfer encoding, there have been reports of servers and browsers that
 328     incorrectly produce or expect raw deflate data per the deflate
 329     specification in RFC 1951, most notably Microsoft.  So even though the
 330     "deflate" transfer encoding using the zlib format would be the more
 331     efficient approach (and in fact exactly what the zlib format was designed
 332     for), using the "gzip" transfer encoding is probably more reliable due to
 333     an unfortunate choice of name on the part of the HTTP 1.1 authors.
 334
 335     Bottom line: use the gzip format for HTTP 1.1 encoding.
 336
 337 40. Does zlib support the new "Deflate64" format introduced by PKWare?
 338
 339     No.  PKWare has apparently decided to keep that format proprietary, since
 340     they have not documented it as they have previous compression formats.  In
 341     any case, the compression improvements are so modest compared to other more
 342     modern approaches, that it's not worth the effort to implement.
 343
 344 41. I'm having a problem with the zip functions in zlib, can you help?
 345
 346     There are no zip functions in zlib.  You are probably using minizip by
 347     Giles Vollant, which is found in the contrib directory of zlib.  It is not
 348     part of zlib.  In fact none of the stuff in contrib is part of zlib.  The
 349     files in there are not supported by the zlib authors.  You need to contact
 350     the authors of the respective contribution for help.
 351
 352 42. The match.asm code in contrib is under the GNU General Public License.
 353     Since it's part of zlib, doesn't that mean that all of zlib falls under the
 354     GNU GPL?
 355
 356     No.  The files in contrib are not part of zlib.  They were contributed by
 357     other authors and are provided as a convenience to the user within the zlib
 358     distribution.  Each item in contrib has its own license.
 359
 360 43. Is zlib subject to export controls?  What is its ECCN?
 361
 362     zlib is not subject to export controls, and so is classified as EAR99.
 363
 364 44. Can you please sign these lengthy legal documents and fax them back to us
 365     so that we can use your software in our product?
 366
 367     No. Go away. Shoo.