share/man/man7/release.7

   1 .\" Copyright (c) 2002 Murray Stokely <murray@FreeBSD.org>
   2 .\" All rights reserved.
   3 .\"
   4 .\" Redistribution and use in source and binary forms, with or without
   5 .\" modification, are permitted provided that the following conditions
   6 .\" are met:
   7 .\" 1. Redistributions of source code must retain the above copyright
   8 .\"    notice, this list of conditions and the following disclaimer.
   9 .\" 2. Redistributions in binary form must reproduce the above copyright
  10 .\"    notice, this list of conditions and the following disclaimer in the
  11 .\"    documentation and/or other materials provided with the distribution.
  12 .\"
  13 .\" THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND
  14 .\" ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15 .\" IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  16 .\" ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR BE LIABLE
  17 .\" FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  18 .\" DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  19 .\" OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  20 .\" HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  21 .\" LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  22 .\" OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  23 .\" SUCH DAMAGE.
  24 .\"
  25 .\" $FreeBSD$
  26 .\"
  27 .Dd April 11, 2014
  28 .Dt RELEASE 7
  29 .Os
  30 .Sh NAME
  31 .Nm release
  32 .Nd "release building infrastructure"
  33 .Sh DESCRIPTION
  34 .Fx
  35 provides a complete build environment suitable for users to make
  36 full releases of the
  37 .Fx
  38 operating system.
  39 All of the tools necessary to build a release are available from the
  40 .Fx
  41 source code repository in
  42 .Pa src/release .
  43 A complete release can actually be built with only a single command,
  44 including the creation of ISO images suitable for burning to CD-ROM,
  45 memory stick images, and an FTP install directory.
  46 This command is aptly named
  47 .Dq Li "make release" .
  48 .Pp
  49 For some users, it may be desirable to provide an absolutely clean
  50 build environment, with no local modifications to the source tree or to
  51 .Xr make.conf 5 ,
  52 and with clean checkouts of specific versions of the doc, src, and ports
  53 trees.
  54 For this purpose, a script
  55 .Pq Pa src/release/release.sh
  56 is provided to automate these checkouts and then execute
  57 .Dq Li "make release"
  58 in a clean
  59 .Xr chroot 8 .
  60 .Pp
  61 Before attempting to build a release, the user is expected to be
  62 familiar with the contents of
  63 .Xr build 7 ,
  64 and should have experience upgrading systems from source.
  65 .Pp
  66 The release build process requires that
  67 .Pa /usr/obj
  68 be populated with the output of
  69 .Dq Li "make buildworld"
  70 and
  71 .Dq Li "make buildkernel" .
  72 This is necessary to provide the object files for the release or, when
  73 using
  74 .Pa release.sh ,
  75 so that the object files for a complete system can be installed into a clean
  76 .Xr chroot 8
  77 environment.
  78 .Pp
  79 If the target release build is for a different architecture or machine type,
  80 the
  81 .Va TARGET
  82 and
  83 .Va TARGET_ARCH
  84 variables must be used.
  85 See the supported
  86 .Fa release.conf
  87 variables for more information.
  88 .Pp
  89 The release procedure on some architectures may also require that the
  90 .Xr md 4
  91 (memory disk) device driver be present in the kernel
  92 .Pq either by being compiled in or available as a module .
  93 .Pp
  94 This document does not cover source code management, quality
  95 assurance, or other aspects of the release engineering process.
  96 .Sh CLEAN RELEASE GENERATION
  97 Official releases of
  98 .Fx
  99 are produced in a totally clean environment to
 100 ensure consistency between the versions of the src, ports, and doc trees
 101 and to avoid contamination from the host system
 102 .Po such as local patches, changes
 103 to
 104 .Xr make.conf 5 ,
 105 etc.
 106 .Pc .
 107 This is accomplished using the wrapper script
 108 .Pa src/release/release.sh .
 109 .Pp
 110 .Ic release.sh
 111 .Op Fl c Ar release.conf
 112 .Pp
 113 .Ic release.sh
 114 checks out the
 115 .Li src/ ,
 116 .Li ports/ ,
 117 and
 118 .Li doc/
 119 trees to
 120 .Va CHROOTDIR ,
 121 then calls
 122 .Dq Li "make buildworld"
 123 and
 124 .Dq Li "make installworld"
 125 to generate a
 126 .Xr chroot 8
 127 environment.
 128 Next,
 129 .Dq Li "make release"
 130 is run within the
 131 .Xr chroot 8
 132 environment and places the result in
 133 .Pa $CHROOTDIR/R .
 134 .Pp
 135 The optional
 136 .Fa release.conf
 137 configuration file supports the following variables:
 138 .Bl -tag -width Ev
 139 .It Va CHROOTDIR
 140 The directory within which the release will be built.
 141 .It Va CHROOT_MAKEENV
 142 Additional
 143 .Xr make 1
 144 arguments to pass through, which directly affect the
 145 tuning of the build chroot.
 146 .It Va SVNROOT
 147 The
 148 .Xr svn 1
 149 host used to check out the various trees.
 150 Defaults to
 151 .Pa svn://svn.FreeeBSD.org .
 152 .It Va SRCBRANCH
 153 The
 154 .Li src/
 155 branch to use.
 156 Defaults to
 157 .Va head/@rHEAD .
 158 .It Va DOCBRANCH
 159 The
 160 .Li doc/
 161 branch to use.
 162 Defaults to
 163 .Va head/@rHEAD .
 164 .It Va PORTBRANCH
 165 The
 166 .Li ports/
 167 branch to use.
 168 Defaults to
 169 .Va head/@rHEAD .
 170 .It Va TARGET
 171 The target machine type for cross-building a release.
 172 .It Va TARGET_ARCH
 173 The target machine architecture for cross-building a release.
 174 .Pp
 175 For the supported list of
 176 .Va TARGET
 177 and
 178 .Va TARGET_ARCH
 179 combinations, consult the output of
 180 .Dq make targets
 181 as documented in
 182 .Xr build 7 .
 183 .It Va KERNEL
 184 The target kernel configuration to use.
 185 Defaults to
 186 .Va GENERIC .
 187 Multiple
 188 .Va KERNEL
 189 entries may be specified.
 190 .It Va MAKE_CONF
 191 The
 192 .Xr make.conf 5
 193 to use for the release build.
 194 Defaults to
 195 .Fa /dev/null
 196 to prevent polluting the release with local system changes.
 197 .It Va SRC_CONF
 198 The
 199 .Xr src.conf 5
 200 to use for the release build.
 201 Defaults to
 202 .Fa /dev/null
 203 to prevent polluting the release with local system changes.
 204 .It Va MAKE_FLAGS
 205 Additional flags to pass to
 206 .Xr make 1 .
 207 .It Va WORLD_FLAGS
 208 Additional flags to pass to
 209 .Xr make 1
 210 during the
 211 .Dq buildworld
 212 phase.
 213 Defaults to setting the number of
 214 .Xr make 1
 215 jobs
 216 .Pq Ar -j
 217 to the number of CPUs available on a SMP-capable system.
 218 .It Va KERNEL_FLAGS
 219 Additional flags to pass to
 220 .Xr make 1
 221 during the
 222 .Dq buildkernel
 223 phase.
 224 Defaults to setting the number of
 225 .Xr make 1
 226 jobs
 227 .Pq Ar -j
 228 to half the number of CPUs available on a SMP-capable system.
 229 .It Va NODOC
 230 Set to a non-empty value to skip the
 231 .Li doc/
 232 tree checkout.
 233 When set,
 234 .Va NODOC
 235 will prevent the
 236 .Fa doc.txz
 237 distribution package from being created.
 238 .It Va NOPORTS
 239 Set to a non-empty value to skip the
 240 .Li ports/
 241 tree checkout.
 242 When set,
 243 .Va NOPORTS
 244 will prevent the
 245 .Fa ports.txz
 246 distribution package from being created.
 247 Setting this also sets
 248 .Va NODOC .
 249 .It Va WITH_DVD
 250 Set to a non-empty value to include the
 251 .Cm dvdrom
 252 target.
 253 .It Va WITH_COMPRESSED_IMAGES
 254 Set to a non-empty value to compress the release images with
 255 .Xr xz 1 .
 256 The original
 257 .Pq uncompressed
 258 images are not removed.
 259 .It Va VCSCMD
 260 The command run to obtain the source trees.
 261 Defaults to
 262 .Qq Cm svn checkout .
 263 .It Va CHROOTBUILD_SKIP
 264 If defined, the
 265 .Li buildworld ,
 266 .Li installworld ,
 267 and
 268 .Li distribution
 269 stages of the
 270 .Xr chroot 8
 271 build environment setup are skipped.
 272 This is intended solely for cases where the
 273 .Xr chroot 8
 274 userland are provided by alternate means.
 275 .It Va SRC_UPDATE_SKIP
 276 Set to a non-empty value to prevent checkout or update of
 277 .Fa /usr/src
 278 within the
 279 .Xr chroot 8 .
 280 This is intended for use only when
 281 .Fa /usr/src
 282 is expected to exist by alternative means.
 283 .It Va DOC_UPDATE_SKIP
 284 Set to a non-empty value to prevent checkout or update of
 285 .Fa /usr/doc
 286 within the
 287 .Xr chroot 8 .
 288 This is intended for use only when
 289 .Fa /usr/doc
 290 is expected to exist by alternative means.
 291 .It Va PORTS_UPDATE_SKIP
 292 Set to a non-empty value to prevent checkout or update of
 293 .Fa /usr/ports
 294 within the
 295 .Xr chroot 8 .
 296 This is intended for use only when
 297 .Fa /usr/ports
 298 is expected to exist by alternative means.
 299 .El
 300 .Sh EMBEDDED BUILDS
 301 The following
 302 .Fa release.conf
 303 variables are relevant only to release builds for embedded systems:
 304 .Bl -tag -width Ev
 305 .It Va EMBEDDEDBUILD
 306 Set to a non-null value to enable functionality for embedded device
 307 release builds.
 308 .Pq This option is considered highly experimental.
 309 .Pp
 310 When set,
 311 .Va WITH_DVD
 312 is unset, and
 313 .Va NODOC
 314 is defined.
 315 Additionally,
 316 .Va XDEV
 317 and
 318 .Va XDEV_ARCH
 319 must also be defined.
 320 When the build environment is created,
 321 .Fa release.sh
 322 runs a separate build script located in an architecture-specific
 323 directory in
 324 .Pa src/release/${XDEV}/ .
 325 .It Va EMBEDDEDPORTS
 326 Set to the list of any ports that are required for the target device
 327 in the format of
 328 .Fa category/port .
 329 The
 330 .Fa devel/subversion
 331 port is built by default.
 332 .It Va CROCHETSRC
 333 Set to the source URL for the Crochet build tool.
 334 .It Va CROCHETBRANCH
 335 Set to the subversion branch from
 336 .Va ${CROCHETSRC}
 337 to use.
 338 Defaults to
 339 .Pa trunk .
 340 .It Va UBOOTSRC
 341 Set to the source URL of u-boot, if required.
 342 .It Va UBOOTBRANCH
 343 Set to the subversion branch from
 344 .Va ${UBOOTSRC}
 345 to use.
 346 Defaults to
 347 .Pa trunk .
 348 .It Va UBOOTDIR
 349 Set to the target directory within
 350 .Va ${CHROOTDIR}
 351 to check out
 352 .Va ${UBOOTSRC}/${UBOOTBRANCH} .
 353 .El
 354 .Sh MAKEFILE TARGETS
 355 The release makefile
 356 .Pq Pa src/release/Makefile
 357 is fairly abstruse.
 358 Most developers will only be concerned with the
 359 .Cm release
 360 and
 361 .Cm install
 362 targets.
 363 .\" XXX: Some sort of introduction to this list?  All the others have one.
 364 .Bl -tag -width ".Cm packagesystem"
 365 .It Cm release
 366 Meta-target to build all release media and distributions applicable to this
 367 platform.
 368 .It Cm install
 369 Copy all produced release media to
 370 .Pa ${DESTDIR} .
 371 .It Cm cdrom
 372 Builds installation CD-ROM images.
 373 This may require the
 374 .Xr md 4
 375 (memory disk) device driver be present in the kernel
 376 (either by being compiled in or available as a module).
 377 This target produces files called
 378 .Pa disc1.iso
 379 and
 380 .Pa bootonly.iso
 381 as its output.
 382 .It Cm dvdrom
 383 Builds installation DVD-ROM images.
 384 This may require the
 385 .Xr md 4
 386 (memory disk) device driver be present in the kernel
 387 (either by being compiled in or available as a module).
 388 This target produces the
 389 .Pa dvd1.iso
 390 file as its output.
 391 .It Cm memstick
 392 Builds an installation memory stick image named
 393 .Pa memstick.img .
 394 Not applicable on all platforms.
 395 Requires that the
 396 .Xr md 4
 397 .Pq memory disk
 398 device driver be present in the kernel
 399 .Pq either by being compiled in or available as a module .
 400 .It Cm mini-memstick
 401 Similar to
 402 .Cm memstick ,
 403 with the exception that the installation distribution sets
 404 are not included.
 405 .It Cm ftp
 406 Creates a directory named
 407 .Pa ftp
 408 containing the distribution files used in network installations
 409 and suitable for upload to an FTP mirror.
 410 .El
 411 .Pp
 412 Major subtargets called by targets above:
 413 .Bl -tag -width ".Cm packagesystem"
 414 .It Cm packagesystem
 415 Generates all the distribution archives
 416 .Pq base, kernel, ports, doc
 417 applicable on this platform.
 418 .It Cm system
 419 Builds a bootable installation system containing all the distribution files
 420 packaged by the
 421 .Cm packagesystem
 422 target, and suitable for imaging by the
 423 .Cm cdrom ,
 424 .Cm dvdrom
 425 and
 426 .Cm memstick
 427 targets.
 428 .It Cm reldoc
 429 Builds the release documentation.
 430 This includes the release notes,
 431 hardware guide, and installation instructions.
 432 Other documentation, such as the Handbook,
 433 is built during the
 434 .Cm base.txz
 435 target invoked by
 436 .Cm packagesystem .
 437 .El
 438 .Sh ENVIRONMENT
 439 Optional variables:
 440 .Bl -tag -width ".Ev TARGET_ARCH"
 441 .It Ev OSRELEASE
 442 Optional base name for generated media images
 443 .Pq e.g., FreeBSD-9.0-RC2-amd64 .
 444 Defaults to the output of
 445 .Ic `uname -s`-`uname -r`-`uname -p`
 446 within the chroot.
 447 .It Ev WORLDDIR
 448 Location of a directory containing the src tree.
 449 By default, the directory
 450 above the one containing the makefile
 451 .Pq Pa src .
 452 .It Ev PORTSDIR
 453 Location of a directory containing the ports tree.
 454 By default,
 455 .Pa /usr/ports .
 456 If it is unset or cannot be found, ports will not be included in the release.
 457 .It Ev DOCDIR
 458 Location of a directory containing the doc tree.
 459 By default,
 460 .Pa /usr/doc .
 461 If it is unset or cannot be found, most documentation will not be included in
 462 the release; see
 463 .Ev NODOC
 464 below.
 465 .It Ev NOPORTS
 466 If defined, the Ports Collection will be omitted from the release.
 467 .It Ev NOSRC
 468 If set, do not include system source code in the release.
 469 .It Ev NODOC
 470 If defined, the XML-based documentation from the
 471 .Fx
 472 Documentation Project will not be built.
 473 However, the
 474 .Dq doc
 475 distribution will still be created with the minimal documentation set
 476 provided in
 477 .Pa src/share/doc .
 478 .It Ev TARGET
 479 The target hardware platform.
 480 This is analogous to the
 481 .Dq Nm uname Fl m
 482 output.
 483 This is necessary to cross-build some target architectures.
 484 For example, cross-building for PC98 machines requires
 485 .Ev TARGET_ARCH Ns = Ns Li i386
 486 and
 487 .Ev TARGET Ns = Ns Li pc98 .
 488 If not set,
 489 .Ev TARGET
 490 defaults to the current hardware platform.
 491 .It Ev TARGET_ARCH
 492 The target machine processor architecture.
 493 This is analogous to the
 494 .Dq Nm uname Fl p
 495 output.
 496 Set this to cross-build for a different architecture.
 497 If not set,
 498 .Ev TARGET_ARCH
 499 defaults to the current machine architecture, unless
 500 .Ev TARGET
 501 is also set, in which case it defaults to the appropriate
 502 value for that platform.
 503 Typically, one only needs to set
 504 .Ev TARGET .
 505 .El
 506 .Sh FILES
 507 .Bl -tag -compact -width Pa
 508 .It Pa /usr/doc/Makefile
 509 .It Pa /usr/doc/share/mk/doc.project.mk
 510 .It Pa /usr/ports/Mk/bsd.port.mk
 511 .It Pa /usr/ports/Mk/bsd.sites.mk
 512 .It Pa /usr/share/examples/etc/make.conf
 513 .It Pa /usr/src/Makefile
 514 .It Pa /usr/src/Makefile.inc1
 515 .It Pa /usr/src/release/Makefile
 516 .It Pa /usr/src/release/release.sh
 517 .It Pa /usr/src/release/release.conf.sample
 518 .El
 519 .Sh EXAMPLES
 520 The following sequence of commands can be used to build a
 521 .Dq "-CURRENT snapshot":
 522 .Bd -literal -offset indent
 523 cd /usr
 524 svn co svn://svn.freebsd.org/base/head src
 525 cd src
 526 make buildworld buildkernel
 527 cd release
 528 make release
 529 make install DESTDIR=/var/freebsd-snapshot
 530 .Ed
 531 .Pp
 532 After running these commands, all produced distribution files (tarballs
 533 for FTP, CD-ROM images, etc.) are available in the
 534 .Pa /var/freebsd-snapshot
 535 directory.
 536 .Pp
 537 The following sequence of commands can be used to build a
 538 .Dq "-CURRENT snapshot"
 539 in a clean environment, including ports and documentation:
 540 .Bd -literal -offset indent
 541 cd /usr/src/release
 542 sh release.sh
 543 .Ed
 544 .Pp
 545 Optionally, a configuration file can be used customize the release build,
 546 such as the subversion revision to use, the branch of the subversion tree for
 547 .Li src/ ,
 548 .Li ports/ ,
 549 and
 550 .Li doc/ .
 551 .Bd -literal -offset indent
 552 cd /usr/src/release
 553 sh release.sh -c $HOME/release.conf
 554 .Ed
 555 .Pp
 556 After running these commands, all prepared release files are available in the
 557 .Pa /scratch
 558 directory.
 559 The target directory can be changed by specifying the
 560 .Va CHROOTDIR
 561 variable in
 562 .Li release.conf .
 563 .Sh SEE ALSO
 564 .Xr cc 1 ,
 565 .Xr install 1 ,
 566 .Xr make 1 ,
 567 .Xr svn 1 Pq Pa ports/devel/subversion ,
 568 .Xr uname 1 ,
 569 .Xr md 4 ,
 570 .Xr make.conf 5 ,
 571 .Xr build 7 ,
 572 .Xr ports 7 ,
 573 .Xr chroot 8 ,
 574 .Xr mtree 8 ,
 575 .Xr sysctl 8
 576 .Rs
 577 .%T "FreeBSD Release Engineering"
 578 .%U http://www.FreeBSD.org/doc/en_US.ISO8859-1/articles/releng/
 579 .Re
 580 .Rs
 581 .%T "FreeBSD Release Engineering of Third Party Packages"
 582 .%U http://www.FreeBSD.org/doc/en_US.ISO8859-1/articles/releng-packages/
 583 .Re
 584 .Rs
 585 .%T "FreeBSD Developers' Handbook"
 586 .%U http://www.FreeBSD.org/doc/en_US.ISO8859-1/books/developers-handbook/
 587 .Re
 588 .Sh HISTORY
 589 .Fx
 590 1.x
 591 used a manual checklist, compiled by
 592 .An Rod Grimes ,
 593 to produce a release.
 594 Apart from being incomplete, the list put a lot of specific demands on
 595 available file systems and was quite torturous to execute.
 596 .Pp
 597 As part of the
 598 .Fx 2.0
 599 release engineering effort, significant
 600 effort was spent getting
 601 .Pa src/release/Makefile
 602 into a shape where it could at least automate most of the tediousness
 603 of building a release in a sterile environment.
 604 .Pp
 605 For the
 606 .Fx 9.0
 607 release,
 608 .Pa src/release/Makefile
 609 was overhauled and the wrapper script
 610 .Pa src/release/generate-release.sh
 611 introduced to support the introduction of a new installer.
 612 .Pp
 613 For the
 614 .Fx 9.2
 615 release,
 616 .Pa src/release/release.sh
 617 was introduced to support per-build configuration files.
 618 .Pa src/release/release.sh
 619 is heavily based on the
 620 .Pa src/release/generate-release.sh
 621 script.
 622 .Pp
 623 At near 1000 revisions spread over multiple branches, the
 624 .Xr svn 1
 625 log of
 626 .Pa src/release/Makefile
 627 contains a vivid historical record of some
 628 of the hardships release engineers go through.
 629 .Sh AUTHORS
 630 .Pa src/release/Makefile
 631 was originally written by
 632 .An -nosplit
 633 .An Rod Grimes ,
 634 .An Jordan Hubbard ,
 635 and
 636 .An Poul-Henning Kamp .
 637 .Pp
 638 This manual page was originally written by
 639 .An Murray Stokely Aq murray@FreeBSD.org .
 640 .Pp
 641 It was updated by
 642 .An Nathan Whitehorn Aq nwhitehorn@FreeBSD.org
 643 to include the
 644 .Fa generate-release.sh
 645 script used for the
 646 .Fx 9.0
 647 release cycle.
 648 .Pp
 649 It was later updated by
 650 .An Glen Barber Aq gjb@FreeBSD.org
 651 to include the
 652 .Fa release.sh
 653 script used for the
 654 .Fx 9.2
 655 release cycle.