share/man/man7/release.7

   1 .\" Copyright (c) 2002 Murray Stokely <murray@FreeBSD.org>
   2 .\" All rights reserved.
   3 .\"
   4 .\" Redistribution and use in source and binary forms, with or without
   5 .\" modification, are permitted provided that the following conditions
   6 .\" are met:
   7 .\" 1. Redistributions of source code must retain the above copyright
   8 .\"    notice, this list of conditions and the following disclaimer.
   9 .\" 2. Redistributions in binary form must reproduce the above copyright
  10 .\"    notice, this list of conditions and the following disclaimer in the
  11 .\"    documentation and/or other materials provided with the distribution.
  12 .\"
  13 .\" THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND
  14 .\" ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  15 .\" IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  16 .\" ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR BE LIABLE
  17 .\" FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  18 .\" DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  19 .\" OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  20 .\" HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  21 .\" LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  22 .\" OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  23 .\" SUCH DAMAGE.
  24 .\"
  25 .\" $FreeBSD$
  26 .\"
  27 .Dd April 2, 2014
  28 .Dt RELEASE 7
  29 .Os
  30 .Sh NAME
  31 .Nm release
  32 .Nd "release building infrastructure"
  33 .Sh DESCRIPTION
  34 .Fx
  35 provides a complete build environment suitable for users to make
  36 full releases of the
  37 .Fx
  38 operating system.
  39 All of the tools necessary to build a release are available from the
  40 .Fx
  41 source code repository in
  42 .Pa src/release .
  43 A complete release can actually be built with only a single command,
  44 including the creation of ISO images suitable for burning to CD-ROM,
  45 memory stick images, and an FTP install directory.
  46 This command is aptly named
  47 .Dq Li "make release" .
  48 .Pp
  49 For some users, it may be desirable to provide an absolutely clean
  50 build environment, with no local modifications to the source tree or to
  51 .Xr make.conf 5 ,
  52 and with clean checkouts of specific versions of the doc, src, and ports
  53 trees.
  54 For this purpose, a script
  55 .Pq Pa src/release/release.sh
  56 is provided to automate these checkouts and then execute
  57 .Dq Li "make release"
  58 in a clean
  59 .Xr chroot 8 .
  60 .Pp
  61 Before attempting to build a release, the user is expected to be
  62 familiar with the contents of
  63 .Xr build 7 ,
  64 and should have experience upgrading systems from source.
  65 .Pp
  66 The release build process requires that
  67 .Pa /usr/obj
  68 be populated with the output of
  69 .Dq Li "make buildworld"
  70 and
  71 .Dq Li "make buildkernel" .
  72 This is necessary to provide the object files for the release or, when
  73 using
  74 .Pa release.sh ,
  75 so that the object files for a complete system can be installed into a clean
  76 .Xr chroot 8
  77 environment.
  78 .Pp
  79 If the target release build is for a different architecture or machine type,
  80 the
  81 .Va TARGET
  82 and
  83 .Va TARGET_ARCH
  84 variables must be used.
  85 See the supported
  86 .Fa release.conf
  87 variables for more information.
  88 .Pp
  89 The release procedure on some architectures may also require that the
  90 .Xr md 4
  91 (memory disk) device driver be present in the kernel
  92 .Pq either by being compiled in or available as a module .
  93 .Pp
  94 This document does not cover source code management, quality
  95 assurance, or other aspects of the release engineering process.
  96 .Sh CLEAN RELEASE GENERATION
  97 Official releases of
  98 .Fx
  99 are produced in a totally clean environment to
 100 ensure consistency between the versions of the src, ports, and doc trees
 101 and to avoid contamination from the host system
 102 .Po such as local patches, changes
 103 to
 104 .Xr make.conf 5 ,
 105 etc.
 106 .Pc .
 107 This is accomplished using the wrapper script
 108 .Pa src/release/release.sh .
 109 .Pp
 110 .Ic release.sh
 111 .Op Fl c Ar release.conf
 112 .Pp
 113 .Ic release.sh
 114 checks out the
 115 .Li src/ ,
 116 .Li ports/ ,
 117 and
 118 .Li doc/
 119 trees to
 120 .Va CHROOTDIR ,
 121 then calls
 122 .Dq Li "make buildworld"
 123 and
 124 .Dq Li "make installworld"
 125 to generate a
 126 .Xr chroot 8
 127 environment.
 128 Next,
 129 .Dq Li "make release"
 130 is run within the
 131 .Xr chroot 8
 132 environment and places the result in
 133 .Pa $CHROOTDIR/R .
 134 .Pp
 135 The optional
 136 .Fa release.conf
 137 configuration file supports the following variables:
 138 .Bl -tag -width Ev
 139 .It Va CHROOTDIR
 140 The directory within which the release will be built.
 141 .It Va CHROOT_MAKEENV
 142 Additional
 143 .Xr make 1
 144 arguments to pass through, which directly affect the
 145 tuning of the build chroot.
 146 .It Va SVNROOT
 147 The
 148 .Xr svn 1
 149 host used to check out the various trees.
 150 Defaults to
 151 .Pa svn://svn.FreeeBSD.org .
 152 .It Va SRCBRANCH
 153 The
 154 .Li src/
 155 branch to use.
 156 Defaults to
 157 .Va head/@rHEAD .
 158 .It Va DOCBRANCH
 159 The
 160 .Li doc/
 161 branch to use.
 162 Defaults to
 163 .Va head/@rHEAD .
 164 .It Va PORTBRANCH
 165 The
 166 .Li ports/
 167 branch to use.
 168 Defaults to
 169 .Va head/@rHEAD .
 170 .It Va TARGET
 171 The target machine type for cross-building a release.
 172 .It Va TARGET_ARCH
 173 The target machine architecture for cross-building a release.
 174 .Pp
 175 For the supported list of
 176 .Va TARGET
 177 and
 178 .Va TARGET_ARCH
 179 combinations, consult the output of
 180 .Dq make targets
 181 as documented in
 182 .Xr build 7 .
 183 .It Va KERNEL
 184 The target kernel configuration to use.
 185 Defaults to
 186 .Va GENERIC .
 187 Multiple
 188 .Va KERNEL
 189 entries may be specified.
 190 .It Va MAKE_CONF
 191 The
 192 .Xr make.conf 5
 193 to use for the release build.
 194 Defaults to
 195 .Fa /dev/null
 196 to prevent polluting the release with local system changes.
 197 .It Va SRC_CONF
 198 The
 199 .Xr src.conf 5
 200 to use for the release build.
 201 Defaults to
 202 .Fa /dev/null
 203 to prevent polluting the release with local system changes.
 204 .It Va MAKE_FLAGS
 205 Additional flags to pass to
 206 .Xr make 1 .
 207 .It Va WORLD_FLAGS
 208 Additional flags to pass to
 209 .Xr make 1
 210 during the
 211 .Dq buildworld
 212 phase.
 213 Defaults to setting the number of
 214 .Xr make 1
 215 jobs
 216 .Pq Ar -j
 217 to the number of CPUs available on a SMP-capable system.
 218 .It Va KERNEL_FLAGS
 219 Additional flags to pass to
 220 .Xr make 1
 221 during the
 222 .Dq buildkernel
 223 phase.
 224 Defaults to setting the number of
 225 .Xr make 1
 226 jobs
 227 .Pq Ar -j
 228 to half the number of CPUs available on a SMP-capable system.
 229 .It Va NODOC
 230 Set to a non-empty value to skip the
 231 .Li doc/
 232 tree checkout.
 233 When set,
 234 .Va NODOC
 235 will prevent the
 236 .Fa doc.txz
 237 distribution package from being created.
 238 .It Va NOPORTS
 239 Set to a non-empty value to skip the
 240 .Li ports/
 241 tree checkout.
 242 When set,
 243 .Va NOPORTS
 244 will prevent the
 245 .Fa ports.txz
 246 distribution package from being created.
 247 Setting this also sets
 248 .Va NODOC .
 249 .It Va WITH_DVD
 250 Set to a non-empty value to include the
 251 .Cm dvdrom
 252 target.
 253 .It Va WITH_COMPRESSED_IMAGES
 254 Set to a non-empty value to compress the release images with
 255 .Xr xz 1 .
 256 The original
 257 .Pq uncompressed
 258 images are not removed.
 259 .It Va VCSCMD
 260 The command run to obtain the source trees.
 261 Defaults to
 262 .Qq Cm svn checkout .
 263 .It Va CHROOTBUILD_SKIP
 264 If defined, the
 265 .Li buildworld ,
 266 .Li installworld ,
 267 and
 268 .Li distribution
 269 stages of the
 270 .Xr chroot 8
 271 build environment setup are skipped.
 272 This is intended solely for cases where the
 273 .Xr chroot 8
 274 userland are provided by alternate means.
 275 .El
 276 .Sh EMBEDDED BUILDS
 277 The following
 278 .Fa release.conf
 279 variables are relevant only to release builds for embedded systems:
 280 .Bl -tag -width Ev
 281 .It Va EMBEDDEDBUILD
 282 Set to a non-null value to enable functionality for embedded device
 283 release builds.
 284 .Pq This option is considered highly experimental.
 285 .Pp
 286 When set,
 287 .Va WITH_DVD
 288 is unset, and
 289 .Va NODOC
 290 is defined.
 291 Additionally,
 292 .Va XDEV
 293 and
 294 .Va XDEV_ARCH
 295 must also be defined.
 296 When the build environment is created,
 297 .Fa release.sh
 298 runs a separate build script located in an architecture-specific
 299 directory in
 300 .Pa src/release/${XDEV}/ .
 301 .It Va EMBEDDEDPORTS
 302 Set to the list of any ports that are required for the target device
 303 in the format of
 304 .Fa category/port .
 305 The
 306 .Fa devel/subversion
 307 port is built by default.
 308 .It Va CROCHETSRC
 309 Set to the source URL for the Crochet build tool.
 310 .It Va CROCHETBRANCH
 311 Set to the subversion branch from
 312 .Va ${CROCHETSRC}
 313 to use.
 314 Defaults to
 315 .Pa trunk .
 316 .It Va UBOOTSRC
 317 Set to the source URL of u-boot, if required.
 318 .It Va UBOOTBRANCH
 319 Set to the subversion branch from
 320 .Va ${UBOOTSRC}
 321 to use.
 322 Defaults to
 323 .Pa trunk .
 324 .It Va UBOOTDIR
 325 Set to the target directory within
 326 .Va ${CHROOTDIR}
 327 to check out
 328 .Va ${UBOOTSRC}/${UBOOTBRANCH} .
 329 .El
 330 .Sh MAKEFILE TARGETS
 331 The release makefile
 332 .Pq Pa src/release/Makefile
 333 is fairly abstruse.
 334 Most developers will only be concerned with the
 335 .Cm release
 336 and
 337 .Cm install
 338 targets.
 339 .\" XXX: Some sort of introduction to this list?  All the others have one.
 340 .Bl -tag -width ".Cm packagesystem"
 341 .It Cm release
 342 Meta-target to build all release media and distributions applicable to this
 343 platform.
 344 .It Cm install
 345 Copy all produced release media to
 346 .Pa ${DESTDIR} .
 347 .It Cm cdrom
 348 Builds installation CD-ROM images.
 349 This may require the
 350 .Xr md 4
 351 (memory disk) device driver be present in the kernel
 352 (either by being compiled in or available as a module).
 353 This target produces files called
 354 .Pa disc1.iso
 355 and
 356 .Pa bootonly.iso
 357 as its output.
 358 .It Cm dvdrom
 359 Builds installation DVD-ROM images.
 360 This may require the
 361 .Xr md 4
 362 (memory disk) device driver be present in the kernel
 363 (either by being compiled in or available as a module).
 364 This target produces the
 365 .Pa dvd1.iso
 366 file as its output.
 367 .It Cm memstick
 368 Builds an installation memory stick image named
 369 .Pa memstick.img .
 370 Not applicable on all platforms.
 371 Requires that the
 372 .Xr md 4
 373 .Pq memory disk
 374 device driver be present in the kernel
 375 .Pq either by being compiled in or available as a module .
 376 .It Cm mini-memstick
 377 Similar to
 378 .Cm memstick ,
 379 with the exception that the installation distribution sets
 380 are not included.
 381 .It Cm ftp
 382 Creates a directory named
 383 .Pa ftp
 384 containing the distribution files used in network installations
 385 and suitable for upload to an FTP mirror.
 386 .El
 387 .Pp
 388 Major subtargets called by targets above:
 389 .Bl -tag -width ".Cm packagesystem"
 390 .It Cm packagesystem
 391 Generates all the distribution archives
 392 .Pq base, kernel, ports, doc
 393 applicable on this platform.
 394 .It Cm system
 395 Builds a bootable installation system containing all the distribution files
 396 packaged by the
 397 .Cm packagesystem
 398 target, and suitable for imaging by the
 399 .Cm cdrom ,
 400 .Cm dvdrom
 401 and
 402 .Cm memstick
 403 targets.
 404 .It Cm reldoc
 405 Builds the release documentation.
 406 This includes the release notes,
 407 hardware guide, and installation instructions.
 408 Other documentation, such as the Handbook,
 409 is built during the
 410 .Cm base.txz
 411 target invoked by
 412 .Cm packagesystem .
 413 .El
 414 .Sh ENVIRONMENT
 415 Optional variables:
 416 .Bl -tag -width ".Ev TARGET_ARCH"
 417 .It Ev OSRELEASE
 418 Optional base name for generated media images
 419 .Pq e.g., FreeBSD-9.0-RC2-amd64 .
 420 Defaults to the output of
 421 .Ic `uname -s`-`uname -r`-`uname -p`
 422 within the chroot.
 423 .It Ev WORLDDIR
 424 Location of a directory containing the src tree.
 425 By default, the directory
 426 above the one containing the makefile
 427 .Pq Pa src .
 428 .It Ev PORTSDIR
 429 Location of a directory containing the ports tree.
 430 By default,
 431 .Pa /usr/ports .
 432 If it is unset or cannot be found, ports will not be included in the release.
 433 .It Ev DOCDIR
 434 Location of a directory containing the doc tree.
 435 By default,
 436 .Pa /usr/doc .
 437 If it is unset or cannot be found, most documentation will not be included in
 438 the release; see
 439 .Ev NODOC
 440 below.
 441 .It Ev NOPORTS
 442 If defined, the Ports Collection will be omitted from the release.
 443 .It Ev NOSRC
 444 If set, do not include system source code in the release.
 445 .It Ev NODOC
 446 If defined, the XML-based documentation from the
 447 .Fx
 448 Documentation Project will not be built.
 449 However, the
 450 .Dq doc
 451 distribution will still be created with the minimal documentation set
 452 provided in
 453 .Pa src/share/doc .
 454 .It Ev TARGET
 455 The target hardware platform.
 456 This is analogous to the
 457 .Dq Nm uname Fl m
 458 output.
 459 This is necessary to cross-build some target architectures.
 460 For example, cross-building for PC98 machines requires
 461 .Ev TARGET_ARCH Ns = Ns Li i386
 462 and
 463 .Ev TARGET Ns = Ns Li pc98 .
 464 If not set,
 465 .Ev TARGET
 466 defaults to the current hardware platform.
 467 .It Ev TARGET_ARCH
 468 The target machine processor architecture.
 469 This is analogous to the
 470 .Dq Nm uname Fl p
 471 output.
 472 Set this to cross-build for a different architecture.
 473 If not set,
 474 .Ev TARGET_ARCH
 475 defaults to the current machine architecture, unless
 476 .Ev TARGET
 477 is also set, in which case it defaults to the appropriate
 478 value for that platform.
 479 Typically, one only needs to set
 480 .Ev TARGET .
 481 .El
 482 .Sh FILES
 483 .Bl -tag -compact -width Pa
 484 .It Pa /usr/doc/Makefile
 485 .It Pa /usr/doc/share/mk/doc.project.mk
 486 .It Pa /usr/ports/Mk/bsd.port.mk
 487 .It Pa /usr/ports/Mk/bsd.sites.mk
 488 .It Pa /usr/share/examples/etc/make.conf
 489 .It Pa /usr/src/Makefile
 490 .It Pa /usr/src/Makefile.inc1
 491 .It Pa /usr/src/release/Makefile
 492 .It Pa /usr/src/release/release.sh
 493 .It Pa /usr/src/release/release.conf.sample
 494 .El
 495 .Sh EXAMPLES
 496 The following sequence of commands can be used to build a
 497 .Dq "-CURRENT snapshot":
 498 .Bd -literal -offset indent
 499 cd /usr
 500 svn co svn://svn.freebsd.org/base/head src
 501 cd src
 502 make buildworld buildkernel
 503 cd release
 504 make release
 505 make install DESTDIR=/var/freebsd-snapshot
 506 .Ed
 507 .Pp
 508 After running these commands, all produced distribution files (tarballs
 509 for FTP, CD-ROM images, etc.) are available in the
 510 .Pa /var/freebsd-snapshot
 511 directory.
 512 .Pp
 513 The following sequence of commands can be used to build a
 514 .Dq "-CURRENT snapshot"
 515 in a clean environment, including ports and documentation:
 516 .Bd -literal -offset indent
 517 cd /usr/src/release
 518 sh release.sh
 519 .Ed
 520 .Pp
 521 Optionally, a configuration file can be used customize the release build,
 522 such as the subversion revision to use, the branch of the subversion tree for
 523 .Li src/ ,
 524 .Li ports/ ,
 525 and
 526 .Li doc/ .
 527 .Bd -literal -offset indent
 528 cd /usr/src/release
 529 sh release.sh -c $HOME/release.conf
 530 .Ed
 531 .Pp
 532 After running these commands, all prepared release files are available in the
 533 .Pa /scratch
 534 directory.
 535 The target directory can be changed by specifying the
 536 .Va CHROOTDIR
 537 variable in
 538 .Li release.conf .
 539 .Sh SEE ALSO
 540 .Xr cc 1 ,
 541 .Xr install 1 ,
 542 .Xr make 1 ,
 543 .Xr svn 1 Pq Pa ports/devel/subversion ,
 544 .Xr uname 1 ,
 545 .Xr md 4 ,
 546 .Xr make.conf 5 ,
 547 .Xr build 7 ,
 548 .Xr ports 7 ,
 549 .Xr chroot 8 ,
 550 .Xr mtree 8 ,
 551 .Xr sysctl 8
 552 .Rs
 553 .%T "FreeBSD Release Engineering"
 554 .%U http://www.FreeBSD.org/doc/en_US.ISO8859-1/articles/releng/
 555 .Re
 556 .Rs
 557 .%T "FreeBSD Release Engineering of Third Party Packages"
 558 .%U http://www.FreeBSD.org/doc/en_US.ISO8859-1/articles/releng-packages/
 559 .Re
 560 .Rs
 561 .%T "FreeBSD Developers' Handbook"
 562 .%U http://www.FreeBSD.org/doc/en_US.ISO8859-1/books/developers-handbook/
 563 .Re
 564 .Sh HISTORY
 565 .Fx
 566 1.x
 567 used a manual checklist, compiled by
 568 .An Rod Grimes ,
 569 to produce a release.
 570 Apart from being incomplete, the list put a lot of specific demands on
 571 available file systems and was quite torturous to execute.
 572 .Pp
 573 As part of the
 574 .Fx 2.0
 575 release engineering effort, significant
 576 effort was spent getting
 577 .Pa src/release/Makefile
 578 into a shape where it could at least automate most of the tediousness
 579 of building a release in a sterile environment.
 580 .Pp
 581 For the
 582 .Fx 9.0
 583 release,
 584 .Pa src/release/Makefile
 585 was overhauled and the wrapper script
 586 .Pa src/release/generate-release.sh
 587 introduced to support the introduction of a new installer.
 588 .Pp
 589 For the
 590 .Fx 9.2
 591 release,
 592 .Pa src/release/release.sh
 593 was introduced to support per-build configuration files.
 594 .Pa src/release/release.sh
 595 is heavily based on the
 596 .Pa src/release/generate-release.sh
 597 script.
 598 .Pp
 599 At near 1000 revisions spread over multiple branches, the
 600 .Xr svn 1
 601 log of
 602 .Pa src/release/Makefile
 603 contains a vivid historical record of some
 604 of the hardships release engineers go through.
 605 .Sh AUTHORS
 606 .Pa src/release/Makefile
 607 was originally written by
 608 .An -nosplit
 609 .An Rod Grimes ,
 610 .An Jordan Hubbard ,
 611 and
 612 .An Poul-Henning Kamp .
 613 .Pp
 614 This manual page was originally written by
 615 .An Murray Stokely Aq murray@FreeBSD.org .
 616 .Pp
 617 It was updated by
 618 .An Nathan Whitehorn Aq nwhitehorn@FreeBSD.org
 619 to include the
 620 .Fa generate-release.sh
 621 script used for the
 622 .Fx 9.0
 623 release cycle.
 624 .Pp
 625 It was later updated by
 626 .An Glen Barber Aq gjb@FreeBSD.org
 627 to include the
 628 .Fa release.sh
 629 script used for the
 630 .Fx 9.2
 631 release cycle.