script/makepkg

   1 #!/bin/sh
   2
   3 # Load shlib and modules
   4 _root="$(dirname "${0}")"; . "${_root}/lib/env.sh"
   5 want log root
   6
   7 ########
   8 #
   9 # Chroot handling
  10 #
  11 ########
  12
  13 # Prepare a chroot for work
  14 chprepare() {
  15   # Verify environment sanity
  16   [ -d "${chroot_dir}" ] && omg "${chroot_dir}: directory exists; purging" && chdestroy
  17   mount | grep -q "${chroot_dir}" && wtf "Stuff is mounted under ${chroot_dir}; cannot continue"
  18   [ -d "${seed_dir}" -a -f "${seed_dir}/COPYRIGHT" ] || wtf "Use 'makeworld' to create a root build first"
  19   [ -f "/usr/ports/UPDATING" ] || wtf "Need ports tree in /usr/ports to build"
  20   [ -f "/usr/src/sys/conf/newvers.sh" ] || omg "No base sourcetree in /usr/src"
  21
  22   meh "Setting up chroot tree"
  23
  24   # Just in case we're aborted partway through the prepare
  25   trap "chdestroy" exit hup int term kill
  26
  27   # Make sure config dir exists for later save
  28   [ -d "${conf_dir}" ] || mkdir -p "${conf_dir}"
  29
  30   # Populate initial seed
  31   mkdir -p "$(dirname "${chroot_dir}")" || wtf "chroot path create failed"
  32   cp -pR "${seed_dir}" "${chroot_dir}" || wtf "chroot seeding failed"
  33
  34   # Create distfile cache
  35   mkdir -p "${dist_dir}" || wtf "mkdir ${dist_dir} failed"
  36
  37   # Create mountpoint directories
  38   mkdir -p "${chroot_dir}/dev" || wtf "mkdir /dev failed"
  39   mkdir -p "${chroot_dir}/usr/src" || wtf "mkdir /usr/src failed"
  40   mkdir -p "${chroot_dir}/usr/obj" || wtf "mkdir /usr/obj failed"
  41   mkdir -p "${chroot_dir}/usr/ports" || wtf "mkdir /usr/ports failed"
  42   mkdir -p "${chroot_dir}/var/ports/distfiles" || wtf "mkdir /var/ports/distfiles failed"
  43
  44   # Create pkg directories
  45   mkdir -p "${pkg_dir}" || wtf "mkdir ${chroot_pkg_dir} failed"
  46   mkdir -p "${bdeps_dir}" || wtf "mkdir ${chroot_bdeps_dir} failed"
  47
  48   # Copy in cached configuration, if necessary
  49   [ -f "${conf_dir}/make.conf" ] && cp -p "${conf_dir}/make.conf" "${chroot_dir}/etc/make.conf"
  50
  51   # If you have WITHOUT_INFO set in src.conf during buildworld/installworld, ports that need
  52   # makeinfo and install-info will fail horribly; stub them
  53   [ -f "${chroot_dir}/usr/bin/makeinfo" ] || ln -sf true "${chroot_dir}/usr/bin/makeinfo"
  54   [ -f "${chroot_dir}/usr/bin/install-info" ] || ln -sf true "${chroot_dir}/usr/bin/install-info"
  55
  56   # Tweak make.conf to support read-only ports tree
  57   cat <<EOF >> "${chroot_dir}/etc/make.conf"
  58
  59 # Read-only ports tree
  60 DISTDIR=/var/ports/distfiles
  61 PACKAGES=/var/ports/packages
  62 WRKDIRPREFIX=/usr/obj
  63 EOF
  64
  65   trap "" exit hup int term kill
  66   meh "Chroot tree set up in ${chroot_dir}"
  67
  68   return 0
  69 }
  70
  71 # Set up chroot mounts and runtime configuration
  72 chstartup() {
  73   [ -d "${chroot_dir}" -a -f "${chroot_dir}/COPYRIGHT" -a -d "${chroot_dir}/dev" ] || wtf "Chroot not prepared"
  74   chup? && return 0
  75
  76   # Rollback if a problem occurs during startup
  77   trap "chshutdown" exit hup int term kill
  78
  79   meh "Starting up chroot"
  80
  81   # Necessary mountpoints
  82   mount -t devfs devfs "${chroot_dir}/dev" || wtf "mount /dev failed"
  83   mount -t nullfs -r /usr/src "${chroot_dir}/usr/src" || wtf "mount /usr/src failed"
  84   mount -t nullfs -r /usr/ports "${chroot_dir}/usr/ports" || wtf "mount /usr/ports failed"
  85   mount -t nullfs -w "${dist_dir}" "${chroot_dir}/var/ports/distfiles" || wtf "mount /var/ports/distfiles failed"
  86
  87   # Chroot configuration
  88   cp -f /etc/resolv.conf "${chroot_dir}/etc/resolv.conf" || wtf "seeding /etc/resolv.conf failed"
  89
  90   # Load port configuration, now that chroot is running
  91   port_load_config
  92
  93   # Update ld.so.hints
  94   cheval "/etc/rc.d/ldconfig start"
  95
  96   trap "" exit hup int term kill
  97   meh "Chroot up and running in ${chroot_dir}"
  98
  99   return 0
 100 }
 101
 102 # Check if the chroot is probably ready for use
 103 chup?() {
 104   [ -d "${chroot_dir}" -a -f "${chroot_dir}/COPYRIGHT" -a -c "${chroot_dir}/dev/null" ]
 105   return $?
 106 }
 107
 108 # Unmount all chroot directories
 109 chshutdown() {
 110   # Short-circuit if nothing is mounted
 111   mount | grep -q "${chroot_dir}" || return 0
 112   chup? && port_save_config || meh "Not saving port config"
 113   meh "Shutting down chroot"
 114   umount "${chroot_dir}/var/ports/distfiles"
 115   umount "${chroot_dir}/usr/ports"
 116   umount "${chroot_dir}/usr/src"
 117   umount "${chroot_dir}/dev"
 118   return 0
 119 }
 120
 121 # Remove all chroot contents
 122 chdestroy() {
 123   chshutdown
 124   meh "Destroying chroot"
 125   chflags -R noschg "${chroot_dir}" || wtf "noschg failed"
 126   rm -Rf "${chroot_dir}" || wtf "chroot removal failed"
 127   return 0
 128 }
 129
 130 # Evaluate a command line within the chroot
 131 cheval() {
 132   chup? || wtf "Chroot not ready"
 133   chroot "${chroot_dir}" env -i ${chroot_env} /bin/sh -c "cd ${chroot_pkg_dir}; ${*}"
 134   return $?
 135 }
 136
 137 # Run chrooted make
 138 chmake() {
 139   local port="/usr/ports/${1##/usr/ports/}"
 140   shift
 141   cheval "make -C ${port} ${*}"
 142   return $?
 143 }
 144
 145 ########
 146 #
 147 # Port Dependency Tracking
 148 #
 149 ########
 150
 151 # Translate port origin to package name
 152 port2pkg() {
 153   while [ "${1}" ]
 154   do
 155     chmake "${1}" -V PKGNAME
 156     shift
 157   done
 158 }
 159
 160 # Build dependencies (shallow, recursive, package)
 161 port_bdeps() {
 162   while [ "${1}" ]
 163   do
 164     chmake "${1}" build-depends-list | sed -e 's#^/usr/ports/##'
 165     shift
 166   done
 167 }
 168 port_all_bdeps() {
 169   # Clear cache if first value isn't '-r'
 170   [ "${1}" = '-r' ] && shift || { : > "${_port_all_bdeps_cache}"; : > "${_port_all_rdeps_cache}"; }
 171   # rdeps for rdeps are rdeps, bdeps for rdeps are bdeps, rdeps for bdeps are bdeps; thus:
 172   (
 173     port_bdeps "${@}" | while read port
 174     do
 175       [ "${VERBOSE_CACHE}" ] && logf "**** bdep cache %s: '%s'\n" "$(grep -q "${port}" \
 176         "${_port_all_bdeps_cache}" && echo "hit" || echo "miss")"  "${port}" >&2
 177       if ! grep -q "${port}" "${_port_all_bdeps_cache}"
 178       then
 179         echo "${port}" >> "${_port_all_bdeps_cache}"
 180         echo "${port}"
 181         port_all_bdeps -r "${port}"
 182         port_all_rdeps -r "${port}"
 183       fi
 184     done
 185     port_all_rdeps -r "${@}" | while read port
 186     do
 187       [ "${VERBOSE_CACHE}" ] && logf "**** bdep cache %s: '%s'\n" "$(grep -q "${port}" \
 188         "${_port_all_bdeps_cache}" && echo "hit" || echo "miss")"  "${port}" >&2
 189       if ! grep -q "${port}" "${_port_all_bdeps_cache}"
 190       then
 191         echo "${port}" >> "${_port_all_bdeps_cache}"
 192         port_all_bdeps -r "${port}"
 193       fi
 194     done
 195   ) | sort | uniq
 196 }
 197 pkg_bdeps() {
 198   port2pkg $(port_all_bdeps "${@}")
 199 }
 200
 201 # Runtime dependencies (shallow, recursive, package)
 202 port_rdeps() {
 203   while [ "${1}" ]
 204   do
 205     chmake "${1}" run-depends-list | sed -e 's#^/usr/ports/##'
 206     shift
 207   done
 208 }
 209 port_all_rdeps() {
 210   # Clear cache if first value isn't '-r'
 211   [ "${1}" = '-r' ] && shift || { : > "${_port_all_rdeps_cache}"; }
 212   port_rdeps "${@}" | while read port
 213   do
 214     [ "${VERBOSE_CACHE}" ] && logf "**** rdep cache %s: '%s'\n" "$(grep -q "${port}" \
 215       "${_port_all_rdeps_cache}" && echo "hit" || echo "miss")"  "${port}" >&2
 216     if ! grep -q "${port}" "${_port_all_rdeps_cache}"
 217     then
 218       echo "${port}" >> "${_port_all_rdeps_cache}"
 219       echo "${port}"
 220       port_all_rdeps -r "${port}"
 221     fi
 222   done | sort | uniq
 223 }
 224 pkg_rdeps() {
 225   port2pkg $(port_all_rdeps "${@}")
 226 }
 227
 228 # All dependencies (shallow, recursive, package)
 229 port_deps() {
 230   while [ "${1}" ]
 231   do
 232     chmake "${1}" all-depends-list | sed -e 's#^/usr/ports/##'
 233     shift
 234   done
 235 }
 236 port_all_deps() {
 237   port_deps "${@}" | while read port
 238   do
 239     echo "${port}"
 240     port_deps "${port}"
 241   done | sort | uniq
 242 }
 243 pkg_deps() {
 244   port2pkg $(port_all_deps "${@}")
 245 }
 246
 247 # Dump a list of leaf ports from a working system
 248 # Leaf ports are ports that have nothing depending upon them
 249 # These are generally the top-level ports; everything else should
 250 # be pulled in by them; on a system that has had updates applied
 251 # this may pick up orphaned packages as well, so try cutleaves?
 252 leaf_ports() {
 253   ( cd /var/db/pkg; ls -1 ) | while read pkg
 254   do
 255     pkg_info -Rq "${pkg}" | grep -q '' || pkg_info -oq "${pkg}"
 256   done | sort
 257 }
 258
 259 # Display a tree of all build dependencies (and
 260 # any runtime dependencies those build dependencies
 261 # depend upon). Individual ports may appear more than
 262 # once, as it is a tree and not a list.
 263 port_bdep_tree() {
 264   port="${1##/usr/ports/}"
 265   printf "%${2}s%s\n" "" "${port}"
 266
 267   ( chmake "${port}" build-depends-list
 268     [ "${2:-0}" -gt 0 ] && chmake "${port}" run-depends-list
 269   ) | sort -u | while read port
 270   do
 271     port_bdep_tree "${port}" $(( ${2:-0} + 1 ))
 272   done
 273 }
 274
 275 # Display a tree of all runtime dependencies. Individual
 276 # ports may appear more than once, as it is a tree and
 277 # not a list.
 278 port_rdep_tree() {
 279   port="${1##/usr/ports/}"
 280   printf "%${2}s%s\n" "" "${port}"
 281
 282   chmake "${port}" run-depends-list | sort -u | while read port
 283   do
 284     port_rdep_tree "${port}" $(( ${2:-0} + 1 ))
 285   done
 286 }
 287
 288 ########
 289 #
 290 # Port Configuration Handling
 291 #
 292 ########
 293
 294 # Run make config on a list of ports
 295 port_config() {
 296   while [ "${1}" ]
 297   do
 298     meh "port config ${1}"
 299     chmake "${1}" config < /dev/tty
 300     shift
 301   done
 302 }
 303
 304 # Make config-conditional for a list of ports, and all dependencies
 305 port_config_recursive() {
 306   # Clear cache if first value isn't '-r'
 307   [ "${1}" = '-r' ] && shift || _port_config_recursive_cache=""
 308   while [ "${1}" ]
 309   do
 310     # Do not use config-recursive because it computes the depchain first;
 311     # instead, manually compute the depchain after each config to ensure the
 312     # proper depchain is followed. Use config-conditional to avoid dialog
 313     # if the config is already complete. Also use a cache to avoid re-config
 314     # and re-recurse on previously handled port branches.
 315     if echo "${_port_config_recursive_cache}" | grep -qv " ${1} "
 316     then
 317       meh "port config-recursive ${1}"
 318       chmake "${1}" config-conditional < /dev/tty
 319       port_config_recursive -r $(port_deps "${1}")
 320       _port_config_recursive_cache="${_port_config_recursive_cache} ${1} "
 321     fi
 322     shift
 323   done
 324 }
 325 # Config cache
 326 unset _port_config_recursive_cache
 327
 328 # Remove saved config for a list of ports
 329 port_rmconfig() {
 330   while [ "${1}" ]
 331   do
 332     meh "port rmconfig ${1}"
 333     chmake "${1}" rmconfig
 334     shift
 335   done
 336 }
 337
 338 # Remove saved config for a list of ports and all dependencies
 339 port_rmconfig_recursive() {
 340   meh "port rmconfig-recursive ${*}"
 341   port_rmconfig $(echo "${@}" $(port_all_deps "${@}") | sort | uniq)
 342 }
 343
 344 # Obliterate saved configuration for all ports
 345 port_rmconfig_all() {
 346   meh "port rmconfig-all"
 347   cheval "cd /var/db/ports; find . -name 'options' -delete; find . -type d | xargs rmdir 2>/dev/null"
 348 }
 349
 350 # Restore port build options from directory
 351 port_load_config() {
 352   [ -d "${conf_dir}/port.options" ] || return 0
 353   meh "port load-config"
 354   ( cd "${conf_dir}/port.options"; find . | cpio -oHnewc ) | cheval "cd /var/db/ports; cpio -i" || wtf "port load-config failed"
 355 }
 356
 357 # Dump port build options to directory
 358 port_save_config() {
 359   meh "port save-config"
 360   mkdir -p "${conf_dir}/port.options.tmp"
 361   cheval "cd /var/db/ports; find . -type d -o -type f -name options | cpio -oHnewc" | ( cd "${conf_dir}/port.options.tmp"; cpio -i ) || wtf "port safe-config failed"
 362   mv -f "${conf_dir}/port.options" "${conf_dir}/port.options.old" && \
 363     mv -f "${conf_dir}/port.options.tmp" "${conf_dir}/port.options" && \
 364     rm -Rf "${conf_dir}/port.options.old" || \
 365     wtf "port save-config atomic commit failed"
 366 }
 367
 368 ########
 369 #
 370 # Port distfile handling
 371 #
 372 ########
 373
 374 # Recursively retrieve distfiles
 375 port_fetch_recursive() {
 376   while [ "${1}" ]
 377   do
 378     meh "fetch-recursive ${1}"
 379     chmake "${1}" fetch-recursive
 380     shift
 381   done
 382 }
 383
 384 ########
 385 #
 386 # Port building and packaging
 387 #
 388 ########
 389
 390 # Copy in and install dependency packages
 391 port_load_deps() {
 392   local port="${1}"
 393   for pkg in $(port2pkg $(port_all_deps "${port}"))
 394   do
 395     cp -f "${final_bdeps_dir}/${pkg}.tbz" "${bdeps_dir}" 2>/dev/null && meh "Loading dependent ${pkg}"
 396   done
 397   if ls "${bdeps_dir}"/*.tbz >/dev/null 2>&1
 398   then
 399     meh "Installing dependencies"
 400     cheval "cd ${chroot_bdeps_dir}; pkg_add -F *" || wtf "port_load_deps ${port} failed"
 401   fi
 402 }
 403
 404 # Build and install a port
 405 port_build() {
 406   local port="${1}"
 407   meh "Building ${port}"
 408   chmake "${port}" clean build install clean || wtf "port_build ${port} failed"
 409 }
 410
 411 # Package a port
 412 port_package() {
 413   local port="${1}"
 414   meh "Creating rdep package tree for ${port}"
 415   cheval "pkg_create -Rvb $(port2pkg "${port}")" || wtf "port_package ${port} failed"
 416 }
 417
 418 # Package port build dependencies, unless they're already run deps
 419 port_stash_bdeps() {
 420   meh "Stashing unsaved bdeps"
 421   # This doesn't work well, because there can be bdeps that aren't listed as bdeps (bison)
 422   #for pkg in $(pkg_bdeps "${1}")
 423   #do
 424   #  [ ! -f "${pkg_dir}/${pkg}.tbz" ] && cheval "cd ${chroot_bdeps_dir}; pkg_create -vb ${pkg}"
 425   #done
 426   #
 427   # Instead, just save everything that's not already in rdeps as bdeps
 428   for pkg in $(cheval pkg_info | awk '{print $1}')
 429   do
 430     if [ ! -f "${pkg_dir}/${pkg}.tbz" -a ! -f "${bdeps_dir}/${pkg}.tbz" ]
 431     then
 432       cheval "cd ${chroot_bdeps_dir}; pkg_create -vb ${pkg}" || wtf "port_stash_bdeps failed"
 433     fi
 434   done
 435 }
 436
 437 # Copy generated packages out of tree
 438 pkg_final() {
 439   meh "Moving created packages to repo"
 440   mkdir -p "${final_pkg_dir}"
 441   ls "${pkg_dir}"/*.tbz >/dev/null 2>&1 && mv -f "${pkg_dir}"/*.tbz "${final_pkg_dir}"
 442   mkdir -p "${final_bdeps_dir}"
 443   ls "${bdeps_dir}"/*.tbz >/dev/null 2>&1 && mv -f "${bdeps_dir}"/*.tbz "${final_bdeps_dir}"
 444   # link everything into ${bdeps_dir} so we can find it easily later
 445   ( cd "${final_pkg_dir}"; find . -type f | cpio -plu --quiet "${final_bdeps_dir}" )
 446 }
 447
 448 # Delete all installed packages (hope you saved them first)
 449 pkg_delete_all() {
 450   meh "Clearing out installed packages"
 451   cheval "pkg_delete -f \*" || wtf "pkg_delete_all failed"
 452 }
 453
 454 ########
 455 #
 456 # All of the above?
 457 #
 458 ########
 459
 460 # Execute a complete port build, using prebuilt packages to fulfill dependencies when available
 461 # Be sure to chsetup and populate your config before running!
 462 chport() {
 463   while [ "${1}" ]
 464   do
 465     local port="${1}"
 466     meh "config-recursive"
 467     port_config_recursive "${port}"
 468     meh "fetch-recursive"
 469     port_fetch_recursive "${port}"
 470     meh "load-deps"
 471     port_load_deps "${port}"
 472     meh "build"
 473     port_build "${port}"
 474     meh "package"
 475     port_package "${port}"
 476     meh "stash-deps"
 477     port_stash_bdeps
 478     meh "final"
 479     pkg_final
 480     meh "delete-all"
 481     pkg_delete_all
 482     shift
 483   done
 484 }
 485
 486
 487 ########
 488 #
 489 # Configuration variable setup
 490 #
 491 ########
 492
 493 ARCH="${ARCH:-$(uname -m)}"
 494 CONF="${CONF:-GENERIC}"
 495
 496 # Root directory of makepkg
 497 ROOT="$(realpath "$(dirname "${0}")/..")"
 498
 499 # Location of targets
 500 TARGETS="${ROOT}/targets"
 501
 502 # Base directory for selected target
 503 base_dir="${TARGETS}/${ARCH}/${CONF}"
 504
 505 # Link to appropriate world
 506 world_dir="${base_dir}/world"
 507
 508 # Verify that world points to a proper world
 509 if [ ! -d "${world_dir}" ]
 510 then
 511   omg "World link is not appropriate; defaulting to ${ARCH}/GENERIC"
 512   world_dir="${ROOT}/worlds/${ARCH}/GENERIC"
 513 fi
 514
 515 # Directory holding configuration
 516 conf_dir="${base_dir}/config"
 517
 518 # Root tree for chroot seeding
 519 seed_dir="${world_dir}/root"
 520
 521 # Directory where distfiles will be stored between builds (common to all targets)
 522 dist_dir="${ROOT}/seed/distfiles"
 523
 524 # Final directory for built packages (Outside chroot)
 525 final_pkg_dir="${base_dir}/pkg"
 526 final_bdeps_dir="${base_dir}/bdeps"
 527
 528 # Chroot directory
 529 chroot_dir="${base_dir}/chroot"
 530
 531 # Package directories (must be under ${chroot_dir})
 532 pkg_dir="${chroot_dir}/pkg"
 533 bdeps_dir="${pkg_dir}/bdeps"
 534
 535 # Compute in-chroot pkg and bdeps dirs
 536 chroot_pkg_dir="${pkg_dir##${chroot_dir}}"
 537 chroot_bdeps_dir="${bdeps_dir##${chroot_dir}}"
 538
 539 # Cache files to speed up recursive bdep/rdep scanning
 540 _port_all_bdeps_cache="${chroot_dir}/tmp/_port_all_bdeps_cache"
 541 _port_all_rdeps_cache="${chroot_dir}/tmp/_port_all_rdeps_cache"
 542
 543 # Chroot environment
 544 chroot_env="
 545 USER=root
 546 HOME=/root
 547 LOGNAME=root
 548 PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
 549 SHELL=/bin/sh
 550 TERM=${TERM}
 551 "
 552
 553 help() {
 554   cat <<EOF
 555 Configuration variables:
 556
 557 ARCH (${ARCH})
 558 CONF (${CONF})
 559
 560 Functions:
 561
 562 Chroot Handling:
 563 ------------------------------
 564 chprepare      Prepare chroot
 565 chstartup      Start up chroot
 566 cheval         Evaluate a command string within chroot
 567 chmake         Run port make within chroot
 568 chshutdown     Shut down chroot
 569 chdestroy      Destroy chroot
 570
 571 Port Dependency Tracking
 572 ------------------------------
 573 port2pkg       Translate a port dirname to a package name
 574
 575 port_bdeps     Compute port build dependencies
 576 port_all_bdeps Recursively compute port build dependencies
 577 pkg_bdeps      port2pkg port_all_bdeps
 578
 579 port_rdeps     Compute port run dependencies
 580 port_all_rdeps Recursively compute port run dependencies
 581 pkg_rdeps      port2pkg port_all_rdeps
 582
 583 port_deps      Compute port build and run dependencies
 584 port_all_deps  Recursively compute port build and run dependencies
 585 pkg_deps       port2pkg port_all_deps
 586
 587 leaf_ports     Dump a list of leaf ports (ports with nothing depending upon them) from a running system
 588 port_bdep_tree Display a tree of all build dependencies
 589 port_rdep_tree Display a tree of all run dependencies
 590
 591 Port Configuration Handling
 592 ------------------------------
 593 port_config              Make config for a port
 594 port_config_recursive    Make config recursive, recomputing depchain for each
 595 port_rmconfig            Remove saved configuration
 596 port_rmconfig_recursive  Remove saved configuration for a port and all dependencies
 597 port_rmconfig_all        Remove all saved configuration
 598 port_load_config         Restore port configuration from cpio
 599 port_save_config         Save port configuration to cpio
 600
 601 Port Distfile Handling
 602 ------------------------------
 603 port_fetch_recursive     fetch-recursive
 604
 605 Port Building And Packaging
 606 ------------------------------
 607 port_load_deps
 608 port_build
 609 port_package
 610 port_stash_bdeps
 611 pkg_final
 612 pkg_delete_all
 613
 614 All Of The Above?
 615 ------------------------------
 616
 617 chport <port>
 618 EOF
 619 }
 620
 621 # Blind passthru for testing
 622 [ "${#}" ] && "${@}"
 623
 624 # Todo: Clean up entrypoint to support proper options
 625 # Todo: Add methods to autoprocess a ports.lst file to produce packages
 626 # Todo: Unify chroot handling with makeworld
 627