script/makepkg

   1 #!/bin/sh
   2
   3 # Load shlib and modules
   4 _root="$(dirname "${0}")"; . "${_root}/lib/env.sh"
   5 want log root
   6
   7 # Dump a list of leaf ports from a working system
   8 # Leaf ports are ports that have nothing depending upon them
   9 # These are generally the top-level ports; everything else should
  10 # be pulled in by them
  11 leaf_ports() {
  12   ( cd /var/db/pkg; ls -1 ) | while read pkg
  13   do
  14     pkg_info -Rq "${pkg}" | grep -q '' || pkg_info -oq "${pkg}"
  15   done | sort
  16 }
  17
  18 ########
  19 #
  20 # Chroot handling
  21 #
  22 ########
  23
  24 # Prepare a chroot for work
  25 chprepare() {
  26   # Verify environment sanity
  27   [ -d "${chroot_dir}" ] && omg "${chroot_dir}: directory exists; purging" && chdestroy
  28   mount | grep -q "${chroot_dir}" && wtf "Stuff is mounted under ${chroot_dir}; cannot continue"
  29   [ -d "${seed_dir}" -a -f "${seed_dir}/COPYRIGHT" ] || wtf "Use 'makeworld' to create a root build first"
  30   [ -f "/usr/ports/UPDATING" ] || wtf "Need ports tree in /usr/ports to build"
  31   [ -f "/usr/src/sys/conf/newvers.sh" ] || omg "No base sourcetree in /usr/src"
  32
  33   meh "Setting up chroot tree"
  34
  35   # Just in case we're aborted partway through the prepare
  36   trap "chdestroy" exit hup int term kill
  37
  38   # Populate initial seed
  39   mkdir -p "$(dirname "${chroot_dir}")" || wtf "chroot path create failed"
  40   cp -pR "${seed_dir}" "${chroot_dir}" || wtf "chroot seeding failed"
  41
  42   # Create distfile cache
  43   mkdir -p "${dist_dir}" || wtf "mkdir ${dist_dir} failed"
  44
  45   # Create mountpoint directories
  46   mkdir -p "${chroot_dir}/dev" || wtf "mkdir /dev failed"
  47   mkdir -p "${chroot_dir}/usr/src" || wtf "mkdir /usr/src failed"
  48   mkdir -p "${chroot_dir}/usr/obj" || wtf "mkdir /usr/obj failed"
  49   mkdir -p "${chroot_dir}/usr/ports" || wtf "mkdir /usr/ports failed"
  50   mkdir -p "${chroot_dir}/var/ports/distfiles" || wtf "mkdir /var/ports/distfiles failed"
  51
  52   # Create pkg directories
  53   mkdir -p "${pkg_dir}" || wtf "mkdir ${chroot_pkg_dir} failed"
  54   mkdir -p "${bdeps_dir}" || wtf "mkdir ${chroot_bdeps_dir} failed"
  55
  56   trap "" exit hup int term kill
  57   meh "Chroot tree set up in ${chroot_dir}"
  58
  59   return 0
  60 }
  61
  62 # Set up chroot mounts and runtime configuration
  63 chstartup() {
  64   [ -d "${chroot_dir}" -a -f "${chroot_dir}/COPYRIGHT" -a -d "${chroot_dir}/dev" ] || wtf "Chroot not prepared"
  65
  66   meh "Starting up chroot"
  67
  68   # Necessary mountpoints
  69   mount -t devfs devfs "${chroot_dir}/dev" || wtf "mount /dev failed"
  70   mount -t nullfs -r /usr/src "${chroot_dir}/usr/src" || wtf "mount /usr/src failed"
  71   mount -t nullfs -r /usr/ports "${chroot_dir}/usr/ports" || wtf "mount /usr/ports failed"
  72   mount -t nullfs -w "${dist_dir}" "${chroot_dir}/var/ports/distfiles" || wtf "mount /var/ports/distfiles failed"
  73
  74   # Chroot configuration
  75   cp -f /etc/resolv.conf "${chroot_dir}/etc/resolv.conf" || wtf "seeding /etc/resolv.conf failed"
  76
  77   meh "Chroot up and running in ${chroot_dir}"
  78
  79   return 0
  80 }
  81
  82 # Unmount all chroot directories
  83 chshutdown() {
  84   # Short-circuit if nothing is mounted
  85   mount | grep -q "${chroot_dir}" || return 0
  86   meh "Shutting down chroot"
  87   umount "${chroot_dir}/var/ports/distfiles"
  88   umount "${chroot_dir}/usr/ports"
  89   umount "${chroot_dir}/usr/src"
  90   umount "${chroot_dir}/dev"
  91   return 0
  92 }
  93
  94 # Remove all chroot contents
  95 chdestroy() {
  96   chshutdown
  97   meh "Destroying chroot"
  98   chflags -R noschg "${chroot_dir}" || wtf "noschg failed"
  99   rm -Rf "${chroot_dir}" || wtf "chroot removal failed"
 100   return 0
 101 }
 102
 103 # Evaluate a command line within the chroot
 104 cheval() {
 105   chroot "${chroot_dir}" env -i ${chroot_env} /bin/sh -c "cd ${chroot_pkg_dir}; ${*}"
 106   return $?
 107 }
 108
 109 # Run chrooted make
 110 chmake() {
 111   local port="/usr/ports/${1##/usr/ports/}"
 112   shift
 113   cheval "make -C ${port} ${*}"
 114   return $?
 115 }
 116
 117 ########
 118 #
 119 # Port Dependency Tracking
 120 #
 121 ########
 122
 123 # Translate port origin to package name
 124 port2pkg() {
 125   while [ "${1}" ]
 126   do
 127     chmake "${1}" -V PKGNAME
 128     shift
 129   done
 130 }
 131
 132 # Build dependencies (shallow, recursive, package)
 133 port_bdeps() {
 134   while [ "${1}" ]
 135   do
 136     chmake "${1}" build-depends-list | sed -e 's#^/usr/ports/##'
 137     shift
 138   done
 139 }
 140 port_all_bdeps() {
 141   # rdeps for rdeps are rdeps, rdeps for bdeps are bdeps; thus:
 142   ( port_bdeps "${@}"; port_all_rdeps "${@}" ) | while read port
 143   do
 144     port_all_bdeps "${port}"
 145     port_all_rdeps "${port}"
 146   done | sort | uniq
 147 }
 148 pkg_bdeps() {
 149   port2pkg $(port_all_bdeps "${@}")
 150 }
 151
 152 # Runtime dependencies (shallow, recursive, package)
 153 port_rdeps() {
 154   while [ "${1}" ]
 155   do
 156     chmake "${1}" run-depends-list | sed -e 's#^/usr/ports/##'
 157     shift
 158   done
 159 }
 160 port_all_rdeps() {
 161   port_rdeps "${@}" | while read port
 162   do
 163     echo "${port}"
 164     port_all_rdeps "${port}"
 165   done | sort | uniq
 166 }
 167 pkg_rdeps() {
 168   port2pkg $(port_all_rdeps "${@}")
 169 }
 170
 171 # All dependencies (shallow, recursive, package)
 172 port_deps() {
 173   while [ "${1}" ]
 174   do
 175     chmake "${1}" all-depends-list | sed -e 's#^/usr/ports/##'
 176     shift
 177   done
 178 }
 179 port_all_deps() {
 180   port_deps "${@}" | while read port
 181   do
 182     echo "${port}"
 183     port_deps "${port}"
 184   done | sort | uniq
 185 }
 186 pkg_deps() {
 187   port2pkg $(port_all_deps "${@}")
 188 }
 189
 190 ########
 191 #
 192 # Port Configuration Handling
 193 #
 194 ########
 195
 196 # Run make config on a list of ports
 197 port_config() {
 198   while [ "${1}" ]
 199   do
 200     meh "port config ${1}"
 201     chmake "${1}" config < /dev/tty
 202     shift
 203   done
 204 }
 205
 206 # Make config-conditional for a list of ports, and all dependencies
 207 port_config_recursive() {
 208   # Clear cache if first value isn't '-r'
 209   [ "${1}" = '-r' ] && shift || _port_config_recursive_cache=""
 210   while [ "${1}" ]
 211   do
 212     # Do not use config-recursive because it computes the depchain first;
 213     # instead, manually compute the depchain after each config to ensure the
 214     # proper depchain is followed. Use config-conditional to avoid dialog
 215     # if the config is already complete. Also use a cache to avoid re-config
 216     # and re-recurse on previously handled port branches.
 217     if echo "${_port_config_recursive_cache}" | grep -qv " ${1} "
 218     then
 219       meh "port config-recursive ${1}"
 220       chmake "${1}" config-conditional < /dev/tty
 221       port_config_recursive -r $(port_deps "${1}")
 222       _port_config_recursive_cache="${_port_config_recursive_cache} ${1} "
 223     fi
 224     shift
 225   done
 226 }
 227 # Config cache
 228 unset _port_config_recursive_cache
 229
 230 # Remove saved config for a list of ports
 231 port_rmconfig() {
 232   while [ "${1}" ]
 233   do
 234     meh "port rmconfig ${1}"
 235     chmake "${1}" rmconfig
 236     shift
 237   done
 238 }
 239
 240 # Remove saved config for a list of ports and all dependencies
 241 port_rmconfig_recursive() {
 242   meh "port rmconfig-recursive ${*}"
 243   port_rmconfig $(echo "${@}" $(port_all_deps "${@}") | sort | uniq)
 244 }
 245
 246 # Obliterate saved configuration for all ports
 247 port_rmconfig_all() {
 248   meh "port rmconfig-all"
 249   cheval "cd /var/db/ports; find . -name 'options' -delete; find . -type d | xargs rmdir 2>/dev/null"
 250 }
 251
 252 # Restore port build options from cpio
 253 port_load_config() {
 254   meh "port load-config"
 255   cheval "cd /var/db/ports; cpio -iv"
 256 }
 257
 258 # Dump port build options to cpio
 259 port_save_config() {
 260   meh "port save-config"
 261   cheval "cd /var/db/ports; find . -type d -o -type f -name options | cpio -ovHnewc"
 262 }
 263
 264 ########
 265 #
 266 # Port distfile handling
 267 #
 268 ########
 269
 270 # Recursively retrieve distfiles
 271 port_fetch_recursive() {
 272   while [ "${1}" ]
 273   do
 274     meh "fetch-recursive ${1}"
 275     chmake "${1}" fetch-recursive
 276     shift
 277   done
 278 }
 279
 280 ########
 281 #
 282 # Port building and packaging
 283 #
 284 ########
 285
 286 # Copy in and install dependency packages
 287 port_load_deps() {
 288   local port="${1}"
 289   for pkg in $(port2pkg $(port_all_deps "${port}"))
 290   do
 291     cp -f "${final_bdeps_dir}/${pkg}.tbz" "${bdeps_dir}" 2>/dev/null && meh "Loading dependent ${pkg}"
 292   done
 293   if ls "${bdeps_dir}"/*.tbz >/dev/null 2>&1
 294   then
 295     meh "Installing dependencies"
 296     cheval "cd ${chroot_bdeps_dir}; pkg_add -F *" || wtf "port_load_deps ${port} failed"
 297   fi
 298 }
 299
 300 # Build and install a port
 301 port_build() {
 302   local port="${1}"
 303   meh "Building ${port}"
 304   chmake "${port}" clean build install clean || wtf "port_build ${port} failed"
 305 }
 306
 307 # Package a port
 308 port_package() {
 309   local port="${1}"
 310   meh "Creating rdep package tree for ${port}"
 311   cheval "pkg_create -Rvb $(port2pkg "${port}")" || wtf "port_package ${port} failed"
 312 }
 313
 314 # Package port build dependencies, unless they're already run deps
 315 port_stash_bdeps() {
 316   meh "Stashing unsaved bdeps"
 317   # This doesn't work well, because there can be bdeps that aren't listed as bdeps (bison)
 318   #for pkg in $(pkg_bdeps "${1}")
 319   #do
 320   #  [ ! -f "${pkg_dir}/${pkg}.tbz" ] && cheval "cd ${chroot_bdeps_dir}; pkg_create -vb ${pkg}"
 321   #done
 322   #
 323   # Instead, just save everything that's not already in rdeps as bdeps
 324   for pkg in $(cheval pkg_info | awk '{print $1}')
 325   do
 326     if [ ! -f "${pkg_dir}/${pkg}.tbz" -a ! -f "${bdeps_dir}/${pkg}.tbz" ]
 327     then
 328       cheval "cd ${chroot_bdeps_dir}; pkg_create -vb ${pkg}" || wtf "port_stash_bdeps failed"
 329     fi
 330   done
 331 }
 332
 333 # Copy generated packages out of tree
 334 pkg_final() {
 335   meh "Moving created packages to repo"
 336   mkdir -p "${final_pkg_dir}"
 337   ls "${pkg_dir}"/*.tbz >/dev/null 2>&1 && mv -f "${pkg_dir}"/*.tbz "${final_pkg_dir}"
 338   mkdir -p "${final_bdeps_dir}"
 339   ls "${bdeps_dir}"/*.tbz >/dev/null 2>&1 && mv -f "${bdeps_dir}"/*.tbz "${final_bdeps_dir}"
 340   # link everything into ${bdeps_dir} so we can find it easily later
 341   ( cd "${final_pkg_dir}"; find . -type f | cpio -plu --quiet "${final_bdeps_dir}" )
 342 }
 343
 344 # Delete all installed packages (hope you saved them first)
 345 pkg_delete_all() {
 346   meh "Clearing out installed packages"
 347   cheval "pkg_delete -f \*" || wtf "pkg_delete_all failed"
 348 }
 349
 350 ########
 351 #
 352 # All of the above?
 353 #
 354 ########
 355
 356 # Execute a complete port build, using prebuilt packages to fulfill dependencies when available
 357 # Be sure to chsetup and populate your config before running!
 358 chport() {
 359   local port="${1}"
 360   port_load_deps "${port}"
 361   port_build "${port}"
 362   port_package "${port}"
 363   port_stash_bdeps
 364   pkg_final
 365   pkg_delete_all
 366 }
 367
 368
 369 ########
 370 #
 371 # Configuration variable setup
 372 #
 373 ########
 374
 375 TARGET="${TARGET:-i386}"
 376 CONFIG="${CONFIG:-GENERIC}"
 377
 378 ROOT="$(realpath "$(dirname "${0}")/../worlds")"
 379
 380 # Base directory for everything
 381 base_dir="${ROOT}/${TARGET}/${CONFIG}"
 382
 383 # Root tree for chroot seeding
 384 seed_dir="${base_dir}/root"
 385
 386 # Directory where distfiles will be stored between builds (common to all configs)
 387 dist_dir="${ROOT}/seed/distfiles"
 388
 389 # Final directory for built packages (Outside chroot)
 390 final_pkg_dir="${base_dir}/pkg"
 391 final_bdeps_dir="${base_dir}/bdeps"
 392
 393 # Chroot directory
 394 chroot_dir="${base_dir}/chroot"
 395
 396 # Package directories (must be under ${chroot_dir})
 397 pkg_dir="${chroot_dir}/pkg"
 398 bdeps_dir="${pkg_dir}/bdeps"
 399
 400 # Compute in-chroot pkg and bdeps dirs
 401 chroot_pkg_dir="${pkg_dir##${chroot_dir}}"
 402 chroot_bdeps_dir="${bdeps_dir##${chroot_dir}}"
 403
 404 # Chroot environment
 405 chroot_env="
 406 USER=root
 407 HOME=/root
 408 LOGNAME=root
 409 PATH=:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
 410 SHELL=/bin/sh
 411 TERM=${TERM}
 412 "
 413
 414 # Blind passthru for testing
 415 [ "${#}" ] && "${@}"