script/makepkg: ensure port.options exists during save, to avoid confusing logic...
[CDN/Mosi.git] / script / makepkg
1 #!/bin/sh
2
3 # Load shlib and modules
4 _root="$(dirname "${0}")"; . "${_root}/lib/env.sh"
5 want log root
6
7 ########
8 #
9 # Chroot handling
10 #
11 ########
12
13 # Prepare a chroot for work
14 chprepare() {
15   # Verify environment sanity
16   [ -d "${chroot_dir}" ] && omg "${chroot_dir}: directory exists; purging" && chdestroy
17   mount | grep -q "${chroot_dir}" && wtf "Stuff is mounted under ${chroot_dir}; cannot continue"
18   [ -d "${seed_dir}" -a -f "${seed_dir}/COPYRIGHT" ] || wtf "Use 'makeworld' to create a root build first"
19   [ -f "/usr/ports/UPDATING" ] || wtf "Need ports tree in /usr/ports to build"
20   [ -f "/usr/src/sys/conf/newvers.sh" ] || omg "No base sourcetree in /usr/src"
21
22   meh "Setting up chroot tree"
23
24   # Just in case we're aborted partway through the prepare
25   trap "chdestroy" exit hup int term kill
26
27   # Make sure config dir exists for later save
28   [ -d "${conf_dir}" ] || mkdir -p "${conf_dir}"
29
30   # Populate initial seed
31   mkdir -p "$(dirname "${chroot_dir}")" || wtf "chroot path create failed"
32   cp -pR "${seed_dir}" "${chroot_dir}" || wtf "chroot seeding failed"
33
34   # Create distfile cache
35   mkdir -p "${dist_dir}" || wtf "mkdir ${dist_dir} failed"
36
37   # Create mountpoint directories
38   mkdir -p "${chroot_dir}/dev" || wtf "mkdir /dev failed"
39   mkdir -p "${chroot_dir}/usr/src" || wtf "mkdir /usr/src failed"
40   mkdir -p "${chroot_dir}/usr/obj" || wtf "mkdir /usr/obj failed"
41   mkdir -p "${chroot_dir}/usr/ports" || wtf "mkdir /usr/ports failed"
42   mkdir -p "${chroot_dir}/var/ports/distfiles" || wtf "mkdir /var/ports/distfiles failed"
43
44   # Create pkg directories
45   mkdir -p "${pkg_dir}" || wtf "mkdir ${chroot_pkg_dir} failed"
46   mkdir -p "${bdeps_dir}" || wtf "mkdir ${chroot_bdeps_dir} failed"
47
48   # Copy in cached configuration, if necessary
49   [ -f "${conf_dir}/make.conf" ] && cp -p "${conf_dir}/make.conf" "${chroot_dir}/etc/make.conf"
50
51   # If you have WITHOUT_INFO set in src.conf during buildworld/installworld, ports that need
52   # makeinfo and install-info will fail horribly; stub them
53   [ -f "${chroot_dir}/usr/bin/makeinfo" ] || ln -sf true "${chroot_dir}/usr/bin/makeinfo"
54   [ -f "${chroot_dir}/usr/bin/install-info" ] || ln -sf true "${chroot_dir}/usr/bin/install-info"
55
56   # Tweak make.conf to support read-only ports tree
57   cat <<EOF >> "${chroot_dir}/etc/make.conf"
58
59 # Read-only ports tree
60 DISTDIR=/var/ports/distfiles
61 PACKAGES=/var/ports/packages
62 WRKDIRPREFIX=/usr/obj
63 EOF
64
65   trap "" exit hup int term kill
66   meh "Chroot tree set up in ${chroot_dir}"
67
68   return 0
69 }
70
71 # Set up chroot mounts and runtime configuration
72 chstartup() {
73   [ -d "${chroot_dir}" -a -f "${chroot_dir}/COPYRIGHT" -a -d "${chroot_dir}/dev" ] || wtf "Chroot not prepared"
74   chup? && return 0
75
76   # Rollback if a problem occurs during startup
77   trap "chshutdown" exit hup int term kill
78
79   meh "Starting up chroot"
80
81   # Necessary mountpoints
82   mount -t devfs devfs "${chroot_dir}/dev" || wtf "mount /dev failed"
83   mount -t nullfs -r /usr/src "${chroot_dir}/usr/src" || wtf "mount /usr/src failed"
84   mount -t nullfs -r /usr/ports "${chroot_dir}/usr/ports" || wtf "mount /usr/ports failed"
85   mount -t nullfs -w "${dist_dir}" "${chroot_dir}/var/ports/distfiles" || wtf "mount /var/ports/distfiles failed"
86
87   # Chroot configuration
88   cp -f /etc/resolv.conf "${chroot_dir}/etc/resolv.conf" || wtf "seeding /etc/resolv.conf failed"
89
90   # Load port configuration, now that chroot is running
91   port_load_config
92
93   # Update ld.so.hints
94   cheval "/etc/rc.d/ldconfig start"
95
96   trap "" exit hup int term kill
97   meh "Chroot up and running in ${chroot_dir}"
98
99   return 0
100 }
101
102 # Check if the chroot is probably ready for use
103 chup?() {
104   [ -d "${chroot_dir}" -a -f "${chroot_dir}/COPYRIGHT" -a -c "${chroot_dir}/dev/null" ]
105   return $?
106 }
107
108 # Unmount all chroot directories
109 chshutdown() {
110   # Short-circuit if nothing is mounted
111   mount | grep -q "${chroot_dir}" || return 0
112   chup? && port_save_config || meh "Not saving port config"
113   meh "Shutting down chroot"
114   umount "${chroot_dir}/var/ports/distfiles"
115   umount "${chroot_dir}/usr/ports"
116   umount "${chroot_dir}/usr/src"
117   umount "${chroot_dir}/dev"
118   return 0
119 }
120
121 # Remove all chroot contents
122 chdestroy() {
123   chshutdown
124   meh "Destroying chroot"
125   chflags -R noschg "${chroot_dir}" || wtf "noschg failed"
126   rm -Rf "${chroot_dir}" || wtf "chroot removal failed"
127   return 0
128 }
129
130 # Evaluate a command line within the chroot
131 cheval() {
132   chup? || wtf "Chroot not ready"
133   chroot "${chroot_dir}" env -i ${chroot_env} /bin/sh -c "cd ${chroot_pkg_dir}; ${*}"
134   return $?
135 }
136
137 # Run chrooted make
138 chmake() {
139   local port="/usr/ports/${1##/usr/ports/}"
140   shift
141   cheval "make -C ${port} ${*}"
142   return $?
143 }
144
145 ########
146 #
147 # Port Dependency Tracking
148 #
149 ########
150
151 # Translate port origin to package name
152 port2pkg() {
153   while [ "${1}" ]
154   do
155     chmake "${1}" -V PKGNAME
156     shift
157   done
158 }
159
160 # Build dependencies (shallow, recursive, package)
161 port_bdeps() {
162   while [ "${1}" ]
163   do
164     chmake "${1}" build-depends-list | sed -e 's#^/usr/ports/##'
165     shift
166   done
167 }
168 port_all_bdeps() {
169   # Clear cache if first value isn't '-r'
170   [ "${1}" = '-r' ] && shift || { : > "${_port_all_bdeps_cache}"; : > "${_port_all_rdeps_cache}"; }
171   # rdeps for rdeps are rdeps, bdeps for rdeps are bdeps, rdeps for bdeps are bdeps; thus:
172   (
173     port_bdeps "${@}" | while read port
174     do
175       [ "${VERBOSE_CACHE}" ] && logf "**** bdep cache %s: '%s'\n" "$(grep -q "${port}" \
176         "${_port_all_bdeps_cache}" && echo "hit" || echo "miss")"  "${port}" >&2
177       if ! grep -q "${port}" "${_port_all_bdeps_cache}"
178       then
179         echo "${port}" >> "${_port_all_bdeps_cache}"
180         echo "${port}"
181         port_all_bdeps -r "${port}"
182         port_all_rdeps -r "${port}"
183       fi
184     done
185     port_all_rdeps -r "${@}" | while read port
186     do
187       [ "${VERBOSE_CACHE}" ] && logf "**** bdep cache %s: '%s'\n" "$(grep -q "${port}" \
188         "${_port_all_bdeps_cache}" && echo "hit" || echo "miss")"  "${port}" >&2
189       if ! grep -q "${port}" "${_port_all_bdeps_cache}"
190       then
191         echo "${port}" >> "${_port_all_bdeps_cache}"
192         port_all_bdeps -r "${port}"
193       fi
194     done
195   ) | sort | uniq
196 }
197 pkg_bdeps() {
198   port2pkg $(port_all_bdeps "${@}")
199 }
200
201 # Runtime dependencies (shallow, recursive, package)
202 port_rdeps() {
203   while [ "${1}" ]
204   do
205     chmake "${1}" run-depends-list | sed -e 's#^/usr/ports/##'
206     shift
207   done
208 }
209 port_all_rdeps() {
210   # Clear cache if first value isn't '-r'
211   [ "${1}" = '-r' ] && shift || { : > "${_port_all_rdeps_cache}"; }
212   port_rdeps "${@}" | while read port
213   do
214     [ "${VERBOSE_CACHE}" ] && logf "**** rdep cache %s: '%s'\n" "$(grep -q "${port}" \
215       "${_port_all_rdeps_cache}" && echo "hit" || echo "miss")"  "${port}" >&2
216     if ! grep -q "${port}" "${_port_all_rdeps_cache}"
217     then
218       echo "${port}" >> "${_port_all_rdeps_cache}"
219       echo "${port}"
220       port_all_rdeps -r "${port}"
221     fi
222   done | sort | uniq
223 }
224 pkg_rdeps() {
225   port2pkg $(port_all_rdeps "${@}")
226 }
227
228 # All dependencies (shallow, recursive, package)
229 port_deps() {
230   while [ "${1}" ]
231   do
232     chmake "${1}" all-depends-list | sed -e 's#^/usr/ports/##'
233     shift
234   done
235 }
236 port_all_deps() {
237   port_deps "${@}" | while read port
238   do
239     echo "${port}"
240     port_deps "${port}"
241   done | sort | uniq
242 }
243 pkg_deps() {
244   port2pkg $(port_all_deps "${@}")
245 }
246
247 # Dump a list of leaf ports from a working system
248 # Leaf ports are ports that have nothing depending upon them
249 # These are generally the top-level ports; everything else should
250 # be pulled in by them; on a system that has had updates applied
251 # this may pick up orphaned packages as well, so try cutleaves?
252 leaf_ports() {
253   ( cd /var/db/pkg; ls -1 ) | while read pkg
254   do
255     pkg_info -Rq "${pkg}" | grep -q '' || pkg_info -oq "${pkg}"
256   done | sort
257 }
258
259 # Display a tree of all build dependencies (and
260 # any runtime dependencies those build dependencies
261 # depend upon). Individual ports may appear more than
262 # once, as it is a tree and not a list.
263 port_bdep_tree() {
264   port="${1##/usr/ports/}"
265   printf "%${2}s%s\n" "" "${port}"
266   
267   ( chmake "${port}" build-depends-list
268     [ "${2:-0}" -gt 0 ] && chmake "${port}" run-depends-list
269   ) | sort -u | while read port
270   do
271     port_bdep_tree "${port}" $(( ${2:-0} + 1 ))
272   done
273 }
274
275 # Display a tree of all runtime dependencies. Individual
276 # ports may appear more than once, as it is a tree and
277 # not a list.
278 port_rdep_tree() {
279   port="${1##/usr/ports/}"
280   printf "%${2}s%s\n" "" "${port}"
281   
282   chmake "${port}" run-depends-list | sort -u | while read port
283   do
284     port_rdep_tree "${port}" $(( ${2:-0} + 1 ))
285   done
286 }
287
288 ########
289 #
290 # Port Configuration Handling
291 #
292 ########
293
294 # Run make config on a list of ports
295 port_config() {
296   while [ "${1}" ]
297   do
298     meh "port config ${1}"
299     chmake "${1}" config < /dev/tty
300     shift
301   done
302 }
303
304 # Make config-conditional for a list of ports, and all dependencies
305 port_config_recursive() {
306   # Clear cache if first value isn't '-r'
307   [ "${1}" = '-r' ] && shift || _port_config_recursive_cache=""
308   while [ "${1}" ]
309   do
310     # Do not use config-recursive because it computes the depchain first;
311     # instead, manually compute the depchain after each config to ensure the
312     # proper depchain is followed. Use config-conditional to avoid dialog
313     # if the config is already complete. Also use a cache to avoid re-config
314     # and re-recurse on previously handled port branches.
315     if echo "${_port_config_recursive_cache}" | grep -qv " ${1} "
316     then
317       meh "port config-recursive ${1}"
318       chmake "${1}" config-conditional < /dev/tty
319       port_config_recursive -r $(port_deps "${1}")
320       _port_config_recursive_cache="${_port_config_recursive_cache} ${1} "
321     fi
322     shift
323   done
324 }
325 # Config cache
326 unset _port_config_recursive_cache
327
328 # Remove saved config for a list of ports
329 port_rmconfig() {
330   while [ "${1}" ]
331   do
332     meh "port rmconfig ${1}"
333     chmake "${1}" rmconfig
334     shift
335   done
336 }
337
338 # Remove saved config for a list of ports and all dependencies
339 port_rmconfig_recursive() {
340   meh "port rmconfig-recursive ${*}"
341   port_rmconfig $(echo "${@}" $(port_all_deps "${@}") | sort | uniq)
342 }
343
344 # Obliterate saved configuration for all ports
345 port_rmconfig_all() {
346   meh "port rmconfig-all"
347   cheval "cd /var/db/ports; find . -name 'options' -delete; find . -type d | xargs rmdir 2>/dev/null"
348 }
349
350 # Restore port build options from directory
351 port_load_config() {
352   [ -d "${conf_dir}/port.options" ] || return 0
353   meh "port load-config"
354   ( cd "${conf_dir}/port.options"; find . | cpio -oHnewc ) | cheval "cd /var/db/ports; cpio -i" || wtf "port load-config failed"
355 }
356
357 # Dump port build options to directory
358 port_save_config() {
359   meh "port save-config"
360   rm -Rf "${conf_dir}/port.options.tmp" "${conf_dir}/port.options.old"
361   mkdir -p "${conf_dir}/port.options" "${conf_dir}/port.options.tmp"
362   cheval "cd /var/db/ports; find . -type d -o -type f -name options | cpio -oHnewc" | ( cd "${conf_dir}/port.options.tmp"; cpio -i ) || wtf "port safe-config failed"
363   mv -f "${conf_dir}/port.options" "${conf_dir}/port.options.old" && \
364     mv -f "${conf_dir}/port.options.tmp" "${conf_dir}/port.options" && \
365     rm -Rf "${conf_dir}/port.options.old" || \
366     wtf "port save-config atomic commit failed"
367 }
368
369 ########
370 #
371 # Port distfile handling
372 #
373 ########
374
375 # Recursively retrieve distfiles
376 port_fetch_recursive() {
377   while [ "${1}" ]
378   do
379     meh "fetch-recursive ${1}"
380     chmake "${1}" fetch-recursive
381     shift
382   done
383 }
384
385 ########
386 #
387 # Port building and packaging
388 #
389 ########
390
391 # Copy in and install dependency packages
392 port_load_deps() {
393   local port="${1}"
394   for pkg in $(port2pkg $(port_all_deps "${port}"))
395   do
396     cp -f "${final_bdeps_dir}/${pkg}.tbz" "${bdeps_dir}" 2>/dev/null && meh "Loading dependent ${pkg}"
397   done
398   if ls "${bdeps_dir}"/*.tbz >/dev/null 2>&1
399   then
400     meh "Installing dependencies"
401     cheval "cd ${chroot_bdeps_dir}; pkg_add -F *" || wtf "port_load_deps ${port} failed"
402   fi
403 }
404
405 # Build and install a port
406 port_build() {
407   local port="${1}"
408   meh "Building ${port}"
409   chmake "${port}" clean build install clean || wtf "port_build ${port} failed"
410 }
411
412 # Package a port
413 port_package() {
414   local port="${1}"
415   meh "Creating rdep package tree for ${port}"
416   cheval "pkg_create -Rvb $(port2pkg "${port}")" || wtf "port_package ${port} failed"
417 }
418
419 # Package port build dependencies, unless they're already run deps
420 port_stash_bdeps() {
421   meh "Stashing unsaved bdeps"
422   # This doesn't work well, because there can be bdeps that aren't listed as bdeps (bison)
423   #for pkg in $(pkg_bdeps "${1}")
424   #do
425   #  [ ! -f "${pkg_dir}/${pkg}.tbz" ] && cheval "cd ${chroot_bdeps_dir}; pkg_create -vb ${pkg}"
426   #done
427   #
428   # Instead, just save everything that's not already in rdeps as bdeps
429   for pkg in $(cheval pkg_info | awk '{print $1}')
430   do
431     if [ ! -f "${pkg_dir}/${pkg}.tbz" -a ! -f "${bdeps_dir}/${pkg}.tbz" ]
432     then
433       cheval "cd ${chroot_bdeps_dir}; pkg_create -vb ${pkg}" || wtf "port_stash_bdeps failed"
434     fi
435   done
436 }
437
438 # Copy generated packages out of tree
439 pkg_final() {
440   meh "Moving created packages to repo"
441   mkdir -p "${final_pkg_dir}"
442   ls "${pkg_dir}"/*.tbz >/dev/null 2>&1 && mv -f "${pkg_dir}"/*.tbz "${final_pkg_dir}"
443   mkdir -p "${final_bdeps_dir}"
444   ls "${bdeps_dir}"/*.tbz >/dev/null 2>&1 && mv -f "${bdeps_dir}"/*.tbz "${final_bdeps_dir}"
445   # link everything into ${bdeps_dir} so we can find it easily later
446   ( cd "${final_pkg_dir}"; find . -type f | cpio -plu --quiet "${final_bdeps_dir}" )
447 }
448
449 # Delete all installed packages (hope you saved them first)
450 pkg_delete_all() {
451   meh "Clearing out installed packages"
452   cheval "pkg_delete -f \*" || wtf "pkg_delete_all failed"
453 }
454
455 ########
456 #
457 # All of the above?
458 #
459 ########
460
461 # Execute a complete port build, using prebuilt packages to fulfill dependencies when available
462 # Be sure to chsetup and populate your config before running!
463 chport() {
464   while [ "${1}" ]
465   do
466     local port="${1}"
467     meh "config-recursive"
468     port_config_recursive "${port}"
469     meh "fetch-recursive"
470     port_fetch_recursive "${port}"
471     meh "load-deps"
472     port_load_deps "${port}"
473     meh "build"
474     port_build "${port}"
475     meh "package"
476     port_package "${port}"
477     meh "stash-deps"
478     port_stash_bdeps
479     meh "final"
480     pkg_final
481     meh "delete-all"
482     pkg_delete_all
483     shift
484   done
485 }
486
487
488 ########
489 #
490 # Configuration variable setup
491 #
492 ########
493
494 ARCH="${ARCH:-$(uname -m)}"
495 CONF="${CONF:-GENERIC}"
496
497 # Root directory of makepkg
498 ROOT="$(realpath "$(dirname "${0}")/..")"
499
500 # Location of targets
501 TARGETS="${ROOT}/targets"
502
503 # Base directory for selected target
504 base_dir="${TARGETS}/${ARCH}/${CONF}"
505
506 # Link to appropriate world
507 world_dir="${base_dir}/world"
508
509 # Verify that world points to a proper world
510 if [ ! -d "${world_dir}" ]
511 then
512   omg "World link is not appropriate; defaulting to ${ARCH}/GENERIC"
513   world_dir="${ROOT}/worlds/${ARCH}/GENERIC"
514 fi
515
516 # Directory holding configuration
517 conf_dir="${base_dir}/config"
518
519 # Root tree for chroot seeding
520 seed_dir="${world_dir}/root"
521
522 # Directory where distfiles will be stored between builds (common to all targets)
523 dist_dir="${ROOT}/seed/distfiles"
524
525 # Final directory for built packages (Outside chroot)
526 final_pkg_dir="${base_dir}/pkg"
527 final_bdeps_dir="${base_dir}/bdeps"
528
529 # Chroot directory
530 chroot_dir="${base_dir}/chroot"
531
532 # Package directories (must be under ${chroot_dir})
533 pkg_dir="${chroot_dir}/pkg"
534 bdeps_dir="${pkg_dir}/bdeps"
535
536 # Compute in-chroot pkg and bdeps dirs
537 chroot_pkg_dir="${pkg_dir##${chroot_dir}}"
538 chroot_bdeps_dir="${bdeps_dir##${chroot_dir}}"
539
540 # Cache files to speed up recursive bdep/rdep scanning
541 _port_all_bdeps_cache="${chroot_dir}/tmp/_port_all_bdeps_cache"
542 _port_all_rdeps_cache="${chroot_dir}/tmp/_port_all_rdeps_cache"
543
544 # Chroot environment
545 chroot_env="
546 USER=root
547 HOME=/root
548 LOGNAME=root
549 PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
550 SHELL=/bin/sh
551 TERM=${TERM}
552 "
553
554 help() {
555   cat <<EOF
556 Configuration variables:
557
558 ARCH (${ARCH})
559 CONF (${CONF})
560
561 Functions:
562
563 Chroot Handling:
564 ------------------------------
565 chprepare      Prepare chroot
566 chstartup      Start up chroot
567 cheval         Evaluate a command string within chroot
568 chmake         Run port make within chroot
569 chshutdown     Shut down chroot
570 chdestroy      Destroy chroot
571
572 Port Dependency Tracking
573 ------------------------------
574 port2pkg       Translate a port dirname to a package name
575
576 port_bdeps     Compute port build dependencies
577 port_all_bdeps Recursively compute port build dependencies
578 pkg_bdeps      port2pkg port_all_bdeps
579
580 port_rdeps     Compute port run dependencies
581 port_all_rdeps Recursively compute port run dependencies
582 pkg_rdeps      port2pkg port_all_rdeps
583
584 port_deps      Compute port build and run dependencies
585 port_all_deps  Recursively compute port build and run dependencies
586 pkg_deps       port2pkg port_all_deps
587
588 leaf_ports     Dump a list of leaf ports (ports with nothing depending upon them) from a running system
589 port_bdep_tree Display a tree of all build dependencies
590 port_rdep_tree Display a tree of all run dependencies
591
592 Port Configuration Handling
593 ------------------------------
594 port_config              Make config for a port
595 port_config_recursive    Make config recursive, recomputing depchain for each
596 port_rmconfig            Remove saved configuration
597 port_rmconfig_recursive  Remove saved configuration for a port and all dependencies
598 port_rmconfig_all        Remove all saved configuration
599 port_load_config         Restore port configuration from cpio
600 port_save_config         Save port configuration to cpio
601
602 Port Distfile Handling
603 ------------------------------
604 port_fetch_recursive     fetch-recursive
605
606 Port Building And Packaging
607 ------------------------------
608 port_load_deps           
609 port_build               
610 port_package             
611 port_stash_bdeps         
612 pkg_final                
613 pkg_delete_all           
614
615 All Of The Above?
616 ------------------------------
617
618 chport <port>            
619 EOF
620 }
621
622 # Blind passthru for testing
623 [ "${#}" ] && "${@}"
624
625 # Todo: Clean up entrypoint to support proper options
626 # Todo: Add methods to autoprocess a ports.lst file to produce packages
627 # Todo: Unify chroot handling with makeworld
628