share/mk/bsd.test.mk

   1 # $FreeBSD$
   2 #
   3 # Generic build infrastructure for test programs.
   4 #
   5 # The code in this file is independent of the implementation of the test
   6 # programs being built; this file just provides generic infrastructure for the
   7 # build and the definition of various helper variables and targets.
   8 #
   9 # Makefiles should never include this file directly.  Instead, they should
  10 # include one of the various *.test.mk depending on the specific test programs
  11 # being built.
  12
  13 .include <bsd.init.mk>
  14
  15 # Directory in which to install tests defined by the current Makefile.
  16 # Makefiles have to override this to point to a subdirectory of TESTSBASE.
  17 TESTSDIR?= .
  18
  19 # Name of the test suite these tests belong to.  Should rarely be changed for
  20 # Makefiles built into the FreeBSD src tree.
  21 TESTSUITE?= FreeBSD
  22
  23 # List of subdirectories containing tests into which to recurse.  This has the
  24 # same semantics as SUBDIR at build-time.  However, the directories listed here
  25 # get registered into the run-time test suite definitions so that the test
  26 # engines know to recurse into these directories.
  27 #
  28 # In other words: list here any directories that contain test programs but use
  29 # SUBDIR for directories that may contain helper binaries and/or data files.
  30 TESTS_SUBDIRS?=
  31
  32 # Knob to control the handling of the Kyuafile for this Makefile.
  33 #
  34 # If 'yes', a Kyuafile exists in the source tree and is installed into
  35 # TESTSDIR.
  36 #
  37 # If 'auto', a Kyuafile is automatically generated based on the list of test
  38 # programs built by the Makefile and is installed into TESTSDIR.  This is the
  39 # default and is sufficient in the majority of the cases.
  40 #
  41 # If 'no', no Kyuafile is installed.
  42 KYUAFILE?= auto
  43
  44 # List of variables to pass to the tests at run-time via the environment.
  45 TESTS_ENV?=
  46
  47 # Ordered list of directories to construct the PATH for the tests.
  48 TESTS_PATH+= ${DESTDIR}/bin ${DESTDIR}/sbin \
  49              ${DESTDIR}/usr/bin ${DESTDIR}/usr/sbin
  50 TESTS_ENV+= PATH=${TESTS_PATH:tW:C/ +/:/g}
  51
  52 # Ordered list of directories to construct the LD_LIBRARY_PATH for the tests.
  53 TESTS_LD_LIBRARY_PATH+= ${DESTDIR}/lib ${DESTDIR}/usr/lib
  54 TESTS_ENV+= LD_LIBRARY_PATH=${TESTS_LD_LIBRARY_PATH:tW:C/ +/:/g}
  55
  56 # List of all tests being built.  This variable is internal should not be
  57 # defined by the Makefile.  The various *.test.mk modules extend this variable
  58 # as needed.
  59 _TESTS?=
  60
  61 # Path to the prefix of the installed Kyua CLI, if any.
  62 #
  63 # If kyua is installed from ports, we automatically define a realtest target
  64 # below to run the tests using this tool.  The tools are searched for in the
  65 # hierarchy specified by this variable.
  66 KYUA_PREFIX?= /usr/local
  67
  68 .if !empty(TESTS_SUBDIRS)
  69 SUBDIR+= ${TESTS_SUBDIRS}
  70 .endif
  71
  72 # it is rare for test cases to have man pages
  73 .if !defined(MAN)
  74 WITHOUT_MAN=yes
  75 .export WITHOUT_MAN
  76 .endif
  77
  78 # tell progs.mk we might want to install things
  79 PROG_VARS+= BINDIR
  80 PROGS_TARGETS+= install
  81
  82 .if ${KYUAFILE:tl} != "no"
  83 FILES+= Kyuafile
  84 FILESDIR_Kyuafile= ${TESTSDIR}
  85
  86 .if ${KYUAFILE:tl} == "auto"
  87 CLEANFILES+= Kyuafile Kyuafile.tmp
  88
  89 Kyuafile: Makefile
  90         @{ \
  91             echo '-- Automatically generated by bsd.test.mk.'; \
  92             echo; \
  93             echo 'syntax(2)'; \
  94             echo; \
  95             echo 'test_suite("${TESTSUITE}")'; \
  96             echo; \
  97         } >Kyuafile.tmp
  98 .for _T in ${_TESTS}
  99         @echo "${TEST_INTERFACE.${_T}}_test_program{name=\"${_T}\"}" \
 100             >>Kyuafile.tmp
 101 .endfor
 102 .for _T in ${TESTS_SUBDIRS:N.WAIT}
 103         @echo "include(\"${_T}/Kyuafile\")" >>Kyuafile.tmp
 104 .endfor
 105         @mv Kyuafile.tmp Kyuafile
 106 .endif
 107 .endif
 108
 109 KYUA?= ${KYUA_PREFIX}/bin/kyua
 110 .if exists(${KYUA})
 111 # Definition of the "make test" target and supporting variables.
 112 #
 113 # This target, by necessity, can only work for native builds (i.e. a FreeBSD
 114 # host building a release for the same system).  The target runs Kyua, which is
 115 # not in the toolchain, and the tests execute code built for the target host.
 116 #
 117 # Due to the dependencies of the binaries built by the source tree and how they
 118 # are used by tests, it is highly possible for a execution of "make test" to
 119 # report bogus results unless the new binaries are put in place.
 120 realtest: .PHONY
 121         @echo "*** WARNING: make test is experimental"
 122         @echo "***"
 123         @echo "*** Using this test does not preclude you from running the tests"
 124         @echo "*** installed in ${TESTSBASE}.  This test run may raise false"
 125         @echo "*** positives and/or false negatives."
 126         @echo
 127         @set -e; \
 128         ${KYUA} test -k ${DESTDIR}${TESTSDIR}/Kyuafile; \
 129         result=0; \
 130         echo; \
 131         echo "*** Once again, note that "make test" is unsupported."; \
 132         test $${result} -eq 0
 133 .endif
 134
 135 beforetest: .PHONY
 136 .if defined(TESTSDIR)
 137 .if ${TESTSDIR} == ${TESTSBASE}
 138 # Forbid running from ${TESTSBASE}.  It can cause false positives/negatives and
 139 # it does not cover all the tests (e.g. it misses testing software in external).
 140         @echo "*** Sorry, you cannot use make test from src/tests.  Install the"
 141         @echo "*** tests into their final location and run them from ${TESTSBASE}"
 142         @false
 143 .else
 144         @echo "*** Using this test does not preclude you from running the tests"
 145         @echo "*** installed in ${TESTSBASE}.  This test run may raise false"
 146         @echo "*** positives and/or false negatives."
 147 .endif
 148 .else
 149         @echo "*** No TESTSDIR defined; nothing to do."
 150         @false
 151 .endif
 152         @echo
 153
 154 .if !target(realtest)
 155 realtest: .PHONY
 156         @echo "$@ not defined; skipping"
 157 .endif
 158
 159 test: .PHONY
 160 .ORDER: beforetest realtest
 161 test: beforetest realtest
 162
 163 .if target(aftertest)
 164 .ORDER: realtest aftertest
 165 test: aftertest
 166 .endif
 167
 168 .if !empty(SUBDIR)
 169 .include <bsd.subdir.mk>
 170 .endif
 171
 172 .if !empty(PROGS) || !empty(PROGS_CXX) || !empty(SCRIPTS)
 173 .include <bsd.progs.mk>
 174 .elif !empty(FILES)
 175 .include <bsd.files.mk>
 176 .endif
 177
 178 .include <bsd.obj.mk>