packages/Python/lldbsuite/test/dotest_args.py

   1 from __future__ import print_function
   2 from __future__ import absolute_import
   3
   4 # System modules
   5 import argparse
   6 import sys
   7 import multiprocessing
   8 import os
   9 import textwrap
  10
  11 # Third-party modules
  12
  13 # LLDB modules
  14 from . import configuration
  15
  16 class ArgParseNamespace(object):
  17     pass
  18
  19 def parse_args(parser, argv):
  20     """ Returns an argument object. LLDB_TEST_ARGUMENTS environment variable can
  21         be used to pass additional arguments.
  22     """
  23     args = ArgParseNamespace()
  24
  25     if ('LLDB_TEST_ARGUMENTS' in os.environ):
  26         print("Arguments passed through environment: '%s'" % os.environ['LLDB_TEST_ARGUMENTS'])
  27         args = parser.parse_args([sys.argv[0]].__add__(os.environ['LLDB_TEST_ARGUMENTS'].split()),namespace=args)
  28
  29     return parser.parse_args(args=argv, namespace=args)
  30
  31
  32 def default_thread_count():
  33     # Check if specified in the environment
  34     num_threads_str = os.environ.get("LLDB_TEST_THREADS")
  35     if num_threads_str:
  36         return int(num_threads_str)
  37     else:
  38         return multiprocessing.cpu_count()
  39
  40
  41 def create_parser():
  42     parser = argparse.ArgumentParser(description='description', prefix_chars='+-', add_help=False)
  43     group = None
  44
  45     # Helper function for boolean options (group will point to the current group when executing X)
  46     X = lambda optstr, helpstr, **kwargs: group.add_argument(optstr, help=helpstr, action='store_true', **kwargs)
  47
  48     group = parser.add_argument_group('Help')
  49     group.add_argument('-h', '--help', dest='h', action='store_true', help="Print this help message and exit.  Add '-v' for more detailed help.")
  50
  51     # C and Python toolchain options
  52     group = parser.add_argument_group('Toolchain options')
  53     group.add_argument('-A', '--arch', metavar='arch', action='append', dest='archs', help=textwrap.dedent('''Specify the architecture(s) to test. This option can be specified more than once'''))
  54     group.add_argument('-C', '--compiler', metavar='compiler', dest='compilers', action='append', help=textwrap.dedent('''Specify the compiler(s) used to build the inferior executables. The compiler path can be an executable basename or a full path to a compiler executable. This option can be specified multiple times.'''))
  55     if sys.platform == 'darwin':
  56         group.add_argument('--apple-sdk', metavar='apple_sdk', dest='apple_sdk', help=textwrap.dedent('''Specify the name of the Apple SDK (macosx, macosx.internal, iphoneos, iphoneos.internal, or path to SDK) and use the appropriate tools from that SDK's toolchain.'''))
  57     # FIXME? This won't work for different extra flags according to each arch.
  58     group.add_argument('-E', metavar='extra-flags', help=textwrap.dedent('''Specify the extra flags to be passed to the toolchain when building the inferior programs to be debugged
  59                                                            suggestions: do not lump the "-A arch1 -A arch2" together such that the -E option applies to only one of the architectures'''))
  60
  61     # Test filtering options
  62     group = parser.add_argument_group('Test filtering options')
  63     group.add_argument('-f', metavar='filterspec', action='append', help='Specify a filter, which consists of the test class name, a dot, followed by the test method, to only admit such test into the test suite')  # FIXME: Example?
  64     X('-l', "Don't skip long running tests")
  65     group.add_argument('-p', metavar='pattern', help='Specify a regexp filename pattern for inclusion in the test suite')
  66     group.add_argument('-G', '--category', metavar='category', action='append', dest='categoriesList', help=textwrap.dedent('''Specify categories of test cases of interest. Can be specified more than once.'''))
  67     group.add_argument('--skip-category', metavar='category', action='append', dest='skipCategories', help=textwrap.dedent('''Specify categories of test cases to skip. Takes precedence over -G. Can be specified more than once.'''))
  68
  69     # Configuration options
  70     group = parser.add_argument_group('Configuration options')
  71     group.add_argument('--framework', metavar='framework-path', help='The path to LLDB.framework')
  72     group.add_argument('--executable', metavar='executable-path', help='The path to the lldb executable')
  73     group.add_argument('-s', metavar='name', help='Specify the name of the dir created to store the session files of tests with errored or failed status. If not specified, the test driver uses the timestamp as the session dir name')
  74     group.add_argument('-S', '--session-file-format', default=configuration.session_file_format, metavar='format', help='Specify session file name format.  See configuration.py for a description.')
  75     group.add_argument('-y', type=int, metavar='count', help="Specify the iteration count used to collect our benchmarks. An example is the number of times to do 'thread step-over' to measure stepping speed.")
  76     group.add_argument('-#', type=int, metavar='sharp', dest='sharp', help='Repeat the test suite for a specified number of times')
  77     group.add_argument('--channel', metavar='channel', dest='channels', action='append', help=textwrap.dedent("Specify the log channels (and optional categories) e.g. 'lldb all' or 'gdb-remote packets' if no categories are specified, 'default' is used"))
  78     group.add_argument('--log-success', dest='log_success', action='store_true', help="Leave logs/traces even for successful test runs (useful for creating reference log files during debugging.)")
  79
  80     # Configuration options
  81     group = parser.add_argument_group('Remote platform options')
  82     group.add_argument('--platform-name', dest='lldb_platform_name', metavar='platform-name', help='The name of a remote platform to use')
  83     group.add_argument('--platform-url', dest='lldb_platform_url', metavar='platform-url', help='A LLDB platform URL to use when connecting to a remote platform to run the test suite')
  84     group.add_argument('--platform-working-dir', dest='lldb_platform_working_dir', metavar='platform-working-dir', help='The directory to use on the remote platform.')
  85
  86     # Test-suite behaviour
  87     group = parser.add_argument_group('Runtime behaviour options')
  88     X('-d', 'Suspend the process after launch to wait indefinitely for a debugger to attach')
  89     X('-q', "Don't print extra output from this script.")
  90     X('-t', 'Turn on tracing of lldb command and other detailed test executions')
  91     group.add_argument('-u', dest='unset_env_varnames', metavar='variable', action='append', help='Specify an environment variable to unset before running the test cases. e.g., -u DYLD_INSERT_LIBRARIES -u MallocScribble')
  92     group.add_argument('--env', dest='set_env_vars', metavar='variable', action='append', help='Specify an environment variable to set to the given value before running the test cases e.g.: --env CXXFLAGS=-O3 --env DYLD_INSERT_LIBRARIES')
  93     X('-v', 'Do verbose mode of unittest framework (print out each test case invocation)')
  94     group.add_argument('--enable-crash-dialog', dest='disable_crash_dialog', action='store_false', help='(Windows only) When LLDB crashes, display the Windows crash dialog.')
  95     group.set_defaults(disable_crash_dialog=True)
  96
  97     group = parser.add_argument_group('Parallel execution options')
  98     group.add_argument(
  99         '--inferior',
 100         action='store_true',
 101         help=('specify this invocation is a multiprocess inferior, '
 102               'used internally'))
 103     group.add_argument(
 104         '--no-multiprocess',
 105         action='store_true',
 106         help='skip running the multiprocess test runner')
 107     group.add_argument(
 108         '--threads',
 109         type=int,
 110         dest='num_threads',
 111         default=default_thread_count(),
 112         help=('The number of threads/processes to use when running tests '
 113               'separately, defaults to the number of CPU cores available'))
 114     group.add_argument(
 115         '--test-subdir',
 116         action='store',
 117         help='Specify a test subdirectory to use relative to the test root dir'
 118     )
 119     group.add_argument(
 120         '--test-runner-name',
 121         action='store',
 122         help=('Specify a test runner strategy.  Valid values: multiprocessing,'
 123               ' multiprocessing-pool, serial, threading, threading-pool')
 124     )
 125
 126     # Test results support.
 127     group = parser.add_argument_group('Test results options')
 128     group.add_argument(
 129         '--curses',
 130         action='store_true',
 131         help='Shortcut for specifying test results using the curses formatter')
 132     group.add_argument(
 133         '--results-file',
 134         action='store',
 135         help=('Specifies the file where test results will be written '
 136               'according to the results-formatter class used'))
 137     group.add_argument(
 138         '--results-port',
 139         action='store',
 140         type=int,
 141         help=('Specifies the localhost port to which the results '
 142               'formatted output should be sent'))
 143     group.add_argument(
 144         '--results-formatter',
 145         action='store',
 146         help=('Specifies the full package/module/class name used to translate '
 147               'test events into some kind of meaningful report, written to '
 148               'the designated output results file-like object'))
 149     group.add_argument(
 150         '--results-formatter-option',
 151         '-O',
 152         action='append',
 153         dest='results_formatter_options',
 154         help=('Specify an option to pass to the formatter. '
 155               'Use --results-formatter-option="--option1=val1" '
 156               'syntax.  Note the "=" is critical, don\'t include whitespace.'))
 157     group.add_argument(
 158         '--event-add-entries',
 159         action='store',
 160         help=('Specify comma-separated KEY=VAL entries to add key and value '
 161               'pairs to all test events generated by this test run.  VAL may '
 162               'be specified as VAL:TYPE, where TYPE may be int to convert '
 163               'the value to an int'))
 164
 165     # Re-run related arguments
 166     group = parser.add_argument_group('Test Re-run Options')
 167     group.add_argument(
 168         '--rerun-all-issues',
 169         action='store_true',
 170         help=('Re-run all issues that occurred during the test run '
 171               'irrespective of the test method\'s marking as flakey. '
 172               'Default behavior is to apply re-runs only to flakey '
 173               'tests that generate issues.'))
 174     group.add_argument(
 175         '--rerun-max-file-threshold',
 176         action='store',
 177         type=int,
 178         default=50,
 179         help=('Maximum number of files requiring a rerun beyond '
 180               'which the rerun will not occur.  This is meant to '
 181               'stop a catastrophically failing test suite from forcing '
 182               'all tests to be rerun in the single-worker phase.'))
 183
 184     # Remove the reference to our helper function
 185     del X
 186
 187     group = parser.add_argument_group('Test directories')
 188     group.add_argument('args', metavar='test-dir', nargs='*', help='Specify a list of directory names to search for test modules named after Test*.py (test discovery). If empty, search from the current working directory instead.')
 189
 190     return parser