]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - contrib/llvm/tools/clang/tools/driver/driver.cpp
MFC r335799:
[FreeBSD/FreeBSD.git] / contrib / llvm / tools / clang / tools / driver / driver.cpp
1 //===-- driver.cpp - Clang GCC-Compatible Driver --------------------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This is the entry point to the clang driver; it is a thin wrapper
11 // for functionality in the Driver clang library.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #include "clang/Basic/DiagnosticOptions.h"
16 #include "clang/Driver/Compilation.h"
17 #include "clang/Driver/Driver.h"
18 #include "clang/Driver/DriverDiagnostic.h"
19 #include "clang/Driver/Options.h"
20 #include "clang/Driver/ToolChain.h"
21 #include "clang/Frontend/ChainedDiagnosticConsumer.h"
22 #include "clang/Frontend/CompilerInvocation.h"
23 #include "clang/Frontend/SerializedDiagnosticPrinter.h"
24 #include "clang/Frontend/TextDiagnosticPrinter.h"
25 #include "clang/Frontend/Utils.h"
26 #include "llvm/ADT/ArrayRef.h"
27 #include "llvm/ADT/SmallString.h"
28 #include "llvm/ADT/SmallVector.h"
29 #include "llvm/Config/llvm-config.h"
30 #include "llvm/Option/ArgList.h"
31 #include "llvm/Option/OptTable.h"
32 #include "llvm/Option/Option.h"
33 #include "llvm/Support/CommandLine.h"
34 #include "llvm/Support/ErrorHandling.h"
35 #include "llvm/Support/FileSystem.h"
36 #include "llvm/Support/Host.h"
37 #include "llvm/Support/ManagedStatic.h"
38 #include "llvm/Support/Path.h"
39 #include "llvm/Support/PrettyStackTrace.h"
40 #include "llvm/Support/Process.h"
41 #include "llvm/Support/Program.h"
42 #include "llvm/Support/Regex.h"
43 #include "llvm/Support/Signals.h"
44 #include "llvm/Support/StringSaver.h"
45 #include "llvm/Support/TargetSelect.h"
46 #include "llvm/Support/Timer.h"
47 #include "llvm/Support/raw_ostream.h"
48 #include <memory>
49 #include <set>
50 #include <system_error>
51 using namespace clang;
52 using namespace clang::driver;
53 using namespace llvm::opt;
54
55 std::string GetExecutablePath(const char *Argv0, bool CanonicalPrefixes) {
56   if (!CanonicalPrefixes) {
57     SmallString<128> ExecutablePath(Argv0);
58     // Do a PATH lookup if Argv0 isn't a valid path.
59     if (!llvm::sys::fs::exists(ExecutablePath))
60       if (llvm::ErrorOr<std::string> P =
61               llvm::sys::findProgramByName(ExecutablePath))
62         ExecutablePath = *P;
63     return ExecutablePath.str();
64   }
65
66   // This just needs to be some symbol in the binary; C++ doesn't
67   // allow taking the address of ::main however.
68   void *P = (void*) (intptr_t) GetExecutablePath;
69   return llvm::sys::fs::getMainExecutable(Argv0, P);
70 }
71
72 static const char *GetStableCStr(std::set<std::string> &SavedStrings,
73                                  StringRef S) {
74   return SavedStrings.insert(S).first->c_str();
75 }
76
77 /// ApplyQAOverride - Apply a list of edits to the input argument lists.
78 ///
79 /// The input string is a space separate list of edits to perform,
80 /// they are applied in order to the input argument lists. Edits
81 /// should be one of the following forms:
82 ///
83 ///  '#': Silence information about the changes to the command line arguments.
84 ///
85 ///  '^': Add FOO as a new argument at the beginning of the command line.
86 ///
87 ///  '+': Add FOO as a new argument at the end of the command line.
88 ///
89 ///  's/XXX/YYY/': Substitute the regular expression XXX with YYY in the command
90 ///  line.
91 ///
92 ///  'xOPTION': Removes all instances of the literal argument OPTION.
93 ///
94 ///  'XOPTION': Removes all instances of the literal argument OPTION,
95 ///  and the following argument.
96 ///
97 ///  'Ox': Removes all flags matching 'O' or 'O[sz0-9]' and adds 'Ox'
98 ///  at the end of the command line.
99 ///
100 /// \param OS - The stream to write edit information to.
101 /// \param Args - The vector of command line arguments.
102 /// \param Edit - The override command to perform.
103 /// \param SavedStrings - Set to use for storing string representations.
104 static void ApplyOneQAOverride(raw_ostream &OS,
105                                SmallVectorImpl<const char*> &Args,
106                                StringRef Edit,
107                                std::set<std::string> &SavedStrings) {
108   // This does not need to be efficient.
109
110   if (Edit[0] == '^') {
111     const char *Str =
112       GetStableCStr(SavedStrings, Edit.substr(1));
113     OS << "### Adding argument " << Str << " at beginning\n";
114     Args.insert(Args.begin() + 1, Str);
115   } else if (Edit[0] == '+') {
116     const char *Str =
117       GetStableCStr(SavedStrings, Edit.substr(1));
118     OS << "### Adding argument " << Str << " at end\n";
119     Args.push_back(Str);
120   } else if (Edit[0] == 's' && Edit[1] == '/' && Edit.endswith("/") &&
121              Edit.slice(2, Edit.size()-1).find('/') != StringRef::npos) {
122     StringRef MatchPattern = Edit.substr(2).split('/').first;
123     StringRef ReplPattern = Edit.substr(2).split('/').second;
124     ReplPattern = ReplPattern.slice(0, ReplPattern.size()-1);
125
126     for (unsigned i = 1, e = Args.size(); i != e; ++i) {
127       // Ignore end-of-line response file markers
128       if (Args[i] == nullptr)
129         continue;
130       std::string Repl = llvm::Regex(MatchPattern).sub(ReplPattern, Args[i]);
131
132       if (Repl != Args[i]) {
133         OS << "### Replacing '" << Args[i] << "' with '" << Repl << "'\n";
134         Args[i] = GetStableCStr(SavedStrings, Repl);
135       }
136     }
137   } else if (Edit[0] == 'x' || Edit[0] == 'X') {
138     auto Option = Edit.substr(1);
139     for (unsigned i = 1; i < Args.size();) {
140       if (Option == Args[i]) {
141         OS << "### Deleting argument " << Args[i] << '\n';
142         Args.erase(Args.begin() + i);
143         if (Edit[0] == 'X') {
144           if (i < Args.size()) {
145             OS << "### Deleting argument " << Args[i] << '\n';
146             Args.erase(Args.begin() + i);
147           } else
148             OS << "### Invalid X edit, end of command line!\n";
149         }
150       } else
151         ++i;
152     }
153   } else if (Edit[0] == 'O') {
154     for (unsigned i = 1; i < Args.size();) {
155       const char *A = Args[i];
156       // Ignore end-of-line response file markers
157       if (A == nullptr)
158         continue;
159       if (A[0] == '-' && A[1] == 'O' &&
160           (A[2] == '\0' ||
161            (A[3] == '\0' && (A[2] == 's' || A[2] == 'z' ||
162                              ('0' <= A[2] && A[2] <= '9'))))) {
163         OS << "### Deleting argument " << Args[i] << '\n';
164         Args.erase(Args.begin() + i);
165       } else
166         ++i;
167     }
168     OS << "### Adding argument " << Edit << " at end\n";
169     Args.push_back(GetStableCStr(SavedStrings, '-' + Edit.str()));
170   } else {
171     OS << "### Unrecognized edit: " << Edit << "\n";
172   }
173 }
174
175 /// ApplyQAOverride - Apply a comma separate list of edits to the
176 /// input argument lists. See ApplyOneQAOverride.
177 static void ApplyQAOverride(SmallVectorImpl<const char*> &Args,
178                             const char *OverrideStr,
179                             std::set<std::string> &SavedStrings) {
180   raw_ostream *OS = &llvm::errs();
181
182   if (OverrideStr[0] == '#') {
183     ++OverrideStr;
184     OS = &llvm::nulls();
185   }
186
187   *OS << "### CCC_OVERRIDE_OPTIONS: " << OverrideStr << "\n";
188
189   // This does not need to be efficient.
190
191   const char *S = OverrideStr;
192   while (*S) {
193     const char *End = ::strchr(S, ' ');
194     if (!End)
195       End = S + strlen(S);
196     if (End != S)
197       ApplyOneQAOverride(*OS, Args, std::string(S, End), SavedStrings);
198     S = End;
199     if (*S != '\0')
200       ++S;
201   }
202 }
203
204 extern int cc1_main(ArrayRef<const char *> Argv, const char *Argv0,
205                     void *MainAddr);
206 extern int cc1as_main(ArrayRef<const char *> Argv, const char *Argv0,
207                       void *MainAddr);
208
209 static void insertTargetAndModeArgs(const ParsedClangName &NameParts,
210                                     SmallVectorImpl<const char *> &ArgVector,
211                                     std::set<std::string> &SavedStrings) {
212   // Put target and mode arguments at the start of argument list so that
213   // arguments specified in command line could override them. Avoid putting
214   // them at index 0, as an option like '-cc1' must remain the first.
215   int InsertionPoint = 0;
216   if (ArgVector.size() > 0)
217     ++InsertionPoint;
218
219   if (NameParts.DriverMode) {
220     // Add the mode flag to the arguments.
221     ArgVector.insert(ArgVector.begin() + InsertionPoint,
222                      GetStableCStr(SavedStrings, NameParts.DriverMode));
223   }
224
225   if (NameParts.TargetIsValid) {
226     const char *arr[] = {"-target", GetStableCStr(SavedStrings,
227                                                   NameParts.TargetPrefix)};
228     ArgVector.insert(ArgVector.begin() + InsertionPoint,
229                      std::begin(arr), std::end(arr));
230   }
231 }
232
233 static void getCLEnvVarOptions(std::string &EnvValue, llvm::StringSaver &Saver,
234                                SmallVectorImpl<const char *> &Opts) {
235   llvm::cl::TokenizeWindowsCommandLine(EnvValue, Saver, Opts);
236   // The first instance of '#' should be replaced with '=' in each option.
237   for (const char *Opt : Opts)
238     if (char *NumberSignPtr = const_cast<char *>(::strchr(Opt, '#')))
239       *NumberSignPtr = '=';
240 }
241
242 static void SetBackdoorDriverOutputsFromEnvVars(Driver &TheDriver) {
243   // Handle CC_PRINT_OPTIONS and CC_PRINT_OPTIONS_FILE.
244   TheDriver.CCPrintOptions = !!::getenv("CC_PRINT_OPTIONS");
245   if (TheDriver.CCPrintOptions)
246     TheDriver.CCPrintOptionsFilename = ::getenv("CC_PRINT_OPTIONS_FILE");
247
248   // Handle CC_PRINT_HEADERS and CC_PRINT_HEADERS_FILE.
249   TheDriver.CCPrintHeaders = !!::getenv("CC_PRINT_HEADERS");
250   if (TheDriver.CCPrintHeaders)
251     TheDriver.CCPrintHeadersFilename = ::getenv("CC_PRINT_HEADERS_FILE");
252
253   // Handle CC_LOG_DIAGNOSTICS and CC_LOG_DIAGNOSTICS_FILE.
254   TheDriver.CCLogDiagnostics = !!::getenv("CC_LOG_DIAGNOSTICS");
255   if (TheDriver.CCLogDiagnostics)
256     TheDriver.CCLogDiagnosticsFilename = ::getenv("CC_LOG_DIAGNOSTICS_FILE");
257 }
258
259 static void FixupDiagPrefixExeName(TextDiagnosticPrinter *DiagClient,
260                                    const std::string &Path) {
261   // If the clang binary happens to be named cl.exe for compatibility reasons,
262   // use clang-cl.exe as the prefix to avoid confusion between clang and MSVC.
263   StringRef ExeBasename(llvm::sys::path::filename(Path));
264   if (ExeBasename.equals_lower("cl.exe"))
265     ExeBasename = "clang-cl.exe";
266   DiagClient->setPrefix(ExeBasename);
267 }
268
269 // This lets us create the DiagnosticsEngine with a properly-filled-out
270 // DiagnosticOptions instance.
271 static DiagnosticOptions *
272 CreateAndPopulateDiagOpts(ArrayRef<const char *> argv) {
273   auto *DiagOpts = new DiagnosticOptions;
274   std::unique_ptr<OptTable> Opts(createDriverOptTable());
275   unsigned MissingArgIndex, MissingArgCount;
276   InputArgList Args =
277       Opts->ParseArgs(argv.slice(1), MissingArgIndex, MissingArgCount);
278   // We ignore MissingArgCount and the return value of ParseDiagnosticArgs.
279   // Any errors that would be diagnosed here will also be diagnosed later,
280   // when the DiagnosticsEngine actually exists.
281   (void)ParseDiagnosticArgs(*DiagOpts, Args);
282   return DiagOpts;
283 }
284
285 static void SetInstallDir(SmallVectorImpl<const char *> &argv,
286                           Driver &TheDriver, bool CanonicalPrefixes) {
287   // Attempt to find the original path used to invoke the driver, to determine
288   // the installed path. We do this manually, because we want to support that
289   // path being a symlink.
290   SmallString<128> InstalledPath(argv[0]);
291
292   // Do a PATH lookup, if there are no directory components.
293   if (llvm::sys::path::filename(InstalledPath) == InstalledPath)
294     if (llvm::ErrorOr<std::string> Tmp = llvm::sys::findProgramByName(
295             llvm::sys::path::filename(InstalledPath.str())))
296       InstalledPath = *Tmp;
297
298   // FIXME: We don't actually canonicalize this, we just make it absolute.
299   if (CanonicalPrefixes)
300     llvm::sys::fs::make_absolute(InstalledPath);
301
302   StringRef InstalledPathParent(llvm::sys::path::parent_path(InstalledPath));
303   if (llvm::sys::fs::exists(InstalledPathParent))
304     TheDriver.setInstalledDir(InstalledPathParent);
305 }
306
307 static int ExecuteCC1Tool(ArrayRef<const char *> argv, StringRef Tool) {
308   void *GetExecutablePathVP = (void *)(intptr_t) GetExecutablePath;
309   if (Tool == "")
310     return cc1_main(argv.slice(2), argv[0], GetExecutablePathVP);
311   if (Tool == "as")
312     return cc1as_main(argv.slice(2), argv[0], GetExecutablePathVP);
313
314   // Reject unknown tools.
315   llvm::errs() << "error: unknown integrated tool '" << Tool << "'\n";
316   return 1;
317 }
318
319 int main(int argc_, const char **argv_) {
320   llvm::sys::PrintStackTraceOnErrorSignal(argv_[0]);
321   llvm::PrettyStackTraceProgram X(argc_, argv_);
322   llvm::llvm_shutdown_obj Y; // Call llvm_shutdown() on exit.
323
324   if (llvm::sys::Process::FixupStandardFileDescriptors())
325     return 1;
326
327   SmallVector<const char *, 256> argv;
328   llvm::SpecificBumpPtrAllocator<char> ArgAllocator;
329   std::error_code EC = llvm::sys::Process::GetArgumentVector(
330       argv, llvm::makeArrayRef(argv_, argc_), ArgAllocator);
331   if (EC) {
332     llvm::errs() << "error: couldn't get arguments: " << EC.message() << '\n';
333     return 1;
334   }
335
336   llvm::InitializeAllTargets();
337   auto TargetAndMode = ToolChain::getTargetAndModeFromProgramName(argv[0]);
338
339   llvm::BumpPtrAllocator A;
340   llvm::StringSaver Saver(A);
341
342   // Parse response files using the GNU syntax, unless we're in CL mode. There
343   // are two ways to put clang in CL compatibility mode: argv[0] is either
344   // clang-cl or cl, or --driver-mode=cl is on the command line. The normal
345   // command line parsing can't happen until after response file parsing, so we
346   // have to manually search for a --driver-mode=cl argument the hard way.
347   // Finally, our -cc1 tools don't care which tokenization mode we use because
348   // response files written by clang will tokenize the same way in either mode.
349   bool ClangCLMode = false;
350   if (StringRef(TargetAndMode.DriverMode).equals("--driver-mode=cl") ||
351       std::find_if(argv.begin(), argv.end(), [](const char *F) {
352         return F && strcmp(F, "--driver-mode=cl") == 0;
353       }) != argv.end()) {
354     ClangCLMode = true;
355   }
356   enum { Default, POSIX, Windows } RSPQuoting = Default;
357   for (const char *F : argv) {
358     if (strcmp(F, "--rsp-quoting=posix") == 0)
359       RSPQuoting = POSIX;
360     else if (strcmp(F, "--rsp-quoting=windows") == 0)
361       RSPQuoting = Windows;
362   }
363
364   // Determines whether we want nullptr markers in argv to indicate response
365   // files end-of-lines. We only use this for the /LINK driver argument with
366   // clang-cl.exe on Windows.
367   bool MarkEOLs = ClangCLMode;
368
369   llvm::cl::TokenizerCallback Tokenizer;
370   if (RSPQuoting == Windows || (RSPQuoting == Default && ClangCLMode))
371     Tokenizer = &llvm::cl::TokenizeWindowsCommandLine;
372   else
373     Tokenizer = &llvm::cl::TokenizeGNUCommandLine;
374
375   if (MarkEOLs && argv.size() > 1 && StringRef(argv[1]).startswith("-cc1"))
376     MarkEOLs = false;
377   llvm::cl::ExpandResponseFiles(Saver, Tokenizer, argv, MarkEOLs);
378
379   // Handle -cc1 integrated tools, even if -cc1 was expanded from a response
380   // file.
381   auto FirstArg = std::find_if(argv.begin() + 1, argv.end(),
382                                [](const char *A) { return A != nullptr; });
383   if (FirstArg != argv.end() && StringRef(*FirstArg).startswith("-cc1")) {
384     // If -cc1 came from a response file, remove the EOL sentinels.
385     if (MarkEOLs) {
386       auto newEnd = std::remove(argv.begin(), argv.end(), nullptr);
387       argv.resize(newEnd - argv.begin());
388     }
389     return ExecuteCC1Tool(argv, argv[1] + 4);
390   }
391
392   bool CanonicalPrefixes = true;
393   for (int i = 1, size = argv.size(); i < size; ++i) {
394     // Skip end-of-line response file markers
395     if (argv[i] == nullptr)
396       continue;
397     if (StringRef(argv[i]) == "-no-canonical-prefixes") {
398       CanonicalPrefixes = false;
399       break;
400     }
401   }
402
403   // Handle CL and _CL_ which permits additional command line options to be
404   // prepended or appended.
405   if (ClangCLMode) {
406     // Arguments in "CL" are prepended.
407     llvm::Optional<std::string> OptCL = llvm::sys::Process::GetEnv("CL");
408     if (OptCL.hasValue()) {
409       SmallVector<const char *, 8> PrependedOpts;
410       getCLEnvVarOptions(OptCL.getValue(), Saver, PrependedOpts);
411
412       // Insert right after the program name to prepend to the argument list.
413       argv.insert(argv.begin() + 1, PrependedOpts.begin(), PrependedOpts.end());
414     }
415     // Arguments in "_CL_" are appended.
416     llvm::Optional<std::string> Opt_CL_ = llvm::sys::Process::GetEnv("_CL_");
417     if (Opt_CL_.hasValue()) {
418       SmallVector<const char *, 8> AppendedOpts;
419       getCLEnvVarOptions(Opt_CL_.getValue(), Saver, AppendedOpts);
420
421       // Insert at the end of the argument list to append.
422       argv.append(AppendedOpts.begin(), AppendedOpts.end());
423     }
424   }
425
426   std::set<std::string> SavedStrings;
427   // Handle CCC_OVERRIDE_OPTIONS, used for editing a command line behind the
428   // scenes.
429   if (const char *OverrideStr = ::getenv("CCC_OVERRIDE_OPTIONS")) {
430     // FIXME: Driver shouldn't take extra initial argument.
431     ApplyQAOverride(argv, OverrideStr, SavedStrings);
432   }
433
434   std::string Path = GetExecutablePath(argv[0], CanonicalPrefixes);
435
436   IntrusiveRefCntPtr<DiagnosticOptions> DiagOpts =
437       CreateAndPopulateDiagOpts(argv);
438
439   TextDiagnosticPrinter *DiagClient
440     = new TextDiagnosticPrinter(llvm::errs(), &*DiagOpts);
441   FixupDiagPrefixExeName(DiagClient, Path);
442
443   IntrusiveRefCntPtr<DiagnosticIDs> DiagID(new DiagnosticIDs());
444
445   DiagnosticsEngine Diags(DiagID, &*DiagOpts, DiagClient);
446
447   if (!DiagOpts->DiagnosticSerializationFile.empty()) {
448     auto SerializedConsumer =
449         clang::serialized_diags::create(DiagOpts->DiagnosticSerializationFile,
450                                         &*DiagOpts, /*MergeChildRecords=*/true);
451     Diags.setClient(new ChainedDiagnosticConsumer(
452         Diags.takeClient(), std::move(SerializedConsumer)));
453   }
454
455   ProcessWarningOptions(Diags, *DiagOpts, /*ReportDiags=*/false);
456
457   Driver TheDriver(Path, llvm::sys::getDefaultTargetTriple(), Diags);
458   SetInstallDir(argv, TheDriver, CanonicalPrefixes);
459   TheDriver.setTargetAndMode(TargetAndMode);
460
461   insertTargetAndModeArgs(TargetAndMode, argv, SavedStrings);
462
463   SetBackdoorDriverOutputsFromEnvVars(TheDriver);
464
465   std::unique_ptr<Compilation> C(TheDriver.BuildCompilation(argv));
466   int Res = 1;
467   if (C && !C->containsError()) {
468     SmallVector<std::pair<int, const Command *>, 4> FailingCommands;
469     Res = TheDriver.ExecuteCompilation(*C, FailingCommands);
470
471     // Force a crash to test the diagnostics.
472     if (TheDriver.GenReproducer) {
473       Diags.Report(diag::err_drv_force_crash)
474         << !::getenv("FORCE_CLANG_DIAGNOSTICS_CRASH");
475
476       // Pretend that every command failed.
477       FailingCommands.clear();
478       for (const auto &J : C->getJobs())
479         if (const Command *C = dyn_cast<Command>(&J))
480           FailingCommands.push_back(std::make_pair(-1, C));
481     }
482
483     for (const auto &P : FailingCommands) {
484       int CommandRes = P.first;
485       const Command *FailingCommand = P.second;
486       if (!Res)
487         Res = CommandRes;
488
489       // If result status is < 0, then the driver command signalled an error.
490       // If result status is 70, then the driver command reported a fatal error.
491       // On Windows, abort will return an exit code of 3.  In these cases,
492       // generate additional diagnostic information if possible.
493       bool DiagnoseCrash = CommandRes < 0 || CommandRes == 70;
494 #ifdef LLVM_ON_WIN32
495       DiagnoseCrash |= CommandRes == 3;
496 #endif
497       if (DiagnoseCrash) {
498         TheDriver.generateCompilationDiagnostics(*C, *FailingCommand);
499         break;
500       }
501     }
502   }
503
504   Diags.getClient()->finish();
505
506   // If any timers were active but haven't been destroyed yet, print their
507   // results now.  This happens in -disable-free mode.
508   llvm::TimerGroup::printAll(llvm::errs());
509
510 #ifdef LLVM_ON_WIN32
511   // Exit status should not be negative on Win32, unless abnormal termination.
512   // Once abnormal termiation was caught, negative status should not be
513   // propagated.
514   if (Res < 0)
515     Res = 1;
516 #endif
517
518   // If we have multiple failing commands, we return the result of the first
519   // failing command.
520   return Res;
521 }