contrib/llvm/tools/clang/lib/Tooling/CompilationDatabase.cpp

   1 //===--- CompilationDatabase.cpp - ----------------------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 //  This file contains implementations of the CompilationDatabase base class
  11 //  and the FixedCompilationDatabase.
  12 //
  13 //===----------------------------------------------------------------------===//
  14
  15 #include "clang/Tooling/CompilationDatabase.h"
  16 #include "clang/Basic/Diagnostic.h"
  17 #include "clang/Basic/DiagnosticOptions.h"
  18 #include "clang/Driver/Action.h"
  19 #include "clang/Driver/Compilation.h"
  20 #include "clang/Driver/Driver.h"
  21 #include "clang/Driver/DriverDiagnostic.h"
  22 #include "clang/Driver/Job.h"
  23 #include "clang/Frontend/TextDiagnosticPrinter.h"
  24 #include "clang/Tooling/CompilationDatabasePluginRegistry.h"
  25 #include "clang/Tooling/Tooling.h"
  26 #include "llvm/ADT/SmallString.h"
  27 #include "llvm/Option/Arg.h"
  28 #include "llvm/Support/Host.h"
  29 #include "llvm/Support/Path.h"
  30 #include <sstream>
  31 #include <system_error>
  32 using namespace clang;
  33 using namespace tooling;
  34
  35 CompilationDatabase::~CompilationDatabase() {}
  36
  37 std::unique_ptr<CompilationDatabase>
  38 CompilationDatabase::loadFromDirectory(StringRef BuildDirectory,
  39                                        std::string &ErrorMessage) {
  40   std::stringstream ErrorStream;
  41   for (CompilationDatabasePluginRegistry::iterator
  42        It = CompilationDatabasePluginRegistry::begin(),
  43        Ie = CompilationDatabasePluginRegistry::end();
  44        It != Ie; ++It) {
  45     std::string DatabaseErrorMessage;
  46     std::unique_ptr<CompilationDatabasePlugin> Plugin(It->instantiate());
  47     if (std::unique_ptr<CompilationDatabase> DB =
  48             Plugin->loadFromDirectory(BuildDirectory, DatabaseErrorMessage))
  49       return DB;
  50     ErrorStream << It->getName() << ": " << DatabaseErrorMessage << "\n";
  51   }
  52   ErrorMessage = ErrorStream.str();
  53   return nullptr;
  54 }
  55
  56 static std::unique_ptr<CompilationDatabase>
  57 findCompilationDatabaseFromDirectory(StringRef Directory,
  58                                      std::string &ErrorMessage) {
  59   std::stringstream ErrorStream;
  60   bool HasErrorMessage = false;
  61   while (!Directory.empty()) {
  62     std::string LoadErrorMessage;
  63
  64     if (std::unique_ptr<CompilationDatabase> DB =
  65             CompilationDatabase::loadFromDirectory(Directory, LoadErrorMessage))
  66       return DB;
  67
  68     if (!HasErrorMessage) {
  69       ErrorStream << "No compilation database found in " << Directory.str()
  70                   << " or any parent directory\n" << LoadErrorMessage;
  71       HasErrorMessage = true;
  72     }
  73
  74     Directory = llvm::sys::path::parent_path(Directory);
  75   }
  76   ErrorMessage = ErrorStream.str();
  77   return nullptr;
  78 }
  79
  80 std::unique_ptr<CompilationDatabase>
  81 CompilationDatabase::autoDetectFromSource(StringRef SourceFile,
  82                                           std::string &ErrorMessage) {
  83   SmallString<1024> AbsolutePath(getAbsolutePath(SourceFile));
  84   StringRef Directory = llvm::sys::path::parent_path(AbsolutePath);
  85
  86   std::unique_ptr<CompilationDatabase> DB =
  87       findCompilationDatabaseFromDirectory(Directory, ErrorMessage);
  88
  89   if (!DB)
  90     ErrorMessage = ("Could not auto-detect compilation database for file \"" +
  91                    SourceFile + "\"\n" + ErrorMessage).str();
  92   return DB;
  93 }
  94
  95 std::unique_ptr<CompilationDatabase>
  96 CompilationDatabase::autoDetectFromDirectory(StringRef SourceDir,
  97                                              std::string &ErrorMessage) {
  98   SmallString<1024> AbsolutePath(getAbsolutePath(SourceDir));
  99
 100   std::unique_ptr<CompilationDatabase> DB =
 101       findCompilationDatabaseFromDirectory(AbsolutePath, ErrorMessage);
 102
 103   if (!DB)
 104     ErrorMessage = ("Could not auto-detect compilation database from directory \"" +
 105                    SourceDir + "\"\n" + ErrorMessage).str();
 106   return DB;
 107 }
 108
 109 CompilationDatabasePlugin::~CompilationDatabasePlugin() {}
 110
 111 namespace {
 112 // Helper for recursively searching through a chain of actions and collecting
 113 // all inputs, direct and indirect, of compile jobs.
 114 struct CompileJobAnalyzer {
 115   void run(const driver::Action *A) {
 116     runImpl(A, false);
 117   }
 118
 119   SmallVector<std::string, 2> Inputs;
 120
 121 private:
 122
 123   void runImpl(const driver::Action *A, bool Collect) {
 124     bool CollectChildren = Collect;
 125     switch (A->getKind()) {
 126     case driver::Action::CompileJobClass:
 127       CollectChildren = true;
 128       break;
 129
 130     case driver::Action::InputClass: {
 131       if (Collect) {
 132         const driver::InputAction *IA = cast<driver::InputAction>(A);
 133         Inputs.push_back(IA->getInputArg().getSpelling());
 134       }
 135     } break;
 136
 137     default:
 138       // Don't care about others
 139       ;
 140     }
 141
 142     for (driver::ActionList::const_iterator I = A->begin(), E = A->end();
 143          I != E; ++I)
 144       runImpl(*I, CollectChildren);
 145   }
 146 };
 147
 148 // Special DiagnosticConsumer that looks for warn_drv_input_file_unused
 149 // diagnostics from the driver and collects the option strings for those unused
 150 // options.
 151 class UnusedInputDiagConsumer : public DiagnosticConsumer {
 152 public:
 153   UnusedInputDiagConsumer() : Other(nullptr) {}
 154
 155   // Useful for debugging, chain diagnostics to another consumer after
 156   // recording for our own purposes.
 157   UnusedInputDiagConsumer(DiagnosticConsumer *Other) : Other(Other) {}
 158
 159   void HandleDiagnostic(DiagnosticsEngine::Level DiagLevel,
 160                         const Diagnostic &Info) override {
 161     if (Info.getID() == clang::diag::warn_drv_input_file_unused) {
 162       // Arg 1 for this diagnostic is the option that didn't get used.
 163       UnusedInputs.push_back(Info.getArgStdStr(0));
 164     }
 165     if (Other)
 166       Other->HandleDiagnostic(DiagLevel, Info);
 167   }
 168
 169   DiagnosticConsumer *Other;
 170   SmallVector<std::string, 2> UnusedInputs;
 171 };
 172
 173 // Unary functor for asking "Given a StringRef S1, does there exist a string
 174 // S2 in Arr where S1 == S2?"
 175 struct MatchesAny {
 176   MatchesAny(ArrayRef<std::string> Arr) : Arr(Arr) {}
 177   bool operator() (StringRef S) {
 178     for (const std::string *I = Arr.begin(), *E = Arr.end(); I != E; ++I)
 179       if (*I == S)
 180         return true;
 181     return false;
 182   }
 183 private:
 184   ArrayRef<std::string> Arr;
 185 };
 186 } // namespace
 187
 188 /// \brief Strips any positional args and possible argv[0] from a command-line
 189 /// provided by the user to construct a FixedCompilationDatabase.
 190 ///
 191 /// FixedCompilationDatabase requires a command line to be in this format as it
 192 /// constructs the command line for each file by appending the name of the file
 193 /// to be compiled. FixedCompilationDatabase also adds its own argv[0] to the
 194 /// start of the command line although its value is not important as it's just
 195 /// ignored by the Driver invoked by the ClangTool using the
 196 /// FixedCompilationDatabase.
 197 ///
 198 /// FIXME: This functionality should probably be made available by
 199 /// clang::driver::Driver although what the interface should look like is not
 200 /// clear.
 201 ///
 202 /// \param[in] Args Args as provided by the user.
 203 /// \return Resulting stripped command line.
 204 ///          \li true if successful.
 205 ///          \li false if \c Args cannot be used for compilation jobs (e.g.
 206 ///          contains an option like -E or -version).
 207 static bool stripPositionalArgs(std::vector<const char *> Args,
 208                                 std::vector<std::string> &Result) {
 209   IntrusiveRefCntPtr<DiagnosticOptions> DiagOpts = new DiagnosticOptions();
 210   UnusedInputDiagConsumer DiagClient;
 211   DiagnosticsEngine Diagnostics(
 212       IntrusiveRefCntPtr<clang::DiagnosticIDs>(new DiagnosticIDs()),
 213       &*DiagOpts, &DiagClient, false);
 214
 215   // The clang executable path isn't required since the jobs the driver builds
 216   // will not be executed.
 217   std::unique_ptr<driver::Driver> NewDriver(new driver::Driver(
 218       /* ClangExecutable= */ "", llvm::sys::getDefaultTargetTriple(),
 219       Diagnostics));
 220   NewDriver->setCheckInputsExist(false);
 221
 222   // This becomes the new argv[0]. The value is actually not important as it
 223   // isn't used for invoking Tools.
 224   Args.insert(Args.begin(), "clang-tool");
 225
 226   // By adding -c, we force the driver to treat compilation as the last phase.
 227   // It will then issue warnings via Diagnostics about un-used options that
 228   // would have been used for linking. If the user provided a compiler name as
 229   // the original argv[0], this will be treated as a linker input thanks to
 230   // insertng a new argv[0] above. All un-used options get collected by
 231   // UnusedInputdiagConsumer and get stripped out later.
 232   Args.push_back("-c");
 233
 234   // Put a dummy C++ file on to ensure there's at least one compile job for the
 235   // driver to construct. If the user specified some other argument that
 236   // prevents compilation, e.g. -E or something like -version, we may still end
 237   // up with no jobs but then this is the user's fault.
 238   Args.push_back("placeholder.cpp");
 239
 240   // Remove -no-integrated-as; it's not used for syntax checking,
 241   // and it confuses targets which don't support this option.
 242   Args.erase(std::remove_if(Args.begin(), Args.end(),
 243                             MatchesAny(std::string("-no-integrated-as"))),
 244              Args.end());
 245
 246   const std::unique_ptr<driver::Compilation> Compilation(
 247       NewDriver->BuildCompilation(Args));
 248
 249   const driver::JobList &Jobs = Compilation->getJobs();
 250
 251   CompileJobAnalyzer CompileAnalyzer;
 252
 253   for (const auto &Cmd : Jobs) {
 254     // Collect only for Assemble jobs. If we do all jobs we get duplicates
 255     // since Link jobs point to Assemble jobs as inputs.
 256     if (Cmd.getSource().getKind() == driver::Action::AssembleJobClass)
 257       CompileAnalyzer.run(&Cmd.getSource());
 258   }
 259
 260   if (CompileAnalyzer.Inputs.empty()) {
 261     // No compile jobs found.
 262     // FIXME: Emit a warning of some kind?
 263     return false;
 264   }
 265
 266   // Remove all compilation input files from the command line. This is
 267   // necessary so that getCompileCommands() can construct a command line for
 268   // each file.
 269   std::vector<const char *>::iterator End = std::remove_if(
 270       Args.begin(), Args.end(), MatchesAny(CompileAnalyzer.Inputs));
 271
 272   // Remove all inputs deemed unused for compilation.
 273   End = std::remove_if(Args.begin(), End, MatchesAny(DiagClient.UnusedInputs));
 274
 275   // Remove the -c add above as well. It will be at the end right now.
 276   assert(strcmp(*(End - 1), "-c") == 0);
 277   --End;
 278
 279   Result = std::vector<std::string>(Args.begin() + 1, End);
 280   return true;
 281 }
 282
 283 FixedCompilationDatabase *FixedCompilationDatabase::loadFromCommandLine(
 284     int &Argc, const char *const *Argv, Twine Directory) {
 285   const char *const *DoubleDash = std::find(Argv, Argv + Argc, StringRef("--"));
 286   if (DoubleDash == Argv + Argc)
 287     return nullptr;
 288   std::vector<const char *> CommandLine(DoubleDash + 1, Argv + Argc);
 289   Argc = DoubleDash - Argv;
 290
 291   std::vector<std::string> StrippedArgs;
 292   if (!stripPositionalArgs(CommandLine, StrippedArgs))
 293     return nullptr;
 294   return new FixedCompilationDatabase(Directory, StrippedArgs);
 295 }
 296
 297 FixedCompilationDatabase::
 298 FixedCompilationDatabase(Twine Directory, ArrayRef<std::string> CommandLine) {
 299   std::vector<std::string> ToolCommandLine(1, "clang-tool");
 300   ToolCommandLine.insert(ToolCommandLine.end(),
 301                          CommandLine.begin(), CommandLine.end());
 302   CompileCommands.emplace_back(Directory, StringRef(),
 303                                std::move(ToolCommandLine));
 304 }
 305
 306 std::vector<CompileCommand>
 307 FixedCompilationDatabase::getCompileCommands(StringRef FilePath) const {
 308   std::vector<CompileCommand> Result(CompileCommands);
 309   Result[0].CommandLine.push_back(FilePath);
 310   Result[0].Filename = FilePath;
 311   return Result;
 312 }
 313
 314 std::vector<std::string>
 315 FixedCompilationDatabase::getAllFiles() const {
 316   return std::vector<std::string>();
 317 }
 318
 319 std::vector<CompileCommand>
 320 FixedCompilationDatabase::getAllCompileCommands() const {
 321   return std::vector<CompileCommand>();
 322 }
 323
 324 namespace clang {
 325 namespace tooling {
 326
 327 // This anchor is used to force the linker to link in the generated object file
 328 // and thus register the JSONCompilationDatabasePlugin.
 329 extern volatile int JSONAnchorSource;
 330 static int LLVM_ATTRIBUTE_UNUSED JSONAnchorDest = JSONAnchorSource;
 331
 332 } // end namespace tooling
 333 } // end namespace clang