unittests/libclang/LibclangTest.cpp

   1 //===- unittests/libclang/LibclangTest.cpp --- libclang tests -------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "clang-c/Index.h"
  11 #include "llvm/ADT/StringRef.h"
  12 #include "llvm/Support/Debug.h"
  13 #include "llvm/Support/FileSystem.h"
  14 #include "llvm/Support/Path.h"
  15 #include "llvm/Support/raw_ostream.h"
  16 #include "gtest/gtest.h"
  17 #include <fstream>
  18 #include <functional>
  19 #include <map>
  20 #include <memory>
  21 #include <set>
  22 #define DEBUG_TYPE "libclang-test"
  23
  24 TEST(libclang, clang_parseTranslationUnit2_InvalidArgs) {
  25   EXPECT_EQ(CXError_InvalidArguments,
  26             clang_parseTranslationUnit2(nullptr, nullptr, nullptr, 0, nullptr,
  27                                         0, 0, nullptr));
  28 }
  29
  30 TEST(libclang, clang_createTranslationUnit_InvalidArgs) {
  31   EXPECT_EQ(nullptr, clang_createTranslationUnit(nullptr, nullptr));
  32 }
  33
  34 TEST(libclang, clang_createTranslationUnit2_InvalidArgs) {
  35   EXPECT_EQ(CXError_InvalidArguments,
  36             clang_createTranslationUnit2(nullptr, nullptr, nullptr));
  37
  38   CXTranslationUnit TU = reinterpret_cast<CXTranslationUnit>(1);
  39   EXPECT_EQ(CXError_InvalidArguments,
  40             clang_createTranslationUnit2(nullptr, nullptr, &TU));
  41   EXPECT_EQ(nullptr, TU);
  42 }
  43
  44 namespace {
  45 struct TestVFO {
  46   const char *Contents;
  47   CXVirtualFileOverlay VFO;
  48
  49   TestVFO(const char *Contents) : Contents(Contents) {
  50     VFO = clang_VirtualFileOverlay_create(0);
  51   }
  52
  53   void map(const char *VPath, const char *RPath) {
  54     CXErrorCode Err = clang_VirtualFileOverlay_addFileMapping(VFO, VPath, RPath);
  55     EXPECT_EQ(Err, CXError_Success);
  56   }
  57
  58   void mapError(const char *VPath, const char *RPath, CXErrorCode ExpErr) {
  59     CXErrorCode Err = clang_VirtualFileOverlay_addFileMapping(VFO, VPath, RPath);
  60     EXPECT_EQ(Err, ExpErr);
  61   }
  62
  63   ~TestVFO() {
  64     if (Contents) {
  65       char *BufPtr;
  66       unsigned BufSize;
  67       clang_VirtualFileOverlay_writeToBuffer(VFO, 0, &BufPtr, &BufSize);
  68       std::string BufStr(BufPtr, BufSize);
  69       EXPECT_STREQ(Contents, BufStr.c_str());
  70       clang_free(BufPtr);
  71     }
  72     clang_VirtualFileOverlay_dispose(VFO);
  73   }
  74 };
  75 }
  76
  77 TEST(libclang, VirtualFileOverlay_Basic) {
  78   const char *contents =
  79       "{\n"
  80       "  'version': 0,\n"
  81       "  'roots': [\n"
  82       "    {\n"
  83       "      'type': 'directory',\n"
  84       "      'name': \"/path/virtual\",\n"
  85       "      'contents': [\n"
  86       "        {\n"
  87       "          'type': 'file',\n"
  88       "          'name': \"foo.h\",\n"
  89       "          'external-contents': \"/real/foo.h\"\n"
  90       "        }\n"
  91       "      ]\n"
  92       "    }\n"
  93       "  ]\n"
  94       "}\n";
  95   TestVFO T(contents);
  96   T.map("/path/virtual/foo.h", "/real/foo.h");
  97 }
  98
  99 TEST(libclang, VirtualFileOverlay_Unicode) {
 100   const char *contents =
 101       "{\n"
 102       "  'version': 0,\n"
 103       "  'roots': [\n"
 104       "    {\n"
 105       "      'type': 'directory',\n"
 106       "      'name': \"/path/\\u266B\",\n"
 107       "      'contents': [\n"
 108       "        {\n"
 109       "          'type': 'file',\n"
 110       "          'name': \"\\u2602.h\",\n"
 111       "          'external-contents': \"/real/\\u2602.h\"\n"
 112       "        }\n"
 113       "      ]\n"
 114       "    }\n"
 115       "  ]\n"
 116       "}\n";
 117   TestVFO T(contents);
 118   T.map("/path/♫/☂.h", "/real/☂.h");
 119 }
 120
 121 TEST(libclang, VirtualFileOverlay_InvalidArgs) {
 122   TestVFO T(nullptr);
 123   T.mapError("/path/./virtual/../foo.h", "/real/foo.h",
 124              CXError_InvalidArguments);
 125 }
 126
 127 TEST(libclang, VirtualFileOverlay_RemapDirectories) {
 128   const char *contents =
 129       "{\n"
 130       "  'version': 0,\n"
 131       "  'roots': [\n"
 132       "    {\n"
 133       "      'type': 'directory',\n"
 134       "      'name': \"/another/dir\",\n"
 135       "      'contents': [\n"
 136       "        {\n"
 137       "          'type': 'file',\n"
 138       "          'name': \"foo2.h\",\n"
 139       "          'external-contents': \"/real/foo2.h\"\n"
 140       "        }\n"
 141       "      ]\n"
 142       "    },\n"
 143       "    {\n"
 144       "      'type': 'directory',\n"
 145       "      'name': \"/path/virtual/dir\",\n"
 146       "      'contents': [\n"
 147       "        {\n"
 148       "          'type': 'file',\n"
 149       "          'name': \"foo1.h\",\n"
 150       "          'external-contents': \"/real/foo1.h\"\n"
 151       "        },\n"
 152       "        {\n"
 153       "          'type': 'file',\n"
 154       "          'name': \"foo3.h\",\n"
 155       "          'external-contents': \"/real/foo3.h\"\n"
 156       "        },\n"
 157       "        {\n"
 158       "          'type': 'directory',\n"
 159       "          'name': \"in/subdir\",\n"
 160       "          'contents': [\n"
 161       "            {\n"
 162       "              'type': 'file',\n"
 163       "              'name': \"foo4.h\",\n"
 164       "              'external-contents': \"/real/foo4.h\"\n"
 165       "            }\n"
 166       "          ]\n"
 167       "        }\n"
 168       "      ]\n"
 169       "    }\n"
 170       "  ]\n"
 171       "}\n";
 172   TestVFO T(contents);
 173   T.map("/path/virtual/dir/foo1.h", "/real/foo1.h");
 174   T.map("/another/dir/foo2.h", "/real/foo2.h");
 175   T.map("/path/virtual/dir/foo3.h", "/real/foo3.h");
 176   T.map("/path/virtual/dir/in/subdir/foo4.h", "/real/foo4.h");
 177 }
 178
 179 TEST(libclang, VirtualFileOverlay_CaseInsensitive) {
 180   const char *contents =
 181       "{\n"
 182       "  'version': 0,\n"
 183       "  'case-sensitive': 'false',\n"
 184       "  'roots': [\n"
 185       "    {\n"
 186       "      'type': 'directory',\n"
 187       "      'name': \"/path/virtual\",\n"
 188       "      'contents': [\n"
 189       "        {\n"
 190       "          'type': 'file',\n"
 191       "          'name': \"foo.h\",\n"
 192       "          'external-contents': \"/real/foo.h\"\n"
 193       "        }\n"
 194       "      ]\n"
 195       "    }\n"
 196       "  ]\n"
 197       "}\n";
 198   TestVFO T(contents);
 199   T.map("/path/virtual/foo.h", "/real/foo.h");
 200   clang_VirtualFileOverlay_setCaseSensitivity(T.VFO, false);
 201 }
 202
 203 TEST(libclang, VirtualFileOverlay_SharedPrefix) {
 204   const char *contents =
 205       "{\n"
 206       "  'version': 0,\n"
 207       "  'roots': [\n"
 208       "    {\n"
 209       "      'type': 'directory',\n"
 210       "      'name': \"/path/foo\",\n"
 211       "      'contents': [\n"
 212       "        {\n"
 213       "          'type': 'file',\n"
 214       "          'name': \"bar\",\n"
 215       "          'external-contents': \"/real/bar\"\n"
 216       "        },\n"
 217       "        {\n"
 218       "          'type': 'file',\n"
 219       "          'name': \"bar.h\",\n"
 220       "          'external-contents': \"/real/bar.h\"\n"
 221       "        }\n"
 222       "      ]\n"
 223       "    },\n"
 224       "    {\n"
 225       "      'type': 'directory',\n"
 226       "      'name': \"/path/foobar\",\n"
 227       "      'contents': [\n"
 228       "        {\n"
 229       "          'type': 'file',\n"
 230       "          'name': \"baz.h\",\n"
 231       "          'external-contents': \"/real/baz.h\"\n"
 232       "        }\n"
 233       "      ]\n"
 234       "    },\n"
 235       "    {\n"
 236       "      'type': 'directory',\n"
 237       "      'name': \"/path\",\n"
 238       "      'contents': [\n"
 239       "        {\n"
 240       "          'type': 'file',\n"
 241       "          'name': \"foobarbaz.h\",\n"
 242       "          'external-contents': \"/real/foobarbaz.h\"\n"
 243       "        }\n"
 244       "      ]\n"
 245       "    }\n"
 246       "  ]\n"
 247       "}\n";
 248   TestVFO T(contents);
 249   T.map("/path/foo/bar.h", "/real/bar.h");
 250   T.map("/path/foo/bar", "/real/bar");
 251   T.map("/path/foobar/baz.h", "/real/baz.h");
 252   T.map("/path/foobarbaz.h", "/real/foobarbaz.h");
 253 }
 254
 255 TEST(libclang, VirtualFileOverlay_AdjacentDirectory) {
 256   const char *contents =
 257       "{\n"
 258       "  'version': 0,\n"
 259       "  'roots': [\n"
 260       "    {\n"
 261       "      'type': 'directory',\n"
 262       "      'name': \"/path/dir1\",\n"
 263       "      'contents': [\n"
 264       "        {\n"
 265       "          'type': 'file',\n"
 266       "          'name': \"foo.h\",\n"
 267       "          'external-contents': \"/real/foo.h\"\n"
 268       "        },\n"
 269       "        {\n"
 270       "          'type': 'directory',\n"
 271       "          'name': \"subdir\",\n"
 272       "          'contents': [\n"
 273       "            {\n"
 274       "              'type': 'file',\n"
 275       "              'name': \"bar.h\",\n"
 276       "              'external-contents': \"/real/bar.h\"\n"
 277       "            }\n"
 278       "          ]\n"
 279       "        }\n"
 280       "      ]\n"
 281       "    },\n"
 282       "    {\n"
 283       "      'type': 'directory',\n"
 284       "      'name': \"/path/dir2\",\n"
 285       "      'contents': [\n"
 286       "        {\n"
 287       "          'type': 'file',\n"
 288       "          'name': \"baz.h\",\n"
 289       "          'external-contents': \"/real/baz.h\"\n"
 290       "        }\n"
 291       "      ]\n"
 292       "    }\n"
 293       "  ]\n"
 294       "}\n";
 295   TestVFO T(contents);
 296   T.map("/path/dir1/foo.h", "/real/foo.h");
 297   T.map("/path/dir1/subdir/bar.h", "/real/bar.h");
 298   T.map("/path/dir2/baz.h", "/real/baz.h");
 299 }
 300
 301 TEST(libclang, VirtualFileOverlay_TopLevel) {
 302   const char *contents =
 303       "{\n"
 304       "  'version': 0,\n"
 305       "  'roots': [\n"
 306       "    {\n"
 307       "      'type': 'directory',\n"
 308       "      'name': \"/\",\n"
 309       "      'contents': [\n"
 310       "        {\n"
 311       "          'type': 'file',\n"
 312       "          'name': \"foo.h\",\n"
 313       "          'external-contents': \"/real/foo.h\"\n"
 314       "        }\n"
 315       "      ]\n"
 316       "    }\n"
 317       "  ]\n"
 318       "}\n";
 319   TestVFO T(contents);
 320   T.map("/foo.h", "/real/foo.h");
 321 }
 322
 323 TEST(libclang, VirtualFileOverlay_Empty) {
 324   const char *contents =
 325       "{\n"
 326       "  'version': 0,\n"
 327       "  'roots': [\n"
 328       "  ]\n"
 329       "}\n";
 330   TestVFO T(contents);
 331 }
 332
 333 TEST(libclang, ModuleMapDescriptor) {
 334   const char *Contents =
 335     "framework module TestFrame {\n"
 336     "  umbrella header \"TestFrame.h\"\n"
 337     "\n"
 338     "  export *\n"
 339     "  module * { export * }\n"
 340     "}\n";
 341
 342   CXModuleMapDescriptor MMD = clang_ModuleMapDescriptor_create(0);
 343
 344   clang_ModuleMapDescriptor_setFrameworkModuleName(MMD, "TestFrame");
 345   clang_ModuleMapDescriptor_setUmbrellaHeader(MMD, "TestFrame.h");
 346
 347   char *BufPtr;
 348   unsigned BufSize;
 349   clang_ModuleMapDescriptor_writeToBuffer(MMD, 0, &BufPtr, &BufSize);
 350   std::string BufStr(BufPtr, BufSize);
 351   EXPECT_STREQ(Contents, BufStr.c_str());
 352   clang_free(BufPtr);
 353   clang_ModuleMapDescriptor_dispose(MMD);
 354 }
 355
 356 class LibclangParseTest : public ::testing::Test {
 357   std::set<std::string> Files;
 358   typedef std::unique_ptr<std::string> fixed_addr_string;
 359   std::map<fixed_addr_string, fixed_addr_string> UnsavedFileContents;
 360 public:
 361   std::string TestDir;
 362   CXIndex Index;
 363   CXTranslationUnit ClangTU;
 364   unsigned TUFlags;
 365   std::vector<CXUnsavedFile> UnsavedFiles;
 366
 367   void SetUp() override {
 368     llvm::SmallString<256> Dir;
 369     ASSERT_FALSE(llvm::sys::fs::createUniqueDirectory("libclang-test", Dir));
 370     TestDir = Dir.str();
 371     TUFlags = CXTranslationUnit_DetailedPreprocessingRecord |
 372       clang_defaultEditingTranslationUnitOptions();
 373     Index = clang_createIndex(0, 0);
 374     ClangTU = nullptr;
 375   }
 376   void TearDown() override {
 377     clang_disposeTranslationUnit(ClangTU);
 378     clang_disposeIndex(Index);
 379     for (const std::string &Path : Files)
 380       llvm::sys::fs::remove(Path);
 381     llvm::sys::fs::remove(TestDir);
 382   }
 383   void WriteFile(std::string &Filename, const std::string &Contents) {
 384     if (!llvm::sys::path::is_absolute(Filename)) {
 385       llvm::SmallString<256> Path(TestDir);
 386       llvm::sys::path::append(Path, Filename);
 387       Filename = Path.str();
 388       Files.insert(Filename);
 389     }
 390     llvm::sys::fs::create_directories(llvm::sys::path::parent_path(Filename));
 391     std::ofstream OS(Filename);
 392     OS << Contents;
 393     assert(OS.good());
 394   }
 395   void MapUnsavedFile(std::string Filename, const std::string &Contents) {
 396     if (!llvm::sys::path::is_absolute(Filename)) {
 397       llvm::SmallString<256> Path(TestDir);
 398       llvm::sys::path::append(Path, Filename);
 399       Filename = Path.str();
 400     }
 401     auto it = UnsavedFileContents.insert(std::make_pair(
 402         fixed_addr_string(new std::string(Filename)),
 403         fixed_addr_string(new std::string(Contents))));
 404     UnsavedFiles.push_back({
 405         it.first->first->c_str(),   // filename
 406         it.first->second->c_str(),  // contents
 407         it.first->second->size()    // length
 408     });
 409   }
 410   template<typename F>
 411   void Traverse(const F &TraversalFunctor) {
 412     CXCursor TuCursor = clang_getTranslationUnitCursor(ClangTU);
 413     std::reference_wrapper<const F> FunctorRef = std::cref(TraversalFunctor);
 414     clang_visitChildren(TuCursor,
 415         &TraverseStateless<std::reference_wrapper<const F>>,
 416         &FunctorRef);
 417   }
 418 private:
 419   template<typename TState>
 420   static CXChildVisitResult TraverseStateless(CXCursor cx, CXCursor parent,
 421       CXClientData data) {
 422     TState *State = static_cast<TState*>(data);
 423     return State->get()(cx, parent);
 424   }
 425 };
 426
 427 TEST_F(LibclangParseTest, AllSkippedRanges) {
 428   std::string Header = "header.h", Main = "main.cpp";
 429   WriteFile(Header,
 430     "#ifdef MANGOS\n"
 431     "printf(\"mmm\");\n"
 432     "#endif");
 433   WriteFile(Main,
 434     "#include \"header.h\"\n"
 435     "#ifdef KIWIS\n"
 436     "printf(\"mmm!!\");\n"
 437     "#endif");
 438
 439   ClangTU = clang_parseTranslationUnit(Index, Main.c_str(), nullptr, 0,
 440                                        nullptr, 0, TUFlags);
 441
 442   CXSourceRangeList *Ranges = clang_getAllSkippedRanges(ClangTU);
 443   EXPECT_EQ(2U, Ranges->count);
 444
 445   CXSourceLocation cxl;
 446   unsigned line;
 447   cxl = clang_getRangeStart(Ranges->ranges[0]);
 448   clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 449   EXPECT_EQ(1U, line);
 450   cxl = clang_getRangeEnd(Ranges->ranges[0]);
 451   clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 452   EXPECT_EQ(3U, line);
 453
 454   cxl = clang_getRangeStart(Ranges->ranges[1]);
 455   clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 456   EXPECT_EQ(2U, line);
 457   cxl = clang_getRangeEnd(Ranges->ranges[1]);
 458   clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 459   EXPECT_EQ(4U, line);
 460
 461   clang_disposeSourceRangeList(Ranges);
 462 }
 463
 464 class LibclangReparseTest : public LibclangParseTest {
 465 public:
 466   void DisplayDiagnostics() {
 467     unsigned NumDiagnostics = clang_getNumDiagnostics(ClangTU);
 468     for (unsigned i = 0; i < NumDiagnostics; ++i) {
 469       auto Diag = clang_getDiagnostic(ClangTU, i);
 470       LLVM_DEBUG(llvm::dbgs()
 471                  << clang_getCString(clang_formatDiagnostic(
 472                         Diag, clang_defaultDiagnosticDisplayOptions()))
 473                  << "\n");
 474       clang_disposeDiagnostic(Diag);
 475     }
 476   }
 477   bool ReparseTU(unsigned num_unsaved_files, CXUnsavedFile* unsaved_files) {
 478     if (clang_reparseTranslationUnit(ClangTU, num_unsaved_files, unsaved_files,
 479                                      clang_defaultReparseOptions(ClangTU))) {
 480       LLVM_DEBUG(llvm::dbgs() << "Reparse failed\n");
 481       return false;
 482     }
 483     DisplayDiagnostics();
 484     return true;
 485   }
 486 };
 487
 488 TEST_F(LibclangReparseTest, FileName) {
 489   std::string CppName = "main.cpp";
 490   WriteFile(CppName, "int main() {}");
 491   ClangTU = clang_parseTranslationUnit(Index, CppName.c_str(), nullptr, 0,
 492                                        nullptr, 0, TUFlags);
 493   CXFile cxf = clang_getFile(ClangTU, CppName.c_str());
 494
 495   CXString cxname = clang_getFileName(cxf);
 496   ASSERT_STREQ(clang_getCString(cxname), CppName.c_str());
 497   clang_disposeString(cxname);
 498
 499   cxname = clang_File_tryGetRealPathName(cxf);
 500   ASSERT_TRUE(llvm::StringRef(clang_getCString(cxname)).endswith("main.cpp"));
 501   clang_disposeString(cxname);
 502 }
 503
 504 TEST_F(LibclangReparseTest, Reparse) {
 505   const char *HeaderTop = "#ifndef H\n#define H\nstruct Foo { int bar;";
 506   const char *HeaderBottom = "\n};\n#endif\n";
 507   const char *CppFile = "#include \"HeaderFile.h\"\nint main() {"
 508                          " Foo foo; foo.bar = 7; foo.baz = 8; }\n";
 509   std::string HeaderName = "HeaderFile.h";
 510   std::string CppName = "CppFile.cpp";
 511   WriteFile(CppName, CppFile);
 512   WriteFile(HeaderName, std::string(HeaderTop) + HeaderBottom);
 513
 514   ClangTU = clang_parseTranslationUnit(Index, CppName.c_str(), nullptr, 0,
 515                                        nullptr, 0, TUFlags);
 516   EXPECT_EQ(1U, clang_getNumDiagnostics(ClangTU));
 517   DisplayDiagnostics();
 518
 519   // Immedaitely reparse.
 520   ASSERT_TRUE(ReparseTU(0, nullptr /* No unsaved files. */));
 521   EXPECT_EQ(1U, clang_getNumDiagnostics(ClangTU));
 522
 523   std::string NewHeaderContents =
 524       std::string(HeaderTop) + "int baz;" + HeaderBottom;
 525   WriteFile(HeaderName, NewHeaderContents);
 526
 527   // Reparse after fix.
 528   ASSERT_TRUE(ReparseTU(0, nullptr /* No unsaved files. */));
 529   EXPECT_EQ(0U, clang_getNumDiagnostics(ClangTU));
 530 }
 531
 532 TEST_F(LibclangReparseTest, ReparseWithModule) {
 533   const char *HeaderTop = "#ifndef H\n#define H\nstruct Foo { int bar;";
 534   const char *HeaderBottom = "\n};\n#endif\n";
 535   const char *MFile = "#include \"HeaderFile.h\"\nint main() {"
 536                          " struct Foo foo; foo.bar = 7; foo.baz = 8; }\n";
 537   const char *ModFile = "module A { header \"HeaderFile.h\" }\n";
 538   std::string HeaderName = "HeaderFile.h";
 539   std::string MName = "MFile.m";
 540   std::string ModName = "module.modulemap";
 541   WriteFile(MName, MFile);
 542   WriteFile(HeaderName, std::string(HeaderTop) + HeaderBottom);
 543   WriteFile(ModName, ModFile);
 544
 545   std::string ModulesCache = std::string("-fmodules-cache-path=") + TestDir;
 546   const char *Args[] = { "-fmodules", ModulesCache.c_str(),
 547                          "-I", TestDir.c_str() };
 548   int NumArgs = sizeof(Args) / sizeof(Args[0]);
 549   ClangTU = clang_parseTranslationUnit(Index, MName.c_str(), Args, NumArgs,
 550                                        nullptr, 0, TUFlags);
 551   EXPECT_EQ(1U, clang_getNumDiagnostics(ClangTU));
 552   DisplayDiagnostics();
 553
 554   // Immedaitely reparse.
 555   ASSERT_TRUE(ReparseTU(0, nullptr /* No unsaved files. */));
 556   EXPECT_EQ(1U, clang_getNumDiagnostics(ClangTU));
 557
 558   std::string NewHeaderContents =
 559       std::string(HeaderTop) + "int baz;" + HeaderBottom;
 560   WriteFile(HeaderName, NewHeaderContents);
 561
 562   // Reparse after fix.
 563   ASSERT_TRUE(ReparseTU(0, nullptr /* No unsaved files. */));
 564   EXPECT_EQ(0U, clang_getNumDiagnostics(ClangTU));
 565 }
 566
 567 TEST_F(LibclangReparseTest, clang_parseTranslationUnit2FullArgv) {
 568   // Provide a fake GCC 99.9.9 standard library that always overrides any local
 569   // GCC installation.
 570   std::string EmptyFiles[] = {"lib/gcc/arm-linux-gnueabi/99.9.9/crtbegin.o",
 571                               "include/arm-linux-gnueabi/.keep",
 572                               "include/c++/99.9.9/vector"};
 573
 574   for (auto &Name : EmptyFiles)
 575     WriteFile(Name, "\n");
 576
 577   std::string Filename = "test.cc";
 578   WriteFile(Filename, "#include <vector>\n");
 579
 580   std::string Clang = "bin/clang";
 581   WriteFile(Clang, "");
 582
 583   const char *Argv[] = {Clang.c_str(), "-target", "arm-linux-gnueabi",
 584                         "-stdlib=libstdc++", "--gcc-toolchain="};
 585
 586   EXPECT_EQ(CXError_Success,
 587             clang_parseTranslationUnit2FullArgv(Index, Filename.c_str(), Argv,
 588                                                 sizeof(Argv) / sizeof(Argv[0]),
 589                                                 nullptr, 0, TUFlags, &ClangTU));
 590   EXPECT_EQ(0U, clang_getNumDiagnostics(ClangTU));
 591   DisplayDiagnostics();
 592 }
 593
 594 class LibclangPrintingPolicyTest : public LibclangParseTest {
 595 public:
 596   CXPrintingPolicy Policy = nullptr;
 597
 598   void SetUp() override {
 599     LibclangParseTest::SetUp();
 600     std::string File = "file.cpp";
 601     WriteFile(File, "int i;\n");
 602     ClangTU = clang_parseTranslationUnit(Index, File.c_str(), nullptr, 0,
 603                                          nullptr, 0, TUFlags);
 604     CXCursor TUCursor = clang_getTranslationUnitCursor(ClangTU);
 605     Policy = clang_getCursorPrintingPolicy(TUCursor);
 606   }
 607   void TearDown() override {
 608     clang_PrintingPolicy_dispose(Policy);
 609     LibclangParseTest::TearDown();
 610   }
 611 };
 612
 613 TEST_F(LibclangPrintingPolicyTest, SetAndGetProperties) {
 614   for (unsigned Value = 0; Value < 2; ++Value) {
 615     for (int I = 0; I < CXPrintingPolicy_LastProperty; ++I) {
 616       auto Property = static_cast<enum CXPrintingPolicyProperty>(I);
 617
 618       clang_PrintingPolicy_setProperty(Policy, Property, Value);
 619       EXPECT_EQ(Value, clang_PrintingPolicy_getProperty(Policy, Property));
 620     }
 621   }
 622 }
 623
 624 TEST_F(LibclangReparseTest, PreprocessorSkippedRanges) {
 625   std::string Header = "header.h", Main = "main.cpp";
 626   WriteFile(Header,
 627     "#ifdef MANGOS\n"
 628     "printf(\"mmm\");\n"
 629     "#endif");
 630   WriteFile(Main,
 631     "#include \"header.h\"\n"
 632     "#ifdef GUAVA\n"
 633     "#endif\n"
 634     "#ifdef KIWIS\n"
 635     "printf(\"mmm!!\");\n"
 636     "#endif");
 637
 638   for (int i = 0; i != 3; ++i) {
 639     unsigned flags = TUFlags | CXTranslationUnit_PrecompiledPreamble;
 640     if (i == 2)
 641       flags |= CXTranslationUnit_CreatePreambleOnFirstParse;
 642
 643     if (i != 0)
 644        clang_disposeTranslationUnit(ClangTU);  // dispose from previous iter
 645
 646     // parse once
 647     ClangTU = clang_parseTranslationUnit(Index, Main.c_str(), nullptr, 0,
 648                                          nullptr, 0, flags);
 649     if (i != 0) {
 650       // reparse
 651       ASSERT_TRUE(ReparseTU(0, nullptr /* No unsaved files. */));
 652     }
 653
 654     // Check all ranges are there
 655     CXSourceRangeList *Ranges = clang_getAllSkippedRanges(ClangTU);
 656     EXPECT_EQ(3U, Ranges->count);
 657
 658     CXSourceLocation cxl;
 659     unsigned line;
 660     cxl = clang_getRangeStart(Ranges->ranges[0]);
 661     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 662     EXPECT_EQ(1U, line);
 663     cxl = clang_getRangeEnd(Ranges->ranges[0]);
 664     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 665     EXPECT_EQ(3U, line);
 666
 667     cxl = clang_getRangeStart(Ranges->ranges[1]);
 668     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 669     EXPECT_EQ(2U, line);
 670     cxl = clang_getRangeEnd(Ranges->ranges[1]);
 671     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 672     EXPECT_EQ(3U, line);
 673
 674     cxl = clang_getRangeStart(Ranges->ranges[2]);
 675     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 676     EXPECT_EQ(4U, line);
 677     cxl = clang_getRangeEnd(Ranges->ranges[2]);
 678     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 679     EXPECT_EQ(6U, line);
 680
 681     clang_disposeSourceRangeList(Ranges);
 682
 683     // Check obtaining ranges by each file works
 684     CXFile cxf = clang_getFile(ClangTU, Header.c_str());
 685     Ranges = clang_getSkippedRanges(ClangTU, cxf);
 686     EXPECT_EQ(1U, Ranges->count);
 687     cxl = clang_getRangeStart(Ranges->ranges[0]);
 688     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 689     EXPECT_EQ(1U, line);
 690     clang_disposeSourceRangeList(Ranges);
 691
 692     cxf = clang_getFile(ClangTU, Main.c_str());
 693     Ranges = clang_getSkippedRanges(ClangTU, cxf);
 694     EXPECT_EQ(2U, Ranges->count);
 695     cxl = clang_getRangeStart(Ranges->ranges[0]);
 696     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 697     EXPECT_EQ(2U, line);
 698     cxl = clang_getRangeStart(Ranges->ranges[1]);
 699     clang_getSpellingLocation(cxl, nullptr, &line, nullptr, nullptr);
 700     EXPECT_EQ(4U, line);
 701     clang_disposeSourceRangeList(Ranges);
 702   }
 703 }
 704
 705 class LibclangSerializationTest : public LibclangParseTest {
 706 public:
 707   bool SaveAndLoadTU(const std::string &Filename) {
 708     unsigned options = clang_defaultSaveOptions(ClangTU);
 709     if (clang_saveTranslationUnit(ClangTU, Filename.c_str(), options) !=
 710         CXSaveError_None) {
 711       LLVM_DEBUG(llvm::dbgs() << "Saving failed\n");
 712       return false;
 713     }
 714
 715     clang_disposeTranslationUnit(ClangTU);
 716
 717     ClangTU = clang_createTranslationUnit(Index, Filename.c_str());
 718
 719     if (!ClangTU) {
 720       LLVM_DEBUG(llvm::dbgs() << "Loading failed\n");
 721       return false;
 722     }
 723
 724     return true;
 725   }
 726 };
 727
 728 TEST_F(LibclangSerializationTest, TokenKindsAreCorrectAfterLoading) {
 729   // Ensure that "class" is recognized as a keyword token after serializing
 730   // and reloading the AST, as it is not a keyword for the default LangOptions.
 731   std::string HeaderName = "test.h";
 732   WriteFile(HeaderName, "enum class Something {};");
 733
 734   const char *Argv[] = {"-xc++-header", "-std=c++11"};
 735
 736   ClangTU = clang_parseTranslationUnit(Index, HeaderName.c_str(), Argv,
 737                                        sizeof(Argv) / sizeof(Argv[0]), nullptr,
 738                                        0, TUFlags);
 739
 740   auto CheckTokenKinds = [=]() {
 741     CXSourceRange Range =
 742         clang_getCursorExtent(clang_getTranslationUnitCursor(ClangTU));
 743
 744     CXToken *Tokens;
 745     unsigned int NumTokens;
 746     clang_tokenize(ClangTU, Range, &Tokens, &NumTokens);
 747
 748     ASSERT_EQ(6u, NumTokens);
 749     EXPECT_EQ(CXToken_Keyword, clang_getTokenKind(Tokens[0]));
 750     EXPECT_EQ(CXToken_Keyword, clang_getTokenKind(Tokens[1]));
 751     EXPECT_EQ(CXToken_Identifier, clang_getTokenKind(Tokens[2]));
 752     EXPECT_EQ(CXToken_Punctuation, clang_getTokenKind(Tokens[3]));
 753     EXPECT_EQ(CXToken_Punctuation, clang_getTokenKind(Tokens[4]));
 754     EXPECT_EQ(CXToken_Punctuation, clang_getTokenKind(Tokens[5]));
 755
 756     clang_disposeTokens(ClangTU, Tokens, NumTokens);
 757   };
 758
 759   CheckTokenKinds();
 760
 761   std::string ASTName = "test.ast";
 762   WriteFile(ASTName, "");
 763
 764   ASSERT_TRUE(SaveAndLoadTU(ASTName));
 765
 766   CheckTokenKinds();
 767 }