contrib/llvm/tools/clang/lib/Basic/FileManager.cpp

   1 //===--- FileManager.cpp - File System Probing and Caching ----------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 //  This file implements the FileManager interface.
  11 //
  12 //===----------------------------------------------------------------------===//
  13 //
  14 // TODO: This should index all interesting directories with dirent calls.
  15 //  getdirentries ?
  16 //  opendir/readdir_r/closedir ?
  17 //
  18 //===----------------------------------------------------------------------===//
  19
  20 #include "clang/Basic/FileManager.h"
  21 #include "clang/Basic/FileSystemStatCache.h"
  22 #include "llvm/ADT/SmallString.h"
  23 #include "llvm/ADT/StringExtras.h"
  24 #include "llvm/Support/FileSystem.h"
  25 #include "llvm/Support/MemoryBuffer.h"
  26 #include "llvm/Support/raw_ostream.h"
  27 #include "llvm/Support/Path.h"
  28 #include "llvm/Support/system_error.h"
  29 #include "llvm/Config/config.h"
  30 #include <map>
  31 #include <set>
  32 #include <string>
  33
  34 // FIXME: This is terrible, we need this for ::close.
  35 #if !defined(_MSC_VER) && !defined(__MINGW32__)
  36 #include <unistd.h>
  37 #include <sys/uio.h>
  38 #else
  39 #include <io.h>
  40 #endif
  41 using namespace clang;
  42
  43 // FIXME: Enhance libsystem to support inode and other fields.
  44 #include <sys/stat.h>
  45
  46 /// NON_EXISTENT_DIR - A special value distinct from null that is used to
  47 /// represent a dir name that doesn't exist on the disk.
  48 #define NON_EXISTENT_DIR reinterpret_cast<DirectoryEntry*>((intptr_t)-1)
  49
  50 /// NON_EXISTENT_FILE - A special value distinct from null that is used to
  51 /// represent a filename that doesn't exist on the disk.
  52 #define NON_EXISTENT_FILE reinterpret_cast<FileEntry*>((intptr_t)-1)
  53
  54
  55 FileEntry::~FileEntry() {
  56   // If this FileEntry owns an open file descriptor that never got used, close
  57   // it.
  58   if (FD != -1) ::close(FD);
  59 }
  60
  61 //===----------------------------------------------------------------------===//
  62 // Windows.
  63 //===----------------------------------------------------------------------===//
  64
  65 #ifdef LLVM_ON_WIN32
  66
  67 namespace {
  68   static std::string GetFullPath(const char *relPath) {
  69     char *absPathStrPtr = _fullpath(NULL, relPath, 0);
  70     assert(absPathStrPtr && "_fullpath() returned NULL!");
  71
  72     std::string absPath(absPathStrPtr);
  73
  74     free(absPathStrPtr);
  75     return absPath;
  76   }
  77 }
  78
  79 class FileManager::UniqueDirContainer {
  80   /// UniqueDirs - Cache from full path to existing directories/files.
  81   ///
  82   llvm::StringMap<DirectoryEntry> UniqueDirs;
  83
  84 public:
  85   /// getDirectory - Return an existing DirectoryEntry with the given
  86   /// name if there is already one; otherwise create and return a
  87   /// default-constructed DirectoryEntry.
  88   DirectoryEntry &getDirectory(const char *Name,
  89                                const struct stat & /*StatBuf*/) {
  90     std::string FullPath(GetFullPath(Name));
  91     return UniqueDirs.GetOrCreateValue(FullPath).getValue();
  92   }
  93
  94   size_t size() const { return UniqueDirs.size(); }
  95 };
  96
  97 class FileManager::UniqueFileContainer {
  98   /// UniqueFiles - Cache from full path to existing directories/files.
  99   ///
 100   llvm::StringMap<FileEntry, llvm::BumpPtrAllocator> UniqueFiles;
 101
 102 public:
 103   /// getFile - Return an existing FileEntry with the given name if
 104   /// there is already one; otherwise create and return a
 105   /// default-constructed FileEntry.
 106   FileEntry &getFile(const char *Name, const struct stat & /*StatBuf*/) {
 107     std::string FullPath(GetFullPath(Name));
 108
 109     // LowercaseString because Windows filesystem is case insensitive.
 110     FullPath = llvm::LowercaseString(FullPath);
 111     return UniqueFiles.GetOrCreateValue(FullPath).getValue();
 112   }
 113
 114   size_t size() const { return UniqueFiles.size(); }
 115 };
 116
 117 //===----------------------------------------------------------------------===//
 118 // Unix-like Systems.
 119 //===----------------------------------------------------------------------===//
 120
 121 #else
 122
 123 class FileManager::UniqueDirContainer {
 124   /// UniqueDirs - Cache from ID's to existing directories/files.
 125   std::map<std::pair<dev_t, ino_t>, DirectoryEntry> UniqueDirs;
 126
 127 public:
 128   /// getDirectory - Return an existing DirectoryEntry with the given
 129   /// ID's if there is already one; otherwise create and return a
 130   /// default-constructed DirectoryEntry.
 131   DirectoryEntry &getDirectory(const char * /*Name*/,
 132                                const struct stat &StatBuf) {
 133     return UniqueDirs[std::make_pair(StatBuf.st_dev, StatBuf.st_ino)];
 134   }
 135
 136   size_t size() const { return UniqueDirs.size(); }
 137 };
 138
 139 class FileManager::UniqueFileContainer {
 140   /// UniqueFiles - Cache from ID's to existing directories/files.
 141   std::set<FileEntry> UniqueFiles;
 142
 143 public:
 144   /// getFile - Return an existing FileEntry with the given ID's if
 145   /// there is already one; otherwise create and return a
 146   /// default-constructed FileEntry.
 147   FileEntry &getFile(const char * /*Name*/, const struct stat &StatBuf) {
 148     return
 149       const_cast<FileEntry&>(
 150                     *UniqueFiles.insert(FileEntry(StatBuf.st_dev,
 151                                                   StatBuf.st_ino,
 152                                                   StatBuf.st_mode)).first);
 153   }
 154
 155   size_t size() const { return UniqueFiles.size(); }
 156 };
 157
 158 #endif
 159
 160 //===----------------------------------------------------------------------===//
 161 // Common logic.
 162 //===----------------------------------------------------------------------===//
 163
 164 FileManager::FileManager(const FileSystemOptions &FSO)
 165   : FileSystemOpts(FSO),
 166     UniqueRealDirs(*new UniqueDirContainer()),
 167     UniqueRealFiles(*new UniqueFileContainer()),
 168     SeenDirEntries(64), SeenFileEntries(64), NextFileUID(0) {
 169   NumDirLookups = NumFileLookups = 0;
 170   NumDirCacheMisses = NumFileCacheMisses = 0;
 171 }
 172
 173 FileManager::~FileManager() {
 174   delete &UniqueRealDirs;
 175   delete &UniqueRealFiles;
 176   for (unsigned i = 0, e = VirtualFileEntries.size(); i != e; ++i)
 177     delete VirtualFileEntries[i];
 178   for (unsigned i = 0, e = VirtualDirectoryEntries.size(); i != e; ++i)
 179     delete VirtualDirectoryEntries[i];
 180 }
 181
 182 void FileManager::addStatCache(FileSystemStatCache *statCache,
 183                                bool AtBeginning) {
 184   assert(statCache && "No stat cache provided?");
 185   if (AtBeginning || StatCache.get() == 0) {
 186     statCache->setNextStatCache(StatCache.take());
 187     StatCache.reset(statCache);
 188     return;
 189   }
 190
 191   FileSystemStatCache *LastCache = StatCache.get();
 192   while (LastCache->getNextStatCache())
 193     LastCache = LastCache->getNextStatCache();
 194
 195   LastCache->setNextStatCache(statCache);
 196 }
 197
 198 void FileManager::removeStatCache(FileSystemStatCache *statCache) {
 199   if (!statCache)
 200     return;
 201
 202   if (StatCache.get() == statCache) {
 203     // This is the first stat cache.
 204     StatCache.reset(StatCache->takeNextStatCache());
 205     return;
 206   }
 207
 208   // Find the stat cache in the list.
 209   FileSystemStatCache *PrevCache = StatCache.get();
 210   while (PrevCache && PrevCache->getNextStatCache() != statCache)
 211     PrevCache = PrevCache->getNextStatCache();
 212
 213   assert(PrevCache && "Stat cache not found for removal");
 214   PrevCache->setNextStatCache(statCache->getNextStatCache());
 215 }
 216
 217 /// \brief Retrieve the directory that the given file name resides in.
 218 /// Filename can point to either a real file or a virtual file.
 219 static const DirectoryEntry *getDirectoryFromFile(FileManager &FileMgr,
 220                                                   llvm::StringRef Filename) {
 221   if (Filename.empty())
 222     return NULL;
 223
 224   if (llvm::sys::path::is_separator(Filename[Filename.size() - 1]))
 225     return NULL;  // If Filename is a directory.
 226
 227   llvm::StringRef DirName = llvm::sys::path::parent_path(Filename);
 228   // Use the current directory if file has no path component.
 229   if (DirName.empty())
 230     DirName = ".";
 231
 232   return FileMgr.getDirectory(DirName);
 233 }
 234
 235 /// Add all ancestors of the given path (pointing to either a file or
 236 /// a directory) as virtual directories.
 237 void FileManager::addAncestorsAsVirtualDirs(llvm::StringRef Path) {
 238   llvm::StringRef DirName = llvm::sys::path::parent_path(Path);
 239   if (DirName.empty())
 240     return;
 241
 242   llvm::StringMapEntry<DirectoryEntry *> &NamedDirEnt =
 243     SeenDirEntries.GetOrCreateValue(DirName);
 244
 245   // When caching a virtual directory, we always cache its ancestors
 246   // at the same time.  Therefore, if DirName is already in the cache,
 247   // we don't need to recurse as its ancestors must also already be in
 248   // the cache.
 249   if (NamedDirEnt.getValue())
 250     return;
 251
 252   // Add the virtual directory to the cache.
 253   DirectoryEntry *UDE = new DirectoryEntry;
 254   UDE->Name = NamedDirEnt.getKeyData();
 255   NamedDirEnt.setValue(UDE);
 256   VirtualDirectoryEntries.push_back(UDE);
 257
 258   // Recursively add the other ancestors.
 259   addAncestorsAsVirtualDirs(DirName);
 260 }
 261
 262 /// getDirectory - Lookup, cache, and verify the specified directory
 263 /// (real or virtual).  This returns NULL if the directory doesn't
 264 /// exist.
 265 ///
 266 const DirectoryEntry *FileManager::getDirectory(llvm::StringRef DirName) {
 267   // stat doesn't like trailing separators (at least on Windows).
 268   if (DirName.size() > 1 && llvm::sys::path::is_separator(DirName.back()))
 269     DirName = DirName.substr(0, DirName.size()-1);
 270
 271   ++NumDirLookups;
 272   llvm::StringMapEntry<DirectoryEntry *> &NamedDirEnt =
 273     SeenDirEntries.GetOrCreateValue(DirName);
 274
 275   // See if there was already an entry in the map.  Note that the map
 276   // contains both virtual and real directories.
 277   if (NamedDirEnt.getValue())
 278     return NamedDirEnt.getValue() == NON_EXISTENT_DIR
 279               ? 0 : NamedDirEnt.getValue();
 280
 281   ++NumDirCacheMisses;
 282
 283   // By default, initialize it to invalid.
 284   NamedDirEnt.setValue(NON_EXISTENT_DIR);
 285
 286   // Get the null-terminated directory name as stored as the key of the
 287   // SeenDirEntries map.
 288   const char *InterndDirName = NamedDirEnt.getKeyData();
 289
 290   // Check to see if the directory exists.
 291   struct stat StatBuf;
 292   if (getStatValue(InterndDirName, StatBuf, 0/*directory lookup*/)) {
 293     // There's no real directory at the given path.
 294     return 0;
 295   }
 296
 297   // It exists.  See if we have already opened a directory with the
 298   // same inode (this occurs on Unix-like systems when one dir is
 299   // symlinked to another, for example) or the same path (on
 300   // Windows).
 301   DirectoryEntry &UDE = UniqueRealDirs.getDirectory(InterndDirName, StatBuf);
 302
 303   NamedDirEnt.setValue(&UDE);
 304   if (!UDE.getName()) {
 305     // We don't have this directory yet, add it.  We use the string
 306     // key from the SeenDirEntries map as the string.
 307     UDE.Name  = InterndDirName;
 308   }
 309
 310   return &UDE;
 311 }
 312
 313 /// getFile - Lookup, cache, and verify the specified file (real or
 314 /// virtual).  This returns NULL if the file doesn't exist.
 315 ///
 316 const FileEntry *FileManager::getFile(llvm::StringRef Filename, bool openFile) {
 317   ++NumFileLookups;
 318
 319   // See if there is already an entry in the map.
 320   llvm::StringMapEntry<FileEntry *> &NamedFileEnt =
 321     SeenFileEntries.GetOrCreateValue(Filename);
 322
 323   // See if there is already an entry in the map.
 324   if (NamedFileEnt.getValue())
 325     return NamedFileEnt.getValue() == NON_EXISTENT_FILE
 326                  ? 0 : NamedFileEnt.getValue();
 327
 328   ++NumFileCacheMisses;
 329
 330   // By default, initialize it to invalid.
 331   NamedFileEnt.setValue(NON_EXISTENT_FILE);
 332
 333   // Get the null-terminated file name as stored as the key of the
 334   // SeenFileEntries map.
 335   const char *InterndFileName = NamedFileEnt.getKeyData();
 336
 337   // Look up the directory for the file.  When looking up something like
 338   // sys/foo.h we'll discover all of the search directories that have a 'sys'
 339   // subdirectory.  This will let us avoid having to waste time on known-to-fail
 340   // searches when we go to find sys/bar.h, because all the search directories
 341   // without a 'sys' subdir will get a cached failure result.
 342   const DirectoryEntry *DirInfo = getDirectoryFromFile(*this, Filename);
 343   if (DirInfo == 0)  // Directory doesn't exist, file can't exist.
 344     return 0;
 345
 346   // FIXME: Use the directory info to prune this, before doing the stat syscall.
 347   // FIXME: This will reduce the # syscalls.
 348
 349   // Nope, there isn't.  Check to see if the file exists.
 350   int FileDescriptor = -1;
 351   struct stat StatBuf;
 352   if (getStatValue(InterndFileName, StatBuf, &FileDescriptor)) {
 353     // There's no real file at the given path.
 354     return 0;
 355   }
 356
 357   if (FileDescriptor != -1 && !openFile) {
 358     close(FileDescriptor);
 359     FileDescriptor = -1;
 360   }
 361
 362   // It exists.  See if we have already opened a file with the same inode.
 363   // This occurs when one dir is symlinked to another, for example.
 364   FileEntry &UFE = UniqueRealFiles.getFile(InterndFileName, StatBuf);
 365
 366   NamedFileEnt.setValue(&UFE);
 367   if (UFE.getName()) { // Already have an entry with this inode, return it.
 368     // If the stat process opened the file, close it to avoid a FD leak.
 369     if (FileDescriptor != -1)
 370       close(FileDescriptor);
 371
 372     return &UFE;
 373   }
 374
 375   // Otherwise, we don't have this directory yet, add it.
 376   // FIXME: Change the name to be a char* that points back to the
 377   // 'SeenFileEntries' key.
 378   UFE.Name    = InterndFileName;
 379   UFE.Size    = StatBuf.st_size;
 380   UFE.ModTime = StatBuf.st_mtime;
 381   UFE.Dir     = DirInfo;
 382   UFE.UID     = NextFileUID++;
 383   UFE.FD      = FileDescriptor;
 384   return &UFE;
 385 }
 386
 387 const FileEntry *
 388 FileManager::getVirtualFile(llvm::StringRef Filename, off_t Size,
 389                             time_t ModificationTime) {
 390   ++NumFileLookups;
 391
 392   // See if there is already an entry in the map.
 393   llvm::StringMapEntry<FileEntry *> &NamedFileEnt =
 394     SeenFileEntries.GetOrCreateValue(Filename);
 395
 396   // See if there is already an entry in the map.
 397   if (NamedFileEnt.getValue() && NamedFileEnt.getValue() != NON_EXISTENT_FILE)
 398     return NamedFileEnt.getValue();
 399
 400   ++NumFileCacheMisses;
 401
 402   // By default, initialize it to invalid.
 403   NamedFileEnt.setValue(NON_EXISTENT_FILE);
 404
 405   addAncestorsAsVirtualDirs(Filename);
 406   FileEntry *UFE = 0;
 407
 408   // Now that all ancestors of Filename are in the cache, the
 409   // following call is guaranteed to find the DirectoryEntry from the
 410   // cache.
 411   const DirectoryEntry *DirInfo = getDirectoryFromFile(*this, Filename);
 412   assert(DirInfo &&
 413          "The directory of a virtual file should already be in the cache.");
 414
 415   // Check to see if the file exists. If so, drop the virtual file
 416   int FileDescriptor = -1;
 417   struct stat StatBuf;
 418   const char *InterndFileName = NamedFileEnt.getKeyData();
 419   if (getStatValue(InterndFileName, StatBuf, &FileDescriptor) == 0) {
 420     // If the stat process opened the file, close it to avoid a FD leak.
 421     if (FileDescriptor != -1)
 422       close(FileDescriptor);
 423
 424     StatBuf.st_size = Size;
 425     StatBuf.st_mtime = ModificationTime;
 426     UFE = &UniqueRealFiles.getFile(InterndFileName, StatBuf);
 427
 428     NamedFileEnt.setValue(UFE);
 429
 430     // If we had already opened this file, close it now so we don't
 431     // leak the descriptor. We're not going to use the file
 432     // descriptor anyway, since this is a virtual file.
 433     if (UFE->FD != -1) {
 434       close(UFE->FD);
 435       UFE->FD = -1;
 436     }
 437
 438     // If we already have an entry with this inode, return it.
 439     if (UFE->getName())
 440       return UFE;
 441   }
 442
 443   if (!UFE) {
 444     UFE = new FileEntry();
 445     VirtualFileEntries.push_back(UFE);
 446     NamedFileEnt.setValue(UFE);
 447   }
 448
 449   UFE->Name    = InterndFileName;
 450   UFE->Size    = Size;
 451   UFE->ModTime = ModificationTime;
 452   UFE->Dir     = DirInfo;
 453   UFE->UID     = NextFileUID++;
 454   UFE->FD      = -1;
 455   return UFE;
 456 }
 457
 458 void FileManager::FixupRelativePath(llvm::SmallVectorImpl<char> &path) const {
 459   llvm::StringRef pathRef(path.data(), path.size());
 460
 461   if (FileSystemOpts.WorkingDir.empty()
 462       || llvm::sys::path::is_absolute(pathRef))
 463     return;
 464
 465   llvm::SmallString<128> NewPath(FileSystemOpts.WorkingDir);
 466   llvm::sys::path::append(NewPath, pathRef);
 467   path = NewPath;
 468 }
 469
 470 llvm::MemoryBuffer *FileManager::
 471 getBufferForFile(const FileEntry *Entry, std::string *ErrorStr) {
 472   llvm::OwningPtr<llvm::MemoryBuffer> Result;
 473   llvm::error_code ec;
 474
 475   const char *Filename = Entry->getName();
 476   // If the file is already open, use the open file descriptor.
 477   if (Entry->FD != -1) {
 478     ec = llvm::MemoryBuffer::getOpenFile(Entry->FD, Filename, Result,
 479                                          Entry->getSize());
 480     if (ErrorStr)
 481       *ErrorStr = ec.message();
 482
 483     close(Entry->FD);
 484     Entry->FD = -1;
 485     return Result.take();
 486   }
 487
 488   // Otherwise, open the file.
 489
 490   if (FileSystemOpts.WorkingDir.empty()) {
 491     ec = llvm::MemoryBuffer::getFile(Filename, Result, Entry->getSize());
 492     if (ec && ErrorStr)
 493       *ErrorStr = ec.message();
 494     return Result.take();
 495   }
 496
 497   llvm::SmallString<128> FilePath(Entry->getName());
 498   FixupRelativePath(FilePath);
 499   ec = llvm::MemoryBuffer::getFile(FilePath.str(), Result, Entry->getSize());
 500   if (ec && ErrorStr)
 501     *ErrorStr = ec.message();
 502   return Result.take();
 503 }
 504
 505 llvm::MemoryBuffer *FileManager::
 506 getBufferForFile(llvm::StringRef Filename, std::string *ErrorStr) {
 507   llvm::OwningPtr<llvm::MemoryBuffer> Result;
 508   llvm::error_code ec;
 509   if (FileSystemOpts.WorkingDir.empty()) {
 510     ec = llvm::MemoryBuffer::getFile(Filename, Result);
 511     if (ec && ErrorStr)
 512       *ErrorStr = ec.message();
 513     return Result.take();
 514   }
 515
 516   llvm::SmallString<128> FilePath(Filename);
 517   FixupRelativePath(FilePath);
 518   ec = llvm::MemoryBuffer::getFile(FilePath.c_str(), Result);
 519   if (ec && ErrorStr)
 520     *ErrorStr = ec.message();
 521   return Result.take();
 522 }
 523
 524 /// getStatValue - Get the 'stat' information for the specified path,
 525 /// using the cache to accelerate it if possible.  This returns true
 526 /// if the path points to a virtual file or does not exist, or returns
 527 /// false if it's an existent real file.  If FileDescriptor is NULL,
 528 /// do directory look-up instead of file look-up.
 529 bool FileManager::getStatValue(const char *Path, struct stat &StatBuf,
 530                                int *FileDescriptor) {
 531   // FIXME: FileSystemOpts shouldn't be passed in here, all paths should be
 532   // absolute!
 533   if (FileSystemOpts.WorkingDir.empty())
 534     return FileSystemStatCache::get(Path, StatBuf, FileDescriptor,
 535                                     StatCache.get());
 536
 537   llvm::SmallString<128> FilePath(Path);
 538   FixupRelativePath(FilePath);
 539
 540   return FileSystemStatCache::get(FilePath.c_str(), StatBuf, FileDescriptor,
 541                                   StatCache.get());
 542 }
 543
 544 bool FileManager::getNoncachedStatValue(llvm::StringRef Path,
 545                                         struct stat &StatBuf) {
 546   llvm::SmallString<128> FilePath(Path);
 547   FixupRelativePath(FilePath);
 548
 549   return ::stat(FilePath.c_str(), &StatBuf) != 0;
 550 }
 551
 552 void FileManager::GetUniqueIDMapping(
 553                    llvm::SmallVectorImpl<const FileEntry *> &UIDToFiles) const {
 554   UIDToFiles.clear();
 555   UIDToFiles.resize(NextFileUID);
 556
 557   // Map file entries
 558   for (llvm::StringMap<FileEntry*, llvm::BumpPtrAllocator>::const_iterator
 559          FE = SeenFileEntries.begin(), FEEnd = SeenFileEntries.end();
 560        FE != FEEnd; ++FE)
 561     if (FE->getValue() && FE->getValue() != NON_EXISTENT_FILE)
 562       UIDToFiles[FE->getValue()->getUID()] = FE->getValue();
 563
 564   // Map virtual file entries
 565   for (llvm::SmallVector<FileEntry*, 4>::const_iterator
 566          VFE = VirtualFileEntries.begin(), VFEEnd = VirtualFileEntries.end();
 567        VFE != VFEEnd; ++VFE)
 568     if (*VFE && *VFE != NON_EXISTENT_FILE)
 569       UIDToFiles[(*VFE)->getUID()] = *VFE;
 570 }
 571
 572
 573 void FileManager::PrintStats() const {
 574   llvm::errs() << "\n*** File Manager Stats:\n";
 575   llvm::errs() << UniqueRealFiles.size() << " real files found, "
 576                << UniqueRealDirs.size() << " real dirs found.\n";
 577   llvm::errs() << VirtualFileEntries.size() << " virtual files found, "
 578                << VirtualDirectoryEntries.size() << " virtual dirs found.\n";
 579   llvm::errs() << NumDirLookups << " dir lookups, "
 580                << NumDirCacheMisses << " dir cache misses.\n";
 581   llvm::errs() << NumFileLookups << " file lookups, "
 582                << NumFileCacheMisses << " file cache misses.\n";
 583
 584   //llvm::errs() << PagesMapped << BytesOfPagesMapped << FSLookups;
 585 }