contrib/llvm/lib/Support/SourceMgr.cpp

   1 //===- SourceMgr.cpp - Manager for Simple Source Buffers & Diagnostics ----===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the SourceMgr class.  This class is used as a simple
  11 // substrate for diagnostics, #include handling, and other low level things for
  12 // simple parsers.
  13 //
  14 //===----------------------------------------------------------------------===//
  15
  16 #include "llvm/Support/SourceMgr.h"
  17 #include "llvm/ADT/ArrayRef.h"
  18 #include "llvm/ADT/STLExtras.h"
  19 #include "llvm/ADT/SmallVector.h"
  20 #include "llvm/ADT/StringRef.h"
  21 #include "llvm/ADT/Twine.h"
  22 #include "llvm/Support/ErrorOr.h"
  23 #include "llvm/Support/Locale.h"
  24 #include "llvm/Support/MemoryBuffer.h"
  25 #include "llvm/Support/Path.h"
  26 #include "llvm/Support/SMLoc.h"
  27 #include "llvm/Support/raw_ostream.h"
  28 #include <algorithm>
  29 #include <cassert>
  30 #include <cstddef>
  31 #include <limits>
  32 #include <memory>
  33 #include <string>
  34 #include <utility>
  35
  36 using namespace llvm;
  37
  38 static const size_t TabStop = 8;
  39
  40 unsigned SourceMgr::AddIncludeFile(const std::string &Filename,
  41                                    SMLoc IncludeLoc,
  42                                    std::string &IncludedFile) {
  43   IncludedFile = Filename;
  44   ErrorOr<std::unique_ptr<MemoryBuffer>> NewBufOrErr =
  45     MemoryBuffer::getFile(IncludedFile);
  46
  47   // If the file didn't exist directly, see if it's in an include path.
  48   for (unsigned i = 0, e = IncludeDirectories.size(); i != e && !NewBufOrErr;
  49        ++i) {
  50     IncludedFile =
  51         IncludeDirectories[i] + sys::path::get_separator().data() + Filename;
  52     NewBufOrErr = MemoryBuffer::getFile(IncludedFile);
  53   }
  54
  55   if (!NewBufOrErr)
  56     return 0;
  57
  58   return AddNewSourceBuffer(std::move(*NewBufOrErr), IncludeLoc);
  59 }
  60
  61 unsigned SourceMgr::FindBufferContainingLoc(SMLoc Loc) const {
  62   for (unsigned i = 0, e = Buffers.size(); i != e; ++i)
  63     if (Loc.getPointer() >= Buffers[i].Buffer->getBufferStart() &&
  64         // Use <= here so that a pointer to the null at the end of the buffer
  65         // is included as part of the buffer.
  66         Loc.getPointer() <= Buffers[i].Buffer->getBufferEnd())
  67       return i + 1;
  68   return 0;
  69 }
  70
  71 template <typename T>
  72 unsigned SourceMgr::SrcBuffer::getLineNumber(const char *Ptr) const {
  73
  74   // Ensure OffsetCache is allocated and populated with offsets of all the
  75   // '\n' bytes.
  76   std::vector<T> *Offsets = nullptr;
  77   if (OffsetCache.isNull()) {
  78     Offsets = new std::vector<T>();
  79     OffsetCache = Offsets;
  80     size_t Sz = Buffer->getBufferSize();
  81     assert(Sz <= std::numeric_limits<T>::max());
  82     StringRef S = Buffer->getBuffer();
  83     for (size_t N = 0; N < Sz; ++N) {
  84       if (S[N] == '\n') {
  85         Offsets->push_back(static_cast<T>(N));
  86       }
  87     }
  88   } else {
  89     Offsets = OffsetCache.get<std::vector<T> *>();
  90   }
  91
  92   const char *BufStart = Buffer->getBufferStart();
  93   assert(Ptr >= BufStart && Ptr <= Buffer->getBufferEnd());
  94   ptrdiff_t PtrDiff = Ptr - BufStart;
  95   assert(PtrDiff >= 0 && static_cast<size_t>(PtrDiff) <= std::numeric_limits<T>::max());
  96   T PtrOffset = static_cast<T>(PtrDiff);
  97
  98   // std::lower_bound returns the first EOL offset that's not-less-than
  99   // PtrOffset, meaning the EOL that _ends the line_ that PtrOffset is on
 100   // (including if PtrOffset refers to the EOL itself). If there's no such
 101   // EOL, returns end().
 102   auto EOL = std::lower_bound(Offsets->begin(), Offsets->end(), PtrOffset);
 103
 104   // Lines count from 1, so add 1 to the distance from the 0th line.
 105   return (1 + (EOL - Offsets->begin()));
 106 }
 107
 108 SourceMgr::SrcBuffer::SrcBuffer(SourceMgr::SrcBuffer &&Other)
 109   : Buffer(std::move(Other.Buffer)),
 110     OffsetCache(Other.OffsetCache),
 111     IncludeLoc(Other.IncludeLoc) {
 112   Other.OffsetCache = nullptr;
 113 }
 114
 115 SourceMgr::SrcBuffer::~SrcBuffer() {
 116   if (!OffsetCache.isNull()) {
 117     if (OffsetCache.is<std::vector<uint8_t>*>())
 118       delete OffsetCache.get<std::vector<uint8_t>*>();
 119     else if (OffsetCache.is<std::vector<uint16_t>*>())
 120       delete OffsetCache.get<std::vector<uint16_t>*>();
 121     else if (OffsetCache.is<std::vector<uint32_t>*>())
 122       delete OffsetCache.get<std::vector<uint32_t>*>();
 123     else
 124       delete OffsetCache.get<std::vector<uint64_t>*>();
 125     OffsetCache = nullptr;
 126   }
 127 }
 128
 129 std::pair<unsigned, unsigned>
 130 SourceMgr::getLineAndColumn(SMLoc Loc, unsigned BufferID) const {
 131   if (!BufferID)
 132     BufferID = FindBufferContainingLoc(Loc);
 133   assert(BufferID && "Invalid Location!");
 134
 135   auto &SB = getBufferInfo(BufferID);
 136   const char *Ptr = Loc.getPointer();
 137
 138   size_t Sz = SB.Buffer->getBufferSize();
 139   unsigned LineNo;
 140   if (Sz <= std::numeric_limits<uint8_t>::max())
 141     LineNo = SB.getLineNumber<uint8_t>(Ptr);
 142   else if (Sz <= std::numeric_limits<uint16_t>::max())
 143     LineNo = SB.getLineNumber<uint16_t>(Ptr);
 144   else if (Sz <= std::numeric_limits<uint32_t>::max())
 145     LineNo = SB.getLineNumber<uint32_t>(Ptr);
 146   else
 147     LineNo = SB.getLineNumber<uint64_t>(Ptr);
 148
 149   const char *BufStart = SB.Buffer->getBufferStart();
 150   size_t NewlineOffs = StringRef(BufStart, Ptr-BufStart).find_last_of("\n\r");
 151   if (NewlineOffs == StringRef::npos) NewlineOffs = ~(size_t)0;
 152   return std::make_pair(LineNo, Ptr-BufStart-NewlineOffs);
 153 }
 154
 155 void SourceMgr::PrintIncludeStack(SMLoc IncludeLoc, raw_ostream &OS) const {
 156   if (IncludeLoc == SMLoc()) return;  // Top of stack.
 157
 158   unsigned CurBuf = FindBufferContainingLoc(IncludeLoc);
 159   assert(CurBuf && "Invalid or unspecified location!");
 160
 161   PrintIncludeStack(getBufferInfo(CurBuf).IncludeLoc, OS);
 162
 163   OS << "Included from "
 164      << getBufferInfo(CurBuf).Buffer->getBufferIdentifier()
 165      << ":" << FindLineNumber(IncludeLoc, CurBuf) << ":\n";
 166 }
 167
 168 SMDiagnostic SourceMgr::GetMessage(SMLoc Loc, SourceMgr::DiagKind Kind,
 169                                    const Twine &Msg,
 170                                    ArrayRef<SMRange> Ranges,
 171                                    ArrayRef<SMFixIt> FixIts) const {
 172   // First thing to do: find the current buffer containing the specified
 173   // location to pull out the source line.
 174   SmallVector<std::pair<unsigned, unsigned>, 4> ColRanges;
 175   std::pair<unsigned, unsigned> LineAndCol;
 176   StringRef BufferID = "<unknown>";
 177   std::string LineStr;
 178
 179   if (Loc.isValid()) {
 180     unsigned CurBuf = FindBufferContainingLoc(Loc);
 181     assert(CurBuf && "Invalid or unspecified location!");
 182
 183     const MemoryBuffer *CurMB = getMemoryBuffer(CurBuf);
 184     BufferID = CurMB->getBufferIdentifier();
 185
 186     // Scan backward to find the start of the line.
 187     const char *LineStart = Loc.getPointer();
 188     const char *BufStart = CurMB->getBufferStart();
 189     while (LineStart != BufStart && LineStart[-1] != '\n' &&
 190            LineStart[-1] != '\r')
 191       --LineStart;
 192
 193     // Get the end of the line.
 194     const char *LineEnd = Loc.getPointer();
 195     const char *BufEnd = CurMB->getBufferEnd();
 196     while (LineEnd != BufEnd && LineEnd[0] != '\n' && LineEnd[0] != '\r')
 197       ++LineEnd;
 198     LineStr = std::string(LineStart, LineEnd);
 199
 200     // Convert any ranges to column ranges that only intersect the line of the
 201     // location.
 202     for (unsigned i = 0, e = Ranges.size(); i != e; ++i) {
 203       SMRange R = Ranges[i];
 204       if (!R.isValid()) continue;
 205
 206       // If the line doesn't contain any part of the range, then ignore it.
 207       if (R.Start.getPointer() > LineEnd || R.End.getPointer() < LineStart)
 208         continue;
 209
 210       // Ignore pieces of the range that go onto other lines.
 211       if (R.Start.getPointer() < LineStart)
 212         R.Start = SMLoc::getFromPointer(LineStart);
 213       if (R.End.getPointer() > LineEnd)
 214         R.End = SMLoc::getFromPointer(LineEnd);
 215
 216       // Translate from SMLoc ranges to column ranges.
 217       // FIXME: Handle multibyte characters.
 218       ColRanges.push_back(std::make_pair(R.Start.getPointer()-LineStart,
 219                                          R.End.getPointer()-LineStart));
 220     }
 221
 222     LineAndCol = getLineAndColumn(Loc, CurBuf);
 223   }
 224
 225   return SMDiagnostic(*this, Loc, BufferID, LineAndCol.first,
 226                       LineAndCol.second-1, Kind, Msg.str(),
 227                       LineStr, ColRanges, FixIts);
 228 }
 229
 230 void SourceMgr::PrintMessage(raw_ostream &OS, const SMDiagnostic &Diagnostic,
 231                              bool ShowColors) const {
 232   // Report the message with the diagnostic handler if present.
 233   if (DiagHandler) {
 234     DiagHandler(Diagnostic, DiagContext);
 235     return;
 236   }
 237
 238   if (Diagnostic.getLoc().isValid()) {
 239     unsigned CurBuf = FindBufferContainingLoc(Diagnostic.getLoc());
 240     assert(CurBuf && "Invalid or unspecified location!");
 241     PrintIncludeStack(getBufferInfo(CurBuf).IncludeLoc, OS);
 242   }
 243
 244   Diagnostic.print(nullptr, OS, ShowColors);
 245 }
 246
 247 void SourceMgr::PrintMessage(raw_ostream &OS, SMLoc Loc,
 248                              SourceMgr::DiagKind Kind,
 249                              const Twine &Msg, ArrayRef<SMRange> Ranges,
 250                              ArrayRef<SMFixIt> FixIts, bool ShowColors) const {
 251   PrintMessage(OS, GetMessage(Loc, Kind, Msg, Ranges, FixIts), ShowColors);
 252 }
 253
 254 void SourceMgr::PrintMessage(SMLoc Loc, SourceMgr::DiagKind Kind,
 255                              const Twine &Msg, ArrayRef<SMRange> Ranges,
 256                              ArrayRef<SMFixIt> FixIts, bool ShowColors) const {
 257   PrintMessage(errs(), Loc, Kind, Msg, Ranges, FixIts, ShowColors);
 258 }
 259
 260 //===----------------------------------------------------------------------===//
 261 // SMDiagnostic Implementation
 262 //===----------------------------------------------------------------------===//
 263
 264 SMDiagnostic::SMDiagnostic(const SourceMgr &sm, SMLoc L, StringRef FN,
 265                            int Line, int Col, SourceMgr::DiagKind Kind,
 266                            StringRef Msg, StringRef LineStr,
 267                            ArrayRef<std::pair<unsigned,unsigned>> Ranges,
 268                            ArrayRef<SMFixIt> Hints)
 269   : SM(&sm), Loc(L), Filename(FN), LineNo(Line), ColumnNo(Col), Kind(Kind),
 270     Message(Msg), LineContents(LineStr), Ranges(Ranges.vec()),
 271     FixIts(Hints.begin(), Hints.end()) {
 272   llvm::sort(FixIts.begin(), FixIts.end());
 273 }
 274
 275 static void buildFixItLine(std::string &CaretLine, std::string &FixItLine,
 276                            ArrayRef<SMFixIt> FixIts, ArrayRef<char> SourceLine){
 277   if (FixIts.empty())
 278     return;
 279
 280   const char *LineStart = SourceLine.begin();
 281   const char *LineEnd = SourceLine.end();
 282
 283   size_t PrevHintEndCol = 0;
 284
 285   for (ArrayRef<SMFixIt>::iterator I = FixIts.begin(), E = FixIts.end();
 286        I != E; ++I) {
 287     // If the fixit contains a newline or tab, ignore it.
 288     if (I->getText().find_first_of("\n\r\t") != StringRef::npos)
 289       continue;
 290
 291     SMRange R = I->getRange();
 292
 293     // If the line doesn't contain any part of the range, then ignore it.
 294     if (R.Start.getPointer() > LineEnd || R.End.getPointer() < LineStart)
 295       continue;
 296
 297     // Translate from SMLoc to column.
 298     // Ignore pieces of the range that go onto other lines.
 299     // FIXME: Handle multibyte characters in the source line.
 300     unsigned FirstCol;
 301     if (R.Start.getPointer() < LineStart)
 302       FirstCol = 0;
 303     else
 304       FirstCol = R.Start.getPointer() - LineStart;
 305
 306     // If we inserted a long previous hint, push this one forwards, and add
 307     // an extra space to show that this is not part of the previous
 308     // completion. This is sort of the best we can do when two hints appear
 309     // to overlap.
 310     //
 311     // Note that if this hint is located immediately after the previous
 312     // hint, no space will be added, since the location is more important.
 313     unsigned HintCol = FirstCol;
 314     if (HintCol < PrevHintEndCol)
 315       HintCol = PrevHintEndCol + 1;
 316
 317     // FIXME: This assertion is intended to catch unintended use of multibyte
 318     // characters in fixits. If we decide to do this, we'll have to track
 319     // separate byte widths for the source and fixit lines.
 320     assert((size_t)sys::locale::columnWidth(I->getText()) ==
 321            I->getText().size());
 322
 323     // This relies on one byte per column in our fixit hints.
 324     unsigned LastColumnModified = HintCol + I->getText().size();
 325     if (LastColumnModified > FixItLine.size())
 326       FixItLine.resize(LastColumnModified, ' ');
 327
 328     std::copy(I->getText().begin(), I->getText().end(),
 329               FixItLine.begin() + HintCol);
 330
 331     PrevHintEndCol = LastColumnModified;
 332
 333     // For replacements, mark the removal range with '~'.
 334     // FIXME: Handle multibyte characters in the source line.
 335     unsigned LastCol;
 336     if (R.End.getPointer() >= LineEnd)
 337       LastCol = LineEnd - LineStart;
 338     else
 339       LastCol = R.End.getPointer() - LineStart;
 340
 341     std::fill(&CaretLine[FirstCol], &CaretLine[LastCol], '~');
 342   }
 343 }
 344
 345 static void printSourceLine(raw_ostream &S, StringRef LineContents) {
 346   // Print out the source line one character at a time, so we can expand tabs.
 347   for (unsigned i = 0, e = LineContents.size(), OutCol = 0; i != e; ++i) {
 348     if (LineContents[i] != '\t') {
 349       S << LineContents[i];
 350       ++OutCol;
 351       continue;
 352     }
 353
 354     // If we have a tab, emit at least one space, then round up to 8 columns.
 355     do {
 356       S << ' ';
 357       ++OutCol;
 358     } while ((OutCol % TabStop) != 0);
 359   }
 360   S << '\n';
 361 }
 362
 363 static bool isNonASCII(char c) {
 364   return c & 0x80;
 365 }
 366
 367 void SMDiagnostic::print(const char *ProgName, raw_ostream &S, bool ShowColors,
 368                          bool ShowKindLabel) const {
 369   // Display colors only if OS supports colors.
 370   ShowColors &= S.has_colors();
 371
 372   if (ShowColors)
 373     S.changeColor(raw_ostream::SAVEDCOLOR, true);
 374
 375   if (ProgName && ProgName[0])
 376     S << ProgName << ": ";
 377
 378   if (!Filename.empty()) {
 379     if (Filename == "-")
 380       S << "<stdin>";
 381     else
 382       S << Filename;
 383
 384     if (LineNo != -1) {
 385       S << ':' << LineNo;
 386       if (ColumnNo != -1)
 387         S << ':' << (ColumnNo+1);
 388     }
 389     S << ": ";
 390   }
 391
 392   if (ShowKindLabel) {
 393     switch (Kind) {
 394     case SourceMgr::DK_Error:
 395       if (ShowColors)
 396         S.changeColor(raw_ostream::RED, true);
 397       S << "error: ";
 398       break;
 399     case SourceMgr::DK_Warning:
 400       if (ShowColors)
 401         S.changeColor(raw_ostream::MAGENTA, true);
 402       S << "warning: ";
 403       break;
 404     case SourceMgr::DK_Note:
 405       if (ShowColors)
 406         S.changeColor(raw_ostream::BLACK, true);
 407       S << "note: ";
 408       break;
 409     case SourceMgr::DK_Remark:
 410       if (ShowColors)
 411         S.changeColor(raw_ostream::BLUE, true);
 412       S << "remark: ";
 413       break;
 414     }
 415
 416     if (ShowColors) {
 417       S.resetColor();
 418       S.changeColor(raw_ostream::SAVEDCOLOR, true);
 419     }
 420   }
 421
 422   S << Message << '\n';
 423
 424   if (ShowColors)
 425     S.resetColor();
 426
 427   if (LineNo == -1 || ColumnNo == -1)
 428     return;
 429
 430   // FIXME: If there are multibyte or multi-column characters in the source, all
 431   // our ranges will be wrong. To do this properly, we'll need a byte-to-column
 432   // map like Clang's TextDiagnostic. For now, we'll just handle tabs by
 433   // expanding them later, and bail out rather than show incorrect ranges and
 434   // misaligned fixits for any other odd characters.
 435   if (find_if(LineContents, isNonASCII) != LineContents.end()) {
 436     printSourceLine(S, LineContents);
 437     return;
 438   }
 439   size_t NumColumns = LineContents.size();
 440
 441   // Build the line with the caret and ranges.
 442   std::string CaretLine(NumColumns+1, ' ');
 443
 444   // Expand any ranges.
 445   for (unsigned r = 0, e = Ranges.size(); r != e; ++r) {
 446     std::pair<unsigned, unsigned> R = Ranges[r];
 447     std::fill(&CaretLine[R.first],
 448               &CaretLine[std::min((size_t)R.second, CaretLine.size())],
 449               '~');
 450   }
 451
 452   // Add any fix-its.
 453   // FIXME: Find the beginning of the line properly for multibyte characters.
 454   std::string FixItInsertionLine;
 455   buildFixItLine(CaretLine, FixItInsertionLine, FixIts,
 456                  makeArrayRef(Loc.getPointer() - ColumnNo,
 457                               LineContents.size()));
 458
 459   // Finally, plop on the caret.
 460   if (unsigned(ColumnNo) <= NumColumns)
 461     CaretLine[ColumnNo] = '^';
 462   else
 463     CaretLine[NumColumns] = '^';
 464
 465   // ... and remove trailing whitespace so the output doesn't wrap for it.  We
 466   // know that the line isn't completely empty because it has the caret in it at
 467   // least.
 468   CaretLine.erase(CaretLine.find_last_not_of(' ')+1);
 469
 470   printSourceLine(S, LineContents);
 471
 472   if (ShowColors)
 473     S.changeColor(raw_ostream::GREEN, true);
 474
 475   // Print out the caret line, matching tabs in the source line.
 476   for (unsigned i = 0, e = CaretLine.size(), OutCol = 0; i != e; ++i) {
 477     if (i >= LineContents.size() || LineContents[i] != '\t') {
 478       S << CaretLine[i];
 479       ++OutCol;
 480       continue;
 481     }
 482
 483     // Okay, we have a tab.  Insert the appropriate number of characters.
 484     do {
 485       S << CaretLine[i];
 486       ++OutCol;
 487     } while ((OutCol % TabStop) != 0);
 488   }
 489   S << '\n';
 490
 491   if (ShowColors)
 492     S.resetColor();
 493
 494   // Print out the replacement line, matching tabs in the source line.
 495   if (FixItInsertionLine.empty())
 496     return;
 497
 498   for (size_t i = 0, e = FixItInsertionLine.size(), OutCol = 0; i < e; ++i) {
 499     if (i >= LineContents.size() || LineContents[i] != '\t') {
 500       S << FixItInsertionLine[i];
 501       ++OutCol;
 502       continue;
 503     }
 504
 505     // Okay, we have a tab.  Insert the appropriate number of characters.
 506     do {
 507       S << FixItInsertionLine[i];
 508       // FIXME: This is trying not to break up replacements, but then to re-sync
 509       // with the tabs between replacements. This will fail, though, if two
 510       // fix-it replacements are exactly adjacent, or if a fix-it contains a
 511       // space. Really we should be precomputing column widths, which we'll
 512       // need anyway for multibyte chars.
 513       if (FixItInsertionLine[i] != ' ')
 514         ++i;
 515       ++OutCol;
 516     } while (((OutCol % TabStop) != 0) && i != e);
 517   }
 518   S << '\n';
 519 }