contrib/llvm/tools/lld/ELF/LTO.cpp

   1 //===- LTO.cpp ------------------------------------------------------------===//
   2 //
   3 //                             The LLVM Linker
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "LTO.h"
  11 #include "Config.h"
  12 #include "InputFiles.h"
  13 #include "LinkerScript.h"
  14 #include "SymbolTable.h"
  15 #include "Symbols.h"
  16 #include "lld/Common/ErrorHandler.h"
  17 #include "lld/Common/TargetOptionsCommandFlags.h"
  18 #include "llvm/ADT/STLExtras.h"
  19 #include "llvm/ADT/SmallString.h"
  20 #include "llvm/ADT/StringRef.h"
  21 #include "llvm/ADT/Twine.h"
  22 #include "llvm/BinaryFormat/ELF.h"
  23 #include "llvm/IR/DiagnosticPrinter.h"
  24 #include "llvm/LTO/Caching.h"
  25 #include "llvm/LTO/Config.h"
  26 #include "llvm/LTO/LTO.h"
  27 #include "llvm/Object/SymbolicFile.h"
  28 #include "llvm/Support/CodeGen.h"
  29 #include "llvm/Support/Error.h"
  30 #include "llvm/Support/FileSystem.h"
  31 #include "llvm/Support/MemoryBuffer.h"
  32 #include "llvm/Support/raw_ostream.h"
  33 #include <algorithm>
  34 #include <cstddef>
  35 #include <memory>
  36 #include <string>
  37 #include <system_error>
  38 #include <vector>
  39
  40 using namespace llvm;
  41 using namespace llvm::object;
  42 using namespace llvm::ELF;
  43
  44 using namespace lld;
  45 using namespace lld::elf;
  46
  47 // This is for use when debugging LTO.
  48 static void saveBuffer(StringRef Buffer, const Twine &Path) {
  49   std::error_code EC;
  50   raw_fd_ostream OS(Path.str(), EC, sys::fs::OpenFlags::F_None);
  51   if (EC)
  52     error("cannot create " + Path + ": " + EC.message());
  53   OS << Buffer;
  54 }
  55
  56 static void diagnosticHandler(const DiagnosticInfo &DI) {
  57   SmallString<128> ErrStorage;
  58   raw_svector_ostream OS(ErrStorage);
  59   DiagnosticPrinterRawOStream DP(OS);
  60   DI.print(DP);
  61   warn(ErrStorage);
  62 }
  63
  64 static void checkError(Error E) {
  65   handleAllErrors(std::move(E),
  66                   [&](ErrorInfoBase &EIB) { error(EIB.message()); });
  67 }
  68
  69 static std::unique_ptr<lto::LTO> createLTO() {
  70   lto::Config Conf;
  71
  72   // LLD supports the new relocations.
  73   Conf.Options = InitTargetOptionsFromCodeGenFlags();
  74   Conf.Options.RelaxELFRelocations = true;
  75
  76   // Always emit a section per function/datum with LTO.
  77   Conf.Options.FunctionSections = true;
  78   Conf.Options.DataSections = true;
  79
  80   if (Config->Relocatable)
  81     Conf.RelocModel = None;
  82   else if (Config->Pic)
  83     Conf.RelocModel = Reloc::PIC_;
  84   else
  85     Conf.RelocModel = Reloc::Static;
  86   Conf.CodeModel = GetCodeModelFromCMModel();
  87   Conf.DisableVerify = Config->DisableVerify;
  88   Conf.DiagHandler = diagnosticHandler;
  89   Conf.OptLevel = Config->LTOO;
  90
  91   // Set up a custom pipeline if we've been asked to.
  92   Conf.OptPipeline = Config->LTONewPmPasses;
  93   Conf.AAPipeline = Config->LTOAAPipeline;
  94
  95   // Set up optimization remarks if we've been asked to.
  96   Conf.RemarksFilename = Config->OptRemarksFilename;
  97   Conf.RemarksWithHotness = Config->OptRemarksWithHotness;
  98
  99   if (Config->SaveTemps)
 100     checkError(Conf.addSaveTemps(std::string(Config->OutputFile) + ".",
 101                                  /*UseInputModulePath*/ true));
 102
 103   lto::ThinBackend Backend;
 104   if (Config->ThinLTOJobs != -1u)
 105     Backend = lto::createInProcessThinBackend(Config->ThinLTOJobs);
 106   return llvm::make_unique<lto::LTO>(std::move(Conf), Backend,
 107                                      Config->LTOPartitions);
 108 }
 109
 110 BitcodeCompiler::BitcodeCompiler() : LTOObj(createLTO()) {
 111   for (Symbol *Sym : Symtab->getSymbols()) {
 112     StringRef Name = Sym->getName();
 113     for (StringRef Prefix : {"__start_", "__stop_"})
 114       if (Name.startswith(Prefix))
 115         UsedStartStop.insert(Name.substr(Prefix.size()));
 116   }
 117 }
 118
 119 BitcodeCompiler::~BitcodeCompiler() = default;
 120
 121 static void undefine(Symbol *S) {
 122   replaceSymbol<Undefined>(S, nullptr, S->getName(), STB_GLOBAL, STV_DEFAULT,
 123                            S->Type);
 124 }
 125
 126 void BitcodeCompiler::add(BitcodeFile &F) {
 127   lto::InputFile &Obj = *F.Obj;
 128   unsigned SymNum = 0;
 129   std::vector<Symbol *> Syms = F.getSymbols();
 130   std::vector<lto::SymbolResolution> Resols(Syms.size());
 131
 132   DenseSet<StringRef> ScriptSymbols;
 133   for (BaseCommand *Base : Script->SectionCommands)
 134     if (auto *Cmd = dyn_cast<SymbolAssignment>(Base))
 135       ScriptSymbols.insert(Cmd->Name);
 136
 137   // Provide a resolution to the LTO API for each symbol.
 138   for (const lto::InputFile::Symbol &ObjSym : Obj.symbols()) {
 139     Symbol *Sym = Syms[SymNum];
 140     lto::SymbolResolution &R = Resols[SymNum];
 141     ++SymNum;
 142
 143     // Ideally we shouldn't check for SF_Undefined but currently IRObjectFile
 144     // reports two symbols for module ASM defined. Without this check, lld
 145     // flags an undefined in IR with a definition in ASM as prevailing.
 146     // Once IRObjectFile is fixed to report only one symbol this hack can
 147     // be removed.
 148     R.Prevailing = !ObjSym.isUndefined() && Sym->File == &F;
 149
 150     // We ask LTO to preserve following global symbols:
 151     // 1) All symbols when doing relocatable link, so that them can be used
 152     //    for doing final link.
 153     // 2) Symbols that are used in regular objects.
 154     // 3) C named sections if we have corresponding __start_/__stop_ symbol.
 155     // 4) Symbols that are defined in bitcode files and used for dynamic linking.
 156     R.VisibleToRegularObj = Config->Relocatable || Sym->IsUsedInRegularObj ||
 157                             (R.Prevailing && Sym->includeInDynsym()) ||
 158                             UsedStartStop.count(ObjSym.getSectionName());
 159     if (R.Prevailing)
 160       undefine(Sym);
 161
 162     // We tell LTO to not apply interprocedural optimization for following
 163     // symbols because otherwise LTO would inline them while their values are
 164     // still not final:
 165     // 1) Aliased (with --defsym) or wrapped (with --wrap) symbols.
 166     // 2) Symbols redefined in linker script.
 167     R.LinkerRedefined = !Sym->CanInline || ScriptSymbols.count(Sym->getName());
 168   }
 169   checkError(LTOObj->add(std::move(F.Obj), Resols));
 170 }
 171
 172 // Merge all the bitcode files we have seen, codegen the result
 173 // and return the resulting ObjectFile(s).
 174 std::vector<InputFile *> BitcodeCompiler::compile() {
 175   std::vector<InputFile *> Ret;
 176   unsigned MaxTasks = LTOObj->getMaxTasks();
 177   Buff.resize(MaxTasks);
 178   Files.resize(MaxTasks);
 179
 180   // The --thinlto-cache-dir option specifies the path to a directory in which
 181   // to cache native object files for ThinLTO incremental builds. If a path was
 182   // specified, configure LTO to use it as the cache directory.
 183   lto::NativeObjectCache Cache;
 184   if (!Config->ThinLTOCacheDir.empty())
 185     Cache = check(
 186         lto::localCache(Config->ThinLTOCacheDir,
 187                         [&](size_t Task, std::unique_ptr<MemoryBuffer> MB,
 188                             StringRef Path) { Files[Task] = std::move(MB); }));
 189
 190   checkError(LTOObj->run(
 191       [&](size_t Task) {
 192         return llvm::make_unique<lto::NativeObjectStream>(
 193             llvm::make_unique<raw_svector_ostream>(Buff[Task]));
 194       },
 195       Cache));
 196
 197   if (!Config->ThinLTOCacheDir.empty())
 198     pruneCache(Config->ThinLTOCacheDir, Config->ThinLTOCachePolicy);
 199
 200   for (unsigned I = 0; I != MaxTasks; ++I) {
 201     if (Buff[I].empty())
 202       continue;
 203     if (Config->SaveTemps) {
 204       if (I == 0)
 205         saveBuffer(Buff[I], Config->OutputFile + ".lto.o");
 206       else
 207         saveBuffer(Buff[I], Config->OutputFile + Twine(I) + ".lto.o");
 208     }
 209     InputFile *Obj = createObjectFile(MemoryBufferRef(Buff[I], "lto.tmp"));
 210     Ret.push_back(Obj);
 211   }
 212
 213   for (std::unique_ptr<MemoryBuffer> &File : Files)
 214     if (File)
 215       Ret.push_back(createObjectFile(*File));
 216
 217   return Ret;
 218 }