contrib/llvm/lib/ExecutionEngine/Orc/OrcMCJITReplacement.h

   1 //===- OrcMCJITReplacement.h - Orc based MCJIT replacement ------*- C++ -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // Orc based MCJIT replacement.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #ifndef LLVM_LIB_EXECUTIONENGINE_ORC_ORCMCJITREPLACEMENT_H
  15 #define LLVM_LIB_EXECUTIONENGINE_ORC_ORCMCJITREPLACEMENT_H
  16
  17 #include "llvm/ADT/ArrayRef.h"
  18 #include "llvm/ADT/STLExtras.h"
  19 #include "llvm/ADT/StringRef.h"
  20 #include "llvm/ExecutionEngine/ExecutionEngine.h"
  21 #include "llvm/ExecutionEngine/GenericValue.h"
  22 #include "llvm/ExecutionEngine/JITSymbol.h"
  23 #include "llvm/ExecutionEngine/Orc/CompileUtils.h"
  24 #include "llvm/ExecutionEngine/Orc/IRCompileLayer.h"
  25 #include "llvm/ExecutionEngine/Orc/LazyEmittingLayer.h"
  26 #include "llvm/ExecutionEngine/Orc/RTDyldObjectLinkingLayer.h"
  27 #include "llvm/ExecutionEngine/RTDyldMemoryManager.h"
  28 #include "llvm/ExecutionEngine/RuntimeDyld.h"
  29 #include "llvm/IR/DataLayout.h"
  30 #include "llvm/IR/Function.h"
  31 #include "llvm/IR/Mangler.h"
  32 #include "llvm/IR/Module.h"
  33 #include "llvm/Object/Archive.h"
  34 #include "llvm/Object/Binary.h"
  35 #include "llvm/Object/ObjectFile.h"
  36 #include "llvm/Support/Error.h"
  37 #include "llvm/Support/ErrorHandling.h"
  38 #include "llvm/Support/raw_ostream.h"
  39 #include "llvm/Target/TargetMachine.h"
  40 #include <algorithm>
  41 #include <cassert>
  42 #include <cstddef>
  43 #include <cstdint>
  44 #include <map>
  45 #include <memory>
  46 #include <set>
  47 #include <string>
  48 #include <vector>
  49
  50 namespace llvm {
  51
  52 class ObjectCache;
  53
  54 namespace orc {
  55
  56 class OrcMCJITReplacement : public ExecutionEngine {
  57   // OrcMCJITReplacement needs to do a little extra book-keeping to ensure that
  58   // Orc's automatic finalization doesn't kick in earlier than MCJIT clients are
  59   // expecting - see finalizeMemory.
  60   class MCJITReplacementMemMgr : public MCJITMemoryManager {
  61   public:
  62     MCJITReplacementMemMgr(OrcMCJITReplacement &M,
  63                            std::shared_ptr<MCJITMemoryManager> ClientMM)
  64       : M(M), ClientMM(std::move(ClientMM)) {}
  65
  66     uint8_t *allocateCodeSection(uintptr_t Size, unsigned Alignment,
  67                                  unsigned SectionID,
  68                                  StringRef SectionName) override {
  69       uint8_t *Addr =
  70           ClientMM->allocateCodeSection(Size, Alignment, SectionID,
  71                                         SectionName);
  72       M.SectionsAllocatedSinceLastLoad.insert(Addr);
  73       return Addr;
  74     }
  75
  76     uint8_t *allocateDataSection(uintptr_t Size, unsigned Alignment,
  77                                  unsigned SectionID, StringRef SectionName,
  78                                  bool IsReadOnly) override {
  79       uint8_t *Addr = ClientMM->allocateDataSection(Size, Alignment, SectionID,
  80                                                     SectionName, IsReadOnly);
  81       M.SectionsAllocatedSinceLastLoad.insert(Addr);
  82       return Addr;
  83     }
  84
  85     void reserveAllocationSpace(uintptr_t CodeSize, uint32_t CodeAlign,
  86                                 uintptr_t RODataSize, uint32_t RODataAlign,
  87                                 uintptr_t RWDataSize,
  88                                 uint32_t RWDataAlign) override {
  89       return ClientMM->reserveAllocationSpace(CodeSize, CodeAlign,
  90                                               RODataSize, RODataAlign,
  91                                               RWDataSize, RWDataAlign);
  92     }
  93
  94     bool needsToReserveAllocationSpace() override {
  95       return ClientMM->needsToReserveAllocationSpace();
  96     }
  97
  98     void registerEHFrames(uint8_t *Addr, uint64_t LoadAddr,
  99                           size_t Size) override {
 100       return ClientMM->registerEHFrames(Addr, LoadAddr, Size);
 101     }
 102
 103     void deregisterEHFrames() override {
 104       return ClientMM->deregisterEHFrames();
 105     }
 106
 107     void notifyObjectLoaded(RuntimeDyld &RTDyld,
 108                             const object::ObjectFile &O) override {
 109       return ClientMM->notifyObjectLoaded(RTDyld, O);
 110     }
 111
 112     void notifyObjectLoaded(ExecutionEngine *EE,
 113                             const object::ObjectFile &O) override {
 114       return ClientMM->notifyObjectLoaded(EE, O);
 115     }
 116
 117     bool finalizeMemory(std::string *ErrMsg = nullptr) override {
 118       // Each set of objects loaded will be finalized exactly once, but since
 119       // symbol lookup during relocation may recursively trigger the
 120       // loading/relocation of other modules, and since we're forwarding all
 121       // finalizeMemory calls to a single underlying memory manager, we need to
 122       // defer forwarding the call on until all necessary objects have been
 123       // loaded. Otherwise, during the relocation of a leaf object, we will end
 124       // up finalizing memory, causing a crash further up the stack when we
 125       // attempt to apply relocations to finalized memory.
 126       // To avoid finalizing too early, look at how many objects have been
 127       // loaded but not yet finalized. This is a bit of a hack that relies on
 128       // the fact that we're lazily emitting object files: The only way you can
 129       // get more than one set of objects loaded but not yet finalized is if
 130       // they were loaded during relocation of another set.
 131       if (M.UnfinalizedSections.size() == 1)
 132         return ClientMM->finalizeMemory(ErrMsg);
 133       return false;
 134     }
 135
 136   private:
 137     OrcMCJITReplacement &M;
 138     std::shared_ptr<MCJITMemoryManager> ClientMM;
 139   };
 140
 141   class LinkingResolver : public JITSymbolResolver {
 142   public:
 143     LinkingResolver(OrcMCJITReplacement &M) : M(M) {}
 144
 145     JITSymbol findSymbol(const std::string &Name) override {
 146       return M.ClientResolver->findSymbol(Name);
 147     }
 148
 149     JITSymbol findSymbolInLogicalDylib(const std::string &Name) override {
 150       if (auto Sym = M.findMangledSymbol(Name))
 151         return Sym;
 152       return M.ClientResolver->findSymbolInLogicalDylib(Name);
 153     }
 154
 155   private:
 156     OrcMCJITReplacement &M;
 157   };
 158
 159 private:
 160   static ExecutionEngine *
 161   createOrcMCJITReplacement(std::string *ErrorMsg,
 162                             std::shared_ptr<MCJITMemoryManager> MemMgr,
 163                             std::shared_ptr<JITSymbolResolver> Resolver,
 164                             std::unique_ptr<TargetMachine> TM) {
 165     return new OrcMCJITReplacement(std::move(MemMgr), std::move(Resolver),
 166                                    std::move(TM));
 167   }
 168
 169 public:
 170   OrcMCJITReplacement(
 171       std::shared_ptr<MCJITMemoryManager> MemMgr,
 172       std::shared_ptr<JITSymbolResolver> ClientResolver,
 173       std::unique_ptr<TargetMachine> TM)
 174       : ExecutionEngine(TM->createDataLayout()), TM(std::move(TM)),
 175         MemMgr(*this, std::move(MemMgr)), Resolver(*this),
 176         ClientResolver(std::move(ClientResolver)), NotifyObjectLoaded(*this),
 177         NotifyFinalized(*this),
 178         ObjectLayer(NotifyObjectLoaded, NotifyFinalized),
 179         CompileLayer(ObjectLayer, SimpleCompiler(*this->TM)),
 180         LazyEmitLayer(CompileLayer) {}
 181
 182   static void Register() {
 183     OrcMCJITReplacementCtor = createOrcMCJITReplacement;
 184   }
 185
 186   void addModule(std::unique_ptr<Module> M) override {
 187     // If this module doesn't have a DataLayout attached then attach the
 188     // default.
 189     if (M->getDataLayout().isDefault()) {
 190       M->setDataLayout(getDataLayout());
 191     } else {
 192       assert(M->getDataLayout() == getDataLayout() && "DataLayout Mismatch");
 193     }
 194     auto *MPtr = M.release();
 195     ShouldDelete[MPtr] = true;
 196     auto Deleter = [this](Module *Mod) {
 197       auto I = ShouldDelete.find(Mod);
 198       if (I != ShouldDelete.end() && I->second)
 199         delete Mod;
 200     };
 201     LocalModules.push_back(std::shared_ptr<Module>(MPtr, std::move(Deleter)));
 202     LazyEmitLayer.addModule(LocalModules.back(), &MemMgr, &Resolver);
 203   }
 204
 205   void addObjectFile(std::unique_ptr<object::ObjectFile> O) override {
 206     auto Obj =
 207       std::make_shared<object::OwningBinary<object::ObjectFile>>(std::move(O),
 208                                                                  nullptr);
 209     ObjectLayer.addObject(std::move(Obj), &MemMgr, &Resolver);
 210   }
 211
 212   void addObjectFile(object::OwningBinary<object::ObjectFile> O) override {
 213     auto Obj =
 214       std::make_shared<object::OwningBinary<object::ObjectFile>>(std::move(O));
 215     ObjectLayer.addObject(std::move(Obj), &MemMgr, &Resolver);
 216   }
 217
 218   void addArchive(object::OwningBinary<object::Archive> A) override {
 219     Archives.push_back(std::move(A));
 220   }
 221
 222   bool removeModule(Module *M) override {
 223     for (auto I = LocalModules.begin(), E = LocalModules.end(); I != E; ++I) {
 224       if (I->get() == M) {
 225         ShouldDelete[M] = false;
 226         LocalModules.erase(I);
 227         return true;
 228       }
 229     }
 230     return false;
 231   }
 232
 233   uint64_t getSymbolAddress(StringRef Name) {
 234     return findSymbol(Name).getAddress();
 235   }
 236
 237   JITSymbol findSymbol(StringRef Name) {
 238     return findMangledSymbol(Mangle(Name));
 239   }
 240
 241   void finalizeObject() override {
 242     // This is deprecated - Aim to remove in ExecutionEngine.
 243     // REMOVE IF POSSIBLE - Doesn't make sense for New JIT.
 244   }
 245
 246   void mapSectionAddress(const void *LocalAddress,
 247                          uint64_t TargetAddress) override {
 248     for (auto &P : UnfinalizedSections)
 249       if (P.second.count(LocalAddress))
 250         ObjectLayer.mapSectionAddress(P.first, LocalAddress, TargetAddress);
 251   }
 252
 253   uint64_t getGlobalValueAddress(const std::string &Name) override {
 254     return getSymbolAddress(Name);
 255   }
 256
 257   uint64_t getFunctionAddress(const std::string &Name) override {
 258     return getSymbolAddress(Name);
 259   }
 260
 261   void *getPointerToFunction(Function *F) override {
 262     uint64_t FAddr = getSymbolAddress(F->getName());
 263     return reinterpret_cast<void *>(static_cast<uintptr_t>(FAddr));
 264   }
 265
 266   void *getPointerToNamedFunction(StringRef Name,
 267                                   bool AbortOnFailure = true) override {
 268     uint64_t Addr = getSymbolAddress(Name);
 269     if (!Addr && AbortOnFailure)
 270       llvm_unreachable("Missing symbol!");
 271     return reinterpret_cast<void *>(static_cast<uintptr_t>(Addr));
 272   }
 273
 274   GenericValue runFunction(Function *F,
 275                            ArrayRef<GenericValue> ArgValues) override;
 276
 277   void setObjectCache(ObjectCache *NewCache) override {
 278     CompileLayer.getCompiler().setObjectCache(NewCache);
 279   }
 280
 281   void setProcessAllSections(bool ProcessAllSections) override {
 282     ObjectLayer.setProcessAllSections(ProcessAllSections);
 283   }
 284
 285   void runStaticConstructorsDestructors(bool isDtors) override;
 286
 287 private:
 288   JITSymbol findMangledSymbol(StringRef Name) {
 289     if (auto Sym = LazyEmitLayer.findSymbol(Name, false))
 290       return Sym;
 291     if (auto Sym = ClientResolver->findSymbol(Name))
 292       return Sym;
 293     if (auto Sym = scanArchives(Name))
 294       return Sym;
 295
 296     return nullptr;
 297   }
 298
 299   JITSymbol scanArchives(StringRef Name) {
 300     for (object::OwningBinary<object::Archive> &OB : Archives) {
 301       object::Archive *A = OB.getBinary();
 302       // Look for our symbols in each Archive
 303       auto OptionalChildOrErr = A->findSym(Name);
 304       if (!OptionalChildOrErr)
 305         report_fatal_error(OptionalChildOrErr.takeError());
 306       auto &OptionalChild = *OptionalChildOrErr;
 307       if (OptionalChild) {
 308         // FIXME: Support nested archives?
 309         Expected<std::unique_ptr<object::Binary>> ChildBinOrErr =
 310             OptionalChild->getAsBinary();
 311         if (!ChildBinOrErr) {
 312           // TODO: Actually report errors helpfully.
 313           consumeError(ChildBinOrErr.takeError());
 314           continue;
 315         }
 316         std::unique_ptr<object::Binary> &ChildBin = ChildBinOrErr.get();
 317         if (ChildBin->isObject()) {
 318           std::unique_ptr<object::ObjectFile> ChildObj(
 319             static_cast<object::ObjectFile*>(ChildBinOrErr->release()));
 320           auto Obj =
 321             std::make_shared<object::OwningBinary<object::ObjectFile>>(
 322               std::move(ChildObj), nullptr);
 323           ObjectLayer.addObject(std::move(Obj), &MemMgr, &Resolver);
 324           if (auto Sym = ObjectLayer.findSymbol(Name, true))
 325             return Sym;
 326         }
 327       }
 328     }
 329     return nullptr;
 330   }
 331
 332   class NotifyObjectLoadedT {
 333   public:
 334     using LoadedObjInfoListT =
 335         std::vector<std::unique_ptr<RuntimeDyld::LoadedObjectInfo>>;
 336
 337     NotifyObjectLoadedT(OrcMCJITReplacement &M) : M(M) {}
 338
 339     void operator()(RTDyldObjectLinkingLayerBase::ObjHandleT H,
 340                     const RTDyldObjectLinkingLayer::ObjectPtr &Obj,
 341                     const LoadedObjectInfo &Info) const {
 342       M.UnfinalizedSections[H] = std::move(M.SectionsAllocatedSinceLastLoad);
 343       M.SectionsAllocatedSinceLastLoad = SectionAddrSet();
 344       M.MemMgr.notifyObjectLoaded(&M, *Obj->getBinary());
 345     }
 346   private:
 347     OrcMCJITReplacement &M;
 348   };
 349
 350   class NotifyFinalizedT {
 351   public:
 352     NotifyFinalizedT(OrcMCJITReplacement &M) : M(M) {}
 353
 354     void operator()(RTDyldObjectLinkingLayerBase::ObjHandleT H) {
 355       M.UnfinalizedSections.erase(H);
 356     }
 357
 358   private:
 359     OrcMCJITReplacement &M;
 360   };
 361
 362   std::string Mangle(StringRef Name) {
 363     std::string MangledName;
 364     {
 365       raw_string_ostream MangledNameStream(MangledName);
 366       Mang.getNameWithPrefix(MangledNameStream, Name, getDataLayout());
 367     }
 368     return MangledName;
 369   }
 370
 371   using ObjectLayerT = RTDyldObjectLinkingLayer;
 372   using CompileLayerT = IRCompileLayer<ObjectLayerT, orc::SimpleCompiler>;
 373   using LazyEmitLayerT = LazyEmittingLayer<CompileLayerT>;
 374
 375   std::unique_ptr<TargetMachine> TM;
 376   MCJITReplacementMemMgr MemMgr;
 377   LinkingResolver Resolver;
 378   std::shared_ptr<JITSymbolResolver> ClientResolver;
 379   Mangler Mang;
 380
 381   NotifyObjectLoadedT NotifyObjectLoaded;
 382   NotifyFinalizedT NotifyFinalized;
 383
 384   ObjectLayerT ObjectLayer;
 385   CompileLayerT CompileLayer;
 386   LazyEmitLayerT LazyEmitLayer;
 387
 388   // We need to store ObjLayerT::ObjSetHandles for each of the object sets
 389   // that have been emitted but not yet finalized so that we can forward the
 390   // mapSectionAddress calls appropriately.
 391   using SectionAddrSet = std::set<const void *>;
 392   struct ObjHandleCompare {
 393     bool operator()(ObjectLayerT::ObjHandleT H1,
 394                     ObjectLayerT::ObjHandleT H2) const {
 395       return &*H1 < &*H2;
 396     }
 397   };
 398   SectionAddrSet SectionsAllocatedSinceLastLoad;
 399   std::map<ObjectLayerT::ObjHandleT, SectionAddrSet, ObjHandleCompare>
 400       UnfinalizedSections;
 401
 402   std::map<Module*, bool> ShouldDelete;
 403   std::vector<std::shared_ptr<Module>> LocalModules;
 404   std::vector<object::OwningBinary<object::Archive>> Archives;
 405 };
 406
 407 } // end namespace orc
 408
 409 } // end namespace llvm
 410
 411 #endif // LLVM_LIB_EXECUTIONENGINE_ORC_MCJITREPLACEMENT_H