lib/ExecutionEngine/Orc/OrcMCJITReplacement.h

   1 //===---- OrcMCJITReplacement.h - Orc based MCJIT replacement ---*- C++ -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // Orc based MCJIT replacement.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #ifndef LLVM_LIB_EXECUTIONENGINE_ORC_ORCMCJITREPLACEMENT_H
  15 #define LLVM_LIB_EXECUTIONENGINE_ORC_ORCMCJITREPLACEMENT_H
  16
  17 #include "llvm/ExecutionEngine/ExecutionEngine.h"
  18 #include "llvm/ExecutionEngine/Orc/CompileUtils.h"
  19 #include "llvm/ExecutionEngine/Orc/IRCompileLayer.h"
  20 #include "llvm/ExecutionEngine/Orc/LazyEmittingLayer.h"
  21 #include "llvm/ExecutionEngine/Orc/ObjectLinkingLayer.h"
  22 #include "llvm/Object/Archive.h"
  23
  24 namespace llvm {
  25
  26 class OrcMCJITReplacement : public ExecutionEngine {
  27
  28   class ForwardingRTDyldMM : public RTDyldMemoryManager {
  29   public:
  30     ForwardingRTDyldMM(OrcMCJITReplacement &M) : M(M) {}
  31
  32     uint8_t *allocateCodeSection(uintptr_t Size, unsigned Alignment,
  33                                  unsigned SectionID,
  34                                  StringRef SectionName) override {
  35       uint8_t *Addr =
  36           M.MM->allocateCodeSection(Size, Alignment, SectionID, SectionName);
  37       M.SectionsAllocatedSinceLastLoad.insert(Addr);
  38       return Addr;
  39     }
  40
  41     uint8_t *allocateDataSection(uintptr_t Size, unsigned Alignment,
  42                                  unsigned SectionID, StringRef SectionName,
  43                                  bool IsReadOnly) override {
  44       uint8_t *Addr = M.MM->allocateDataSection(Size, Alignment, SectionID,
  45                                                 SectionName, IsReadOnly);
  46       M.SectionsAllocatedSinceLastLoad.insert(Addr);
  47       return Addr;
  48     }
  49
  50     void reserveAllocationSpace(uintptr_t CodeSize, uintptr_t DataSizeRO,
  51                                 uintptr_t DataSizeRW) override {
  52       return M.MM->reserveAllocationSpace(CodeSize, DataSizeRO, DataSizeRW);
  53     }
  54
  55     bool needsToReserveAllocationSpace() override {
  56       return M.MM->needsToReserveAllocationSpace();
  57     }
  58
  59     void registerEHFrames(uint8_t *Addr, uint64_t LoadAddr,
  60                           size_t Size) override {
  61       return M.MM->registerEHFrames(Addr, LoadAddr, Size);
  62     }
  63
  64     void deregisterEHFrames(uint8_t *Addr, uint64_t LoadAddr,
  65                             size_t Size) override {
  66       return M.MM->deregisterEHFrames(Addr, LoadAddr, Size);
  67     }
  68
  69     uint64_t getSymbolAddress(const std::string &Name) override {
  70       return M.getSymbolAddressWithoutMangling(Name);
  71     }
  72
  73     void *getPointerToNamedFunction(const std::string &Name,
  74                                     bool AbortOnFailure = true) override {
  75       return M.MM->getPointerToNamedFunction(Name, AbortOnFailure);
  76     }
  77
  78     void notifyObjectLoaded(ExecutionEngine *EE,
  79                             const object::ObjectFile &O) override {
  80       return M.MM->notifyObjectLoaded(EE, O);
  81     }
  82
  83     bool finalizeMemory(std::string *ErrMsg = nullptr) override {
  84       // Each set of objects loaded will be finalized exactly once, but since
  85       // symbol lookup during relocation may recursively trigger the
  86       // loading/relocation of other modules, and since we're forwarding all
  87       // finalizeMemory calls to a single underlying memory manager, we need to
  88       // defer forwarding the call on until all necessary objects have been
  89       // loaded. Otherwise, during the relocation of a leaf object, we will end
  90       // up finalizing memory, causing a crash further up the stack when we
  91       // attempt to apply relocations to finalized memory.
  92       // To avoid finalizing too early, look at how many objects have been
  93       // loaded but not yet finalized. This is a bit of a hack that relies on
  94       // the fact that we're lazily emitting object files: The only way you can
  95       // get more than one set of objects loaded but not yet finalized is if
  96       // they were loaded during relocation of another set.
  97       if (M.UnfinalizedSections.size() == 1)
  98         return M.MM->finalizeMemory(ErrMsg);
  99       return false;
 100     }
 101
 102   private:
 103     OrcMCJITReplacement &M;
 104   };
 105
 106 private:
 107   static ExecutionEngine *
 108   createOrcMCJITReplacement(std::string *ErrorMsg,
 109                             std::unique_ptr<RTDyldMemoryManager> OrcJMM,
 110                             std::unique_ptr<llvm::TargetMachine> TM) {
 111     return new llvm::OrcMCJITReplacement(std::move(OrcJMM), std::move(TM));
 112   }
 113
 114 public:
 115   static void Register() {
 116     OrcMCJITReplacementCtor = createOrcMCJITReplacement;
 117   }
 118
 119   OrcMCJITReplacement(std::unique_ptr<RTDyldMemoryManager> MM,
 120                       std::unique_ptr<TargetMachine> TM)
 121       : TM(std::move(TM)), MM(std::move(MM)), Mang(this->TM->getDataLayout()),
 122         NotifyObjectLoaded(*this), NotifyFinalized(*this),
 123         ObjectLayer(ObjectLayerT::CreateRTDyldMMFtor(), NotifyObjectLoaded,
 124                     NotifyFinalized),
 125         CompileLayer(ObjectLayer, SimpleCompiler(*this->TM)),
 126         LazyEmitLayer(CompileLayer) {
 127     setDataLayout(this->TM->getDataLayout());
 128   }
 129
 130   void addModule(std::unique_ptr<Module> M) override {
 131
 132     // If this module doesn't have a DataLayout attached then attach the
 133     // default.
 134     if (!M->getDataLayout())
 135       M->setDataLayout(getDataLayout());
 136
 137     OwnedModules.push_back(std::move(M));
 138     std::vector<Module *> Ms;
 139     Ms.push_back(&*OwnedModules.back());
 140     LazyEmitLayer.addModuleSet(std::move(Ms),
 141                                llvm::make_unique<ForwardingRTDyldMM>(*this));
 142   }
 143
 144   void addObjectFile(std::unique_ptr<object::ObjectFile> O) override {
 145     std::vector<std::unique_ptr<object::ObjectFile>> Objs;
 146     Objs.push_back(std::move(O));
 147     ObjectLayer.addObjectSet(std::move(Objs),
 148                              llvm::make_unique<ForwardingRTDyldMM>(*this));
 149   }
 150
 151   void addObjectFile(object::OwningBinary<object::ObjectFile> O) override {
 152     std::unique_ptr<object::ObjectFile> Obj;
 153     std::unique_ptr<MemoryBuffer> Buf;
 154     std::tie(Obj, Buf) = O.takeBinary();
 155     std::vector<std::unique_ptr<object::ObjectFile>> Objs;
 156     Objs.push_back(std::move(Obj));
 157     ObjectLayer.addObjectSet(std::move(Objs),
 158                              llvm::make_unique<ForwardingRTDyldMM>(*this));
 159   }
 160
 161   void addArchive(object::OwningBinary<object::Archive> A) override {
 162     Archives.push_back(std::move(A));
 163   }
 164
 165   uint64_t getSymbolAddress(StringRef Name) {
 166     return getSymbolAddressWithoutMangling(Mangle(Name));
 167   }
 168
 169   void finalizeObject() override {
 170     // This is deprecated - Aim to remove in ExecutionEngine.
 171     // REMOVE IF POSSIBLE - Doesn't make sense for New JIT.
 172   }
 173
 174   void mapSectionAddress(const void *LocalAddress,
 175                          uint64_t TargetAddress) override {
 176     for (auto &P : UnfinalizedSections)
 177       if (P.second.count(LocalAddress))
 178         ObjectLayer.mapSectionAddress(P.first, LocalAddress, TargetAddress);
 179   }
 180
 181   uint64_t getGlobalValueAddress(const std::string &Name) override {
 182     return getSymbolAddress(Name);
 183   }
 184
 185   uint64_t getFunctionAddress(const std::string &Name) override {
 186     return getSymbolAddress(Name);
 187   }
 188
 189   void *getPointerToFunction(Function *F) override {
 190     uint64_t FAddr = getSymbolAddress(F->getName());
 191     return reinterpret_cast<void *>(static_cast<uintptr_t>(FAddr));
 192   }
 193
 194   void *getPointerToNamedFunction(StringRef Name,
 195                                   bool AbortOnFailure = true) override {
 196     uint64_t Addr = getSymbolAddress(Name);
 197     if (!Addr && AbortOnFailure)
 198       llvm_unreachable("Missing symbol!");
 199     return reinterpret_cast<void *>(static_cast<uintptr_t>(Addr));
 200   }
 201
 202   GenericValue runFunction(Function *F,
 203                            const std::vector<GenericValue> &ArgValues) override;
 204
 205   void setObjectCache(ObjectCache *NewCache) override {
 206     CompileLayer.setObjectCache(NewCache);
 207   }
 208
 209 private:
 210   uint64_t getSymbolAddressWithoutMangling(StringRef Name) {
 211     if (uint64_t Addr = LazyEmitLayer.getSymbolAddress(Name, false))
 212       return Addr;
 213     if (uint64_t Addr = MM->getSymbolAddress(Name))
 214       return Addr;
 215     if (uint64_t Addr = scanArchives(Name))
 216       return Addr;
 217
 218     return 0;
 219   }
 220
 221   uint64_t scanArchives(StringRef Name) {
 222     for (object::OwningBinary<object::Archive> &OB : Archives) {
 223       object::Archive *A = OB.getBinary();
 224       // Look for our symbols in each Archive
 225       object::Archive::child_iterator ChildIt = A->findSym(Name);
 226       if (ChildIt != A->child_end()) {
 227         // FIXME: Support nested archives?
 228         ErrorOr<std::unique_ptr<object::Binary>> ChildBinOrErr =
 229             ChildIt->getAsBinary();
 230         if (ChildBinOrErr.getError())
 231           continue;
 232         std::unique_ptr<object::Binary> &ChildBin = ChildBinOrErr.get();
 233         if (ChildBin->isObject()) {
 234           std::vector<std::unique_ptr<object::ObjectFile>> ObjSet;
 235           ObjSet.push_back(std::unique_ptr<object::ObjectFile>(
 236               static_cast<object::ObjectFile *>(ChildBin.release())));
 237           ObjectLayer.addObjectSet(
 238               std::move(ObjSet), llvm::make_unique<ForwardingRTDyldMM>(*this));
 239           if (uint64_t Addr = ObjectLayer.getSymbolAddress(Name, true))
 240             return Addr;
 241         }
 242       }
 243     }
 244     return 0;
 245   }
 246
 247   class NotifyObjectLoadedT {
 248   public:
 249     typedef std::vector<std::unique_ptr<object::ObjectFile>> ObjListT;
 250     typedef std::vector<std::unique_ptr<RuntimeDyld::LoadedObjectInfo>>
 251         LoadedObjInfoListT;
 252
 253     NotifyObjectLoadedT(OrcMCJITReplacement &M) : M(M) {}
 254
 255     void operator()(ObjectLinkingLayerBase::ObjSetHandleT H,
 256                     const ObjListT &Objects,
 257                     const LoadedObjInfoListT &Infos) const {
 258       M.UnfinalizedSections[H] = std::move(M.SectionsAllocatedSinceLastLoad);
 259       M.SectionsAllocatedSinceLastLoad = SectionAddrSet();
 260       assert(Objects.size() == Infos.size() &&
 261              "Incorrect number of Infos for Objects.");
 262       for (unsigned I = 0; I < Objects.size(); ++I)
 263         M.MM->notifyObjectLoaded(&M, *Objects[I]);
 264     };
 265
 266   private:
 267     OrcMCJITReplacement &M;
 268   };
 269
 270   class NotifyFinalizedT {
 271   public:
 272     NotifyFinalizedT(OrcMCJITReplacement &M) : M(M) {}
 273     void operator()(ObjectLinkingLayerBase::ObjSetHandleT H) {
 274       M.UnfinalizedSections.erase(H);
 275     }
 276
 277   private:
 278     OrcMCJITReplacement &M;
 279   };
 280
 281   std::string Mangle(StringRef Name) {
 282     std::string MangledName;
 283     {
 284       raw_string_ostream MangledNameStream(MangledName);
 285       Mang.getNameWithPrefix(MangledNameStream, Name);
 286     }
 287     return MangledName;
 288   }
 289
 290   typedef ObjectLinkingLayer<NotifyObjectLoadedT> ObjectLayerT;
 291   typedef IRCompileLayer<ObjectLayerT> CompileLayerT;
 292   typedef LazyEmittingLayer<CompileLayerT> LazyEmitLayerT;
 293
 294   std::unique_ptr<TargetMachine> TM;
 295   std::unique_ptr<RTDyldMemoryManager> MM;
 296   Mangler Mang;
 297
 298   NotifyObjectLoadedT NotifyObjectLoaded;
 299   NotifyFinalizedT NotifyFinalized;
 300
 301   ObjectLayerT ObjectLayer;
 302   CompileLayerT CompileLayer;
 303   LazyEmitLayerT LazyEmitLayer;
 304
 305   // MCJIT keeps modules alive - we need to do the same for backwards
 306   // compatibility.
 307   std::vector<std::unique_ptr<Module>> OwnedModules;
 308
 309   // We need to store ObjLayerT::ObjSetHandles for each of the object sets
 310   // that have been emitted but not yet finalized so that we can forward the
 311   // mapSectionAddress calls appropriately.
 312   typedef std::set<const void *> SectionAddrSet;
 313   struct ObjSetHandleCompare {
 314     bool operator()(ObjectLayerT::ObjSetHandleT H1,
 315                     ObjectLayerT::ObjSetHandleT H2) const {
 316       return &*H1 < &*H2;
 317     }
 318   };
 319   SectionAddrSet SectionsAllocatedSinceLastLoad;
 320   std::map<ObjectLayerT::ObjSetHandleT, SectionAddrSet, ObjSetHandleCompare>
 321       UnfinalizedSections;
 322
 323   std::vector<object::OwningBinary<object::Archive>> Archives;
 324 };
 325 }
 326
 327 #endif // LLVM_LIB_EXECUTIONENGINE_ORC_MCJITREPLACEMENT_H