lib/ExecutionEngine/MCJIT/MCJIT.cpp

   1 //===-- MCJIT.cpp - MC-based Just-in-Time Compiler ------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "MCJIT.h"
  11 #include "llvm/ExecutionEngine/GenericValue.h"
  12 #include "llvm/ExecutionEngine/JITEventListener.h"
  13 #include "llvm/ExecutionEngine/JITMemoryManager.h"
  14 #include "llvm/ExecutionEngine/MCJIT.h"
  15 #include "llvm/ExecutionEngine/ObjectBuffer.h"
  16 #include "llvm/ExecutionEngine/ObjectImage.h"
  17 #include "llvm/ExecutionEngine/SectionMemoryManager.h"
  18 #include "llvm/IR/DataLayout.h"
  19 #include "llvm/IR/DerivedTypes.h"
  20 #include "llvm/IR/Function.h"
  21 #include "llvm/IR/Mangler.h"
  22 #include "llvm/IR/Module.h"
  23 #include "llvm/MC/MCAsmInfo.h"
  24 #include "llvm/Object/Archive.h"
  25 #include "llvm/PassManager.h"
  26 #include "llvm/Support/DynamicLibrary.h"
  27 #include "llvm/Support/ErrorHandling.h"
  28 #include "llvm/Support/MemoryBuffer.h"
  29 #include "llvm/Support/MutexGuard.h"
  30 #include "llvm/Target/TargetLowering.h"
  31 #include "llvm/Target/TargetSubtargetInfo.h"
  32
  33 using namespace llvm;
  34
  35 namespace {
  36
  37 static struct RegisterJIT {
  38   RegisterJIT() { MCJIT::Register(); }
  39 } JITRegistrator;
  40
  41 }
  42
  43 extern "C" void LLVMLinkInMCJIT() {
  44 }
  45
  46 ExecutionEngine *MCJIT::createJIT(std::unique_ptr<Module> M,
  47                                   std::string *ErrorStr,
  48                                   RTDyldMemoryManager *MemMgr,
  49                                   std::unique_ptr<TargetMachine> TM) {
  50   // Try to register the program as a source of symbols to resolve against.
  51   //
  52   // FIXME: Don't do this here.
  53   sys::DynamicLibrary::LoadLibraryPermanently(nullptr, nullptr);
  54
  55   return new MCJIT(std::move(M), std::move(TM),
  56                    MemMgr ? MemMgr : new SectionMemoryManager());
  57 }
  58
  59 MCJIT::MCJIT(std::unique_ptr<Module> M, std::unique_ptr<TargetMachine> tm,
  60              RTDyldMemoryManager *MM)
  61     : ExecutionEngine(std::move(M)), TM(std::move(tm)), Ctx(nullptr),
  62       MemMgr(this, MM), Dyld(&MemMgr), ObjCache(nullptr) {
  63   // FIXME: We are managing our modules, so we do not want the base class
  64   // ExecutionEngine to manage them as well. To avoid double destruction
  65   // of the first (and only) module added in ExecutionEngine constructor
  66   // we remove it from EE and will destruct it ourselves.
  67   //
  68   // It may make sense to move our module manager (based on SmallStPtr) back
  69   // into EE if the JIT and Interpreter can live with it.
  70   // If so, additional functions: addModule, removeModule, FindFunctionNamed,
  71   // runStaticConstructorsDestructors could be moved back to EE as well.
  72   //
  73   std::unique_ptr<Module> First = std::move(Modules[0]);
  74   Modules.clear();
  75
  76   OwnedModules.addModule(std::move(First));
  77   setDataLayout(TM->getSubtargetImpl()->getDataLayout());
  78 }
  79
  80 MCJIT::~MCJIT() {
  81   MutexGuard locked(lock);
  82
  83   Dyld.deregisterEHFrames();
  84
  85   for (auto &Obj : LoadedObjects)
  86     if (Obj)
  87       NotifyFreeingObject(*Obj);
  88
  89   Archives.clear();
  90 }
  91
  92 void MCJIT::addModule(std::unique_ptr<Module> M) {
  93   MutexGuard locked(lock);
  94   OwnedModules.addModule(std::move(M));
  95 }
  96
  97 bool MCJIT::removeModule(Module *M) {
  98   MutexGuard locked(lock);
  99   return OwnedModules.removeModule(M);
 100 }
 101
 102 void MCJIT::addObjectFile(std::unique_ptr<object::ObjectFile> Obj) {
 103   std::unique_ptr<ObjectImage> LoadedObject = Dyld.loadObject(std::move(Obj));
 104   if (!LoadedObject || Dyld.hasError())
 105     report_fatal_error(Dyld.getErrorString());
 106
 107   NotifyObjectEmitted(*LoadedObject);
 108
 109   LoadedObjects.push_back(std::move(LoadedObject));
 110 }
 111
 112 void MCJIT::addObjectFile(object::OwningBinary<object::ObjectFile> Obj) {
 113   addObjectFile(std::move(Obj.getBinary()));
 114   Buffers.push_back(std::move(Obj.getBuffer()));
 115 }
 116
 117 void MCJIT::addArchive(object::OwningBinary<object::Archive> A) {
 118   Archives.push_back(std::move(A));
 119 }
 120
 121 void MCJIT::setObjectCache(ObjectCache* NewCache) {
 122   MutexGuard locked(lock);
 123   ObjCache = NewCache;
 124 }
 125
 126 std::unique_ptr<ObjectBufferStream> MCJIT::emitObject(Module *M) {
 127   MutexGuard locked(lock);
 128
 129   // This must be a module which has already been added but not loaded to this
 130   // MCJIT instance, since these conditions are tested by our caller,
 131   // generateCodeForModule.
 132
 133   PassManager PM;
 134
 135   M->setDataLayout(TM->getSubtargetImpl()->getDataLayout());
 136   PM.add(new DataLayoutPass());
 137
 138   // The RuntimeDyld will take ownership of this shortly
 139   std::unique_ptr<ObjectBufferStream> CompiledObject(new ObjectBufferStream());
 140
 141   // Turn the machine code intermediate representation into bytes in memory
 142   // that may be executed.
 143   if (TM->addPassesToEmitMC(PM, Ctx, CompiledObject->getOStream(),
 144                             !getVerifyModules())) {
 145     report_fatal_error("Target does not support MC emission!");
 146   }
 147
 148   // Initialize passes.
 149   PM.run(*M);
 150   // Flush the output buffer to get the generated code into memory
 151   CompiledObject->flush();
 152
 153   // If we have an object cache, tell it about the new object.
 154   // Note that we're using the compiled image, not the loaded image (as below).
 155   if (ObjCache) {
 156     // MemoryBuffer is a thin wrapper around the actual memory, so it's OK
 157     // to create a temporary object here and delete it after the call.
 158     MemoryBufferRef MB = CompiledObject->getMemBuffer();
 159     ObjCache->notifyObjectCompiled(M, MB);
 160   }
 161
 162   return CompiledObject;
 163 }
 164
 165 void MCJIT::generateCodeForModule(Module *M) {
 166   // Get a thread lock to make sure we aren't trying to load multiple times
 167   MutexGuard locked(lock);
 168
 169   // This must be a module which has already been added to this MCJIT instance.
 170   assert(OwnedModules.ownsModule(M) &&
 171          "MCJIT::generateCodeForModule: Unknown module.");
 172
 173   // Re-compilation is not supported
 174   if (OwnedModules.hasModuleBeenLoaded(M))
 175     return;
 176
 177   std::unique_ptr<ObjectBuffer> ObjectToLoad;
 178   // Try to load the pre-compiled object from cache if possible
 179   if (ObjCache) {
 180     if (std::unique_ptr<MemoryBuffer> PreCompiledObject =
 181             ObjCache->getObject(M))
 182       ObjectToLoad =
 183           llvm::make_unique<ObjectBuffer>(std::move(PreCompiledObject));
 184   }
 185
 186   // If the cache did not contain a suitable object, compile the object
 187   if (!ObjectToLoad) {
 188     ObjectToLoad = emitObject(M);
 189     assert(ObjectToLoad && "Compilation did not produce an object.");
 190   }
 191
 192   // Load the object into the dynamic linker.
 193   // MCJIT now owns the ObjectImage pointer (via its LoadedObjects list).
 194   std::unique_ptr<ObjectImage> LoadedObject =
 195       Dyld.loadObject(std::move(ObjectToLoad));
 196   if (!LoadedObject)
 197     report_fatal_error(Dyld.getErrorString());
 198
 199   // FIXME: Make this optional, maybe even move it to a JIT event listener
 200   LoadedObject->registerWithDebugger();
 201
 202   NotifyObjectEmitted(*LoadedObject);
 203
 204   LoadedObjects.push_back(std::move(LoadedObject));
 205
 206   OwnedModules.markModuleAsLoaded(M);
 207 }
 208
 209 void MCJIT::finalizeLoadedModules() {
 210   MutexGuard locked(lock);
 211
 212   // Resolve any outstanding relocations.
 213   Dyld.resolveRelocations();
 214
 215   OwnedModules.markAllLoadedModulesAsFinalized();
 216
 217   // Register EH frame data for any module we own which has been loaded
 218   Dyld.registerEHFrames();
 219
 220   // Set page permissions.
 221   MemMgr.finalizeMemory();
 222 }
 223
 224 // FIXME: Rename this.
 225 void MCJIT::finalizeObject() {
 226   MutexGuard locked(lock);
 227
 228   // Generate code for module is going to move objects out of the 'added' list,
 229   // so we need to copy that out before using it:
 230   SmallVector<Module*, 16> ModsToAdd;
 231   for (auto M : OwnedModules.added())
 232     ModsToAdd.push_back(M);
 233
 234   for (auto M : ModsToAdd)
 235     generateCodeForModule(M);
 236
 237   finalizeLoadedModules();
 238 }
 239
 240 void MCJIT::finalizeModule(Module *M) {
 241   MutexGuard locked(lock);
 242
 243   // This must be a module which has already been added to this MCJIT instance.
 244   assert(OwnedModules.ownsModule(M) && "MCJIT::finalizeModule: Unknown module.");
 245
 246   // If the module hasn't been compiled, just do that.
 247   if (!OwnedModules.hasModuleBeenLoaded(M))
 248     generateCodeForModule(M);
 249
 250   finalizeLoadedModules();
 251 }
 252
 253 uint64_t MCJIT::getExistingSymbolAddress(const std::string &Name) {
 254   Mangler Mang(TM->getSubtargetImpl()->getDataLayout());
 255   SmallString<128> FullName;
 256   Mang.getNameWithPrefix(FullName, Name);
 257   return Dyld.getSymbolLoadAddress(FullName);
 258 }
 259
 260 Module *MCJIT::findModuleForSymbol(const std::string &Name,
 261                                    bool CheckFunctionsOnly) {
 262   MutexGuard locked(lock);
 263
 264   // If it hasn't already been generated, see if it's in one of our modules.
 265   for (ModulePtrSet::iterator I = OwnedModules.begin_added(),
 266                               E = OwnedModules.end_added();
 267        I != E; ++I) {
 268     Module *M = *I;
 269     Function *F = M->getFunction(Name);
 270     if (F && !F->isDeclaration())
 271       return M;
 272     if (!CheckFunctionsOnly) {
 273       GlobalVariable *G = M->getGlobalVariable(Name);
 274       if (G && !G->isDeclaration())
 275         return M;
 276       // FIXME: Do we need to worry about global aliases?
 277     }
 278   }
 279   // We didn't find the symbol in any of our modules.
 280   return nullptr;
 281 }
 282
 283 uint64_t MCJIT::getSymbolAddress(const std::string &Name,
 284                                  bool CheckFunctionsOnly)
 285 {
 286   MutexGuard locked(lock);
 287
 288   // First, check to see if we already have this symbol.
 289   uint64_t Addr = getExistingSymbolAddress(Name);
 290   if (Addr)
 291     return Addr;
 292
 293   for (object::OwningBinary<object::Archive> &OB : Archives) {
 294     object::Archive *A = OB.getBinary().get();
 295     // Look for our symbols in each Archive
 296     object::Archive::child_iterator ChildIt = A->findSym(Name);
 297     if (ChildIt != A->child_end()) {
 298       // FIXME: Support nested archives?
 299       ErrorOr<std::unique_ptr<object::Binary>> ChildBinOrErr =
 300           ChildIt->getAsBinary();
 301       if (ChildBinOrErr.getError())
 302         continue;
 303       std::unique_ptr<object::Binary> &ChildBin = ChildBinOrErr.get();
 304       if (ChildBin->isObject()) {
 305         std::unique_ptr<object::ObjectFile> OF(
 306             static_cast<object::ObjectFile *>(ChildBin.release()));
 307         // This causes the object file to be loaded.
 308         addObjectFile(std::move(OF));
 309         // The address should be here now.
 310         Addr = getExistingSymbolAddress(Name);
 311         if (Addr)
 312           return Addr;
 313       }
 314     }
 315   }
 316
 317   // If it hasn't already been generated, see if it's in one of our modules.
 318   Module *M = findModuleForSymbol(Name, CheckFunctionsOnly);
 319   if (M) {
 320     generateCodeForModule(M);
 321
 322     // Check the RuntimeDyld table again, it should be there now.
 323     return getExistingSymbolAddress(Name);
 324   }
 325
 326   // If a LazyFunctionCreator is installed, use it to get/create the function.
 327   // FIXME: Should we instead have a LazySymbolCreator callback?
 328   if (LazyFunctionCreator)
 329     Addr = (uint64_t)LazyFunctionCreator(Name);
 330
 331   return Addr;
 332 }
 333
 334 uint64_t MCJIT::getGlobalValueAddress(const std::string &Name) {
 335   MutexGuard locked(lock);
 336   uint64_t Result = getSymbolAddress(Name, false);
 337   if (Result != 0)
 338     finalizeLoadedModules();
 339   return Result;
 340 }
 341
 342 uint64_t MCJIT::getFunctionAddress(const std::string &Name) {
 343   MutexGuard locked(lock);
 344   uint64_t Result = getSymbolAddress(Name, true);
 345   if (Result != 0)
 346     finalizeLoadedModules();
 347   return Result;
 348 }
 349
 350 // Deprecated.  Use getFunctionAddress instead.
 351 void *MCJIT::getPointerToFunction(Function *F) {
 352   MutexGuard locked(lock);
 353
 354   if (F->isDeclaration() || F->hasAvailableExternallyLinkage()) {
 355     bool AbortOnFailure = !F->hasExternalWeakLinkage();
 356     void *Addr = getPointerToNamedFunction(F->getName(), AbortOnFailure);
 357     addGlobalMapping(F, Addr);
 358     return Addr;
 359   }
 360
 361   Module *M = F->getParent();
 362   bool HasBeenAddedButNotLoaded = OwnedModules.hasModuleBeenAddedButNotLoaded(M);
 363
 364   // Make sure the relevant module has been compiled and loaded.
 365   if (HasBeenAddedButNotLoaded)
 366     generateCodeForModule(M);
 367   else if (!OwnedModules.hasModuleBeenLoaded(M))
 368     // If this function doesn't belong to one of our modules, we're done.
 369     return nullptr;
 370
 371   // FIXME: Should the Dyld be retaining module information? Probably not.
 372   //
 373   // This is the accessor for the target address, so make sure to check the
 374   // load address of the symbol, not the local address.
 375   Mangler Mang(TM->getSubtargetImpl()->getDataLayout());
 376   SmallString<128> Name;
 377   TM->getNameWithPrefix(Name, F, Mang);
 378   return (void*)Dyld.getSymbolLoadAddress(Name);
 379 }
 380
 381 void MCJIT::runStaticConstructorsDestructorsInModulePtrSet(
 382     bool isDtors, ModulePtrSet::iterator I, ModulePtrSet::iterator E) {
 383   for (; I != E; ++I) {
 384     ExecutionEngine::runStaticConstructorsDestructors(**I, isDtors);
 385   }
 386 }
 387
 388 void MCJIT::runStaticConstructorsDestructors(bool isDtors) {
 389   // Execute global ctors/dtors for each module in the program.
 390   runStaticConstructorsDestructorsInModulePtrSet(
 391       isDtors, OwnedModules.begin_added(), OwnedModules.end_added());
 392   runStaticConstructorsDestructorsInModulePtrSet(
 393       isDtors, OwnedModules.begin_loaded(), OwnedModules.end_loaded());
 394   runStaticConstructorsDestructorsInModulePtrSet(
 395       isDtors, OwnedModules.begin_finalized(), OwnedModules.end_finalized());
 396 }
 397
 398 Function *MCJIT::FindFunctionNamedInModulePtrSet(const char *FnName,
 399                                                  ModulePtrSet::iterator I,
 400                                                  ModulePtrSet::iterator E) {
 401   for (; I != E; ++I) {
 402     if (Function *F = (*I)->getFunction(FnName))
 403       return F;
 404   }
 405   return nullptr;
 406 }
 407
 408 Function *MCJIT::FindFunctionNamed(const char *FnName) {
 409   Function *F = FindFunctionNamedInModulePtrSet(
 410       FnName, OwnedModules.begin_added(), OwnedModules.end_added());
 411   if (!F)
 412     F = FindFunctionNamedInModulePtrSet(FnName, OwnedModules.begin_loaded(),
 413                                         OwnedModules.end_loaded());
 414   if (!F)
 415     F = FindFunctionNamedInModulePtrSet(FnName, OwnedModules.begin_finalized(),
 416                                         OwnedModules.end_finalized());
 417   return F;
 418 }
 419
 420 GenericValue MCJIT::runFunction(Function *F,
 421                                 const std::vector<GenericValue> &ArgValues) {
 422   assert(F && "Function *F was null at entry to run()");
 423
 424   void *FPtr = getPointerToFunction(F);
 425   assert(FPtr && "Pointer to fn's code was null after getPointerToFunction");
 426   FunctionType *FTy = F->getFunctionType();
 427   Type *RetTy = FTy->getReturnType();
 428
 429   assert((FTy->getNumParams() == ArgValues.size() ||
 430           (FTy->isVarArg() && FTy->getNumParams() <= ArgValues.size())) &&
 431          "Wrong number of arguments passed into function!");
 432   assert(FTy->getNumParams() == ArgValues.size() &&
 433          "This doesn't support passing arguments through varargs (yet)!");
 434
 435   // Handle some common cases first.  These cases correspond to common `main'
 436   // prototypes.
 437   if (RetTy->isIntegerTy(32) || RetTy->isVoidTy()) {
 438     switch (ArgValues.size()) {
 439     case 3:
 440       if (FTy->getParamType(0)->isIntegerTy(32) &&
 441           FTy->getParamType(1)->isPointerTy() &&
 442           FTy->getParamType(2)->isPointerTy()) {
 443         int (*PF)(int, char **, const char **) =
 444           (int(*)(int, char **, const char **))(intptr_t)FPtr;
 445
 446         // Call the function.
 447         GenericValue rv;
 448         rv.IntVal = APInt(32, PF(ArgValues[0].IntVal.getZExtValue(),
 449                                  (char **)GVTOP(ArgValues[1]),
 450                                  (const char **)GVTOP(ArgValues[2])));
 451         return rv;
 452       }
 453       break;
 454     case 2:
 455       if (FTy->getParamType(0)->isIntegerTy(32) &&
 456           FTy->getParamType(1)->isPointerTy()) {
 457         int (*PF)(int, char **) = (int(*)(int, char **))(intptr_t)FPtr;
 458
 459         // Call the function.
 460         GenericValue rv;
 461         rv.IntVal = APInt(32, PF(ArgValues[0].IntVal.getZExtValue(),
 462                                  (char **)GVTOP(ArgValues[1])));
 463         return rv;
 464       }
 465       break;
 466     case 1:
 467       if (FTy->getNumParams() == 1 &&
 468           FTy->getParamType(0)->isIntegerTy(32)) {
 469         GenericValue rv;
 470         int (*PF)(int) = (int(*)(int))(intptr_t)FPtr;
 471         rv.IntVal = APInt(32, PF(ArgValues[0].IntVal.getZExtValue()));
 472         return rv;
 473       }
 474       break;
 475     }
 476   }
 477
 478   // Handle cases where no arguments are passed first.
 479   if (ArgValues.empty()) {
 480     GenericValue rv;
 481     switch (RetTy->getTypeID()) {
 482     default: llvm_unreachable("Unknown return type for function call!");
 483     case Type::IntegerTyID: {
 484       unsigned BitWidth = cast<IntegerType>(RetTy)->getBitWidth();
 485       if (BitWidth == 1)
 486         rv.IntVal = APInt(BitWidth, ((bool(*)())(intptr_t)FPtr)());
 487       else if (BitWidth <= 8)
 488         rv.IntVal = APInt(BitWidth, ((char(*)())(intptr_t)FPtr)());
 489       else if (BitWidth <= 16)
 490         rv.IntVal = APInt(BitWidth, ((short(*)())(intptr_t)FPtr)());
 491       else if (BitWidth <= 32)
 492         rv.IntVal = APInt(BitWidth, ((int(*)())(intptr_t)FPtr)());
 493       else if (BitWidth <= 64)
 494         rv.IntVal = APInt(BitWidth, ((int64_t(*)())(intptr_t)FPtr)());
 495       else
 496         llvm_unreachable("Integer types > 64 bits not supported");
 497       return rv;
 498     }
 499     case Type::VoidTyID:
 500       rv.IntVal = APInt(32, ((int(*)())(intptr_t)FPtr)());
 501       return rv;
 502     case Type::FloatTyID:
 503       rv.FloatVal = ((float(*)())(intptr_t)FPtr)();
 504       return rv;
 505     case Type::DoubleTyID:
 506       rv.DoubleVal = ((double(*)())(intptr_t)FPtr)();
 507       return rv;
 508     case Type::X86_FP80TyID:
 509     case Type::FP128TyID:
 510     case Type::PPC_FP128TyID:
 511       llvm_unreachable("long double not supported yet");
 512     case Type::PointerTyID:
 513       return PTOGV(((void*(*)())(intptr_t)FPtr)());
 514     }
 515   }
 516
 517   llvm_unreachable("Full-featured argument passing not supported yet!");
 518 }
 519
 520 void *MCJIT::getPointerToNamedFunction(StringRef Name, bool AbortOnFailure) {
 521   if (!isSymbolSearchingDisabled()) {
 522     void *ptr = MemMgr.getPointerToNamedFunction(Name, false);
 523     if (ptr)
 524       return ptr;
 525   }
 526
 527   /// If a LazyFunctionCreator is installed, use it to get/create the function.
 528   if (LazyFunctionCreator)
 529     if (void *RP = LazyFunctionCreator(Name))
 530       return RP;
 531
 532   if (AbortOnFailure) {
 533     report_fatal_error("Program used external function '"+Name+
 534                        "' which could not be resolved!");
 535   }
 536   return nullptr;
 537 }
 538
 539 void MCJIT::RegisterJITEventListener(JITEventListener *L) {
 540   if (!L)
 541     return;
 542   MutexGuard locked(lock);
 543   EventListeners.push_back(L);
 544 }
 545 void MCJIT::UnregisterJITEventListener(JITEventListener *L) {
 546   if (!L)
 547     return;
 548   MutexGuard locked(lock);
 549   auto I = std::find(EventListeners.rbegin(), EventListeners.rend(), L);
 550   if (I != EventListeners.rend()) {
 551     std::swap(*I, EventListeners.back());
 552     EventListeners.pop_back();
 553   }
 554 }
 555 void MCJIT::NotifyObjectEmitted(const ObjectImage& Obj) {
 556   MutexGuard locked(lock);
 557   MemMgr.notifyObjectLoaded(this, &Obj);
 558   for (unsigned I = 0, S = EventListeners.size(); I < S; ++I) {
 559     EventListeners[I]->NotifyObjectEmitted(Obj);
 560   }
 561 }
 562 void MCJIT::NotifyFreeingObject(const ObjectImage& Obj) {
 563   MutexGuard locked(lock);
 564   for (JITEventListener *L : EventListeners)
 565     L->NotifyFreeingObject(Obj);
 566 }
 567
 568 uint64_t LinkingMemoryManager::getSymbolAddress(const std::string &Name) {
 569   uint64_t Result = ParentEngine->getSymbolAddress(Name, false);
 570   // If the symbols wasn't found and it begins with an underscore, try again
 571   // without the underscore.
 572   if (!Result && Name[0] == '_')
 573     Result = ParentEngine->getSymbolAddress(Name.substr(1), false);
 574   if (Result)
 575     return Result;
 576   if (ParentEngine->isSymbolSearchingDisabled())
 577     return 0;
 578   return ClientMM->getSymbolAddress(Name);
 579 }