tools/llvm-rtdyld/llvm-rtdyld.cpp

   1 //===-- llvm-rtdyld.cpp - MCJIT Testing Tool ------------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This is a testing tool for use with the MC-JIT LLVM components.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "llvm/ADT/StringMap.h"
  15 #include "llvm/DebugInfo/DIContext.h"
  16 #include "llvm/ExecutionEngine/ObjectBuffer.h"
  17 #include "llvm/ExecutionEngine/ObjectImage.h"
  18 #include "llvm/ExecutionEngine/RuntimeDyld.h"
  19 #include "llvm/ExecutionEngine/RuntimeDyldChecker.h"
  20 #include "llvm/MC/MCAsmInfo.h"
  21 #include "llvm/MC/MCContext.h"
  22 #include "llvm/MC/MCDisassembler.h"
  23 #include "llvm/MC/MCInstrInfo.h"
  24 #include "llvm/MC/MCInstPrinter.h"
  25 #include "llvm/MC/MCRegisterInfo.h"
  26 #include "llvm/Object/MachO.h"
  27 #include "llvm/Support/CommandLine.h"
  28 #include "llvm/Support/DynamicLibrary.h"
  29 #include "llvm/Support/ManagedStatic.h"
  30 #include "llvm/Support/Memory.h"
  31 #include "llvm/Support/MemoryBuffer.h"
  32 #include "llvm/Support/PrettyStackTrace.h"
  33 #include "llvm/Support/raw_ostream.h"
  34 #include "llvm/Support/Signals.h"
  35 #include "llvm/Support/TargetRegistry.h"
  36 #include "llvm/Support/TargetSelect.h"
  37 #include <list>
  38 #include <system_error>
  39
  40 using namespace llvm;
  41 using namespace llvm::object;
  42
  43 static cl::list<std::string>
  44 InputFileList(cl::Positional, cl::ZeroOrMore,
  45               cl::desc("<input file>"));
  46
  47 enum ActionType {
  48   AC_Execute,
  49   AC_PrintLineInfo,
  50   AC_Verify
  51 };
  52
  53 static cl::opt<ActionType>
  54 Action(cl::desc("Action to perform:"),
  55        cl::init(AC_Execute),
  56        cl::values(clEnumValN(AC_Execute, "execute",
  57                              "Load, link, and execute the inputs."),
  58                   clEnumValN(AC_PrintLineInfo, "printline",
  59                              "Load, link, and print line information for each function."),
  60                   clEnumValN(AC_Verify, "verify",
  61                              "Load, link and verify the resulting memory image."),
  62                   clEnumValEnd));
  63
  64 static cl::opt<std::string>
  65 EntryPoint("entry",
  66            cl::desc("Function to call as entry point."),
  67            cl::init("_main"));
  68
  69 static cl::list<std::string>
  70 Dylibs("dylib",
  71        cl::desc("Add library."),
  72        cl::ZeroOrMore);
  73
  74 static cl::opt<std::string>
  75 TripleName("triple", cl::desc("Target triple for disassembler"));
  76
  77 static cl::list<std::string>
  78 CheckFiles("check",
  79            cl::desc("File containing RuntimeDyld verifier checks."),
  80            cl::ZeroOrMore);
  81
  82 static cl::opt<uint64_t>
  83 TargetAddrStart("target-addr-start",
  84                 cl::desc("For -verify only: start of phony target address "
  85                          "range."),
  86                 cl::init(4096), // Start at "page 1" - no allocating at "null".
  87                 cl::Hidden);
  88
  89 static cl::opt<uint64_t>
  90 TargetAddrEnd("target-addr-end",
  91               cl::desc("For -verify only: end of phony target address range."),
  92               cl::init(~0ULL),
  93               cl::Hidden);
  94
  95 static cl::opt<uint64_t>
  96 TargetSectionSep("target-section-sep",
  97                  cl::desc("For -verify only: Separation between sections in "
  98                           "phony target address space."),
  99                  cl::init(0),
 100                  cl::Hidden);
 101
 102 static cl::list<std::string>
 103 SpecificSectionMappings("map-section",
 104                         cl::desc("Map a section to a specific address."),
 105                         cl::ZeroOrMore);
 106
 107 /* *** */
 108
 109 // A trivial memory manager that doesn't do anything fancy, just uses the
 110 // support library allocation routines directly.
 111 class TrivialMemoryManager : public RTDyldMemoryManager {
 112 public:
 113   SmallVector<sys::MemoryBlock, 16> FunctionMemory;
 114   SmallVector<sys::MemoryBlock, 16> DataMemory;
 115
 116   uint8_t *allocateCodeSection(uintptr_t Size, unsigned Alignment,
 117                                unsigned SectionID,
 118                                StringRef SectionName) override;
 119   uint8_t *allocateDataSection(uintptr_t Size, unsigned Alignment,
 120                                unsigned SectionID, StringRef SectionName,
 121                                bool IsReadOnly) override;
 122
 123   void *getPointerToNamedFunction(const std::string &Name,
 124                                   bool AbortOnFailure = true) override {
 125     return nullptr;
 126   }
 127
 128   bool finalizeMemory(std::string *ErrMsg) override { return false; }
 129
 130   // Invalidate instruction cache for sections with execute permissions.
 131   // Some platforms with separate data cache and instruction cache require
 132   // explicit cache flush, otherwise JIT code manipulations (like resolved
 133   // relocations) will get to the data cache but not to the instruction cache.
 134   virtual void invalidateInstructionCache();
 135 };
 136
 137 uint8_t *TrivialMemoryManager::allocateCodeSection(uintptr_t Size,
 138                                                    unsigned Alignment,
 139                                                    unsigned SectionID,
 140                                                    StringRef SectionName) {
 141   sys::MemoryBlock MB = sys::Memory::AllocateRWX(Size, nullptr, nullptr);
 142   FunctionMemory.push_back(MB);
 143   return (uint8_t*)MB.base();
 144 }
 145
 146 uint8_t *TrivialMemoryManager::allocateDataSection(uintptr_t Size,
 147                                                    unsigned Alignment,
 148                                                    unsigned SectionID,
 149                                                    StringRef SectionName,
 150                                                    bool IsReadOnly) {
 151   sys::MemoryBlock MB = sys::Memory::AllocateRWX(Size, nullptr, nullptr);
 152   DataMemory.push_back(MB);
 153   return (uint8_t*)MB.base();
 154 }
 155
 156 void TrivialMemoryManager::invalidateInstructionCache() {
 157   for (int i = 0, e = FunctionMemory.size(); i != e; ++i)
 158     sys::Memory::InvalidateInstructionCache(FunctionMemory[i].base(),
 159                                             FunctionMemory[i].size());
 160
 161   for (int i = 0, e = DataMemory.size(); i != e; ++i)
 162     sys::Memory::InvalidateInstructionCache(DataMemory[i].base(),
 163                                             DataMemory[i].size());
 164 }
 165
 166 static const char *ProgramName;
 167
 168 static void Message(const char *Type, const Twine &Msg) {
 169   errs() << ProgramName << ": " << Type << ": " << Msg << "\n";
 170 }
 171
 172 static int Error(const Twine &Msg) {
 173   Message("error", Msg);
 174   return 1;
 175 }
 176
 177 static void loadDylibs() {
 178   for (const std::string &Dylib : Dylibs) {
 179     if (sys::fs::is_regular_file(Dylib)) {
 180       std::string ErrMsg;
 181       if (sys::DynamicLibrary::LoadLibraryPermanently(Dylib.c_str(), &ErrMsg))
 182         llvm::errs() << "Error loading '" << Dylib << "': "
 183                      << ErrMsg << "\n";
 184     } else
 185       llvm::errs() << "Dylib not found: '" << Dylib << "'.\n";
 186   }
 187 }
 188
 189 /* *** */
 190
 191 static int printLineInfoForInput() {
 192   // Load any dylibs requested on the command line.
 193   loadDylibs();
 194
 195   // If we don't have any input files, read from stdin.
 196   if (!InputFileList.size())
 197     InputFileList.push_back("-");
 198   for(unsigned i = 0, e = InputFileList.size(); i != e; ++i) {
 199     // Instantiate a dynamic linker.
 200     TrivialMemoryManager MemMgr;
 201     RuntimeDyld Dyld(&MemMgr);
 202
 203     // Load the input memory buffer.
 204
 205     ErrorOr<std::unique_ptr<MemoryBuffer>> InputBuffer =
 206         MemoryBuffer::getFileOrSTDIN(InputFileList[i]);
 207     if (std::error_code EC = InputBuffer.getError())
 208       return Error("unable to read input: '" + EC.message() + "'");
 209
 210     std::unique_ptr<ObjectImage> LoadedObject;
 211     // Load the object file
 212     LoadedObject = Dyld.loadObject(
 213         llvm::make_unique<ObjectBuffer>(std::move(*InputBuffer)));
 214     if (!LoadedObject) {
 215       return Error(Dyld.getErrorString());
 216     }
 217
 218     // Resolve all the relocations we can.
 219     Dyld.resolveRelocations();
 220
 221     std::unique_ptr<DIContext> Context(
 222         DIContext::getDWARFContext(*LoadedObject->getObjectFile()));
 223
 224     // Use symbol info to iterate functions in the object.
 225     for (object::symbol_iterator I = LoadedObject->begin_symbols(),
 226                                  E = LoadedObject->end_symbols();
 227          I != E; ++I) {
 228       object::SymbolRef::Type SymType;
 229       if (I->getType(SymType)) continue;
 230       if (SymType == object::SymbolRef::ST_Function) {
 231         StringRef  Name;
 232         uint64_t   Addr;
 233         uint64_t   Size;
 234         if (I->getName(Name)) continue;
 235         if (I->getAddress(Addr)) continue;
 236         if (I->getSize(Size)) continue;
 237
 238         outs() << "Function: " << Name << ", Size = " << Size << "\n";
 239
 240         DILineInfoTable Lines = Context->getLineInfoForAddressRange(Addr, Size);
 241         DILineInfoTable::iterator  Begin = Lines.begin();
 242         DILineInfoTable::iterator  End = Lines.end();
 243         for (DILineInfoTable::iterator It = Begin; It != End; ++It) {
 244           outs() << "  Line info @ " << It->first - Addr << ": "
 245                  << It->second.FileName << ", line:" << It->second.Line << "\n";
 246         }
 247       }
 248     }
 249   }
 250
 251   return 0;
 252 }
 253
 254 static int executeInput() {
 255   // Load any dylibs requested on the command line.
 256   loadDylibs();
 257
 258   // Instantiate a dynamic linker.
 259   TrivialMemoryManager MemMgr;
 260   RuntimeDyld Dyld(&MemMgr);
 261
 262   // If we don't have any input files, read from stdin.
 263   if (!InputFileList.size())
 264     InputFileList.push_back("-");
 265   for(unsigned i = 0, e = InputFileList.size(); i != e; ++i) {
 266     // Load the input memory buffer.
 267     ErrorOr<std::unique_ptr<MemoryBuffer>> InputBuffer =
 268         MemoryBuffer::getFileOrSTDIN(InputFileList[i]);
 269     if (std::error_code EC = InputBuffer.getError())
 270       return Error("unable to read input: '" + EC.message() + "'");
 271     std::unique_ptr<ObjectImage> LoadedObject;
 272     // Load the object file
 273     LoadedObject = Dyld.loadObject(
 274         llvm::make_unique<ObjectBuffer>(std::move(*InputBuffer)));
 275     if (!LoadedObject) {
 276       return Error(Dyld.getErrorString());
 277     }
 278   }
 279
 280   // Resolve all the relocations we can.
 281   Dyld.resolveRelocations();
 282   // Clear instruction cache before code will be executed.
 283   MemMgr.invalidateInstructionCache();
 284
 285   // FIXME: Error out if there are unresolved relocations.
 286
 287   // Get the address of the entry point (_main by default).
 288   void *MainAddress = Dyld.getSymbolAddress(EntryPoint);
 289   if (!MainAddress)
 290     return Error("no definition for '" + EntryPoint + "'");
 291
 292   // Invalidate the instruction cache for each loaded function.
 293   for (unsigned i = 0, e = MemMgr.FunctionMemory.size(); i != e; ++i) {
 294     sys::MemoryBlock &Data = MemMgr.FunctionMemory[i];
 295     // Make sure the memory is executable.
 296     std::string ErrorStr;
 297     sys::Memory::InvalidateInstructionCache(Data.base(), Data.size());
 298     if (!sys::Memory::setExecutable(Data, &ErrorStr))
 299       return Error("unable to mark function executable: '" + ErrorStr + "'");
 300   }
 301
 302   // Dispatch to _main().
 303   errs() << "loaded '" << EntryPoint << "' at: " << (void*)MainAddress << "\n";
 304
 305   int (*Main)(int, const char**) =
 306     (int(*)(int,const char**)) uintptr_t(MainAddress);
 307   const char **Argv = new const char*[2];
 308   // Use the name of the first input object module as argv[0] for the target.
 309   Argv[0] = InputFileList[0].c_str();
 310   Argv[1] = nullptr;
 311   return Main(1, Argv);
 312 }
 313
 314 static int checkAllExpressions(RuntimeDyldChecker &Checker) {
 315   for (const auto& CheckerFileName : CheckFiles) {
 316     ErrorOr<std::unique_ptr<MemoryBuffer>> CheckerFileBuf =
 317         MemoryBuffer::getFileOrSTDIN(CheckerFileName);
 318     if (std::error_code EC = CheckerFileBuf.getError())
 319       return Error("unable to read input '" + CheckerFileName + "': " +
 320                    EC.message());
 321
 322     if (!Checker.checkAllRulesInBuffer("# rtdyld-check:",
 323                                        CheckerFileBuf.get().get()))
 324       return Error("some checks in '" + CheckerFileName + "' failed");
 325   }
 326   return 0;
 327 }
 328
 329 std::map<void*, uint64_t>
 330 applySpecificSectionMappings(RuntimeDyldChecker &Checker) {
 331
 332   std::map<void*, uint64_t> SpecificMappings;
 333
 334   for (StringRef Mapping : SpecificSectionMappings) {
 335
 336     size_t EqualsIdx = Mapping.find_first_of("=");
 337     StringRef SectionIDStr = Mapping.substr(0, EqualsIdx);
 338     size_t ComaIdx = Mapping.find_first_of(",");
 339
 340     if (ComaIdx == StringRef::npos) {
 341       errs() << "Invalid section specification '" << Mapping
 342              << "'. Should be '<file name>,<section name>=<addr>'\n";
 343       exit(1);
 344     }
 345
 346     StringRef FileName = SectionIDStr.substr(0, ComaIdx);
 347     StringRef SectionName = SectionIDStr.substr(ComaIdx + 1);
 348
 349     uint64_t OldAddrInt;
 350     std::string ErrorMsg;
 351     std::tie(OldAddrInt, ErrorMsg) =
 352       Checker.getSectionAddr(FileName, SectionName, true);
 353
 354     if (ErrorMsg != "") {
 355       errs() << ErrorMsg;
 356       exit(1);
 357     }
 358
 359     void* OldAddr = reinterpret_cast<void*>(static_cast<uintptr_t>(OldAddrInt));
 360
 361     StringRef NewAddrStr = Mapping.substr(EqualsIdx + 1);
 362     uint64_t NewAddr;
 363
 364     if (NewAddrStr.getAsInteger(0, NewAddr)) {
 365       errs() << "Invalid section address in mapping: " << Mapping << "\n";
 366       exit(1);
 367     }
 368
 369     Checker.getRTDyld().mapSectionAddress(OldAddr, NewAddr);
 370     SpecificMappings[OldAddr] = NewAddr;
 371   }
 372
 373   return SpecificMappings;
 374 }
 375
 376 // Scatter sections in all directions!
 377 // Remaps section addresses for -verify mode. The following command line options
 378 // can be used to customize the layout of the memory within the phony target's
 379 // address space:
 380 // -target-addr-start <s> -- Specify where the phony target addres range starts.
 381 // -target-addr-end   <e> -- Specify where the phony target address range ends.
 382 // -target-section-sep <d> -- Specify how big a gap should be left between the
 383 //                            end of one section and the start of the next.
 384 //                            Defaults to zero. Set to something big
 385 //                            (e.g. 1 << 32) to stress-test stubs, GOTs, etc.
 386 //
 387 void remapSections(const llvm::Triple &TargetTriple,
 388                    const TrivialMemoryManager &MemMgr,
 389                    RuntimeDyldChecker &Checker) {
 390
 391   // Set up a work list (section addr/size pairs).
 392   typedef std::list<std::pair<void*, uint64_t>> WorklistT;
 393   WorklistT Worklist;
 394
 395   for (const auto& CodeSection : MemMgr.FunctionMemory)
 396     Worklist.push_back(std::make_pair(CodeSection.base(), CodeSection.size()));
 397   for (const auto& DataSection : MemMgr.DataMemory)
 398     Worklist.push_back(std::make_pair(DataSection.base(), DataSection.size()));
 399
 400   // Apply any section-specific mappings that were requested on the command
 401   // line.
 402   typedef std::map<void*, uint64_t> AppliedMappingsT;
 403   AppliedMappingsT AppliedMappings = applySpecificSectionMappings(Checker);
 404
 405   // Keep an "already allocated" mapping of section target addresses to sizes.
 406   // Sections whose address mappings aren't specified on the command line will
 407   // allocated around the explicitly mapped sections while maintaining the
 408   // minimum separation.
 409   std::map<uint64_t, uint64_t> AlreadyAllocated;
 410
 411   // Move the previously applied mappings into the already-allocated map.
 412   for (WorklistT::iterator I = Worklist.begin(), E = Worklist.end();
 413        I != E;) {
 414     WorklistT::iterator Tmp = I;
 415     ++I;
 416     AppliedMappingsT::iterator AI = AppliedMappings.find(Tmp->first);
 417
 418     if (AI != AppliedMappings.end()) {
 419       AlreadyAllocated[AI->second] = Tmp->second;
 420       Worklist.erase(Tmp);
 421     }
 422   }
 423
 424   // If the -target-addr-end option wasn't explicitly passed, then set it to a
 425   // sensible default based on the target triple.
 426   if (TargetAddrEnd.getNumOccurrences() == 0) {
 427     if (TargetTriple.isArch16Bit())
 428       TargetAddrEnd = (1ULL << 16) - 1;
 429     else if (TargetTriple.isArch32Bit())
 430       TargetAddrEnd = (1ULL << 32) - 1;
 431     // TargetAddrEnd already has a sensible default for 64-bit systems, so
 432     // there's nothing to do in the 64-bit case.
 433   }
 434
 435   // Process any elements remaining in the worklist.
 436   while (!Worklist.empty()) {
 437     std::pair<void*, uint64_t> CurEntry = Worklist.front();
 438     Worklist.pop_front();
 439
 440     uint64_t NextSectionAddr = TargetAddrStart;
 441
 442     for (const auto &Alloc : AlreadyAllocated)
 443       if (NextSectionAddr + CurEntry.second + TargetSectionSep <= Alloc.first)
 444         break;
 445       else
 446         NextSectionAddr = Alloc.first + Alloc.second + TargetSectionSep;
 447
 448     AlreadyAllocated[NextSectionAddr] = CurEntry.second;
 449     Checker.getRTDyld().mapSectionAddress(CurEntry.first, NextSectionAddr);
 450   }
 451
 452 }
 453
 454 // Load and link the objects specified on the command line, but do not execute
 455 // anything. Instead, attach a RuntimeDyldChecker instance and call it to
 456 // verify the correctness of the linked memory.
 457 static int linkAndVerify() {
 458
 459   // Check for missing triple.
 460   if (TripleName == "") {
 461     llvm::errs() << "Error: -triple required when running in -verify mode.\n";
 462     return 1;
 463   }
 464
 465   // Look up the target and build the disassembler.
 466   Triple TheTriple(Triple::normalize(TripleName));
 467   std::string ErrorStr;
 468   const Target *TheTarget =
 469     TargetRegistry::lookupTarget("", TheTriple, ErrorStr);
 470   if (!TheTarget) {
 471     llvm::errs() << "Error accessing target '" << TripleName << "': "
 472                  << ErrorStr << "\n";
 473     return 1;
 474   }
 475   TripleName = TheTriple.getTriple();
 476
 477   std::unique_ptr<MCSubtargetInfo> STI(
 478     TheTarget->createMCSubtargetInfo(TripleName, "", ""));
 479   assert(STI && "Unable to create subtarget info!");
 480
 481   std::unique_ptr<MCRegisterInfo> MRI(TheTarget->createMCRegInfo(TripleName));
 482   assert(MRI && "Unable to create target register info!");
 483
 484   std::unique_ptr<MCAsmInfo> MAI(TheTarget->createMCAsmInfo(*MRI, TripleName));
 485   assert(MAI && "Unable to create target asm info!");
 486
 487   MCContext Ctx(MAI.get(), MRI.get(), nullptr);
 488
 489   std::unique_ptr<MCDisassembler> Disassembler(
 490     TheTarget->createMCDisassembler(*STI, Ctx));
 491   assert(Disassembler && "Unable to create disassembler!");
 492
 493   std::unique_ptr<MCInstrInfo> MII(TheTarget->createMCInstrInfo());
 494
 495   std::unique_ptr<MCInstPrinter> InstPrinter(
 496     TheTarget->createMCInstPrinter(0, *MAI, *MII, *MRI, *STI));
 497
 498   // Load any dylibs requested on the command line.
 499   loadDylibs();
 500
 501   // Instantiate a dynamic linker.
 502   TrivialMemoryManager MemMgr;
 503   RuntimeDyld Dyld(&MemMgr);
 504   Dyld.setProcessAllSections(true);
 505   RuntimeDyldChecker Checker(Dyld, Disassembler.get(), InstPrinter.get(),
 506                              llvm::dbgs());
 507
 508   // If we don't have any input files, read from stdin.
 509   if (!InputFileList.size())
 510     InputFileList.push_back("-");
 511   for(unsigned i = 0, e = InputFileList.size(); i != e; ++i) {
 512     // Load the input memory buffer.
 513     ErrorOr<std::unique_ptr<MemoryBuffer>> InputBuffer =
 514         MemoryBuffer::getFileOrSTDIN(InputFileList[i]);
 515     if (std::error_code EC = InputBuffer.getError())
 516       return Error("unable to read input: '" + EC.message() + "'");
 517
 518     std::unique_ptr<ObjectImage> LoadedObject;
 519     // Load the object file
 520     LoadedObject = Dyld.loadObject(
 521         llvm::make_unique<ObjectBuffer>(std::move(*InputBuffer)));
 522     if (!LoadedObject) {
 523       return Error(Dyld.getErrorString());
 524     }
 525   }
 526
 527   // Re-map the section addresses into the phony target address space.
 528   remapSections(TheTriple, MemMgr, Checker);
 529
 530   // Resolve all the relocations we can.
 531   Dyld.resolveRelocations();
 532
 533   // Register EH frames.
 534   Dyld.registerEHFrames();
 535
 536   int ErrorCode = checkAllExpressions(Checker);
 537   if (Dyld.hasError()) {
 538     errs() << "RTDyld reported an error applying relocations:\n  "
 539            << Dyld.getErrorString() << "\n";
 540     ErrorCode = 1;
 541   }
 542
 543   return ErrorCode;
 544 }
 545
 546 int main(int argc, char **argv) {
 547   sys::PrintStackTraceOnErrorSignal();
 548   PrettyStackTraceProgram X(argc, argv);
 549
 550   ProgramName = argv[0];
 551   llvm_shutdown_obj Y;  // Call llvm_shutdown() on exit.
 552
 553   llvm::InitializeAllTargetInfos();
 554   llvm::InitializeAllTargetMCs();
 555   llvm::InitializeAllDisassemblers();
 556
 557   cl::ParseCommandLineOptions(argc, argv, "llvm MC-JIT tool\n");
 558
 559   switch (Action) {
 560   case AC_Execute:
 561     return executeInput();
 562   case AC_PrintLineInfo:
 563     return printLineInfoForInput();
 564   case AC_Verify:
 565     return linkAndVerify();
 566   }
 567 }