tools/dsymutil/MachODebugMapParser.cpp

   1 //===- tools/dsymutil/MachODebugMapParser.cpp - Parse STABS debug maps ----===//
   2 //
   3 //                             The LLVM Linker
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "BinaryHolder.h"
  11 #include "DebugMap.h"
  12 #include "dsymutil.h"
  13 #include "llvm/Object/MachO.h"
  14 #include "llvm/Support/Path.h"
  15 #include "llvm/Support/raw_ostream.h"
  16
  17 namespace {
  18 using namespace llvm;
  19 using namespace llvm::dsymutil;
  20 using namespace llvm::object;
  21
  22 class MachODebugMapParser {
  23 public:
  24   MachODebugMapParser(StringRef BinaryPath, ArrayRef<std::string> Archs,
  25                       StringRef PathPrefix = "", bool Verbose = false)
  26       : BinaryPath(BinaryPath), Archs(Archs.begin(), Archs.end()),
  27         PathPrefix(PathPrefix), MainBinaryHolder(Verbose),
  28         CurrentObjectHolder(Verbose), CurrentDebugMapObject(nullptr) {}
  29
  30   /// \brief Parses and returns the DebugMaps of the input binary.
  31   /// The binary contains multiple maps in case it is a universal
  32   /// binary.
  33   /// \returns an error in case the provided BinaryPath doesn't exist
  34   /// or isn't of a supported type.
  35   ErrorOr<std::vector<std::unique_ptr<DebugMap>>> parse();
  36
  37   /// Walk the symbol table and dump it.
  38   bool dumpStab();
  39
  40 private:
  41   std::string BinaryPath;
  42   SmallVector<StringRef, 1> Archs;
  43   std::string PathPrefix;
  44
  45   /// Owns the MemoryBuffer for the main binary.
  46   BinaryHolder MainBinaryHolder;
  47   /// Map of the binary symbol addresses.
  48   StringMap<uint64_t> MainBinarySymbolAddresses;
  49   StringRef MainBinaryStrings;
  50   /// The constructed DebugMap.
  51   std::unique_ptr<DebugMap> Result;
  52
  53   /// Owns the MemoryBuffer for the currently handled object file.
  54   BinaryHolder CurrentObjectHolder;
  55   /// Map of the currently processed object file symbol addresses.
  56   StringMap<uint64_t> CurrentObjectAddresses;
  57   /// Element of the debug map corresponfing to the current object file.
  58   DebugMapObject *CurrentDebugMapObject;
  59
  60   /// Holds function info while function scope processing.
  61   const char *CurrentFunctionName;
  62   uint64_t CurrentFunctionAddress;
  63
  64   std::unique_ptr<DebugMap> parseOneBinary(const MachOObjectFile &MainBinary,
  65                                            StringRef BinaryPath);
  66
  67   void switchToNewDebugMapObject(StringRef Filename, sys::TimeValue Timestamp);
  68   void resetParserState();
  69   uint64_t getMainBinarySymbolAddress(StringRef Name);
  70   void loadMainBinarySymbols(const MachOObjectFile &MainBinary);
  71   void loadCurrentObjectFileSymbols(const object::MachOObjectFile &Obj);
  72   void handleStabSymbolTableEntry(uint32_t StringIndex, uint8_t Type,
  73                                   uint8_t SectionIndex, uint16_t Flags,
  74                                   uint64_t Value);
  75
  76   template <typename STEType> void handleStabDebugMapEntry(const STEType &STE) {
  77     handleStabSymbolTableEntry(STE.n_strx, STE.n_type, STE.n_sect, STE.n_desc,
  78                                STE.n_value);
  79   }
  80
  81   /// Dump the symbol table output header.
  82   void dumpSymTabHeader(raw_ostream &OS, StringRef Arch);
  83
  84   /// Dump the contents of nlist entries.
  85   void dumpSymTabEntry(raw_ostream &OS, uint64_t Index, uint32_t StringIndex,
  86                        uint8_t Type, uint8_t SectionIndex, uint16_t Flags,
  87                        uint64_t Value);
  88
  89   template <typename STEType>
  90   void dumpSymTabEntry(raw_ostream &OS, uint64_t Index, const STEType &STE) {
  91     dumpSymTabEntry(OS, Index, STE.n_strx, STE.n_type, STE.n_sect, STE.n_desc,
  92                     STE.n_value);
  93   }
  94   void dumpOneBinaryStab(const MachOObjectFile &MainBinary,
  95                          StringRef BinaryPath);
  96 };
  97
  98 static void Warning(const Twine &Msg) { errs() << "warning: " + Msg + "\n"; }
  99 }
 100
 101 /// Reset the parser state coresponding to the current object
 102 /// file. This is to be called after an object file is finished
 103 /// processing.
 104 void MachODebugMapParser::resetParserState() {
 105   CurrentObjectAddresses.clear();
 106   CurrentDebugMapObject = nullptr;
 107 }
 108
 109 /// Create a new DebugMapObject. This function resets the state of the
 110 /// parser that was referring to the last object file and sets
 111 /// everything up to add symbols to the new one.
 112 void MachODebugMapParser::switchToNewDebugMapObject(StringRef Filename,
 113                                                     sys::TimeValue Timestamp) {
 114   resetParserState();
 115
 116   SmallString<80> Path(PathPrefix);
 117   sys::path::append(Path, Filename);
 118
 119   auto MachOOrError =
 120       CurrentObjectHolder.GetFilesAs<MachOObjectFile>(Path, Timestamp);
 121   if (auto Error = MachOOrError.getError()) {
 122     Warning(Twine("cannot open debug object \"") + Path.str() + "\": " +
 123             Error.message() + "\n");
 124     return;
 125   }
 126
 127   auto ErrOrAchObj =
 128       CurrentObjectHolder.GetAs<MachOObjectFile>(Result->getTriple());
 129   if (auto Err = ErrOrAchObj.getError()) {
 130     return Warning(Twine("cannot open debug object \"") + Path.str() + "\": " +
 131                    Err.message() + "\n");
 132   }
 133
 134   CurrentDebugMapObject = &Result->addDebugMapObject(Path, Timestamp);
 135   loadCurrentObjectFileSymbols(*ErrOrAchObj);
 136 }
 137
 138 static std::string getArchName(const object::MachOObjectFile &Obj) {
 139   Triple ThumbTriple;
 140   Triple T = Obj.getArch(nullptr, &ThumbTriple);
 141   return T.getArchName();
 142 }
 143
 144 std::unique_ptr<DebugMap>
 145 MachODebugMapParser::parseOneBinary(const MachOObjectFile &MainBinary,
 146                                     StringRef BinaryPath) {
 147   loadMainBinarySymbols(MainBinary);
 148   Result =
 149       make_unique<DebugMap>(BinaryHolder::getTriple(MainBinary), BinaryPath);
 150   MainBinaryStrings = MainBinary.getStringTableData();
 151   for (const SymbolRef &Symbol : MainBinary.symbols()) {
 152     const DataRefImpl &DRI = Symbol.getRawDataRefImpl();
 153     if (MainBinary.is64Bit())
 154       handleStabDebugMapEntry(MainBinary.getSymbol64TableEntry(DRI));
 155     else
 156       handleStabDebugMapEntry(MainBinary.getSymbolTableEntry(DRI));
 157   }
 158
 159   resetParserState();
 160   return std::move(Result);
 161 }
 162
 163 // Table that maps Darwin's Mach-O stab constants to strings to allow printing.
 164 // llvm-nm has very similar code, the strings used here are however slightly
 165 // different and part of the interface of dsymutil (some project's build-systems
 166 // parse the ouptut of dsymutil -s), thus they shouldn't be changed.
 167 struct DarwinStabName {
 168   uint8_t NType;
 169   const char *Name;
 170 };
 171
 172 static const struct DarwinStabName DarwinStabNames[] = {
 173     {MachO::N_GSYM, "N_GSYM"},    {MachO::N_FNAME, "N_FNAME"},
 174     {MachO::N_FUN, "N_FUN"},      {MachO::N_STSYM, "N_STSYM"},
 175     {MachO::N_LCSYM, "N_LCSYM"},  {MachO::N_BNSYM, "N_BNSYM"},
 176     {MachO::N_PC, "N_PC"},        {MachO::N_AST, "N_AST"},
 177     {MachO::N_OPT, "N_OPT"},      {MachO::N_RSYM, "N_RSYM"},
 178     {MachO::N_SLINE, "N_SLINE"},  {MachO::N_ENSYM, "N_ENSYM"},
 179     {MachO::N_SSYM, "N_SSYM"},    {MachO::N_SO, "N_SO"},
 180     {MachO::N_OSO, "N_OSO"},      {MachO::N_LSYM, "N_LSYM"},
 181     {MachO::N_BINCL, "N_BINCL"},  {MachO::N_SOL, "N_SOL"},
 182     {MachO::N_PARAMS, "N_PARAM"}, {MachO::N_VERSION, "N_VERS"},
 183     {MachO::N_OLEVEL, "N_OLEV"},  {MachO::N_PSYM, "N_PSYM"},
 184     {MachO::N_EINCL, "N_EINCL"},  {MachO::N_ENTRY, "N_ENTRY"},
 185     {MachO::N_LBRAC, "N_LBRAC"},  {MachO::N_EXCL, "N_EXCL"},
 186     {MachO::N_RBRAC, "N_RBRAC"},  {MachO::N_BCOMM, "N_BCOMM"},
 187     {MachO::N_ECOMM, "N_ECOMM"},  {MachO::N_ECOML, "N_ECOML"},
 188     {MachO::N_LENG, "N_LENG"},    {0, 0}};
 189
 190 static const char *getDarwinStabString(uint8_t NType) {
 191   for (unsigned i = 0; DarwinStabNames[i].Name; i++) {
 192     if (DarwinStabNames[i].NType == NType)
 193       return DarwinStabNames[i].Name;
 194   }
 195   return 0;
 196 }
 197
 198 void MachODebugMapParser::dumpSymTabHeader(raw_ostream &OS, StringRef Arch) {
 199   OS << "-----------------------------------"
 200         "-----------------------------------\n";
 201   OS << "Symbol table for: '" << BinaryPath << "' (" << Arch.data() << ")\n";
 202   OS << "-----------------------------------"
 203         "-----------------------------------\n";
 204   OS << "Index    n_strx   n_type             n_sect n_desc n_value\n";
 205   OS << "======== -------- ------------------ ------ ------ ----------------\n";
 206 }
 207
 208 void MachODebugMapParser::dumpSymTabEntry(raw_ostream &OS, uint64_t Index,
 209                                           uint32_t StringIndex, uint8_t Type,
 210                                           uint8_t SectionIndex, uint16_t Flags,
 211                                           uint64_t Value) {
 212
 213   // Index
 214   OS << '[' << format_decimal(Index, 6) << "] "
 215      // n_strx
 216      << format_hex_no_prefix(StringIndex, 8) << ' '
 217      // n_type...
 218      << format_hex_no_prefix(Type, 2) << " (";
 219
 220   if (Type & MachO::N_STAB)
 221     OS << left_justify(getDarwinStabString(Type), 13);
 222   else {
 223     if (Type & MachO::N_PEXT)
 224       OS << "PEXT ";
 225     else
 226       OS << "     ";
 227     switch (Type & MachO::N_TYPE) {
 228     case MachO::N_UNDF: // 0x0 undefined, n_sect == NO_SECT
 229       OS << "UNDF";
 230       break;
 231     case MachO::N_ABS: // 0x2 absolute, n_sect == NO_SECT
 232       OS << "ABS ";
 233       break;
 234     case MachO::N_SECT: // 0xe defined in section number n_sect
 235       OS << "SECT";
 236       break;
 237     case MachO::N_PBUD: // 0xc prebound undefined (defined in a dylib)
 238       OS << "PBUD";
 239       break;
 240     case MachO::N_INDR: // 0xa indirect
 241       OS << "INDR";
 242       break;
 243     default:
 244       OS << format_hex_no_prefix(Type, 2) << "    ";
 245       break;
 246     }
 247     if (Type & MachO::N_EXT)
 248       OS << " EXT";
 249     else
 250       OS << "    ";
 251   }
 252
 253   OS << ") "
 254      // n_sect
 255      << format_hex_no_prefix(SectionIndex, 2) << "     "
 256      // n_desc
 257      << format_hex_no_prefix(Flags, 4) << "   "
 258      // n_value
 259      << format_hex_no_prefix(Value, 16);
 260
 261   const char *Name = &MainBinaryStrings.data()[StringIndex];
 262   if (Name && Name[0])
 263     OS << " '" << Name << "'";
 264
 265   OS << "\n";
 266 }
 267
 268 void MachODebugMapParser::dumpOneBinaryStab(const MachOObjectFile &MainBinary,
 269                                             StringRef BinaryPath) {
 270   loadMainBinarySymbols(MainBinary);
 271   MainBinaryStrings = MainBinary.getStringTableData();
 272   raw_ostream &OS(llvm::outs());
 273
 274   dumpSymTabHeader(OS, getArchName(MainBinary));
 275   uint64_t Idx = 0;
 276   for (const SymbolRef &Symbol : MainBinary.symbols()) {
 277     const DataRefImpl &DRI = Symbol.getRawDataRefImpl();
 278     if (MainBinary.is64Bit())
 279       dumpSymTabEntry(OS, Idx, MainBinary.getSymbol64TableEntry(DRI));
 280     else
 281       dumpSymTabEntry(OS, Idx, MainBinary.getSymbolTableEntry(DRI));
 282     Idx++;
 283   }
 284
 285   OS << "\n\n";
 286   resetParserState();
 287 }
 288
 289 static bool shouldLinkArch(SmallVectorImpl<StringRef> &Archs, StringRef Arch) {
 290   if (Archs.empty() ||
 291       std::find(Archs.begin(), Archs.end(), "all") != Archs.end() ||
 292       std::find(Archs.begin(), Archs.end(), "*") != Archs.end())
 293     return true;
 294
 295   if (Arch.startswith("arm") && Arch != "arm64" &&
 296       std::find(Archs.begin(), Archs.end(), "arm") != Archs.end())
 297     return true;
 298
 299   return std::find(Archs.begin(), Archs.end(), Arch) != Archs.end();
 300 }
 301
 302 bool MachODebugMapParser::dumpStab() {
 303   auto MainBinOrError =
 304       MainBinaryHolder.GetFilesAs<MachOObjectFile>(BinaryPath);
 305   if (auto Error = MainBinOrError.getError()) {
 306     llvm::errs() << "Cannot get '" << BinaryPath
 307                  << "' as MachO file: " << Error.message() << "\n";
 308     return false;
 309   }
 310
 311   Triple T;
 312   for (const auto *Binary : *MainBinOrError)
 313     if (shouldLinkArch(Archs, Binary->getArch(nullptr, &T).getArchName()))
 314       dumpOneBinaryStab(*Binary, BinaryPath);
 315
 316   return true;
 317 }
 318
 319 /// This main parsing routine tries to open the main binary and if
 320 /// successful iterates over the STAB entries. The real parsing is
 321 /// done in handleStabSymbolTableEntry.
 322 ErrorOr<std::vector<std::unique_ptr<DebugMap>>> MachODebugMapParser::parse() {
 323   auto MainBinOrError =
 324       MainBinaryHolder.GetFilesAs<MachOObjectFile>(BinaryPath);
 325   if (auto Error = MainBinOrError.getError())
 326     return Error;
 327
 328   std::vector<std::unique_ptr<DebugMap>> Results;
 329   Triple T;
 330   for (const auto *Binary : *MainBinOrError)
 331     if (shouldLinkArch(Archs, Binary->getArch(nullptr, &T).getArchName()))
 332       Results.push_back(parseOneBinary(*Binary, BinaryPath));
 333
 334   return std::move(Results);
 335 }
 336
 337 /// Interpret the STAB entries to fill the DebugMap.
 338 void MachODebugMapParser::handleStabSymbolTableEntry(uint32_t StringIndex,
 339                                                      uint8_t Type,
 340                                                      uint8_t SectionIndex,
 341                                                      uint16_t Flags,
 342                                                      uint64_t Value) {
 343   if (!(Type & MachO::N_STAB))
 344     return;
 345
 346   const char *Name = &MainBinaryStrings.data()[StringIndex];
 347
 348   // An N_OSO entry represents the start of a new object file description.
 349   if (Type == MachO::N_OSO) {
 350     sys::TimeValue Timestamp;
 351     Timestamp.fromEpochTime(Value);
 352     return switchToNewDebugMapObject(Name, Timestamp);
 353   }
 354
 355   // If the last N_OSO object file wasn't found,
 356   // CurrentDebugMapObject will be null. Do not update anything
 357   // until we find the next valid N_OSO entry.
 358   if (!CurrentDebugMapObject)
 359     return;
 360
 361   uint32_t Size = 0;
 362   switch (Type) {
 363   case MachO::N_GSYM:
 364     // This is a global variable. We need to query the main binary
 365     // symbol table to find its address as it might not be in the
 366     // debug map (for common symbols).
 367     Value = getMainBinarySymbolAddress(Name);
 368     break;
 369   case MachO::N_FUN:
 370     // Functions are scopes in STABS. They have an end marker that
 371     // contains the function size.
 372     if (Name[0] == '\0') {
 373       Size = Value;
 374       Value = CurrentFunctionAddress;
 375       Name = CurrentFunctionName;
 376       break;
 377     } else {
 378       CurrentFunctionName = Name;
 379       CurrentFunctionAddress = Value;
 380       return;
 381     }
 382   case MachO::N_STSYM:
 383     break;
 384   default:
 385     return;
 386   }
 387
 388   auto ObjectSymIt = CurrentObjectAddresses.find(Name);
 389   if (ObjectSymIt == CurrentObjectAddresses.end())
 390     return Warning("could not find object file symbol for symbol " +
 391                    Twine(Name));
 392   if (!CurrentDebugMapObject->addSymbol(Name, ObjectSymIt->getValue(), Value,
 393                                         Size))
 394     return Warning(Twine("failed to insert symbol '") + Name +
 395                    "' in the debug map.");
 396 }
 397
 398 /// Load the current object file symbols into CurrentObjectAddresses.
 399 void MachODebugMapParser::loadCurrentObjectFileSymbols(
 400     const object::MachOObjectFile &Obj) {
 401   CurrentObjectAddresses.clear();
 402
 403   for (auto Sym : Obj.symbols()) {
 404     uint64_t Addr = Sym.getValue();
 405     ErrorOr<StringRef> Name = Sym.getName();
 406     if (!Name)
 407       continue;
 408     CurrentObjectAddresses[*Name] = Addr;
 409   }
 410 }
 411
 412 /// Lookup a symbol address in the main binary symbol table. The
 413 /// parser only needs to query common symbols, thus not every symbol's
 414 /// address is available through this function.
 415 uint64_t MachODebugMapParser::getMainBinarySymbolAddress(StringRef Name) {
 416   auto Sym = MainBinarySymbolAddresses.find(Name);
 417   if (Sym == MainBinarySymbolAddresses.end())
 418     return 0;
 419   return Sym->second;
 420 }
 421
 422 /// Load the interesting main binary symbols' addresses into
 423 /// MainBinarySymbolAddresses.
 424 void MachODebugMapParser::loadMainBinarySymbols(
 425     const MachOObjectFile &MainBinary) {
 426   section_iterator Section = MainBinary.section_end();
 427   MainBinarySymbolAddresses.clear();
 428   for (const auto &Sym : MainBinary.symbols()) {
 429     SymbolRef::Type Type = Sym.getType();
 430     // Skip undefined and STAB entries.
 431     if ((Type & SymbolRef::ST_Debug) || (Type & SymbolRef::ST_Unknown))
 432       continue;
 433     // The only symbols of interest are the global variables. These
 434     // are the only ones that need to be queried because the address
 435     // of common data won't be described in the debug map. All other
 436     // addresses should be fetched for the debug map.
 437     if (!(Sym.getFlags() & SymbolRef::SF_Global))
 438       continue;
 439     ErrorOr<section_iterator> SectionOrErr = Sym.getSection();
 440     if (!SectionOrErr)
 441       continue;
 442     Section = *SectionOrErr;
 443     if (Section == MainBinary.section_end() || Section->isText())
 444       continue;
 445     uint64_t Addr = Sym.getValue();
 446     ErrorOr<StringRef> NameOrErr = Sym.getName();
 447     if (!NameOrErr)
 448       continue;
 449     StringRef Name = *NameOrErr;
 450     if (Name.size() == 0 || Name[0] == '\0')
 451       continue;
 452     MainBinarySymbolAddresses[Name] = Addr;
 453   }
 454 }
 455
 456 namespace llvm {
 457 namespace dsymutil {
 458 llvm::ErrorOr<std::vector<std::unique_ptr<DebugMap>>>
 459 parseDebugMap(StringRef InputFile, ArrayRef<std::string> Archs,
 460               StringRef PrependPath, bool Verbose, bool InputIsYAML) {
 461   if (!InputIsYAML) {
 462     MachODebugMapParser Parser(InputFile, Archs, PrependPath, Verbose);
 463     return Parser.parse();
 464   } else {
 465     return DebugMap::parseYAMLDebugMap(InputFile, PrependPath, Verbose);
 466   }
 467 }
 468
 469 bool dumpStab(StringRef InputFile, ArrayRef<std::string> Archs,
 470               StringRef PrependPath) {
 471   MachODebugMapParser Parser(InputFile, Archs, PrependPath, false);
 472   return Parser.dumpStab();
 473 }
 474 }
 475 }