tools/yaml2obj/yaml2elf.cpp

   1 //===- yaml2elf - Convert YAML to a ELF object file -----------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 ///
  10 /// \file
  11 /// \brief The ELF component of yaml2obj.
  12 ///
  13 //===----------------------------------------------------------------------===//
  14
  15 #include "yaml2obj.h"
  16 #include "llvm/ADT/ArrayRef.h"
  17 #include "llvm/Object/ELFObjectFile.h"
  18 #include "llvm/Object/ELFYAML.h"
  19 #include "llvm/Support/ELF.h"
  20 #include "llvm/Support/MemoryBuffer.h"
  21 #include "llvm/Support/YAMLTraits.h"
  22 #include "llvm/Support/raw_ostream.h"
  23
  24 using namespace llvm;
  25
  26 // There is similar code in yaml2coff, but with some slight COFF-specific
  27 // variations like different initial state. Might be able to deduplicate
  28 // some day, but also want to make sure that the Mach-O use case is served.
  29 //
  30 // This class has a deliberately small interface, since a lot of
  31 // implementation variation is possible.
  32 //
  33 // TODO: Use an ordered container with a suffix-based comparison in order
  34 // to deduplicate suffixes. std::map<> with a custom comparator is likely
  35 // to be the simplest implementation, but a suffix trie could be more
  36 // suitable for the job.
  37 namespace {
  38 class StringTableBuilder {
  39   /// \brief Indices of strings currently present in `Buf`.
  40   StringMap<unsigned> StringIndices;
  41   /// \brief The contents of the string table as we build it.
  42   std::string Buf;
  43 public:
  44   StringTableBuilder() {
  45     Buf.push_back('\0');
  46   }
  47   /// \returns Index of string in string table.
  48   unsigned addString(StringRef S) {
  49     StringMapEntry<unsigned> &Entry = StringIndices.GetOrCreateValue(S);
  50     unsigned &I = Entry.getValue();
  51     if (I != 0)
  52       return I;
  53     I = Buf.size();
  54     Buf.append(S.begin(), S.end());
  55     Buf.push_back('\0');
  56     return I;
  57   }
  58   size_t size() const {
  59     return Buf.size();
  60   }
  61   void writeToStream(raw_ostream &OS) {
  62     OS.write(Buf.data(), Buf.size());
  63   }
  64 };
  65 } // end anonymous namespace
  66
  67 // This class is used to build up a contiguous binary blob while keeping
  68 // track of an offset in the output (which notionally begins at
  69 // `InitialOffset`).
  70 namespace {
  71 class ContiguousBlobAccumulator {
  72   const uint64_t InitialOffset;
  73   SmallVector<char, 128> Buf;
  74   raw_svector_ostream OS;
  75
  76   /// \returns The new offset.
  77   uint64_t padToAlignment(unsigned Align) {
  78     uint64_t CurrentOffset = InitialOffset + OS.tell();
  79     uint64_t AlignedOffset = RoundUpToAlignment(CurrentOffset, Align);
  80     for (; CurrentOffset != AlignedOffset; ++CurrentOffset)
  81       OS.write('\0');
  82     return AlignedOffset; // == CurrentOffset;
  83   }
  84
  85 public:
  86   ContiguousBlobAccumulator(uint64_t InitialOffset_)
  87       : InitialOffset(InitialOffset_), Buf(), OS(Buf) {}
  88   template <class Integer>
  89   raw_ostream &getOSAndAlignedOffset(Integer &Offset, unsigned Align = 16) {
  90     Offset = padToAlignment(Align);
  91     return OS;
  92   }
  93   void writeBlobToStream(raw_ostream &Out) { Out << OS.str(); }
  94 };
  95 } // end anonymous namespace
  96
  97 // Used to keep track of section names, so that in the YAML file sections
  98 // can be referenced by name instead of by index.
  99 namespace {
 100 class SectionNameToIdxMap {
 101   StringMap<int> Map;
 102 public:
 103   /// \returns true if name is already present in the map.
 104   bool addName(StringRef SecName, unsigned i) {
 105     StringMapEntry<int> &Entry = Map.GetOrCreateValue(SecName, -1);
 106     if (Entry.getValue() != -1)
 107       return true;
 108     Entry.setValue((int)i);
 109     return false;
 110   }
 111   /// \returns true if name is not present in the map
 112   bool lookupSection(StringRef SecName, unsigned &Idx) const {
 113     StringMap<int>::const_iterator I = Map.find(SecName);
 114     if (I == Map.end())
 115       return true;
 116     Idx = I->getValue();
 117     return false;
 118   }
 119 };
 120 } // end anonymous namespace
 121
 122 template <class T>
 123 static size_t arrayDataSize(ArrayRef<T> A) {
 124   return A.size() * sizeof(T);
 125 }
 126
 127 template <class T>
 128 static void writeArrayData(raw_ostream &OS, ArrayRef<T> A) {
 129   OS.write((const char *)A.data(), arrayDataSize(A));
 130 }
 131
 132 template <class T>
 133 static void zero(T &Obj) {
 134   memset(&Obj, 0, sizeof(Obj));
 135 }
 136
 137 namespace {
 138 /// \brief "Single point of truth" for the ELF file construction.
 139 /// TODO: This class still has a ways to go before it is truly a "single
 140 /// point of truth".
 141 template <class ELFT>
 142 class ELFState {
 143   typedef typename object::ELFFile<ELFT>::Elf_Ehdr Elf_Ehdr;
 144   typedef typename object::ELFFile<ELFT>::Elf_Shdr Elf_Shdr;
 145   typedef typename object::ELFFile<ELFT>::Elf_Sym Elf_Sym;
 146
 147   /// \brief The future ".strtab" section.
 148   StringTableBuilder DotStrtab;
 149
 150   /// \brief The future ".shstrtab" section.
 151   StringTableBuilder DotShStrtab;
 152
 153   SectionNameToIdxMap SN2I;
 154   const ELFYAML::Object &Doc;
 155
 156   bool buildSectionIndex();
 157   void initELFHeader(Elf_Ehdr &Header);
 158   bool initSectionHeaders(std::vector<Elf_Shdr> &SHeaders,
 159                           ContiguousBlobAccumulator &CBA);
 160   void initSymtabSectionHeader(Elf_Shdr &SHeader,
 161                                ContiguousBlobAccumulator &CBA);
 162   void initStrtabSectionHeader(Elf_Shdr &SHeader, StringRef Name,
 163                                StringTableBuilder &STB,
 164                                ContiguousBlobAccumulator &CBA);
 165   void addSymbols(const std::vector<ELFYAML::Symbol> &Symbols,
 166                   std::vector<Elf_Sym> &Syms, unsigned SymbolBinding);
 167
 168   // - SHT_NULL entry (placed first, i.e. 0'th entry)
 169   // - symbol table (.symtab) (placed third to last)
 170   // - string table (.strtab) (placed second to last)
 171   // - section header string table (.shstrtab) (placed last)
 172   unsigned getDotSymTabSecNo() const { return Doc.Sections.size() + 1; }
 173   unsigned getDotStrTabSecNo() const { return Doc.Sections.size() + 2; }
 174   unsigned getDotShStrTabSecNo() const { return Doc.Sections.size() + 3; }
 175   unsigned getSectionCount() const { return Doc.Sections.size() + 4; }
 176
 177   ELFState(const ELFYAML::Object &D) : Doc(D) {}
 178
 179 public:
 180   static int writeELF(raw_ostream &OS, const ELFYAML::Object &Doc);
 181 };
 182 } // end anonymous namespace
 183
 184 template <class ELFT>
 185 void ELFState<ELFT>::initELFHeader(Elf_Ehdr &Header) {
 186   using namespace llvm::ELF;
 187   zero(Header);
 188   Header.e_ident[EI_MAG0] = 0x7f;
 189   Header.e_ident[EI_MAG1] = 'E';
 190   Header.e_ident[EI_MAG2] = 'L';
 191   Header.e_ident[EI_MAG3] = 'F';
 192   Header.e_ident[EI_CLASS] = ELFT::Is64Bits ? ELFCLASS64 : ELFCLASS32;
 193   bool IsLittleEndian = ELFT::TargetEndianness == support::little;
 194   Header.e_ident[EI_DATA] = IsLittleEndian ? ELFDATA2LSB : ELFDATA2MSB;
 195   Header.e_ident[EI_VERSION] = EV_CURRENT;
 196   Header.e_ident[EI_OSABI] = Doc.Header.OSABI;
 197   Header.e_ident[EI_ABIVERSION] = 0;
 198   Header.e_type = Doc.Header.Type;
 199   Header.e_machine = Doc.Header.Machine;
 200   Header.e_version = EV_CURRENT;
 201   Header.e_entry = Doc.Header.Entry;
 202   Header.e_flags = Doc.Header.Flags;
 203   Header.e_ehsize = sizeof(Elf_Ehdr);
 204   Header.e_shentsize = sizeof(Elf_Shdr);
 205   // Immediately following the ELF header.
 206   Header.e_shoff = sizeof(Header);
 207   Header.e_shnum = getSectionCount();
 208   Header.e_shstrndx = getDotShStrTabSecNo();
 209 }
 210
 211 template <class ELFT>
 212 bool ELFState<ELFT>::initSectionHeaders(std::vector<Elf_Shdr> &SHeaders,
 213                                         ContiguousBlobAccumulator &CBA) {
 214   // Ensure SHN_UNDEF entry is present. An all-zero section header is a
 215   // valid SHN_UNDEF entry since SHT_NULL == 0.
 216   Elf_Shdr SHeader;
 217   zero(SHeader);
 218   SHeaders.push_back(SHeader);
 219
 220   for (const auto &Sec : Doc.Sections) {
 221     zero(SHeader);
 222     SHeader.sh_name = DotShStrtab.addString(Sec.Name);
 223     SHeader.sh_type = Sec.Type;
 224     SHeader.sh_flags = Sec.Flags;
 225     SHeader.sh_addr = Sec.Address;
 226
 227     Sec.Content.writeAsBinary(CBA.getOSAndAlignedOffset(SHeader.sh_offset));
 228     SHeader.sh_size = Sec.Content.binary_size();
 229
 230     if (!Sec.Link.empty()) {
 231       unsigned Index;
 232       if (SN2I.lookupSection(Sec.Link, Index)) {
 233         errs() << "error: Unknown section referenced: '" << Sec.Link
 234                << "' at YAML section '" << Sec.Name << "'.\n";
 235         return false;;
 236       }
 237       SHeader.sh_link = Index;
 238     }
 239     SHeader.sh_info = 0;
 240     SHeader.sh_addralign = Sec.AddressAlign;
 241     SHeader.sh_entsize = 0;
 242     SHeaders.push_back(SHeader);
 243   }
 244   return true;
 245 }
 246
 247 template <class ELFT>
 248 void ELFState<ELFT>::initSymtabSectionHeader(Elf_Shdr &SHeader,
 249                                              ContiguousBlobAccumulator &CBA) {
 250   zero(SHeader);
 251   SHeader.sh_name = DotShStrtab.addString(StringRef(".symtab"));
 252   SHeader.sh_type = ELF::SHT_SYMTAB;
 253   SHeader.sh_link = getDotStrTabSecNo();
 254   // One greater than symbol table index of the last local symbol.
 255   SHeader.sh_info = Doc.Symbols.Local.size() + 1;
 256   SHeader.sh_entsize = sizeof(Elf_Sym);
 257
 258   std::vector<Elf_Sym> Syms;
 259   {
 260     // Ensure STN_UNDEF is present
 261     Elf_Sym Sym;
 262     zero(Sym);
 263     Syms.push_back(Sym);
 264   }
 265   addSymbols(Doc.Symbols.Local, Syms, ELF::STB_LOCAL);
 266   addSymbols(Doc.Symbols.Global, Syms, ELF::STB_GLOBAL);
 267   addSymbols(Doc.Symbols.Weak, Syms, ELF::STB_WEAK);
 268
 269   writeArrayData(CBA.getOSAndAlignedOffset(SHeader.sh_offset),
 270                  makeArrayRef(Syms));
 271   SHeader.sh_size = arrayDataSize(makeArrayRef(Syms));
 272 }
 273
 274 template <class ELFT>
 275 void ELFState<ELFT>::initStrtabSectionHeader(Elf_Shdr &SHeader, StringRef Name,
 276                                              StringTableBuilder &STB,
 277                                              ContiguousBlobAccumulator &CBA) {
 278   zero(SHeader);
 279   SHeader.sh_name = DotShStrtab.addString(Name);
 280   SHeader.sh_type = ELF::SHT_STRTAB;
 281   STB.writeToStream(CBA.getOSAndAlignedOffset(SHeader.sh_offset));
 282   SHeader.sh_size = STB.size();
 283   SHeader.sh_addralign = 1;
 284 }
 285
 286 template <class ELFT>
 287 void ELFState<ELFT>::addSymbols(const std::vector<ELFYAML::Symbol> &Symbols,
 288                                 std::vector<Elf_Sym> &Syms,
 289                                 unsigned SymbolBinding) {
 290   for (const auto &Sym : Symbols) {
 291     Elf_Sym Symbol;
 292     zero(Symbol);
 293     if (!Sym.Name.empty())
 294       Symbol.st_name = DotStrtab.addString(Sym.Name);
 295     Symbol.setBindingAndType(SymbolBinding, Sym.Type);
 296     if (!Sym.Section.empty()) {
 297       unsigned Index;
 298       if (SN2I.lookupSection(Sym.Section, Index)) {
 299         errs() << "error: Unknown section referenced: '" << Sym.Section
 300                << "' by YAML symbol " << Sym.Name << ".\n";
 301         exit(1);
 302       }
 303       Symbol.st_shndx = Index;
 304     } // else Symbol.st_shndex == SHN_UNDEF (== 0), since it was zero'd earlier.
 305     Symbol.st_value = Sym.Value;
 306     Symbol.st_size = Sym.Size;
 307     Syms.push_back(Symbol);
 308   }
 309 }
 310
 311 template <class ELFT> bool ELFState<ELFT>::buildSectionIndex() {
 312   SN2I.addName(".symtab", getDotSymTabSecNo());
 313   SN2I.addName(".strtab", getDotStrTabSecNo());
 314   SN2I.addName(".shstrtab", getDotShStrTabSecNo());
 315
 316   for (unsigned i = 0, e = Doc.Sections.size(); i != e; ++i) {
 317     StringRef Name = Doc.Sections[i].Name;
 318     if (Name.empty())
 319       continue;
 320     // "+ 1" to take into account the SHT_NULL entry.
 321     if (SN2I.addName(Name, i + 1)) {
 322       errs() << "error: Repeated section name: '" << Name
 323              << "' at YAML section number " << i << ".\n";
 324       return false;
 325     }
 326   }
 327   return true;
 328 }
 329
 330 template <class ELFT>
 331 int ELFState<ELFT>::writeELF(raw_ostream &OS, const ELFYAML::Object &Doc) {
 332   ELFState<ELFT> State(Doc);
 333   if (!State.buildSectionIndex())
 334     return 1;
 335
 336   Elf_Ehdr Header;
 337   State.initELFHeader(Header);
 338
 339   // TODO: Flesh out section header support.
 340   // TODO: Program headers.
 341
 342   // XXX: This offset is tightly coupled with the order that we write
 343   // things to `OS`.
 344   const size_t SectionContentBeginOffset =
 345       Header.e_ehsize + Header.e_shentsize * Header.e_shnum;
 346   ContiguousBlobAccumulator CBA(SectionContentBeginOffset);
 347
 348   std::vector<Elf_Shdr> SHeaders;
 349   if(!State.initSectionHeaders(SHeaders, CBA))
 350     return 1;
 351
 352   // .symtab section.
 353   Elf_Shdr SymtabSHeader;
 354   State.initSymtabSectionHeader(SymtabSHeader, CBA);
 355   SHeaders.push_back(SymtabSHeader);
 356
 357   // .strtab string table header.
 358   Elf_Shdr DotStrTabSHeader;
 359   State.initStrtabSectionHeader(DotStrTabSHeader, ".strtab", State.DotStrtab,
 360                                 CBA);
 361   SHeaders.push_back(DotStrTabSHeader);
 362
 363   // .shstrtab string table header.
 364   Elf_Shdr ShStrTabSHeader;
 365   State.initStrtabSectionHeader(ShStrTabSHeader, ".shstrtab", State.DotShStrtab,
 366                                 CBA);
 367   SHeaders.push_back(ShStrTabSHeader);
 368
 369   OS.write((const char *)&Header, sizeof(Header));
 370   writeArrayData(OS, makeArrayRef(SHeaders));
 371   CBA.writeBlobToStream(OS);
 372   return 0;
 373 }
 374
 375 static bool is64Bit(const ELFYAML::Object &Doc) {
 376   return Doc.Header.Class == ELFYAML::ELF_ELFCLASS(ELF::ELFCLASS64);
 377 }
 378
 379 static bool isLittleEndian(const ELFYAML::Object &Doc) {
 380   return Doc.Header.Data == ELFYAML::ELF_ELFDATA(ELF::ELFDATA2LSB);
 381 }
 382
 383 int yaml2elf(llvm::raw_ostream &Out, llvm::MemoryBuffer *Buf) {
 384   yaml::Input YIn(Buf->getBuffer());
 385   ELFYAML::Object Doc;
 386   YIn >> Doc;
 387   if (YIn.error()) {
 388     errs() << "yaml2obj: Failed to parse YAML file!\n";
 389     return 1;
 390   }
 391   using object::ELFType;
 392   typedef ELFType<support::little, 8, true> LE64;
 393   typedef ELFType<support::big, 8, true> BE64;
 394   typedef ELFType<support::little, 4, false> LE32;
 395   typedef ELFType<support::big, 4, false> BE32;
 396   if (is64Bit(Doc)) {
 397     if (isLittleEndian(Doc))
 398       return ELFState<LE64>::writeELF(outs(), Doc);
 399     else
 400       return ELFState<BE64>::writeELF(outs(), Doc);
 401   } else {
 402     if (isLittleEndian(Doc))
 403       return ELFState<LE32>::writeELF(outs(), Doc);
 404     else
 405       return ELFState<BE32>::writeELF(outs(), Doc);
 406   }
 407 }