tools/yaml2obj/yaml2elf.cpp

   1 //===- yaml2elf - Convert YAML to a ELF object file -----------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 ///
  10 /// \file
  11 /// \brief The ELF component of yaml2obj.
  12 ///
  13 //===----------------------------------------------------------------------===//
  14
  15 #include "yaml2obj.h"
  16 #include "llvm/Object/ELF.h"
  17 #include "llvm/Object/ELFYAML.h"
  18 #include "llvm/Support/ELF.h"
  19 #include "llvm/Support/MemoryBuffer.h"
  20 #include "llvm/Support/YAMLTraits.h"
  21 #include "llvm/Support/raw_ostream.h"
  22
  23 using namespace llvm;
  24
  25 // There is similar code in yaml2coff, but with some slight COFF-specific
  26 // variations like different initial state. Might be able to deduplicate
  27 // some day, but also want to make sure that the Mach-O use case is served.
  28 //
  29 // This class has a deliberately small interface, since a lot of
  30 // implementation variation is possible.
  31 //
  32 // TODO: Use an ordered container with a suffix-based comparison in order
  33 // to deduplicate suffixes. std::map<> with a custom comparator is likely
  34 // to be the simplest implementation, but a suffix trie could be more
  35 // suitable for the job.
  36 namespace {
  37 class StringTableBuilder {
  38   /// \brief Indices of strings currently present in `Buf`.
  39   StringMap<unsigned> StringIndices;
  40   /// \brief The contents of the string table as we build it.
  41   std::string Buf;
  42 public:
  43   StringTableBuilder() {
  44     Buf.push_back('\0');
  45   }
  46   /// \returns Index of string in string table.
  47   unsigned addString(StringRef S) {
  48     StringMapEntry<unsigned> &Entry = StringIndices.GetOrCreateValue(S);
  49     unsigned &I = Entry.getValue();
  50     if (I != 0)
  51       return I;
  52     I = Buf.size();
  53     Buf.append(S.begin(), S.end());
  54     Buf.push_back('\0');
  55     return I;
  56   }
  57   size_t size() const {
  58     return Buf.size();
  59   }
  60   void writeToStream(raw_ostream &OS) {
  61     OS.write(Buf.data(), Buf.size());
  62   }
  63 };
  64 } // end anonymous namespace
  65
  66 // This class is used to build up a contiguous binary blob while keeping
  67 // track of an offset in the output (which notionally begins at
  68 // `InitialOffset`).
  69 namespace {
  70 class ContiguousBlobAccumulator {
  71   const uint64_t InitialOffset;
  72   SmallVector<char, 128> Buf;
  73   raw_svector_ostream OS;
  74
  75 public:
  76   ContiguousBlobAccumulator(uint64_t InitialOffset_)
  77       : InitialOffset(InitialOffset_), Buf(), OS(Buf) {}
  78   raw_ostream &getOS() { return OS; }
  79   uint64_t currentOffset() const { return InitialOffset + OS.tell(); }
  80   void writeBlobToStream(raw_ostream &Out) { Out << OS.str(); }
  81 };
  82 } // end anonymous namespace
  83
  84 // Used to keep track of section names, so that in the YAML file sections
  85 // can be referenced by name instead of by index.
  86 namespace {
  87 class SectionNameToIdxMap {
  88   StringMap<int> Map;
  89 public:
  90   /// \returns true if name is already present in the map.
  91   bool addName(StringRef SecName, unsigned i) {
  92     StringMapEntry<int> &Entry = Map.GetOrCreateValue(SecName, -1);
  93     if (Entry.getValue() != -1)
  94       return true;
  95     Entry.setValue((int)i);
  96     return false;
  97   }
  98   /// \returns true if name is not present in the map
  99   bool lookupSection(StringRef SecName, unsigned &Idx) const {
 100     StringMap<int>::const_iterator I = Map.find(SecName);
 101     if (I == Map.end())
 102       return true;
 103     Idx = I->getValue();
 104     return false;
 105   }
 106 };
 107 } // end anonymous namespace
 108
 109 template <class T>
 110 static size_t vectorDataSize(const std::vector<T> &Vec) {
 111   return Vec.size() * sizeof(T);
 112 }
 113
 114 template <class T>
 115 static void writeVectorData(raw_ostream &OS, const std::vector<T> &Vec) {
 116   OS.write((const char *)Vec.data(), vectorDataSize(Vec));
 117 }
 118
 119 template <class T>
 120 static void zero(T &Obj) {
 121   memset(&Obj, 0, sizeof(Obj));
 122 }
 123
 124 /// \brief Create a string table in `SHeader`, which we assume is already
 125 /// zero'd.
 126 template <class Elf_Shdr>
 127 static void createStringTableSectionHeader(Elf_Shdr &SHeader,
 128                                            StringTableBuilder &STB,
 129                                            ContiguousBlobAccumulator &CBA) {
 130   SHeader.sh_type = ELF::SHT_STRTAB;
 131   SHeader.sh_offset = CBA.currentOffset();
 132   SHeader.sh_size = STB.size();
 133   STB.writeToStream(CBA.getOS());
 134   SHeader.sh_addralign = 1;
 135 }
 136
 137 namespace {
 138 /// \brief "Single point of truth" for the ELF file construction.
 139 /// TODO: This class still has a ways to go before it is truly a "single
 140 /// point of truth".
 141 template <class ELFT>
 142 class ELFState {
 143   /// \brief The future ".strtab" section.
 144   StringTableBuilder DotStrtab;
 145   /// \brief The section number of the ".strtab" section.
 146   unsigned DotStrtabSecNo;
 147   /// \brief The accumulated contents of all sections so far.
 148   ContiguousBlobAccumulator &SectionContentAccum;
 149   typedef typename object::ELFObjectFile<ELFT>::Elf_Ehdr Elf_Ehdr;
 150   /// \brief The ELF file header.
 151   Elf_Ehdr &Header;
 152
 153   SectionNameToIdxMap &SN2I;
 154
 155 public:
 156
 157   ELFState(Elf_Ehdr &Header_, ContiguousBlobAccumulator &Accum,
 158            unsigned DotStrtabSecNo_, SectionNameToIdxMap &SN2I_)
 159       : DotStrtab(), DotStrtabSecNo(DotStrtabSecNo_),
 160         SectionContentAccum(Accum), Header(Header_), SN2I(SN2I_) {}
 161
 162   unsigned getDotStrTabSecNo() const { return DotStrtabSecNo; }
 163   StringTableBuilder &getStringTable() { return DotStrtab; }
 164   ContiguousBlobAccumulator &getSectionContentAccum() {
 165     return SectionContentAccum;
 166   }
 167   SectionNameToIdxMap &getSN2I() { return SN2I; }
 168 };
 169 } // end anonymous namespace
 170
 171 // FIXME: This function is hideous. The hideous ELF type names are hideous.
 172 // Factor the ELF output into a class (templated on ELFT) and share some
 173 // typedefs.
 174 template <class ELFT>
 175 static void handleSymtabSectionHeader(
 176     const ELFYAML::Section &Sec, ELFState<ELFT> &State,
 177     typename object::ELFObjectFile<ELFT>::Elf_Shdr &SHeader) {
 178
 179   typedef typename object::ELFObjectFile<ELFT>::Elf_Sym Elf_Sym;
 180   // TODO: Ensure that a manually specified `Link` field is diagnosed as an
 181   // error for SHT_SYMTAB.
 182   SHeader.sh_link = State.getDotStrTabSecNo();
 183   // TODO: Once we handle symbol binding, this should be one greater than
 184   // symbol table index of the last local symbol.
 185   SHeader.sh_info = 0;
 186   SHeader.sh_entsize = sizeof(Elf_Sym);
 187
 188   std::vector<Elf_Sym> Syms;
 189   {
 190     // Ensure STN_UNDEF is present
 191     Elf_Sym Sym;
 192     zero(Sym);
 193     Syms.push_back(Sym);
 194   }
 195   for (unsigned i = 0, e = Sec.Symbols.size(); i != e; ++i) {
 196     const ELFYAML::Symbol &Sym = Sec.Symbols[i];
 197     Elf_Sym Symbol;
 198     zero(Symbol);
 199     if (!Sym.Name.empty())
 200       Symbol.st_name = State.getStringTable().addString(Sym.Name);
 201     Symbol.setBindingAndType(Sym.Binding, Sym.Type);
 202     unsigned Index;
 203     if (State.getSN2I().lookupSection(Sym.Section, Index)) {
 204       errs() << "error: Unknown section referenced: '" << Sym.Section
 205              << "' by YAML symbol " << Sym.Name << ".\n";
 206       exit(1);
 207     }
 208     Symbol.st_shndx = Index;
 209     Symbol.st_value = Sym.Value;
 210     Symbol.st_size = Sym.Size;
 211     Syms.push_back(Symbol);
 212   }
 213
 214   ContiguousBlobAccumulator &CBA = State.getSectionContentAccum();
 215   SHeader.sh_offset = CBA.currentOffset();
 216   SHeader.sh_size = vectorDataSize(Syms);
 217   writeVectorData(CBA.getOS(), Syms);
 218 }
 219
 220 template <class ELFT>
 221 static int writeELF(raw_ostream &OS, const ELFYAML::Object &Doc) {
 222   using namespace llvm::ELF;
 223   typedef typename object::ELFObjectFile<ELFT>::Elf_Ehdr Elf_Ehdr;
 224   typedef typename object::ELFObjectFile<ELFT>::Elf_Shdr Elf_Shdr;
 225
 226   const ELFYAML::FileHeader &Hdr = Doc.Header;
 227
 228   Elf_Ehdr Header;
 229   zero(Header);
 230   Header.e_ident[EI_MAG0] = 0x7f;
 231   Header.e_ident[EI_MAG1] = 'E';
 232   Header.e_ident[EI_MAG2] = 'L';
 233   Header.e_ident[EI_MAG3] = 'F';
 234   Header.e_ident[EI_CLASS] = ELFT::Is64Bits ? ELFCLASS64 : ELFCLASS32;
 235   bool IsLittleEndian = ELFT::TargetEndianness == support::little;
 236   Header.e_ident[EI_DATA] = IsLittleEndian ? ELFDATA2LSB : ELFDATA2MSB;
 237   Header.e_ident[EI_VERSION] = EV_CURRENT;
 238   Header.e_ident[EI_OSABI] = Hdr.OSABI;
 239   Header.e_ident[EI_ABIVERSION] = 0;
 240   Header.e_type = Hdr.Type;
 241   Header.e_machine = Hdr.Machine;
 242   Header.e_version = EV_CURRENT;
 243   Header.e_entry = Hdr.Entry;
 244   Header.e_ehsize = sizeof(Elf_Ehdr);
 245
 246   // TODO: Flesh out section header support.
 247   // TODO: Program headers.
 248
 249   Header.e_shentsize = sizeof(Elf_Shdr);
 250   // Immediately following the ELF header.
 251   Header.e_shoff = sizeof(Header);
 252   const std::vector<ELFYAML::Section> &Sections = Doc.Sections;
 253   // "+ 3" for
 254   // - SHT_NULL entry (placed first, i.e. 0'th entry)
 255   // - string table (.strtab) (placed second to last)
 256   // - section header string table. (placed last)
 257   Header.e_shnum = Sections.size() + 3;
 258   // Place section header string table last.
 259   Header.e_shstrndx = Header.e_shnum - 1;
 260   const unsigned DotStrtabSecNo = Header.e_shnum - 2;
 261
 262   // XXX: This offset is tightly coupled with the order that we write
 263   // things to `OS`.
 264   const size_t SectionContentBeginOffset =
 265       Header.e_ehsize + Header.e_shentsize * Header.e_shnum;
 266   ContiguousBlobAccumulator CBA(SectionContentBeginOffset);
 267   SectionNameToIdxMap SN2I;
 268   for (unsigned i = 0, e = Sections.size(); i != e; ++i) {
 269     StringRef Name = Sections[i].Name;
 270     if (Name.empty())
 271       continue;
 272     // "+ 1" to take into account the SHT_NULL entry.
 273     if (SN2I.addName(Name, i + 1)) {
 274       errs() << "error: Repeated section name: '" << Name
 275              << "' at YAML section number " << i << ".\n";
 276       return 1;
 277     }
 278   }
 279
 280   ELFState<ELFT> State(Header, CBA, DotStrtabSecNo, SN2I);
 281
 282   StringTableBuilder SHStrTab;
 283   std::vector<Elf_Shdr> SHeaders;
 284   {
 285     // Ensure SHN_UNDEF entry is present. An all-zero section header is a
 286     // valid SHN_UNDEF entry since SHT_NULL == 0.
 287     Elf_Shdr SHdr;
 288     zero(SHdr);
 289     SHeaders.push_back(SHdr);
 290   }
 291   for (unsigned i = 0, e = Sections.size(); i != e; ++i) {
 292     const ELFYAML::Section &Sec = Sections[i];
 293     Elf_Shdr SHeader;
 294     zero(SHeader);
 295     SHeader.sh_name = SHStrTab.addString(Sec.Name);
 296     SHeader.sh_type = Sec.Type;
 297     SHeader.sh_flags = Sec.Flags;
 298     SHeader.sh_addr = Sec.Address;
 299
 300     SHeader.sh_offset = CBA.currentOffset();
 301     SHeader.sh_size = Sec.Content.binary_size();
 302     Sec.Content.writeAsBinary(CBA.getOS());
 303
 304     if (!Sec.Link.empty()) {
 305       unsigned Index;
 306       if (SN2I.lookupSection(Sec.Link, Index)) {
 307         errs() << "error: Unknown section referenced: '" << Sec.Link
 308                << "' at YAML section number " << i << ".\n";
 309         return 1;
 310       }
 311       SHeader.sh_link = Index;
 312     }
 313     SHeader.sh_info = 0;
 314     SHeader.sh_addralign = Sec.AddressAlign;
 315     SHeader.sh_entsize = 0;
 316     // XXX: Really ugly right now. Should not be writing to `CBA` above
 317     // (and setting sh_offset and sh_size) when going through this branch
 318     // here.
 319     if (Sec.Type == ELFYAML::ELF_SHT(SHT_SYMTAB))
 320       handleSymtabSectionHeader<ELFT>(Sec, State, SHeader);
 321     SHeaders.push_back(SHeader);
 322   }
 323
 324   // .strtab string table header.
 325   Elf_Shdr DotStrTabSHeader;
 326   zero(DotStrTabSHeader);
 327   DotStrTabSHeader.sh_name = SHStrTab.addString(StringRef(".strtab"));
 328   createStringTableSectionHeader(DotStrTabSHeader, State.getStringTable(), CBA);
 329
 330   // Section header string table header.
 331   Elf_Shdr SHStrTabSHeader;
 332   zero(SHStrTabSHeader);
 333   createStringTableSectionHeader(SHStrTabSHeader, SHStrTab, CBA);
 334
 335   OS.write((const char *)&Header, sizeof(Header));
 336   writeVectorData(OS, SHeaders);
 337   OS.write((const char *)&DotStrTabSHeader, sizeof(DotStrTabSHeader));
 338   OS.write((const char *)&SHStrTabSHeader, sizeof(SHStrTabSHeader));
 339   CBA.writeBlobToStream(OS);
 340   return 0;
 341 }
 342
 343 int yaml2elf(llvm::raw_ostream &Out, llvm::MemoryBuffer *Buf) {
 344   yaml::Input YIn(Buf->getBuffer());
 345   ELFYAML::Object Doc;
 346   YIn >> Doc;
 347   if (YIn.error()) {
 348     errs() << "yaml2obj: Failed to parse YAML file!\n";
 349     return 1;
 350   }
 351   if (Doc.Header.Class == ELFYAML::ELF_ELFCLASS(ELF::ELFCLASS64)) {
 352     if (Doc.Header.Data == ELFYAML::ELF_ELFDATA(ELF::ELFDATA2LSB))
 353       return writeELF<object::ELFType<support::little, 8, true> >(outs(), Doc);
 354     else
 355       return writeELF<object::ELFType<support::big, 8, true> >(outs(), Doc);
 356   } else {
 357     if (Doc.Header.Data == ELFYAML::ELF_ELFDATA(ELF::ELFDATA2LSB))
 358       return writeELF<object::ELFType<support::little, 4, false> >(outs(), Doc);
 359     else
 360       return writeELF<object::ELFType<support::big, 4, false> >(outs(), Doc);
 361   }
 362 }