[Object] Split the ELF interface into 3 parts.
[oota-llvm.git] / tools / yaml2obj / yaml2elf.cpp
1 //===- yaml2elf - Convert YAML to a ELF object file -----------------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 ///
10 /// \file
11 /// \brief The ELF component of yaml2obj.
12 ///
13 //===----------------------------------------------------------------------===//
14
15 #include "yaml2obj.h"
16 #include "llvm/Object/ELFObjectFile.h"
17 #include "llvm/Object/ELFYAML.h"
18 #include "llvm/Support/ELF.h"
19 #include "llvm/Support/MemoryBuffer.h"
20 #include "llvm/Support/YAMLTraits.h"
21 #include "llvm/Support/raw_ostream.h"
22
23 using namespace llvm;
24
25 // There is similar code in yaml2coff, but with some slight COFF-specific
26 // variations like different initial state. Might be able to deduplicate
27 // some day, but also want to make sure that the Mach-O use case is served.
28 //
29 // This class has a deliberately small interface, since a lot of
30 // implementation variation is possible.
31 //
32 // TODO: Use an ordered container with a suffix-based comparison in order
33 // to deduplicate suffixes. std::map<> with a custom comparator is likely
34 // to be the simplest implementation, but a suffix trie could be more
35 // suitable for the job.
36 namespace {
37 class StringTableBuilder {
38   /// \brief Indices of strings currently present in `Buf`.
39   StringMap<unsigned> StringIndices;
40   /// \brief The contents of the string table as we build it.
41   std::string Buf;
42 public:
43   StringTableBuilder() {
44     Buf.push_back('\0');
45   }
46   /// \returns Index of string in string table.
47   unsigned addString(StringRef S) {
48     StringMapEntry<unsigned> &Entry = StringIndices.GetOrCreateValue(S);
49     unsigned &I = Entry.getValue();
50     if (I != 0)
51       return I;
52     I = Buf.size();
53     Buf.append(S.begin(), S.end());
54     Buf.push_back('\0');
55     return I;
56   }
57   size_t size() const {
58     return Buf.size();
59   }
60   void writeToStream(raw_ostream &OS) {
61     OS.write(Buf.data(), Buf.size());
62   }
63 };
64 } // end anonymous namespace
65
66 // This class is used to build up a contiguous binary blob while keeping
67 // track of an offset in the output (which notionally begins at
68 // `InitialOffset`).
69 namespace {
70 class ContiguousBlobAccumulator {
71   const uint64_t InitialOffset;
72   SmallVector<char, 128> Buf;
73   raw_svector_ostream OS;
74
75   /// \returns The new offset.
76   uint64_t padToAlignment(unsigned Align) {
77     uint64_t CurrentOffset = InitialOffset + OS.tell();
78     uint64_t AlignedOffset = RoundUpToAlignment(CurrentOffset, Align);
79     for (; CurrentOffset != AlignedOffset; ++CurrentOffset)
80       OS.write('\0');
81     return AlignedOffset; // == CurrentOffset;
82   }
83
84 public:
85   ContiguousBlobAccumulator(uint64_t InitialOffset_)
86       : InitialOffset(InitialOffset_), Buf(), OS(Buf) {}
87   template <class Integer>
88   raw_ostream &getOSAndAlignedOffset(Integer &Offset, unsigned Align = 16) {
89     Offset = padToAlignment(Align);
90     return OS;
91   }
92   void writeBlobToStream(raw_ostream &Out) { Out << OS.str(); }
93 };
94 } // end anonymous namespace
95
96 // Used to keep track of section names, so that in the YAML file sections
97 // can be referenced by name instead of by index.
98 namespace {
99 class SectionNameToIdxMap {
100   StringMap<int> Map;
101 public:
102   /// \returns true if name is already present in the map.
103   bool addName(StringRef SecName, unsigned i) {
104     StringMapEntry<int> &Entry = Map.GetOrCreateValue(SecName, -1);
105     if (Entry.getValue() != -1)
106       return true;
107     Entry.setValue((int)i);
108     return false;
109   }
110   /// \returns true if name is not present in the map
111   bool lookupSection(StringRef SecName, unsigned &Idx) const {
112     StringMap<int>::const_iterator I = Map.find(SecName);
113     if (I == Map.end())
114       return true;
115     Idx = I->getValue();
116     return false;
117   }
118 };
119 } // end anonymous namespace
120
121 template <class T>
122 static size_t vectorDataSize(const std::vector<T> &Vec) {
123   return Vec.size() * sizeof(T);
124 }
125
126 template <class T>
127 static void writeVectorData(raw_ostream &OS, const std::vector<T> &Vec) {
128   OS.write((const char *)Vec.data(), vectorDataSize(Vec));
129 }
130
131 template <class T>
132 static void zero(T &Obj) {
133   memset(&Obj, 0, sizeof(Obj));
134 }
135
136 /// \brief Create a string table in `SHeader`, which we assume is already
137 /// zero'd.
138 template <class Elf_Shdr>
139 static void createStringTableSectionHeader(Elf_Shdr &SHeader,
140                                            StringTableBuilder &STB,
141                                            ContiguousBlobAccumulator &CBA) {
142   SHeader.sh_type = ELF::SHT_STRTAB;
143   STB.writeToStream(CBA.getOSAndAlignedOffset(SHeader.sh_offset));
144   SHeader.sh_size = STB.size();
145   SHeader.sh_addralign = 1;
146 }
147
148 namespace {
149 /// \brief "Single point of truth" for the ELF file construction.
150 /// TODO: This class still has a ways to go before it is truly a "single
151 /// point of truth".
152 template <class ELFT>
153 class ELFState {
154   /// \brief The future ".strtab" section.
155   StringTableBuilder DotStrtab;
156   /// \brief The section number of the ".strtab" section.
157   unsigned DotStrtabSecNo;
158   /// \brief The accumulated contents of all sections so far.
159   ContiguousBlobAccumulator &SectionContentAccum;
160   typedef typename object::ELFFile<ELFT>::Elf_Ehdr Elf_Ehdr;
161   /// \brief The ELF file header.
162   Elf_Ehdr &Header;
163
164   SectionNameToIdxMap &SN2I;
165
166 public:
167
168   ELFState(Elf_Ehdr &Header_, ContiguousBlobAccumulator &Accum,
169            unsigned DotStrtabSecNo_, SectionNameToIdxMap &SN2I_)
170       : DotStrtab(), DotStrtabSecNo(DotStrtabSecNo_),
171         SectionContentAccum(Accum), Header(Header_), SN2I(SN2I_) {}
172
173   unsigned getDotStrTabSecNo() const { return DotStrtabSecNo; }
174   StringTableBuilder &getStringTable() { return DotStrtab; }
175   ContiguousBlobAccumulator &getSectionContentAccum() {
176     return SectionContentAccum;
177   }
178   SectionNameToIdxMap &getSN2I() { return SN2I; }
179 };
180 } // end anonymous namespace
181
182 // FIXME: At this point it is fairly clear that we need to refactor these
183 // static functions into methods of a class sharing some typedefs. These
184 // ELF type names are insane.
185 template <class ELFT>
186 static void
187 addSymbols(const std::vector<ELFYAML::Symbol> &Symbols, ELFState<ELFT> &State,
188            std::vector<typename object::ELFFile<ELFT>::Elf_Sym> &Syms,
189            unsigned SymbolBinding) {
190   typedef typename object::ELFFile<ELFT>::Elf_Sym Elf_Sym;
191   for (unsigned i = 0, e = Symbols.size(); i != e; ++i) {
192     const ELFYAML::Symbol &Sym = Symbols[i];
193     Elf_Sym Symbol;
194     zero(Symbol);
195     if (!Sym.Name.empty())
196       Symbol.st_name = State.getStringTable().addString(Sym.Name);
197     Symbol.setBindingAndType(SymbolBinding, Sym.Type);
198     if (!Sym.Section.empty()) {
199       unsigned Index;
200       if (State.getSN2I().lookupSection(Sym.Section, Index)) {
201         errs() << "error: Unknown section referenced: '" << Sym.Section
202                << "' by YAML symbol " << Sym.Name << ".\n";
203         exit(1);
204       }
205       Symbol.st_shndx = Index;
206     } // else Symbol.st_shndex == SHN_UNDEF (== 0), since it was zero'd earlier.
207     Symbol.st_value = Sym.Value;
208     Symbol.st_size = Sym.Size;
209     Syms.push_back(Symbol);
210   }
211 }
212
213 template <class ELFT>
214 static void
215 handleSymtabSectionHeader(const ELFYAML::LocalGlobalWeakSymbols &Symbols,
216                           ELFState<ELFT> &State,
217                           typename object::ELFFile<ELFT>::Elf_Shdr &SHeader) {
218
219   typedef typename object::ELFFile<ELFT>::Elf_Sym Elf_Sym;
220   SHeader.sh_type = ELF::SHT_SYMTAB;
221   SHeader.sh_link = State.getDotStrTabSecNo();
222   // One greater than symbol table index of the last local symbol.
223   SHeader.sh_info = Symbols.Local.size() + 1;
224   SHeader.sh_entsize = sizeof(Elf_Sym);
225
226   std::vector<Elf_Sym> Syms;
227   {
228     // Ensure STN_UNDEF is present
229     Elf_Sym Sym;
230     zero(Sym);
231     Syms.push_back(Sym);
232   }
233   addSymbols(Symbols.Local, State, Syms, ELF::STB_LOCAL);
234   addSymbols(Symbols.Global, State, Syms, ELF::STB_GLOBAL);
235   addSymbols(Symbols.Weak, State, Syms, ELF::STB_WEAK);
236
237   ContiguousBlobAccumulator &CBA = State.getSectionContentAccum();
238   writeVectorData(CBA.getOSAndAlignedOffset(SHeader.sh_offset), Syms);
239   SHeader.sh_size = vectorDataSize(Syms);
240 }
241
242 template <class ELFT>
243 static int writeELF(raw_ostream &OS, const ELFYAML::Object &Doc) {
244   using namespace llvm::ELF;
245   typedef typename object::ELFFile<ELFT>::Elf_Ehdr Elf_Ehdr;
246   typedef typename object::ELFFile<ELFT>::Elf_Shdr Elf_Shdr;
247
248   const ELFYAML::FileHeader &Hdr = Doc.Header;
249
250   Elf_Ehdr Header;
251   zero(Header);
252   Header.e_ident[EI_MAG0] = 0x7f;
253   Header.e_ident[EI_MAG1] = 'E';
254   Header.e_ident[EI_MAG2] = 'L';
255   Header.e_ident[EI_MAG3] = 'F';
256   Header.e_ident[EI_CLASS] = ELFT::Is64Bits ? ELFCLASS64 : ELFCLASS32;
257   bool IsLittleEndian = ELFT::TargetEndianness == support::little;
258   Header.e_ident[EI_DATA] = IsLittleEndian ? ELFDATA2LSB : ELFDATA2MSB;
259   Header.e_ident[EI_VERSION] = EV_CURRENT;
260   Header.e_ident[EI_OSABI] = Hdr.OSABI;
261   Header.e_ident[EI_ABIVERSION] = 0;
262   Header.e_type = Hdr.Type;
263   Header.e_machine = Hdr.Machine;
264   Header.e_version = EV_CURRENT;
265   Header.e_entry = Hdr.Entry;
266   Header.e_ehsize = sizeof(Elf_Ehdr);
267
268   // TODO: Flesh out section header support.
269   // TODO: Program headers.
270
271   Header.e_shentsize = sizeof(Elf_Shdr);
272   // Immediately following the ELF header.
273   Header.e_shoff = sizeof(Header);
274   const std::vector<ELFYAML::Section> &Sections = Doc.Sections;
275   // "+ 4" for
276   // - SHT_NULL entry (placed first, i.e. 0'th entry)
277   // - symbol table (.symtab) (placed third to last)
278   // - string table (.strtab) (placed second to last)
279   // - section header string table. (placed last)
280   Header.e_shnum = Sections.size() + 4;
281   // Place section header string table last.
282   Header.e_shstrndx = Header.e_shnum - 1;
283   const unsigned DotStrtabSecNo = Header.e_shnum - 2;
284
285   // XXX: This offset is tightly coupled with the order that we write
286   // things to `OS`.
287   const size_t SectionContentBeginOffset =
288       Header.e_ehsize + Header.e_shentsize * Header.e_shnum;
289   ContiguousBlobAccumulator CBA(SectionContentBeginOffset);
290   SectionNameToIdxMap SN2I;
291   for (unsigned i = 0, e = Sections.size(); i != e; ++i) {
292     StringRef Name = Sections[i].Name;
293     if (Name.empty())
294       continue;
295     // "+ 1" to take into account the SHT_NULL entry.
296     if (SN2I.addName(Name, i + 1)) {
297       errs() << "error: Repeated section name: '" << Name
298              << "' at YAML section number " << i << ".\n";
299       return 1;
300     }
301   }
302
303   ELFState<ELFT> State(Header, CBA, DotStrtabSecNo, SN2I);
304
305   StringTableBuilder SHStrTab;
306   std::vector<Elf_Shdr> SHeaders;
307   {
308     // Ensure SHN_UNDEF entry is present. An all-zero section header is a
309     // valid SHN_UNDEF entry since SHT_NULL == 0.
310     Elf_Shdr SHdr;
311     zero(SHdr);
312     SHeaders.push_back(SHdr);
313   }
314   for (unsigned i = 0, e = Sections.size(); i != e; ++i) {
315     const ELFYAML::Section &Sec = Sections[i];
316     Elf_Shdr SHeader;
317     zero(SHeader);
318     SHeader.sh_name = SHStrTab.addString(Sec.Name);
319     SHeader.sh_type = Sec.Type;
320     SHeader.sh_flags = Sec.Flags;
321     SHeader.sh_addr = Sec.Address;
322
323     Sec.Content.writeAsBinary(CBA.getOSAndAlignedOffset(SHeader.sh_offset));
324     SHeader.sh_size = Sec.Content.binary_size();
325
326     if (!Sec.Link.empty()) {
327       unsigned Index;
328       if (SN2I.lookupSection(Sec.Link, Index)) {
329         errs() << "error: Unknown section referenced: '" << Sec.Link
330                << "' at YAML section number " << i << ".\n";
331         return 1;
332       }
333       SHeader.sh_link = Index;
334     }
335     SHeader.sh_info = 0;
336     SHeader.sh_addralign = Sec.AddressAlign;
337     SHeader.sh_entsize = 0;
338     SHeaders.push_back(SHeader);
339   }
340
341   // .symtab section.
342   Elf_Shdr SymtabSHeader;
343   zero(SymtabSHeader);
344   SymtabSHeader.sh_name = SHStrTab.addString(StringRef(".symtab"));
345   handleSymtabSectionHeader<ELFT>(Doc.Symbols, State, SymtabSHeader);
346   SHeaders.push_back(SymtabSHeader);
347
348   // .strtab string table header.
349   Elf_Shdr DotStrTabSHeader;
350   zero(DotStrTabSHeader);
351   DotStrTabSHeader.sh_name = SHStrTab.addString(StringRef(".strtab"));
352   createStringTableSectionHeader(DotStrTabSHeader, State.getStringTable(), CBA);
353   SHeaders.push_back(DotStrTabSHeader);
354
355   // Section header string table header.
356   Elf_Shdr SHStrTabSHeader;
357   zero(SHStrTabSHeader);
358   createStringTableSectionHeader(SHStrTabSHeader, SHStrTab, CBA);
359   SHeaders.push_back(SHStrTabSHeader);
360
361   OS.write((const char *)&Header, sizeof(Header));
362   writeVectorData(OS, SHeaders);
363   CBA.writeBlobToStream(OS);
364   return 0;
365 }
366
367 static bool is64Bit(const ELFYAML::Object &Doc) {
368   return Doc.Header.Class == ELFYAML::ELF_ELFCLASS(ELF::ELFCLASS64);
369 }
370
371 static bool isLittleEndian(const ELFYAML::Object &Doc) {
372   return Doc.Header.Data == ELFYAML::ELF_ELFDATA(ELF::ELFDATA2LSB);
373 }
374
375 int yaml2elf(llvm::raw_ostream &Out, llvm::MemoryBuffer *Buf) {
376   yaml::Input YIn(Buf->getBuffer());
377   ELFYAML::Object Doc;
378   YIn >> Doc;
379   if (YIn.error()) {
380     errs() << "yaml2obj: Failed to parse YAML file!\n";
381     return 1;
382   }
383   using object::ELFType;
384   typedef ELFType<support::little, 8, true> LE64;
385   typedef ELFType<support::big, 8, true> BE64;
386   typedef ELFType<support::little, 4, false> LE32;
387   typedef ELFType<support::big, 4, false> BE32;
388   if (is64Bit(Doc)) {
389     if (isLittleEndian(Doc))
390       return writeELF<LE64>(outs(), Doc);
391     else
392       return writeELF<BE64>(outs(), Doc);
393   } else {
394     if (isLittleEndian(Doc))
395       return writeELF<LE32>(outs(), Doc);
396     else
397       return writeELF<BE32>(outs(), Doc);
398   }
399 }