Speed up AddSectionToTheEnd. It was walking all fragments in all sections.
[oota-llvm.git] / lib / MC / MCAssembler.cpp
1 //===- lib/MC/MCAssembler.cpp - Assembler Backend Implementation ----------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9
10 #define DEBUG_TYPE "assembler"
11 #include "llvm/MC/MCAssembler.h"
12 #include "llvm/MC/MCAsmLayout.h"
13 #include "llvm/MC/MCCodeEmitter.h"
14 #include "llvm/MC/MCExpr.h"
15 #include "llvm/MC/MCObjectWriter.h"
16 #include "llvm/MC/MCSection.h"
17 #include "llvm/MC/MCSymbol.h"
18 #include "llvm/MC/MCValue.h"
19 #include "llvm/MC/MCDwarf.h"
20 #include "llvm/ADT/OwningPtr.h"
21 #include "llvm/ADT/Statistic.h"
22 #include "llvm/ADT/StringExtras.h"
23 #include "llvm/ADT/Twine.h"
24 #include "llvm/Support/Debug.h"
25 #include "llvm/Support/ErrorHandling.h"
26 #include "llvm/Support/raw_ostream.h"
27 #include "llvm/Target/TargetRegistry.h"
28 #include "llvm/Target/TargetAsmBackend.h"
29
30 #include <vector>
31 using namespace llvm;
32
33 namespace {
34 namespace stats {
35 STATISTIC(EmittedFragments, "Number of emitted assembler fragments");
36 STATISTIC(EvaluateFixup, "Number of evaluated fixups");
37 STATISTIC(FragmentLayouts, "Number of fragment layouts");
38 STATISTIC(ObjectBytes, "Number of emitted object file bytes");
39 STATISTIC(RelaxationSteps, "Number of assembler layout and relaxation steps");
40 STATISTIC(RelaxedInstructions, "Number of relaxed instructions");
41 STATISTIC(SectionLayouts, "Number of section layouts");
42 }
43 }
44
45 // FIXME FIXME FIXME: There are number of places in this file where we convert
46 // what is a 64-bit assembler value used for computation into a value in the
47 // object file, which may truncate it. We should detect that truncation where
48 // invalid and report errors back.
49
50 /* *** */
51
52 MCAsmLayout::MCAsmLayout(MCAssembler &Asm)
53   : Assembler(Asm), LastValidFragment(0)
54  {
55   // Compute the section layout order. Virtual sections must go last.
56   for (MCAssembler::iterator it = Asm.begin(), ie = Asm.end(); it != ie; ++it)
57     if (!Asm.getBackend().isVirtualSection(it->getSection()))
58       SectionOrder.push_back(&*it);
59   for (MCAssembler::iterator it = Asm.begin(), ie = Asm.end(); it != ie; ++it)
60     if (Asm.getBackend().isVirtualSection(it->getSection()))
61       SectionOrder.push_back(&*it);
62 }
63
64 bool MCAsmLayout::isSectionUpToDate(const MCSectionData *SD) const {
65   // The first section is always up-to-date.
66   unsigned Index = SD->getLayoutOrder();
67   if (!Index)
68     return true;
69
70   // Otherwise, sections are always implicitly computed when the preceeding
71   // fragment is layed out.
72   const MCSectionData *Prev = getSectionOrder()[Index - 1];
73   return isFragmentUpToDate(&(Prev->getFragmentList().back()));
74 }
75
76 bool MCAsmLayout::isFragmentUpToDate(const MCFragment *F) const {
77   return (LastValidFragment &&
78           F->getLayoutOrder() <= LastValidFragment->getLayoutOrder());
79 }
80
81 void MCAsmLayout::UpdateForSlide(MCFragment *F, int SlideAmount) {
82   // If this fragment wasn't already up-to-date, we don't need to do anything.
83   if (!isFragmentUpToDate(F))
84     return;
85
86   // Otherwise, reset the last valid fragment to the predecessor of the
87   // invalidated fragment.
88   LastValidFragment = F->getPrevNode();
89   if (!LastValidFragment) {
90     unsigned Index = F->getParent()->getLayoutOrder();
91     if (Index != 0) {
92       MCSectionData *Prev = getSectionOrder()[Index - 1];
93       LastValidFragment = &(Prev->getFragmentList().back());
94     }
95   }
96 }
97
98 void MCAsmLayout::EnsureValid(const MCFragment *F) const {
99   // Advance the layout position until the fragment is up-to-date.
100   while (!isFragmentUpToDate(F)) {
101     // Advance to the next fragment.
102     MCFragment *Cur = LastValidFragment;
103     if (Cur)
104       Cur = Cur->getNextNode();
105     if (!Cur) {
106       unsigned NextIndex = 0;
107       if (LastValidFragment)
108         NextIndex = LastValidFragment->getParent()->getLayoutOrder() + 1;
109       Cur = SectionOrder[NextIndex]->begin();
110     }
111
112     const_cast<MCAsmLayout*>(this)->LayoutFragment(Cur);
113   }
114 }
115
116 void MCAsmLayout::FragmentReplaced(MCFragment *Src, MCFragment *Dst) {
117   if (LastValidFragment == Src)
118     LastValidFragment = Dst;
119
120   Dst->Offset = Src->Offset;
121   Dst->EffectiveSize = Src->EffectiveSize;
122 }
123
124 uint64_t MCAsmLayout::getFragmentAddress(const MCFragment *F) const {
125   assert(F->getParent() && "Missing section()!");
126   return getSectionAddress(F->getParent()) + getFragmentOffset(F);
127 }
128
129 uint64_t MCAsmLayout::getFragmentEffectiveSize(const MCFragment *F) const {
130   EnsureValid(F);
131   assert(F->EffectiveSize != ~UINT64_C(0) && "Address not set!");
132   return F->EffectiveSize;
133 }
134
135 uint64_t MCAsmLayout::getFragmentOffset(const MCFragment *F) const {
136   EnsureValid(F);
137   assert(F->Offset != ~UINT64_C(0) && "Address not set!");
138   return F->Offset;
139 }
140
141 uint64_t MCAsmLayout::getSymbolAddress(const MCSymbolData *SD) const {
142   assert(SD->getFragment() && "Invalid getAddress() on undefined symbol!");
143   return getFragmentAddress(SD->getFragment()) + SD->getOffset();
144 }
145
146 uint64_t MCAsmLayout::getSectionAddress(const MCSectionData *SD) const {
147   EnsureValid(SD->begin());
148   assert(SD->Address != ~UINT64_C(0) && "Address not set!");
149   return SD->Address;
150 }
151
152 uint64_t MCAsmLayout::getSectionAddressSize(const MCSectionData *SD) const {
153   // The size is the last fragment's end offset.
154   const MCFragment &F = SD->getFragmentList().back();
155   return getFragmentOffset(&F) + getFragmentEffectiveSize(&F);
156 }
157
158 uint64_t MCAsmLayout::getSectionFileSize(const MCSectionData *SD) const {
159   // Virtual sections have no file size.
160   if (getAssembler().getBackend().isVirtualSection(SD->getSection()))
161     return 0;
162
163   // Otherwise, the file size is the same as the address space size.
164   return getSectionAddressSize(SD);
165 }
166
167 uint64_t MCAsmLayout::getSectionSize(const MCSectionData *SD) const {
168   // The logical size is the address space size minus any tail padding.
169   uint64_t Size = getSectionAddressSize(SD);
170   const MCAlignFragment *AF =
171     dyn_cast<MCAlignFragment>(&(SD->getFragmentList().back()));
172   if (AF && AF->hasOnlyAlignAddress())
173     Size -= getFragmentEffectiveSize(AF);
174
175   return Size;
176 }
177
178 /* *** */
179
180 MCFragment::MCFragment() : Kind(FragmentType(~0)) {
181 }
182
183 MCFragment::~MCFragment() {
184 }
185
186 MCFragment::MCFragment(FragmentType _Kind, MCSectionData *_Parent)
187   : Kind(_Kind), Parent(_Parent), Atom(0), Offset(~UINT64_C(0)),
188     EffectiveSize(~UINT64_C(0))
189 {
190   if (Parent)
191     Parent->getFragmentList().push_back(this);
192 }
193
194 /* *** */
195
196 MCSectionData::MCSectionData() : Section(0) {}
197
198 MCSectionData::MCSectionData(const MCSection &_Section, MCAssembler *A)
199   : Section(&_Section),
200     Alignment(1),
201     Address(~UINT64_C(0)),
202     HasInstructions(false)
203 {
204   if (A)
205     A->getSectionList().push_back(this);
206 }
207
208 /* *** */
209
210 MCSymbolData::MCSymbolData() : Symbol(0) {}
211
212 MCSymbolData::MCSymbolData(const MCSymbol &_Symbol, MCFragment *_Fragment,
213                            uint64_t _Offset, MCAssembler *A)
214   : Symbol(&_Symbol), Fragment(_Fragment), Offset(_Offset),
215     IsExternal(false), IsPrivateExtern(false),
216     CommonSize(0), SymbolSize(0), CommonAlign(0),
217     Flags(0), Index(0)
218 {
219   if (A)
220     A->getSymbolList().push_back(this);
221 }
222
223 /* *** */
224
225 MCAssembler::MCAssembler(MCContext &_Context, TargetAsmBackend &_Backend,
226                          MCCodeEmitter &_Emitter, bool _PadSectionToAlignment,
227                          raw_ostream &_OS)
228   : Context(_Context), Backend(_Backend), Emitter(_Emitter),
229     OS(_OS), RelaxAll(false), SubsectionsViaSymbols(false),
230     PadSectionToAlignment(_PadSectionToAlignment)
231 {
232 }
233
234 MCAssembler::~MCAssembler() {
235 }
236
237 bool MCAssembler::isSymbolLinkerVisible(const MCSymbol &Symbol) const {
238   // Non-temporary labels should always be visible to the linker.
239   if (!Symbol.isTemporary())
240     return true;
241
242   // Absolute temporary labels are never visible.
243   if (!Symbol.isInSection())
244     return false;
245
246   // Otherwise, check if the section requires symbols even for temporary labels.
247   return getBackend().doesSectionRequireSymbols(Symbol.getSection());
248 }
249
250 const MCSymbolData *MCAssembler::getAtom(const MCSymbolData *SD) const {
251   // Linker visible symbols define atoms.
252   if (isSymbolLinkerVisible(SD->getSymbol()))
253     return SD;
254
255   // Absolute and undefined symbols have no defining atom.
256   if (!SD->getFragment())
257     return 0;
258
259   // Non-linker visible symbols in sections which can't be atomized have no
260   // defining atom.
261   if (!getBackend().isSectionAtomizable(
262         SD->getFragment()->getParent()->getSection()))
263     return 0;
264
265   // Otherwise, return the atom for the containing fragment.
266   return SD->getFragment()->getAtom();
267 }
268
269 bool MCAssembler::EvaluateFixup(const MCObjectWriter &Writer,
270                                 const MCAsmLayout &Layout,
271                                 const MCFixup &Fixup, const MCFragment *DF,
272                                 MCValue &Target, uint64_t &Value) const {
273   ++stats::EvaluateFixup;
274
275   if (!Fixup.getValue()->EvaluateAsRelocatable(Target, &Layout))
276     report_fatal_error("expected relocatable expression");
277
278   // FIXME: How do non-scattered symbols work in ELF? I presume the linker
279   // doesn't support small relocations, but then under what criteria does the
280   // assembler allow symbol differences?
281
282   Value = Target.getConstant();
283
284   bool IsPCRel = Emitter.getFixupKindInfo(
285     Fixup.getKind()).Flags & MCFixupKindInfo::FKF_IsPCRel;
286   bool IsResolved = true;
287   if (const MCSymbolRefExpr *A = Target.getSymA()) {
288     if (A->getSymbol().isDefined())
289       Value += Layout.getSymbolAddress(&getSymbolData(A->getSymbol()));
290     else
291       IsResolved = false;
292   }
293   if (const MCSymbolRefExpr *B = Target.getSymB()) {
294     if (B->getSymbol().isDefined())
295       Value -= Layout.getSymbolAddress(&getSymbolData(B->getSymbol()));
296     else
297       IsResolved = false;
298   }
299
300   if (IsResolved)
301     IsResolved = Writer.IsFixupFullyResolved(*this, Target, IsPCRel, DF);
302
303   if (IsPCRel)
304     Value -= Layout.getFragmentAddress(DF) + Fixup.getOffset();
305
306   return IsResolved;
307 }
308
309 uint64_t MCAssembler::ComputeFragmentSize(MCAsmLayout &Layout,
310                                           const MCFragment &F,
311                                           uint64_t SectionAddress,
312                                           uint64_t FragmentOffset) const {
313   switch (F.getKind()) {
314   case MCFragment::FT_Data:
315     return cast<MCDataFragment>(F).getContents().size();
316   case MCFragment::FT_Fill:
317     return cast<MCFillFragment>(F).getSize();
318   case MCFragment::FT_Inst:
319     return cast<MCInstFragment>(F).getInstSize();
320
321   case MCFragment::FT_LEB:
322     return cast<MCLEBFragment>(F).getSize();
323
324   case MCFragment::FT_Align: {
325     const MCAlignFragment &AF = cast<MCAlignFragment>(F);
326
327     assert((!AF.hasOnlyAlignAddress() || !AF.getNextNode()) &&
328            "Invalid OnlyAlignAddress bit, not the last fragment!");
329
330     uint64_t Size = OffsetToAlignment(SectionAddress + FragmentOffset,
331                                       AF.getAlignment());
332
333     // Honor MaxBytesToEmit.
334     if (Size > AF.getMaxBytesToEmit())
335       return 0;
336
337     return Size;
338   }
339
340   case MCFragment::FT_Org:
341     return cast<MCOrgFragment>(F).getSize();
342
343   case MCFragment::FT_Dwarf:
344     return cast<MCDwarfLineAddrFragment>(F).getSize();
345   }
346
347   assert(0 && "invalid fragment kind");
348   return 0;
349 }
350
351 void MCAsmLayout::LayoutFile() {
352   // Initialize the first section and set the valid fragment layout point. All
353   // actual layout computations are done lazily.
354   LastValidFragment = 0;
355   if (!getSectionOrder().empty())
356     getSectionOrder().front()->Address = 0;
357 }
358
359 void MCAsmLayout::LayoutFragment(MCFragment *F) {
360   MCFragment *Prev = F->getPrevNode();
361
362   // We should never try to recompute something which is up-to-date.
363   assert(!isFragmentUpToDate(F) && "Attempt to recompute up-to-date fragment!");
364   // We should never try to compute the fragment layout if the section isn't
365   // up-to-date.
366   assert(isSectionUpToDate(F->getParent()) &&
367          "Attempt to compute fragment before it's section!");
368   // We should never try to compute the fragment layout if it's predecessor
369   // isn't up-to-date.
370   assert((!Prev || isFragmentUpToDate(Prev)) &&
371          "Attempt to compute fragment before it's predecessor!");
372
373   ++stats::FragmentLayouts;
374
375   // Compute the fragment start address.
376   uint64_t StartAddress = F->getParent()->Address;
377   uint64_t Address = StartAddress;
378   if (Prev)
379     Address += Prev->Offset + Prev->EffectiveSize;
380
381   // Compute fragment offset and size.
382   F->Offset = Address - StartAddress;
383   F->EffectiveSize = getAssembler().ComputeFragmentSize(*this, *F, StartAddress,
384                                                         F->Offset);
385   LastValidFragment = F;
386
387   // If this is the last fragment in a section, update the next section address.
388   if (!F->getNextNode()) {
389     unsigned NextIndex = F->getParent()->getLayoutOrder() + 1;
390     if (NextIndex != getSectionOrder().size())
391       LayoutSection(getSectionOrder()[NextIndex]);
392   }
393 }
394
395 void MCAsmLayout::LayoutSection(MCSectionData *SD) {
396   unsigned SectionOrderIndex = SD->getLayoutOrder();
397
398   ++stats::SectionLayouts;
399
400   // Compute the section start address.
401   uint64_t StartAddress = 0;
402   if (SectionOrderIndex) {
403     MCSectionData *Prev = getSectionOrder()[SectionOrderIndex - 1];
404     StartAddress = getSectionAddress(Prev) + getSectionAddressSize(Prev);
405   }
406
407   // Honor the section alignment requirements.
408   StartAddress = RoundUpToAlignment(StartAddress, SD->getAlignment());
409
410   // Set the section address.
411   SD->Address = StartAddress;
412 }
413
414 /// WriteFragmentData - Write the \arg F data to the output file.
415 static void WriteFragmentData(const MCAssembler &Asm, const MCAsmLayout &Layout,
416                               const MCFragment &F, MCObjectWriter *OW) {
417   uint64_t Start = OW->getStream().tell();
418   (void) Start;
419
420   ++stats::EmittedFragments;
421
422   // FIXME: Embed in fragments instead?
423   uint64_t FragmentSize = Layout.getFragmentEffectiveSize(&F);
424   switch (F.getKind()) {
425   case MCFragment::FT_Align: {
426     MCAlignFragment &AF = cast<MCAlignFragment>(F);
427     uint64_t Count = FragmentSize / AF.getValueSize();
428
429     assert(AF.getValueSize() && "Invalid virtual align in concrete fragment!");
430
431     // FIXME: This error shouldn't actually occur (the front end should emit
432     // multiple .align directives to enforce the semantics it wants), but is
433     // severe enough that we want to report it. How to handle this?
434     if (Count * AF.getValueSize() != FragmentSize)
435       report_fatal_error("undefined .align directive, value size '" +
436                         Twine(AF.getValueSize()) +
437                         "' is not a divisor of padding size '" +
438                         Twine(FragmentSize) + "'");
439
440     // See if we are aligning with nops, and if so do that first to try to fill
441     // the Count bytes.  Then if that did not fill any bytes or there are any
442     // bytes left to fill use the the Value and ValueSize to fill the rest.
443     // If we are aligning with nops, ask that target to emit the right data.
444     if (AF.hasEmitNops()) {
445       if (!Asm.getBackend().WriteNopData(Count, OW))
446         report_fatal_error("unable to write nop sequence of " +
447                           Twine(Count) + " bytes");
448       break;
449     }
450
451     // Otherwise, write out in multiples of the value size.
452     for (uint64_t i = 0; i != Count; ++i) {
453       switch (AF.getValueSize()) {
454       default:
455         assert(0 && "Invalid size!");
456       case 1: OW->Write8 (uint8_t (AF.getValue())); break;
457       case 2: OW->Write16(uint16_t(AF.getValue())); break;
458       case 4: OW->Write32(uint32_t(AF.getValue())); break;
459       case 8: OW->Write64(uint64_t(AF.getValue())); break;
460       }
461     }
462     break;
463   }
464
465   case MCFragment::FT_Data: {
466     MCDataFragment &DF = cast<MCDataFragment>(F);
467     assert(FragmentSize == DF.getContents().size() && "Invalid size!");
468     OW->WriteBytes(DF.getContents().str());
469     break;
470   }
471
472   case MCFragment::FT_Fill: {
473     MCFillFragment &FF = cast<MCFillFragment>(F);
474
475     assert(FF.getValueSize() && "Invalid virtual align in concrete fragment!");
476
477     for (uint64_t i = 0, e = FF.getSize() / FF.getValueSize(); i != e; ++i) {
478       switch (FF.getValueSize()) {
479       default:
480         assert(0 && "Invalid size!");
481       case 1: OW->Write8 (uint8_t (FF.getValue())); break;
482       case 2: OW->Write16(uint16_t(FF.getValue())); break;
483       case 4: OW->Write32(uint32_t(FF.getValue())); break;
484       case 8: OW->Write64(uint64_t(FF.getValue())); break;
485       }
486     }
487     break;
488   }
489
490   case MCFragment::FT_Inst:
491     llvm_unreachable("unexpected inst fragment after lowering");
492     break;
493
494   case MCFragment::FT_LEB: {
495     MCLEBFragment &LF = cast<MCLEBFragment>(F);
496
497     // FIXME: It is probably better if we don't call EvaluateAsAbsolute in
498     // here.
499     int64_t Value;
500     LF.getValue().EvaluateAsAbsolute(Value, &Layout);
501     SmallString<32> Tmp;
502     raw_svector_ostream OSE(Tmp);
503     if (LF.isSigned())
504       MCObjectWriter::EncodeSLEB128(Value, OSE);
505     else
506       MCObjectWriter::EncodeULEB128(Value, OSE);
507     OW->WriteBytes(OSE.str());
508     break;
509   }
510
511   case MCFragment::FT_Org: {
512     MCOrgFragment &OF = cast<MCOrgFragment>(F);
513
514     for (uint64_t i = 0, e = FragmentSize; i != e; ++i)
515       OW->Write8(uint8_t(OF.getValue()));
516
517     break;
518   }
519
520   case MCFragment::FT_Dwarf: {
521     const MCDwarfLineAddrFragment &OF = cast<MCDwarfLineAddrFragment>(F);
522
523     // The AddrDelta is really unsigned and it can only increase.
524     int64_t AddrDelta;
525     OF.getAddrDelta().EvaluateAsAbsolute(AddrDelta, &Layout);
526
527     int64_t LineDelta;
528     LineDelta = OF.getLineDelta();
529
530     MCDwarfLineAddr::Write(OW, LineDelta, (uint64_t)AddrDelta);
531     break;
532   }
533   }
534
535   assert(OW->getStream().tell() - Start == FragmentSize);
536 }
537
538 void MCAssembler::WriteSectionData(const MCSectionData *SD,
539                                    const MCAsmLayout &Layout,
540                                    MCObjectWriter *OW) const {
541   // Ignore virtual sections.
542   if (getBackend().isVirtualSection(SD->getSection())) {
543     assert(Layout.getSectionFileSize(SD) == 0 && "Invalid size for section!");
544
545     // Check that contents are only things legal inside a virtual section.
546     for (MCSectionData::const_iterator it = SD->begin(),
547            ie = SD->end(); it != ie; ++it) {
548       switch (it->getKind()) {
549       default:
550         assert(0 && "Invalid fragment in virtual section!");
551       case MCFragment::FT_Data: {
552         // Check that we aren't trying to write a non-zero contents (or fixups)
553         // into a virtual section. This is to support clients which use standard
554         // directives to fill the contents of virtual sections.
555         MCDataFragment &DF = cast<MCDataFragment>(*it);
556         assert(DF.fixup_begin() == DF.fixup_end() &&
557                "Cannot have fixups in virtual section!");
558         for (unsigned i = 0, e = DF.getContents().size(); i != e; ++i)
559           assert(DF.getContents()[i] == 0 &&
560                  "Invalid data value for virtual section!");
561         break;
562       }
563       case MCFragment::FT_Align:
564         // Check that we aren't trying to write a non-zero value into a virtual
565         // section.
566         assert((!cast<MCAlignFragment>(it)->getValueSize() ||
567                 !cast<MCAlignFragment>(it)->getValue()) &&
568                "Invalid align in virtual section!");
569         break;
570       case MCFragment::FT_Fill:
571         assert(!cast<MCFillFragment>(it)->getValueSize() &&
572                "Invalid fill in virtual section!");
573         break;
574       }
575     }
576
577     return;
578   }
579
580   uint64_t Start = OW->getStream().tell();
581   (void) Start;
582
583   for (MCSectionData::const_iterator it = SD->begin(),
584          ie = SD->end(); it != ie; ++it)
585     WriteFragmentData(*this, Layout, *it, OW);
586
587   assert(OW->getStream().tell() - Start == Layout.getSectionFileSize(SD));
588 }
589
590 void MCAssembler::AddSectionToTheEnd(const MCObjectWriter &Writer,
591                                      MCSectionData &SD, MCAsmLayout &Layout) {
592   // Create dummy fragments and assign section ordinals.
593   unsigned SectionIndex = size();
594   SD.setOrdinal(SectionIndex);
595
596   // Assign layout order indices to sections and fragments.
597   const MCFragment &Last = *Layout.getSectionOrder().back()->rbegin();
598   unsigned FragmentIndex = Last.getLayoutOrder() + 1;
599
600   SD.setLayoutOrder(Layout.getSectionOrder().size());
601   for (MCSectionData::iterator it2 = SD.begin(),
602          ie2 = SD.end(); it2 != ie2; ++it2) {
603     it2->setLayoutOrder(FragmentIndex++);
604   }
605   Layout.getSectionOrder().push_back(&SD);
606
607   Layout.LayoutSection(&SD);
608 }
609
610 void MCAssembler::Finish(MCObjectWriter *Writer) {
611   DEBUG_WITH_TYPE("mc-dump", {
612       llvm::errs() << "assembler backend - pre-layout\n--\n";
613       dump(); });
614
615   // Create the layout object.
616   MCAsmLayout Layout(*this);
617
618   // Insert additional align fragments for concrete sections to explicitly pad
619   // the previous section to match their alignment requirements. This is for
620   // 'gas' compatibility, it shouldn't strictly be necessary.
621   if (PadSectionToAlignment) {
622     for (unsigned i = 1, e = Layout.getSectionOrder().size(); i < e; ++i) {
623       MCSectionData *SD = Layout.getSectionOrder()[i];
624
625       // Ignore sections without alignment requirements.
626       unsigned Align = SD->getAlignment();
627       if (Align <= 1)
628         continue;
629
630       // Ignore virtual sections, they don't cause file size modifications.
631       if (getBackend().isVirtualSection(SD->getSection()))
632         continue;
633
634       // Otherwise, create a new align fragment at the end of the previous
635       // section.
636       MCAlignFragment *AF = new MCAlignFragment(Align, 0, 1, Align,
637                                                 Layout.getSectionOrder()[i - 1]);
638       AF->setOnlyAlignAddress(true);
639     }
640   }
641
642   // Create dummy fragments and assign section ordinals.
643   unsigned SectionIndex = 0;
644   for (MCAssembler::iterator it = begin(), ie = end(); it != ie; ++it) {
645     // Create dummy fragments to eliminate any empty sections, this simplifies
646     // layout.
647     if (it->getFragmentList().empty())
648       new MCDataFragment(it);
649
650     it->setOrdinal(SectionIndex++);
651   }
652
653   // Assign layout order indices to sections and fragments.
654   unsigned FragmentIndex = 0;
655   for (unsigned i = 0, e = Layout.getSectionOrder().size(); i != e; ++i) {
656     MCSectionData *SD = Layout.getSectionOrder()[i];
657     SD->setLayoutOrder(i);
658
659     for (MCSectionData::iterator it2 = SD->begin(),
660            ie2 = SD->end(); it2 != ie2; ++it2)
661       it2->setLayoutOrder(FragmentIndex++);
662   }
663
664   llvm::OwningPtr<MCObjectWriter> OwnWriter(0);
665   if (Writer == 0) {
666     //no custom Writer_ : create the default one life-managed by OwningPtr
667     OwnWriter.reset(getBackend().createObjectWriter(OS));
668     Writer = OwnWriter.get();
669     if (!Writer)
670       report_fatal_error("unable to create object writer!");
671   }
672
673   // Layout until everything fits.
674   while (LayoutOnce(*Writer, Layout))
675     continue;
676
677   DEBUG_WITH_TYPE("mc-dump", {
678       llvm::errs() << "assembler backend - post-relaxation\n--\n";
679       dump(); });
680
681   // Finalize the layout, including fragment lowering.
682   FinishLayout(Layout);
683
684   DEBUG_WITH_TYPE("mc-dump", {
685       llvm::errs() << "assembler backend - final-layout\n--\n";
686       dump(); });
687
688   uint64_t StartOffset = OS.tell();
689
690   // Allow the object writer a chance to perform post-layout binding (for
691   // example, to set the index fields in the symbol data).
692   Writer->ExecutePostLayoutBinding(*this);
693
694   // Evaluate and apply the fixups, generating relocation entries as necessary.
695   for (MCAssembler::iterator it = begin(), ie = end(); it != ie; ++it) {
696     for (MCSectionData::iterator it2 = it->begin(),
697            ie2 = it->end(); it2 != ie2; ++it2) {
698       MCDataFragment *DF = dyn_cast<MCDataFragment>(it2);
699       if (!DF)
700         continue;
701
702       for (MCDataFragment::fixup_iterator it3 = DF->fixup_begin(),
703              ie3 = DF->fixup_end(); it3 != ie3; ++it3) {
704         MCFixup &Fixup = *it3;
705
706         // Evaluate the fixup.
707         MCValue Target;
708         uint64_t FixedValue;
709         if (!EvaluateFixup(*Writer, Layout, Fixup, DF, Target, FixedValue)) {
710           // The fixup was unresolved, we need a relocation. Inform the object
711           // writer of the relocation, and give it an opportunity to adjust the
712           // fixup value if need be.
713           Writer->RecordRelocation(*this, Layout, DF, Fixup, Target,FixedValue);
714         }
715
716         getBackend().ApplyFixup(Fixup, *DF, FixedValue);
717       }
718     }
719   }
720
721   // Write the object file.
722   Writer->WriteObject(*this, Layout);
723
724   stats::ObjectBytes += OS.tell() - StartOffset;
725 }
726
727 bool MCAssembler::FixupNeedsRelaxation(const MCObjectWriter &Writer,
728                                        const MCFixup &Fixup,
729                                        const MCFragment *DF,
730                                        const MCAsmLayout &Layout) const {
731   if (getRelaxAll())
732     return true;
733
734   // If we cannot resolve the fixup value, it requires relaxation.
735   MCValue Target;
736   uint64_t Value;
737   if (!EvaluateFixup(Writer, Layout, Fixup, DF, Target, Value))
738     return true;
739
740   // Otherwise, relax if the value is too big for a (signed) i8.
741   //
742   // FIXME: This is target dependent!
743   return int64_t(Value) != int64_t(int8_t(Value));
744 }
745
746 bool MCAssembler::FragmentNeedsRelaxation(const MCObjectWriter &Writer,
747                                           const MCInstFragment *IF,
748                                           const MCAsmLayout &Layout) const {
749   // If this inst doesn't ever need relaxation, ignore it. This occurs when we
750   // are intentionally pushing out inst fragments, or because we relaxed a
751   // previous instruction to one that doesn't need relaxation.
752   if (!getBackend().MayNeedRelaxation(IF->getInst()))
753     return false;
754
755   for (MCInstFragment::const_fixup_iterator it = IF->fixup_begin(),
756          ie = IF->fixup_end(); it != ie; ++it)
757     if (FixupNeedsRelaxation(Writer, *it, IF, Layout))
758       return true;
759
760   return false;
761 }
762
763 bool MCAssembler::RelaxInstruction(const MCObjectWriter &Writer,
764                                    MCAsmLayout &Layout,
765                                    MCInstFragment &IF) {
766   if (!FragmentNeedsRelaxation(Writer, &IF, Layout))
767     return false;
768
769   ++stats::RelaxedInstructions;
770
771   // FIXME-PERF: We could immediately lower out instructions if we can tell
772   // they are fully resolved, to avoid retesting on later passes.
773
774   // Relax the fragment.
775
776   MCInst Relaxed;
777   getBackend().RelaxInstruction(IF.getInst(), Relaxed);
778
779   // Encode the new instruction.
780   //
781   // FIXME-PERF: If it matters, we could let the target do this. It can
782   // probably do so more efficiently in many cases.
783   SmallVector<MCFixup, 4> Fixups;
784   SmallString<256> Code;
785   raw_svector_ostream VecOS(Code);
786   getEmitter().EncodeInstruction(Relaxed, VecOS, Fixups);
787   VecOS.flush();
788
789   // Update the instruction fragment.
790   int SlideAmount = Code.size() - IF.getInstSize();
791   IF.setInst(Relaxed);
792   IF.getCode() = Code;
793   IF.getFixups().clear();
794   // FIXME: Eliminate copy.
795   for (unsigned i = 0, e = Fixups.size(); i != e; ++i)
796     IF.getFixups().push_back(Fixups[i]);
797
798   // Update the layout, and remember that we relaxed.
799   Layout.UpdateForSlide(&IF, SlideAmount);
800   return true;
801 }
802
803 bool MCAssembler::RelaxOrg(const MCObjectWriter &Writer,
804                            MCAsmLayout &Layout,
805                            MCOrgFragment &OF) {
806   int64_t TargetLocation;
807   if (!OF.getOffset().EvaluateAsAbsolute(TargetLocation, &Layout))
808     report_fatal_error("expected assembly-time absolute expression");
809
810   // FIXME: We need a way to communicate this error.
811   uint64_t FragmentOffset = Layout.getFragmentOffset(&OF);
812   int64_t Offset = TargetLocation - FragmentOffset;
813   if (Offset < 0 || Offset >= 0x40000000)
814     report_fatal_error("invalid .org offset '" + Twine(TargetLocation) +
815                        "' (at offset '" + Twine(FragmentOffset) + "')");
816
817   unsigned OldSize = OF.getSize();
818   OF.setSize(Offset);
819   return OldSize != OF.getSize();
820 }
821
822 bool MCAssembler::RelaxLEB(const MCObjectWriter &Writer,
823                            MCAsmLayout &Layout,
824                            MCLEBFragment &LF) {
825   int64_t Value;
826   LF.getValue().EvaluateAsAbsolute(Value, &Layout);
827   SmallString<32> Tmp;
828   raw_svector_ostream OSE(Tmp);
829   if (LF.isSigned())
830     MCObjectWriter::EncodeSLEB128(Value, OSE);
831   else
832     MCObjectWriter::EncodeULEB128(Value, OSE);
833   uint64_t OldSize = LF.getSize();
834   LF.setSize(OSE.GetNumBytesInBuffer());
835   return OldSize != LF.getSize();
836 }
837
838 bool MCAssembler::RelaxDwarfLineAddr(const MCObjectWriter &Writer,
839                                      MCAsmLayout &Layout,
840                                      MCDwarfLineAddrFragment &DF) {
841   int64_t AddrDelta;
842   DF.getAddrDelta().EvaluateAsAbsolute(AddrDelta, &Layout);
843   int64_t LineDelta;
844   LineDelta = DF.getLineDelta();
845   uint64_t OldSize = DF.getSize();
846   DF.setSize(MCDwarfLineAddr::ComputeSize(LineDelta, AddrDelta));
847   return OldSize != DF.getSize();  
848 }
849
850 bool MCAssembler::LayoutOnce(const MCObjectWriter &Writer,
851                              MCAsmLayout &Layout) {
852   ++stats::RelaxationSteps;
853
854   // Layout the sections in order.
855   Layout.LayoutFile();
856
857   // Scan for fragments that need relaxation.
858   bool WasRelaxed = false;
859   for (iterator it = begin(), ie = end(); it != ie; ++it) {
860     MCSectionData &SD = *it;
861
862     for (MCSectionData::iterator it2 = SD.begin(),
863            ie2 = SD.end(); it2 != ie2; ++it2) {
864       // Check if this is an fragment that needs relaxation.
865       switch(it2->getKind()) {
866       default:
867         break;
868       case MCFragment::FT_Inst:
869         WasRelaxed |= RelaxInstruction(Writer, Layout,
870                                        *cast<MCInstFragment>(it2));
871         break;
872       case MCFragment::FT_Org:
873         WasRelaxed |= RelaxOrg(Writer, Layout, *cast<MCOrgFragment>(it2));
874         break;
875       case MCFragment::FT_Dwarf:
876         WasRelaxed |= RelaxDwarfLineAddr(Writer, Layout,
877                                          *cast<MCDwarfLineAddrFragment>(it2));
878         break;
879       case MCFragment::FT_LEB:
880         WasRelaxed |= RelaxLEB(Writer, Layout, *cast<MCLEBFragment>(it2));
881         break;
882       }
883     }
884   }
885
886   return WasRelaxed;
887 }
888
889 void MCAssembler::FinishLayout(MCAsmLayout &Layout) {
890   // Lower out any instruction fragments, to simplify the fixup application and
891   // output.
892   //
893   // FIXME-PERF: We don't have to do this, but the assumption is that it is
894   // cheap (we will mostly end up eliminating fragments and appending on to data
895   // fragments), so the extra complexity downstream isn't worth it. Evaluate
896   // this assumption.
897   for (iterator it = begin(), ie = end(); it != ie; ++it) {
898     MCSectionData &SD = *it;
899
900     for (MCSectionData::iterator it2 = SD.begin(),
901            ie2 = SD.end(); it2 != ie2; ++it2) {
902       MCInstFragment *IF = dyn_cast<MCInstFragment>(it2);
903       if (!IF)
904         continue;
905
906       // Create a new data fragment for the instruction.
907       //
908       // FIXME-PERF: Reuse previous data fragment if possible.
909       MCDataFragment *DF = new MCDataFragment();
910       SD.getFragmentList().insert(it2, DF);
911
912       // Update the data fragments layout data.
913       DF->setParent(IF->getParent());
914       DF->setAtom(IF->getAtom());
915       DF->setLayoutOrder(IF->getLayoutOrder());
916       Layout.FragmentReplaced(IF, DF);
917
918       // Copy in the data and the fixups.
919       DF->getContents().append(IF->getCode().begin(), IF->getCode().end());
920       for (unsigned i = 0, e = IF->getFixups().size(); i != e; ++i)
921         DF->getFixups().push_back(IF->getFixups()[i]);
922
923       // Delete the instruction fragment and update the iterator.
924       SD.getFragmentList().erase(IF);
925       it2 = DF;
926     }
927   }
928 }
929
930 // Debugging methods
931
932 namespace llvm {
933
934 raw_ostream &operator<<(raw_ostream &OS, const MCFixup &AF) {
935   OS << "<MCFixup" << " Offset:" << AF.getOffset()
936      << " Value:" << *AF.getValue()
937      << " Kind:" << AF.getKind() << ">";
938   return OS;
939 }
940
941 }
942
943 void MCFragment::dump() {
944   raw_ostream &OS = llvm::errs();
945
946   OS << "<";
947   switch (getKind()) {
948   case MCFragment::FT_Align: OS << "MCAlignFragment"; break;
949   case MCFragment::FT_Data:  OS << "MCDataFragment"; break;
950   case MCFragment::FT_Fill:  OS << "MCFillFragment"; break;
951   case MCFragment::FT_Inst:  OS << "MCInstFragment"; break;
952   case MCFragment::FT_Org:   OS << "MCOrgFragment"; break;
953   case MCFragment::FT_Dwarf: OS << "MCDwarfFragment"; break;
954   case MCFragment::FT_LEB:   OS << "MCLEBFragment"; break;
955   }
956
957   OS << "<MCFragment " << (void*) this << " LayoutOrder:" << LayoutOrder
958      << " Offset:" << Offset << " EffectiveSize:" << EffectiveSize << ">";
959
960   switch (getKind()) {
961   case MCFragment::FT_Align: {
962     const MCAlignFragment *AF = cast<MCAlignFragment>(this);
963     if (AF->hasEmitNops())
964       OS << " (emit nops)";
965     if (AF->hasOnlyAlignAddress())
966       OS << " (only align section)";
967     OS << "\n       ";
968     OS << " Alignment:" << AF->getAlignment()
969        << " Value:" << AF->getValue() << " ValueSize:" << AF->getValueSize()
970        << " MaxBytesToEmit:" << AF->getMaxBytesToEmit() << ">";
971     break;
972   }
973   case MCFragment::FT_Data:  {
974     const MCDataFragment *DF = cast<MCDataFragment>(this);
975     OS << "\n       ";
976     OS << " Contents:[";
977     const SmallVectorImpl<char> &Contents = DF->getContents();
978     for (unsigned i = 0, e = Contents.size(); i != e; ++i) {
979       if (i) OS << ",";
980       OS << hexdigit((Contents[i] >> 4) & 0xF) << hexdigit(Contents[i] & 0xF);
981     }
982     OS << "] (" << Contents.size() << " bytes)";
983
984     if (!DF->getFixups().empty()) {
985       OS << ",\n       ";
986       OS << " Fixups:[";
987       for (MCDataFragment::const_fixup_iterator it = DF->fixup_begin(),
988              ie = DF->fixup_end(); it != ie; ++it) {
989         if (it != DF->fixup_begin()) OS << ",\n                ";
990         OS << *it;
991       }
992       OS << "]";
993     }
994     break;
995   }
996   case MCFragment::FT_Fill:  {
997     const MCFillFragment *FF = cast<MCFillFragment>(this);
998     OS << " Value:" << FF->getValue() << " ValueSize:" << FF->getValueSize()
999        << " Size:" << FF->getSize();
1000     break;
1001   }
1002   case MCFragment::FT_Inst:  {
1003     const MCInstFragment *IF = cast<MCInstFragment>(this);
1004     OS << "\n       ";
1005     OS << " Inst:";
1006     IF->getInst().dump_pretty(OS);
1007     break;
1008   }
1009   case MCFragment::FT_Org:  {
1010     const MCOrgFragment *OF = cast<MCOrgFragment>(this);
1011     OS << "\n       ";
1012     OS << " Offset:" << OF->getOffset() << " Value:" << OF->getValue();
1013     break;
1014   }
1015   case MCFragment::FT_Dwarf:  {
1016     const MCDwarfLineAddrFragment *OF = cast<MCDwarfLineAddrFragment>(this);
1017     OS << "\n       ";
1018     OS << " AddrDelta:" << OF->getAddrDelta()
1019        << " LineDelta:" << OF->getLineDelta();
1020     break;
1021   }
1022   case MCFragment::FT_LEB: {
1023     const MCLEBFragment *LF = cast<MCLEBFragment>(this);
1024     OS << "\n       ";
1025     OS << " Value:" << LF->getValue() << " Signed:" << LF->isSigned();
1026     break;
1027   }
1028   }
1029   OS << ">";
1030 }
1031
1032 void MCSectionData::dump() {
1033   raw_ostream &OS = llvm::errs();
1034
1035   OS << "<MCSectionData";
1036   OS << " Alignment:" << getAlignment() << " Address:" << Address
1037      << " Fragments:[\n      ";
1038   for (iterator it = begin(), ie = end(); it != ie; ++it) {
1039     if (it != begin()) OS << ",\n      ";
1040     it->dump();
1041   }
1042   OS << "]>";
1043 }
1044
1045 void MCSymbolData::dump() {
1046   raw_ostream &OS = llvm::errs();
1047
1048   OS << "<MCSymbolData Symbol:" << getSymbol()
1049      << " Fragment:" << getFragment() << " Offset:" << getOffset()
1050      << " Flags:" << getFlags() << " Index:" << getIndex();
1051   if (isCommon())
1052     OS << " (common, size:" << getCommonSize()
1053        << " align: " << getCommonAlignment() << ")";
1054   if (isExternal())
1055     OS << " (external)";
1056   if (isPrivateExtern())
1057     OS << " (private extern)";
1058   OS << ">";
1059 }
1060
1061 void MCAssembler::dump() {
1062   raw_ostream &OS = llvm::errs();
1063
1064   OS << "<MCAssembler\n";
1065   OS << "  Sections:[\n    ";
1066   for (iterator it = begin(), ie = end(); it != ie; ++it) {
1067     if (it != begin()) OS << ",\n    ";
1068     it->dump();
1069   }
1070   OS << "],\n";
1071   OS << "  Symbols:[";
1072
1073   for (symbol_iterator it = symbol_begin(), ie = symbol_end(); it != ie; ++it) {
1074     if (it != symbol_begin()) OS << ",\n           ";
1075     it->dump();
1076   }
1077   OS << "]>\n";
1078 }