Use VSTMD / VLDMD for spills and reloads of Q registers instead of VSTMQ / VLDQ....
[oota-llvm.git] / lib / Target / ARM / ARMBaseInstrInfo.cpp
1 //===- ARMBaseInstrInfo.cpp - ARM Instruction Information -------*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file contains the Base ARM implementation of the TargetInstrInfo class.
11 //
12 //===----------------------------------------------------------------------===//
13
14 #include "ARMBaseInstrInfo.h"
15 #include "ARM.h"
16 #include "ARMAddressingModes.h"
17 #include "ARMConstantPoolValue.h"
18 #include "ARMGenInstrInfo.inc"
19 #include "ARMMachineFunctionInfo.h"
20 #include "ARMRegisterInfo.h"
21 #include "llvm/Constants.h"
22 #include "llvm/Function.h"
23 #include "llvm/GlobalValue.h"
24 #include "llvm/ADT/STLExtras.h"
25 #include "llvm/CodeGen/LiveVariables.h"
26 #include "llvm/CodeGen/MachineConstantPool.h"
27 #include "llvm/CodeGen/MachineFrameInfo.h"
28 #include "llvm/CodeGen/MachineInstrBuilder.h"
29 #include "llvm/CodeGen/MachineJumpTableInfo.h"
30 #include "llvm/CodeGen/MachineMemOperand.h"
31 #include "llvm/CodeGen/PseudoSourceValue.h"
32 #include "llvm/MC/MCAsmInfo.h"
33 #include "llvm/Support/CommandLine.h"
34 #include "llvm/Support/Debug.h"
35 #include "llvm/Support/ErrorHandling.h"
36 using namespace llvm;
37
38 static cl::opt<bool>
39 EnableARM3Addr("enable-arm-3-addr-conv", cl::Hidden,
40                cl::desc("Enable ARM 2-addr to 3-addr conv"));
41
42 ARMBaseInstrInfo::ARMBaseInstrInfo(const ARMSubtarget& STI)
43   : TargetInstrInfoImpl(ARMInsts, array_lengthof(ARMInsts)),
44     Subtarget(STI) {
45 }
46
47 MachineInstr *
48 ARMBaseInstrInfo::convertToThreeAddress(MachineFunction::iterator &MFI,
49                                         MachineBasicBlock::iterator &MBBI,
50                                         LiveVariables *LV) const {
51   // FIXME: Thumb2 support.
52
53   if (!EnableARM3Addr)
54     return NULL;
55
56   MachineInstr *MI = MBBI;
57   MachineFunction &MF = *MI->getParent()->getParent();
58   unsigned TSFlags = MI->getDesc().TSFlags;
59   bool isPre = false;
60   switch ((TSFlags & ARMII::IndexModeMask) >> ARMII::IndexModeShift) {
61   default: return NULL;
62   case ARMII::IndexModePre:
63     isPre = true;
64     break;
65   case ARMII::IndexModePost:
66     break;
67   }
68
69   // Try splitting an indexed load/store to an un-indexed one plus an add/sub
70   // operation.
71   unsigned MemOpc = getUnindexedOpcode(MI->getOpcode());
72   if (MemOpc == 0)
73     return NULL;
74
75   MachineInstr *UpdateMI = NULL;
76   MachineInstr *MemMI = NULL;
77   unsigned AddrMode = (TSFlags & ARMII::AddrModeMask);
78   const TargetInstrDesc &TID = MI->getDesc();
79   unsigned NumOps = TID.getNumOperands();
80   bool isLoad = !TID.mayStore();
81   const MachineOperand &WB = isLoad ? MI->getOperand(1) : MI->getOperand(0);
82   const MachineOperand &Base = MI->getOperand(2);
83   const MachineOperand &Offset = MI->getOperand(NumOps-3);
84   unsigned WBReg = WB.getReg();
85   unsigned BaseReg = Base.getReg();
86   unsigned OffReg = Offset.getReg();
87   unsigned OffImm = MI->getOperand(NumOps-2).getImm();
88   ARMCC::CondCodes Pred = (ARMCC::CondCodes)MI->getOperand(NumOps-1).getImm();
89   switch (AddrMode) {
90   default:
91     assert(false && "Unknown indexed op!");
92     return NULL;
93   case ARMII::AddrMode2: {
94     bool isSub = ARM_AM::getAM2Op(OffImm) == ARM_AM::sub;
95     unsigned Amt = ARM_AM::getAM2Offset(OffImm);
96     if (OffReg == 0) {
97       if (ARM_AM::getSOImmVal(Amt) == -1)
98         // Can't encode it in a so_imm operand. This transformation will
99         // add more than 1 instruction. Abandon!
100         return NULL;
101       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
102                          get(isSub ? ARM::SUBri : ARM::ADDri), WBReg)
103         .addReg(BaseReg).addImm(Amt)
104         .addImm(Pred).addReg(0).addReg(0);
105     } else if (Amt != 0) {
106       ARM_AM::ShiftOpc ShOpc = ARM_AM::getAM2ShiftOpc(OffImm);
107       unsigned SOOpc = ARM_AM::getSORegOpc(ShOpc, Amt);
108       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
109                          get(isSub ? ARM::SUBrs : ARM::ADDrs), WBReg)
110         .addReg(BaseReg).addReg(OffReg).addReg(0).addImm(SOOpc)
111         .addImm(Pred).addReg(0).addReg(0);
112     } else
113       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
114                          get(isSub ? ARM::SUBrr : ARM::ADDrr), WBReg)
115         .addReg(BaseReg).addReg(OffReg)
116         .addImm(Pred).addReg(0).addReg(0);
117     break;
118   }
119   case ARMII::AddrMode3 : {
120     bool isSub = ARM_AM::getAM3Op(OffImm) == ARM_AM::sub;
121     unsigned Amt = ARM_AM::getAM3Offset(OffImm);
122     if (OffReg == 0)
123       // Immediate is 8-bits. It's guaranteed to fit in a so_imm operand.
124       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
125                          get(isSub ? ARM::SUBri : ARM::ADDri), WBReg)
126         .addReg(BaseReg).addImm(Amt)
127         .addImm(Pred).addReg(0).addReg(0);
128     else
129       UpdateMI = BuildMI(MF, MI->getDebugLoc(),
130                          get(isSub ? ARM::SUBrr : ARM::ADDrr), WBReg)
131         .addReg(BaseReg).addReg(OffReg)
132         .addImm(Pred).addReg(0).addReg(0);
133     break;
134   }
135   }
136
137   std::vector<MachineInstr*> NewMIs;
138   if (isPre) {
139     if (isLoad)
140       MemMI = BuildMI(MF, MI->getDebugLoc(),
141                       get(MemOpc), MI->getOperand(0).getReg())
142         .addReg(WBReg).addReg(0).addImm(0).addImm(Pred);
143     else
144       MemMI = BuildMI(MF, MI->getDebugLoc(),
145                       get(MemOpc)).addReg(MI->getOperand(1).getReg())
146         .addReg(WBReg).addReg(0).addImm(0).addImm(Pred);
147     NewMIs.push_back(MemMI);
148     NewMIs.push_back(UpdateMI);
149   } else {
150     if (isLoad)
151       MemMI = BuildMI(MF, MI->getDebugLoc(),
152                       get(MemOpc), MI->getOperand(0).getReg())
153         .addReg(BaseReg).addReg(0).addImm(0).addImm(Pred);
154     else
155       MemMI = BuildMI(MF, MI->getDebugLoc(),
156                       get(MemOpc)).addReg(MI->getOperand(1).getReg())
157         .addReg(BaseReg).addReg(0).addImm(0).addImm(Pred);
158     if (WB.isDead())
159       UpdateMI->getOperand(0).setIsDead();
160     NewMIs.push_back(UpdateMI);
161     NewMIs.push_back(MemMI);
162   }
163
164   // Transfer LiveVariables states, kill / dead info.
165   if (LV) {
166     for (unsigned i = 0, e = MI->getNumOperands(); i != e; ++i) {
167       MachineOperand &MO = MI->getOperand(i);
168       if (MO.isReg() && MO.getReg() &&
169           TargetRegisterInfo::isVirtualRegister(MO.getReg())) {
170         unsigned Reg = MO.getReg();
171
172         LiveVariables::VarInfo &VI = LV->getVarInfo(Reg);
173         if (MO.isDef()) {
174           MachineInstr *NewMI = (Reg == WBReg) ? UpdateMI : MemMI;
175           if (MO.isDead())
176             LV->addVirtualRegisterDead(Reg, NewMI);
177         }
178         if (MO.isUse() && MO.isKill()) {
179           for (unsigned j = 0; j < 2; ++j) {
180             // Look at the two new MI's in reverse order.
181             MachineInstr *NewMI = NewMIs[j];
182             if (!NewMI->readsRegister(Reg))
183               continue;
184             LV->addVirtualRegisterKilled(Reg, NewMI);
185             if (VI.removeKill(MI))
186               VI.Kills.push_back(NewMI);
187             break;
188           }
189         }
190       }
191     }
192   }
193
194   MFI->insert(MBBI, NewMIs[1]);
195   MFI->insert(MBBI, NewMIs[0]);
196   return NewMIs[0];
197 }
198
199 // Branch analysis.
200 bool
201 ARMBaseInstrInfo::AnalyzeBranch(MachineBasicBlock &MBB,MachineBasicBlock *&TBB,
202                                 MachineBasicBlock *&FBB,
203                                 SmallVectorImpl<MachineOperand> &Cond,
204                                 bool AllowModify) const {
205   // If the block has no terminators, it just falls into the block after it.
206   MachineBasicBlock::iterator I = MBB.end();
207   if (I == MBB.begin())
208     return false;
209   --I;
210   while (I->isDebugValue()) {
211     if (I == MBB.begin())
212       return false;
213     --I;
214   }
215   if (!isUnpredicatedTerminator(I))
216     return false;
217
218   // Get the last instruction in the block.
219   MachineInstr *LastInst = I;
220
221   // If there is only one terminator instruction, process it.
222   unsigned LastOpc = LastInst->getOpcode();
223   if (I == MBB.begin() || !isUnpredicatedTerminator(--I)) {
224     if (isUncondBranchOpcode(LastOpc)) {
225       TBB = LastInst->getOperand(0).getMBB();
226       return false;
227     }
228     if (isCondBranchOpcode(LastOpc)) {
229       // Block ends with fall-through condbranch.
230       TBB = LastInst->getOperand(0).getMBB();
231       Cond.push_back(LastInst->getOperand(1));
232       Cond.push_back(LastInst->getOperand(2));
233       return false;
234     }
235     return true;  // Can't handle indirect branch.
236   }
237
238   // Get the instruction before it if it is a terminator.
239   MachineInstr *SecondLastInst = I;
240
241   // If there are three terminators, we don't know what sort of block this is.
242   if (SecondLastInst && I != MBB.begin() && isUnpredicatedTerminator(--I))
243     return true;
244
245   // If the block ends with a B and a Bcc, handle it.
246   unsigned SecondLastOpc = SecondLastInst->getOpcode();
247   if (isCondBranchOpcode(SecondLastOpc) && isUncondBranchOpcode(LastOpc)) {
248     TBB =  SecondLastInst->getOperand(0).getMBB();
249     Cond.push_back(SecondLastInst->getOperand(1));
250     Cond.push_back(SecondLastInst->getOperand(2));
251     FBB = LastInst->getOperand(0).getMBB();
252     return false;
253   }
254
255   // If the block ends with two unconditional branches, handle it.  The second
256   // one is not executed, so remove it.
257   if (isUncondBranchOpcode(SecondLastOpc) && isUncondBranchOpcode(LastOpc)) {
258     TBB = SecondLastInst->getOperand(0).getMBB();
259     I = LastInst;
260     if (AllowModify)
261       I->eraseFromParent();
262     return false;
263   }
264
265   // ...likewise if it ends with a branch table followed by an unconditional
266   // branch. The branch folder can create these, and we must get rid of them for
267   // correctness of Thumb constant islands.
268   if ((isJumpTableBranchOpcode(SecondLastOpc) ||
269        isIndirectBranchOpcode(SecondLastOpc)) &&
270       isUncondBranchOpcode(LastOpc)) {
271     I = LastInst;
272     if (AllowModify)
273       I->eraseFromParent();
274     return true;
275   }
276
277   // Otherwise, can't handle this.
278   return true;
279 }
280
281
282 unsigned ARMBaseInstrInfo::RemoveBranch(MachineBasicBlock &MBB) const {
283   MachineBasicBlock::iterator I = MBB.end();
284   if (I == MBB.begin()) return 0;
285   --I;
286   while (I->isDebugValue()) {
287     if (I == MBB.begin())
288       return 0;
289     --I;
290   }
291   if (!isUncondBranchOpcode(I->getOpcode()) &&
292       !isCondBranchOpcode(I->getOpcode()))
293     return 0;
294
295   // Remove the branch.
296   I->eraseFromParent();
297
298   I = MBB.end();
299
300   if (I == MBB.begin()) return 1;
301   --I;
302   if (!isCondBranchOpcode(I->getOpcode()))
303     return 1;
304
305   // Remove the branch.
306   I->eraseFromParent();
307   return 2;
308 }
309
310 unsigned
311 ARMBaseInstrInfo::InsertBranch(MachineBasicBlock &MBB, MachineBasicBlock *TBB,
312                                MachineBasicBlock *FBB,
313                              const SmallVectorImpl<MachineOperand> &Cond) const {
314   // FIXME this should probably have a DebugLoc argument
315   DebugLoc dl;
316
317   ARMFunctionInfo *AFI = MBB.getParent()->getInfo<ARMFunctionInfo>();
318   int BOpc   = !AFI->isThumbFunction()
319     ? ARM::B : (AFI->isThumb2Function() ? ARM::t2B : ARM::tB);
320   int BccOpc = !AFI->isThumbFunction()
321     ? ARM::Bcc : (AFI->isThumb2Function() ? ARM::t2Bcc : ARM::tBcc);
322
323   // Shouldn't be a fall through.
324   assert(TBB && "InsertBranch must not be told to insert a fallthrough");
325   assert((Cond.size() == 2 || Cond.size() == 0) &&
326          "ARM branch conditions have two components!");
327
328   if (FBB == 0) {
329     if (Cond.empty()) // Unconditional branch?
330       BuildMI(&MBB, dl, get(BOpc)).addMBB(TBB);
331     else
332       BuildMI(&MBB, dl, get(BccOpc)).addMBB(TBB)
333         .addImm(Cond[0].getImm()).addReg(Cond[1].getReg());
334     return 1;
335   }
336
337   // Two-way conditional branch.
338   BuildMI(&MBB, dl, get(BccOpc)).addMBB(TBB)
339     .addImm(Cond[0].getImm()).addReg(Cond[1].getReg());
340   BuildMI(&MBB, dl, get(BOpc)).addMBB(FBB);
341   return 2;
342 }
343
344 bool ARMBaseInstrInfo::
345 ReverseBranchCondition(SmallVectorImpl<MachineOperand> &Cond) const {
346   ARMCC::CondCodes CC = (ARMCC::CondCodes)(int)Cond[0].getImm();
347   Cond[0].setImm(ARMCC::getOppositeCondition(CC));
348   return false;
349 }
350
351 bool ARMBaseInstrInfo::
352 PredicateInstruction(MachineInstr *MI,
353                      const SmallVectorImpl<MachineOperand> &Pred) const {
354   unsigned Opc = MI->getOpcode();
355   if (isUncondBranchOpcode(Opc)) {
356     MI->setDesc(get(getMatchingCondBranchOpcode(Opc)));
357     MI->addOperand(MachineOperand::CreateImm(Pred[0].getImm()));
358     MI->addOperand(MachineOperand::CreateReg(Pred[1].getReg(), false));
359     return true;
360   }
361
362   int PIdx = MI->findFirstPredOperandIdx();
363   if (PIdx != -1) {
364     MachineOperand &PMO = MI->getOperand(PIdx);
365     PMO.setImm(Pred[0].getImm());
366     MI->getOperand(PIdx+1).setReg(Pred[1].getReg());
367     return true;
368   }
369   return false;
370 }
371
372 bool ARMBaseInstrInfo::
373 SubsumesPredicate(const SmallVectorImpl<MachineOperand> &Pred1,
374                   const SmallVectorImpl<MachineOperand> &Pred2) const {
375   if (Pred1.size() > 2 || Pred2.size() > 2)
376     return false;
377
378   ARMCC::CondCodes CC1 = (ARMCC::CondCodes)Pred1[0].getImm();
379   ARMCC::CondCodes CC2 = (ARMCC::CondCodes)Pred2[0].getImm();
380   if (CC1 == CC2)
381     return true;
382
383   switch (CC1) {
384   default:
385     return false;
386   case ARMCC::AL:
387     return true;
388   case ARMCC::HS:
389     return CC2 == ARMCC::HI;
390   case ARMCC::LS:
391     return CC2 == ARMCC::LO || CC2 == ARMCC::EQ;
392   case ARMCC::GE:
393     return CC2 == ARMCC::GT;
394   case ARMCC::LE:
395     return CC2 == ARMCC::LT;
396   }
397 }
398
399 bool ARMBaseInstrInfo::DefinesPredicate(MachineInstr *MI,
400                                     std::vector<MachineOperand> &Pred) const {
401   // FIXME: This confuses implicit_def with optional CPSR def.
402   const TargetInstrDesc &TID = MI->getDesc();
403   if (!TID.getImplicitDefs() && !TID.hasOptionalDef())
404     return false;
405
406   bool Found = false;
407   for (unsigned i = 0, e = MI->getNumOperands(); i != e; ++i) {
408     const MachineOperand &MO = MI->getOperand(i);
409     if (MO.isReg() && MO.getReg() == ARM::CPSR) {
410       Pred.push_back(MO);
411       Found = true;
412     }
413   }
414
415   return Found;
416 }
417
418 /// isPredicable - Return true if the specified instruction can be predicated.
419 /// By default, this returns true for every instruction with a
420 /// PredicateOperand.
421 bool ARMBaseInstrInfo::isPredicable(MachineInstr *MI) const {
422   const TargetInstrDesc &TID = MI->getDesc();
423   if (!TID.isPredicable())
424     return false;
425
426   if ((TID.TSFlags & ARMII::DomainMask) == ARMII::DomainNEON) {
427     ARMFunctionInfo *AFI =
428       MI->getParent()->getParent()->getInfo<ARMFunctionInfo>();
429     return AFI->isThumb2Function();
430   }
431   return true;
432 }
433
434 /// FIXME: Works around a gcc miscompilation with -fstrict-aliasing.
435 DISABLE_INLINE
436 static unsigned getNumJTEntries(const std::vector<MachineJumpTableEntry> &JT,
437                                 unsigned JTI);
438 static unsigned getNumJTEntries(const std::vector<MachineJumpTableEntry> &JT,
439                                 unsigned JTI) {
440   assert(JTI < JT.size());
441   return JT[JTI].MBBs.size();
442 }
443
444 /// GetInstSize - Return the size of the specified MachineInstr.
445 ///
446 unsigned ARMBaseInstrInfo::GetInstSizeInBytes(const MachineInstr *MI) const {
447   const MachineBasicBlock &MBB = *MI->getParent();
448   const MachineFunction *MF = MBB.getParent();
449   const MCAsmInfo *MAI = MF->getTarget().getMCAsmInfo();
450
451   // Basic size info comes from the TSFlags field.
452   const TargetInstrDesc &TID = MI->getDesc();
453   unsigned TSFlags = TID.TSFlags;
454
455   unsigned Opc = MI->getOpcode();
456   switch ((TSFlags & ARMII::SizeMask) >> ARMII::SizeShift) {
457   default: {
458     // If this machine instr is an inline asm, measure it.
459     if (MI->getOpcode() == ARM::INLINEASM)
460       return getInlineAsmLength(MI->getOperand(0).getSymbolName(), *MAI);
461     if (MI->isLabel())
462       return 0;
463     switch (Opc) {
464     default:
465       llvm_unreachable("Unknown or unset size field for instr!");
466     case TargetOpcode::IMPLICIT_DEF:
467     case TargetOpcode::KILL:
468     case TargetOpcode::DBG_LABEL:
469     case TargetOpcode::EH_LABEL:
470     case TargetOpcode::DBG_VALUE:
471       return 0;
472     }
473     break;
474   }
475   case ARMII::Size8Bytes: return 8;          // ARM instruction x 2.
476   case ARMII::Size4Bytes: return 4;          // ARM / Thumb2 instruction.
477   case ARMII::Size2Bytes: return 2;          // Thumb1 instruction.
478   case ARMII::SizeSpecial: {
479     switch (Opc) {
480     case ARM::CONSTPOOL_ENTRY:
481       // If this machine instr is a constant pool entry, its size is recorded as
482       // operand #2.
483       return MI->getOperand(2).getImm();
484     case ARM::Int_eh_sjlj_setjmp:
485     case ARM::Int_eh_sjlj_setjmp_nofp:
486       return 24;
487     case ARM::tInt_eh_sjlj_setjmp:
488     case ARM::t2Int_eh_sjlj_setjmp:
489     case ARM::t2Int_eh_sjlj_setjmp_nofp:
490       return 14;
491     case ARM::BR_JTr:
492     case ARM::BR_JTm:
493     case ARM::BR_JTadd:
494     case ARM::tBR_JTr:
495     case ARM::t2BR_JT:
496     case ARM::t2TBB:
497     case ARM::t2TBH: {
498       // These are jumptable branches, i.e. a branch followed by an inlined
499       // jumptable. The size is 4 + 4 * number of entries. For TBB, each
500       // entry is one byte; TBH two byte each.
501       unsigned EntrySize = (Opc == ARM::t2TBB)
502         ? 1 : ((Opc == ARM::t2TBH) ? 2 : 4);
503       unsigned NumOps = TID.getNumOperands();
504       MachineOperand JTOP =
505         MI->getOperand(NumOps - (TID.isPredicable() ? 3 : 2));
506       unsigned JTI = JTOP.getIndex();
507       const MachineJumpTableInfo *MJTI = MF->getJumpTableInfo();
508       assert(MJTI != 0);
509       const std::vector<MachineJumpTableEntry> &JT = MJTI->getJumpTables();
510       assert(JTI < JT.size());
511       // Thumb instructions are 2 byte aligned, but JT entries are 4 byte
512       // 4 aligned. The assembler / linker may add 2 byte padding just before
513       // the JT entries.  The size does not include this padding; the
514       // constant islands pass does separate bookkeeping for it.
515       // FIXME: If we know the size of the function is less than (1 << 16) *2
516       // bytes, we can use 16-bit entries instead. Then there won't be an
517       // alignment issue.
518       unsigned InstSize = (Opc == ARM::tBR_JTr || Opc == ARM::t2BR_JT) ? 2 : 4;
519       unsigned NumEntries = getNumJTEntries(JT, JTI);
520       if (Opc == ARM::t2TBB && (NumEntries & 1))
521         // Make sure the instruction that follows TBB is 2-byte aligned.
522         // FIXME: Constant island pass should insert an "ALIGN" instruction
523         // instead.
524         ++NumEntries;
525       return NumEntries * EntrySize + InstSize;
526     }
527     default:
528       // Otherwise, pseudo-instruction sizes are zero.
529       return 0;
530     }
531   }
532   }
533   return 0; // Not reached
534 }
535
536 /// Return true if the instruction is a register to register move and
537 /// leave the source and dest operands in the passed parameters.
538 ///
539 bool
540 ARMBaseInstrInfo::isMoveInstr(const MachineInstr &MI,
541                               unsigned &SrcReg, unsigned &DstReg,
542                               unsigned& SrcSubIdx, unsigned& DstSubIdx) const {
543   switch (MI.getOpcode()) {
544   default: break;
545   case ARM::VMOVS:
546   case ARM::VMOVD:
547   case ARM::VMOVDneon:
548   case ARM::VMOVQ:
549   case ARM::VMOVQQ : {
550     SrcReg = MI.getOperand(1).getReg();
551     DstReg = MI.getOperand(0).getReg();
552     SrcSubIdx = MI.getOperand(1).getSubReg();
553     DstSubIdx = MI.getOperand(0).getSubReg();
554     return true;
555   }
556   case ARM::MOVr:
557   case ARM::tMOVr:
558   case ARM::tMOVgpr2tgpr:
559   case ARM::tMOVtgpr2gpr:
560   case ARM::tMOVgpr2gpr:
561   case ARM::t2MOVr: {
562     assert(MI.getDesc().getNumOperands() >= 2 &&
563            MI.getOperand(0).isReg() &&
564            MI.getOperand(1).isReg() &&
565            "Invalid ARM MOV instruction");
566     SrcReg = MI.getOperand(1).getReg();
567     DstReg = MI.getOperand(0).getReg();
568     SrcSubIdx = MI.getOperand(1).getSubReg();
569     DstSubIdx = MI.getOperand(0).getSubReg();
570     return true;
571   }
572   }
573
574   return false;
575 }
576
577 unsigned
578 ARMBaseInstrInfo::isLoadFromStackSlot(const MachineInstr *MI,
579                                       int &FrameIndex) const {
580   switch (MI->getOpcode()) {
581   default: break;
582   case ARM::LDR:
583   case ARM::t2LDRs:  // FIXME: don't use t2LDRs to access frame.
584     if (MI->getOperand(1).isFI() &&
585         MI->getOperand(2).isReg() &&
586         MI->getOperand(3).isImm() &&
587         MI->getOperand(2).getReg() == 0 &&
588         MI->getOperand(3).getImm() == 0) {
589       FrameIndex = MI->getOperand(1).getIndex();
590       return MI->getOperand(0).getReg();
591     }
592     break;
593   case ARM::t2LDRi12:
594   case ARM::tRestore:
595     if (MI->getOperand(1).isFI() &&
596         MI->getOperand(2).isImm() &&
597         MI->getOperand(2).getImm() == 0) {
598       FrameIndex = MI->getOperand(1).getIndex();
599       return MI->getOperand(0).getReg();
600     }
601     break;
602   case ARM::VLDRD:
603   case ARM::VLDRS:
604     if (MI->getOperand(1).isFI() &&
605         MI->getOperand(2).isImm() &&
606         MI->getOperand(2).getImm() == 0) {
607       FrameIndex = MI->getOperand(1).getIndex();
608       return MI->getOperand(0).getReg();
609     }
610     break;
611   }
612
613   return 0;
614 }
615
616 unsigned
617 ARMBaseInstrInfo::isStoreToStackSlot(const MachineInstr *MI,
618                                      int &FrameIndex) const {
619   switch (MI->getOpcode()) {
620   default: break;
621   case ARM::STR:
622   case ARM::t2STRs: // FIXME: don't use t2STRs to access frame.
623     if (MI->getOperand(1).isFI() &&
624         MI->getOperand(2).isReg() &&
625         MI->getOperand(3).isImm() &&
626         MI->getOperand(2).getReg() == 0 &&
627         MI->getOperand(3).getImm() == 0) {
628       FrameIndex = MI->getOperand(1).getIndex();
629       return MI->getOperand(0).getReg();
630     }
631     break;
632   case ARM::t2STRi12:
633   case ARM::tSpill:
634     if (MI->getOperand(1).isFI() &&
635         MI->getOperand(2).isImm() &&
636         MI->getOperand(2).getImm() == 0) {
637       FrameIndex = MI->getOperand(1).getIndex();
638       return MI->getOperand(0).getReg();
639     }
640     break;
641   case ARM::VSTRD:
642   case ARM::VSTRS:
643     if (MI->getOperand(1).isFI() &&
644         MI->getOperand(2).isImm() &&
645         MI->getOperand(2).getImm() == 0) {
646       FrameIndex = MI->getOperand(1).getIndex();
647       return MI->getOperand(0).getReg();
648     }
649     break;
650   }
651
652   return 0;
653 }
654
655 bool
656 ARMBaseInstrInfo::copyRegToReg(MachineBasicBlock &MBB,
657                                MachineBasicBlock::iterator I,
658                                unsigned DestReg, unsigned SrcReg,
659                                const TargetRegisterClass *DestRC,
660                                const TargetRegisterClass *SrcRC,
661                                DebugLoc DL) const {
662   // tGPR is used sometimes in ARM instructions that need to avoid using
663   // certain registers.  Just treat it as GPR here.
664   if (DestRC == ARM::tGPRRegisterClass)
665     DestRC = ARM::GPRRegisterClass;
666   if (SrcRC == ARM::tGPRRegisterClass)
667     SrcRC = ARM::GPRRegisterClass;
668
669   // Allow DPR / DPR_VFP2 / DPR_8 cross-class copies.
670   if (DestRC == ARM::DPR_8RegisterClass)
671     DestRC = ARM::DPR_VFP2RegisterClass;
672   if (SrcRC == ARM::DPR_8RegisterClass)
673     SrcRC = ARM::DPR_VFP2RegisterClass;
674
675   // Allow QPR / QPR_VFP2 / QPR_8 cross-class copies.
676   if (DestRC == ARM::QPR_VFP2RegisterClass ||
677       DestRC == ARM::QPR_8RegisterClass)
678     DestRC = ARM::QPRRegisterClass;
679   if (SrcRC == ARM::QPR_VFP2RegisterClass ||
680       SrcRC == ARM::QPR_8RegisterClass)
681     SrcRC = ARM::QPRRegisterClass;
682
683   // Allow QQPR / QQPR_VFP2 / QQPR_8 cross-class copies.
684   if (DestRC == ARM::QQPR_VFP2RegisterClass ||
685       DestRC == ARM::QQPR_8RegisterClass)
686     DestRC = ARM::QQPRRegisterClass;
687   if (SrcRC == ARM::QQPR_VFP2RegisterClass ||
688       SrcRC == ARM::QQPR_8RegisterClass)
689     SrcRC = ARM::QQPRRegisterClass;
690
691   // Disallow copies of unequal sizes.
692   if (DestRC != SrcRC && DestRC->getSize() != SrcRC->getSize())
693     return false;
694
695   if (DestRC == ARM::GPRRegisterClass) {
696     if (SrcRC == ARM::SPRRegisterClass)
697       AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VMOVRS), DestReg)
698                      .addReg(SrcReg));
699     else
700       AddDefaultCC(AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::MOVr),
701                                           DestReg).addReg(SrcReg)));
702   } else {
703     unsigned Opc;
704
705     if (DestRC == ARM::SPRRegisterClass)
706       Opc = (SrcRC == ARM::GPRRegisterClass ? ARM::VMOVSR : ARM::VMOVS);
707     else if (DestRC == ARM::DPRRegisterClass)
708       Opc = ARM::VMOVD;
709     else if (DestRC == ARM::DPR_VFP2RegisterClass ||
710              SrcRC == ARM::DPR_VFP2RegisterClass)
711       // Always use neon reg-reg move if source or dest is NEON-only regclass.
712       Opc = ARM::VMOVDneon;
713     else if (DestRC == ARM::QPRRegisterClass)
714       Opc = ARM::VMOVQ;
715     else if (DestRC == ARM::QQPRRegisterClass)
716       Opc = ARM::VMOVQQ;
717     else
718       return false;
719
720     AddDefaultPred(BuildMI(MBB, I, DL, get(Opc), DestReg).addReg(SrcReg));
721   }
722
723   return true;
724 }
725
726 static const
727 MachineInstrBuilder &AddDReg(MachineInstrBuilder &MIB,
728                              unsigned Reg, unsigned SubIdx, unsigned State,
729                              const TargetRegisterInfo *TRI) {
730   if (!SubIdx)
731     return MIB.addReg(Reg, State);
732
733   if (TargetRegisterInfo::isPhysicalRegister(Reg))
734     return MIB.addReg(TRI->getSubReg(Reg, SubIdx), State);
735   return MIB.addReg(Reg, State, SubIdx);
736 }
737
738 void ARMBaseInstrInfo::
739 storeRegToStackSlot(MachineBasicBlock &MBB, MachineBasicBlock::iterator I,
740                     unsigned SrcReg, bool isKill, int FI,
741                     const TargetRegisterClass *RC,
742                     const TargetRegisterInfo *TRI) const {
743   DebugLoc DL;
744   if (I != MBB.end()) DL = I->getDebugLoc();
745   MachineFunction &MF = *MBB.getParent();
746   MachineFrameInfo &MFI = *MF.getFrameInfo();
747   unsigned Align = MFI.getObjectAlignment(FI);
748
749   MachineMemOperand *MMO =
750     MF.getMachineMemOperand(PseudoSourceValue::getFixedStack(FI),
751                             MachineMemOperand::MOStore, 0,
752                             MFI.getObjectSize(FI),
753                             Align);
754
755   // tGPR is used sometimes in ARM instructions that need to avoid using
756   // certain registers.  Just treat it as GPR here.
757   if (RC == ARM::tGPRRegisterClass)
758     RC = ARM::GPRRegisterClass;
759
760   if (RC == ARM::GPRRegisterClass) {
761     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::STR))
762                    .addReg(SrcReg, getKillRegState(isKill))
763                    .addFrameIndex(FI).addReg(0).addImm(0).addMemOperand(MMO));
764   } else if (RC == ARM::SPRRegisterClass) {
765     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VSTRS))
766                    .addReg(SrcReg, getKillRegState(isKill))
767                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
768   } else if (RC == ARM::DPRRegisterClass ||
769              RC == ARM::DPR_VFP2RegisterClass ||
770              RC == ARM::DPR_8RegisterClass) {
771     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VSTRD))
772                    .addReg(SrcReg, getKillRegState(isKill))
773                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
774   } else if (RC == ARM::QPRRegisterClass ||
775              RC == ARM::QPR_VFP2RegisterClass ||
776              RC == ARM::QPR_8RegisterClass) {
777     // FIXME: Neon instructions should support predicates
778     if (Align >= 16 && getRegisterInfo().canRealignStack(MF)) {
779       MachineInstrBuilder MIB = BuildMI(MBB, I, DL, get(ARM::VST1q64))
780         .addFrameIndex(FI).addImm(128);
781       MIB = AddDReg(MIB, SrcReg, ARM::DSUBREG_0, getKillRegState(isKill), TRI);
782       MIB = AddDReg(MIB, SrcReg, ARM::DSUBREG_1, 0, TRI);
783       AddDefaultPred(MIB.addMemOperand(MMO));
784     } else {
785       MachineInstrBuilder MIB =
786         AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VSTMD))
787                        .addFrameIndex(FI)
788                        .addImm(ARM_AM::getAM5Opc(ARM_AM::ia, 4)))
789         .addMemOperand(MMO);
790       MIB = AddDReg(MIB, SrcReg, ARM::DSUBREG_0, getKillRegState(isKill), TRI);
791       AddDReg(MIB, SrcReg, ARM::DSUBREG_1, 0, TRI);
792         
793     }
794   } else {
795     assert((RC == ARM::QQPRRegisterClass ||
796             RC == ARM::QQPR_VFP2RegisterClass ||
797             RC == ARM::QQPR_8RegisterClass) && "Unknown regclass!");
798     llvm_unreachable("Not yet implemented!");
799   }
800 }
801
802 void ARMBaseInstrInfo::
803 loadRegFromStackSlot(MachineBasicBlock &MBB, MachineBasicBlock::iterator I,
804                      unsigned DestReg, int FI,
805                      const TargetRegisterClass *RC,
806                      const TargetRegisterInfo *TRI) const {
807   DebugLoc DL;
808   if (I != MBB.end()) DL = I->getDebugLoc();
809   MachineFunction &MF = *MBB.getParent();
810   MachineFrameInfo &MFI = *MF.getFrameInfo();
811   unsigned Align = MFI.getObjectAlignment(FI);
812
813   MachineMemOperand *MMO =
814     MF.getMachineMemOperand(PseudoSourceValue::getFixedStack(FI),
815                             MachineMemOperand::MOLoad, 0,
816                             MFI.getObjectSize(FI),
817                             Align);
818
819   // tGPR is used sometimes in ARM instructions that need to avoid using
820   // certain registers.  Just treat it as GPR here.
821   if (RC == ARM::tGPRRegisterClass)
822     RC = ARM::GPRRegisterClass;
823
824   if (RC == ARM::GPRRegisterClass) {
825     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::LDR), DestReg)
826                    .addFrameIndex(FI).addReg(0).addImm(0).addMemOperand(MMO));
827   } else if (RC == ARM::SPRRegisterClass) {
828     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLDRS), DestReg)
829                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
830   } else if (RC == ARM::DPRRegisterClass ||
831              RC == ARM::DPR_VFP2RegisterClass ||
832              RC == ARM::DPR_8RegisterClass) {
833     AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLDRD), DestReg)
834                    .addFrameIndex(FI).addImm(0).addMemOperand(MMO));
835   } else if (RC == ARM::QPRRegisterClass ||
836              RC == ARM::QPR_VFP2RegisterClass ||
837              RC == ARM::QPR_8RegisterClass) {
838     if (Align >= 16 && getRegisterInfo().canRealignStack(MF)) {
839       MachineInstrBuilder MIB = BuildMI(MBB, I, DL, get(ARM::VLD1q64));
840       MIB = AddDReg(MIB, DestReg, ARM::DSUBREG_0, RegState::Define, TRI);
841       MIB = AddDReg(MIB, DestReg, ARM::DSUBREG_1, RegState::Define, TRI);
842       AddDefaultPred(MIB.addFrameIndex(FI).addImm(128).addMemOperand(MMO));
843     } else {
844       MachineInstrBuilder MIB =
845         AddDefaultPred(BuildMI(MBB, I, DL, get(ARM::VLDMD))
846                        .addFrameIndex(FI)
847                        .addImm(ARM_AM::getAM5Opc(ARM_AM::ia, 4)))
848         .addMemOperand(MMO);
849       MIB = AddDReg(MIB, DestReg, ARM::DSUBREG_0, RegState::Define, TRI);
850       AddDReg(MIB, DestReg, ARM::DSUBREG_1, RegState::Define, TRI);
851     }
852   } else {
853     assert((RC == ARM::QQPRRegisterClass ||
854             RC == ARM::QQPR_VFP2RegisterClass ||
855             RC == ARM::QQPR_8RegisterClass) && "Unknown regclass!");
856     llvm_unreachable("Not yet implemented!");
857   }
858 }
859
860 MachineInstr*
861 ARMBaseInstrInfo::emitFrameIndexDebugValue(MachineFunction &MF,
862                                            int FrameIx, uint64_t Offset,
863                                            const MDNode *MDPtr,
864                                            DebugLoc DL) const {
865   MachineInstrBuilder MIB = BuildMI(MF, DL, get(ARM::DBG_VALUE))
866     .addFrameIndex(FrameIx).addImm(0).addImm(Offset).addMetadata(MDPtr);
867   return &*MIB;
868 }
869
870 MachineInstr *ARMBaseInstrInfo::
871 foldMemoryOperandImpl(MachineFunction &MF, MachineInstr *MI,
872                       const SmallVectorImpl<unsigned> &Ops, int FI) const {
873   if (Ops.size() != 1) return NULL;
874
875   unsigned OpNum = Ops[0];
876   unsigned Opc = MI->getOpcode();
877   MachineInstr *NewMI = NULL;
878   if (Opc == ARM::MOVr || Opc == ARM::t2MOVr) {
879     // If it is updating CPSR, then it cannot be folded.
880     if (MI->getOperand(4).getReg() == ARM::CPSR && !MI->getOperand(4).isDead())
881       return NULL;
882     unsigned Pred = MI->getOperand(2).getImm();
883     unsigned PredReg = MI->getOperand(3).getReg();
884     if (OpNum == 0) { // move -> store
885       unsigned SrcReg = MI->getOperand(1).getReg();
886       unsigned SrcSubReg = MI->getOperand(1).getSubReg();
887       bool isKill = MI->getOperand(1).isKill();
888       bool isUndef = MI->getOperand(1).isUndef();
889       if (Opc == ARM::MOVr)
890         NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::STR))
891           .addReg(SrcReg,
892                   getKillRegState(isKill) | getUndefRegState(isUndef),
893                   SrcSubReg)
894           .addFrameIndex(FI).addReg(0).addImm(0).addImm(Pred).addReg(PredReg);
895       else // ARM::t2MOVr
896         NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::t2STRi12))
897           .addReg(SrcReg,
898                   getKillRegState(isKill) | getUndefRegState(isUndef),
899                   SrcSubReg)
900           .addFrameIndex(FI).addImm(0).addImm(Pred).addReg(PredReg);
901     } else {          // move -> load
902       unsigned DstReg = MI->getOperand(0).getReg();
903       unsigned DstSubReg = MI->getOperand(0).getSubReg();
904       bool isDead = MI->getOperand(0).isDead();
905       bool isUndef = MI->getOperand(0).isUndef();
906       if (Opc == ARM::MOVr)
907         NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::LDR))
908           .addReg(DstReg,
909                   RegState::Define |
910                   getDeadRegState(isDead) |
911                   getUndefRegState(isUndef), DstSubReg)
912           .addFrameIndex(FI).addReg(0).addImm(0).addImm(Pred).addReg(PredReg);
913       else // ARM::t2MOVr
914         NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::t2LDRi12))
915           .addReg(DstReg,
916                   RegState::Define |
917                   getDeadRegState(isDead) |
918                   getUndefRegState(isUndef), DstSubReg)
919           .addFrameIndex(FI).addImm(0).addImm(Pred).addReg(PredReg);
920     }
921   } else if (Opc == ARM::tMOVgpr2gpr ||
922              Opc == ARM::tMOVtgpr2gpr ||
923              Opc == ARM::tMOVgpr2tgpr) {
924     if (OpNum == 0) { // move -> store
925       unsigned SrcReg = MI->getOperand(1).getReg();
926       unsigned SrcSubReg = MI->getOperand(1).getSubReg();
927       bool isKill = MI->getOperand(1).isKill();
928       bool isUndef = MI->getOperand(1).isUndef();
929       NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::t2STRi12))
930         .addReg(SrcReg,
931                 getKillRegState(isKill) | getUndefRegState(isUndef),
932                 SrcSubReg)
933         .addFrameIndex(FI).addImm(0).addImm(ARMCC::AL).addReg(0);
934     } else {          // move -> load
935       unsigned DstReg = MI->getOperand(0).getReg();
936       unsigned DstSubReg = MI->getOperand(0).getSubReg();
937       bool isDead = MI->getOperand(0).isDead();
938       bool isUndef = MI->getOperand(0).isUndef();
939       NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::t2LDRi12))
940         .addReg(DstReg,
941                 RegState::Define |
942                 getDeadRegState(isDead) |
943                 getUndefRegState(isUndef),
944                 DstSubReg)
945         .addFrameIndex(FI).addImm(0).addImm(ARMCC::AL).addReg(0);
946     }
947   } else if (Opc == ARM::VMOVS) {
948     unsigned Pred = MI->getOperand(2).getImm();
949     unsigned PredReg = MI->getOperand(3).getReg();
950     if (OpNum == 0) { // move -> store
951       unsigned SrcReg = MI->getOperand(1).getReg();
952       unsigned SrcSubReg = MI->getOperand(1).getSubReg();
953       bool isKill = MI->getOperand(1).isKill();
954       bool isUndef = MI->getOperand(1).isUndef();
955       NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::VSTRS))
956         .addReg(SrcReg, getKillRegState(isKill) | getUndefRegState(isUndef),
957                 SrcSubReg)
958         .addFrameIndex(FI)
959         .addImm(0).addImm(Pred).addReg(PredReg);
960     } else {          // move -> load
961       unsigned DstReg = MI->getOperand(0).getReg();
962       unsigned DstSubReg = MI->getOperand(0).getSubReg();
963       bool isDead = MI->getOperand(0).isDead();
964       bool isUndef = MI->getOperand(0).isUndef();
965       NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::VLDRS))
966         .addReg(DstReg,
967                 RegState::Define |
968                 getDeadRegState(isDead) |
969                 getUndefRegState(isUndef),
970                 DstSubReg)
971         .addFrameIndex(FI).addImm(0).addImm(Pred).addReg(PredReg);
972     }
973   }
974   else if (Opc == ARM::VMOVD) {
975     unsigned Pred = MI->getOperand(2).getImm();
976     unsigned PredReg = MI->getOperand(3).getReg();
977     if (OpNum == 0) { // move -> store
978       unsigned SrcReg = MI->getOperand(1).getReg();
979       unsigned SrcSubReg = MI->getOperand(1).getSubReg();
980       bool isKill = MI->getOperand(1).isKill();
981       bool isUndef = MI->getOperand(1).isUndef();
982       NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::VSTRD))
983         .addReg(SrcReg,
984                 getKillRegState(isKill) | getUndefRegState(isUndef),
985                 SrcSubReg)
986         .addFrameIndex(FI).addImm(0).addImm(Pred).addReg(PredReg);
987     } else {          // move -> load
988       unsigned DstReg = MI->getOperand(0).getReg();
989       unsigned DstSubReg = MI->getOperand(0).getSubReg();
990       bool isDead = MI->getOperand(0).isDead();
991       bool isUndef = MI->getOperand(0).isUndef();
992       NewMI = BuildMI(MF, MI->getDebugLoc(), get(ARM::VLDRD))
993         .addReg(DstReg,
994                 RegState::Define |
995                 getDeadRegState(isDead) |
996                 getUndefRegState(isUndef),
997                 DstSubReg)
998         .addFrameIndex(FI).addImm(0).addImm(Pred).addReg(PredReg);
999     }
1000   }
1001
1002   return NewMI;
1003 }
1004
1005 MachineInstr*
1006 ARMBaseInstrInfo::foldMemoryOperandImpl(MachineFunction &MF,
1007                                         MachineInstr* MI,
1008                                         const SmallVectorImpl<unsigned> &Ops,
1009                                         MachineInstr* LoadMI) const {
1010   // FIXME
1011   return 0;
1012 }
1013
1014 bool
1015 ARMBaseInstrInfo::canFoldMemoryOperand(const MachineInstr *MI,
1016                                    const SmallVectorImpl<unsigned> &Ops) const {
1017   if (Ops.size() != 1) return false;
1018
1019   unsigned Opc = MI->getOpcode();
1020   if (Opc == ARM::MOVr || Opc == ARM::t2MOVr) {
1021     // If it is updating CPSR, then it cannot be folded.
1022     return MI->getOperand(4).getReg() != ARM::CPSR ||
1023       MI->getOperand(4).isDead();
1024   } else if (Opc == ARM::tMOVgpr2gpr ||
1025              Opc == ARM::tMOVtgpr2gpr ||
1026              Opc == ARM::tMOVgpr2tgpr) {
1027     return true;
1028   } else if (Opc == ARM::VMOVS || Opc == ARM::VMOVD) {
1029     return true;
1030   } else if (Opc == ARM::VMOVDneon || Opc == ARM::VMOVQ) {
1031     return false; // FIXME
1032   }
1033
1034   return false;
1035 }
1036
1037 /// Create a copy of a const pool value. Update CPI to the new index and return
1038 /// the label UID.
1039 static unsigned duplicateCPV(MachineFunction &MF, unsigned &CPI) {
1040   MachineConstantPool *MCP = MF.getConstantPool();
1041   ARMFunctionInfo *AFI = MF.getInfo<ARMFunctionInfo>();
1042
1043   const MachineConstantPoolEntry &MCPE = MCP->getConstants()[CPI];
1044   assert(MCPE.isMachineConstantPoolEntry() &&
1045          "Expecting a machine constantpool entry!");
1046   ARMConstantPoolValue *ACPV =
1047     static_cast<ARMConstantPoolValue*>(MCPE.Val.MachineCPVal);
1048
1049   unsigned PCLabelId = AFI->createConstPoolEntryUId();
1050   ARMConstantPoolValue *NewCPV = 0;
1051   if (ACPV->isGlobalValue())
1052     NewCPV = new ARMConstantPoolValue(ACPV->getGV(), PCLabelId,
1053                                       ARMCP::CPValue, 4);
1054   else if (ACPV->isExtSymbol())
1055     NewCPV = new ARMConstantPoolValue(MF.getFunction()->getContext(),
1056                                       ACPV->getSymbol(), PCLabelId, 4);
1057   else if (ACPV->isBlockAddress())
1058     NewCPV = new ARMConstantPoolValue(ACPV->getBlockAddress(), PCLabelId,
1059                                       ARMCP::CPBlockAddress, 4);
1060   else
1061     llvm_unreachable("Unexpected ARM constantpool value type!!");
1062   CPI = MCP->getConstantPoolIndex(NewCPV, MCPE.getAlignment());
1063   return PCLabelId;
1064 }
1065
1066 void ARMBaseInstrInfo::
1067 reMaterialize(MachineBasicBlock &MBB,
1068               MachineBasicBlock::iterator I,
1069               unsigned DestReg, unsigned SubIdx,
1070               const MachineInstr *Orig,
1071               const TargetRegisterInfo *TRI) const {
1072   if (SubIdx && TargetRegisterInfo::isPhysicalRegister(DestReg)) {
1073     DestReg = TRI->getSubReg(DestReg, SubIdx);
1074     SubIdx = 0;
1075   }
1076
1077   unsigned Opcode = Orig->getOpcode();
1078   switch (Opcode) {
1079   default: {
1080     MachineInstr *MI = MBB.getParent()->CloneMachineInstr(Orig);
1081     MI->getOperand(0).setReg(DestReg);
1082     MBB.insert(I, MI);
1083     break;
1084   }
1085   case ARM::tLDRpci_pic:
1086   case ARM::t2LDRpci_pic: {
1087     MachineFunction &MF = *MBB.getParent();
1088     unsigned CPI = Orig->getOperand(1).getIndex();
1089     unsigned PCLabelId = duplicateCPV(MF, CPI);
1090     MachineInstrBuilder MIB = BuildMI(MBB, I, Orig->getDebugLoc(), get(Opcode),
1091                                       DestReg)
1092       .addConstantPoolIndex(CPI).addImm(PCLabelId);
1093     (*MIB).setMemRefs(Orig->memoperands_begin(), Orig->memoperands_end());
1094     break;
1095   }
1096   }
1097
1098   MachineInstr *NewMI = prior(I);
1099   NewMI->getOperand(0).setSubReg(SubIdx);
1100 }
1101
1102 MachineInstr *
1103 ARMBaseInstrInfo::duplicate(MachineInstr *Orig, MachineFunction &MF) const {
1104   MachineInstr *MI = TargetInstrInfoImpl::duplicate(Orig, MF);
1105   switch(Orig->getOpcode()) {
1106   case ARM::tLDRpci_pic:
1107   case ARM::t2LDRpci_pic: {
1108     unsigned CPI = Orig->getOperand(1).getIndex();
1109     unsigned PCLabelId = duplicateCPV(MF, CPI);
1110     Orig->getOperand(1).setIndex(CPI);
1111     Orig->getOperand(2).setImm(PCLabelId);
1112     break;
1113   }
1114   }
1115   return MI;
1116 }
1117
1118 bool ARMBaseInstrInfo::produceSameValue(const MachineInstr *MI0,
1119                                         const MachineInstr *MI1) const {
1120   int Opcode = MI0->getOpcode();
1121   if (Opcode == ARM::t2LDRpci ||
1122       Opcode == ARM::t2LDRpci_pic ||
1123       Opcode == ARM::tLDRpci ||
1124       Opcode == ARM::tLDRpci_pic) {
1125     if (MI1->getOpcode() != Opcode)
1126       return false;
1127     if (MI0->getNumOperands() != MI1->getNumOperands())
1128       return false;
1129
1130     const MachineOperand &MO0 = MI0->getOperand(1);
1131     const MachineOperand &MO1 = MI1->getOperand(1);
1132     if (MO0.getOffset() != MO1.getOffset())
1133       return false;
1134
1135     const MachineFunction *MF = MI0->getParent()->getParent();
1136     const MachineConstantPool *MCP = MF->getConstantPool();
1137     int CPI0 = MO0.getIndex();
1138     int CPI1 = MO1.getIndex();
1139     const MachineConstantPoolEntry &MCPE0 = MCP->getConstants()[CPI0];
1140     const MachineConstantPoolEntry &MCPE1 = MCP->getConstants()[CPI1];
1141     ARMConstantPoolValue *ACPV0 =
1142       static_cast<ARMConstantPoolValue*>(MCPE0.Val.MachineCPVal);
1143     ARMConstantPoolValue *ACPV1 =
1144       static_cast<ARMConstantPoolValue*>(MCPE1.Val.MachineCPVal);
1145     return ACPV0->hasSameValue(ACPV1);
1146   }
1147
1148   return MI0->isIdenticalTo(MI1, MachineInstr::IgnoreVRegDefs);
1149 }
1150
1151 /// getInstrPredicate - If instruction is predicated, returns its predicate
1152 /// condition, otherwise returns AL. It also returns the condition code
1153 /// register by reference.
1154 ARMCC::CondCodes
1155 llvm::getInstrPredicate(const MachineInstr *MI, unsigned &PredReg) {
1156   int PIdx = MI->findFirstPredOperandIdx();
1157   if (PIdx == -1) {
1158     PredReg = 0;
1159     return ARMCC::AL;
1160   }
1161
1162   PredReg = MI->getOperand(PIdx+1).getReg();
1163   return (ARMCC::CondCodes)MI->getOperand(PIdx).getImm();
1164 }
1165
1166
1167 int llvm::getMatchingCondBranchOpcode(int Opc) {
1168   if (Opc == ARM::B)
1169     return ARM::Bcc;
1170   else if (Opc == ARM::tB)
1171     return ARM::tBcc;
1172   else if (Opc == ARM::t2B)
1173       return ARM::t2Bcc;
1174
1175   llvm_unreachable("Unknown unconditional branch opcode!");
1176   return 0;
1177 }
1178
1179
1180 void llvm::emitARMRegPlusImmediate(MachineBasicBlock &MBB,
1181                                MachineBasicBlock::iterator &MBBI, DebugLoc dl,
1182                                unsigned DestReg, unsigned BaseReg, int NumBytes,
1183                                ARMCC::CondCodes Pred, unsigned PredReg,
1184                                const ARMBaseInstrInfo &TII) {
1185   bool isSub = NumBytes < 0;
1186   if (isSub) NumBytes = -NumBytes;
1187
1188   while (NumBytes) {
1189     unsigned RotAmt = ARM_AM::getSOImmValRotate(NumBytes);
1190     unsigned ThisVal = NumBytes & ARM_AM::rotr32(0xFF, RotAmt);
1191     assert(ThisVal && "Didn't extract field correctly");
1192
1193     // We will handle these bits from offset, clear them.
1194     NumBytes &= ~ThisVal;
1195
1196     assert(ARM_AM::getSOImmVal(ThisVal) != -1 && "Bit extraction didn't work?");
1197
1198     // Build the new ADD / SUB.
1199     unsigned Opc = isSub ? ARM::SUBri : ARM::ADDri;
1200     BuildMI(MBB, MBBI, dl, TII.get(Opc), DestReg)
1201       .addReg(BaseReg, RegState::Kill).addImm(ThisVal)
1202       .addImm((unsigned)Pred).addReg(PredReg).addReg(0);
1203     BaseReg = DestReg;
1204   }
1205 }
1206
1207 bool llvm::rewriteARMFrameIndex(MachineInstr &MI, unsigned FrameRegIdx,
1208                                 unsigned FrameReg, int &Offset,
1209                                 const ARMBaseInstrInfo &TII) {
1210   unsigned Opcode = MI.getOpcode();
1211   const TargetInstrDesc &Desc = MI.getDesc();
1212   unsigned AddrMode = (Desc.TSFlags & ARMII::AddrModeMask);
1213   bool isSub = false;
1214
1215   // Memory operands in inline assembly always use AddrMode2.
1216   if (Opcode == ARM::INLINEASM)
1217     AddrMode = ARMII::AddrMode2;
1218
1219   if (Opcode == ARM::ADDri) {
1220     Offset += MI.getOperand(FrameRegIdx+1).getImm();
1221     if (Offset == 0) {
1222       // Turn it into a move.
1223       MI.setDesc(TII.get(ARM::MOVr));
1224       MI.getOperand(FrameRegIdx).ChangeToRegister(FrameReg, false);
1225       MI.RemoveOperand(FrameRegIdx+1);
1226       Offset = 0;
1227       return true;
1228     } else if (Offset < 0) {
1229       Offset = -Offset;
1230       isSub = true;
1231       MI.setDesc(TII.get(ARM::SUBri));
1232     }
1233
1234     // Common case: small offset, fits into instruction.
1235     if (ARM_AM::getSOImmVal(Offset) != -1) {
1236       // Replace the FrameIndex with sp / fp
1237       MI.getOperand(FrameRegIdx).ChangeToRegister(FrameReg, false);
1238       MI.getOperand(FrameRegIdx+1).ChangeToImmediate(Offset);
1239       Offset = 0;
1240       return true;
1241     }
1242
1243     // Otherwise, pull as much of the immedidate into this ADDri/SUBri
1244     // as possible.
1245     unsigned RotAmt = ARM_AM::getSOImmValRotate(Offset);
1246     unsigned ThisImmVal = Offset & ARM_AM::rotr32(0xFF, RotAmt);
1247
1248     // We will handle these bits from offset, clear them.
1249     Offset &= ~ThisImmVal;
1250
1251     // Get the properly encoded SOImmVal field.
1252     assert(ARM_AM::getSOImmVal(ThisImmVal) != -1 &&
1253            "Bit extraction didn't work?");
1254     MI.getOperand(FrameRegIdx+1).ChangeToImmediate(ThisImmVal);
1255  } else {
1256     unsigned ImmIdx = 0;
1257     int InstrOffs = 0;
1258     unsigned NumBits = 0;
1259     unsigned Scale = 1;
1260     switch (AddrMode) {
1261     case ARMII::AddrMode2: {
1262       ImmIdx = FrameRegIdx+2;
1263       InstrOffs = ARM_AM::getAM2Offset(MI.getOperand(ImmIdx).getImm());
1264       if (ARM_AM::getAM2Op(MI.getOperand(ImmIdx).getImm()) == ARM_AM::sub)
1265         InstrOffs *= -1;
1266       NumBits = 12;
1267       break;
1268     }
1269     case ARMII::AddrMode3: {
1270       ImmIdx = FrameRegIdx+2;
1271       InstrOffs = ARM_AM::getAM3Offset(MI.getOperand(ImmIdx).getImm());
1272       if (ARM_AM::getAM3Op(MI.getOperand(ImmIdx).getImm()) == ARM_AM::sub)
1273         InstrOffs *= -1;
1274       NumBits = 8;
1275       break;
1276     }
1277     case ARMII::AddrMode4:
1278     case ARMII::AddrMode6:
1279       // Can't fold any offset even if it's zero.
1280       return false;
1281     case ARMII::AddrMode5: {
1282       ImmIdx = FrameRegIdx+1;
1283       InstrOffs = ARM_AM::getAM5Offset(MI.getOperand(ImmIdx).getImm());
1284       if (ARM_AM::getAM5Op(MI.getOperand(ImmIdx).getImm()) == ARM_AM::sub)
1285         InstrOffs *= -1;
1286       NumBits = 8;
1287       Scale = 4;
1288       break;
1289     }
1290     default:
1291       llvm_unreachable("Unsupported addressing mode!");
1292       break;
1293     }
1294
1295     Offset += InstrOffs * Scale;
1296     assert((Offset & (Scale-1)) == 0 && "Can't encode this offset!");
1297     if (Offset < 0) {
1298       Offset = -Offset;
1299       isSub = true;
1300     }
1301
1302     // Attempt to fold address comp. if opcode has offset bits
1303     if (NumBits > 0) {
1304       // Common case: small offset, fits into instruction.
1305       MachineOperand &ImmOp = MI.getOperand(ImmIdx);
1306       int ImmedOffset = Offset / Scale;
1307       unsigned Mask = (1 << NumBits) - 1;
1308       if ((unsigned)Offset <= Mask * Scale) {
1309         // Replace the FrameIndex with sp
1310         MI.getOperand(FrameRegIdx).ChangeToRegister(FrameReg, false);
1311         if (isSub)
1312           ImmedOffset |= 1 << NumBits;
1313         ImmOp.ChangeToImmediate(ImmedOffset);
1314         Offset = 0;
1315         return true;
1316       }
1317
1318       // Otherwise, it didn't fit. Pull in what we can to simplify the immed.
1319       ImmedOffset = ImmedOffset & Mask;
1320       if (isSub)
1321         ImmedOffset |= 1 << NumBits;
1322       ImmOp.ChangeToImmediate(ImmedOffset);
1323       Offset &= ~(Mask*Scale);
1324     }
1325   }
1326
1327   Offset = (isSub) ? -Offset : Offset;
1328   return Offset == 0;
1329 }