Start of revamping the register scavenging in PEI. ARM Thumb1 is the driving
[oota-llvm.git] / lib / Target / ARM / Thumb1RegisterInfo.cpp
1 //===- Thumb1RegisterInfo.cpp - Thumb-1 Register Information -------*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file contains the Thumb-1 implementation of the TargetRegisterInfo class.
11 //
12 //===----------------------------------------------------------------------===//
13
14 #include "ARM.h"
15 #include "ARMAddressingModes.h"
16 #include "ARMBaseInstrInfo.h"
17 #include "ARMMachineFunctionInfo.h"
18 #include "ARMSubtarget.h"
19 #include "Thumb1InstrInfo.h"
20 #include "Thumb1RegisterInfo.h"
21 #include "llvm/Constants.h"
22 #include "llvm/DerivedTypes.h"
23 #include "llvm/Function.h"
24 #include "llvm/LLVMContext.h"
25 #include "llvm/CodeGen/MachineConstantPool.h"
26 #include "llvm/CodeGen/MachineFrameInfo.h"
27 #include "llvm/CodeGen/MachineFunction.h"
28 #include "llvm/CodeGen/MachineInstrBuilder.h"
29 #include "llvm/CodeGen/MachineLocation.h"
30 #include "llvm/CodeGen/MachineRegisterInfo.h"
31 #include "llvm/Target/TargetFrameInfo.h"
32 #include "llvm/Target/TargetMachine.h"
33 #include "llvm/ADT/BitVector.h"
34 #include "llvm/ADT/SmallVector.h"
35 #include "llvm/Support/CommandLine.h"
36 #include "llvm/Support/ErrorHandling.h"
37 #include "llvm/Support/raw_ostream.h"
38 using namespace llvm;
39
40 // FIXME: This cmd line option conditionalizes the new register scavenging
41 // implemenation in PEI. Remove the option when scavenging works well enough
42 // to be the default.
43 extern cl::opt<bool> FrameIndexVirtualScavenging;
44
45 Thumb1RegisterInfo::Thumb1RegisterInfo(const ARMBaseInstrInfo &tii,
46                                        const ARMSubtarget &sti)
47   : ARMBaseRegisterInfo(tii, sti) {
48 }
49
50 /// emitLoadConstPool - Emits a load from constpool to materialize the
51 /// specified immediate.
52 void Thumb1RegisterInfo::emitLoadConstPool(MachineBasicBlock &MBB,
53                                            MachineBasicBlock::iterator &MBBI,
54                                            DebugLoc dl,
55                                            unsigned DestReg, unsigned SubIdx,
56                                            int Val,
57                                            ARMCC::CondCodes Pred,
58                                            unsigned PredReg) const {
59   MachineFunction &MF = *MBB.getParent();
60   MachineConstantPool *ConstantPool = MF.getConstantPool();
61   Constant *C = ConstantInt::get(
62           Type::getInt32Ty(MBB.getParent()->getFunction()->getContext()), Val);
63   unsigned Idx = ConstantPool->getConstantPoolIndex(C, 4);
64
65   BuildMI(MBB, MBBI, dl, TII.get(ARM::tLDRcp))
66           .addReg(DestReg, getDefRegState(true), SubIdx)
67           .addConstantPoolIndex(Idx).addImm(Pred).addReg(PredReg);
68 }
69
70 const TargetRegisterClass*
71 Thumb1RegisterInfo::getPhysicalRegisterRegClass(unsigned Reg, EVT VT) const {
72   if (isARMLowRegister(Reg))
73     return ARM::tGPRRegisterClass;
74   switch (Reg) {
75    default:
76     break;
77    case ARM::R8:  case ARM::R9:  case ARM::R10:  case ARM::R11:
78    case ARM::R12: case ARM::SP:  case ARM::LR:   case ARM::PC:
79     return ARM::GPRRegisterClass;
80   }
81
82   return TargetRegisterInfo::getPhysicalRegisterRegClass(Reg, VT);
83 }
84
85 bool
86 Thumb1RegisterInfo::requiresRegisterScavenging(const MachineFunction &MF) const {
87   return FrameIndexVirtualScavenging;
88 }
89
90 bool Thumb1RegisterInfo::hasReservedCallFrame(MachineFunction &MF) const {
91   const MachineFrameInfo *FFI = MF.getFrameInfo();
92   unsigned CFSize = FFI->getMaxCallFrameSize();
93   // It's not always a good idea to include the call frame as part of the
94   // stack frame. ARM (especially Thumb) has small immediate offset to
95   // address the stack frame. So a large call frame can cause poor codegen
96   // and may even makes it impossible to scavenge a register.
97   if (CFSize >= ((1 << 8) - 1) * 4 / 2) // Half of imm8 * 4
98     return false;
99
100   return !MF.getFrameInfo()->hasVarSizedObjects();
101 }
102
103
104 /// emitThumbRegPlusImmInReg - Emits a series of instructions to materialize
105 /// a destreg = basereg + immediate in Thumb code. Materialize the immediate
106 /// in a register using mov / mvn sequences or load the immediate from a
107 /// constpool entry.
108 static
109 void emitThumbRegPlusImmInReg(MachineBasicBlock &MBB,
110                               MachineBasicBlock::iterator &MBBI,
111                               unsigned DestReg, unsigned BaseReg,
112                               int NumBytes, bool CanChangeCC,
113                               const TargetInstrInfo &TII,
114                               const Thumb1RegisterInfo& MRI,
115                               DebugLoc dl) {
116     MachineFunction &MF = *MBB.getParent();
117     bool isHigh = !isARMLowRegister(DestReg) ||
118                   (BaseReg != 0 && !isARMLowRegister(BaseReg));
119     bool isSub = false;
120     // Subtract doesn't have high register version. Load the negative value
121     // if either base or dest register is a high register. Also, if do not
122     // issue sub as part of the sequence if condition register is to be
123     // preserved.
124     if (NumBytes < 0 && !isHigh && CanChangeCC) {
125       isSub = true;
126       NumBytes = -NumBytes;
127     }
128     unsigned LdReg = DestReg;
129     if (DestReg == ARM::SP) {
130       assert(BaseReg == ARM::SP && "Unexpected!");
131       if (FrameIndexVirtualScavenging) {
132         LdReg = MF.getRegInfo().createVirtualRegister(ARM::tGPRRegisterClass);
133       } else {
134         LdReg = ARM::R3;
135         BuildMI(MBB, MBBI, dl, TII.get(ARM::tMOVtgpr2gpr), ARM::R12)
136           .addReg(ARM::R3, RegState::Kill);
137       }
138     }
139
140     if (NumBytes <= 255 && NumBytes >= 0)
141       AddDefaultT1CC(BuildMI(MBB, MBBI, dl, TII.get(ARM::tMOVi8), LdReg))
142         .addImm(NumBytes);
143     else if (NumBytes < 0 && NumBytes >= -255) {
144       AddDefaultT1CC(BuildMI(MBB, MBBI, dl, TII.get(ARM::tMOVi8), LdReg))
145         .addImm(NumBytes);
146       AddDefaultT1CC(BuildMI(MBB, MBBI, dl, TII.get(ARM::tRSB), LdReg))
147         .addReg(LdReg, RegState::Kill);
148     } else
149       MRI.emitLoadConstPool(MBB, MBBI, dl, LdReg, 0, NumBytes);
150
151     // Emit add / sub.
152     int Opc = (isSub) ? ARM::tSUBrr : (isHigh ? ARM::tADDhirr : ARM::tADDrr);
153     MachineInstrBuilder MIB =
154       BuildMI(MBB, MBBI, dl, TII.get(Opc), DestReg);
155     if (Opc != ARM::tADDhirr)
156       MIB = AddDefaultT1CC(MIB);
157     if (DestReg == ARM::SP || isSub)
158       MIB.addReg(BaseReg).addReg(LdReg, RegState::Kill);
159     else
160       MIB.addReg(LdReg).addReg(BaseReg, RegState::Kill);
161     AddDefaultPred(MIB);
162
163     if (!FrameIndexVirtualScavenging && DestReg == ARM::SP)
164       BuildMI(MBB, MBBI, dl, TII.get(ARM::tMOVgpr2tgpr), ARM::R3)
165         .addReg(ARM::R12, RegState::Kill);
166 }
167
168 /// calcNumMI - Returns the number of instructions required to materialize
169 /// the specific add / sub r, c instruction.
170 static unsigned calcNumMI(int Opc, int ExtraOpc, unsigned Bytes,
171                           unsigned NumBits, unsigned Scale) {
172   unsigned NumMIs = 0;
173   unsigned Chunk = ((1 << NumBits) - 1) * Scale;
174
175   if (Opc == ARM::tADDrSPi) {
176     unsigned ThisVal = (Bytes > Chunk) ? Chunk : Bytes;
177     Bytes -= ThisVal;
178     NumMIs++;
179     NumBits = 8;
180     Scale = 1;  // Followed by a number of tADDi8.
181     Chunk = ((1 << NumBits) - 1) * Scale;
182   }
183
184   NumMIs += Bytes / Chunk;
185   if ((Bytes % Chunk) != 0)
186     NumMIs++;
187   if (ExtraOpc)
188     NumMIs++;
189   return NumMIs;
190 }
191
192 /// emitThumbRegPlusImmediate - Emits a series of instructions to materialize
193 /// a destreg = basereg + immediate in Thumb code.
194 static
195 void emitThumbRegPlusImmediate(MachineBasicBlock &MBB,
196                                MachineBasicBlock::iterator &MBBI,
197                                unsigned DestReg, unsigned BaseReg,
198                                int NumBytes, const TargetInstrInfo &TII,
199                                const Thumb1RegisterInfo& MRI,
200                                DebugLoc dl) {
201   bool isSub = NumBytes < 0;
202   unsigned Bytes = (unsigned)NumBytes;
203   if (isSub) Bytes = -NumBytes;
204   bool isMul4 = (Bytes & 3) == 0;
205   bool isTwoAddr = false;
206   bool DstNotEqBase = false;
207   unsigned NumBits = 1;
208   unsigned Scale = 1;
209   int Opc = 0;
210   int ExtraOpc = 0;
211   bool NeedCC = false;
212   bool NeedPred = false;
213
214   if (DestReg == BaseReg && BaseReg == ARM::SP) {
215     assert(isMul4 && "Thumb sp inc / dec size must be multiple of 4!");
216     NumBits = 7;
217     Scale = 4;
218     Opc = isSub ? ARM::tSUBspi : ARM::tADDspi;
219     isTwoAddr = true;
220   } else if (!isSub && BaseReg == ARM::SP) {
221     // r1 = add sp, 403
222     // =>
223     // r1 = add sp, 100 * 4
224     // r1 = add r1, 3
225     if (!isMul4) {
226       Bytes &= ~3;
227       ExtraOpc = ARM::tADDi3;
228     }
229     NumBits = 8;
230     Scale = 4;
231     Opc = ARM::tADDrSPi;
232   } else {
233     // sp = sub sp, c
234     // r1 = sub sp, c
235     // r8 = sub sp, c
236     if (DestReg != BaseReg)
237       DstNotEqBase = true;
238     NumBits = 8;
239     if (DestReg == ARM::SP) {
240       Opc = isSub ? ARM::tSUBspi : ARM::tADDspi;
241       assert(isMul4 && "Thumb sp inc / dec size must be multiple of 4!");
242       NumBits = 7;
243       Scale = 4;
244     } else {
245       Opc = isSub ? ARM::tSUBi8 : ARM::tADDi8;
246       NumBits = 8;
247       NeedPred = NeedCC = true;
248     }
249     isTwoAddr = true;
250   }
251
252   unsigned NumMIs = calcNumMI(Opc, ExtraOpc, Bytes, NumBits, Scale);
253   unsigned Threshold = (DestReg == ARM::SP) ? 3 : 2;
254   if (NumMIs > Threshold) {
255     // This will expand into too many instructions. Load the immediate from a
256     // constpool entry.
257     emitThumbRegPlusImmInReg(MBB, MBBI, DestReg, BaseReg, NumBytes, true, TII,
258                              MRI, dl);
259     return;
260   }
261
262   if (DstNotEqBase) {
263     if (isARMLowRegister(DestReg) && isARMLowRegister(BaseReg)) {
264       // If both are low registers, emit DestReg = add BaseReg, max(Imm, 7)
265       unsigned Chunk = (1 << 3) - 1;
266       unsigned ThisVal = (Bytes > Chunk) ? Chunk : Bytes;
267       Bytes -= ThisVal;
268       const TargetInstrDesc &TID = TII.get(isSub ? ARM::tSUBi3 : ARM::tADDi3);
269       const MachineInstrBuilder MIB =
270         AddDefaultT1CC(BuildMI(MBB, MBBI, dl, TID, DestReg));
271       AddDefaultPred(MIB.addReg(BaseReg, RegState::Kill).addImm(ThisVal));
272     } else {
273       BuildMI(MBB, MBBI, dl, TII.get(ARM::tMOVr), DestReg)
274         .addReg(BaseReg, RegState::Kill);
275     }
276     BaseReg = DestReg;
277   }
278
279   unsigned Chunk = ((1 << NumBits) - 1) * Scale;
280   while (Bytes) {
281     unsigned ThisVal = (Bytes > Chunk) ? Chunk : Bytes;
282     Bytes -= ThisVal;
283     ThisVal /= Scale;
284     // Build the new tADD / tSUB.
285     if (isTwoAddr) {
286       MachineInstrBuilder MIB = BuildMI(MBB, MBBI, dl, TII.get(Opc), DestReg);
287       if (NeedCC)
288         MIB = AddDefaultT1CC(MIB);
289       MIB .addReg(DestReg).addImm(ThisVal);
290       if (NeedPred)
291         MIB = AddDefaultPred(MIB);
292     }
293     else {
294       bool isKill = BaseReg != ARM::SP;
295       MachineInstrBuilder MIB = BuildMI(MBB, MBBI, dl, TII.get(Opc), DestReg);
296       if (NeedCC)
297         MIB = AddDefaultT1CC(MIB);
298       MIB.addReg(BaseReg, getKillRegState(isKill)).addImm(ThisVal);
299       if (NeedPred)
300         MIB = AddDefaultPred(MIB);
301       BaseReg = DestReg;
302
303       if (Opc == ARM::tADDrSPi) {
304         // r4 = add sp, imm
305         // r4 = add r4, imm
306         // ...
307         NumBits = 8;
308         Scale = 1;
309         Chunk = ((1 << NumBits) - 1) * Scale;
310         Opc = isSub ? ARM::tSUBi8 : ARM::tADDi8;
311         NeedPred = NeedCC = isTwoAddr = true;
312       }
313     }
314   }
315
316   if (ExtraOpc) {
317     const TargetInstrDesc &TID = TII.get(ExtraOpc);
318     AddDefaultPred(AddDefaultT1CC(BuildMI(MBB, MBBI, dl, TID, DestReg))
319                    .addReg(DestReg, RegState::Kill)
320                    .addImm(((unsigned)NumBytes) & 3));
321   }
322 }
323
324 static void emitSPUpdate(MachineBasicBlock &MBB,
325                          MachineBasicBlock::iterator &MBBI,
326                          const TargetInstrInfo &TII, DebugLoc dl,
327                          const Thumb1RegisterInfo &MRI,
328                          int NumBytes) {
329   emitThumbRegPlusImmediate(MBB, MBBI, ARM::SP, ARM::SP, NumBytes, TII,
330                             MRI, dl);
331 }
332
333 void Thumb1RegisterInfo::
334 eliminateCallFramePseudoInstr(MachineFunction &MF, MachineBasicBlock &MBB,
335                               MachineBasicBlock::iterator I) const {
336   if (!hasReservedCallFrame(MF)) {
337     // If we have alloca, convert as follows:
338     // ADJCALLSTACKDOWN -> sub, sp, sp, amount
339     // ADJCALLSTACKUP   -> add, sp, sp, amount
340     MachineInstr *Old = I;
341     DebugLoc dl = Old->getDebugLoc();
342     unsigned Amount = Old->getOperand(0).getImm();
343     if (Amount != 0) {
344       // We need to keep the stack aligned properly.  To do this, we round the
345       // amount of space needed for the outgoing arguments up to the next
346       // alignment boundary.
347       unsigned Align = MF.getTarget().getFrameInfo()->getStackAlignment();
348       Amount = (Amount+Align-1)/Align*Align;
349
350       // Replace the pseudo instruction with a new instruction...
351       unsigned Opc = Old->getOpcode();
352       if (Opc == ARM::ADJCALLSTACKDOWN || Opc == ARM::tADJCALLSTACKDOWN) {
353         emitSPUpdate(MBB, I, TII, dl, *this, -Amount);
354       } else {
355         assert(Opc == ARM::ADJCALLSTACKUP || Opc == ARM::tADJCALLSTACKUP);
356         emitSPUpdate(MBB, I, TII, dl, *this, Amount);
357       }
358     }
359   }
360   MBB.erase(I);
361 }
362
363 /// emitThumbConstant - Emit a series of instructions to materialize a
364 /// constant.
365 static void emitThumbConstant(MachineBasicBlock &MBB,
366                               MachineBasicBlock::iterator &MBBI,
367                               unsigned DestReg, int Imm,
368                               const TargetInstrInfo &TII,
369                               const Thumb1RegisterInfo& MRI,
370                               DebugLoc dl) {
371   bool isSub = Imm < 0;
372   if (isSub) Imm = -Imm;
373
374   int Chunk = (1 << 8) - 1;
375   int ThisVal = (Imm > Chunk) ? Chunk : Imm;
376   Imm -= ThisVal;
377   AddDefaultPred(AddDefaultT1CC(BuildMI(MBB, MBBI, dl, TII.get(ARM::tMOVi8),
378                                         DestReg))
379                  .addImm(ThisVal));
380   if (Imm > 0)
381     emitThumbRegPlusImmediate(MBB, MBBI, DestReg, DestReg, Imm, TII, MRI, dl);
382   if (isSub) {
383     const TargetInstrDesc &TID = TII.get(ARM::tRSB);
384     AddDefaultPred(AddDefaultT1CC(BuildMI(MBB, MBBI, dl, TID, DestReg))
385                    .addReg(DestReg, RegState::Kill));
386   }
387 }
388
389 static void removeOperands(MachineInstr &MI, unsigned i) {
390   unsigned Op = i;
391   for (unsigned e = MI.getNumOperands(); i != e; ++i)
392     MI.RemoveOperand(Op);
393 }
394
395 int Thumb1RegisterInfo::
396 rewriteFrameIndex(MachineInstr &MI, unsigned FrameRegIdx,
397                   unsigned FrameReg, int Offset,
398                   unsigned MOVOpc, unsigned ADDriOpc, unsigned SUBriOpc) const
399 {
400   // if/when eliminateFrameIndex() conforms with ARMBaseRegisterInfo
401   // version then can pull out Thumb1 specific parts here
402   return 0;
403 }
404
405 void Thumb1RegisterInfo::eliminateFrameIndex(MachineBasicBlock::iterator II,
406                                              int SPAdj, RegScavenger *RS) const{
407   unsigned i = 0;
408   MachineInstr &MI = *II;
409   MachineBasicBlock &MBB = *MI.getParent();
410   MachineFunction &MF = *MBB.getParent();
411   ARMFunctionInfo *AFI = MF.getInfo<ARMFunctionInfo>();
412   DebugLoc dl = MI.getDebugLoc();
413
414   while (!MI.getOperand(i).isFI()) {
415     ++i;
416     assert(i < MI.getNumOperands() && "Instr doesn't have FrameIndex operand!");
417   }
418
419   unsigned FrameReg = ARM::SP;
420   int FrameIndex = MI.getOperand(i).getIndex();
421   int Offset = MF.getFrameInfo()->getObjectOffset(FrameIndex) +
422                MF.getFrameInfo()->getStackSize() + SPAdj;
423
424   if (AFI->isGPRCalleeSavedArea1Frame(FrameIndex))
425     Offset -= AFI->getGPRCalleeSavedArea1Offset();
426   else if (AFI->isGPRCalleeSavedArea2Frame(FrameIndex))
427     Offset -= AFI->getGPRCalleeSavedArea2Offset();
428   else if (hasFP(MF)) {
429     assert(SPAdj == 0 && "Unexpected");
430     // There is alloca()'s in this function, must reference off the frame
431     // pointer instead.
432     FrameReg = getFrameRegister(MF);
433     Offset -= AFI->getFramePtrSpillOffset();
434   }
435
436   unsigned Opcode = MI.getOpcode();
437   const TargetInstrDesc &Desc = MI.getDesc();
438   unsigned AddrMode = (Desc.TSFlags & ARMII::AddrModeMask);
439
440   if (Opcode == ARM::tADDrSPi) {
441     Offset += MI.getOperand(i+1).getImm();
442
443     // Can't use tADDrSPi if it's based off the frame pointer.
444     unsigned NumBits = 0;
445     unsigned Scale = 1;
446     if (FrameReg != ARM::SP) {
447       Opcode = ARM::tADDi3;
448       MI.setDesc(TII.get(Opcode));
449       NumBits = 3;
450     } else {
451       NumBits = 8;
452       Scale = 4;
453       assert((Offset & 3) == 0 &&
454              "Thumb add/sub sp, #imm immediate must be multiple of 4!");
455     }
456
457     if (Offset == 0) {
458       // Turn it into a move.
459       MI.setDesc(TII.get(ARM::tMOVgpr2tgpr));
460       MI.getOperand(i).ChangeToRegister(FrameReg, false);
461       MI.RemoveOperand(i+1);
462       return;
463     }
464
465     // Common case: small offset, fits into instruction.
466     unsigned Mask = (1 << NumBits) - 1;
467     if (((Offset / Scale) & ~Mask) == 0) {
468       // Replace the FrameIndex with sp / fp
469       if (Opcode == ARM::tADDi3) {
470         removeOperands(MI, i);
471         MachineInstrBuilder MIB(&MI);
472         AddDefaultPred(AddDefaultT1CC(MIB).addReg(FrameReg)
473                        .addImm(Offset / Scale));
474       } else {
475         MI.getOperand(i).ChangeToRegister(FrameReg, false);
476         MI.getOperand(i+1).ChangeToImmediate(Offset / Scale);
477       }
478       return;
479     }
480
481     unsigned DestReg = MI.getOperand(0).getReg();
482     unsigned Bytes = (Offset > 0) ? Offset : -Offset;
483     unsigned NumMIs = calcNumMI(Opcode, 0, Bytes, NumBits, Scale);
484     // MI would expand into a large number of instructions. Don't try to
485     // simplify the immediate.
486     if (NumMIs > 2) {
487       emitThumbRegPlusImmediate(MBB, II, DestReg, FrameReg, Offset, TII,
488                                 *this, dl);
489       MBB.erase(II);
490       return;
491     }
492
493     if (Offset > 0) {
494       // Translate r0 = add sp, imm to
495       // r0 = add sp, 255*4
496       // r0 = add r0, (imm - 255*4)
497       if (Opcode == ARM::tADDi3) {
498         removeOperands(MI, i);
499         MachineInstrBuilder MIB(&MI);
500         AddDefaultPred(AddDefaultT1CC(MIB).addReg(FrameReg).addImm(Mask));
501       } else {
502         MI.getOperand(i).ChangeToRegister(FrameReg, false);
503         MI.getOperand(i+1).ChangeToImmediate(Mask);
504       }
505       Offset = (Offset - Mask * Scale);
506       MachineBasicBlock::iterator NII = next(II);
507       emitThumbRegPlusImmediate(MBB, NII, DestReg, DestReg, Offset, TII,
508                                 *this, dl);
509     } else {
510       // Translate r0 = add sp, -imm to
511       // r0 = -imm (this is then translated into a series of instructons)
512       // r0 = add r0, sp
513       emitThumbConstant(MBB, II, DestReg, Offset, TII, *this, dl);
514
515       MI.setDesc(TII.get(ARM::tADDhirr));
516       MI.getOperand(i).ChangeToRegister(DestReg, false, false, true);
517       MI.getOperand(i+1).ChangeToRegister(FrameReg, false);
518       if (Opcode == ARM::tADDi3) {
519         MachineInstrBuilder MIB(&MI);
520         AddDefaultPred(MIB);
521       }
522     }
523     return;
524   } else {
525     unsigned ImmIdx = 0;
526     int InstrOffs = 0;
527     unsigned NumBits = 0;
528     unsigned Scale = 1;
529     switch (AddrMode) {
530     case ARMII::AddrModeT1_s: {
531       ImmIdx = i+1;
532       InstrOffs = MI.getOperand(ImmIdx).getImm();
533       NumBits = (FrameReg == ARM::SP) ? 8 : 5;
534       Scale = 4;
535       break;
536     }
537     default:
538       llvm_unreachable("Unsupported addressing mode!");
539       break;
540     }
541
542     Offset += InstrOffs * Scale;
543     assert((Offset & (Scale-1)) == 0 && "Can't encode this offset!");
544
545     // Common case: small offset, fits into instruction.
546     MachineOperand &ImmOp = MI.getOperand(ImmIdx);
547     int ImmedOffset = Offset / Scale;
548     unsigned Mask = (1 << NumBits) - 1;
549     if ((unsigned)Offset <= Mask * Scale) {
550       // Replace the FrameIndex with sp
551       MI.getOperand(i).ChangeToRegister(FrameReg, false);
552       ImmOp.ChangeToImmediate(ImmedOffset);
553       return;
554     }
555
556     bool isThumSpillRestore = Opcode == ARM::tRestore || Opcode == ARM::tSpill;
557     if (AddrMode == ARMII::AddrModeT1_s) {
558       // Thumb tLDRspi, tSTRspi. These will change to instructions that use
559       // a different base register.
560       NumBits = 5;
561       Mask = (1 << NumBits) - 1;
562     }
563     // If this is a thumb spill / restore, we will be using a constpool load to
564     // materialize the offset.
565     if (AddrMode == ARMII::AddrModeT1_s && isThumSpillRestore)
566       ImmOp.ChangeToImmediate(0);
567     else {
568       // Otherwise, it didn't fit. Pull in what we can to simplify the immed.
569       ImmedOffset = ImmedOffset & Mask;
570       ImmOp.ChangeToImmediate(ImmedOffset);
571       Offset &= ~(Mask*Scale);
572     }
573   }
574
575   // If we get here, the immediate doesn't fit into the instruction.  We folded
576   // as much as possible above, handle the rest, providing a register that is
577   // SP+LargeImm.
578   assert(Offset && "This code isn't needed if offset already handled!");
579
580   // Remove predicate first.
581   int PIdx = MI.findFirstPredOperandIdx();
582   if (PIdx != -1)
583     removeOperands(MI, PIdx);
584
585   if (Desc.mayLoad()) {
586     // Use the destination register to materialize sp + offset.
587     unsigned TmpReg = MI.getOperand(0).getReg();
588     bool UseRR = false;
589     if (Opcode == ARM::tRestore) {
590       if (FrameReg == ARM::SP)
591         emitThumbRegPlusImmInReg(MBB, II, TmpReg, FrameReg,
592                                  Offset, false, TII, *this, dl);
593       else {
594         emitLoadConstPool(MBB, II, dl, TmpReg, 0, Offset);
595         UseRR = true;
596       }
597     } else {
598       emitThumbRegPlusImmediate(MBB, II, TmpReg, FrameReg, Offset, TII,
599                                 *this, dl);
600     }
601
602     MI.setDesc(TII.get(ARM::tLDR));
603     MI.getOperand(i).ChangeToRegister(TmpReg, false, false, true);
604     if (UseRR)
605       // Use [reg, reg] addrmode.
606       MI.addOperand(MachineOperand::CreateReg(FrameReg, false));
607     else  // tLDR has an extra register operand.
608       MI.addOperand(MachineOperand::CreateReg(0, false));
609   } else if (Desc.mayStore()) {
610     if (FrameIndexVirtualScavenging) {
611       unsigned TmpReg =
612         MF.getRegInfo().createVirtualRegister(ARM::tGPRRegisterClass);
613       bool UseRR = false;
614       if (Opcode == ARM::tSpill) {
615         if (FrameReg == ARM::SP)
616           emitThumbRegPlusImmInReg(MBB, II, TmpReg, FrameReg,
617                                    Offset, false, TII, *this, dl);
618         else {
619           emitLoadConstPool(MBB, II, dl, TmpReg, 0, Offset);
620           UseRR = true;
621         }
622       } else
623         emitThumbRegPlusImmediate(MBB, II, TmpReg, FrameReg, Offset, TII,
624                                   *this, dl);
625       MI.setDesc(TII.get(ARM::tSTR));
626       MI.getOperand(i).ChangeToRegister(TmpReg, false, false, true);
627       if (UseRR)  // Use [reg, reg] addrmode.
628         MI.addOperand(MachineOperand::CreateReg(FrameReg, false));
629       else // tSTR has an extra register operand.
630         MI.addOperand(MachineOperand::CreateReg(0, false));
631     } else {
632       // FIXME! This is horrific!!! We need register scavenging.
633       // Our temporary workaround has marked r3 unavailable. Of course, r3 is
634       // also a ABI register so it's possible that is is the register that is
635       // being storing here. If that's the case, we do the following:
636       // r12 = r2
637       // Use r2 to materialize sp + offset
638       // str r3, r2
639       // r2 = r12
640       unsigned ValReg = MI.getOperand(0).getReg();
641       unsigned TmpReg = ARM::R3;
642       bool UseRR = false;
643       if (ValReg == ARM::R3) {
644         BuildMI(MBB, II, dl, TII.get(ARM::tMOVtgpr2gpr), ARM::R12)
645           .addReg(ARM::R2, RegState::Kill);
646         TmpReg = ARM::R2;
647       }
648       if (TmpReg == ARM::R3 && AFI->isR3LiveIn())
649         BuildMI(MBB, II, dl, TII.get(ARM::tMOVtgpr2gpr), ARM::R12)
650           .addReg(ARM::R3, RegState::Kill);
651       if (Opcode == ARM::tSpill) {
652         if (FrameReg == ARM::SP)
653           emitThumbRegPlusImmInReg(MBB, II, TmpReg, FrameReg,
654                                    Offset, false, TII, *this, dl);
655         else {
656           emitLoadConstPool(MBB, II, dl, TmpReg, 0, Offset);
657           UseRR = true;
658         }
659       } else
660         emitThumbRegPlusImmediate(MBB, II, TmpReg, FrameReg, Offset, TII,
661                                   *this, dl);
662       MI.setDesc(TII.get(ARM::tSTR));
663       MI.getOperand(i).ChangeToRegister(TmpReg, false, false, true);
664       if (UseRR)  // Use [reg, reg] addrmode.
665         MI.addOperand(MachineOperand::CreateReg(FrameReg, false));
666       else // tSTR has an extra register operand.
667         MI.addOperand(MachineOperand::CreateReg(0, false));
668
669       MachineBasicBlock::iterator NII = next(II);
670       if (ValReg == ARM::R3)
671         BuildMI(MBB, NII, dl, TII.get(ARM::tMOVgpr2tgpr), ARM::R2)
672           .addReg(ARM::R12, RegState::Kill);
673       if (TmpReg == ARM::R3 && AFI->isR3LiveIn())
674         BuildMI(MBB, NII, dl, TII.get(ARM::tMOVgpr2tgpr), ARM::R3)
675           .addReg(ARM::R12, RegState::Kill);
676     }
677   } else
678     assert(false && "Unexpected opcode!");
679
680   // Add predicate back if it's needed.
681   if (MI.getDesc().isPredicable()) {
682     MachineInstrBuilder MIB(&MI);
683     AddDefaultPred(MIB);
684   }
685 }
686
687 void Thumb1RegisterInfo::emitPrologue(MachineFunction &MF) const {
688   MachineBasicBlock &MBB = MF.front();
689   MachineBasicBlock::iterator MBBI = MBB.begin();
690   MachineFrameInfo  *MFI = MF.getFrameInfo();
691   ARMFunctionInfo *AFI = MF.getInfo<ARMFunctionInfo>();
692   unsigned VARegSaveSize = AFI->getVarArgsRegSaveSize();
693   unsigned NumBytes = MFI->getStackSize();
694   const std::vector<CalleeSavedInfo> &CSI = MFI->getCalleeSavedInfo();
695   DebugLoc dl = (MBBI != MBB.end() ?
696                  MBBI->getDebugLoc() : DebugLoc::getUnknownLoc());
697
698   // Check if R3 is live in. It might have to be used as a scratch register.
699   for (MachineRegisterInfo::livein_iterator I =MF.getRegInfo().livein_begin(),
700          E = MF.getRegInfo().livein_end(); I != E; ++I) {
701     if (I->first == ARM::R3) {
702       AFI->setR3IsLiveIn(true);
703       break;
704     }
705   }
706
707   // Thumb add/sub sp, imm8 instructions implicitly multiply the offset by 4.
708   NumBytes = (NumBytes + 3) & ~3;
709   MFI->setStackSize(NumBytes);
710
711   // Determine the sizes of each callee-save spill areas and record which frame
712   // belongs to which callee-save spill areas.
713   unsigned GPRCS1Size = 0, GPRCS2Size = 0, DPRCSSize = 0;
714   int FramePtrSpillFI = 0;
715
716   if (VARegSaveSize)
717     emitSPUpdate(MBB, MBBI, TII, dl, *this, -VARegSaveSize);
718
719   if (!AFI->hasStackFrame()) {
720     if (NumBytes != 0)
721       emitSPUpdate(MBB, MBBI, TII, dl, *this, -NumBytes);
722     return;
723   }
724
725   for (unsigned i = 0, e = CSI.size(); i != e; ++i) {
726     unsigned Reg = CSI[i].getReg();
727     int FI = CSI[i].getFrameIdx();
728     switch (Reg) {
729     case ARM::R4:
730     case ARM::R5:
731     case ARM::R6:
732     case ARM::R7:
733     case ARM::LR:
734       if (Reg == FramePtr)
735         FramePtrSpillFI = FI;
736       AFI->addGPRCalleeSavedArea1Frame(FI);
737       GPRCS1Size += 4;
738       break;
739     case ARM::R8:
740     case ARM::R9:
741     case ARM::R10:
742     case ARM::R11:
743       if (Reg == FramePtr)
744         FramePtrSpillFI = FI;
745       if (STI.isTargetDarwin()) {
746         AFI->addGPRCalleeSavedArea2Frame(FI);
747         GPRCS2Size += 4;
748       } else {
749         AFI->addGPRCalleeSavedArea1Frame(FI);
750         GPRCS1Size += 4;
751       }
752       break;
753     default:
754       AFI->addDPRCalleeSavedAreaFrame(FI);
755       DPRCSSize += 8;
756     }
757   }
758
759   if (MBBI != MBB.end() && MBBI->getOpcode() == ARM::tPUSH) {
760     ++MBBI;
761     if (MBBI != MBB.end())
762       dl = MBBI->getDebugLoc();
763   }
764
765   // Darwin ABI requires FP to point to the stack slot that contains the
766   // previous FP.
767   if (STI.isTargetDarwin() || hasFP(MF)) {
768     BuildMI(MBB, MBBI, dl, TII.get(ARM::tADDrSPi), FramePtr)
769       .addFrameIndex(FramePtrSpillFI).addImm(0);
770   }
771
772   // Determine starting offsets of spill areas.
773   unsigned DPRCSOffset  = NumBytes - (GPRCS1Size + GPRCS2Size + DPRCSSize);
774   unsigned GPRCS2Offset = DPRCSOffset + DPRCSSize;
775   unsigned GPRCS1Offset = GPRCS2Offset + GPRCS2Size;
776   AFI->setFramePtrSpillOffset(MFI->getObjectOffset(FramePtrSpillFI) + NumBytes);
777   AFI->setGPRCalleeSavedArea1Offset(GPRCS1Offset);
778   AFI->setGPRCalleeSavedArea2Offset(GPRCS2Offset);
779   AFI->setDPRCalleeSavedAreaOffset(DPRCSOffset);
780
781   NumBytes = DPRCSOffset;
782   if (NumBytes) {
783     // Insert it after all the callee-save spills.
784     emitSPUpdate(MBB, MBBI, TII, dl, *this, -NumBytes);
785   }
786
787   if (STI.isTargetELF() && hasFP(MF)) {
788     MFI->setOffsetAdjustment(MFI->getOffsetAdjustment() -
789                              AFI->getFramePtrSpillOffset());
790   }
791
792   AFI->setGPRCalleeSavedArea1Size(GPRCS1Size);
793   AFI->setGPRCalleeSavedArea2Size(GPRCS2Size);
794   AFI->setDPRCalleeSavedAreaSize(DPRCSSize);
795 }
796
797 static bool isCalleeSavedRegister(unsigned Reg, const unsigned *CSRegs) {
798   for (unsigned i = 0; CSRegs[i]; ++i)
799     if (Reg == CSRegs[i])
800       return true;
801   return false;
802 }
803
804 static bool isCSRestore(MachineInstr *MI, const unsigned *CSRegs) {
805   return (MI->getOpcode() == ARM::tRestore &&
806           MI->getOperand(1).isFI() &&
807           isCalleeSavedRegister(MI->getOperand(0).getReg(), CSRegs));
808 }
809
810 void Thumb1RegisterInfo::emitEpilogue(MachineFunction &MF,
811                                       MachineBasicBlock &MBB) const {
812   MachineBasicBlock::iterator MBBI = prior(MBB.end());
813   assert((MBBI->getOpcode() == ARM::tBX_RET ||
814           MBBI->getOpcode() == ARM::tPOP_RET) &&
815          "Can only insert epilog into returning blocks");
816   DebugLoc dl = MBBI->getDebugLoc();
817   MachineFrameInfo *MFI = MF.getFrameInfo();
818   ARMFunctionInfo *AFI = MF.getInfo<ARMFunctionInfo>();
819   unsigned VARegSaveSize = AFI->getVarArgsRegSaveSize();
820   int NumBytes = (int)MFI->getStackSize();
821
822   if (!AFI->hasStackFrame()) {
823     if (NumBytes != 0)
824       emitSPUpdate(MBB, MBBI, TII, dl, *this, NumBytes);
825   } else {
826     // Unwind MBBI to point to first LDR / FLDD.
827     const unsigned *CSRegs = getCalleeSavedRegs();
828     if (MBBI != MBB.begin()) {
829       do
830         --MBBI;
831       while (MBBI != MBB.begin() && isCSRestore(MBBI, CSRegs));
832       if (!isCSRestore(MBBI, CSRegs))
833         ++MBBI;
834     }
835
836     // Move SP to start of FP callee save spill area.
837     NumBytes -= (AFI->getGPRCalleeSavedArea1Size() +
838                  AFI->getGPRCalleeSavedArea2Size() +
839                  AFI->getDPRCalleeSavedAreaSize());
840
841     if (hasFP(MF)) {
842       NumBytes = AFI->getFramePtrSpillOffset() - NumBytes;
843       // Reset SP based on frame pointer only if the stack frame extends beyond
844       // frame pointer stack slot or target is ELF and the function has FP.
845       if (NumBytes)
846         emitThumbRegPlusImmediate(MBB, MBBI, ARM::SP, FramePtr, -NumBytes,
847                                   TII, *this, dl);
848       else
849         BuildMI(MBB, MBBI, dl, TII.get(ARM::tMOVtgpr2gpr), ARM::SP)
850           .addReg(FramePtr);
851     } else {
852       if (MBBI->getOpcode() == ARM::tBX_RET &&
853           &MBB.front() != MBBI &&
854           prior(MBBI)->getOpcode() == ARM::tPOP) {
855         MachineBasicBlock::iterator PMBBI = prior(MBBI);
856         emitSPUpdate(MBB, PMBBI, TII, dl, *this, NumBytes);
857       } else
858         emitSPUpdate(MBB, MBBI, TII, dl, *this, NumBytes);
859     }
860   }
861
862   if (VARegSaveSize) {
863     // Epilogue for vararg functions: pop LR to R3 and branch off it.
864     // FIXME: Verify this is still ok when R3 is no longer being reserved.
865     AddDefaultPred(BuildMI(MBB, MBBI, dl, TII.get(ARM::tPOP)))
866       .addReg(ARM::R3, RegState::Define);
867
868     emitSPUpdate(MBB, MBBI, TII, dl, *this, VARegSaveSize);
869
870     BuildMI(MBB, MBBI, dl, TII.get(ARM::tBX_RET_vararg))
871       .addReg(ARM::R3, RegState::Kill);
872     MBB.erase(MBBI);
873   }
874 }