lib/Target/ARM/ARMInstrInfo.td

   1 //===- ARMInstrInfo.td - Target Description for ARM Target -*- tablegen -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file describes the ARM instructions in TableGen format.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 //===----------------------------------------------------------------------===//
  15 // ARM specific DAG Nodes.
  16 //
  17
  18 // Type profiles.
  19 def SDT_ARMCallSeqStart : SDCallSeqStart<[ SDTCisVT<0, i32> ]>;
  20 def SDT_ARMCallSeqEnd   : SDCallSeqEnd<[ SDTCisVT<0, i32>, SDTCisVT<1, i32> ]>;
  21
  22 def SDT_ARMSaveCallPC : SDTypeProfile<0, 1, []>;
  23
  24 def SDT_ARMcall    : SDTypeProfile<0, -1, [SDTCisPtrTy<0>]>;
  25
  26 def SDT_ARMCMov    : SDTypeProfile<1, 3,
  27                                    [SDTCisSameAs<0, 1>, SDTCisSameAs<0, 2>,
  28                                     SDTCisVT<3, i32>]>;
  29
  30 def SDT_ARMBrcond  : SDTypeProfile<0, 2,
  31                                    [SDTCisVT<0, OtherVT>, SDTCisVT<1, i32>]>;
  32
  33 def SDT_ARMBrJT    : SDTypeProfile<0, 3,
  34                                   [SDTCisPtrTy<0>, SDTCisVT<1, i32>,
  35                                    SDTCisVT<2, i32>]>;
  36
  37 def SDT_ARMBr2JT   : SDTypeProfile<0, 4,
  38                                   [SDTCisPtrTy<0>, SDTCisVT<1, i32>,
  39                                    SDTCisVT<2, i32>, SDTCisVT<3, i32>]>;
  40
  41 def SDT_ARMBCC_i64 : SDTypeProfile<0, 6,
  42                                   [SDTCisVT<0, i32>,
  43                                    SDTCisVT<1, i32>, SDTCisVT<2, i32>,
  44                                    SDTCisVT<3, i32>, SDTCisVT<4, i32>,
  45                                    SDTCisVT<5, OtherVT>]>;
  46
  47 def SDT_ARMAnd     : SDTypeProfile<1, 2,
  48                                    [SDTCisVT<0, i32>, SDTCisVT<1, i32>,
  49                                     SDTCisVT<2, i32>]>;
  50
  51 def SDT_ARMCmp     : SDTypeProfile<0, 2, [SDTCisSameAs<0, 1>]>;
  52
  53 def SDT_ARMPICAdd  : SDTypeProfile<1, 2, [SDTCisSameAs<0, 1>,
  54                                           SDTCisPtrTy<1>, SDTCisVT<2, i32>]>;
  55
  56 def SDT_ARMThreadPointer : SDTypeProfile<1, 0, [SDTCisPtrTy<0>]>;
  57 def SDT_ARMEH_SJLJ_Setjmp : SDTypeProfile<1, 2, [SDTCisInt<0>, SDTCisPtrTy<1>,
  58                                                  SDTCisInt<2>]>;
  59 def SDT_ARMEH_SJLJ_Longjmp: SDTypeProfile<0, 2, [SDTCisPtrTy<0>, SDTCisInt<1>]>;
  60
  61 def SDT_ARMEH_SJLJ_DispatchSetup: SDTypeProfile<0, 1, [SDTCisPtrTy<0>]>;
  62
  63 def SDT_ARMMEMBARRIER     : SDTypeProfile<0, 1, [SDTCisInt<0>]>;
  64
  65 def SDT_ARMTCRET : SDTypeProfile<0, 1, [SDTCisPtrTy<0>]>;
  66
  67 def SDT_ARMBFI : SDTypeProfile<1, 3, [SDTCisVT<0, i32>, SDTCisVT<1, i32>,
  68                                       SDTCisVT<2, i32>, SDTCisVT<3, i32>]>;
  69
  70 // Node definitions.
  71 def ARMWrapper       : SDNode<"ARMISD::Wrapper",     SDTIntUnaryOp>;
  72 def ARMWrapperJT     : SDNode<"ARMISD::WrapperJT",   SDTIntBinOp>;
  73
  74 def ARMcallseq_start : SDNode<"ISD::CALLSEQ_START", SDT_ARMCallSeqStart,
  75                               [SDNPHasChain, SDNPOutGlue]>;
  76 def ARMcallseq_end   : SDNode<"ISD::CALLSEQ_END",   SDT_ARMCallSeqEnd,
  77                               [SDNPHasChain, SDNPOptInGlue, SDNPOutGlue]>;
  78
  79 def ARMcall          : SDNode<"ARMISD::CALL", SDT_ARMcall,
  80                               [SDNPHasChain, SDNPOptInGlue, SDNPOutGlue,
  81                                SDNPVariadic]>;
  82 def ARMcall_pred    : SDNode<"ARMISD::CALL_PRED", SDT_ARMcall,
  83                               [SDNPHasChain, SDNPOptInGlue, SDNPOutGlue,
  84                                SDNPVariadic]>;
  85 def ARMcall_nolink   : SDNode<"ARMISD::CALL_NOLINK", SDT_ARMcall,
  86                               [SDNPHasChain, SDNPOptInGlue, SDNPOutGlue,
  87                                SDNPVariadic]>;
  88
  89 def ARMretflag       : SDNode<"ARMISD::RET_FLAG", SDTNone,
  90                               [SDNPHasChain, SDNPOptInGlue]>;
  91
  92 def ARMcmov          : SDNode<"ARMISD::CMOV", SDT_ARMCMov,
  93                               [SDNPInGlue]>;
  94 def ARMcneg          : SDNode<"ARMISD::CNEG", SDT_ARMCMov,
  95                               [SDNPInGlue]>;
  96
  97 def ARMbrcond        : SDNode<"ARMISD::BRCOND", SDT_ARMBrcond,
  98                               [SDNPHasChain, SDNPInGlue, SDNPOutGlue]>;
  99
 100 def ARMbrjt          : SDNode<"ARMISD::BR_JT", SDT_ARMBrJT,
 101                               [SDNPHasChain]>;
 102 def ARMbr2jt         : SDNode<"ARMISD::BR2_JT", SDT_ARMBr2JT,
 103                               [SDNPHasChain]>;
 104
 105 def ARMBcci64        : SDNode<"ARMISD::BCC_i64", SDT_ARMBCC_i64,
 106                               [SDNPHasChain]>;
 107
 108 def ARMcmp           : SDNode<"ARMISD::CMP", SDT_ARMCmp,
 109                               [SDNPOutGlue]>;
 110
 111 def ARMcmpZ          : SDNode<"ARMISD::CMPZ", SDT_ARMCmp,
 112                               [SDNPOutGlue, SDNPCommutative]>;
 113
 114 def ARMpic_add       : SDNode<"ARMISD::PIC_ADD", SDT_ARMPICAdd>;
 115
 116 def ARMsrl_flag      : SDNode<"ARMISD::SRL_FLAG", SDTIntUnaryOp, [SDNPOutGlue]>;
 117 def ARMsra_flag      : SDNode<"ARMISD::SRA_FLAG", SDTIntUnaryOp, [SDNPOutGlue]>;
 118 def ARMrrx           : SDNode<"ARMISD::RRX"     , SDTIntUnaryOp, [SDNPInGlue ]>;
 119
 120 def ARMthread_pointer: SDNode<"ARMISD::THREAD_POINTER", SDT_ARMThreadPointer>;
 121 def ARMeh_sjlj_setjmp: SDNode<"ARMISD::EH_SJLJ_SETJMP",
 122                                SDT_ARMEH_SJLJ_Setjmp, [SDNPHasChain]>;
 123 def ARMeh_sjlj_longjmp: SDNode<"ARMISD::EH_SJLJ_LONGJMP",
 124                                SDT_ARMEH_SJLJ_Longjmp, [SDNPHasChain]>;
 125 def ARMeh_sjlj_dispatchsetup: SDNode<"ARMISD::EH_SJLJ_DISPATCHSETUP",
 126                                SDT_ARMEH_SJLJ_DispatchSetup, [SDNPHasChain]>;
 127
 128
 129 def ARMMemBarrier     : SDNode<"ARMISD::MEMBARRIER", SDT_ARMMEMBARRIER,
 130                                [SDNPHasChain]>;
 131 def ARMMemBarrierMCR  : SDNode<"ARMISD::MEMBARRIER_MCR", SDT_ARMMEMBARRIER,
 132                                [SDNPHasChain]>;
 133 def ARMPreload        : SDNode<"ARMISD::PRELOAD", SDTPrefetch,
 134                                [SDNPHasChain, SDNPMayLoad, SDNPMayStore]>;
 135
 136 def ARMrbit          : SDNode<"ARMISD::RBIT", SDTIntUnaryOp>;
 137
 138 def ARMtcret         : SDNode<"ARMISD::TC_RETURN", SDT_ARMTCRET,
 139                         [SDNPHasChain,  SDNPOptInGlue, SDNPVariadic]>;
 140
 141
 142 def ARMbfi           : SDNode<"ARMISD::BFI", SDT_ARMBFI>;
 143
 144 //===----------------------------------------------------------------------===//
 145 // ARM Instruction Predicate Definitions.
 146 //
 147 def HasV4T           : Predicate<"Subtarget->hasV4TOps()">, AssemblerPredicate;
 148 def NoV4T            : Predicate<"!Subtarget->hasV4TOps()">;
 149 def HasV5T           : Predicate<"Subtarget->hasV5TOps()">;
 150 def HasV5TE          : Predicate<"Subtarget->hasV5TEOps()">, AssemblerPredicate;
 151 def HasV6            : Predicate<"Subtarget->hasV6Ops()">, AssemblerPredicate;
 152 def HasV6T2          : Predicate<"Subtarget->hasV6T2Ops()">, AssemblerPredicate;
 153 def NoV6T2           : Predicate<"!Subtarget->hasV6T2Ops()">;
 154 def HasV7            : Predicate<"Subtarget->hasV7Ops()">, AssemblerPredicate;
 155 def NoVFP            : Predicate<"!Subtarget->hasVFP2()">;
 156 def HasVFP2          : Predicate<"Subtarget->hasVFP2()">, AssemblerPredicate;
 157 def HasVFP3          : Predicate<"Subtarget->hasVFP3()">, AssemblerPredicate;
 158 def HasNEON          : Predicate<"Subtarget->hasNEON()">, AssemblerPredicate;
 159 def HasFP16          : Predicate<"Subtarget->hasFP16()">, AssemblerPredicate;
 160 def HasDivide        : Predicate<"Subtarget->hasDivide()">, AssemblerPredicate;
 161 def HasT2ExtractPack : Predicate<"Subtarget->hasT2ExtractPack()">,
 162                                  AssemblerPredicate;
 163 def HasDB            : Predicate<"Subtarget->hasDataBarrier()">,
 164                                  AssemblerPredicate;
 165 def HasMP            : Predicate<"Subtarget->hasMPExtension()">,
 166                                  AssemblerPredicate;
 167 def UseNEONForFP     : Predicate<"Subtarget->useNEONForSinglePrecisionFP()">;
 168 def DontUseNEONForFP : Predicate<"!Subtarget->useNEONForSinglePrecisionFP()">;
 169 def IsThumb          : Predicate<"Subtarget->isThumb()">, AssemblerPredicate;
 170 def IsThumb1Only     : Predicate<"Subtarget->isThumb1Only()">;
 171 def IsThumb2         : Predicate<"Subtarget->isThumb2()">, AssemblerPredicate;
 172 def IsARM            : Predicate<"!Subtarget->isThumb()">, AssemblerPredicate;
 173 def IsDarwin         : Predicate<"Subtarget->isTargetDarwin()">;
 174 def IsNotDarwin      : Predicate<"!Subtarget->isTargetDarwin()">;
 175
 176 // FIXME: Eventually this will be just "hasV6T2Ops".
 177 def UseMovt          : Predicate<"Subtarget->useMovt()">;
 178 def DontUseMovt      : Predicate<"!Subtarget->useMovt()">;
 179 def UseFPVMLx        : Predicate<"Subtarget->useFPVMLx()">;
 180
 181 //===----------------------------------------------------------------------===//
 182 // ARM Flag Definitions.
 183
 184 class RegConstraint<string C> {
 185   string Constraints = C;
 186 }
 187
 188 //===----------------------------------------------------------------------===//
 189 //  ARM specific transformation functions and pattern fragments.
 190 //
 191
 192 // so_imm_neg_XFORM - Return a so_imm value packed into the format described for
 193 // so_imm_neg def below.
 194 def so_imm_neg_XFORM : SDNodeXForm<imm, [{
 195   return CurDAG->getTargetConstant(-(int)N->getZExtValue(), MVT::i32);
 196 }]>;
 197
 198 // so_imm_not_XFORM - Return a so_imm value packed into the format described for
 199 // so_imm_not def below.
 200 def so_imm_not_XFORM : SDNodeXForm<imm, [{
 201   return CurDAG->getTargetConstant(~(int)N->getZExtValue(), MVT::i32);
 202 }]>;
 203
 204 /// imm1_15 predicate - True if the 32-bit immediate is in the range [1,15].
 205 def imm1_15 : PatLeaf<(i32 imm), [{
 206   return (int32_t)N->getZExtValue() >= 1 && (int32_t)N->getZExtValue() < 16;
 207 }]>;
 208
 209 /// imm16_31 predicate - True if the 32-bit immediate is in the range [16,31].
 210 def imm16_31 : PatLeaf<(i32 imm), [{
 211   return (int32_t)N->getZExtValue() >= 16 && (int32_t)N->getZExtValue() < 32;
 212 }]>;
 213
 214 def so_imm_neg :
 215   PatLeaf<(imm), [{
 216     return ARM_AM::getSOImmVal(-(uint32_t)N->getZExtValue()) != -1;
 217   }], so_imm_neg_XFORM>;
 218
 219 def so_imm_not :
 220   PatLeaf<(imm), [{
 221     return ARM_AM::getSOImmVal(~(uint32_t)N->getZExtValue()) != -1;
 222   }], so_imm_not_XFORM>;
 223
 224 // sext_16_node predicate - True if the SDNode is sign-extended 16 or more bits.
 225 def sext_16_node : PatLeaf<(i32 GPR:$a), [{
 226   return CurDAG->ComputeNumSignBits(SDValue(N,0)) >= 17;
 227 }]>;
 228
 229 /// Split a 32-bit immediate into two 16 bit parts.
 230 def hi16 : SDNodeXForm<imm, [{
 231   return CurDAG->getTargetConstant((uint32_t)N->getZExtValue() >> 16, MVT::i32);
 232 }]>;
 233
 234 def lo16AllZero : PatLeaf<(i32 imm), [{
 235   // Returns true if all low 16-bits are 0.
 236   return (((uint32_t)N->getZExtValue()) & 0xFFFFUL) == 0;
 237 }], hi16>;
 238
 239 /// imm0_65535 predicate - True if the 32-bit immediate is in the range
 240 /// [0.65535].
 241 def imm0_65535 : PatLeaf<(i32 imm), [{
 242   return (uint32_t)N->getZExtValue() < 65536;
 243 }]>;
 244
 245 class BinOpFrag<dag res> : PatFrag<(ops node:$LHS, node:$RHS), res>;
 246 class UnOpFrag <dag res> : PatFrag<(ops node:$Src), res>;
 247
 248 /// adde and sube predicates - True based on whether the carry flag output
 249 /// will be needed or not.
 250 def adde_dead_carry :
 251   PatFrag<(ops node:$LHS, node:$RHS), (adde node:$LHS, node:$RHS),
 252   [{return !N->hasAnyUseOfValue(1);}]>;
 253 def sube_dead_carry :
 254   PatFrag<(ops node:$LHS, node:$RHS), (sube node:$LHS, node:$RHS),
 255   [{return !N->hasAnyUseOfValue(1);}]>;
 256 def adde_live_carry :
 257   PatFrag<(ops node:$LHS, node:$RHS), (adde node:$LHS, node:$RHS),
 258   [{return N->hasAnyUseOfValue(1);}]>;
 259 def sube_live_carry :
 260   PatFrag<(ops node:$LHS, node:$RHS), (sube node:$LHS, node:$RHS),
 261   [{return N->hasAnyUseOfValue(1);}]>;
 262
 263 // An 'and' node with a single use.
 264 def and_su : PatFrag<(ops node:$lhs, node:$rhs), (and node:$lhs, node:$rhs), [{
 265   return N->hasOneUse();
 266 }]>;
 267
 268 // An 'xor' node with a single use.
 269 def xor_su : PatFrag<(ops node:$lhs, node:$rhs), (xor node:$lhs, node:$rhs), [{
 270   return N->hasOneUse();
 271 }]>;
 272
 273 // An 'fmul' node with a single use.
 274 def fmul_su : PatFrag<(ops node:$lhs, node:$rhs), (fmul node:$lhs, node:$rhs),[{
 275   return N->hasOneUse();
 276 }]>;
 277
 278 // An 'fadd' node which checks for single non-hazardous use.
 279 def fadd_mlx : PatFrag<(ops node:$lhs, node:$rhs),(fadd node:$lhs, node:$rhs),[{
 280   return hasNoVMLxHazardUse(N);
 281 }]>;
 282
 283 // An 'fsub' node which checks for single non-hazardous use.
 284 def fsub_mlx : PatFrag<(ops node:$lhs, node:$rhs),(fsub node:$lhs, node:$rhs),[{
 285   return hasNoVMLxHazardUse(N);
 286 }]>;
 287
 288 //===----------------------------------------------------------------------===//
 289 // Operand Definitions.
 290 //
 291
 292 // Branch target.
 293 def brtarget : Operand<OtherVT> {
 294   let EncoderMethod = "getBranchTargetOpValue";
 295 }
 296
 297 def uncondbrtarget : Operand<OtherVT> {
 298   let EncoderMethod = "getUnconditionalBranchTargetOpValue";
 299 }
 300
 301 // Call target.
 302 def bltarget : Operand<i32> {
 303   // Encoded the same as branch targets.
 304   let EncoderMethod = "getBranchTargetOpValue";
 305 }
 306
 307 // A list of registers separated by comma. Used by load/store multiple.
 308 def RegListAsmOperand : AsmOperandClass {
 309   let Name = "RegList";
 310   let SuperClasses = [];
 311 }
 312
 313 def DPRRegListAsmOperand : AsmOperandClass {
 314   let Name = "DPRRegList";
 315   let SuperClasses = [];
 316 }
 317
 318 def SPRRegListAsmOperand : AsmOperandClass {
 319   let Name = "SPRRegList";
 320   let SuperClasses = [];
 321 }
 322
 323 def reglist : Operand<i32> {
 324   let EncoderMethod = "getRegisterListOpValue";
 325   let ParserMatchClass = RegListAsmOperand;
 326   let PrintMethod = "printRegisterList";
 327 }
 328
 329 def dpr_reglist : Operand<i32> {
 330   let EncoderMethod = "getRegisterListOpValue";
 331   let ParserMatchClass = DPRRegListAsmOperand;
 332   let PrintMethod = "printRegisterList";
 333 }
 334
 335 def spr_reglist : Operand<i32> {
 336   let EncoderMethod = "getRegisterListOpValue";
 337   let ParserMatchClass = SPRRegListAsmOperand;
 338   let PrintMethod = "printRegisterList";
 339 }
 340
 341 // An operand for the CONSTPOOL_ENTRY pseudo-instruction.
 342 def cpinst_operand : Operand<i32> {
 343   let PrintMethod = "printCPInstOperand";
 344 }
 345
 346 // Local PC labels.
 347 def pclabel : Operand<i32> {
 348   let PrintMethod = "printPCLabel";
 349 }
 350
 351 // ADR instruction labels.
 352 def adrlabel : Operand<i32> {
 353   let EncoderMethod = "getAdrLabelOpValue";
 354 }
 355
 356 def neon_vcvt_imm32 : Operand<i32> {
 357   let EncoderMethod = "getNEONVcvtImm32OpValue";
 358 }
 359
 360 // rot_imm: An integer that encodes a rotate amount. Must be 8, 16, or 24.
 361 def rot_imm : Operand<i32>, PatLeaf<(i32 imm), [{
 362     int32_t v = (int32_t)N->getZExtValue();
 363     return v == 8 || v == 16 || v == 24; }]> {
 364   let EncoderMethod = "getRotImmOpValue";
 365 }
 366
 367 // shift_imm: An integer that encodes a shift amount and the type of shift
 368 // (currently either asr or lsl) using the same encoding used for the
 369 // immediates in so_reg operands.
 370 def shift_imm : Operand<i32> {
 371   let PrintMethod = "printShiftImmOperand";
 372 }
 373
 374 // shifter_operand operands: so_reg and so_imm.
 375 def so_reg : Operand<i32>,    // reg reg imm
 376              ComplexPattern<i32, 3, "SelectShifterOperandReg",
 377                             [shl,srl,sra,rotr]> {
 378   let EncoderMethod = "getSORegOpValue";
 379   let PrintMethod = "printSORegOperand";
 380   let MIOperandInfo = (ops GPR, GPR, i32imm);
 381 }
 382 def shift_so_reg : Operand<i32>,    // reg reg imm
 383                    ComplexPattern<i32, 3, "SelectShiftShifterOperandReg",
 384                                   [shl,srl,sra,rotr]> {
 385   let EncoderMethod = "getSORegOpValue";
 386   let PrintMethod = "printSORegOperand";
 387   let MIOperandInfo = (ops GPR, GPR, i32imm);
 388 }
 389
 390 // so_imm - Match a 32-bit shifter_operand immediate operand, which is an
 391 // 8-bit immediate rotated by an arbitrary number of bits.  so_imm values are
 392 // represented in the imm field in the same 12-bit form that they are encoded
 393 // into so_imm instructions: the 8-bit immediate is the least significant bits
 394 // [bits 0-7], the 4-bit shift amount is the next 4 bits [bits 8-11].
 395 def so_imm : Operand<i32>, PatLeaf<(imm), [{ return Pred_so_imm(N); }]> {
 396   let EncoderMethod = "getSOImmOpValue";
 397   let PrintMethod = "printSOImmOperand";
 398 }
 399
 400 // Break so_imm's up into two pieces.  This handles immediates with up to 16
 401 // bits set in them.  This uses so_imm2part to match and so_imm2part_[12] to
 402 // get the first/second pieces.
 403 def so_imm2part : PatLeaf<(imm), [{
 404       return ARM_AM::isSOImmTwoPartVal((unsigned)N->getZExtValue());
 405 }]>;
 406
 407 /// arm_i32imm - True for +V6T2, or true only if so_imm2part is true.
 408 ///
 409 def arm_i32imm : PatLeaf<(imm), [{
 410   if (Subtarget->hasV6T2Ops())
 411     return true;
 412   return ARM_AM::isSOImmTwoPartVal((unsigned)N->getZExtValue());
 413 }]>;
 414
 415 /// imm0_31 predicate - True if the 32-bit immediate is in the range [0,31].
 416 def imm0_31 : Operand<i32>, PatLeaf<(imm), [{
 417   return (int32_t)N->getZExtValue() < 32;
 418 }]>;
 419
 420 /// imm0_31_m1 - Matches and prints like imm0_31, but encodes as 'value - 1'.
 421 def imm0_31_m1 : Operand<i32>, PatLeaf<(imm), [{
 422   return (int32_t)N->getZExtValue() < 32;
 423 }]> {
 424   let EncoderMethod = "getImmMinusOneOpValue";
 425 }
 426
 427 // For movt/movw - sets the MC Encoder method.
 428 // The imm is split into imm{15-12}, imm{11-0}
 429 //
 430 def movt_imm : Operand<i32> {
 431   let EncoderMethod = "getMovtImmOpValue";
 432 }
 433
 434 /// bf_inv_mask_imm predicate - An AND mask to clear an arbitrary width bitfield
 435 /// e.g., 0xf000ffff
 436 def bf_inv_mask_imm : Operand<i32>,
 437                       PatLeaf<(imm), [{
 438   return ARM::isBitFieldInvertedMask(N->getZExtValue());
 439 }] > {
 440   let EncoderMethod = "getBitfieldInvertedMaskOpValue";
 441   let PrintMethod = "printBitfieldInvMaskImmOperand";
 442 }
 443
 444 // Define ARM specific addressing modes.
 445
 446
 447 // addrmode_imm12 := reg +/- imm12
 448 //
 449 def addrmode_imm12 : Operand<i32>,
 450                      ComplexPattern<i32, 2, "SelectAddrModeImm12", []> {
 451   // 12-bit immediate operand. Note that instructions using this encode
 452   // #0 and #-0 differently. We flag #-0 as the magic value INT32_MIN. All other
 453   // immediate values are as normal.
 454
 455   let EncoderMethod = "getAddrModeImm12OpValue";
 456   let PrintMethod = "printAddrModeImm12Operand";
 457   let MIOperandInfo = (ops GPR:$base, i32imm:$offsimm);
 458 }
 459 // ldst_so_reg := reg +/- reg shop imm
 460 //
 461 def ldst_so_reg : Operand<i32>,
 462                   ComplexPattern<i32, 3, "SelectLdStSOReg", []> {
 463   let EncoderMethod = "getLdStSORegOpValue";
 464   // FIXME: Simplify the printer
 465   let PrintMethod = "printAddrMode2Operand";
 466   let MIOperandInfo = (ops GPR:$base, GPR:$offsreg, i32imm:$offsimm);
 467 }
 468
 469 // addrmode2 := reg +/- imm12
 470 //           := reg +/- reg shop imm
 471 //
 472 def addrmode2 : Operand<i32>,
 473                 ComplexPattern<i32, 3, "SelectAddrMode2", []> {
 474   let EncoderMethod = "getAddrMode2OpValue";
 475   let PrintMethod = "printAddrMode2Operand";
 476   let MIOperandInfo = (ops GPR:$base, GPR:$offsreg, i32imm:$offsimm);
 477 }
 478
 479 def am2offset : Operand<i32>,
 480                 ComplexPattern<i32, 2, "SelectAddrMode2Offset",
 481                 [], [SDNPWantRoot]> {
 482   let EncoderMethod = "getAddrMode2OffsetOpValue";
 483   let PrintMethod = "printAddrMode2OffsetOperand";
 484   let MIOperandInfo = (ops GPR, i32imm);
 485 }
 486
 487 // addrmode3 := reg +/- reg
 488 // addrmode3 := reg +/- imm8
 489 //
 490 def addrmode3 : Operand<i32>,
 491                 ComplexPattern<i32, 3, "SelectAddrMode3", []> {
 492   let EncoderMethod = "getAddrMode3OpValue";
 493   let PrintMethod = "printAddrMode3Operand";
 494   let MIOperandInfo = (ops GPR:$base, GPR:$offsreg, i32imm:$offsimm);
 495 }
 496
 497 def am3offset : Operand<i32>,
 498                 ComplexPattern<i32, 2, "SelectAddrMode3Offset",
 499                                [], [SDNPWantRoot]> {
 500   let EncoderMethod = "getAddrMode3OffsetOpValue";
 501   let PrintMethod = "printAddrMode3OffsetOperand";
 502   let MIOperandInfo = (ops GPR, i32imm);
 503 }
 504
 505 // ldstm_mode := {ia, ib, da, db}
 506 //
 507 def ldstm_mode : OptionalDefOperand<OtherVT, (ops i32), (ops (i32 1))> {
 508   let EncoderMethod = "getLdStmModeOpValue";
 509   let PrintMethod = "printLdStmModeOperand";
 510 }
 511
 512 def MemMode5AsmOperand : AsmOperandClass {
 513   let Name = "MemMode5";
 514   let SuperClasses = [];
 515 }
 516
 517 // addrmode5 := reg +/- imm8*4
 518 //
 519 def addrmode5 : Operand<i32>,
 520                 ComplexPattern<i32, 2, "SelectAddrMode5", []> {
 521   let PrintMethod = "printAddrMode5Operand";
 522   let MIOperandInfo = (ops GPR:$base, i32imm);
 523   let ParserMatchClass = MemMode5AsmOperand;
 524   let EncoderMethod = "getAddrMode5OpValue";
 525 }
 526
 527 // addrmode6 := reg with optional writeback
 528 //
 529 def addrmode6 : Operand<i32>,
 530                 ComplexPattern<i32, 2, "SelectAddrMode6", [], [SDNPWantParent]>{
 531   let PrintMethod = "printAddrMode6Operand";
 532   let MIOperandInfo = (ops GPR:$addr, i32imm);
 533   let EncoderMethod = "getAddrMode6AddressOpValue";
 534 }
 535
 536 def am6offset : Operand<i32> {
 537   let PrintMethod = "printAddrMode6OffsetOperand";
 538   let MIOperandInfo = (ops GPR);
 539   let EncoderMethod = "getAddrMode6OffsetOpValue";
 540 }
 541
 542 // Special version of addrmode6 to handle alignment encoding for VLD-dup
 543 // instructions, specifically VLD4-dup.
 544 def addrmode6dup : Operand<i32>,
 545                 ComplexPattern<i32, 2, "SelectAddrMode6", [], [SDNPWantParent]>{
 546   let PrintMethod = "printAddrMode6Operand";
 547   let MIOperandInfo = (ops GPR:$addr, i32imm);
 548   let EncoderMethod = "getAddrMode6DupAddressOpValue";
 549 }
 550
 551 // addrmodepc := pc + reg
 552 //
 553 def addrmodepc : Operand<i32>,
 554                  ComplexPattern<i32, 2, "SelectAddrModePC", []> {
 555   let PrintMethod = "printAddrModePCOperand";
 556   let MIOperandInfo = (ops GPR, i32imm);
 557 }
 558
 559 def nohash_imm : Operand<i32> {
 560   let PrintMethod = "printNoHashImmediate";
 561 }
 562
 563 //===----------------------------------------------------------------------===//
 564
 565 include "ARMInstrFormats.td"
 566
 567 //===----------------------------------------------------------------------===//
 568 // Multiclass helpers...
 569 //
 570
 571 /// AsI1_bin_irs - Defines a set of (op r, {so_imm|r|so_reg}) patterns for a
 572 /// binop that produces a value.
 573 multiclass AsI1_bin_irs<bits<4> opcod, string opc,
 574                      InstrItinClass iii, InstrItinClass iir, InstrItinClass iis,
 575                         PatFrag opnode, bit Commutable = 0> {
 576   // The register-immediate version is re-materializable. This is useful
 577   // in particular for taking the address of a local.
 578   let isReMaterializable = 1 in {
 579   def ri : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm), DPFrm,
 580                iii, opc, "\t$Rd, $Rn, $imm",
 581                [(set GPR:$Rd, (opnode GPR:$Rn, so_imm:$imm))]> {
 582     bits<4> Rd;
 583     bits<4> Rn;
 584     bits<12> imm;
 585     let Inst{25} = 1;
 586     let Inst{19-16} = Rn;
 587     let Inst{15-12} = Rd;
 588     let Inst{11-0} = imm;
 589   }
 590   }
 591   def rr : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm), DPFrm,
 592                iir, opc, "\t$Rd, $Rn, $Rm",
 593                [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]> {
 594     bits<4> Rd;
 595     bits<4> Rn;
 596     bits<4> Rm;
 597     let Inst{25} = 0;
 598     let isCommutable = Commutable;
 599     let Inst{19-16} = Rn;
 600     let Inst{15-12} = Rd;
 601     let Inst{11-4} = 0b00000000;
 602     let Inst{3-0} = Rm;
 603   }
 604   def rs : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift), DPSoRegFrm,
 605                iis, opc, "\t$Rd, $Rn, $shift",
 606                [(set GPR:$Rd, (opnode GPR:$Rn, so_reg:$shift))]> {
 607     bits<4> Rd;
 608     bits<4> Rn;
 609     bits<12> shift;
 610     let Inst{25} = 0;
 611     let Inst{19-16} = Rn;
 612     let Inst{15-12} = Rd;
 613     let Inst{11-0} = shift;
 614   }
 615 }
 616
 617 /// AI1_bin_s_irs - Similar to AsI1_bin_irs except it sets the 's' bit so the
 618 /// instruction modifies the CPSR register.
 619 let Defs = [CPSR] in {
 620 multiclass AI1_bin_s_irs<bits<4> opcod, string opc,
 621                      InstrItinClass iii, InstrItinClass iir, InstrItinClass iis,
 622                          PatFrag opnode, bit Commutable = 0> {
 623   def ri : AI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm), DPFrm,
 624                iii, opc, "\t$Rd, $Rn, $imm",
 625                [(set GPR:$Rd, (opnode GPR:$Rn, so_imm:$imm))]> {
 626     bits<4> Rd;
 627     bits<4> Rn;
 628     bits<12> imm;
 629     let Inst{25} = 1;
 630     let Inst{20} = 1;
 631     let Inst{19-16} = Rn;
 632     let Inst{15-12} = Rd;
 633     let Inst{11-0} = imm;
 634   }
 635   def rr : AI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm), DPFrm,
 636                iir, opc, "\t$Rd, $Rn, $Rm",
 637                [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]> {
 638     bits<4> Rd;
 639     bits<4> Rn;
 640     bits<4> Rm;
 641     let isCommutable = Commutable;
 642     let Inst{25} = 0;
 643     let Inst{20} = 1;
 644     let Inst{19-16} = Rn;
 645     let Inst{15-12} = Rd;
 646     let Inst{11-4} = 0b00000000;
 647     let Inst{3-0} = Rm;
 648   }
 649   def rs : AI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift), DPSoRegFrm,
 650                iis, opc, "\t$Rd, $Rn, $shift",
 651                [(set GPR:$Rd, (opnode GPR:$Rn, so_reg:$shift))]> {
 652     bits<4> Rd;
 653     bits<4> Rn;
 654     bits<12> shift;
 655     let Inst{25} = 0;
 656     let Inst{20} = 1;
 657     let Inst{19-16} = Rn;
 658     let Inst{15-12} = Rd;
 659     let Inst{11-0} = shift;
 660   }
 661 }
 662 }
 663
 664 /// AI1_cmp_irs - Defines a set of (op r, {so_imm|r|so_reg}) cmp / test
 665 /// patterns. Similar to AsI1_bin_irs except the instruction does not produce
 666 /// a explicit result, only implicitly set CPSR.
 667 let isCompare = 1, Defs = [CPSR] in {
 668 multiclass AI1_cmp_irs<bits<4> opcod, string opc,
 669                      InstrItinClass iii, InstrItinClass iir, InstrItinClass iis,
 670                        PatFrag opnode, bit Commutable = 0> {
 671   def ri : AI1<opcod, (outs), (ins GPR:$Rn, so_imm:$imm), DPFrm, iii,
 672                opc, "\t$Rn, $imm",
 673                [(opnode GPR:$Rn, so_imm:$imm)]> {
 674     bits<4> Rn;
 675     bits<12> imm;
 676     let Inst{25} = 1;
 677     let Inst{20} = 1;
 678     let Inst{19-16} = Rn;
 679     let Inst{15-12} = 0b0000;
 680     let Inst{11-0} = imm;
 681   }
 682   def rr : AI1<opcod, (outs), (ins GPR:$Rn, GPR:$Rm), DPFrm, iir,
 683                opc, "\t$Rn, $Rm",
 684                [(opnode GPR:$Rn, GPR:$Rm)]> {
 685     bits<4> Rn;
 686     bits<4> Rm;
 687     let isCommutable = Commutable;
 688     let Inst{25} = 0;
 689     let Inst{20} = 1;
 690     let Inst{19-16} = Rn;
 691     let Inst{15-12} = 0b0000;
 692     let Inst{11-4} = 0b00000000;
 693     let Inst{3-0} = Rm;
 694   }
 695   def rs : AI1<opcod, (outs), (ins GPR:$Rn, so_reg:$shift), DPSoRegFrm, iis,
 696                opc, "\t$Rn, $shift",
 697                [(opnode GPR:$Rn, so_reg:$shift)]> {
 698     bits<4> Rn;
 699     bits<12> shift;
 700     let Inst{25} = 0;
 701     let Inst{20} = 1;
 702     let Inst{19-16} = Rn;
 703     let Inst{15-12} = 0b0000;
 704     let Inst{11-0} = shift;
 705   }
 706 }
 707 }
 708
 709 /// AI_ext_rrot - A unary operation with two forms: one whose operand is a
 710 /// register and one whose operand is a register rotated by 8/16/24.
 711 /// FIXME: Remove the 'r' variant. Its rot_imm is zero.
 712 multiclass AI_ext_rrot<bits<8> opcod, string opc, PatFrag opnode> {
 713   def r     : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rm),
 714                  IIC_iEXTr, opc, "\t$Rd, $Rm",
 715                  [(set GPR:$Rd, (opnode GPR:$Rm))]>,
 716               Requires<[IsARM, HasV6]> {
 717     bits<4> Rd;
 718     bits<4> Rm;
 719     let Inst{19-16} = 0b1111;
 720     let Inst{15-12} = Rd;
 721     let Inst{11-10} = 0b00;
 722     let Inst{3-0}   = Rm;
 723   }
 724   def r_rot : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rm, rot_imm:$rot),
 725                  IIC_iEXTr, opc, "\t$Rd, $Rm, ror $rot",
 726                  [(set GPR:$Rd, (opnode (rotr GPR:$Rm, rot_imm:$rot)))]>,
 727               Requires<[IsARM, HasV6]> {
 728     bits<4> Rd;
 729     bits<4> Rm;
 730     bits<2> rot;
 731     let Inst{19-16} = 0b1111;
 732     let Inst{15-12} = Rd;
 733     let Inst{11-10} = rot;
 734     let Inst{3-0}   = Rm;
 735   }
 736 }
 737
 738 multiclass AI_ext_rrot_np<bits<8> opcod, string opc> {
 739   def r     : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rm),
 740                  IIC_iEXTr, opc, "\t$Rd, $Rm",
 741                  [/* For disassembly only; pattern left blank */]>,
 742               Requires<[IsARM, HasV6]> {
 743     let Inst{19-16} = 0b1111;
 744     let Inst{11-10} = 0b00;
 745   }
 746   def r_rot : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rm, rot_imm:$rot),
 747                  IIC_iEXTr, opc, "\t$Rd, $Rm, ror $rot",
 748                  [/* For disassembly only; pattern left blank */]>,
 749               Requires<[IsARM, HasV6]> {
 750     bits<2> rot;
 751     let Inst{19-16} = 0b1111;
 752     let Inst{11-10} = rot;
 753   }
 754 }
 755
 756 /// AI_exta_rrot - A binary operation with two forms: one whose operand is a
 757 /// register and one whose operand is a register rotated by 8/16/24.
 758 multiclass AI_exta_rrot<bits<8> opcod, string opc, PatFrag opnode> {
 759   def rr     : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
 760                   IIC_iEXTAr, opc, "\t$Rd, $Rn, $Rm",
 761                   [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]>,
 762                Requires<[IsARM, HasV6]> {
 763     bits<4> Rd;
 764     bits<4> Rm;
 765     bits<4> Rn;
 766     let Inst{19-16} = Rn;
 767     let Inst{15-12} = Rd;
 768     let Inst{11-10} = 0b00;
 769     let Inst{9-4}   = 0b000111;
 770     let Inst{3-0}   = Rm;
 771   }
 772   def rr_rot : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm,
 773                                              rot_imm:$rot),
 774                   IIC_iEXTAr, opc, "\t$Rd, $Rn, $Rm, ror $rot",
 775                   [(set GPR:$Rd, (opnode GPR:$Rn,
 776                                           (rotr GPR:$Rm, rot_imm:$rot)))]>,
 777                   Requires<[IsARM, HasV6]> {
 778     bits<4> Rd;
 779     bits<4> Rm;
 780     bits<4> Rn;
 781     bits<2> rot;
 782     let Inst{19-16} = Rn;
 783     let Inst{15-12} = Rd;
 784     let Inst{11-10} = rot;
 785     let Inst{9-4}   = 0b000111;
 786     let Inst{3-0}   = Rm;
 787   }
 788 }
 789
 790 // For disassembly only.
 791 multiclass AI_exta_rrot_np<bits<8> opcod, string opc> {
 792   def rr     : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
 793                   IIC_iEXTAr, opc, "\t$Rd, $Rn, $Rm",
 794                   [/* For disassembly only; pattern left blank */]>,
 795                Requires<[IsARM, HasV6]> {
 796     let Inst{11-10} = 0b00;
 797   }
 798   def rr_rot : AExtI<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm,
 799                                              rot_imm:$rot),
 800                   IIC_iEXTAr, opc, "\t$Rd, $Rn, $Rm, ror $rot",
 801                   [/* For disassembly only; pattern left blank */]>,
 802                   Requires<[IsARM, HasV6]> {
 803     bits<4> Rn;
 804     bits<2> rot;
 805     let Inst{19-16} = Rn;
 806     let Inst{11-10} = rot;
 807   }
 808 }
 809
 810 /// AI1_adde_sube_irs - Define instructions and patterns for adde and sube.
 811 let Uses = [CPSR] in {
 812 multiclass AI1_adde_sube_irs<bits<4> opcod, string opc, PatFrag opnode,
 813                              bit Commutable = 0> {
 814   def ri : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm),
 815                 DPFrm, IIC_iALUi, opc, "\t$Rd, $Rn, $imm",
 816                [(set GPR:$Rd, (opnode GPR:$Rn, so_imm:$imm))]>,
 817                Requires<[IsARM]> {
 818     bits<4> Rd;
 819     bits<4> Rn;
 820     bits<12> imm;
 821     let Inst{25} = 1;
 822     let Inst{15-12} = Rd;
 823     let Inst{19-16} = Rn;
 824     let Inst{11-0} = imm;
 825   }
 826   def rr : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
 827                 DPFrm, IIC_iALUr, opc, "\t$Rd, $Rn, $Rm",
 828                [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]>,
 829                Requires<[IsARM]> {
 830     bits<4> Rd;
 831     bits<4> Rn;
 832     bits<4> Rm;
 833     let Inst{11-4} = 0b00000000;
 834     let Inst{25} = 0;
 835     let isCommutable = Commutable;
 836     let Inst{3-0} = Rm;
 837     let Inst{15-12} = Rd;
 838     let Inst{19-16} = Rn;
 839   }
 840   def rs : AsI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
 841                 DPSoRegFrm, IIC_iALUsr, opc, "\t$Rd, $Rn, $shift",
 842                [(set GPR:$Rd, (opnode GPR:$Rn, so_reg:$shift))]>,
 843                Requires<[IsARM]> {
 844     bits<4> Rd;
 845     bits<4> Rn;
 846     bits<12> shift;
 847     let Inst{25} = 0;
 848     let Inst{11-0} = shift;
 849     let Inst{15-12} = Rd;
 850     let Inst{19-16} = Rn;
 851   }
 852 }
 853 // Carry setting variants
 854 let Defs = [CPSR] in {
 855 multiclass AI1_adde_sube_s_irs<bits<4> opcod, string opc, PatFrag opnode,
 856                              bit Commutable = 0> {
 857   def Sri : AXI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm),
 858                 DPFrm, IIC_iALUi, !strconcat(opc, "\t$Rd, $Rn, $imm"),
 859                [(set GPR:$Rd, (opnode GPR:$Rn, so_imm:$imm))]>,
 860                Requires<[IsARM]> {
 861     bits<4> Rd;
 862     bits<4> Rn;
 863     bits<12> imm;
 864     let Inst{15-12} = Rd;
 865     let Inst{19-16} = Rn;
 866     let Inst{11-0} = imm;
 867     let Inst{20} = 1;
 868     let Inst{25} = 1;
 869   }
 870   def Srr : AXI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
 871                 DPFrm, IIC_iALUr, !strconcat(opc, "\t$Rd, $Rn, $Rm"),
 872                [(set GPR:$Rd, (opnode GPR:$Rn, GPR:$Rm))]>,
 873                Requires<[IsARM]> {
 874     bits<4> Rd;
 875     bits<4> Rn;
 876     bits<4> Rm;
 877     let Inst{11-4} = 0b00000000;
 878     let isCommutable = Commutable;
 879     let Inst{3-0} = Rm;
 880     let Inst{15-12} = Rd;
 881     let Inst{19-16} = Rn;
 882     let Inst{20} = 1;
 883     let Inst{25} = 0;
 884   }
 885   def Srs : AXI1<opcod, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
 886                 DPSoRegFrm, IIC_iALUsr, !strconcat(opc, "\t$Rd, $Rn, $shift"),
 887                [(set GPR:$Rd, (opnode GPR:$Rn, so_reg:$shift))]>,
 888                Requires<[IsARM]> {
 889     bits<4> Rd;
 890     bits<4> Rn;
 891     bits<12> shift;
 892     let Inst{11-0} = shift;
 893     let Inst{15-12} = Rd;
 894     let Inst{19-16} = Rn;
 895     let Inst{20} = 1;
 896     let Inst{25} = 0;
 897   }
 898 }
 899 }
 900 }
 901
 902 let canFoldAsLoad = 1, isReMaterializable = 1 in {
 903 multiclass AI_ldr1<bit isByte, string opc, InstrItinClass iii,
 904            InstrItinClass iir, PatFrag opnode> {
 905   // Note: We use the complex addrmode_imm12 rather than just an input
 906   // GPR and a constrained immediate so that we can use this to match
 907   // frame index references and avoid matching constant pool references.
 908   def i12: AI2ldst<0b010, 1, isByte, (outs GPR:$Rt), (ins addrmode_imm12:$addr),
 909                    AddrMode_i12, LdFrm, iii, opc, "\t$Rt, $addr",
 910                   [(set GPR:$Rt, (opnode addrmode_imm12:$addr))]> {
 911     bits<4>  Rt;
 912     bits<17> addr;
 913     let Inst{23}    = addr{12};     // U (add = ('U' == 1))
 914     let Inst{19-16} = addr{16-13};  // Rn
 915     let Inst{15-12} = Rt;
 916     let Inst{11-0}  = addr{11-0};   // imm12
 917   }
 918   def rs : AI2ldst<0b011, 1, isByte, (outs GPR:$Rt), (ins ldst_so_reg:$shift),
 919                   AddrModeNone, LdFrm, iir, opc, "\t$Rt, $shift",
 920                  [(set GPR:$Rt, (opnode ldst_so_reg:$shift))]> {
 921     bits<4>  Rt;
 922     bits<17> shift;
 923     let Inst{23}    = shift{12};    // U (add = ('U' == 1))
 924     let Inst{19-16} = shift{16-13}; // Rn
 925     let Inst{15-12} = Rt;
 926     let Inst{11-0}  = shift{11-0};
 927   }
 928 }
 929 }
 930
 931 multiclass AI_str1<bit isByte, string opc, InstrItinClass iii,
 932            InstrItinClass iir, PatFrag opnode> {
 933   // Note: We use the complex addrmode_imm12 rather than just an input
 934   // GPR and a constrained immediate so that we can use this to match
 935   // frame index references and avoid matching constant pool references.
 936   def i12 : AI2ldst<0b010, 0, isByte, (outs),
 937                    (ins GPR:$Rt, addrmode_imm12:$addr),
 938                    AddrMode_i12, StFrm, iii, opc, "\t$Rt, $addr",
 939                   [(opnode GPR:$Rt, addrmode_imm12:$addr)]> {
 940     bits<4> Rt;
 941     bits<17> addr;
 942     let Inst{23}    = addr{12};     // U (add = ('U' == 1))
 943     let Inst{19-16} = addr{16-13};  // Rn
 944     let Inst{15-12} = Rt;
 945     let Inst{11-0}  = addr{11-0};   // imm12
 946   }
 947   def rs : AI2ldst<0b011, 0, isByte, (outs), (ins GPR:$Rt, ldst_so_reg:$shift),
 948                   AddrModeNone, StFrm, iir, opc, "\t$Rt, $shift",
 949                  [(opnode GPR:$Rt, ldst_so_reg:$shift)]> {
 950     bits<4> Rt;
 951     bits<17> shift;
 952     let Inst{23}    = shift{12};    // U (add = ('U' == 1))
 953     let Inst{19-16} = shift{16-13}; // Rn
 954     let Inst{15-12} = Rt;
 955     let Inst{11-0}  = shift{11-0};
 956   }
 957 }
 958 //===----------------------------------------------------------------------===//
 959 // Instructions
 960 //===----------------------------------------------------------------------===//
 961
 962 //===----------------------------------------------------------------------===//
 963 //  Miscellaneous Instructions.
 964 //
 965
 966 /// CONSTPOOL_ENTRY - This instruction represents a floating constant pool in
 967 /// the function.  The first operand is the ID# for this instruction, the second
 968 /// is the index into the MachineConstantPool that this is, the third is the
 969 /// size in bytes of this constant pool entry.
 970 let neverHasSideEffects = 1, isNotDuplicable = 1 in
 971 def CONSTPOOL_ENTRY :
 972 PseudoInst<(outs), (ins cpinst_operand:$instid, cpinst_operand:$cpidx,
 973                     i32imm:$size), NoItinerary, []>;
 974
 975 // FIXME: Marking these as hasSideEffects is necessary to prevent machine DCE
 976 // from removing one half of the matched pairs. That breaks PEI, which assumes
 977 // these will always be in pairs, and asserts if it finds otherwise. Better way?
 978 let Defs = [SP], Uses = [SP], hasSideEffects = 1 in {
 979 def ADJCALLSTACKUP :
 980 PseudoInst<(outs), (ins i32imm:$amt1, i32imm:$amt2, pred:$p), NoItinerary,
 981            [(ARMcallseq_end timm:$amt1, timm:$amt2)]>;
 982
 983 def ADJCALLSTACKDOWN :
 984 PseudoInst<(outs), (ins i32imm:$amt, pred:$p), NoItinerary,
 985            [(ARMcallseq_start timm:$amt)]>;
 986 }
 987
 988 def NOP : AI<(outs), (ins), MiscFrm, NoItinerary, "nop", "",
 989              [/* For disassembly only; pattern left blank */]>,
 990           Requires<[IsARM, HasV6T2]> {
 991   let Inst{27-16} = 0b001100100000;
 992   let Inst{15-8} = 0b11110000;
 993   let Inst{7-0} = 0b00000000;
 994 }
 995
 996 def YIELD : AI<(outs), (ins), MiscFrm, NoItinerary, "yield", "",
 997              [/* For disassembly only; pattern left blank */]>,
 998           Requires<[IsARM, HasV6T2]> {
 999   let Inst{27-16} = 0b001100100000;
1000   let Inst{15-8} = 0b11110000;
1001   let Inst{7-0} = 0b00000001;
1002 }
1003
1004 def WFE : AI<(outs), (ins), MiscFrm, NoItinerary, "wfe", "",
1005              [/* For disassembly only; pattern left blank */]>,
1006           Requires<[IsARM, HasV6T2]> {
1007   let Inst{27-16} = 0b001100100000;
1008   let Inst{15-8} = 0b11110000;
1009   let Inst{7-0} = 0b00000010;
1010 }
1011
1012 def WFI : AI<(outs), (ins), MiscFrm, NoItinerary, "wfi", "",
1013              [/* For disassembly only; pattern left blank */]>,
1014           Requires<[IsARM, HasV6T2]> {
1015   let Inst{27-16} = 0b001100100000;
1016   let Inst{15-8} = 0b11110000;
1017   let Inst{7-0} = 0b00000011;
1018 }
1019
1020 def SEL : AI<(outs GPR:$dst), (ins GPR:$a, GPR:$b), DPFrm, NoItinerary, "sel",
1021              "\t$dst, $a, $b",
1022              [/* For disassembly only; pattern left blank */]>,
1023           Requires<[IsARM, HasV6]> {
1024   bits<4> Rd;
1025   bits<4> Rn;
1026   bits<4> Rm;
1027   let Inst{3-0} = Rm;
1028   let Inst{15-12} = Rd;
1029   let Inst{19-16} = Rn;
1030   let Inst{27-20} = 0b01101000;
1031   let Inst{7-4} = 0b1011;
1032   let Inst{11-8} = 0b1111;
1033 }
1034
1035 def SEV : AI<(outs), (ins), MiscFrm, NoItinerary, "sev", "",
1036              [/* For disassembly only; pattern left blank */]>,
1037           Requires<[IsARM, HasV6T2]> {
1038   let Inst{27-16} = 0b001100100000;
1039   let Inst{15-8} = 0b11110000;
1040   let Inst{7-0} = 0b00000100;
1041 }
1042
1043 // The i32imm operand $val can be used by a debugger to store more information
1044 // about the breakpoint.
1045 def BKPT : AI<(outs), (ins i32imm:$val), MiscFrm, NoItinerary, "bkpt", "\t$val",
1046               [/* For disassembly only; pattern left blank */]>,
1047            Requires<[IsARM]> {
1048   bits<16> val;
1049   let Inst{3-0} = val{3-0};
1050   let Inst{19-8} = val{15-4};
1051   let Inst{27-20} = 0b00010010;
1052   let Inst{7-4} = 0b0111;
1053 }
1054
1055 // Change Processor State is a system instruction -- for disassembly only.
1056 // The singleton $opt operand contains the following information:
1057 // opt{4-0} = mode from Inst{4-0}
1058 // opt{5} = changemode from Inst{17}
1059 // opt{8-6} = AIF from Inst{8-6}
1060 // opt{10-9} = imod from Inst{19-18} with 0b10 as enable and 0b11 as disable
1061 // FIXME: Integrated assembler will need these split out.
1062 def CPS : AXI<(outs), (ins cps_opt:$opt), MiscFrm, NoItinerary, "cps$opt",
1063               [/* For disassembly only; pattern left blank */]>,
1064           Requires<[IsARM]> {
1065   let Inst{31-28} = 0b1111;
1066   let Inst{27-20} = 0b00010000;
1067   let Inst{16} = 0;
1068   let Inst{5} = 0;
1069 }
1070
1071 // Preload signals the memory system of possible future data/instruction access.
1072 // These are for disassembly only.
1073 multiclass APreLoad<bits<1> read, bits<1> data, string opc> {
1074
1075   def i12 : AXI<(outs), (ins addrmode_imm12:$addr), MiscFrm, IIC_Preload,
1076                 !strconcat(opc, "\t$addr"),
1077                 [(ARMPreload addrmode_imm12:$addr, (i32 read), (i32 data))]> {
1078     bits<4> Rt;
1079     bits<17> addr;
1080     let Inst{31-26} = 0b111101;
1081     let Inst{25} = 0; // 0 for immediate form
1082     let Inst{24} = data;
1083     let Inst{23} = addr{12};        // U (add = ('U' == 1))
1084     let Inst{22} = read;
1085     let Inst{21-20} = 0b01;
1086     let Inst{19-16} = addr{16-13};  // Rn
1087     let Inst{15-12} = Rt;
1088     let Inst{11-0}  = addr{11-0};   // imm12
1089   }
1090
1091   def rs : AXI<(outs), (ins ldst_so_reg:$shift), MiscFrm, IIC_Preload,
1092                !strconcat(opc, "\t$shift"),
1093                [(ARMPreload ldst_so_reg:$shift, (i32 read), (i32 data))]> {
1094     bits<4> Rt;
1095     bits<17> shift;
1096     let Inst{31-26} = 0b111101;
1097     let Inst{25} = 1; // 1 for register form
1098     let Inst{24} = data;
1099     let Inst{23} = shift{12};    // U (add = ('U' == 1))
1100     let Inst{22} = read;
1101     let Inst{21-20} = 0b01;
1102     let Inst{19-16} = shift{16-13}; // Rn
1103     let Inst{11-0}  = shift{11-0};
1104   }
1105 }
1106
1107 defm PLD  : APreLoad<1, 1, "pld">,  Requires<[IsARM]>;
1108 defm PLDW : APreLoad<0, 1, "pldw">, Requires<[IsARM,HasV7,HasMP]>;
1109 defm PLI  : APreLoad<1, 0, "pli">,  Requires<[IsARM,HasV7]>;
1110
1111 def SETEND : AXI<(outs),(ins setend_op:$end), MiscFrm, NoItinerary,
1112                  "setend\t$end",
1113                  [/* For disassembly only; pattern left blank */]>,
1114                Requires<[IsARM]> {
1115   bits<1> end;
1116   let Inst{31-10} = 0b1111000100000001000000;
1117   let Inst{9} = end;
1118   let Inst{8-0} = 0;
1119 }
1120
1121 def DBG : AI<(outs), (ins i32imm:$opt), MiscFrm, NoItinerary, "dbg", "\t$opt",
1122              [/* For disassembly only; pattern left blank */]>,
1123           Requires<[IsARM, HasV7]> {
1124   bits<4> opt;
1125   let Inst{27-4} = 0b001100100000111100001111;
1126   let Inst{3-0} = opt;
1127 }
1128
1129 // A5.4 Permanently UNDEFINED instructions.
1130 let isBarrier = 1, isTerminator = 1 in
1131 def TRAP : AXI<(outs), (ins), MiscFrm, NoItinerary,
1132                "trap", [(trap)]>,
1133            Requires<[IsARM]> {
1134   let Inst = 0xe7ffdefe;
1135 }
1136
1137 // Address computation and loads and stores in PIC mode.
1138 let isNotDuplicable = 1 in {
1139 def PICADD  : ARMPseudoInst<(outs GPR:$dst), (ins GPR:$a, pclabel:$cp, pred:$p),
1140                             Size4Bytes, IIC_iALUr,
1141                             [(set GPR:$dst, (ARMpic_add GPR:$a, imm:$cp))]>;
1142
1143 let AddedComplexity = 10 in {
1144 def PICLDR  : ARMPseudoInst<(outs GPR:$dst), (ins addrmodepc:$addr, pred:$p),
1145                             Size4Bytes, IIC_iLoad_r,
1146                             [(set GPR:$dst, (load addrmodepc:$addr))]>;
1147
1148 def PICLDRH : ARMPseudoInst<(outs GPR:$Rt), (ins addrmodepc:$addr, pred:$p),
1149                             Size4Bytes, IIC_iLoad_bh_r,
1150                             [(set GPR:$Rt, (zextloadi16 addrmodepc:$addr))]>;
1151
1152 def PICLDRB : ARMPseudoInst<(outs GPR:$Rt), (ins addrmodepc:$addr, pred:$p),
1153                             Size4Bytes, IIC_iLoad_bh_r,
1154                             [(set GPR:$Rt, (zextloadi8 addrmodepc:$addr))]>;
1155
1156 def PICLDRSH : ARMPseudoInst<(outs GPR:$Rt), (ins addrmodepc:$addr, pred:$p),
1157                             Size4Bytes, IIC_iLoad_bh_r,
1158                             [(set GPR:$Rt, (sextloadi16 addrmodepc:$addr))]>;
1159
1160 def PICLDRSB : ARMPseudoInst<(outs GPR:$Rt), (ins addrmodepc:$addr, pred:$p),
1161                             Size4Bytes, IIC_iLoad_bh_r,
1162                             [(set GPR:$Rt, (sextloadi8 addrmodepc:$addr))]>;
1163 }
1164 let AddedComplexity = 10 in {
1165 def PICSTR  : ARMPseudoInst<(outs), (ins GPR:$src, addrmodepc:$addr, pred:$p),
1166       Size4Bytes, IIC_iStore_r, [(store GPR:$src, addrmodepc:$addr)]>;
1167
1168 def PICSTRH : ARMPseudoInst<(outs), (ins GPR:$src, addrmodepc:$addr, pred:$p),
1169       Size4Bytes, IIC_iStore_bh_r, [(truncstorei16 GPR:$src, addrmodepc:$addr)]>;
1170
1171 def PICSTRB : ARMPseudoInst<(outs), (ins GPR:$src, addrmodepc:$addr, pred:$p),
1172       Size4Bytes, IIC_iStore_bh_r, [(truncstorei8 GPR:$src, addrmodepc:$addr)]>;
1173 }
1174 } // isNotDuplicable = 1
1175
1176
1177 // LEApcrel - Load a pc-relative address into a register without offending the
1178 // assembler.
1179 let neverHasSideEffects = 1, isReMaterializable = 1 in
1180 // The 'adr' mnemonic encodes differently if the label is before or after
1181 // the instruction. The {24-21} opcode bits are set by the fixup, as we don't
1182 // know until then which form of the instruction will be used.
1183 def ADR : AI1<0, (outs GPR:$Rd), (ins adrlabel:$label),
1184                  MiscFrm, IIC_iALUi, "adr", "\t$Rd, #$label", []> {
1185   bits<4> Rd;
1186   bits<12> label;
1187   let Inst{27-25} = 0b001;
1188   let Inst{20} = 0;
1189   let Inst{19-16} = 0b1111;
1190   let Inst{15-12} = Rd;
1191   let Inst{11-0} = label;
1192 }
1193 def LEApcrel : ARMPseudoInst<(outs GPR:$Rd), (ins i32imm:$label, pred:$p),
1194                     Size4Bytes, IIC_iALUi, []>;
1195
1196 def LEApcrelJT : ARMPseudoInst<(outs GPR:$Rd),
1197                       (ins i32imm:$label, nohash_imm:$id, pred:$p),
1198                       Size4Bytes, IIC_iALUi, []>;
1199
1200 //===----------------------------------------------------------------------===//
1201 //  Control Flow Instructions.
1202 //
1203
1204 let isReturn = 1, isTerminator = 1, isBarrier = 1 in {
1205   // ARMV4T and above
1206   def BX_RET : AI<(outs), (ins), BrMiscFrm, IIC_Br,
1207                   "bx", "\tlr", [(ARMretflag)]>,
1208                Requires<[IsARM, HasV4T]> {
1209     let Inst{27-0}  = 0b0001001011111111111100011110;
1210   }
1211
1212   // ARMV4 only
1213   def MOVPCLR : AI<(outs), (ins), BrMiscFrm, IIC_Br,
1214                   "mov", "\tpc, lr", [(ARMretflag)]>,
1215                Requires<[IsARM, NoV4T]> {
1216     let Inst{27-0} = 0b0001101000001111000000001110;
1217   }
1218 }
1219
1220 // Indirect branches
1221 let isBranch = 1, isTerminator = 1, isBarrier = 1, isIndirectBranch = 1 in {
1222   // ARMV4T and above
1223   def BX : AXI<(outs), (ins GPR:$dst), BrMiscFrm, IIC_Br, "bx\t$dst",
1224                   [(brind GPR:$dst)]>,
1225               Requires<[IsARM, HasV4T]> {
1226     bits<4> dst;
1227     let Inst{31-4} = 0b1110000100101111111111110001;
1228     let Inst{3-0}  = dst;
1229   }
1230
1231   // ARMV4 only
1232   // FIXME: We would really like to define this as a vanilla ARMPat like:
1233   // ARMPat<(brind GPR:$dst), (MOVr PC, GPR:$dst)>
1234   // With that, however, we can't set isBranch, isTerminator, etc..
1235   def MOVPCRX : ARMPseudoInst<(outs), (ins GPR:$dst),
1236                     Size4Bytes, IIC_Br, [(brind GPR:$dst)]>,
1237                     Requires<[IsARM, NoV4T]>;
1238 }
1239
1240 // All calls clobber the non-callee saved registers. SP is marked as
1241 // a use to prevent stack-pointer assignments that appear immediately
1242 // before calls from potentially appearing dead.
1243 let isCall = 1,
1244   // On non-Darwin platforms R9 is callee-saved.
1245   Defs = [R0,  R1,  R2,  R3,  R12, LR,
1246           D0,  D1,  D2,  D3,  D4,  D5,  D6,  D7,
1247           D16, D17, D18, D19, D20, D21, D22, D23,
1248           D24, D25, D26, D27, D28, D29, D30, D31, CPSR, FPSCR],
1249   Uses = [SP] in {
1250   def BL  : ABXI<0b1011, (outs), (ins bltarget:$func, variable_ops),
1251                 IIC_Br, "bl\t$func",
1252                 [(ARMcall tglobaladdr:$func)]>,
1253             Requires<[IsARM, IsNotDarwin]> {
1254     let Inst{31-28} = 0b1110;
1255     bits<24> func;
1256     let Inst{23-0} = func;
1257   }
1258
1259   def BL_pred : ABI<0b1011, (outs), (ins bltarget:$func, variable_ops),
1260                    IIC_Br, "bl", "\t$func",
1261                    [(ARMcall_pred tglobaladdr:$func)]>,
1262                 Requires<[IsARM, IsNotDarwin]> {
1263     bits<24> func;
1264     let Inst{23-0} = func;
1265   }
1266
1267   // ARMv5T and above
1268   def BLX : AXI<(outs), (ins GPR:$func, variable_ops), BrMiscFrm,
1269                 IIC_Br, "blx\t$func",
1270                 [(ARMcall GPR:$func)]>,
1271             Requires<[IsARM, HasV5T, IsNotDarwin]> {
1272     bits<4> func;
1273     let Inst{31-4} = 0b1110000100101111111111110011;
1274     let Inst{3-0}   = func;
1275   }
1276
1277   // ARMv4T
1278   // Note: Restrict $func to the tGPR regclass to prevent it being in LR.
1279   def BX_CALL : ARMPseudoInst<(outs), (ins tGPR:$func, variable_ops),
1280                    Size8Bytes, IIC_Br, [(ARMcall_nolink tGPR:$func)]>,
1281                    Requires<[IsARM, HasV4T, IsNotDarwin]>;
1282
1283   // ARMv4
1284   def BMOVPCRX_CALL : ARMPseudoInst<(outs), (ins tGPR:$func, variable_ops),
1285                    Size8Bytes, IIC_Br, [(ARMcall_nolink tGPR:$func)]>,
1286                    Requires<[IsARM, NoV4T, IsNotDarwin]>;
1287 }
1288
1289 let isCall = 1,
1290   // On Darwin R9 is call-clobbered.
1291   // R7 is marked as a use to prevent frame-pointer assignments from being
1292   // moved above / below calls.
1293   Defs = [R0,  R1,  R2,  R3,  R9,  R12, LR,
1294           D0,  D1,  D2,  D3,  D4,  D5,  D6,  D7,
1295           D16, D17, D18, D19, D20, D21, D22, D23,
1296           D24, D25, D26, D27, D28, D29, D30, D31, CPSR, FPSCR],
1297   Uses = [R7, SP] in {
1298   def BLr9  : ABXI<0b1011, (outs), (ins bltarget:$func, variable_ops),
1299                 IIC_Br, "bl\t$func",
1300                 [(ARMcall tglobaladdr:$func)]>, Requires<[IsARM, IsDarwin]> {
1301     let Inst{31-28} = 0b1110;
1302     bits<24> func;
1303     let Inst{23-0} = func;
1304   }
1305
1306   def BLr9_pred : ABI<0b1011, (outs), (ins bltarget:$func, variable_ops),
1307                    IIC_Br, "bl", "\t$func",
1308                    [(ARMcall_pred tglobaladdr:$func)]>,
1309                   Requires<[IsARM, IsDarwin]> {
1310     bits<24> func;
1311     let Inst{23-0} = func;
1312   }
1313
1314   // ARMv5T and above
1315   def BLXr9 : AXI<(outs), (ins GPR:$func, variable_ops), BrMiscFrm,
1316                 IIC_Br, "blx\t$func",
1317                 [(ARMcall GPR:$func)]>, Requires<[IsARM, HasV5T, IsDarwin]> {
1318     bits<4> func;
1319     let Inst{31-4} = 0b1110000100101111111111110011;
1320     let Inst{3-0}   = func;
1321   }
1322
1323   // ARMv4T
1324   // Note: Restrict $func to the tGPR regclass to prevent it being in LR.
1325   def BXr9_CALL : ARMPseudoInst<(outs), (ins tGPR:$func, variable_ops),
1326                   Size8Bytes, IIC_Br, [(ARMcall_nolink tGPR:$func)]>,
1327                   Requires<[IsARM, HasV4T, IsDarwin]>;
1328
1329   // ARMv4
1330   def BMOVPCRXr9_CALL : ARMPseudoInst<(outs), (ins tGPR:$func, variable_ops),
1331                   Size8Bytes, IIC_Br, [(ARMcall_nolink tGPR:$func)]>,
1332                   Requires<[IsARM, NoV4T, IsDarwin]>;
1333 }
1334
1335 // Tail calls.
1336
1337 // FIXME: These should probably be xformed into the non-TC versions of the
1338 // instructions as part of MC lowering.
1339 // FIXME: These seem to be used for both Thumb and ARM instruction selection.
1340 // Thumb should have its own version since the instruction is actually
1341 // different, even though the mnemonic is the same.
1342 let isCall = 1, isTerminator = 1, isReturn = 1, isBarrier = 1 in {
1343   // Darwin versions.
1344   let Defs = [R0, R1, R2, R3, R9, R12,
1345               D0, D1, D2, D3, D4, D5, D6, D7,
1346               D16, D17, D18, D19, D20, D21, D22, D23, D24, D25, D26,
1347               D27, D28, D29, D30, D31, PC],
1348       Uses = [SP] in {
1349     def TCRETURNdi : PseudoInst<(outs), (ins i32imm:$dst, variable_ops),
1350                        IIC_Br, []>, Requires<[IsDarwin]>;
1351
1352     def TCRETURNri : PseudoInst<(outs), (ins tcGPR:$dst, variable_ops),
1353                        IIC_Br, []>, Requires<[IsDarwin]>;
1354
1355     def TAILJMPd : ABXI<0b1010, (outs), (ins brtarget:$dst, variable_ops),
1356                    IIC_Br, "b\t$dst  @ TAILCALL",
1357                    []>, Requires<[IsARM, IsDarwin]>;
1358
1359     def TAILJMPdt: ABXI<0b1010, (outs), (ins brtarget:$dst, variable_ops),
1360                    IIC_Br, "b.w\t$dst  @ TAILCALL",
1361                    []>, Requires<[IsThumb, IsDarwin]>;
1362
1363     def TAILJMPr : AXI<(outs), (ins tcGPR:$dst, variable_ops),
1364                      BrMiscFrm, IIC_Br, "bx\t$dst  @ TAILCALL",
1365                    []>, Requires<[IsDarwin]> {
1366       bits<4> dst;
1367       let Inst{31-4} = 0b1110000100101111111111110001;
1368       let Inst{3-0}  = dst;
1369     }
1370   }
1371
1372   // Non-Darwin versions (the difference is R9).
1373   let Defs = [R0, R1, R2, R3, R12,
1374               D0, D1, D2, D3, D4, D5, D6, D7,
1375               D16, D17, D18, D19, D20, D21, D22, D23, D24, D25, D26,
1376               D27, D28, D29, D30, D31, PC],
1377       Uses = [SP] in {
1378     def TCRETURNdiND : PseudoInst<(outs), (ins i32imm:$dst, variable_ops),
1379                        IIC_Br, []>, Requires<[IsNotDarwin]>;
1380
1381     def TCRETURNriND : PseudoInst<(outs), (ins tcGPR:$dst, variable_ops),
1382                        IIC_Br, []>, Requires<[IsNotDarwin]>;
1383
1384     def TAILJMPdND : ABXI<0b1010, (outs), (ins brtarget:$dst, variable_ops),
1385                    IIC_Br, "b\t$dst  @ TAILCALL",
1386                    []>, Requires<[IsARM, IsNotDarwin]>;
1387
1388     def TAILJMPdNDt : ABXI<0b1010, (outs), (ins brtarget:$dst, variable_ops),
1389                    IIC_Br, "b.w\t$dst  @ TAILCALL",
1390                    []>, Requires<[IsThumb, IsNotDarwin]>;
1391
1392     def TAILJMPrND : AXI<(outs), (ins tcGPR:$dst, variable_ops),
1393                      BrMiscFrm, IIC_Br, "bx\t$dst  @ TAILCALL",
1394                    []>, Requires<[IsNotDarwin]> {
1395       bits<4> dst;
1396       let Inst{31-4} = 0b1110000100101111111111110001;
1397       let Inst{3-0}  = dst;
1398     }
1399   }
1400 }
1401
1402 let isBranch = 1, isTerminator = 1 in {
1403   // B is "predicable" since it can be xformed into a Bcc.
1404   let isBarrier = 1 in {
1405     let isPredicable = 1 in
1406     def B : ABXI<0b1010, (outs), (ins brtarget:$target), IIC_Br,
1407                 "b\t$target", [(br bb:$target)]> {
1408       bits<24> target;
1409       let Inst{31-28} = 0b1110;
1410       let Inst{23-0} = target;
1411     }
1412
1413     let isNotDuplicable = 1, isIndirectBranch = 1 in {
1414     def BR_JTr : ARMPseudoInst<(outs),
1415                       (ins GPR:$target, i32imm:$jt, i32imm:$id),
1416                       SizeSpecial, IIC_Br,
1417                       [(ARMbrjt GPR:$target, tjumptable:$jt, imm:$id)]>;
1418     // FIXME: This shouldn't use the generic "addrmode2," but rather be split
1419     // into i12 and rs suffixed versions.
1420     def BR_JTm : ARMPseudoInst<(outs),
1421                      (ins addrmode2:$target, i32imm:$jt, i32imm:$id),
1422                      SizeSpecial, IIC_Br,
1423                      [(ARMbrjt (i32 (load addrmode2:$target)), tjumptable:$jt,
1424                        imm:$id)]>;
1425     def BR_JTadd : ARMPseudoInst<(outs),
1426                    (ins GPR:$target, GPR:$idx, i32imm:$jt, i32imm:$id),
1427                    SizeSpecial, IIC_Br,
1428                    [(ARMbrjt (add GPR:$target, GPR:$idx), tjumptable:$jt,
1429                      imm:$id)]>;
1430     } // isNotDuplicable = 1, isIndirectBranch = 1
1431   } // isBarrier = 1
1432
1433   // FIXME: should be able to write a pattern for ARMBrcond, but can't use
1434   // a two-value operand where a dag node expects two operands. :(
1435   def Bcc : ABI<0b1010, (outs), (ins brtarget:$target),
1436                IIC_Br, "b", "\t$target",
1437                [/*(ARMbrcond bb:$target, imm:$cc, CCR:$ccr)*/]> {
1438     bits<24> target;
1439     let Inst{23-0} = target;
1440   }
1441 }
1442
1443 // Branch and Exchange Jazelle -- for disassembly only
1444 def BXJ : ABI<0b0001, (outs), (ins GPR:$func), NoItinerary, "bxj", "\t$func",
1445               [/* For disassembly only; pattern left blank */]> {
1446   let Inst{23-20} = 0b0010;
1447   //let Inst{19-8} = 0xfff;
1448   let Inst{7-4} = 0b0010;
1449 }
1450
1451 // Secure Monitor Call is a system instruction -- for disassembly only
1452 def SMC : ABI<0b0001, (outs), (ins i32imm:$opt), NoItinerary, "smc", "\t$opt",
1453               [/* For disassembly only; pattern left blank */]> {
1454   bits<4> opt;
1455   let Inst{23-4} = 0b01100000000000000111;
1456   let Inst{3-0} = opt;
1457 }
1458
1459 // Supervisor Call (Software Interrupt) -- for disassembly only
1460 let isCall = 1, Uses = [SP] in {
1461 def SVC : ABI<0b1111, (outs), (ins i32imm:$svc), IIC_Br, "svc", "\t$svc",
1462               [/* For disassembly only; pattern left blank */]> {
1463   bits<24> svc;
1464   let Inst{23-0} = svc;
1465 }
1466 }
1467
1468 // Store Return State is a system instruction -- for disassembly only
1469 let isCodeGenOnly = 1 in {  // FIXME: This should not use submode!
1470 def SRSW : ABXI<{1,0,0,?}, (outs), (ins ldstm_mode:$amode, i32imm:$mode),
1471                 NoItinerary, "srs${amode}\tsp!, $mode",
1472                 [/* For disassembly only; pattern left blank */]> {
1473   let Inst{31-28} = 0b1111;
1474   let Inst{22-20} = 0b110; // W = 1
1475 }
1476
1477 def SRS  : ABXI<{1,0,0,?}, (outs), (ins ldstm_mode:$amode, i32imm:$mode),
1478                 NoItinerary, "srs${amode}\tsp, $mode",
1479                 [/* For disassembly only; pattern left blank */]> {
1480   let Inst{31-28} = 0b1111;
1481   let Inst{22-20} = 0b100; // W = 0
1482 }
1483
1484 // Return From Exception is a system instruction -- for disassembly only
1485 def RFEW : ABXI<{1,0,0,?}, (outs), (ins ldstm_mode:$amode, GPR:$base),
1486                 NoItinerary, "rfe${amode}\t$base!",
1487                 [/* For disassembly only; pattern left blank */]> {
1488   let Inst{31-28} = 0b1111;
1489   let Inst{22-20} = 0b011; // W = 1
1490 }
1491
1492 def RFE  : ABXI<{1,0,0,?}, (outs), (ins ldstm_mode:$amode, GPR:$base),
1493                 NoItinerary, "rfe${amode}\t$base",
1494                 [/* For disassembly only; pattern left blank */]> {
1495   let Inst{31-28} = 0b1111;
1496   let Inst{22-20} = 0b001; // W = 0
1497 }
1498 } // isCodeGenOnly = 1
1499
1500 //===----------------------------------------------------------------------===//
1501 //  Load / store Instructions.
1502 //
1503
1504 // Load
1505
1506
1507 defm LDR  : AI_ldr1<0, "ldr", IIC_iLoad_r, IIC_iLoad_si,
1508                     UnOpFrag<(load node:$Src)>>;
1509 defm LDRB : AI_ldr1<1, "ldrb", IIC_iLoad_bh_r, IIC_iLoad_bh_si,
1510                     UnOpFrag<(zextloadi8 node:$Src)>>;
1511 defm STR  : AI_str1<0, "str", IIC_iStore_r, IIC_iStore_si,
1512                    BinOpFrag<(store node:$LHS, node:$RHS)>>;
1513 defm STRB : AI_str1<1, "strb", IIC_iStore_bh_r, IIC_iStore_bh_si,
1514                    BinOpFrag<(truncstorei8 node:$LHS, node:$RHS)>>;
1515
1516 // Special LDR for loads from non-pc-relative constpools.
1517 let canFoldAsLoad = 1, mayLoad = 1, neverHasSideEffects = 1,
1518     isReMaterializable = 1 in
1519 def LDRcp : AI2ldst<0b010, 1, 0, (outs GPR:$Rt), (ins addrmode_imm12:$addr),
1520                  AddrMode_i12, LdFrm, IIC_iLoad_r, "ldr", "\t$Rt, $addr",
1521                  []> {
1522   bits<4> Rt;
1523   bits<17> addr;
1524   let Inst{23}    = addr{12};     // U (add = ('U' == 1))
1525   let Inst{19-16} = 0b1111;
1526   let Inst{15-12} = Rt;
1527   let Inst{11-0}  = addr{11-0};   // imm12
1528 }
1529
1530 // Loads with zero extension
1531 def LDRH  : AI3ld<0b1011, 1, (outs GPR:$Rt), (ins addrmode3:$addr), LdMiscFrm,
1532                   IIC_iLoad_bh_r, "ldrh", "\t$Rt, $addr",
1533                   [(set GPR:$Rt, (zextloadi16 addrmode3:$addr))]>;
1534
1535 // Loads with sign extension
1536 def LDRSH : AI3ld<0b1111, 1, (outs GPR:$Rt), (ins addrmode3:$addr), LdMiscFrm,
1537                    IIC_iLoad_bh_r, "ldrsh", "\t$Rt, $addr",
1538                    [(set GPR:$Rt, (sextloadi16 addrmode3:$addr))]>;
1539
1540 def LDRSB : AI3ld<0b1101, 1, (outs GPR:$Rt), (ins addrmode3:$addr), LdMiscFrm,
1541                    IIC_iLoad_bh_r, "ldrsb", "\t$Rt, $addr",
1542                    [(set GPR:$Rt, (sextloadi8 addrmode3:$addr))]>;
1543
1544 let mayLoad = 1, neverHasSideEffects = 1, hasExtraDefRegAllocReq = 1,
1545     isCodeGenOnly = 1 in { // $dst2 doesn't exist in asmstring?
1546 // FIXME: $dst2 isn't in the asm string as it's implied by $Rd (dst2 = Rd+1)
1547 //        how to represent that such that tblgen is happy and we don't
1548 //        mark this codegen only?
1549 // Load doubleword
1550 def LDRD : AI3ld<0b1101, 0, (outs GPR:$Rd, GPR:$dst2),
1551                  (ins addrmode3:$addr), LdMiscFrm,
1552                  IIC_iLoad_d_r, "ldrd", "\t$Rd, $addr",
1553                  []>, Requires<[IsARM, HasV5TE]>;
1554 }
1555
1556 // Indexed loads
1557 multiclass AI2_ldridx<bit isByte, string opc, InstrItinClass itin> {
1558   def _PRE  : AI2ldstidx<1, isByte, 1, (outs GPR:$Rt, GPR:$Rn_wb),
1559                       (ins addrmode2:$addr), IndexModePre, LdFrm, itin,
1560                       opc, "\t$Rt, $addr!", "$addr.base = $Rn_wb", []> {
1561     // {17-14}  Rn
1562     // {13}     1 == Rm, 0 == imm12
1563     // {12}     isAdd
1564     // {11-0}   imm12/Rm
1565     bits<18> addr;
1566     let Inst{25} = addr{13};
1567     let Inst{23} = addr{12};
1568     let Inst{19-16} = addr{17-14};
1569     let Inst{11-0} = addr{11-0};
1570   }
1571   def _POST : AI2ldstidx<1, isByte, 0, (outs GPR:$Rt, GPR:$Rn_wb),
1572                       (ins GPR:$Rn, am2offset:$offset),
1573                       IndexModePost, LdFrm, itin,
1574                       opc, "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb", []> {
1575     // {13}     1 == Rm, 0 == imm12
1576     // {12}     isAdd
1577     // {11-0}   imm12/Rm
1578     bits<14> offset;
1579     bits<4> Rn;
1580     let Inst{25} = offset{13};
1581     let Inst{23} = offset{12};
1582     let Inst{19-16} = Rn;
1583     let Inst{11-0} = offset{11-0};
1584   }
1585 }
1586
1587 let mayLoad = 1, neverHasSideEffects = 1 in {
1588 defm LDR  : AI2_ldridx<0, "ldr", IIC_iLoad_ru>;
1589 defm LDRB : AI2_ldridx<1, "ldrb", IIC_iLoad_bh_ru>;
1590 }
1591
1592 multiclass AI3_ldridx<bits<4> op, bit op20, string opc, InstrItinClass itin> {
1593   def _PRE  : AI3ldstidx<op, op20, 1, 1, (outs GPR:$Rt, GPR:$Rn_wb),
1594                         (ins addrmode3:$addr), IndexModePre,
1595                         LdMiscFrm, itin,
1596                         opc, "\t$Rt, $addr!", "$addr.base = $Rn_wb", []> {
1597     bits<14> addr;
1598     let Inst{23}    = addr{8};      // U bit
1599     let Inst{22}    = addr{13};     // 1 == imm8, 0 == Rm
1600     let Inst{19-16} = addr{12-9};   // Rn
1601     let Inst{11-8}  = addr{7-4};    // imm7_4/zero
1602     let Inst{3-0}   = addr{3-0};    // imm3_0/Rm
1603   }
1604   def _POST : AI3ldstidx<op, op20, 1, 0, (outs GPR:$Rt, GPR:$Rn_wb),
1605                         (ins GPR:$Rn, am3offset:$offset), IndexModePost,
1606                         LdMiscFrm, itin,
1607                         opc, "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb", []> {
1608     bits<10> offset;
1609     bits<4> Rn;
1610     let Inst{23}    = offset{8};      // U bit
1611     let Inst{22}    = offset{9};      // 1 == imm8, 0 == Rm
1612     let Inst{19-16} = Rn;
1613     let Inst{11-8}  = offset{7-4};    // imm7_4/zero
1614     let Inst{3-0}   = offset{3-0};    // imm3_0/Rm
1615   }
1616 }
1617
1618 let mayLoad = 1, neverHasSideEffects = 1 in {
1619 defm LDRH  : AI3_ldridx<0b1011, 1, "ldrh", IIC_iLoad_bh_ru>;
1620 defm LDRSH : AI3_ldridx<0b1111, 1, "ldrsh", IIC_iLoad_bh_ru>;
1621 defm LDRSB : AI3_ldridx<0b1101, 1, "ldrsb", IIC_iLoad_bh_ru>;
1622 let hasExtraDefRegAllocReq = 1, isCodeGenOnly = 1 in
1623 defm LDRD :  AI3_ldridx<0b1101, 0, "ldrd", IIC_iLoad_d_ru>;
1624 } // mayLoad = 1, neverHasSideEffects = 1
1625
1626 // LDRT, LDRBT, LDRSBT, LDRHT, LDRSHT are for disassembly only.
1627 let mayLoad = 1, neverHasSideEffects = 1 in {
1628 def LDRT : AI2ldstidx<1, 0, 0, (outs GPR:$dst, GPR:$base_wb),
1629                    (ins GPR:$base, am2offset:$offset), IndexModeNone,
1630                    LdFrm, IIC_iLoad_ru,
1631                    "ldrt", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1632   let Inst{21} = 1; // overwrite
1633 }
1634 def LDRBT : AI2ldstidx<1, 1, 0, (outs GPR:$dst, GPR:$base_wb),
1635                   (ins GPR:$base, am2offset:$offset), IndexModeNone,
1636                   LdFrm, IIC_iLoad_bh_ru,
1637                   "ldrbt", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1638   let Inst{21} = 1; // overwrite
1639 }
1640 def LDRSBT : AI3ldstidx<0b1101, 1, 1, 0, (outs GPR:$dst, GPR:$base_wb),
1641                  (ins GPR:$base, am3offset:$offset), IndexModePost,
1642                  LdMiscFrm, IIC_iLoad_bh_ru,
1643                  "ldrsbt", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1644   let Inst{21} = 1; // overwrite
1645 }
1646 def LDRHT : AI3ldstidx<0b1011, 1, 1, 0, (outs GPR:$dst, GPR:$base_wb),
1647                  (ins GPR:$base, am3offset:$offset), IndexModePost,
1648                  LdMiscFrm, IIC_iLoad_bh_ru,
1649                  "ldrht", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1650   let Inst{21} = 1; // overwrite
1651 }
1652 def LDRSHT : AI3ldstidx<0b1111, 1, 1, 0, (outs GPR:$dst, GPR:$base_wb),
1653                  (ins GPR:$base, am3offset:$offset), IndexModePost,
1654                  LdMiscFrm, IIC_iLoad_bh_ru,
1655                  "ldrsht", "\t$dst, [$base], $offset", "$base = $base_wb", []> {
1656   let Inst{21} = 1; // overwrite
1657 }
1658 }
1659
1660 // Store
1661
1662 // Stores with truncate
1663 def STRH : AI3str<0b1011, (outs), (ins GPR:$Rt, addrmode3:$addr), StMiscFrm,
1664                IIC_iStore_bh_r, "strh", "\t$Rt, $addr",
1665                [(truncstorei16 GPR:$Rt, addrmode3:$addr)]>;
1666
1667 // Store doubleword
1668 let mayStore = 1, neverHasSideEffects = 1, hasExtraSrcRegAllocReq = 1,
1669     isCodeGenOnly = 1 in  // $src2 doesn't exist in asm string
1670 def STRD : AI3str<0b1111, (outs), (ins GPR:$src1, GPR:$src2, addrmode3:$addr),
1671                StMiscFrm, IIC_iStore_d_r,
1672                "strd", "\t$src1, $addr", []>, Requires<[IsARM, HasV5TE]>;
1673
1674 // Indexed stores
1675 def STR_PRE  : AI2stridx<0, 1, (outs GPR:$Rn_wb),
1676                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1677                      IndexModePre, StFrm, IIC_iStore_ru,
1678                      "str", "\t$Rt, [$Rn, $offset]!", "$Rn = $Rn_wb",
1679                      [(set GPR:$Rn_wb,
1680                       (pre_store GPR:$Rt, GPR:$Rn, am2offset:$offset))]>;
1681
1682 def STR_POST : AI2stridx<0, 0, (outs GPR:$Rn_wb),
1683                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1684                      IndexModePost, StFrm, IIC_iStore_ru,
1685                      "str", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1686                      [(set GPR:$Rn_wb,
1687                       (post_store GPR:$Rt, GPR:$Rn, am2offset:$offset))]>;
1688
1689 def STRB_PRE : AI2stridx<1, 1, (outs GPR:$Rn_wb),
1690                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1691                      IndexModePre, StFrm, IIC_iStore_bh_ru,
1692                      "strb", "\t$Rt, [$Rn, $offset]!", "$Rn = $Rn_wb",
1693                      [(set GPR:$Rn_wb, (pre_truncsti8 GPR:$Rt,
1694                                         GPR:$Rn, am2offset:$offset))]>;
1695 def STRB_POST: AI2stridx<1, 0, (outs GPR:$Rn_wb),
1696                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1697                      IndexModePost, StFrm, IIC_iStore_bh_ru,
1698                      "strb", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1699                      [(set GPR:$Rn_wb, (post_truncsti8 GPR:$Rt,
1700                                         GPR:$Rn, am2offset:$offset))]>;
1701
1702 def STRH_PRE : AI3stridx<0b1011, 0, 1, (outs GPR:$Rn_wb),
1703                      (ins GPR:$Rt, GPR:$Rn, am3offset:$offset),
1704                      IndexModePre, StMiscFrm, IIC_iStore_ru,
1705                      "strh", "\t$Rt, [$Rn, $offset]!", "$Rn = $Rn_wb",
1706                      [(set GPR:$Rn_wb,
1707                       (pre_truncsti16 GPR:$Rt, GPR:$Rn, am3offset:$offset))]>;
1708
1709 def STRH_POST: AI3stridx<0b1011, 0, 0, (outs GPR:$Rn_wb),
1710                      (ins GPR:$Rt, GPR:$Rn, am3offset:$offset),
1711                      IndexModePost, StMiscFrm, IIC_iStore_bh_ru,
1712                      "strh", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1713                      [(set GPR:$Rn_wb, (post_truncsti16 GPR:$Rt,
1714                                         GPR:$Rn, am3offset:$offset))]>;
1715
1716 // For disassembly only
1717 def STRD_PRE : AI3stdpr<(outs GPR:$base_wb),
1718                      (ins GPR:$src1, GPR:$src2, GPR:$base, am3offset:$offset),
1719                      StMiscFrm, IIC_iStore_d_ru,
1720                      "strd", "\t$src1, $src2, [$base, $offset]!",
1721                      "$base = $base_wb", []>;
1722
1723 // For disassembly only
1724 def STRD_POST: AI3stdpo<(outs GPR:$base_wb),
1725                      (ins GPR:$src1, GPR:$src2, GPR:$base, am3offset:$offset),
1726                      StMiscFrm, IIC_iStore_d_ru,
1727                      "strd", "\t$src1, $src2, [$base], $offset",
1728                      "$base = $base_wb", []>;
1729
1730 // STRT, STRBT, and STRHT are for disassembly only.
1731
1732 def STRT : AI2stridx<0, 0, (outs GPR:$Rn_wb),
1733                     (ins GPR:$Rt, GPR:$Rn,am2offset:$offset),
1734                     IndexModeNone, StFrm, IIC_iStore_ru,
1735                     "strt", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1736                     [/* For disassembly only; pattern left blank */]> {
1737   let Inst{21} = 1; // overwrite
1738 }
1739
1740 def STRBT : AI2stridx<1, 0, (outs GPR:$Rn_wb),
1741                      (ins GPR:$Rt, GPR:$Rn, am2offset:$offset),
1742                      IndexModeNone, StFrm, IIC_iStore_bh_ru,
1743                      "strbt", "\t$Rt, [$Rn], $offset", "$Rn = $Rn_wb",
1744                      [/* For disassembly only; pattern left blank */]> {
1745   let Inst{21} = 1; // overwrite
1746 }
1747
1748 def STRHT: AI3sthpo<(outs GPR:$base_wb),
1749                     (ins GPR:$src, GPR:$base,am3offset:$offset),
1750                     StMiscFrm, IIC_iStore_bh_ru,
1751                     "strht", "\t$src, [$base], $offset", "$base = $base_wb",
1752                     [/* For disassembly only; pattern left blank */]> {
1753   let Inst{21} = 1; // overwrite
1754 }
1755
1756 //===----------------------------------------------------------------------===//
1757 //  Load / store multiple Instructions.
1758 //
1759
1760 multiclass arm_ldst_mult<string asm, bit L_bit, Format f,
1761                          InstrItinClass itin, InstrItinClass itin_upd> {
1762   def IA :
1763     AXI4<(outs), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1764          IndexModeNone, f, itin,
1765          !strconcat(asm, "ia${p}\t$Rn, $regs"), "", []> {
1766     let Inst{24-23} = 0b01;       // Increment After
1767     let Inst{21}    = 0;          // No writeback
1768     let Inst{20}    = L_bit;
1769   }
1770   def IA_UPD :
1771     AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1772          IndexModeUpd, f, itin_upd,
1773          !strconcat(asm, "ia${p}\t$Rn!, $regs"), "$Rn = $wb", []> {
1774     let Inst{24-23} = 0b01;       // Increment After
1775     let Inst{21}    = 1;          // Writeback
1776     let Inst{20}    = L_bit;
1777   }
1778   def DA :
1779     AXI4<(outs), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1780          IndexModeNone, f, itin,
1781          !strconcat(asm, "da${p}\t$Rn, $regs"), "", []> {
1782     let Inst{24-23} = 0b00;       // Decrement After
1783     let Inst{21}    = 0;          // No writeback
1784     let Inst{20}    = L_bit;
1785   }
1786   def DA_UPD :
1787     AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1788          IndexModeUpd, f, itin_upd,
1789          !strconcat(asm, "da${p}\t$Rn!, $regs"), "$Rn = $wb", []> {
1790     let Inst{24-23} = 0b00;       // Decrement After
1791     let Inst{21}    = 1;          // Writeback
1792     let Inst{20}    = L_bit;
1793   }
1794   def DB :
1795     AXI4<(outs), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1796          IndexModeNone, f, itin,
1797          !strconcat(asm, "db${p}\t$Rn, $regs"), "", []> {
1798     let Inst{24-23} = 0b10;       // Decrement Before
1799     let Inst{21}    = 0;          // No writeback
1800     let Inst{20}    = L_bit;
1801   }
1802   def DB_UPD :
1803     AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1804          IndexModeUpd, f, itin_upd,
1805          !strconcat(asm, "db${p}\t$Rn!, $regs"), "$Rn = $wb", []> {
1806     let Inst{24-23} = 0b10;       // Decrement Before
1807     let Inst{21}    = 1;          // Writeback
1808     let Inst{20}    = L_bit;
1809   }
1810   def IB :
1811     AXI4<(outs), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1812          IndexModeNone, f, itin,
1813          !strconcat(asm, "ib${p}\t$Rn, $regs"), "", []> {
1814     let Inst{24-23} = 0b11;       // Increment Before
1815     let Inst{21}    = 0;          // No writeback
1816     let Inst{20}    = L_bit;
1817   }
1818   def IB_UPD :
1819     AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p, reglist:$regs, variable_ops),
1820          IndexModeUpd, f, itin_upd,
1821          !strconcat(asm, "ib${p}\t$Rn!, $regs"), "$Rn = $wb", []> {
1822     let Inst{24-23} = 0b11;       // Increment Before
1823     let Inst{21}    = 1;          // Writeback
1824     let Inst{20}    = L_bit;
1825   }
1826 }
1827
1828 let neverHasSideEffects = 1 in {
1829
1830 let mayLoad = 1, hasExtraDefRegAllocReq = 1 in
1831 defm LDM : arm_ldst_mult<"ldm", 1, LdStMulFrm, IIC_iLoad_m, IIC_iLoad_mu>;
1832
1833 let mayStore = 1, hasExtraSrcRegAllocReq = 1 in
1834 defm STM : arm_ldst_mult<"stm", 0, LdStMulFrm, IIC_iStore_m, IIC_iStore_mu>;
1835
1836 } // neverHasSideEffects
1837
1838 // Load / Store Multiple Mnemnoic Aliases
1839 def : MnemonicAlias<"ldm", "ldmia">;
1840 def : MnemonicAlias<"stm", "stmia">;
1841
1842 // FIXME: remove when we have a way to marking a MI with these properties.
1843 // FIXME: Should pc be an implicit operand like PICADD, etc?
1844 let isReturn = 1, isTerminator = 1, isBarrier = 1, mayLoad = 1,
1845     hasExtraDefRegAllocReq = 1, isCodeGenOnly = 1 in
1846 // FIXME: Should be a pseudo-instruction.
1847 def LDMIA_RET : AXI4<(outs GPR:$wb), (ins GPR:$Rn, pred:$p,
1848                                       reglist:$regs, variable_ops),
1849                      IndexModeUpd, LdStMulFrm, IIC_iLoad_mBr,
1850                      "ldmia${p}\t$Rn!, $regs",
1851                      "$Rn = $wb", []> {
1852   let Inst{24-23} = 0b01;       // Increment After
1853   let Inst{21}    = 1;          // Writeback
1854   let Inst{20}    = 1;          // Load
1855 }
1856
1857 //===----------------------------------------------------------------------===//
1858 //  Move Instructions.
1859 //
1860
1861 let neverHasSideEffects = 1 in
1862 def MOVr : AsI1<0b1101, (outs GPR:$Rd), (ins GPR:$Rm), DPFrm, IIC_iMOVr,
1863                 "mov", "\t$Rd, $Rm", []>, UnaryDP {
1864   bits<4> Rd;
1865   bits<4> Rm;
1866
1867   let Inst{11-4} = 0b00000000;
1868   let Inst{25} = 0;
1869   let Inst{3-0} = Rm;
1870   let Inst{15-12} = Rd;
1871 }
1872
1873 // A version for the smaller set of tail call registers.
1874 let neverHasSideEffects = 1 in
1875 def MOVr_TC : AsI1<0b1101, (outs tcGPR:$Rd), (ins tcGPR:$Rm), DPFrm,
1876                 IIC_iMOVr, "mov", "\t$Rd, $Rm", []>, UnaryDP {
1877   bits<4> Rd;
1878   bits<4> Rm;
1879
1880   let Inst{11-4} = 0b00000000;
1881   let Inst{25} = 0;
1882   let Inst{3-0} = Rm;
1883   let Inst{15-12} = Rd;
1884 }
1885
1886 def MOVs : AsI1<0b1101, (outs GPR:$Rd), (ins shift_so_reg:$src),
1887                 DPSoRegFrm, IIC_iMOVsr,
1888                 "mov", "\t$Rd, $src", [(set GPR:$Rd, shift_so_reg:$src)]>,
1889                 UnaryDP {
1890   bits<4> Rd;
1891   bits<12> src;
1892   let Inst{15-12} = Rd;
1893   let Inst{11-0} = src;
1894   let Inst{25} = 0;
1895 }
1896
1897 let isReMaterializable = 1, isAsCheapAsAMove = 1, isMoveImm = 1 in
1898 def MOVi : AsI1<0b1101, (outs GPR:$Rd), (ins so_imm:$imm), DPFrm, IIC_iMOVi,
1899                 "mov", "\t$Rd, $imm", [(set GPR:$Rd, so_imm:$imm)]>, UnaryDP {
1900   bits<4> Rd;
1901   bits<12> imm;
1902   let Inst{25} = 1;
1903   let Inst{15-12} = Rd;
1904   let Inst{19-16} = 0b0000;
1905   let Inst{11-0} = imm;
1906 }
1907
1908 let isReMaterializable = 1, isAsCheapAsAMove = 1, isMoveImm = 1 in
1909 def MOVi16 : AI1<0b1000, (outs GPR:$Rd), (ins movt_imm:$imm),
1910                  DPFrm, IIC_iMOVi,
1911                  "movw", "\t$Rd, $imm",
1912                  [(set GPR:$Rd, imm0_65535:$imm)]>,
1913                  Requires<[IsARM, HasV6T2]>, UnaryDP {
1914   bits<4> Rd;
1915   bits<16> imm;
1916   let Inst{15-12} = Rd;
1917   let Inst{11-0}  = imm{11-0};
1918   let Inst{19-16} = imm{15-12};
1919   let Inst{20} = 0;
1920   let Inst{25} = 1;
1921 }
1922
1923 let Constraints = "$src = $Rd" in
1924 def MOVTi16 : AI1<0b1010, (outs GPR:$Rd), (ins GPR:$src, movt_imm:$imm),
1925                   DPFrm, IIC_iMOVi,
1926                   "movt", "\t$Rd, $imm",
1927                   [(set GPR:$Rd,
1928                         (or (and GPR:$src, 0xffff),
1929                             lo16AllZero:$imm))]>, UnaryDP,
1930                   Requires<[IsARM, HasV6T2]> {
1931   bits<4> Rd;
1932   bits<16> imm;
1933   let Inst{15-12} = Rd;
1934   let Inst{11-0}  = imm{11-0};
1935   let Inst{19-16} = imm{15-12};
1936   let Inst{20} = 0;
1937   let Inst{25} = 1;
1938 }
1939
1940 def : ARMPat<(or GPR:$src, 0xffff0000), (MOVTi16 GPR:$src, 0xffff)>,
1941       Requires<[IsARM, HasV6T2]>;
1942
1943 let Uses = [CPSR] in
1944 def RRX: PseudoInst<(outs GPR:$Rd), (ins GPR:$Rm), IIC_iMOVsi,
1945                     [(set GPR:$Rd, (ARMrrx GPR:$Rm))]>, UnaryDP,
1946                     Requires<[IsARM]>;
1947
1948 // These aren't really mov instructions, but we have to define them this way
1949 // due to flag operands.
1950
1951 let Defs = [CPSR] in {
1952 def MOVsrl_flag : PseudoInst<(outs GPR:$dst), (ins GPR:$src), IIC_iMOVsi,
1953                       [(set GPR:$dst, (ARMsrl_flag GPR:$src))]>, UnaryDP,
1954                       Requires<[IsARM]>;
1955 def MOVsra_flag : PseudoInst<(outs GPR:$dst), (ins GPR:$src), IIC_iMOVsi,
1956                       [(set GPR:$dst, (ARMsra_flag GPR:$src))]>, UnaryDP,
1957                       Requires<[IsARM]>;
1958 }
1959
1960 //===----------------------------------------------------------------------===//
1961 //  Extend Instructions.
1962 //
1963
1964 // Sign extenders
1965
1966 defm SXTB  : AI_ext_rrot<0b01101010,
1967                          "sxtb", UnOpFrag<(sext_inreg node:$Src, i8)>>;
1968 defm SXTH  : AI_ext_rrot<0b01101011,
1969                          "sxth", UnOpFrag<(sext_inreg node:$Src, i16)>>;
1970
1971 defm SXTAB : AI_exta_rrot<0b01101010,
1972                "sxtab", BinOpFrag<(add node:$LHS, (sext_inreg node:$RHS, i8))>>;
1973 defm SXTAH : AI_exta_rrot<0b01101011,
1974                "sxtah", BinOpFrag<(add node:$LHS, (sext_inreg node:$RHS,i16))>>;
1975
1976 // For disassembly only
1977 defm SXTB16  : AI_ext_rrot_np<0b01101000, "sxtb16">;
1978
1979 // For disassembly only
1980 defm SXTAB16 : AI_exta_rrot_np<0b01101000, "sxtab16">;
1981
1982 // Zero extenders
1983
1984 let AddedComplexity = 16 in {
1985 defm UXTB   : AI_ext_rrot<0b01101110,
1986                           "uxtb"  , UnOpFrag<(and node:$Src, 0x000000FF)>>;
1987 defm UXTH   : AI_ext_rrot<0b01101111,
1988                           "uxth"  , UnOpFrag<(and node:$Src, 0x0000FFFF)>>;
1989 defm UXTB16 : AI_ext_rrot<0b01101100,
1990                           "uxtb16", UnOpFrag<(and node:$Src, 0x00FF00FF)>>;
1991
1992 // FIXME: This pattern incorrectly assumes the shl operator is a rotate.
1993 //        The transformation should probably be done as a combiner action
1994 //        instead so we can include a check for masking back in the upper
1995 //        eight bits of the source into the lower eight bits of the result.
1996 //def : ARMV6Pat<(and (shl GPR:$Src, (i32 8)), 0xFF00FF),
1997 //               (UXTB16r_rot GPR:$Src, 24)>;
1998 def : ARMV6Pat<(and (srl GPR:$Src, (i32 8)), 0xFF00FF),
1999                (UXTB16r_rot GPR:$Src, 8)>;
2000
2001 defm UXTAB : AI_exta_rrot<0b01101110, "uxtab",
2002                         BinOpFrag<(add node:$LHS, (and node:$RHS, 0x00FF))>>;
2003 defm UXTAH : AI_exta_rrot<0b01101111, "uxtah",
2004                         BinOpFrag<(add node:$LHS, (and node:$RHS, 0xFFFF))>>;
2005 }
2006
2007 // This isn't safe in general, the add is two 16-bit units, not a 32-bit add.
2008 // For disassembly only
2009 defm UXTAB16 : AI_exta_rrot_np<0b01101100, "uxtab16">;
2010
2011
2012 def SBFX  : I<(outs GPR:$Rd),
2013               (ins GPR:$Rn, imm0_31:$lsb, imm0_31_m1:$width),
2014                AddrMode1, Size4Bytes, IndexModeNone, DPFrm, IIC_iUNAsi,
2015                "sbfx", "\t$Rd, $Rn, $lsb, $width", "", []>,
2016                Requires<[IsARM, HasV6T2]> {
2017   bits<4> Rd;
2018   bits<4> Rn;
2019   bits<5> lsb;
2020   bits<5> width;
2021   let Inst{27-21} = 0b0111101;
2022   let Inst{6-4}   = 0b101;
2023   let Inst{20-16} = width;
2024   let Inst{15-12} = Rd;
2025   let Inst{11-7}  = lsb;
2026   let Inst{3-0}   = Rn;
2027 }
2028
2029 def UBFX  : I<(outs GPR:$Rd),
2030               (ins GPR:$Rn, imm0_31:$lsb, imm0_31_m1:$width),
2031                AddrMode1, Size4Bytes, IndexModeNone, DPFrm, IIC_iUNAsi,
2032                "ubfx", "\t$Rd, $Rn, $lsb, $width", "", []>,
2033                Requires<[IsARM, HasV6T2]> {
2034   bits<4> Rd;
2035   bits<4> Rn;
2036   bits<5> lsb;
2037   bits<5> width;
2038   let Inst{27-21} = 0b0111111;
2039   let Inst{6-4}   = 0b101;
2040   let Inst{20-16} = width;
2041   let Inst{15-12} = Rd;
2042   let Inst{11-7}  = lsb;
2043   let Inst{3-0}   = Rn;
2044 }
2045
2046 //===----------------------------------------------------------------------===//
2047 //  Arithmetic Instructions.
2048 //
2049
2050 defm ADD  : AsI1_bin_irs<0b0100, "add",
2051                          IIC_iALUi, IIC_iALUr, IIC_iALUsr,
2052                          BinOpFrag<(add  node:$LHS, node:$RHS)>, 1>;
2053 defm SUB  : AsI1_bin_irs<0b0010, "sub",
2054                          IIC_iALUi, IIC_iALUr, IIC_iALUsr,
2055                          BinOpFrag<(sub  node:$LHS, node:$RHS)>>;
2056
2057 // ADD and SUB with 's' bit set.
2058 defm ADDS : AI1_bin_s_irs<0b0100, "adds",
2059                           IIC_iALUi, IIC_iALUr, IIC_iALUsr,
2060                           BinOpFrag<(addc node:$LHS, node:$RHS)>, 1>;
2061 defm SUBS : AI1_bin_s_irs<0b0010, "subs",
2062                           IIC_iALUi, IIC_iALUr, IIC_iALUsr,
2063                           BinOpFrag<(subc node:$LHS, node:$RHS)>>;
2064
2065 defm ADC : AI1_adde_sube_irs<0b0101, "adc",
2066                           BinOpFrag<(adde_dead_carry node:$LHS, node:$RHS)>, 1>;
2067 defm SBC : AI1_adde_sube_irs<0b0110, "sbc",
2068                           BinOpFrag<(sube_dead_carry node:$LHS, node:$RHS)>>;
2069 defm ADCS : AI1_adde_sube_s_irs<0b0101, "adcs",
2070                           BinOpFrag<(adde_live_carry node:$LHS, node:$RHS)>, 1>;
2071 defm SBCS : AI1_adde_sube_s_irs<0b0110, "sbcs",
2072                           BinOpFrag<(sube_live_carry node:$LHS, node:$RHS) >>;
2073
2074 def RSBri : AsI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm), DPFrm,
2075                  IIC_iALUi, "rsb", "\t$Rd, $Rn, $imm",
2076                  [(set GPR:$Rd, (sub so_imm:$imm, GPR:$Rn))]> {
2077   bits<4> Rd;
2078   bits<4> Rn;
2079   bits<12> imm;
2080   let Inst{25} = 1;
2081   let Inst{15-12} = Rd;
2082   let Inst{19-16} = Rn;
2083   let Inst{11-0} = imm;
2084 }
2085
2086 // The reg/reg form is only defined for the disassembler; for codegen it is
2087 // equivalent to SUBrr.
2088 def RSBrr : AsI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm), DPFrm,
2089                  IIC_iALUr, "rsb", "\t$Rd, $Rn, $Rm",
2090                  [/* For disassembly only; pattern left blank */]> {
2091   bits<4> Rd;
2092   bits<4> Rn;
2093   bits<4> Rm;
2094   let Inst{11-4} = 0b00000000;
2095   let Inst{25} = 0;
2096   let Inst{3-0} = Rm;
2097   let Inst{15-12} = Rd;
2098   let Inst{19-16} = Rn;
2099 }
2100
2101 def RSBrs : AsI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
2102                  DPSoRegFrm, IIC_iALUsr, "rsb", "\t$Rd, $Rn, $shift",
2103                  [(set GPR:$Rd, (sub so_reg:$shift, GPR:$Rn))]> {
2104   bits<4> Rd;
2105   bits<4> Rn;
2106   bits<12> shift;
2107   let Inst{25} = 0;
2108   let Inst{11-0} = shift;
2109   let Inst{15-12} = Rd;
2110   let Inst{19-16} = Rn;
2111 }
2112
2113 // RSB with 's' bit set.
2114 let Defs = [CPSR] in {
2115 def RSBSri : AI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm), DPFrm,
2116                  IIC_iALUi, "rsbs", "\t$Rd, $Rn, $imm",
2117                  [(set GPR:$Rd, (subc so_imm:$imm, GPR:$Rn))]> {
2118   bits<4> Rd;
2119   bits<4> Rn;
2120   bits<12> imm;
2121   let Inst{25} = 1;
2122   let Inst{20} = 1;
2123   let Inst{15-12} = Rd;
2124   let Inst{19-16} = Rn;
2125   let Inst{11-0} = imm;
2126 }
2127 def RSBSrs : AI1<0b0011, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
2128                  DPSoRegFrm, IIC_iALUsr, "rsbs", "\t$Rd, $Rn, $shift",
2129                  [(set GPR:$Rd, (subc so_reg:$shift, GPR:$Rn))]> {
2130   bits<4> Rd;
2131   bits<4> Rn;
2132   bits<12> shift;
2133   let Inst{25} = 0;
2134   let Inst{20} = 1;
2135   let Inst{11-0} = shift;
2136   let Inst{15-12} = Rd;
2137   let Inst{19-16} = Rn;
2138 }
2139 }
2140
2141 let Uses = [CPSR] in {
2142 def RSCri : AsI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm),
2143                  DPFrm, IIC_iALUi, "rsc", "\t$Rd, $Rn, $imm",
2144                  [(set GPR:$Rd, (sube_dead_carry so_imm:$imm, GPR:$Rn))]>,
2145                  Requires<[IsARM]> {
2146   bits<4> Rd;
2147   bits<4> Rn;
2148   bits<12> imm;
2149   let Inst{25} = 1;
2150   let Inst{15-12} = Rd;
2151   let Inst{19-16} = Rn;
2152   let Inst{11-0} = imm;
2153 }
2154 // The reg/reg form is only defined for the disassembler; for codegen it is
2155 // equivalent to SUBrr.
2156 def RSCrr : AsI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2157                  DPFrm, IIC_iALUr, "rsc", "\t$Rd, $Rn, $Rm",
2158                  [/* For disassembly only; pattern left blank */]> {
2159   bits<4> Rd;
2160   bits<4> Rn;
2161   bits<4> Rm;
2162   let Inst{11-4} = 0b00000000;
2163   let Inst{25} = 0;
2164   let Inst{3-0} = Rm;
2165   let Inst{15-12} = Rd;
2166   let Inst{19-16} = Rn;
2167 }
2168 def RSCrs : AsI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
2169                  DPSoRegFrm, IIC_iALUsr, "rsc", "\t$Rd, $Rn, $shift",
2170                  [(set GPR:$Rd, (sube_dead_carry so_reg:$shift, GPR:$Rn))]>,
2171                  Requires<[IsARM]> {
2172   bits<4> Rd;
2173   bits<4> Rn;
2174   bits<12> shift;
2175   let Inst{25} = 0;
2176   let Inst{11-0} = shift;
2177   let Inst{15-12} = Rd;
2178   let Inst{19-16} = Rn;
2179 }
2180 }
2181
2182 // FIXME: Allow these to be predicated.
2183 let Defs = [CPSR], Uses = [CPSR] in {
2184 def RSCSri : AXI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, so_imm:$imm),
2185                   DPFrm, IIC_iALUi, "rscs\t$Rd, $Rn, $imm",
2186                   [(set GPR:$Rd, (sube_dead_carry so_imm:$imm, GPR:$Rn))]>,
2187                   Requires<[IsARM]> {
2188   bits<4> Rd;
2189   bits<4> Rn;
2190   bits<12> imm;
2191   let Inst{25} = 1;
2192   let Inst{20} = 1;
2193   let Inst{15-12} = Rd;
2194   let Inst{19-16} = Rn;
2195   let Inst{11-0} = imm;
2196 }
2197 def RSCSrs : AXI1<0b0111, (outs GPR:$Rd), (ins GPR:$Rn, so_reg:$shift),
2198                   DPSoRegFrm, IIC_iALUsr, "rscs\t$Rd, $Rn, $shift",
2199                   [(set GPR:$Rd, (sube_dead_carry so_reg:$shift, GPR:$Rn))]>,
2200                   Requires<[IsARM]> {
2201   bits<4> Rd;
2202   bits<4> Rn;
2203   bits<12> shift;
2204   let Inst{25} = 0;
2205   let Inst{20} = 1;
2206   let Inst{11-0} = shift;
2207   let Inst{15-12} = Rd;
2208   let Inst{19-16} = Rn;
2209 }
2210 }
2211
2212 // (sub X, imm) gets canonicalized to (add X, -imm).  Match this form.
2213 // The assume-no-carry-in form uses the negation of the input since add/sub
2214 // assume opposite meanings of the carry flag (i.e., carry == !borrow).
2215 // See the definition of AddWithCarry() in the ARM ARM A2.2.1 for the gory
2216 // details.
2217 def : ARMPat<(add    GPR:$src, so_imm_neg:$imm),
2218              (SUBri  GPR:$src, so_imm_neg:$imm)>;
2219 def : ARMPat<(addc   GPR:$src, so_imm_neg:$imm),
2220              (SUBSri GPR:$src, so_imm_neg:$imm)>;
2221 // The with-carry-in form matches bitwise not instead of the negation.
2222 // Effectively, the inverse interpretation of the carry flag already accounts
2223 // for part of the negation.
2224 def : ARMPat<(adde   GPR:$src, so_imm_not:$imm),
2225              (SBCri  GPR:$src, so_imm_not:$imm)>;
2226
2227 // Note: These are implemented in C++ code, because they have to generate
2228 // ADD/SUBrs instructions, which use a complex pattern that a xform function
2229 // cannot produce.
2230 // (mul X, 2^n+1) -> (add (X << n), X)
2231 // (mul X, 2^n-1) -> (rsb X, (X << n))
2232
2233 // ARM Arithmetic Instruction -- for disassembly only
2234 // GPR:$dst = GPR:$a op GPR:$b
2235 class AAI<bits<8> op27_20, bits<8> op11_4, string opc,
2236           list<dag> pattern = [/* For disassembly only; pattern left blank */]>
2237   : AI<(outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm), DPFrm, IIC_iALUr,
2238        opc, "\t$Rd, $Rn, $Rm", pattern> {
2239   bits<4> Rd;
2240   bits<4> Rn;
2241   bits<4> Rm;
2242   let Inst{27-20} = op27_20;
2243   let Inst{11-4} = op11_4;
2244   let Inst{19-16} = Rn;
2245   let Inst{15-12} = Rd;
2246   let Inst{3-0}   = Rm;
2247 }
2248
2249 // Saturating add/subtract -- for disassembly only
2250
2251 def QADD    : AAI<0b00010000, 0b00000101, "qadd",
2252                   [(set GPR:$Rd, (int_arm_qadd GPR:$Rn, GPR:$Rm))]>;
2253 def QSUB    : AAI<0b00010010, 0b00000101, "qsub",
2254                   [(set GPR:$Rd, (int_arm_qsub GPR:$Rn, GPR:$Rm))]>;
2255 def QDADD   : AAI<0b00010100, 0b00000101, "qdadd">;
2256 def QDSUB   : AAI<0b00010110, 0b00000101, "qdsub">;
2257
2258 def QADD16  : AAI<0b01100010, 0b11110001, "qadd16">;
2259 def QADD8   : AAI<0b01100010, 0b11111001, "qadd8">;
2260 def QASX    : AAI<0b01100010, 0b11110011, "qasx">;
2261 def QSAX    : AAI<0b01100010, 0b11110101, "qsax">;
2262 def QSUB16  : AAI<0b01100010, 0b11110111, "qsub16">;
2263 def QSUB8   : AAI<0b01100010, 0b11111111, "qsub8">;
2264 def UQADD16 : AAI<0b01100110, 0b11110001, "uqadd16">;
2265 def UQADD8  : AAI<0b01100110, 0b11111001, "uqadd8">;
2266 def UQASX   : AAI<0b01100110, 0b11110011, "uqasx">;
2267 def UQSAX   : AAI<0b01100110, 0b11110101, "uqsax">;
2268 def UQSUB16 : AAI<0b01100110, 0b11110111, "uqsub16">;
2269 def UQSUB8  : AAI<0b01100110, 0b11111111, "uqsub8">;
2270
2271 // Signed/Unsigned add/subtract -- for disassembly only
2272
2273 def SASX   : AAI<0b01100001, 0b11110011, "sasx">;
2274 def SADD16 : AAI<0b01100001, 0b11110001, "sadd16">;
2275 def SADD8  : AAI<0b01100001, 0b11111001, "sadd8">;
2276 def SSAX   : AAI<0b01100001, 0b11110101, "ssax">;
2277 def SSUB16 : AAI<0b01100001, 0b11110111, "ssub16">;
2278 def SSUB8  : AAI<0b01100001, 0b11111111, "ssub8">;
2279 def UASX   : AAI<0b01100101, 0b11110011, "uasx">;
2280 def UADD16 : AAI<0b01100101, 0b11110001, "uadd16">;
2281 def UADD8  : AAI<0b01100101, 0b11111001, "uadd8">;
2282 def USAX   : AAI<0b01100101, 0b11110101, "usax">;
2283 def USUB16 : AAI<0b01100101, 0b11110111, "usub16">;
2284 def USUB8  : AAI<0b01100101, 0b11111111, "usub8">;
2285
2286 // Signed/Unsigned halving add/subtract -- for disassembly only
2287
2288 def SHASX   : AAI<0b01100011, 0b11110011, "shasx">;
2289 def SHADD16 : AAI<0b01100011, 0b11110001, "shadd16">;
2290 def SHADD8  : AAI<0b01100011, 0b11111001, "shadd8">;
2291 def SHSAX   : AAI<0b01100011, 0b11110101, "shsax">;
2292 def SHSUB16 : AAI<0b01100011, 0b11110111, "shsub16">;
2293 def SHSUB8  : AAI<0b01100011, 0b11111111, "shsub8">;
2294 def UHASX   : AAI<0b01100111, 0b11110011, "uhasx">;
2295 def UHADD16 : AAI<0b01100111, 0b11110001, "uhadd16">;
2296 def UHADD8  : AAI<0b01100111, 0b11111001, "uhadd8">;
2297 def UHSAX   : AAI<0b01100111, 0b11110101, "uhsax">;
2298 def UHSUB16 : AAI<0b01100111, 0b11110111, "uhsub16">;
2299 def UHSUB8  : AAI<0b01100111, 0b11111111, "uhsub8">;
2300
2301 // Unsigned Sum of Absolute Differences [and Accumulate] -- for disassembly only
2302
2303 def USAD8  : AI<(outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2304                 MulFrm /* for convenience */, NoItinerary, "usad8",
2305                 "\t$Rd, $Rn, $Rm", []>,
2306              Requires<[IsARM, HasV6]> {
2307   bits<4> Rd;
2308   bits<4> Rn;
2309   bits<4> Rm;
2310   let Inst{27-20} = 0b01111000;
2311   let Inst{15-12} = 0b1111;
2312   let Inst{7-4} = 0b0001;
2313   let Inst{19-16} = Rd;
2314   let Inst{11-8} = Rm;
2315   let Inst{3-0} = Rn;
2316 }
2317 def USADA8 : AI<(outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2318                 MulFrm /* for convenience */, NoItinerary, "usada8",
2319                 "\t$Rd, $Rn, $Rm, $Ra", []>,
2320              Requires<[IsARM, HasV6]> {
2321   bits<4> Rd;
2322   bits<4> Rn;
2323   bits<4> Rm;
2324   bits<4> Ra;
2325   let Inst{27-20} = 0b01111000;
2326   let Inst{7-4} = 0b0001;
2327   let Inst{19-16} = Rd;
2328   let Inst{15-12} = Ra;
2329   let Inst{11-8} = Rm;
2330   let Inst{3-0} = Rn;
2331 }
2332
2333 // Signed/Unsigned saturate -- for disassembly only
2334
2335 def SSAT : AI<(outs GPR:$Rd), (ins i32imm:$sat_imm, GPR:$a, shift_imm:$sh),
2336               SatFrm, NoItinerary, "ssat", "\t$Rd, $sat_imm, $a$sh",
2337               [/* For disassembly only; pattern left blank */]> {
2338   bits<4> Rd;
2339   bits<5> sat_imm;
2340   bits<4> Rn;
2341   bits<8> sh;
2342   let Inst{27-21} = 0b0110101;
2343   let Inst{5-4} = 0b01;
2344   let Inst{20-16} = sat_imm;
2345   let Inst{15-12} = Rd;
2346   let Inst{11-7} = sh{7-3};
2347   let Inst{6} = sh{0};
2348   let Inst{3-0} = Rn;
2349 }
2350
2351 def SSAT16 : AI<(outs GPR:$Rd), (ins i32imm:$sat_imm, GPR:$Rn), SatFrm,
2352                 NoItinerary, "ssat16", "\t$Rd, $sat_imm, $Rn",
2353                 [/* For disassembly only; pattern left blank */]> {
2354   bits<4> Rd;
2355   bits<4> sat_imm;
2356   bits<4> Rn;
2357   let Inst{27-20} = 0b01101010;
2358   let Inst{11-4} = 0b11110011;
2359   let Inst{15-12} = Rd;
2360   let Inst{19-16} = sat_imm;
2361   let Inst{3-0} = Rn;
2362 }
2363
2364 def USAT : AI<(outs GPR:$Rd), (ins i32imm:$sat_imm, GPR:$a, shift_imm:$sh),
2365               SatFrm, NoItinerary, "usat", "\t$Rd, $sat_imm, $a$sh",
2366               [/* For disassembly only; pattern left blank */]> {
2367   bits<4> Rd;
2368   bits<5> sat_imm;
2369   bits<4> Rn;
2370   bits<8> sh;
2371   let Inst{27-21} = 0b0110111;
2372   let Inst{5-4} = 0b01;
2373   let Inst{15-12} = Rd;
2374   let Inst{11-7} = sh{7-3};
2375   let Inst{6} = sh{0};
2376   let Inst{20-16} = sat_imm;
2377   let Inst{3-0} = Rn;
2378 }
2379
2380 def USAT16 : AI<(outs GPR:$Rd), (ins i32imm:$sat_imm, GPR:$a), SatFrm,
2381                 NoItinerary, "usat16", "\t$Rd, $sat_imm, $a",
2382                 [/* For disassembly only; pattern left blank */]> {
2383   bits<4> Rd;
2384   bits<4> sat_imm;
2385   bits<4> Rn;
2386   let Inst{27-20} = 0b01101110;
2387   let Inst{11-4} = 0b11110011;
2388   let Inst{15-12} = Rd;
2389   let Inst{19-16} = sat_imm;
2390   let Inst{3-0} = Rn;
2391 }
2392
2393 def : ARMV6Pat<(int_arm_ssat GPR:$a, imm:$pos), (SSAT imm:$pos, GPR:$a, 0)>;
2394 def : ARMV6Pat<(int_arm_usat GPR:$a, imm:$pos), (USAT imm:$pos, GPR:$a, 0)>;
2395
2396 //===----------------------------------------------------------------------===//
2397 //  Bitwise Instructions.
2398 //
2399
2400 defm AND   : AsI1_bin_irs<0b0000, "and",
2401                           IIC_iBITi, IIC_iBITr, IIC_iBITsr,
2402                           BinOpFrag<(and node:$LHS, node:$RHS)>, 1>;
2403 defm ORR   : AsI1_bin_irs<0b1100, "orr",
2404                           IIC_iBITi, IIC_iBITr, IIC_iBITsr,
2405                           BinOpFrag<(or  node:$LHS, node:$RHS)>, 1>;
2406 defm EOR   : AsI1_bin_irs<0b0001, "eor",
2407                           IIC_iBITi, IIC_iBITr, IIC_iBITsr,
2408                           BinOpFrag<(xor node:$LHS, node:$RHS)>, 1>;
2409 defm BIC   : AsI1_bin_irs<0b1110, "bic",
2410                           IIC_iBITi, IIC_iBITr, IIC_iBITsr,
2411                           BinOpFrag<(and node:$LHS, (not node:$RHS))>>;
2412
2413 def BFC    : I<(outs GPR:$Rd), (ins GPR:$src, bf_inv_mask_imm:$imm),
2414                AddrMode1, Size4Bytes, IndexModeNone, DPFrm, IIC_iUNAsi,
2415                "bfc", "\t$Rd, $imm", "$src = $Rd",
2416                [(set GPR:$Rd, (and GPR:$src, bf_inv_mask_imm:$imm))]>,
2417                Requires<[IsARM, HasV6T2]> {
2418   bits<4> Rd;
2419   bits<10> imm;
2420   let Inst{27-21} = 0b0111110;
2421   let Inst{6-0}   = 0b0011111;
2422   let Inst{15-12} = Rd;
2423   let Inst{11-7}  = imm{4-0}; // lsb
2424   let Inst{20-16} = imm{9-5}; // width
2425 }
2426
2427 // A8.6.18  BFI - Bitfield insert (Encoding A1)
2428 def BFI    : I<(outs GPR:$Rd), (ins GPR:$src, GPR:$Rn, bf_inv_mask_imm:$imm),
2429                AddrMode1, Size4Bytes, IndexModeNone, DPFrm, IIC_iUNAsi,
2430                "bfi", "\t$Rd, $Rn, $imm", "$src = $Rd",
2431                [(set GPR:$Rd, (ARMbfi GPR:$src, GPR:$Rn,
2432                                 bf_inv_mask_imm:$imm))]>,
2433                Requires<[IsARM, HasV6T2]> {
2434   bits<4> Rd;
2435   bits<4> Rn;
2436   bits<10> imm;
2437   let Inst{27-21} = 0b0111110;
2438   let Inst{6-4}   = 0b001; // Rn: Inst{3-0} != 15
2439   let Inst{15-12} = Rd;
2440   let Inst{11-7}  = imm{4-0}; // lsb
2441   let Inst{20-16} = imm{9-5}; // width
2442   let Inst{3-0}   = Rn;
2443 }
2444
2445 def  MVNr  : AsI1<0b1111, (outs GPR:$Rd), (ins GPR:$Rm), DPFrm, IIC_iMVNr,
2446                   "mvn", "\t$Rd, $Rm",
2447                   [(set GPR:$Rd, (not GPR:$Rm))]>, UnaryDP {
2448   bits<4> Rd;
2449   bits<4> Rm;
2450   let Inst{25} = 0;
2451   let Inst{19-16} = 0b0000;
2452   let Inst{11-4} = 0b00000000;
2453   let Inst{15-12} = Rd;
2454   let Inst{3-0} = Rm;
2455 }
2456 def  MVNs  : AsI1<0b1111, (outs GPR:$Rd), (ins so_reg:$shift), DPSoRegFrm,
2457                   IIC_iMVNsr, "mvn", "\t$Rd, $shift",
2458                   [(set GPR:$Rd, (not so_reg:$shift))]>, UnaryDP {
2459   bits<4> Rd;
2460   bits<12> shift;
2461   let Inst{25} = 0;
2462   let Inst{19-16} = 0b0000;
2463   let Inst{15-12} = Rd;
2464   let Inst{11-0} = shift;
2465 }
2466 let isReMaterializable = 1, isAsCheapAsAMove = 1, isMoveImm = 1 in
2467 def  MVNi  : AsI1<0b1111, (outs GPR:$Rd), (ins so_imm:$imm), DPFrm,
2468                   IIC_iMVNi, "mvn", "\t$Rd, $imm",
2469                   [(set GPR:$Rd, so_imm_not:$imm)]>,UnaryDP {
2470   bits<4> Rd;
2471   bits<12> imm;
2472   let Inst{25} = 1;
2473   let Inst{19-16} = 0b0000;
2474   let Inst{15-12} = Rd;
2475   let Inst{11-0} = imm;
2476 }
2477
2478 def : ARMPat<(and   GPR:$src, so_imm_not:$imm),
2479              (BICri GPR:$src, so_imm_not:$imm)>;
2480
2481 //===----------------------------------------------------------------------===//
2482 //  Multiply Instructions.
2483 //
2484 class AsMul1I32<bits<7> opcod, dag oops, dag iops, InstrItinClass itin,
2485              string opc, string asm, list<dag> pattern>
2486   : AsMul1I<opcod, oops, iops, itin, opc, asm, pattern> {
2487   bits<4> Rd;
2488   bits<4> Rm;
2489   bits<4> Rn;
2490   let Inst{19-16} = Rd;
2491   let Inst{11-8}  = Rm;
2492   let Inst{3-0}   = Rn;
2493 }
2494 class AsMul1I64<bits<7> opcod, dag oops, dag iops, InstrItinClass itin,
2495              string opc, string asm, list<dag> pattern>
2496   : AsMul1I<opcod, oops, iops, itin, opc, asm, pattern> {
2497   bits<4> RdLo;
2498   bits<4> RdHi;
2499   bits<4> Rm;
2500   bits<4> Rn;
2501   let Inst{19-16} = RdHi;
2502   let Inst{15-12} = RdLo;
2503   let Inst{11-8}  = Rm;
2504   let Inst{3-0}   = Rn;
2505 }
2506
2507 let isCommutable = 1 in
2508 def MUL  : AsMul1I32<0b0000000, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2509                    IIC_iMUL32, "mul", "\t$Rd, $Rn, $Rm",
2510                    [(set GPR:$Rd, (mul GPR:$Rn, GPR:$Rm))]>;
2511
2512 def MLA  : AsMul1I32<0b0000001, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2513                     IIC_iMAC32, "mla", "\t$Rd, $Rn, $Rm, $Ra",
2514                    [(set GPR:$Rd, (add (mul GPR:$Rn, GPR:$Rm), GPR:$Ra))]> {
2515   bits<4> Ra;
2516   let Inst{15-12} = Ra;
2517 }
2518
2519 def MLS  : AMul1I<0b0000011, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2520                    IIC_iMAC32, "mls", "\t$Rd, $Rn, $Rm, $Ra",
2521                    [(set GPR:$Rd, (sub GPR:$Ra, (mul GPR:$Rn, GPR:$Rm)))]>,
2522                    Requires<[IsARM, HasV6T2]> {
2523   bits<4> Rd;
2524   bits<4> Rm;
2525   bits<4> Rn;
2526   bits<4> Ra;
2527   let Inst{19-16} = Rd;
2528   let Inst{15-12} = Ra;
2529   let Inst{11-8}  = Rm;
2530   let Inst{3-0}   = Rn;
2531 }
2532
2533 // Extra precision multiplies with low / high results
2534
2535 let neverHasSideEffects = 1 in {
2536 let isCommutable = 1 in {
2537 def SMULL : AsMul1I64<0b0000110, (outs GPR:$RdLo, GPR:$RdHi),
2538                                (ins GPR:$Rn, GPR:$Rm), IIC_iMUL64,
2539                     "smull", "\t$RdLo, $RdHi, $Rn, $Rm", []>;
2540
2541 def UMULL : AsMul1I64<0b0000100, (outs GPR:$RdLo, GPR:$RdHi),
2542                                (ins GPR:$Rn, GPR:$Rm), IIC_iMUL64,
2543                     "umull", "\t$RdLo, $RdHi, $Rn, $Rm", []>;
2544 }
2545
2546 // Multiply + accumulate
2547 def SMLAL : AsMul1I64<0b0000111, (outs GPR:$RdLo, GPR:$RdHi),
2548                                (ins GPR:$Rn, GPR:$Rm), IIC_iMAC64,
2549                     "smlal", "\t$RdLo, $RdHi, $Rn, $Rm", []>;
2550
2551 def UMLAL : AsMul1I64<0b0000101, (outs GPR:$RdLo, GPR:$RdHi),
2552                                (ins GPR:$Rn, GPR:$Rm), IIC_iMAC64,
2553                     "umlal", "\t$RdLo, $RdHi, $Rn, $Rm", []>;
2554
2555 def UMAAL : AMul1I <0b0000010, (outs GPR:$RdLo, GPR:$RdHi),
2556                                (ins GPR:$Rn, GPR:$Rm), IIC_iMAC64,
2557                     "umaal", "\t$RdLo, $RdHi, $Rn, $Rm", []>,
2558                     Requires<[IsARM, HasV6]> {
2559   bits<4> RdLo;
2560   bits<4> RdHi;
2561   bits<4> Rm;
2562   bits<4> Rn;
2563   let Inst{19-16} = RdLo;
2564   let Inst{15-12} = RdHi;
2565   let Inst{11-8}  = Rm;
2566   let Inst{3-0}   = Rn;
2567 }
2568 } // neverHasSideEffects
2569
2570 // Most significant word multiply
2571 def SMMUL : AMul2I <0b0111010, 0b0001, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2572                IIC_iMUL32, "smmul", "\t$Rd, $Rn, $Rm",
2573                [(set GPR:$Rd, (mulhs GPR:$Rn, GPR:$Rm))]>,
2574             Requires<[IsARM, HasV6]> {
2575   let Inst{15-12} = 0b1111;
2576 }
2577
2578 def SMMULR : AMul2I <0b0111010, 0b0011, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2579                IIC_iMUL32, "smmulr", "\t$Rd, $Rn, $Rm",
2580                [/* For disassembly only; pattern left blank */]>,
2581             Requires<[IsARM, HasV6]> {
2582   let Inst{15-12} = 0b1111;
2583 }
2584
2585 def SMMLA : AMul2Ia <0b0111010, 0b0001, (outs GPR:$Rd),
2586                (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2587                IIC_iMAC32, "smmla", "\t$Rd, $Rn, $Rm, $Ra",
2588                [(set GPR:$Rd, (add (mulhs GPR:$Rn, GPR:$Rm), GPR:$Ra))]>,
2589             Requires<[IsARM, HasV6]>;
2590
2591 def SMMLAR : AMul2Ia <0b0111010, 0b0011, (outs GPR:$Rd),
2592                (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2593                IIC_iMAC32, "smmlar", "\t$Rd, $Rn, $Rm, $Ra",
2594                [/* For disassembly only; pattern left blank */]>,
2595             Requires<[IsARM, HasV6]>;
2596
2597 def SMMLS : AMul2Ia <0b0111010, 0b1101, (outs GPR:$Rd),
2598                (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2599                IIC_iMAC32, "smmls", "\t$Rd, $Rn, $Rm, $Ra",
2600                [(set GPR:$Rd, (sub GPR:$Ra, (mulhs GPR:$Rn, GPR:$Rm)))]>,
2601             Requires<[IsARM, HasV6]>;
2602
2603 def SMMLSR : AMul2Ia <0b0111010, 0b1111, (outs GPR:$Rd),
2604                (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2605                IIC_iMAC32, "smmlsr", "\t$Rd, $Rn, $Rm, $Ra",
2606                [/* For disassembly only; pattern left blank */]>,
2607             Requires<[IsARM, HasV6]>;
2608
2609 multiclass AI_smul<string opc, PatFrag opnode> {
2610   def BB : AMulxyI<0b0001011, 0b00, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2611               IIC_iMUL16, !strconcat(opc, "bb"), "\t$Rd, $Rn, $Rm",
2612               [(set GPR:$Rd, (opnode (sext_inreg GPR:$Rn, i16),
2613                                       (sext_inreg GPR:$Rm, i16)))]>,
2614            Requires<[IsARM, HasV5TE]>;
2615
2616   def BT : AMulxyI<0b0001011, 0b10, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2617               IIC_iMUL16, !strconcat(opc, "bt"), "\t$Rd, $Rn, $Rm",
2618               [(set GPR:$Rd, (opnode (sext_inreg GPR:$Rn, i16),
2619                                       (sra GPR:$Rm, (i32 16))))]>,
2620            Requires<[IsARM, HasV5TE]>;
2621
2622   def TB : AMulxyI<0b0001011, 0b01, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2623               IIC_iMUL16, !strconcat(opc, "tb"), "\t$Rd, $Rn, $Rm",
2624               [(set GPR:$Rd, (opnode (sra GPR:$Rn, (i32 16)),
2625                                       (sext_inreg GPR:$Rm, i16)))]>,
2626            Requires<[IsARM, HasV5TE]>;
2627
2628   def TT : AMulxyI<0b0001011, 0b11, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2629               IIC_iMUL16, !strconcat(opc, "tt"), "\t$Rd, $Rn, $Rm",
2630               [(set GPR:$Rd, (opnode (sra GPR:$Rn, (i32 16)),
2631                                       (sra GPR:$Rm, (i32 16))))]>,
2632             Requires<[IsARM, HasV5TE]>;
2633
2634   def WB : AMulxyI<0b0001001, 0b01, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2635               IIC_iMUL16, !strconcat(opc, "wb"), "\t$Rd, $Rn, $Rm",
2636               [(set GPR:$Rd, (sra (opnode GPR:$Rn,
2637                                     (sext_inreg GPR:$Rm, i16)), (i32 16)))]>,
2638            Requires<[IsARM, HasV5TE]>;
2639
2640   def WT : AMulxyI<0b0001001, 0b11, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2641               IIC_iMUL16, !strconcat(opc, "wt"), "\t$Rd, $Rn, $Rm",
2642               [(set GPR:$Rd, (sra (opnode GPR:$Rn,
2643                                     (sra GPR:$Rm, (i32 16))), (i32 16)))]>,
2644             Requires<[IsARM, HasV5TE]>;
2645 }
2646
2647
2648 multiclass AI_smla<string opc, PatFrag opnode> {
2649   def BB : AMulxyIa<0b0001000, 0b00, (outs GPR:$Rd),
2650               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2651               IIC_iMAC16, !strconcat(opc, "bb"), "\t$Rd, $Rn, $Rm, $Ra",
2652               [(set GPR:$Rd, (add GPR:$Ra,
2653                                (opnode (sext_inreg GPR:$Rn, i16),
2654                                        (sext_inreg GPR:$Rm, i16))))]>,
2655            Requires<[IsARM, HasV5TE]>;
2656
2657   def BT : AMulxyIa<0b0001000, 0b10, (outs GPR:$Rd),
2658               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2659               IIC_iMAC16, !strconcat(opc, "bt"), "\t$Rd, $Rn, $Rm, $Ra",
2660               [(set GPR:$Rd, (add GPR:$Ra, (opnode (sext_inreg GPR:$Rn, i16),
2661                                                    (sra GPR:$Rm, (i32 16)))))]>,
2662            Requires<[IsARM, HasV5TE]>;
2663
2664   def TB : AMulxyIa<0b0001000, 0b01, (outs GPR:$Rd),
2665               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2666               IIC_iMAC16, !strconcat(opc, "tb"), "\t$Rd, $Rn, $Rm, $Ra",
2667               [(set GPR:$Rd, (add GPR:$Ra, (opnode (sra GPR:$Rn, (i32 16)),
2668                                                 (sext_inreg GPR:$Rm, i16))))]>,
2669            Requires<[IsARM, HasV5TE]>;
2670
2671   def TT : AMulxyIa<0b0001000, 0b11, (outs GPR:$Rd),
2672               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2673               IIC_iMAC16, !strconcat(opc, "tt"), "\t$Rd, $Rn, $Rm, $Ra",
2674              [(set GPR:$Rd, (add GPR:$Ra, (opnode (sra GPR:$Rn, (i32 16)),
2675                                                    (sra GPR:$Rm, (i32 16)))))]>,
2676             Requires<[IsARM, HasV5TE]>;
2677
2678   def WB : AMulxyIa<0b0001001, 0b00, (outs GPR:$Rd),
2679               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2680               IIC_iMAC16, !strconcat(opc, "wb"), "\t$Rd, $Rn, $Rm, $Ra",
2681               [(set GPR:$Rd, (add GPR:$Ra, (sra (opnode GPR:$Rn,
2682                                       (sext_inreg GPR:$Rm, i16)), (i32 16))))]>,
2683            Requires<[IsARM, HasV5TE]>;
2684
2685   def WT : AMulxyIa<0b0001001, 0b10, (outs GPR:$Rd),
2686               (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2687               IIC_iMAC16, !strconcat(opc, "wt"), "\t$Rd, $Rn, $Rm, $Ra",
2688               [(set GPR:$Rd, (add GPR:$Ra, (sra (opnode GPR:$Rn,
2689                                         (sra GPR:$Rm, (i32 16))), (i32 16))))]>,
2690             Requires<[IsARM, HasV5TE]>;
2691 }
2692
2693 defm SMUL : AI_smul<"smul", BinOpFrag<(mul node:$LHS, node:$RHS)>>;
2694 defm SMLA : AI_smla<"smla", BinOpFrag<(mul node:$LHS, node:$RHS)>>;
2695
2696 // Halfword multiply accumulate long: SMLAL<x><y> -- for disassembly only
2697 def SMLALBB : AMulxyI64<0b0001010, 0b00, (outs GPR:$RdLo, GPR:$RdHi),
2698                       (ins GPR:$Rn, GPR:$Rm),
2699                       IIC_iMAC64, "smlalbb", "\t$RdLo, $RdHi, $Rn, $Rm",
2700                       [/* For disassembly only; pattern left blank */]>,
2701               Requires<[IsARM, HasV5TE]>;
2702
2703 def SMLALBT : AMulxyI64<0b0001010, 0b10, (outs GPR:$RdLo, GPR:$RdHi),
2704                       (ins GPR:$Rn, GPR:$Rm),
2705                       IIC_iMAC64, "smlalbt", "\t$RdLo, $RdHi, $Rn, $Rm",
2706                       [/* For disassembly only; pattern left blank */]>,
2707               Requires<[IsARM, HasV5TE]>;
2708
2709 def SMLALTB : AMulxyI64<0b0001010, 0b01, (outs GPR:$RdLo, GPR:$RdHi),
2710                       (ins GPR:$Rn, GPR:$Rm),
2711                       IIC_iMAC64, "smlaltb", "\t$RdLo, $RdHi, $Rn, $Rm",
2712                       [/* For disassembly only; pattern left blank */]>,
2713               Requires<[IsARM, HasV5TE]>;
2714
2715 def SMLALTT : AMulxyI64<0b0001010, 0b11, (outs GPR:$RdLo, GPR:$RdHi),
2716                       (ins GPR:$Rn, GPR:$Rm),
2717                       IIC_iMAC64, "smlaltt", "\t$RdLo, $RdHi, $Rn, $Rm",
2718                       [/* For disassembly only; pattern left blank */]>,
2719               Requires<[IsARM, HasV5TE]>;
2720
2721 // Helper class for AI_smld -- for disassembly only
2722 class AMulDualIbase<bit long, bit sub, bit swap, dag oops, dag iops,
2723                     InstrItinClass itin, string opc, string asm>
2724   : AI<oops, iops, MulFrm, itin, opc, asm, []>, Requires<[IsARM, HasV6]> {
2725   bits<4> Rn;
2726   bits<4> Rm;
2727   let Inst{4}     = 1;
2728   let Inst{5}     = swap;
2729   let Inst{6}     = sub;
2730   let Inst{7}     = 0;
2731   let Inst{21-20} = 0b00;
2732   let Inst{22}    = long;
2733   let Inst{27-23} = 0b01110;
2734   let Inst{11-8}  = Rm;
2735   let Inst{3-0}   = Rn;
2736 }
2737 class AMulDualI<bit long, bit sub, bit swap, dag oops, dag iops,
2738                 InstrItinClass itin, string opc, string asm>
2739   : AMulDualIbase<long, sub, swap, oops, iops, itin, opc, asm> {
2740   bits<4> Rd;
2741   let Inst{15-12} = 0b1111;
2742   let Inst{19-16} = Rd;
2743 }
2744 class AMulDualIa<bit long, bit sub, bit swap, dag oops, dag iops,
2745                 InstrItinClass itin, string opc, string asm>
2746   : AMulDualIbase<long, sub, swap, oops, iops, itin, opc, asm> {
2747   bits<4> Ra;
2748   let Inst{15-12} = Ra;
2749 }
2750 class AMulDualI64<bit long, bit sub, bit swap, dag oops, dag iops,
2751                   InstrItinClass itin, string opc, string asm>
2752   : AMulDualIbase<long, sub, swap, oops, iops, itin, opc, asm> {
2753   bits<4> RdLo;
2754   bits<4> RdHi;
2755   let Inst{19-16} = RdHi;
2756   let Inst{15-12} = RdLo;
2757 }
2758
2759 multiclass AI_smld<bit sub, string opc> {
2760
2761   def D : AMulDualIa<0, sub, 0, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2762                   NoItinerary, !strconcat(opc, "d"), "\t$Rd, $Rn, $Rm, $Ra">;
2763
2764   def DX: AMulDualIa<0, sub, 1, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm, GPR:$Ra),
2765                   NoItinerary, !strconcat(opc, "dx"), "\t$Rd, $Rn, $Rm, $Ra">;
2766
2767   def LD: AMulDualI64<1, sub, 0, (outs GPR:$RdLo,GPR:$RdHi),
2768                   (ins GPR:$Rn, GPR:$Rm), NoItinerary,
2769                   !strconcat(opc, "ld"), "\t$RdLo, $RdHi, $Rn, $Rm">;
2770
2771   def LDX : AMulDualI64<1, sub, 1, (outs GPR:$RdLo,GPR:$RdHi),
2772                   (ins GPR:$Rn, GPR:$Rm), NoItinerary,
2773                   !strconcat(opc, "ldx"),"\t$RdLo, $RdHi, $Rn, $Rm">;
2774
2775 }
2776
2777 defm SMLA : AI_smld<0, "smla">;
2778 defm SMLS : AI_smld<1, "smls">;
2779
2780 multiclass AI_sdml<bit sub, string opc> {
2781
2782   def D : AMulDualI<0, sub, 0, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2783                     NoItinerary, !strconcat(opc, "d"), "\t$Rd, $Rn, $Rm">;
2784   def DX : AMulDualI<0, sub, 1, (outs GPR:$Rd), (ins GPR:$Rn, GPR:$Rm),
2785                     NoItinerary, !strconcat(opc, "dx"), "\t$Rd, $Rn, $Rm">;
2786 }
2787
2788 defm SMUA : AI_sdml<0, "smua">;
2789 defm SMUS : AI_sdml<1, "smus">;
2790
2791 //===----------------------------------------------------------------------===//
2792 //  Misc. Arithmetic Instructions.
2793 //
2794
2795 def CLZ  : AMiscA1I<0b000010110, 0b0001, (outs GPR:$Rd), (ins GPR:$Rm),
2796               IIC_iUNAr, "clz", "\t$Rd, $Rm",
2797               [(set GPR:$Rd, (ctlz GPR:$Rm))]>, Requires<[IsARM, HasV5T]>;
2798
2799 def RBIT : AMiscA1I<0b01101111, 0b0011, (outs GPR:$Rd), (ins GPR:$Rm),
2800               IIC_iUNAr, "rbit", "\t$Rd, $Rm",
2801               [(set GPR:$Rd, (ARMrbit GPR:$Rm))]>,
2802            Requires<[IsARM, HasV6T2]>;
2803
2804 def REV  : AMiscA1I<0b01101011, 0b0011, (outs GPR:$Rd), (ins GPR:$Rm),
2805               IIC_iUNAr, "rev", "\t$Rd, $Rm",
2806               [(set GPR:$Rd, (bswap GPR:$Rm))]>, Requires<[IsARM, HasV6]>;
2807
2808 def REV16 : AMiscA1I<0b01101011, 0b1011, (outs GPR:$Rd), (ins GPR:$Rm),
2809                IIC_iUNAr, "rev16", "\t$Rd, $Rm",
2810                [(set GPR:$Rd,
2811                    (or (and (srl GPR:$Rm, (i32 8)), 0xFF),
2812                        (or (and (shl GPR:$Rm, (i32 8)), 0xFF00),
2813                            (or (and (srl GPR:$Rm, (i32 8)), 0xFF0000),
2814                                (and (shl GPR:$Rm, (i32 8)), 0xFF000000)))))]>,
2815                Requires<[IsARM, HasV6]>;
2816
2817 def REVSH : AMiscA1I<0b01101111, 0b1011, (outs GPR:$Rd), (ins GPR:$Rm),
2818                IIC_iUNAr, "revsh", "\t$Rd, $Rm",
2819                [(set GPR:$Rd,
2820                   (sext_inreg
2821                     (or (srl (and GPR:$Rm, 0xFF00), (i32 8)),
2822                         (shl GPR:$Rm, (i32 8))), i16))]>,
2823                Requires<[IsARM, HasV6]>;
2824
2825 def lsl_shift_imm : SDNodeXForm<imm, [{
2826   unsigned Sh = ARM_AM::getSORegOpc(ARM_AM::lsl, N->getZExtValue());
2827   return CurDAG->getTargetConstant(Sh, MVT::i32);
2828 }]>;
2829
2830 def lsl_amt : PatLeaf<(i32 imm), [{
2831   return (N->getZExtValue() < 32);
2832 }], lsl_shift_imm>;
2833
2834 def PKHBT : APKHI<0b01101000, 0, (outs GPR:$Rd),
2835                               (ins GPR:$Rn, GPR:$Rm, shift_imm:$sh),
2836                IIC_iALUsi, "pkhbt", "\t$Rd, $Rn, $Rm$sh",
2837                [(set GPR:$Rd, (or (and GPR:$Rn, 0xFFFF),
2838                                   (and (shl GPR:$Rm, lsl_amt:$sh),
2839                                        0xFFFF0000)))]>,
2840                Requires<[IsARM, HasV6]>;
2841
2842 // Alternate cases for PKHBT where identities eliminate some nodes.
2843 def : ARMV6Pat<(or (and GPR:$Rn, 0xFFFF), (and GPR:$Rm, 0xFFFF0000)),
2844                (PKHBT GPR:$Rn, GPR:$Rm, 0)>;
2845 def : ARMV6Pat<(or (and GPR:$Rn, 0xFFFF), (shl GPR:$Rm, imm16_31:$sh)),
2846                (PKHBT GPR:$Rn, GPR:$Rm, (lsl_shift_imm imm16_31:$sh))>;
2847
2848 def asr_shift_imm : SDNodeXForm<imm, [{
2849   unsigned Sh = ARM_AM::getSORegOpc(ARM_AM::asr, N->getZExtValue());
2850   return CurDAG->getTargetConstant(Sh, MVT::i32);
2851 }]>;
2852
2853 def asr_amt : PatLeaf<(i32 imm), [{
2854   return (N->getZExtValue() <= 32);
2855 }], asr_shift_imm>;
2856
2857 // Note: Shifts of 1-15 bits will be transformed to srl instead of sra and
2858 // will match the pattern below.
2859 def PKHTB : APKHI<0b01101000, 1, (outs GPR:$Rd),
2860                               (ins GPR:$Rn, GPR:$Rm, shift_imm:$sh),
2861                IIC_iBITsi, "pkhtb", "\t$Rd, $Rn, $Rm$sh",
2862                [(set GPR:$Rd, (or (and GPR:$Rn, 0xFFFF0000),
2863                                   (and (sra GPR:$Rm, asr_amt:$sh),
2864                                        0xFFFF)))]>,
2865                Requires<[IsARM, HasV6]>;
2866
2867 // Alternate cases for PKHTB where identities eliminate some nodes.  Note that
2868 // a shift amount of 0 is *not legal* here, it is PKHBT instead.
2869 def : ARMV6Pat<(or (and GPR:$src1, 0xFFFF0000), (srl GPR:$src2, imm16_31:$sh)),
2870                (PKHTB GPR:$src1, GPR:$src2, (asr_shift_imm imm16_31:$sh))>;
2871 def : ARMV6Pat<(or (and GPR:$src1, 0xFFFF0000),
2872                    (and (srl GPR:$src2, imm1_15:$sh), 0xFFFF)),
2873                (PKHTB GPR:$src1, GPR:$src2, (asr_shift_imm imm1_15:$sh))>;
2874
2875 //===----------------------------------------------------------------------===//
2876 //  Comparison Instructions...
2877 //
2878
2879 defm CMP  : AI1_cmp_irs<0b1010, "cmp",
2880                         IIC_iCMPi, IIC_iCMPr, IIC_iCMPsr,
2881                         BinOpFrag<(ARMcmp node:$LHS, node:$RHS)>>;
2882
2883 // ARMcmpZ can re-use the above instruction definitions.
2884 def : ARMPat<(ARMcmpZ GPR:$src, so_imm:$imm),
2885              (CMPri   GPR:$src, so_imm:$imm)>;
2886 def : ARMPat<(ARMcmpZ GPR:$src, GPR:$rhs),
2887              (CMPrr   GPR:$src, GPR:$rhs)>;
2888 def : ARMPat<(ARMcmpZ GPR:$src, so_reg:$rhs),
2889              (CMPrs   GPR:$src, so_reg:$rhs)>;
2890
2891 // FIXME: We have to be careful when using the CMN instruction and comparison
2892 // with 0. One would expect these two pieces of code should give identical
2893 // results:
2894 //
2895 //   rsbs r1, r1, 0
2896 //   cmp  r0, r1
2897 //   mov  r0, #0
2898 //   it   ls
2899 //   mov  r0, #1
2900 //
2901 // and:
2902 //
2903 //   cmn  r0, r1
2904 //   mov  r0, #0
2905 //   it   ls
2906 //   mov  r0, #1
2907 //
2908 // However, the CMN gives the *opposite* result when r1 is 0. This is because
2909 // the carry flag is set in the CMP case but not in the CMN case. In short, the
2910 // CMP instruction doesn't perform a truncate of the (logical) NOT of 0 plus the
2911 // value of r0 and the carry bit (because the "carry bit" parameter to
2912 // AddWithCarry is defined as 1 in this case, the carry flag will always be set
2913 // when r0 >= 0). The CMN instruction doesn't perform a NOT of 0 so there is
2914 // never a "carry" when this AddWithCarry is performed (because the "carry bit"
2915 // parameter to AddWithCarry is defined as 0).
2916 //
2917 // When x is 0 and unsigned:
2918 //
2919 //    x = 0
2920 //   ~x = 0xFFFF FFFF
2921 //   ~x + 1 = 0x1 0000 0000
2922 //   (-x = 0) != (0x1 0000 0000 = ~x + 1)
2923 //
2924 // Therefore, we should disable CMN when comparing against zero, until we can
2925 // limit when the CMN instruction is used (when we know that the RHS is not 0 or
2926 // when it's a comparison which doesn't look at the 'carry' flag).
2927 //
2928 // (See the ARM docs for the "AddWithCarry" pseudo-code.)
2929 //
2930 // This is related to <rdar://problem/7569620>.
2931 //
2932 //defm CMN  : AI1_cmp_irs<0b1011, "cmn",
2933 //                        BinOpFrag<(ARMcmp node:$LHS,(ineg node:$RHS))>>;
2934
2935 // Note that TST/TEQ don't set all the same flags that CMP does!
2936 defm TST  : AI1_cmp_irs<0b1000, "tst",
2937                         IIC_iTSTi, IIC_iTSTr, IIC_iTSTsr,
2938                       BinOpFrag<(ARMcmpZ (and_su node:$LHS, node:$RHS), 0)>, 1>;
2939 defm TEQ  : AI1_cmp_irs<0b1001, "teq",
2940                         IIC_iTSTi, IIC_iTSTr, IIC_iTSTsr,
2941                       BinOpFrag<(ARMcmpZ (xor_su node:$LHS, node:$RHS), 0)>, 1>;
2942
2943 defm CMNz  : AI1_cmp_irs<0b1011, "cmn",
2944                          IIC_iCMPi, IIC_iCMPr, IIC_iCMPsr,
2945                          BinOpFrag<(ARMcmpZ node:$LHS,(ineg node:$RHS))>>;
2946
2947 //def : ARMPat<(ARMcmp GPR:$src, so_imm_neg:$imm),
2948 //             (CMNri  GPR:$src, so_imm_neg:$imm)>;
2949
2950 def : ARMPat<(ARMcmpZ GPR:$src, so_imm_neg:$imm),
2951              (CMNzri  GPR:$src, so_imm_neg:$imm)>;
2952
2953 // Pseudo i64 compares for some floating point compares.
2954 let usesCustomInserter = 1, isBranch = 1, isTerminator = 1,
2955     Defs = [CPSR] in {
2956 def BCCi64 : PseudoInst<(outs),
2957     (ins i32imm:$cc, GPR:$lhs1, GPR:$lhs2, GPR:$rhs1, GPR:$rhs2, brtarget:$dst),
2958      IIC_Br,
2959     [(ARMBcci64 imm:$cc, GPR:$lhs1, GPR:$lhs2, GPR:$rhs1, GPR:$rhs2, bb:$dst)]>;
2960
2961 def BCCZi64 : PseudoInst<(outs),
2962      (ins i32imm:$cc, GPR:$lhs1, GPR:$lhs2, brtarget:$dst), IIC_Br,
2963     [(ARMBcci64 imm:$cc, GPR:$lhs1, GPR:$lhs2, 0, 0, bb:$dst)]>;
2964 } // usesCustomInserter
2965
2966
2967 // Conditional moves
2968 // FIXME: should be able to write a pattern for ARMcmov, but can't use
2969 // a two-value operand where a dag node expects two operands. :(
2970 // FIXME: These should all be pseudo-instructions that get expanded to
2971 //        the normal MOV instructions. That would fix the dependency on
2972 //        special casing them in tblgen.
2973 let neverHasSideEffects = 1 in {
2974 def MOVCCr : AI1<0b1101, (outs GPR:$Rd), (ins GPR:$false, GPR:$Rm), DPFrm,
2975                 IIC_iCMOVr, "mov", "\t$Rd, $Rm",
2976       [/*(set GPR:$Rd, (ARMcmov GPR:$false, GPR:$Rm, imm:$cc, CCR:$ccr))*/]>,
2977                 RegConstraint<"$false = $Rd">, UnaryDP {
2978   bits<4> Rd;
2979   bits<4> Rm;
2980   let Inst{25} = 0;
2981   let Inst{20} = 0;
2982   let Inst{15-12} = Rd;
2983   let Inst{11-4} = 0b00000000;
2984   let Inst{3-0} = Rm;
2985 }
2986
2987 def MOVCCs : AI1<0b1101, (outs GPR:$Rd),
2988                  (ins GPR:$false, so_reg:$shift), DPSoRegFrm, IIC_iCMOVsr,
2989                 "mov", "\t$Rd, $shift",
2990    [/*(set GPR:$Rd, (ARMcmov GPR:$false, so_reg:$shift, imm:$cc, CCR:$ccr))*/]>,
2991                 RegConstraint<"$false = $Rd">, UnaryDP {
2992   bits<4> Rd;
2993   bits<12> shift;
2994   let Inst{25} = 0;
2995   let Inst{20} = 0;
2996   let Inst{19-16} = 0;
2997   let Inst{15-12} = Rd;
2998   let Inst{11-0} = shift;
2999 }
3000
3001 let isMoveImm = 1 in
3002 def MOVCCi16 : AI1<0b1000, (outs GPR:$Rd), (ins GPR:$false, movt_imm:$imm),
3003                  DPFrm, IIC_iMOVi,
3004                  "movw", "\t$Rd, $imm",
3005                  []>,
3006                  RegConstraint<"$false = $Rd">, Requires<[IsARM, HasV6T2]>,
3007                  UnaryDP {
3008   bits<4> Rd;
3009   bits<16> imm;
3010   let Inst{25} = 1;
3011   let Inst{20} = 0;
3012   let Inst{19-16} = imm{15-12};
3013   let Inst{15-12} = Rd;
3014   let Inst{11-0}  = imm{11-0};
3015 }
3016
3017 let isMoveImm = 1 in
3018 def MOVCCi : AI1<0b1101, (outs GPR:$Rd),
3019                          (ins GPR:$false, so_imm:$imm), DPFrm, IIC_iCMOVi,
3020                 "mov", "\t$Rd, $imm",
3021    [/*(set GPR:$Rd, (ARMcmov GPR:$false, so_imm:$imm, imm:$cc, CCR:$ccr))*/]>,
3022                 RegConstraint<"$false = $Rd">, UnaryDP {
3023   bits<4> Rd;
3024   bits<12> imm;
3025   let Inst{25} = 1;
3026   let Inst{20} = 0;
3027   let Inst{19-16} = 0b0000;
3028   let Inst{15-12} = Rd;
3029   let Inst{11-0} = imm;
3030 }
3031
3032 // Two instruction predicate mov immediate.
3033 let isMoveImm = 1 in
3034 def MOVCCi32imm : PseudoInst<(outs GPR:$Rd),
3035                              (ins GPR:$false, i32imm:$src, pred:$p),
3036                   IIC_iCMOVix2, []>, RegConstraint<"$false = $Rd">;
3037
3038 let isMoveImm = 1 in
3039 def MVNCCi : AI1<0b1111, (outs GPR:$Rd),
3040                          (ins GPR:$false, so_imm:$imm), DPFrm, IIC_iCMOVi,
3041                 "mvn", "\t$Rd, $imm",
3042  [/*(set GPR:$Rd, (ARMcmov GPR:$false, so_imm_not:$imm, imm:$cc, CCR:$ccr))*/]>,
3043                 RegConstraint<"$false = $Rd">, UnaryDP {
3044   bits<4> Rd;
3045   bits<12> imm;
3046   let Inst{25} = 1;
3047   let Inst{20} = 0;
3048   let Inst{19-16} = 0b0000;
3049   let Inst{15-12} = Rd;
3050   let Inst{11-0} = imm;
3051 }
3052 } // neverHasSideEffects
3053
3054 //===----------------------------------------------------------------------===//
3055 // Atomic operations intrinsics
3056 //
3057
3058 def memb_opt : Operand<i32> {
3059   let PrintMethod = "printMemBOption";
3060 }
3061
3062 // memory barriers protect the atomic sequences
3063 let hasSideEffects = 1 in {
3064 def DMB : AInoP<(outs), (ins memb_opt:$opt), MiscFrm, NoItinerary,
3065                 "dmb", "\t$opt", [(ARMMemBarrier (i32 imm:$opt))]>,
3066                 Requires<[IsARM, HasDB]> {
3067   bits<4> opt;
3068   let Inst{31-4} = 0xf57ff05;
3069   let Inst{3-0} = opt;
3070 }
3071
3072 def DMB_MCR : AInoP<(outs), (ins GPR:$zero), MiscFrm, NoItinerary,
3073                        "mcr", "\tp15, 0, $zero, c7, c10, 5",
3074                        [(ARMMemBarrierMCR GPR:$zero)]>,
3075                        Requires<[IsARM, HasV6]> {
3076   // FIXME: add encoding
3077 }
3078 }
3079
3080 def DSB : AInoP<(outs), (ins memb_opt:$opt), MiscFrm, NoItinerary,
3081                 "dsb", "\t$opt",
3082                 [/* For disassembly only; pattern left blank */]>,
3083                 Requires<[IsARM, HasDB]> {
3084   bits<4> opt;
3085   let Inst{31-4} = 0xf57ff04;
3086   let Inst{3-0} = opt;
3087 }
3088
3089 // ISB has only full system option -- for disassembly only
3090 def ISB : AInoP<(outs), (ins), MiscFrm, NoItinerary, "isb", "", []>,
3091                 Requires<[IsARM, HasDB]> {
3092   let Inst{31-4} = 0xf57ff06;
3093   let Inst{3-0} = 0b1111;
3094 }
3095
3096 let usesCustomInserter = 1 in {
3097   let Uses = [CPSR] in {
3098     def ATOMIC_LOAD_ADD_I8 : PseudoInst<
3099       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3100       [(set GPR:$dst, (atomic_load_add_8 GPR:$ptr, GPR:$incr))]>;
3101     def ATOMIC_LOAD_SUB_I8 : PseudoInst<
3102       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3103       [(set GPR:$dst, (atomic_load_sub_8 GPR:$ptr, GPR:$incr))]>;
3104     def ATOMIC_LOAD_AND_I8 : PseudoInst<
3105       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3106       [(set GPR:$dst, (atomic_load_and_8 GPR:$ptr, GPR:$incr))]>;
3107     def ATOMIC_LOAD_OR_I8 : PseudoInst<
3108       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3109       [(set GPR:$dst, (atomic_load_or_8 GPR:$ptr, GPR:$incr))]>;
3110     def ATOMIC_LOAD_XOR_I8 : PseudoInst<
3111       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3112       [(set GPR:$dst, (atomic_load_xor_8 GPR:$ptr, GPR:$incr))]>;
3113     def ATOMIC_LOAD_NAND_I8 : PseudoInst<
3114       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3115       [(set GPR:$dst, (atomic_load_nand_8 GPR:$ptr, GPR:$incr))]>;
3116     def ATOMIC_LOAD_ADD_I16 : PseudoInst<
3117       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3118       [(set GPR:$dst, (atomic_load_add_16 GPR:$ptr, GPR:$incr))]>;
3119     def ATOMIC_LOAD_SUB_I16 : PseudoInst<
3120       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3121       [(set GPR:$dst, (atomic_load_sub_16 GPR:$ptr, GPR:$incr))]>;
3122     def ATOMIC_LOAD_AND_I16 : PseudoInst<
3123       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3124       [(set GPR:$dst, (atomic_load_and_16 GPR:$ptr, GPR:$incr))]>;
3125     def ATOMIC_LOAD_OR_I16 : PseudoInst<
3126       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3127       [(set GPR:$dst, (atomic_load_or_16 GPR:$ptr, GPR:$incr))]>;
3128     def ATOMIC_LOAD_XOR_I16 : PseudoInst<
3129       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3130       [(set GPR:$dst, (atomic_load_xor_16 GPR:$ptr, GPR:$incr))]>;
3131     def ATOMIC_LOAD_NAND_I16 : PseudoInst<
3132       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3133       [(set GPR:$dst, (atomic_load_nand_16 GPR:$ptr, GPR:$incr))]>;
3134     def ATOMIC_LOAD_ADD_I32 : PseudoInst<
3135       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3136       [(set GPR:$dst, (atomic_load_add_32 GPR:$ptr, GPR:$incr))]>;
3137     def ATOMIC_LOAD_SUB_I32 : PseudoInst<
3138       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3139       [(set GPR:$dst, (atomic_load_sub_32 GPR:$ptr, GPR:$incr))]>;
3140     def ATOMIC_LOAD_AND_I32 : PseudoInst<
3141       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3142       [(set GPR:$dst, (atomic_load_and_32 GPR:$ptr, GPR:$incr))]>;
3143     def ATOMIC_LOAD_OR_I32 : PseudoInst<
3144       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3145       [(set GPR:$dst, (atomic_load_or_32 GPR:$ptr, GPR:$incr))]>;
3146     def ATOMIC_LOAD_XOR_I32 : PseudoInst<
3147       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3148       [(set GPR:$dst, (atomic_load_xor_32 GPR:$ptr, GPR:$incr))]>;
3149     def ATOMIC_LOAD_NAND_I32 : PseudoInst<
3150       (outs GPR:$dst), (ins GPR:$ptr, GPR:$incr), NoItinerary,
3151       [(set GPR:$dst, (atomic_load_nand_32 GPR:$ptr, GPR:$incr))]>;
3152
3153     def ATOMIC_SWAP_I8 : PseudoInst<
3154       (outs GPR:$dst), (ins GPR:$ptr, GPR:$new), NoItinerary,
3155       [(set GPR:$dst, (atomic_swap_8 GPR:$ptr, GPR:$new))]>;
3156     def ATOMIC_SWAP_I16 : PseudoInst<
3157       (outs GPR:$dst), (ins GPR:$ptr, GPR:$new), NoItinerary,
3158       [(set GPR:$dst, (atomic_swap_16 GPR:$ptr, GPR:$new))]>;
3159     def ATOMIC_SWAP_I32 : PseudoInst<
3160       (outs GPR:$dst), (ins GPR:$ptr, GPR:$new), NoItinerary,
3161       [(set GPR:$dst, (atomic_swap_32 GPR:$ptr, GPR:$new))]>;
3162
3163     def ATOMIC_CMP_SWAP_I8 : PseudoInst<
3164       (outs GPR:$dst), (ins GPR:$ptr, GPR:$old, GPR:$new), NoItinerary,
3165       [(set GPR:$dst, (atomic_cmp_swap_8 GPR:$ptr, GPR:$old, GPR:$new))]>;
3166     def ATOMIC_CMP_SWAP_I16 : PseudoInst<
3167       (outs GPR:$dst), (ins GPR:$ptr, GPR:$old, GPR:$new), NoItinerary,
3168       [(set GPR:$dst, (atomic_cmp_swap_16 GPR:$ptr, GPR:$old, GPR:$new))]>;
3169     def ATOMIC_CMP_SWAP_I32 : PseudoInst<
3170       (outs GPR:$dst), (ins GPR:$ptr, GPR:$old, GPR:$new), NoItinerary,
3171       [(set GPR:$dst, (atomic_cmp_swap_32 GPR:$ptr, GPR:$old, GPR:$new))]>;
3172 }
3173 }
3174
3175 let mayLoad = 1 in {
3176 def LDREXB : AIldrex<0b10, (outs GPR:$Rt), (ins GPR:$Rn), NoItinerary,
3177                     "ldrexb", "\t$Rt, [$Rn]",
3178                     []>;
3179 def LDREXH : AIldrex<0b11, (outs GPR:$Rt), (ins GPR:$Rn), NoItinerary,
3180                     "ldrexh", "\t$Rt, [$Rn]",
3181                     []>;
3182 def LDREX  : AIldrex<0b00, (outs GPR:$Rt), (ins GPR:$Rn), NoItinerary,
3183                     "ldrex", "\t$Rt, [$Rn]",
3184                     []>;
3185 def LDREXD : AIldrex<0b01, (outs GPR:$Rt, GPR:$Rt2), (ins GPR:$Rn),
3186                     NoItinerary,
3187                     "ldrexd", "\t$Rt, $Rt2, [$Rn]",
3188                     []>;
3189 }
3190
3191 let mayStore = 1, Constraints = "@earlyclobber $Rd" in {
3192 def STREXB : AIstrex<0b10, (outs GPR:$Rd), (ins GPR:$src, GPR:$Rn),
3193                     NoItinerary,
3194                     "strexb", "\t$Rd, $src, [$Rn]",
3195                     []>;
3196 def STREXH : AIstrex<0b11, (outs GPR:$Rd), (ins GPR:$Rt, GPR:$Rn),
3197                     NoItinerary,
3198                     "strexh", "\t$Rd, $Rt, [$Rn]",
3199                     []>;
3200 def STREX  : AIstrex<0b00, (outs GPR:$Rd), (ins GPR:$Rt, GPR:$Rn),
3201                     NoItinerary,
3202                     "strex", "\t$Rd, $Rt, [$Rn]",
3203                     []>;
3204 def STREXD : AIstrex<0b01, (outs GPR:$Rd),
3205                     (ins GPR:$Rt, GPR:$Rt2, GPR:$Rn),
3206                     NoItinerary,
3207                     "strexd", "\t$Rd, $Rt, $Rt2, [$Rn]",
3208                     []>;
3209 }
3210
3211 // Clear-Exclusive is for disassembly only.
3212 def CLREX : AXI<(outs), (ins), MiscFrm, NoItinerary, "clrex",
3213                 [/* For disassembly only; pattern left blank */]>,
3214             Requires<[IsARM, HasV7]>  {
3215   let Inst{31-0} = 0b11110101011111111111000000011111;
3216 }
3217
3218 // SWP/SWPB are deprecated in V6/V7 and for disassembly only.
3219 let mayLoad = 1 in {
3220 def SWP  : AIswp<0, (outs GPR:$Rt), (ins GPR:$Rt2, GPR:$Rn), "swp",
3221              [/* For disassembly only; pattern left blank */]>;
3222 def SWPB : AIswp<1, (outs GPR:$Rt), (ins GPR:$Rt2, GPR:$Rn), "swpb",
3223              [/* For disassembly only; pattern left blank */]>;
3224 }
3225
3226 //===----------------------------------------------------------------------===//
3227 // TLS Instructions
3228 //
3229
3230 // __aeabi_read_tp preserves the registers r1-r3.
3231 // This is a pseudo inst so that we can get the encoding right,
3232 // complete with fixup for the aeabi_read_tp function.
3233 let isCall = 1,
3234   Defs = [R0, R12, LR, CPSR], Uses = [SP] in {
3235   def TPsoft : PseudoInst<(outs), (ins), IIC_Br,
3236                [(set R0, ARMthread_pointer)]>;
3237 }
3238
3239 //===----------------------------------------------------------------------===//
3240 // SJLJ Exception handling intrinsics
3241 //   eh_sjlj_setjmp() is an instruction sequence to store the return
3242 //   address and save #0 in R0 for the non-longjmp case.
3243 //   Since by its nature we may be coming from some other function to get
3244 //   here, and we're using the stack frame for the containing function to
3245 //   save/restore registers, we can't keep anything live in regs across
3246 //   the eh_sjlj_setjmp(), else it will almost certainly have been tromped upon
3247 //   when we get here from a longjmp(). We force everthing out of registers
3248 //   except for our own input by listing the relevant registers in Defs. By
3249 //   doing so, we also cause the prologue/epilogue code to actively preserve
3250 //   all of the callee-saved resgisters, which is exactly what we want.
3251 //   A constant value is passed in $val, and we use the location as a scratch.
3252 //
3253 // These are pseudo-instructions and are lowered to individual MC-insts, so
3254 // no encoding information is necessary.
3255 let Defs =
3256   [ R0,  R1,  R2,  R3,  R4,  R5,  R6,  R7,  R8,  R9,  R10, R11, R12, LR,  D0,
3257     D1,  D2,  D3,  D4,  D5,  D6,  D7,  D8,  D9,  D10, D11, D12, D13, D14, D15,
3258     D16, D17, D18, D19, D20, D21, D22, D23, D24, D25, D26, D27, D28, D29, D30,
3259     D31 ], hasSideEffects = 1, isBarrier = 1 in {
3260   def Int_eh_sjlj_setjmp : PseudoInst<(outs), (ins GPR:$src, GPR:$val),
3261                                NoItinerary,
3262                          [(set R0, (ARMeh_sjlj_setjmp GPR:$src, GPR:$val))]>,
3263                            Requires<[IsARM, HasVFP2]>;
3264 }
3265
3266 let Defs =
3267   [ R0,  R1,  R2,  R3,  R4,  R5,  R6,  R7,  R8,  R9,  R10, R11, R12, LR ],
3268   hasSideEffects = 1, isBarrier = 1 in {
3269   def Int_eh_sjlj_setjmp_nofp : PseudoInst<(outs), (ins GPR:$src, GPR:$val),
3270                                    NoItinerary,
3271                          [(set R0, (ARMeh_sjlj_setjmp GPR:$src, GPR:$val))]>,
3272                                 Requires<[IsARM, NoVFP]>;
3273 }
3274
3275 // FIXME: Non-Darwin version(s)
3276 let isBarrier = 1, hasSideEffects = 1, isTerminator = 1,
3277     Defs = [ R7, LR, SP ] in {
3278 def Int_eh_sjlj_longjmp : PseudoInst<(outs), (ins GPR:$src, GPR:$scratch),
3279                              NoItinerary,
3280                          [(ARMeh_sjlj_longjmp GPR:$src, GPR:$scratch)]>,
3281                                 Requires<[IsARM, IsDarwin]>;
3282 }
3283
3284 // eh.sjlj.dispatchsetup pseudo-instruction.
3285 // This pseudo is used for ARM, Thumb1 and Thumb2. Any differences are
3286 // handled when the pseudo is expanded (which happens before any passes
3287 // that need the instruction size).
3288 let isBarrier = 1, hasSideEffects = 1 in
3289 def Int_eh_sjlj_dispatchsetup :
3290  PseudoInst<(outs), (ins GPR:$src), NoItinerary,
3291             [(ARMeh_sjlj_dispatchsetup GPR:$src)]>,
3292               Requires<[IsDarwin]>;
3293
3294 //===----------------------------------------------------------------------===//
3295 // Non-Instruction Patterns
3296 //
3297
3298 // Large immediate handling.
3299
3300 // 32-bit immediate using two piece so_imms or movw + movt.
3301 // This is a single pseudo instruction, the benefit is that it can be remat'd
3302 // as a single unit instead of having to handle reg inputs.
3303 // FIXME: Remove this when we can do generalized remat.
3304 let isReMaterializable = 1, isMoveImm = 1 in
3305 def MOVi32imm : PseudoInst<(outs GPR:$dst), (ins i32imm:$src), IIC_iMOVix2,
3306                            [(set GPR:$dst, (arm_i32imm:$src))]>,
3307                            Requires<[IsARM]>;
3308
3309 // ConstantPool, GlobalAddress, and JumpTable
3310 def : ARMPat<(ARMWrapper  tglobaladdr :$dst), (LEApcrel tglobaladdr :$dst)>,
3311             Requires<[IsARM, DontUseMovt]>;
3312 def : ARMPat<(ARMWrapper  tconstpool  :$dst), (LEApcrel tconstpool  :$dst)>;
3313 def : ARMPat<(ARMWrapper  tglobaladdr :$dst), (MOVi32imm tglobaladdr :$dst)>,
3314             Requires<[IsARM, UseMovt]>;
3315 def : ARMPat<(ARMWrapperJT tjumptable:$dst, imm:$id),
3316              (LEApcrelJT tjumptable:$dst, imm:$id)>;
3317
3318 // TODO: add,sub,and, 3-instr forms?
3319
3320 // Tail calls
3321 def : ARMPat<(ARMtcret tcGPR:$dst),
3322           (TCRETURNri tcGPR:$dst)>, Requires<[IsDarwin]>;
3323
3324 def : ARMPat<(ARMtcret (i32 tglobaladdr:$dst)),
3325           (TCRETURNdi texternalsym:$dst)>, Requires<[IsDarwin]>;
3326
3327 def : ARMPat<(ARMtcret (i32 texternalsym:$dst)),
3328           (TCRETURNdi texternalsym:$dst)>, Requires<[IsDarwin]>;
3329
3330 def : ARMPat<(ARMtcret tcGPR:$dst),
3331           (TCRETURNriND tcGPR:$dst)>, Requires<[IsNotDarwin]>;
3332
3333 def : ARMPat<(ARMtcret (i32 tglobaladdr:$dst)),
3334           (TCRETURNdiND texternalsym:$dst)>, Requires<[IsNotDarwin]>;
3335
3336 def : ARMPat<(ARMtcret (i32 texternalsym:$dst)),
3337           (TCRETURNdiND texternalsym:$dst)>, Requires<[IsNotDarwin]>;
3338
3339 // Direct calls
3340 def : ARMPat<(ARMcall texternalsym:$func), (BL texternalsym:$func)>,
3341       Requires<[IsARM, IsNotDarwin]>;
3342 def : ARMPat<(ARMcall texternalsym:$func), (BLr9 texternalsym:$func)>,
3343       Requires<[IsARM, IsDarwin]>;
3344
3345 // zextload i1 -> zextload i8
3346 def : ARMPat<(zextloadi1 addrmode_imm12:$addr), (LDRBi12 addrmode_imm12:$addr)>;
3347 def : ARMPat<(zextloadi1 ldst_so_reg:$addr),    (LDRBrs ldst_so_reg:$addr)>;
3348
3349 // extload -> zextload
3350 def : ARMPat<(extloadi1 addrmode_imm12:$addr),  (LDRBi12 addrmode_imm12:$addr)>;
3351 def : ARMPat<(extloadi1 ldst_so_reg:$addr),     (LDRBrs ldst_so_reg:$addr)>;
3352 def : ARMPat<(extloadi8 addrmode_imm12:$addr),  (LDRBi12 addrmode_imm12:$addr)>;
3353 def : ARMPat<(extloadi8 ldst_so_reg:$addr),     (LDRBrs ldst_so_reg:$addr)>;
3354
3355 def : ARMPat<(extloadi16 addrmode3:$addr),  (LDRH addrmode3:$addr)>;
3356
3357 def : ARMPat<(extloadi8  addrmodepc:$addr), (PICLDRB addrmodepc:$addr)>;
3358 def : ARMPat<(extloadi16 addrmodepc:$addr), (PICLDRH addrmodepc:$addr)>;
3359
3360 // smul* and smla*
3361 def : ARMV5TEPat<(mul (sra (shl GPR:$a, (i32 16)), (i32 16)),
3362                       (sra (shl GPR:$b, (i32 16)), (i32 16))),
3363                  (SMULBB GPR:$a, GPR:$b)>;
3364 def : ARMV5TEPat<(mul sext_16_node:$a, sext_16_node:$b),
3365                  (SMULBB GPR:$a, GPR:$b)>;
3366 def : ARMV5TEPat<(mul (sra (shl GPR:$a, (i32 16)), (i32 16)),
3367                       (sra GPR:$b, (i32 16))),
3368                  (SMULBT GPR:$a, GPR:$b)>;
3369 def : ARMV5TEPat<(mul sext_16_node:$a, (sra GPR:$b, (i32 16))),
3370                  (SMULBT GPR:$a, GPR:$b)>;
3371 def : ARMV5TEPat<(mul (sra GPR:$a, (i32 16)),
3372                       (sra (shl GPR:$b, (i32 16)), (i32 16))),
3373                  (SMULTB GPR:$a, GPR:$b)>;
3374 def : ARMV5TEPat<(mul (sra GPR:$a, (i32 16)), sext_16_node:$b),
3375                 (SMULTB GPR:$a, GPR:$b)>;
3376 def : ARMV5TEPat<(sra (mul GPR:$a, (sra (shl GPR:$b, (i32 16)), (i32 16))),
3377                       (i32 16)),
3378                  (SMULWB GPR:$a, GPR:$b)>;
3379 def : ARMV5TEPat<(sra (mul GPR:$a, sext_16_node:$b), (i32 16)),
3380                  (SMULWB GPR:$a, GPR:$b)>;
3381
3382 def : ARMV5TEPat<(add GPR:$acc,
3383                       (mul (sra (shl GPR:$a, (i32 16)), (i32 16)),
3384                            (sra (shl GPR:$b, (i32 16)), (i32 16)))),
3385                  (SMLABB GPR:$a, GPR:$b, GPR:$acc)>;
3386 def : ARMV5TEPat<(add GPR:$acc,
3387                       (mul sext_16_node:$a, sext_16_node:$b)),
3388                  (SMLABB GPR:$a, GPR:$b, GPR:$acc)>;
3389 def : ARMV5TEPat<(add GPR:$acc,
3390                       (mul (sra (shl GPR:$a, (i32 16)), (i32 16)),
3391                            (sra GPR:$b, (i32 16)))),
3392                  (SMLABT GPR:$a, GPR:$b, GPR:$acc)>;
3393 def : ARMV5TEPat<(add GPR:$acc,
3394                       (mul sext_16_node:$a, (sra GPR:$b, (i32 16)))),
3395                  (SMLABT GPR:$a, GPR:$b, GPR:$acc)>;
3396 def : ARMV5TEPat<(add GPR:$acc,
3397                       (mul (sra GPR:$a, (i32 16)),
3398                            (sra (shl GPR:$b, (i32 16)), (i32 16)))),
3399                  (SMLATB GPR:$a, GPR:$b, GPR:$acc)>;
3400 def : ARMV5TEPat<(add GPR:$acc,
3401                       (mul (sra GPR:$a, (i32 16)), sext_16_node:$b)),
3402                  (SMLATB GPR:$a, GPR:$b, GPR:$acc)>;
3403 def : ARMV5TEPat<(add GPR:$acc,
3404                       (sra (mul GPR:$a, (sra (shl GPR:$b, (i32 16)), (i32 16))),
3405                            (i32 16))),
3406                  (SMLAWB GPR:$a, GPR:$b, GPR:$acc)>;
3407 def : ARMV5TEPat<(add GPR:$acc,
3408                       (sra (mul GPR:$a, sext_16_node:$b), (i32 16))),
3409                  (SMLAWB GPR:$a, GPR:$b, GPR:$acc)>;
3410
3411 //===----------------------------------------------------------------------===//
3412 // Thumb Support
3413 //
3414
3415 include "ARMInstrThumb.td"
3416
3417 //===----------------------------------------------------------------------===//
3418 // Thumb2 Support
3419 //
3420
3421 include "ARMInstrThumb2.td"
3422
3423 //===----------------------------------------------------------------------===//
3424 // Floating Point Support
3425 //
3426
3427 include "ARMInstrVFP.td"
3428
3429 //===----------------------------------------------------------------------===//
3430 // Advanced SIMD (NEON) Support
3431 //
3432
3433 include "ARMInstrNEON.td"
3434
3435 //===----------------------------------------------------------------------===//
3436 // Coprocessor Instructions.  For disassembly only.
3437 //
3438
3439 def CDP : ABI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3440             nohash_imm:$CRd, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3441             NoItinerary, "cdp", "\tp$cop, $opc1, cr$CRd, cr$CRn, cr$CRm, $opc2",
3442               [/* For disassembly only; pattern left blank */]> {
3443   let Inst{4} = 0;
3444 }
3445
3446 def CDP2 : ABXI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3447                nohash_imm:$CRd, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3448                NoItinerary, "cdp2\tp$cop, $opc1, cr$CRd, cr$CRn, cr$CRm, $opc2",
3449                [/* For disassembly only; pattern left blank */]> {
3450   let Inst{31-28} = 0b1111;
3451   let Inst{4} = 0;
3452 }
3453
3454 class ACI<dag oops, dag iops, string opc, string asm>
3455   : I<oops, iops, AddrModeNone, Size4Bytes, IndexModeNone, BrFrm, NoItinerary,
3456       opc, asm, "", [/* For disassembly only; pattern left blank */]> {
3457   let Inst{27-25} = 0b110;
3458 }
3459
3460 multiclass LdStCop<bits<4> op31_28, bit load, string opc> {
3461
3462   def _OFFSET : ACI<(outs),
3463       (ins nohash_imm:$cop, nohash_imm:$CRd, addrmode2:$addr),
3464       opc, "\tp$cop, cr$CRd, $addr"> {
3465     let Inst{31-28} = op31_28;
3466     let Inst{24} = 1; // P = 1
3467     let Inst{21} = 0; // W = 0
3468     let Inst{22} = 0; // D = 0
3469     let Inst{20} = load;
3470   }
3471
3472   def _PRE : ACI<(outs),
3473       (ins nohash_imm:$cop, nohash_imm:$CRd, addrmode2:$addr),
3474       opc, "\tp$cop, cr$CRd, $addr!"> {
3475     let Inst{31-28} = op31_28;
3476     let Inst{24} = 1; // P = 1
3477     let Inst{21} = 1; // W = 1
3478     let Inst{22} = 0; // D = 0
3479     let Inst{20} = load;
3480   }
3481
3482   def _POST : ACI<(outs),
3483       (ins nohash_imm:$cop, nohash_imm:$CRd, GPR:$base, am2offset:$offset),
3484       opc, "\tp$cop, cr$CRd, [$base], $offset"> {
3485     let Inst{31-28} = op31_28;
3486     let Inst{24} = 0; // P = 0
3487     let Inst{21} = 1; // W = 1
3488     let Inst{22} = 0; // D = 0
3489     let Inst{20} = load;
3490   }
3491
3492   def _OPTION : ACI<(outs),
3493       (ins nohash_imm:$cop, nohash_imm:$CRd, GPR:$base, i32imm:$option),
3494       opc, "\tp$cop, cr$CRd, [$base], $option"> {
3495     let Inst{31-28} = op31_28;
3496     let Inst{24} = 0; // P = 0
3497     let Inst{23} = 1; // U = 1
3498     let Inst{21} = 0; // W = 0
3499     let Inst{22} = 0; // D = 0
3500     let Inst{20} = load;
3501   }
3502
3503   def L_OFFSET : ACI<(outs),
3504       (ins nohash_imm:$cop, nohash_imm:$CRd, addrmode2:$addr),
3505       !strconcat(opc, "l"), "\tp$cop, cr$CRd, $addr"> {
3506     let Inst{31-28} = op31_28;
3507     let Inst{24} = 1; // P = 1
3508     let Inst{21} = 0; // W = 0
3509     let Inst{22} = 1; // D = 1
3510     let Inst{20} = load;
3511   }
3512
3513   def L_PRE : ACI<(outs),
3514       (ins nohash_imm:$cop, nohash_imm:$CRd, addrmode2:$addr),
3515       !strconcat(opc, "l"), "\tp$cop, cr$CRd, $addr!"> {
3516     let Inst{31-28} = op31_28;
3517     let Inst{24} = 1; // P = 1
3518     let Inst{21} = 1; // W = 1
3519     let Inst{22} = 1; // D = 1
3520     let Inst{20} = load;
3521   }
3522
3523   def L_POST : ACI<(outs),
3524       (ins nohash_imm:$cop, nohash_imm:$CRd, GPR:$base, am2offset:$offset),
3525       !strconcat(opc, "l"), "\tp$cop, cr$CRd, [$base], $offset"> {
3526     let Inst{31-28} = op31_28;
3527     let Inst{24} = 0; // P = 0
3528     let Inst{21} = 1; // W = 1
3529     let Inst{22} = 1; // D = 1
3530     let Inst{20} = load;
3531   }
3532
3533   def L_OPTION : ACI<(outs),
3534       (ins nohash_imm:$cop, nohash_imm:$CRd, GPR:$base, nohash_imm:$option),
3535       !strconcat(opc, "l"), "\tp$cop, cr$CRd, [$base], $option"> {
3536     let Inst{31-28} = op31_28;
3537     let Inst{24} = 0; // P = 0
3538     let Inst{23} = 1; // U = 1
3539     let Inst{21} = 0; // W = 0
3540     let Inst{22} = 1; // D = 1
3541     let Inst{20} = load;
3542   }
3543 }
3544
3545 defm LDC  : LdStCop<{?,?,?,?}, 1, "ldc">;
3546 defm LDC2 : LdStCop<0b1111,    1, "ldc2">;
3547 defm STC  : LdStCop<{?,?,?,?}, 0, "stc">;
3548 defm STC2 : LdStCop<0b1111,    0, "stc2">;
3549
3550 def MCR : ABI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3551               GPR:$Rt, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3552               NoItinerary, "mcr", "\tp$cop, $opc1, $Rt, cr$CRn, cr$CRm, $opc2",
3553               [/* For disassembly only; pattern left blank */]> {
3554   let Inst{20} = 0;
3555   let Inst{4} = 1;
3556 }
3557
3558 def MCR2 : ABXI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3559                 GPR:$Rt, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3560                 NoItinerary, "mcr2\tp$cop, $opc1, $Rt, cr$CRn, cr$CRm, $opc2",
3561                 [/* For disassembly only; pattern left blank */]> {
3562   let Inst{31-28} = 0b1111;
3563   let Inst{20} = 0;
3564   let Inst{4} = 1;
3565 }
3566
3567 def MRC : ABI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3568               GPR:$Rt, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3569               NoItinerary, "mrc", "\tp$cop, $opc1, $Rt, cr$CRn, cr$CRm, $opc2",
3570               [/* For disassembly only; pattern left blank */]> {
3571   let Inst{20} = 1;
3572   let Inst{4} = 1;
3573 }
3574
3575 def MRC2 : ABXI<0b1110, (outs), (ins nohash_imm:$cop, i32imm:$opc1,
3576                 GPR:$Rt, nohash_imm:$CRn, nohash_imm:$CRm, i32imm:$opc2),
3577                 NoItinerary, "mrc2\tp$cop, $opc1, $Rt, cr$CRn, cr$CRm, $opc2",
3578                 [/* For disassembly only; pattern left blank */]> {
3579   let Inst{31-28} = 0b1111;
3580   let Inst{20} = 1;
3581   let Inst{4} = 1;
3582 }
3583
3584 def MCRR : ABI<0b1100, (outs), (ins nohash_imm:$cop, i32imm:$opc,
3585                GPR:$Rt, GPR:$Rt2, nohash_imm:$CRm),
3586                NoItinerary, "mcrr", "\tp$cop, $opc, $Rt, $Rt2, cr$CRm",
3587                [/* For disassembly only; pattern left blank */]> {
3588   let Inst{23-20} = 0b0100;
3589 }
3590
3591 def MCRR2 : ABXI<0b1100, (outs), (ins nohash_imm:$cop, i32imm:$opc,
3592                  GPR:$Rt, GPR:$Rt2, nohash_imm:$CRm),
3593                  NoItinerary, "mcrr2\tp$cop, $opc, $Rt, $Rt2, cr$CRm",
3594                  [/* For disassembly only; pattern left blank */]> {
3595   let Inst{31-28} = 0b1111;
3596   let Inst{23-20} = 0b0100;
3597 }
3598
3599 def MRRC : ABI<0b1100, (outs), (ins nohash_imm:$cop, i32imm:$opc,
3600                GPR:$Rt, GPR:$Rt2, nohash_imm:$CRm),
3601                NoItinerary, "mrrc", "\tp$cop, $opc, $Rt, $Rt2, cr$CRm",
3602                [/* For disassembly only; pattern left blank */]> {
3603   let Inst{23-20} = 0b0101;
3604 }
3605
3606 def MRRC2 : ABXI<0b1100, (outs), (ins nohash_imm:$cop, i32imm:$opc,
3607                  GPR:$Rt, GPR:$Rt2, nohash_imm:$CRm),
3608                  NoItinerary, "mrrc2\tp$cop, $opc, $Rt, $Rt2, cr$CRm",
3609                  [/* For disassembly only; pattern left blank */]> {
3610   let Inst{31-28} = 0b1111;
3611   let Inst{23-20} = 0b0101;
3612 }
3613
3614 //===----------------------------------------------------------------------===//
3615 // Move between special register and ARM core register -- for disassembly only
3616 //
3617
3618 def MRS : ABI<0b0001,(outs GPR:$dst),(ins), NoItinerary, "mrs", "\t$dst, cpsr",
3619               [/* For disassembly only; pattern left blank */]> {
3620   let Inst{23-20} = 0b0000;
3621   let Inst{7-4} = 0b0000;
3622 }
3623
3624 def MRSsys : ABI<0b0001,(outs GPR:$dst),(ins), NoItinerary,"mrs","\t$dst, spsr",
3625               [/* For disassembly only; pattern left blank */]> {
3626   let Inst{23-20} = 0b0100;
3627   let Inst{7-4} = 0b0000;
3628 }
3629
3630 def MSR : ABI<0b0001, (outs), (ins GPR:$src, msr_mask:$mask), NoItinerary,
3631               "msr", "\tcpsr$mask, $src",
3632               [/* For disassembly only; pattern left blank */]> {
3633   let Inst{23-20} = 0b0010;
3634   let Inst{7-4} = 0b0000;
3635 }
3636
3637 def MSRi : ABI<0b0011, (outs), (ins so_imm:$a, msr_mask:$mask), NoItinerary,
3638               "msr", "\tcpsr$mask, $a",
3639               [/* For disassembly only; pattern left blank */]> {
3640   let Inst{23-20} = 0b0010;
3641   let Inst{7-4} = 0b0000;
3642 }
3643
3644 def MSRsys : ABI<0b0001, (outs), (ins GPR:$src, msr_mask:$mask), NoItinerary,
3645               "msr", "\tspsr$mask, $src",
3646               [/* For disassembly only; pattern left blank */]> {
3647   let Inst{23-20} = 0b0110;
3648   let Inst{7-4} = 0b0000;
3649 }
3650
3651 def MSRsysi : ABI<0b0011, (outs), (ins so_imm:$a, msr_mask:$mask), NoItinerary,
3652               "msr", "\tspsr$mask, $a",
3653               [/* For disassembly only; pattern left blank */]> {
3654   let Inst{23-20} = 0b0110;
3655   let Inst{7-4} = 0b0000;
3656 }