lib/Target/Hexagon/HexagonInstrInfoV4.td

   1 //=- HexagonInstrInfoV4.td - Target Desc. for Hexagon Target -*- tablegen -*-=//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file describes the Hexagon V4 instructions in TableGen format.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 let hasSideEffects = 0 in
  15 class T_Immext<Operand ImmType>
  16   : EXTENDERInst<(outs), (ins ImmType:$imm),
  17                  "immext(#$imm)", []> {
  18     bits<32> imm;
  19     let IClass = 0b0000;
  20
  21     let Inst{27-16} = imm{31-20};
  22     let Inst{13-0} = imm{19-6};
  23   }
  24
  25 def A4_ext : T_Immext<u26_6Imm>;
  26 let isCodeGenOnly = 1 in {
  27   let isBranch = 1 in
  28     def A4_ext_b : T_Immext<brtarget>;
  29   let isCall = 1 in
  30     def A4_ext_c : T_Immext<calltarget>;
  31   def A4_ext_g : T_Immext<globaladdress>;
  32 }
  33
  34 def BITPOS32 : SDNodeXForm<imm, [{
  35    // Return the bit position we will set [0-31].
  36    // As an SDNode.
  37    int32_t imm = N->getSExtValue();
  38    return XformMskToBitPosU5Imm(imm);
  39 }]>;
  40
  41 // Fold (add (CONST32 tglobaladdr:$addr) <offset>) into a global address.
  42 def FoldGlobalAddr : ComplexPattern<i32, 1, "foldGlobalAddress", [], []>;
  43
  44 // Fold (add (CONST32_GP tglobaladdr:$addr) <offset>) into a global address.
  45 def FoldGlobalAddrGP : ComplexPattern<i32, 1, "foldGlobalAddressGP", [], []>;
  46
  47 def NumUsesBelowThresCONST32 : PatFrag<(ops node:$addr),
  48                                        (HexagonCONST32 node:$addr), [{
  49   return hasNumUsesBelowThresGA(N->getOperand(0).getNode());
  50 }]>;
  51
  52 // Hexagon V4 Architecture spec defines 8 instruction classes:
  53 // LD ST ALU32 XTYPE J JR MEMOP NV CR SYSTEM(system is not implemented in the
  54 // compiler)
  55
  56 // LD Instructions:
  57 // ========================================
  58 // Loads (8/16/32/64 bit)
  59 // Deallocframe
  60
  61 // ST Instructions:
  62 // ========================================
  63 // Stores (8/16/32/64 bit)
  64 // Allocframe
  65
  66 // ALU32 Instructions:
  67 // ========================================
  68 // Arithmetic / Logical (32 bit)
  69 // Vector Halfword
  70
  71 // XTYPE Instructions (32/64 bit):
  72 // ========================================
  73 // Arithmetic, Logical, Bit Manipulation
  74 // Multiply (Integer, Fractional, Complex)
  75 // Permute / Vector Permute Operations
  76 // Predicate Operations
  77 // Shift / Shift with Add/Sub/Logical
  78 // Vector Byte ALU
  79 // Vector Halfword (ALU, Shift, Multiply)
  80 // Vector Word (ALU, Shift)
  81
  82 // J Instructions:
  83 // ========================================
  84 // Jump/Call PC-relative
  85
  86 // JR Instructions:
  87 // ========================================
  88 // Jump/Call Register
  89
  90 // MEMOP Instructions:
  91 // ========================================
  92 // Operation on memory (8/16/32 bit)
  93
  94 // NV Instructions:
  95 // ========================================
  96 // New-value Jumps
  97 // New-value Stores
  98
  99 // CR Instructions:
 100 // ========================================
 101 // Control-Register Transfers
 102 // Hardware Loop Setup
 103 // Predicate Logicals & Reductions
 104
 105 // SYSTEM Instructions (not implemented in the compiler):
 106 // ========================================
 107 // Prefetch
 108 // Cache Maintenance
 109 // Bus Operations
 110
 111
 112 //===----------------------------------------------------------------------===//
 113 // ALU32 +
 114 //===----------------------------------------------------------------------===//
 115
 116 class T_ALU32_3op_not<string mnemonic, bits<3> MajOp, bits<3> MinOp,
 117                       bit OpsRev>
 118   : T_ALU32_3op<mnemonic, MajOp, MinOp, OpsRev, 0> {
 119   let AsmString = "$Rd = "#mnemonic#"($Rs, ~$Rt)";
 120 }
 121
 122 let BaseOpcode = "andn_rr", CextOpcode = "andn", isCodeGenOnly = 0 in
 123 def A4_andn    : T_ALU32_3op_not<"and", 0b001, 0b100, 1>;
 124 let BaseOpcode = "orn_rr", CextOpcode = "orn", isCodeGenOnly = 0 in
 125 def A4_orn     : T_ALU32_3op_not<"or",  0b001, 0b101, 1>;
 126
 127 let CextOpcode = "rcmp.eq", isCodeGenOnly = 0 in
 128 def A4_rcmpeq  : T_ALU32_3op<"cmp.eq",  0b011, 0b010, 0, 1>;
 129 let CextOpcode = "!rcmp.eq", isCodeGenOnly = 0 in
 130 def A4_rcmpneq : T_ALU32_3op<"!cmp.eq", 0b011, 0b011, 0, 1>;
 131
 132 let isCodeGenOnly = 0 in {
 133 def C4_cmpneq  : T_ALU32_3op_cmp<"!cmp.eq",  0b00, 1, 1>;
 134 def C4_cmplte  : T_ALU32_3op_cmp<"!cmp.gt",  0b10, 1, 0>;
 135 def C4_cmplteu : T_ALU32_3op_cmp<"!cmp.gtu", 0b11, 1, 0>;
 136 }
 137
 138 // Pats for instruction selection.
 139
 140 // A class to embed the usual comparison patfrags within a zext to i32.
 141 // The seteq/setne frags use "lhs" and "rhs" as operands, so use the same
 142 // names, or else the frag's "body" won't match the operands.
 143 class CmpInReg<PatFrag Op>
 144   : PatFrag<(ops node:$lhs, node:$rhs),(i32 (zext (i1 Op.Fragment)))>;
 145
 146 def: T_cmp32_rr_pat<A4_rcmpeq,  CmpInReg<seteq>, i32>;
 147 def: T_cmp32_rr_pat<A4_rcmpneq, CmpInReg<setne>, i32>;
 148
 149 def: T_cmp32_rr_pat<C4_cmpneq,  setne,  i1>;
 150
 151 class T_CMP_rrbh<string mnemonic, bits<3> MinOp, bit IsComm>
 152   : SInst<(outs PredRegs:$Pd), (ins IntRegs:$Rs, IntRegs:$Rt),
 153     "$Pd = "#mnemonic#"($Rs, $Rt)", [], "", S_3op_tc_2early_SLOT23>,
 154     ImmRegRel {
 155   let validSubTargets = HasV4SubT;
 156   let InputType = "reg";
 157   let CextOpcode = mnemonic;
 158   let isCompare = 1;
 159   let isCommutable = IsComm;
 160   let hasSideEffects = 0;
 161
 162   bits<2> Pd;
 163   bits<5> Rs;
 164   bits<5> Rt;
 165
 166   let IClass = 0b1100;
 167   let Inst{27-21} = 0b0111110;
 168   let Inst{20-16} = Rs;
 169   let Inst{12-8} = Rt;
 170   let Inst{7-5} = MinOp;
 171   let Inst{1-0} = Pd;
 172 }
 173
 174 let isCodeGenOnly = 0 in {
 175 def A4_cmpbeq  : T_CMP_rrbh<"cmpb.eq",  0b110, 1>;
 176 def A4_cmpbgt  : T_CMP_rrbh<"cmpb.gt",  0b010, 0>;
 177 def A4_cmpbgtu : T_CMP_rrbh<"cmpb.gtu", 0b111, 0>;
 178 def A4_cmpheq  : T_CMP_rrbh<"cmph.eq",  0b011, 1>;
 179 def A4_cmphgt  : T_CMP_rrbh<"cmph.gt",  0b100, 0>;
 180 def A4_cmphgtu : T_CMP_rrbh<"cmph.gtu", 0b101, 0>;
 181 }
 182
 183 class T_CMP_ribh<string mnemonic, bits<2> MajOp, bit IsHalf, bit IsComm,
 184                  Operand ImmType, bit IsImmExt, bit IsImmSigned, int ImmBits>
 185   : ALU64Inst<(outs PredRegs:$Pd), (ins IntRegs:$Rs, ImmType:$Imm),
 186     "$Pd = "#mnemonic#"($Rs, #$Imm)", [], "", ALU64_tc_2early_SLOT23>,
 187     ImmRegRel {
 188   let validSubTargets = HasV4SubT;
 189   let InputType = "imm";
 190   let CextOpcode = mnemonic;
 191   let isCompare = 1;
 192   let isCommutable = IsComm;
 193   let hasSideEffects = 0;
 194   let isExtendable = IsImmExt;
 195   let opExtendable = !if (IsImmExt, 2, 0);
 196   let isExtentSigned = IsImmSigned;
 197   let opExtentBits = ImmBits;
 198
 199   bits<2> Pd;
 200   bits<5> Rs;
 201   bits<8> Imm;
 202
 203   let IClass = 0b1101;
 204   let Inst{27-24} = 0b1101;
 205   let Inst{22-21} = MajOp;
 206   let Inst{20-16} = Rs;
 207   let Inst{12-5} = Imm;
 208   let Inst{4} = 0b0;
 209   let Inst{3} = IsHalf;
 210   let Inst{1-0} = Pd;
 211 }
 212
 213 let isCodeGenOnly = 0 in {
 214 def A4_cmpbeqi  : T_CMP_ribh<"cmpb.eq",  0b00, 0, 1, u8Imm, 0, 0, 8>;
 215 def A4_cmpbgti  : T_CMP_ribh<"cmpb.gt",  0b01, 0, 0, s8Imm, 0, 1, 8>;
 216 def A4_cmpbgtui : T_CMP_ribh<"cmpb.gtu", 0b10, 0, 0, u7Ext, 1, 0, 7>;
 217 def A4_cmpheqi  : T_CMP_ribh<"cmph.eq",  0b00, 1, 1, s8Ext, 1, 1, 8>;
 218 def A4_cmphgti  : T_CMP_ribh<"cmph.gt",  0b01, 1, 0, s8Ext, 1, 1, 8>;
 219 def A4_cmphgtui : T_CMP_ribh<"cmph.gtu", 0b10, 1, 0, u7Ext, 1, 0, 7>;
 220 }
 221 class T_RCMP_EQ_ri<string mnemonic, bit IsNeg>
 222   : ALU32_ri<(outs IntRegs:$Rd), (ins IntRegs:$Rs, s8Ext:$s8),
 223     "$Rd = "#mnemonic#"($Rs, #$s8)", [], "", ALU32_2op_tc_1_SLOT0123>,
 224     ImmRegRel {
 225   let validSubTargets = HasV4SubT;
 226   let InputType = "imm";
 227   let CextOpcode = !if (IsNeg, "!rcmp.eq", "rcmp.eq");
 228   let isExtendable = 1;
 229   let opExtendable = 2;
 230   let isExtentSigned = 1;
 231   let opExtentBits = 8;
 232   let hasNewValue = 1;
 233
 234   bits<5> Rd;
 235   bits<5> Rs;
 236   bits<8> s8;
 237
 238   let IClass = 0b0111;
 239   let Inst{27-24} = 0b0011;
 240   let Inst{22} = 0b1;
 241   let Inst{21} = IsNeg;
 242   let Inst{20-16} = Rs;
 243   let Inst{13} = 0b1;
 244   let Inst{12-5} = s8;
 245   let Inst{4-0} = Rd;
 246 }
 247
 248 let isCodeGenOnly = 0 in {
 249 def A4_rcmpeqi  : T_RCMP_EQ_ri<"cmp.eq",  0>;
 250 def A4_rcmpneqi : T_RCMP_EQ_ri<"!cmp.eq", 1>;
 251 }
 252
 253 def: Pat<(i32 (zext (i1 (seteq (i32 IntRegs:$Rs), s8ExtPred:$s8)))),
 254          (A4_rcmpeqi IntRegs:$Rs, s8ExtPred:$s8)>;
 255 def: Pat<(i32 (zext (i1 (setne (i32 IntRegs:$Rs), s8ExtPred:$s8)))),
 256          (A4_rcmpneqi IntRegs:$Rs, s8ExtPred:$s8)>;
 257
 258 // Preserve the S2_tstbit_r generation
 259 def: Pat<(i32 (zext (i1 (setne (i32 (and (i32 (shl 1, (i32 IntRegs:$src2))),
 260                                          (i32 IntRegs:$src1))), 0)))),
 261          (C2_muxii (S2_tstbit_r IntRegs:$src1, IntRegs:$src2), 1, 0)>;
 262
 263
 264 //===----------------------------------------------------------------------===//
 265 // ALU32 -
 266 //===----------------------------------------------------------------------===//
 267
 268
 269 //===----------------------------------------------------------------------===//
 270 // ALU32/PERM +
 271 //===----------------------------------------------------------------------===//
 272
 273 // Combine a word and an immediate into a register pair.
 274 let hasSideEffects = 0, isExtentSigned = 1, isExtendable = 1,
 275     opExtentBits = 8 in
 276 class T_Combine1 <bits<2> MajOp, dag ins, string AsmStr>
 277   : ALU32Inst <(outs DoubleRegs:$Rdd), ins, AsmStr> {
 278     bits<5> Rdd;
 279     bits<5> Rs;
 280     bits<8> s8;
 281
 282     let IClass      = 0b0111;
 283     let Inst{27-24} = 0b0011;
 284     let Inst{22-21} = MajOp;
 285     let Inst{20-16} = Rs;
 286     let Inst{13}    = 0b1;
 287     let Inst{12-5}  = s8;
 288     let Inst{4-0}   = Rdd;
 289   }
 290
 291 let opExtendable = 2, isCodeGenOnly = 0 in
 292 def A4_combineri : T_Combine1<0b00, (ins IntRegs:$Rs, s8Ext:$s8),
 293                                     "$Rdd = combine($Rs, #$s8)">;
 294
 295 let opExtendable = 1, isCodeGenOnly = 0 in
 296 def A4_combineir : T_Combine1<0b01, (ins s8Ext:$s8, IntRegs:$Rs),
 297                                     "$Rdd = combine(#$s8, $Rs)">;
 298
 299 def HexagonWrapperCombineRI_V4 :
 300   SDNode<"HexagonISD::WrapperCombineRI_V4", SDTHexagonI64I32I32>;
 301 def HexagonWrapperCombineIR_V4 :
 302   SDNode<"HexagonISD::WrapperCombineIR_V4", SDTHexagonI64I32I32>;
 303
 304 def : Pat <(HexagonWrapperCombineRI_V4 IntRegs:$r, s8ExtPred:$i),
 305            (A4_combineri IntRegs:$r, s8ExtPred:$i)>,
 306           Requires<[HasV4T]>;
 307
 308 def : Pat <(HexagonWrapperCombineIR_V4 s8ExtPred:$i, IntRegs:$r),
 309            (A4_combineir s8ExtPred:$i, IntRegs:$r)>,
 310           Requires<[HasV4T]>;
 311
 312 // A4_combineii: Set two small immediates.
 313 let hasSideEffects = 0, isExtendable = 1, opExtentBits = 6, opExtendable = 2 in
 314 def A4_combineii: ALU32Inst<(outs DoubleRegs:$Rdd), (ins s8Imm:$s8, u6Ext:$U6),
 315   "$Rdd = combine(#$s8, #$U6)"> {
 316     bits<5> Rdd;
 317     bits<8> s8;
 318     bits<6> U6;
 319
 320     let IClass = 0b0111;
 321     let Inst{27-23} = 0b11001;
 322     let Inst{20-16} = U6{5-1};
 323     let Inst{13}    = U6{0};
 324     let Inst{12-5}  = s8;
 325     let Inst{4-0}   = Rdd;
 326   }
 327
 328 //===----------------------------------------------------------------------===//
 329 // ALU32/PERM -
 330 //===----------------------------------------------------------------------===//
 331
 332 //===----------------------------------------------------------------------===//
 333 // LD +
 334 //===----------------------------------------------------------------------===//
 335 //===----------------------------------------------------------------------===//
 336 // Template class for load instructions with Absolute set addressing mode.
 337 //===----------------------------------------------------------------------===//
 338 let isExtended = 1, opExtendable = 2, hasSideEffects = 0,
 339 validSubTargets = HasV4SubT, addrMode = AbsoluteSet in
 340 class T_LD_abs_set<string mnemonic, RegisterClass RC>:
 341             LDInst2<(outs RC:$dst1, IntRegs:$dst2),
 342             (ins u0AlwaysExt:$addr),
 343             "$dst1 = "#mnemonic#"($dst2=##$addr)",
 344             []>,
 345             Requires<[HasV4T]>;
 346
 347 def LDrid_abs_set_V4  : T_LD_abs_set <"memd", DoubleRegs>;
 348 def LDrib_abs_set_V4  : T_LD_abs_set <"memb", IntRegs>;
 349 def LDriub_abs_set_V4 : T_LD_abs_set <"memub", IntRegs>;
 350 def LDrih_abs_set_V4  : T_LD_abs_set <"memh", IntRegs>;
 351 def LDriw_abs_set_V4  : T_LD_abs_set <"memw", IntRegs>;
 352 def LDriuh_abs_set_V4 : T_LD_abs_set <"memuh", IntRegs>;
 353
 354 //===----------------------------------------------------------------------===//
 355 // Template classes for the non-predicated load instructions with
 356 // base + register offset addressing mode
 357 //===----------------------------------------------------------------------===//
 358 class T_load_rr <string mnemonic, RegisterClass RC, bits<3> MajOp>:
 359    LDInst<(outs RC:$dst), (ins IntRegs:$src1, IntRegs:$src2, u2Imm:$u2),
 360   "$dst = "#mnemonic#"($src1 + $src2<<#$u2)",
 361   [], "", V4LDST_tc_ld_SLOT01>, ImmRegShl, AddrModeRel {
 362     bits<5> dst;
 363     bits<5> src1;
 364     bits<5> src2;
 365     bits<2> u2;
 366
 367     let IClass = 0b0011;
 368
 369     let Inst{27-24} = 0b1010;
 370     let Inst{23-21} = MajOp;
 371     let Inst{20-16} = src1;
 372     let Inst{12-8}  = src2;
 373     let Inst{13}    = u2{1};
 374     let Inst{7}     = u2{0};
 375     let Inst{4-0}   = dst;
 376   }
 377
 378 //===----------------------------------------------------------------------===//
 379 // Template classes for the predicated load instructions with
 380 // base + register offset addressing mode
 381 //===----------------------------------------------------------------------===//
 382 let isPredicated =  1 in
 383 class T_pload_rr <string mnemonic, RegisterClass RC, bits<3> MajOp,
 384                   bit isNot, bit isPredNew>:
 385    LDInst <(outs RC:$dst),
 386            (ins PredRegs:$src1, IntRegs:$src2, IntRegs:$src3, u2Imm:$u2),
 387   !if(isNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
 388   ") ")#"$dst = "#mnemonic#"($src2+$src3<<#$u2)",
 389   [], "", V4LDST_tc_ld_SLOT01>, AddrModeRel {
 390     bits<5> dst;
 391     bits<2> src1;
 392     bits<5> src2;
 393     bits<5> src3;
 394     bits<2> u2;
 395
 396     let isPredicatedFalse = isNot;
 397     let isPredicatedNew = isPredNew;
 398
 399     let IClass = 0b0011;
 400
 401     let Inst{27-26} = 0b00;
 402     let Inst{25}    = isPredNew;
 403     let Inst{24}    = isNot;
 404     let Inst{23-21} = MajOp;
 405     let Inst{20-16} = src2;
 406     let Inst{12-8}  = src3;
 407     let Inst{13}    = u2{1};
 408     let Inst{7}     = u2{0};
 409     let Inst{6-5}   = src1;
 410     let Inst{4-0}   = dst;
 411   }
 412
 413 //===----------------------------------------------------------------------===//
 414 // multiclass for load instructions with base + register offset
 415 // addressing mode
 416 //===----------------------------------------------------------------------===//
 417 let hasSideEffects = 0, addrMode = BaseRegOffset in
 418 multiclass ld_idxd_shl <string mnemonic, string CextOp, RegisterClass RC,
 419                         bits<3> MajOp > {
 420   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl,
 421       InputType = "reg" in {
 422     let isPredicable = 1 in
 423     def L4_#NAME#_rr : T_load_rr <mnemonic, RC, MajOp>;
 424
 425     // Predicated
 426     def L4_p#NAME#t_rr : T_pload_rr <mnemonic, RC, MajOp, 0, 0>;
 427     def L4_p#NAME#f_rr : T_pload_rr <mnemonic, RC, MajOp, 1, 0>;
 428
 429     // Predicated new
 430     def L4_p#NAME#tnew_rr : T_pload_rr <mnemonic, RC, MajOp, 0, 1>;
 431     def L4_p#NAME#fnew_rr : T_pload_rr <mnemonic, RC, MajOp, 1, 1>;
 432   }
 433 }
 434
 435 let hasNewValue = 1, accessSize = ByteAccess, isCodeGenOnly = 0 in {
 436   defm loadrb  : ld_idxd_shl<"memb", "LDrib", IntRegs, 0b000>;
 437   defm loadrub : ld_idxd_shl<"memub", "LDriub", IntRegs, 0b001>;
 438 }
 439
 440 let hasNewValue = 1, accessSize = HalfWordAccess, isCodeGenOnly = 0 in {
 441   defm loadrh  : ld_idxd_shl<"memh", "LDrih", IntRegs, 0b010>;
 442   defm loadruh : ld_idxd_shl<"memuh", "LDriuh", IntRegs, 0b011>;
 443 }
 444
 445 let hasNewValue = 1, accessSize = WordAccess, isCodeGenOnly = 0 in
 446 defm loadri : ld_idxd_shl<"memw", "LDriw", IntRegs, 0b100>;
 447
 448 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 449 defm loadrd  : ld_idxd_shl<"memd", "LDrid", DoubleRegs, 0b110>;
 450
 451 // 'def pats' for load instructions with base + register offset and non-zero
 452 // immediate value. Immediate value is used to left-shift the second
 453 // register operand.
 454 let AddedComplexity = 40 in {
 455 def : Pat <(i32 (sextloadi8 (add IntRegs:$src1,
 456                                  (shl IntRegs:$src2, u2ImmPred:$offset)))),
 457            (L4_loadrb_rr IntRegs:$src1,
 458             IntRegs:$src2, u2ImmPred:$offset)>,
 459             Requires<[HasV4T]>;
 460
 461 def : Pat <(i32 (zextloadi8 (add IntRegs:$src1,
 462                                  (shl IntRegs:$src2, u2ImmPred:$offset)))),
 463            (L4_loadrub_rr IntRegs:$src1,
 464             IntRegs:$src2, u2ImmPred:$offset)>,
 465             Requires<[HasV4T]>;
 466
 467 def : Pat <(i32 (extloadi8 (add IntRegs:$src1,
 468                                 (shl IntRegs:$src2, u2ImmPred:$offset)))),
 469            (L4_loadrub_rr IntRegs:$src1,
 470             IntRegs:$src2, u2ImmPred:$offset)>,
 471             Requires<[HasV4T]>;
 472
 473 def : Pat <(i32 (sextloadi16 (add IntRegs:$src1,
 474                                   (shl IntRegs:$src2, u2ImmPred:$offset)))),
 475            (L4_loadrh_rr IntRegs:$src1,
 476             IntRegs:$src2, u2ImmPred:$offset)>,
 477             Requires<[HasV4T]>;
 478
 479 def : Pat <(i32 (zextloadi16 (add IntRegs:$src1,
 480                                   (shl IntRegs:$src2, u2ImmPred:$offset)))),
 481            (L4_loadruh_rr IntRegs:$src1,
 482             IntRegs:$src2, u2ImmPred:$offset)>,
 483             Requires<[HasV4T]>;
 484
 485 def : Pat <(i32 (extloadi16 (add IntRegs:$src1,
 486                                  (shl IntRegs:$src2, u2ImmPred:$offset)))),
 487            (L4_loadruh_rr IntRegs:$src1,
 488             IntRegs:$src2, u2ImmPred:$offset)>,
 489             Requires<[HasV4T]>;
 490
 491 def : Pat <(i32 (load (add IntRegs:$src1,
 492                            (shl IntRegs:$src2, u2ImmPred:$offset)))),
 493            (L4_loadri_rr IntRegs:$src1,
 494             IntRegs:$src2, u2ImmPred:$offset)>,
 495             Requires<[HasV4T]>;
 496
 497 def : Pat <(i64 (load (add IntRegs:$src1,
 498                            (shl IntRegs:$src2, u2ImmPred:$offset)))),
 499            (L4_loadrd_rr IntRegs:$src1,
 500             IntRegs:$src2, u2ImmPred:$offset)>,
 501             Requires<[HasV4T]>;
 502 }
 503
 504
 505 // 'def pats' for load instruction base + register offset and
 506 // zero immediate value.
 507 let AddedComplexity = 10 in {
 508 def : Pat <(i64 (load (add IntRegs:$src1, IntRegs:$src2))),
 509            (L4_loadrd_rr IntRegs:$src1, IntRegs:$src2, 0)>,
 510             Requires<[HasV4T]>;
 511
 512 def : Pat <(i32 (sextloadi8 (add IntRegs:$src1, IntRegs:$src2))),
 513            (L4_loadrb_rr IntRegs:$src1, IntRegs:$src2, 0)>,
 514             Requires<[HasV4T]>;
 515
 516 def : Pat <(i32 (zextloadi8 (add IntRegs:$src1, IntRegs:$src2))),
 517            (L4_loadrub_rr IntRegs:$src1, IntRegs:$src2, 0)>,
 518             Requires<[HasV4T]>;
 519
 520 def : Pat <(i32 (extloadi8 (add IntRegs:$src1, IntRegs:$src2))),
 521            (L4_loadrub_rr IntRegs:$src1, IntRegs:$src2, 0)>,
 522             Requires<[HasV4T]>;
 523
 524 def : Pat <(i32 (sextloadi16 (add IntRegs:$src1, IntRegs:$src2))),
 525            (L4_loadrh_rr IntRegs:$src1, IntRegs:$src2, 0)>,
 526             Requires<[HasV4T]>;
 527
 528 def : Pat <(i32 (zextloadi16 (add IntRegs:$src1, IntRegs:$src2))),
 529            (L4_loadruh_rr IntRegs:$src1, IntRegs:$src2, 0)>,
 530             Requires<[HasV4T]>;
 531
 532 def : Pat <(i32 (extloadi16 (add IntRegs:$src1, IntRegs:$src2))),
 533            (L4_loadruh_rr IntRegs:$src1, IntRegs:$src2, 0)>,
 534             Requires<[HasV4T]>;
 535
 536 def : Pat <(i32 (load (add IntRegs:$src1, IntRegs:$src2))),
 537            (L4_loadri_rr IntRegs:$src1, IntRegs:$src2, 0)>,
 538             Requires<[HasV4T]>;
 539 }
 540
 541 // zext i1->i64
 542 def : Pat <(i64 (zext (i1 PredRegs:$src1))),
 543       (i64 (A4_combineir 0, (C2_muxii (i1 PredRegs:$src1), 1, 0)))>,
 544       Requires<[HasV4T]>;
 545
 546 // zext i32->i64
 547 def : Pat <(i64 (zext (i32 IntRegs:$src1))),
 548       (i64 (A4_combineir 0, (i32 IntRegs:$src1)))>,
 549       Requires<[HasV4T]>;
 550 // zext i8->i64
 551 def:  Pat <(i64 (zextloadi8 ADDRriS11_0:$src1)),
 552       (i64 (A4_combineir 0, (L2_loadrub_io AddrFI:$src1, 0)))>,
 553       Requires<[HasV4T]>;
 554
 555 let AddedComplexity = 20 in
 556 def:  Pat <(i64 (zextloadi8 (add (i32 IntRegs:$src1),
 557                                 s11_0ExtPred:$offset))),
 558       (i64 (A4_combineir 0, (L2_loadrub_io IntRegs:$src1,
 559                                   s11_0ExtPred:$offset)))>,
 560       Requires<[HasV4T]>;
 561
 562 // zext i1->i64
 563 def:  Pat <(i64 (zextloadi1 ADDRriS11_0:$src1)),
 564       (i64 (A4_combineir 0, (L2_loadrub_io AddrFI:$src1, 0)))>,
 565       Requires<[HasV4T]>;
 566
 567 let AddedComplexity = 20 in
 568 def:  Pat <(i64 (zextloadi1 (add (i32 IntRegs:$src1),
 569                                 s11_0ExtPred:$offset))),
 570       (i64 (A4_combineir 0, (L2_loadrub_io IntRegs:$src1,
 571                                   s11_0ExtPred:$offset)))>,
 572       Requires<[HasV4T]>;
 573
 574 // zext i16->i64
 575 def:  Pat <(i64 (zextloadi16 ADDRriS11_1:$src1)),
 576       (i64 (A4_combineir 0, (L2_loadruh_io AddrFI:$src1, 0)))>,
 577       Requires<[HasV4T]>;
 578
 579 let AddedComplexity = 20 in
 580 def:  Pat <(i64 (zextloadi16 (add (i32 IntRegs:$src1),
 581                                   s11_1ExtPred:$offset))),
 582       (i64 (A4_combineir 0, (L2_loadruh_io IntRegs:$src1,
 583                                   s11_1ExtPred:$offset)))>,
 584       Requires<[HasV4T]>;
 585
 586 // anyext i16->i64
 587 def:  Pat <(i64 (extloadi16 ADDRriS11_2:$src1)),
 588       (i64 (A4_combineir 0, (L2_loadrh_io AddrFI:$src1, 0)))>,
 589       Requires<[HasV4T]>;
 590
 591 let AddedComplexity = 20 in
 592 def:  Pat <(i64 (extloadi16 (add (i32 IntRegs:$src1),
 593                                   s11_1ExtPred:$offset))),
 594       (i64 (A4_combineir 0, (L2_loadrh_io IntRegs:$src1,
 595                                   s11_1ExtPred:$offset)))>,
 596       Requires<[HasV4T]>;
 597
 598 // zext i32->i64
 599 def:  Pat <(i64 (zextloadi32 ADDRriS11_2:$src1)),
 600       (i64 (A4_combineir 0, (L2_loadri_io AddrFI:$src1, 0)))>,
 601       Requires<[HasV4T]>;
 602
 603 let AddedComplexity = 100 in
 604 def:  Pat <(i64 (zextloadi32 (i32 (add IntRegs:$src1, s11_2ExtPred:$offset)))),
 605       (i64 (A4_combineir 0, (L2_loadri_io IntRegs:$src1,
 606                                   s11_2ExtPred:$offset)))>,
 607       Requires<[HasV4T]>;
 608
 609 // anyext i32->i64
 610 def:  Pat <(i64 (extloadi32 ADDRriS11_2:$src1)),
 611       (i64 (A4_combineir 0, (L2_loadri_io AddrFI:$src1, 0)))>,
 612       Requires<[HasV4T]>;
 613
 614 let AddedComplexity = 100 in
 615 def:  Pat <(i64 (extloadi32 (i32 (add IntRegs:$src1, s11_2ExtPred:$offset)))),
 616       (i64 (A4_combineir 0, (L2_loadri_io IntRegs:$src1,
 617                                   s11_2ExtPred:$offset)))>,
 618       Requires<[HasV4T]>;
 619
 620
 621
 622 //===----------------------------------------------------------------------===//
 623 // LD -
 624 //===----------------------------------------------------------------------===//
 625
 626 //===----------------------------------------------------------------------===//
 627 // ST +
 628 //===----------------------------------------------------------------------===//
 629 ///
 630 //===----------------------------------------------------------------------===//
 631 // Template class for store instructions with Absolute set addressing mode.
 632 //===----------------------------------------------------------------------===//
 633 let isExtended = 1, opExtendable = 2, validSubTargets = HasV4SubT,
 634 addrMode = AbsoluteSet in
 635 class T_ST_abs_set<string mnemonic, RegisterClass RC>:
 636             STInst2<(outs IntRegs:$dst1),
 637             (ins RC:$src1, u0AlwaysExt:$src2),
 638             mnemonic#"($dst1=##$src2) = $src1",
 639             []>,
 640             Requires<[HasV4T]>;
 641
 642 def STrid_abs_set_V4 : T_ST_abs_set <"memd", DoubleRegs>;
 643 def STrib_abs_set_V4 : T_ST_abs_set <"memb", IntRegs>;
 644 def STrih_abs_set_V4 : T_ST_abs_set <"memh", IntRegs>;
 645 def STriw_abs_set_V4 : T_ST_abs_set <"memw", IntRegs>;
 646
 647 //===----------------------------------------------------------------------===//
 648 // Template classes for the non-predicated store instructions with
 649 // base + register offset addressing mode
 650 //===----------------------------------------------------------------------===//
 651 let isPredicable = 1 in
 652 class T_store_rr <string mnemonic, RegisterClass RC, bits<3> MajOp, bit isH>
 653   : STInst < (outs ), (ins IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, RC:$Rt),
 654   mnemonic#"($Rs + $Ru<<#$u2) = $Rt"#!if(isH, ".h",""),
 655   [],"",V4LDST_tc_st_SLOT01>, ImmRegShl, AddrModeRel {
 656
 657     bits<5> Rs;
 658     bits<5> Ru;
 659     bits<2> u2;
 660     bits<5> Rt;
 661
 662     let IClass = 0b0011;
 663
 664     let Inst{27-24} = 0b1011;
 665     let Inst{23-21} = MajOp;
 666     let Inst{20-16} = Rs;
 667     let Inst{12-8}  = Ru;
 668     let Inst{13}    = u2{1};
 669     let Inst{7}     = u2{0};
 670     let Inst{4-0}   = Rt;
 671   }
 672
 673 //===----------------------------------------------------------------------===//
 674 // Template classes for the predicated store instructions with
 675 // base + register offset addressing mode
 676 //===----------------------------------------------------------------------===//
 677 let isPredicated = 1 in
 678 class T_pstore_rr <string mnemonic, RegisterClass RC, bits<3> MajOp,
 679                    bit isNot, bit isPredNew, bit isH>
 680   : STInst <(outs),
 681             (ins PredRegs:$Pv, IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, RC:$Rt),
 682
 683   !if(isNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 684   ") ")#mnemonic#"($Rs+$Ru<<#$u2) = $Rt"#!if(isH, ".h",""),
 685   [], "", V4LDST_tc_st_SLOT01> , AddrModeRel{
 686     bits<2> Pv;
 687     bits<5> Rs;
 688     bits<5> Ru;
 689     bits<2> u2;
 690     bits<5> Rt;
 691
 692     let isPredicatedFalse = isNot;
 693     let isPredicatedNew = isPredNew;
 694
 695     let IClass = 0b0011;
 696
 697     let Inst{27-26} = 0b01;
 698     let Inst{25}    = isPredNew;
 699     let Inst{24}    = isNot;
 700     let Inst{23-21} = MajOp;
 701     let Inst{20-16} = Rs;
 702     let Inst{12-8}  = Ru;
 703     let Inst{13}    = u2{1};
 704     let Inst{7}     = u2{0};
 705     let Inst{6-5}   = Pv;
 706     let Inst{4-0}   = Rt;
 707   }
 708
 709 //===----------------------------------------------------------------------===//
 710 // Template classes for the new-value store instructions with
 711 // base + register offset addressing mode
 712 //===----------------------------------------------------------------------===//
 713 let isPredicable = 1, isNewValue = 1, opNewValue = 3 in
 714 class T_store_new_rr <string mnemonic, bits<2> MajOp> :
 715   NVInst < (outs ), (ins IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, IntRegs:$Nt),
 716   mnemonic#"($Rs + $Ru<<#$u2) = $Nt.new",
 717   [],"",V4LDST_tc_st_SLOT0>, ImmRegShl, AddrModeRel {
 718
 719     bits<5> Rs;
 720     bits<5> Ru;
 721     bits<2> u2;
 722     bits<3> Nt;
 723
 724     let IClass = 0b0011;
 725
 726     let Inst{27-21} = 0b1011101;
 727     let Inst{20-16} = Rs;
 728     let Inst{12-8}  = Ru;
 729     let Inst{13}    = u2{1};
 730     let Inst{7}     = u2{0};
 731     let Inst{4-3}   = MajOp;
 732     let Inst{2-0}   = Nt;
 733   }
 734
 735 //===----------------------------------------------------------------------===//
 736 // Template classes for the predicated new-value store instructions with
 737 // base + register offset addressing mode
 738 //===----------------------------------------------------------------------===//
 739 let isPredicated = 1, isNewValue = 1, opNewValue = 4 in
 740 class T_pstore_new_rr <string mnemonic, bits<2> MajOp, bit isNot, bit isPredNew>
 741   : NVInst<(outs),
 742            (ins PredRegs:$Pv, IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, IntRegs:$Nt),
 743    !if(isNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 744    ") ")#mnemonic#"($Rs+$Ru<<#$u2) = $Nt.new",
 745    [], "", V4LDST_tc_st_SLOT0>, AddrModeRel {
 746     bits<2> Pv;
 747     bits<5> Rs;
 748     bits<5> Ru;
 749     bits<2> u2;
 750     bits<3> Nt;
 751
 752     let isPredicatedFalse = isNot;
 753     let isPredicatedNew = isPredNew;
 754
 755     let IClass = 0b0011;
 756     let Inst{27-26} = 0b01;
 757     let Inst{25}    = isPredNew;
 758     let Inst{24}    = isNot;
 759     let Inst{23-21} = 0b101;
 760     let Inst{20-16} = Rs;
 761     let Inst{12-8}  = Ru;
 762     let Inst{13}    = u2{1};
 763     let Inst{7}     = u2{0};
 764     let Inst{6-5}   = Pv;
 765     let Inst{4-3}   = MajOp;
 766     let Inst{2-0}   = Nt;
 767   }
 768
 769 //===----------------------------------------------------------------------===//
 770 // multiclass for store instructions with base + register offset addressing
 771 // mode
 772 //===----------------------------------------------------------------------===//
 773 let isNVStorable = 1 in
 774 multiclass ST_Idxd_shl<string mnemonic, string CextOp, RegisterClass RC,
 775                        bits<3> MajOp, bit isH = 0> {
 776   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl in {
 777     def S4_#NAME#_rr : T_store_rr <mnemonic, RC, MajOp, isH>;
 778
 779     // Predicated
 780     def S4_p#NAME#t_rr : T_pstore_rr <mnemonic, RC, MajOp, 0, 0, isH>;
 781     def S4_p#NAME#f_rr : T_pstore_rr <mnemonic, RC, MajOp, 1, 0, isH>;
 782
 783     // Predicated new
 784     def S4_p#NAME#tnew_rr : T_pstore_rr <mnemonic, RC, MajOp, 0, 1, isH>;
 785     def S4_p#NAME#fnew_rr : T_pstore_rr <mnemonic, RC, MajOp, 1, 1, isH>;
 786   }
 787 }
 788
 789 //===----------------------------------------------------------------------===//
 790 // multiclass for new-value store instructions with base + register offset
 791 // addressing mode.
 792 //===----------------------------------------------------------------------===//
 793 let mayStore = 1, isNVStore = 1 in
 794 multiclass ST_Idxd_shl_nv <string mnemonic, string CextOp, RegisterClass RC,
 795                            bits<2> MajOp> {
 796   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl in {
 797     def S4_#NAME#new_rr : T_store_new_rr<mnemonic, MajOp>;
 798
 799     // Predicated
 800     def S4_p#NAME#newt_rr : T_pstore_new_rr <mnemonic, MajOp, 0, 0>;
 801     def S4_p#NAME#newf_rr : T_pstore_new_rr <mnemonic, MajOp, 1, 0>;
 802
 803     // Predicated new
 804     def S4_p#NAME#newtnew_rr : T_pstore_new_rr <mnemonic, MajOp, 0, 1>;
 805     def S4_p#NAME#newfnew_rr : T_pstore_new_rr <mnemonic, MajOp, 1, 1>;
 806   }
 807 }
 808
 809 let addrMode = BaseRegOffset, InputType = "reg", hasSideEffects = 0,
 810     isCodeGenOnly = 0 in {
 811   let accessSize = ByteAccess in
 812   defm storerb: ST_Idxd_shl<"memb", "STrib", IntRegs, 0b000>,
 813                 ST_Idxd_shl_nv<"memb", "STrib", IntRegs, 0b00>;
 814
 815   let accessSize = HalfWordAccess in
 816   defm storerh: ST_Idxd_shl<"memh", "STrih", IntRegs, 0b010>,
 817                 ST_Idxd_shl_nv<"memh", "STrih", IntRegs, 0b01>;
 818
 819   let accessSize = WordAccess in
 820   defm storeri: ST_Idxd_shl<"memw", "STriw", IntRegs, 0b100>,
 821                 ST_Idxd_shl_nv<"memw", "STriw", IntRegs, 0b10>;
 822
 823   let isNVStorable = 0, accessSize = DoubleWordAccess in
 824   defm storerd: ST_Idxd_shl<"memd", "STrid", DoubleRegs, 0b110>;
 825
 826   let isNVStorable = 0, accessSize = HalfWordAccess in
 827   defm storerf: ST_Idxd_shl<"memh", "STrif", IntRegs, 0b011, 1>;
 828 }
 829
 830 let Predicates = [HasV4T], AddedComplexity = 10 in {
 831 def : Pat<(truncstorei8 (i32 IntRegs:$src4),
 832                        (add IntRegs:$src1, (shl IntRegs:$src2,
 833                                                 u2ImmPred:$src3))),
 834           (S4_storerb_rr IntRegs:$src1, IntRegs:$src2,
 835                                 u2ImmPred:$src3, IntRegs:$src4)>;
 836
 837 def : Pat<(truncstorei16 (i32 IntRegs:$src4),
 838                         (add IntRegs:$src1, (shl IntRegs:$src2,
 839                                                  u2ImmPred:$src3))),
 840           (S4_storerh_rr IntRegs:$src1, IntRegs:$src2,
 841                                 u2ImmPred:$src3, IntRegs:$src4)>;
 842
 843 def : Pat<(store (i32 IntRegs:$src4),
 844                  (add IntRegs:$src1, (shl IntRegs:$src2, u2ImmPred:$src3))),
 845           (S4_storeri_rr IntRegs:$src1, IntRegs:$src2,
 846                                 u2ImmPred:$src3, IntRegs:$src4)>;
 847
 848 def : Pat<(store (i64 DoubleRegs:$src4),
 849                 (add IntRegs:$src1, (shl IntRegs:$src2, u2ImmPred:$src3))),
 850           (S4_storerd_rr IntRegs:$src1, IntRegs:$src2,
 851                                 u2ImmPred:$src3, DoubleRegs:$src4)>;
 852 }
 853
 854 let isExtended = 1, opExtendable = 2 in
 855 class T_ST_LongOff <string mnemonic, PatFrag stOp, RegisterClass RC, ValueType VT> :
 856             STInst<(outs),
 857             (ins IntRegs:$src1, u2Imm:$src2, u0AlwaysExt:$src3, RC:$src4),
 858             mnemonic#"($src1<<#$src2+##$src3) = $src4",
 859             [(stOp (VT RC:$src4),
 860                     (add (shl (i32 IntRegs:$src1), u2ImmPred:$src2),
 861                          u0AlwaysExtPred:$src3))]>,
 862             Requires<[HasV4T]>;
 863
 864 let isExtended = 1, opExtendable = 2, mayStore = 1, isNVStore = 1 in
 865 class T_ST_LongOff_nv <string mnemonic> :
 866             NVInst_V4<(outs),
 867             (ins IntRegs:$src1, u2Imm:$src2, u0AlwaysExt:$src3, IntRegs:$src4),
 868             mnemonic#"($src1<<#$src2+##$src3) = $src4.new",
 869             []>,
 870             Requires<[HasV4T]>;
 871
 872 multiclass ST_LongOff <string mnemonic, string BaseOp, PatFrag stOp> {
 873   let  BaseOpcode = BaseOp#"_shl" in {
 874     let isNVStorable = 1 in
 875     def NAME#_V4 : T_ST_LongOff<mnemonic, stOp, IntRegs, i32>;
 876
 877     def NAME#_nv_V4 : T_ST_LongOff_nv<mnemonic>;
 878   }
 879 }
 880
 881 let AddedComplexity = 10, validSubTargets = HasV4SubT in {
 882   def STrid_shl_V4 : T_ST_LongOff<"memd", store, DoubleRegs, i64>;
 883   defm STrib_shl   : ST_LongOff <"memb", "STrib", truncstorei8>, NewValueRel;
 884   defm STrih_shl   : ST_LongOff <"memh", "Strih", truncstorei16>, NewValueRel;
 885   defm STriw_shl   : ST_LongOff <"memw", "STriw", store>, NewValueRel;
 886 }
 887
 888 let AddedComplexity = 40 in
 889 multiclass T_ST_LOff_Pats <InstHexagon I, RegisterClass RC, ValueType VT,
 890                            PatFrag stOp> {
 891  def : Pat<(stOp (VT RC:$src4),
 892            (add (shl IntRegs:$src1, u2ImmPred:$src2),
 893                (NumUsesBelowThresCONST32 tglobaladdr:$src3))),
 894            (I IntRegs:$src1, u2ImmPred:$src2, tglobaladdr:$src3, RC:$src4)>;
 895
 896  def : Pat<(stOp (VT RC:$src4),
 897            (add IntRegs:$src1,
 898                (NumUsesBelowThresCONST32 tglobaladdr:$src3))),
 899            (I IntRegs:$src1, 0, tglobaladdr:$src3, RC:$src4)>;
 900 }
 901
 902 defm : T_ST_LOff_Pats<STrid_shl_V4, DoubleRegs, i64, store>;
 903 defm : T_ST_LOff_Pats<STriw_shl_V4, IntRegs, i32, store>;
 904 defm : T_ST_LOff_Pats<STrib_shl_V4, IntRegs, i32, truncstorei8>;
 905 defm : T_ST_LOff_Pats<STrih_shl_V4, IntRegs, i32, truncstorei16>;
 906
 907 // memd(Rx++#s4:3)=Rtt
 908 // memd(Rx++#s4:3:circ(Mu))=Rtt
 909 // memd(Rx++I:circ(Mu))=Rtt
 910 // memd(Rx++Mu)=Rtt
 911 // memd(Rx++Mu:brev)=Rtt
 912 // memd(gp+#u16:3)=Rtt
 913
 914 // Store doubleword conditionally.
 915 // if ([!]Pv[.new]) memd(#u6)=Rtt
 916 // TODO: needs to be implemented.
 917
 918 //===----------------------------------------------------------------------===//
 919 // Template class
 920 //===----------------------------------------------------------------------===//
 921 let isPredicable = 1, isExtendable = 1, isExtentSigned = 1, opExtentBits = 8,
 922     opExtendable = 2 in
 923 class T_StoreImm <string mnemonic, Operand OffsetOp, bits<2> MajOp >
 924   : STInst <(outs ), (ins IntRegs:$Rs, OffsetOp:$offset, s8Ext:$S8),
 925   mnemonic#"($Rs+#$offset)=#$S8",
 926   [], "", V4LDST_tc_st_SLOT01>,
 927   ImmRegRel, PredNewRel {
 928     bits<5> Rs;
 929     bits<8> S8;
 930     bits<8> offset;
 931     bits<6> offsetBits;
 932
 933     string OffsetOpStr = !cast<string>(OffsetOp);
 934     let offsetBits = !if (!eq(OffsetOpStr, "u6_2Imm"), offset{7-2},
 935                      !if (!eq(OffsetOpStr, "u6_1Imm"), offset{6-1},
 936                                          /* u6_0Imm */ offset{5-0}));
 937
 938     let IClass = 0b0011;
 939
 940     let Inst{27-25} = 0b110;
 941     let Inst{22-21} = MajOp;
 942     let Inst{20-16} = Rs;
 943     let Inst{12-7}  = offsetBits;
 944     let Inst{13}    = S8{7};
 945     let Inst{6-0}   = S8{6-0};
 946   }
 947
 948 let isPredicated = 1, isExtendable = 1, isExtentSigned = 1, opExtentBits = 6,
 949     opExtendable = 3 in
 950 class T_StoreImm_pred <string mnemonic, Operand OffsetOp, bits<2> MajOp,
 951                        bit isPredNot, bit isPredNew >
 952   : STInst <(outs ),
 953             (ins PredRegs:$Pv, IntRegs:$Rs, OffsetOp:$offset, s6Ext:$S6),
 954   !if(isPredNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 955   ") ")#mnemonic#"($Rs+#$offset)=#$S6",
 956   [], "", V4LDST_tc_st_SLOT01>,
 957   ImmRegRel, PredNewRel {
 958     bits<2> Pv;
 959     bits<5> Rs;
 960     bits<6> S6;
 961     bits<8> offset;
 962     bits<6> offsetBits;
 963
 964     string OffsetOpStr = !cast<string>(OffsetOp);
 965     let offsetBits = !if (!eq(OffsetOpStr, "u6_2Imm"), offset{7-2},
 966                      !if (!eq(OffsetOpStr, "u6_1Imm"), offset{6-1},
 967                                          /* u6_0Imm */ offset{5-0}));
 968     let isPredicatedNew = isPredNew;
 969     let isPredicatedFalse = isPredNot;
 970
 971     let IClass = 0b0011;
 972
 973     let Inst{27-25} = 0b100;
 974     let Inst{24}    = isPredNew;
 975     let Inst{23}    = isPredNot;
 976     let Inst{22-21} = MajOp;
 977     let Inst{20-16} = Rs;
 978     let Inst{13}    = S6{5};
 979     let Inst{12-7}  = offsetBits;
 980     let Inst{6-5}   = Pv;
 981     let Inst{4-0}   = S6{4-0};
 982   }
 983
 984
 985 //===----------------------------------------------------------------------===//
 986 // multiclass for store instructions with base + immediate offset
 987 // addressing mode and immediate stored value.
 988 // mem[bhw](Rx++#s4:3)=#s8
 989 // if ([!]Pv[.new]) mem[bhw](Rx++#s4:3)=#s6
 990 //===----------------------------------------------------------------------===//
 991
 992 multiclass ST_Imm_Pred <string mnemonic, Operand OffsetOp, bits<2> MajOp,
 993                         bit PredNot> {
 994   def _io    : T_StoreImm_pred <mnemonic, OffsetOp, MajOp, PredNot, 0>;
 995   // Predicate new
 996   def new_io : T_StoreImm_pred <mnemonic, OffsetOp, MajOp, PredNot, 1>;
 997 }
 998
 999 multiclass ST_Imm <string mnemonic, string CextOp, Operand OffsetOp,
1000                    bits<2> MajOp> {
1001   let CextOpcode = CextOp, BaseOpcode = CextOp#_imm in {
1002     def _io : T_StoreImm <mnemonic, OffsetOp, MajOp>;
1003
1004     defm t : ST_Imm_Pred <mnemonic, OffsetOp, MajOp, 0>;
1005     defm f : ST_Imm_Pred <mnemonic, OffsetOp, MajOp, 1>;
1006   }
1007 }
1008
1009 let hasSideEffects = 0, validSubTargets = HasV4SubT, addrMode = BaseImmOffset,
1010     InputType = "imm", isCodeGenOnly = 0 in {
1011   let accessSize = ByteAccess in
1012   defm S4_storeirb : ST_Imm<"memb", "STrib", u6_0Imm, 0b00>;
1013
1014   let accessSize = HalfWordAccess in
1015   defm S4_storeirh : ST_Imm<"memh", "STrih", u6_1Imm, 0b01>;
1016
1017   let accessSize = WordAccess in
1018   defm S4_storeiri : ST_Imm<"memw", "STriw", u6_2Imm, 0b10>;
1019 }
1020
1021 let Predicates = [HasV4T], AddedComplexity = 10 in {
1022 def: Pat<(truncstorei8 s8ExtPred:$src3, (add IntRegs:$src1, u6_0ImmPred:$src2)),
1023             (S4_storeirb_io IntRegs:$src1, u6_0ImmPred:$src2, s8ExtPred:$src3)>;
1024
1025 def: Pat<(truncstorei16 s8ExtPred:$src3, (add IntRegs:$src1,
1026                                               u6_1ImmPred:$src2)),
1027             (S4_storeirh_io IntRegs:$src1, u6_1ImmPred:$src2, s8ExtPred:$src3)>;
1028
1029 def: Pat<(store s8ExtPred:$src3, (add IntRegs:$src1, u6_2ImmPred:$src2)),
1030             (S4_storeiri_io IntRegs:$src1, u6_2ImmPred:$src2, s8ExtPred:$src3)>;
1031 }
1032
1033 let AddedComplexity = 6 in
1034 def : Pat <(truncstorei8 s8ExtPred:$src2, (i32 IntRegs:$src1)),
1035            (S4_storeirb_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1036            Requires<[HasV4T]>;
1037
1038 // memb(Rx++#s4:0:circ(Mu))=Rt
1039 // memb(Rx++I:circ(Mu))=Rt
1040 // memb(Rx++Mu)=Rt
1041 // memb(Rx++Mu:brev)=Rt
1042 // memb(gp+#u16:0)=Rt
1043
1044
1045 // Store halfword.
1046 // TODO: needs to be implemented
1047 // memh(Re=#U6)=Rt.H
1048 // memh(Rs+#s11:1)=Rt.H
1049 let AddedComplexity = 6 in
1050 def : Pat <(truncstorei16 s8ExtPred:$src2, (i32 IntRegs:$src1)),
1051            (S4_storeirh_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1052            Requires<[HasV4T]>;
1053
1054 // memh(Rs+Ru<<#u2)=Rt.H
1055 // TODO: needs to be implemented.
1056
1057 // memh(Ru<<#u2+#U6)=Rt.H
1058 // memh(Rx++#s4:1:circ(Mu))=Rt.H
1059 // memh(Rx++#s4:1:circ(Mu))=Rt
1060 // memh(Rx++I:circ(Mu))=Rt.H
1061 // memh(Rx++I:circ(Mu))=Rt
1062 // memh(Rx++Mu)=Rt.H
1063 // memh(Rx++Mu)=Rt
1064 // memh(Rx++Mu:brev)=Rt.H
1065 // memh(Rx++Mu:brev)=Rt
1066 // memh(gp+#u16:1)=Rt
1067 // if ([!]Pv[.new]) memh(#u6)=Rt.H
1068 // if ([!]Pv[.new]) memh(#u6)=Rt
1069
1070
1071 // if ([!]Pv[.new]) memh(Rs+#u6:1)=Rt.H
1072 // TODO: needs to be implemented.
1073
1074 // if ([!]Pv[.new]) memh(Rx++#s4:1)=Rt.H
1075 // TODO: Needs to be implemented.
1076
1077 // Store word.
1078 // memw(Re=#U6)=Rt
1079 // TODO: Needs to be implemented.
1080
1081 // Store predicate:
1082 let hasSideEffects = 0 in
1083 def STriw_pred_V4 : STInst2<(outs),
1084             (ins MEMri:$addr, PredRegs:$src1),
1085             "Error; should not emit",
1086             []>,
1087             Requires<[HasV4T]>;
1088
1089 let AddedComplexity = 6 in
1090 def : Pat <(store s8ExtPred:$src2, (i32 IntRegs:$src1)),
1091            (S4_storeiri_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1092            Requires<[HasV4T]>;
1093
1094 // memw(Rx++#s4:2)=Rt
1095 // memw(Rx++#s4:2:circ(Mu))=Rt
1096 // memw(Rx++I:circ(Mu))=Rt
1097 // memw(Rx++Mu)=Rt
1098 // memw(Rx++Mu:brev)=Rt
1099
1100 //===----------------------------------------------------------------------===
1101 // ST -
1102 //===----------------------------------------------------------------------===
1103
1104
1105 //===----------------------------------------------------------------------===//
1106 // NV/ST +
1107 //===----------------------------------------------------------------------===//
1108
1109 let opNewValue = 2, opExtendable = 1, isExtentSigned = 1, isPredicable = 1 in
1110 class T_store_io_nv <string mnemonic, RegisterClass RC,
1111                     Operand ImmOp, bits<2>MajOp>
1112   : NVInst_V4 <(outs),
1113                (ins IntRegs:$src1, ImmOp:$src2, RC:$src3),
1114   mnemonic#"($src1+#$src2) = $src3.new",
1115   [],"",ST_tc_st_SLOT0> {
1116     bits<5> src1;
1117     bits<13> src2; // Actual address offset
1118     bits<3> src3;
1119     bits<11> offsetBits; // Represents offset encoding
1120
1121     let opExtentBits = !if (!eq(mnemonic, "memb"), 11,
1122                        !if (!eq(mnemonic, "memh"), 12,
1123                        !if (!eq(mnemonic, "memw"), 13, 0)));
1124
1125     let opExtentAlign = !if (!eq(mnemonic, "memb"), 0,
1126                         !if (!eq(mnemonic, "memh"), 1,
1127                         !if (!eq(mnemonic, "memw"), 2, 0)));
1128
1129     let offsetBits = !if (!eq(mnemonic, "memb"),  src2{10-0},
1130                      !if (!eq(mnemonic, "memh"),  src2{11-1},
1131                      !if (!eq(mnemonic, "memw"),  src2{12-2}, 0)));
1132
1133     let IClass = 0b1010;
1134
1135     let Inst{27} = 0b0;
1136     let Inst{26-25} = offsetBits{10-9};
1137     let Inst{24-21} = 0b1101;
1138     let Inst{20-16} = src1;
1139     let Inst{13} = offsetBits{8};
1140     let Inst{12-11} = MajOp;
1141     let Inst{10-8} = src3;
1142     let Inst{7-0} = offsetBits{7-0};
1143   }
1144
1145 let opExtendable = 2, opNewValue = 3, isPredicated = 1 in
1146 class T_pstore_io_nv <string mnemonic, RegisterClass RC, Operand predImmOp,
1147                          bits<2>MajOp, bit PredNot, bit isPredNew>
1148   : NVInst_V4 <(outs),
1149                (ins PredRegs:$src1, IntRegs:$src2, predImmOp:$src3, RC:$src4),
1150   !if(PredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
1151   ") ")#mnemonic#"($src2+#$src3) = $src4.new",
1152   [],"",V2LDST_tc_st_SLOT0> {
1153     bits<2> src1;
1154     bits<5> src2;
1155     bits<9> src3;
1156     bits<3> src4;
1157     bits<6> offsetBits; // Represents offset encoding
1158
1159     let isPredicatedNew = isPredNew;
1160     let isPredicatedFalse = PredNot;
1161     let opExtentBits = !if (!eq(mnemonic, "memb"), 6,
1162                        !if (!eq(mnemonic, "memh"), 7,
1163                        !if (!eq(mnemonic, "memw"), 8, 0)));
1164
1165     let opExtentAlign = !if (!eq(mnemonic, "memb"), 0,
1166                         !if (!eq(mnemonic, "memh"), 1,
1167                         !if (!eq(mnemonic, "memw"), 2, 0)));
1168
1169     let offsetBits = !if (!eq(mnemonic, "memb"), src3{5-0},
1170                      !if (!eq(mnemonic, "memh"), src3{6-1},
1171                      !if (!eq(mnemonic, "memw"), src3{7-2}, 0)));
1172
1173     let IClass = 0b0100;
1174
1175     let Inst{27}    = 0b0;
1176     let Inst{26}    = PredNot;
1177     let Inst{25}    = isPredNew;
1178     let Inst{24-21} = 0b0101;
1179     let Inst{20-16} = src2;
1180     let Inst{13}    = offsetBits{5};
1181     let Inst{12-11} = MajOp;
1182     let Inst{10-8}  = src4;
1183     let Inst{7-3}   = offsetBits{4-0};
1184     let Inst{2}     = 0b0;
1185     let Inst{1-0}   = src1;
1186   }
1187
1188 // multiclass for new-value store instructions with base + immediate offset.
1189 //
1190 let mayStore = 1, isNVStore = 1, isNewValue = 1, hasSideEffects = 0,
1191     isExtendable = 1 in
1192 multiclass ST_Idxd_nv<string mnemonic, string CextOp, RegisterClass RC,
1193                    Operand ImmOp, Operand predImmOp, bits<2> MajOp> {
1194
1195   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed in {
1196     def S2_#NAME#new_io : T_store_io_nv <mnemonic, RC, ImmOp, MajOp>;
1197     // Predicated
1198     def S2_p#NAME#newt_io :T_pstore_io_nv <mnemonic, RC, predImmOp, MajOp, 0, 0>;
1199     def S2_p#NAME#newf_io :T_pstore_io_nv <mnemonic, RC, predImmOp, MajOp, 1, 0>;
1200     // Predicated new
1201     def S4_p#NAME#newtnew_io :T_pstore_io_nv <mnemonic, RC, predImmOp,
1202                                               MajOp, 0, 1>;
1203     def S4_p#NAME#newfnew_io :T_pstore_io_nv <mnemonic, RC, predImmOp,
1204                                               MajOp, 1, 1>;
1205   }
1206 }
1207
1208 let addrMode = BaseImmOffset, InputType = "imm", isCodeGenOnly = 0 in {
1209   let accessSize = ByteAccess in
1210   defm storerb: ST_Idxd_nv<"memb", "STrib", IntRegs, s11_0Ext,
1211                            u6_0Ext, 0b00>, AddrModeRel;
1212
1213   let accessSize = HalfWordAccess, opExtentAlign = 1 in
1214   defm storerh: ST_Idxd_nv<"memh", "STrih", IntRegs, s11_1Ext,
1215                            u6_1Ext, 0b01>, AddrModeRel;
1216
1217   let accessSize = WordAccess, opExtentAlign = 2 in
1218   defm storeri: ST_Idxd_nv<"memw", "STriw", IntRegs, s11_2Ext,
1219                            u6_2Ext, 0b10>, AddrModeRel;
1220 }
1221
1222 //===----------------------------------------------------------------------===//
1223 // Template class for non-predicated post increment .new stores
1224 // mem[bhwd](Rx++#s4:[0123])=Nt.new
1225 //===----------------------------------------------------------------------===//
1226 let isPredicable = 1, hasSideEffects = 0, validSubTargets = HasV4SubT,
1227     addrMode = PostInc, isNVStore = 1, isNewValue = 1, opNewValue = 3 in
1228 class T_StorePI_nv <string mnemonic, Operand ImmOp, bits<2> MajOp >
1229   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1230                  (ins IntRegs:$src1, ImmOp:$offset, IntRegs:$src2),
1231   mnemonic#"($src1++#$offset) = $src2.new",
1232   [], "$src1 = $_dst_">,
1233   AddrModeRel {
1234     bits<5> src1;
1235     bits<3> src2;
1236     bits<7> offset;
1237     bits<4> offsetBits;
1238
1239     string ImmOpStr = !cast<string>(ImmOp);
1240     let offsetBits = !if (!eq(ImmOpStr, "s4_2Imm"), offset{5-2},
1241                      !if (!eq(ImmOpStr, "s4_1Imm"), offset{4-1},
1242                                       /* s4_0Imm */ offset{3-0}));
1243     let IClass = 0b1010;
1244
1245     let Inst{27-21} = 0b1011101;
1246     let Inst{20-16} = src1;
1247     let Inst{13} = 0b0;
1248     let Inst{12-11} = MajOp;
1249     let Inst{10-8} = src2;
1250     let Inst{7} = 0b0;
1251     let Inst{6-3} = offsetBits;
1252     let Inst{1} = 0b0;
1253   }
1254
1255 //===----------------------------------------------------------------------===//
1256 // Template class for predicated post increment .new stores
1257 // if([!]Pv[.new]) mem[bhwd](Rx++#s4:[0123])=Nt.new
1258 //===----------------------------------------------------------------------===//
1259 let isPredicated = 1, hasSideEffects = 0, validSubTargets = HasV4SubT,
1260     addrMode = PostInc, isNVStore = 1, isNewValue = 1, opNewValue = 4 in
1261 class T_StorePI_nv_pred <string mnemonic, Operand ImmOp,
1262                          bits<2> MajOp, bit isPredNot, bit isPredNew >
1263   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1264                  (ins PredRegs:$src1, IntRegs:$src2,
1265                       ImmOp:$offset, IntRegs:$src3),
1266   !if(isPredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
1267   ") ")#mnemonic#"($src2++#$offset) = $src3.new",
1268   [], "$src2 = $_dst_">,
1269   AddrModeRel {
1270     bits<2> src1;
1271     bits<5> src2;
1272     bits<3> src3;
1273     bits<7> offset;
1274     bits<4> offsetBits;
1275
1276     string ImmOpStr = !cast<string>(ImmOp);
1277     let offsetBits = !if (!eq(ImmOpStr, "s4_2Imm"), offset{5-2},
1278                      !if (!eq(ImmOpStr, "s4_1Imm"), offset{4-1},
1279                                       /* s4_0Imm */ offset{3-0}));
1280     let isPredicatedNew = isPredNew;
1281     let isPredicatedFalse = isPredNot;
1282
1283     let IClass = 0b1010;
1284
1285     let Inst{27-21} = 0b1011101;
1286     let Inst{20-16} = src2;
1287     let Inst{13} = 0b1;
1288     let Inst{12-11} = MajOp;
1289     let Inst{10-8} = src3;
1290     let Inst{7} = isPredNew;
1291     let Inst{6-3} = offsetBits;
1292     let Inst{2} = isPredNot;
1293     let Inst{1-0} = src1;
1294   }
1295
1296 multiclass ST_PostInc_Pred_nv<string mnemonic, Operand ImmOp,
1297                               bits<2> MajOp, bit PredNot> {
1298   def _pi : T_StorePI_nv_pred <mnemonic, ImmOp, MajOp, PredNot, 0>;
1299
1300   // Predicate new
1301   def new_pi : T_StorePI_nv_pred <mnemonic, ImmOp, MajOp, PredNot, 1>;
1302 }
1303
1304 multiclass ST_PostInc_nv<string mnemonic, string BaseOp, Operand ImmOp,
1305                          bits<2> MajOp> {
1306   let BaseOpcode = "POST_"#BaseOp in {
1307     def S2_#NAME#_pi : T_StorePI_nv <mnemonic, ImmOp, MajOp>;
1308
1309     // Predicated
1310     defm S2_p#NAME#t : ST_PostInc_Pred_nv <mnemonic, ImmOp, MajOp, 0>;
1311     defm S2_p#NAME#f : ST_PostInc_Pred_nv <mnemonic, ImmOp, MajOp, 1>;
1312   }
1313 }
1314
1315 let accessSize = ByteAccess, isCodeGenOnly = 0 in
1316 defm storerbnew: ST_PostInc_nv <"memb", "STrib", s4_0Imm, 0b00>;
1317
1318 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in
1319 defm storerhnew: ST_PostInc_nv <"memh", "STrih", s4_1Imm, 0b01>;
1320
1321 let accessSize = WordAccess, isCodeGenOnly = 0 in
1322 defm storerinew: ST_PostInc_nv <"memw", "STriw", s4_2Imm, 0b10>;
1323
1324 //===----------------------------------------------------------------------===//
1325 // Template class for post increment .new stores with register offset
1326 //===----------------------------------------------------------------------===//
1327 let isNewValue = 1, mayStore = 1, isNVStore = 1, opNewValue = 3 in
1328 class T_StorePI_RegNV <string mnemonic, bits<2> MajOp, MemAccessSize AccessSz>
1329   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1330                  (ins IntRegs:$src1, ModRegs:$src2, IntRegs:$src3),
1331   #mnemonic#"($src1++$src2) = $src3.new",
1332   [], "$src1 = $_dst_"> {
1333     bits<5> src1;
1334     bits<1> src2;
1335     bits<3> src3;
1336     let accessSize = AccessSz;
1337
1338     let IClass = 0b1010;
1339
1340     let Inst{27-21} = 0b1101101;
1341     let Inst{20-16} = src1;
1342     let Inst{13}    = src2;
1343     let Inst{12-11} = MajOp;
1344     let Inst{10-8}  = src3;
1345     let Inst{7}     = 0b0;
1346   }
1347
1348 let isCodeGenOnly = 0 in {
1349 def S2_storerbnew_pr : T_StorePI_RegNV<"memb", 0b00, ByteAccess>;
1350 def S2_storerhnew_pr : T_StorePI_RegNV<"memh", 0b01, HalfWordAccess>;
1351 def S2_storerinew_pr : T_StorePI_RegNV<"memw", 0b10, WordAccess>;
1352 }
1353
1354 // memb(Rx++#s4:0:circ(Mu))=Nt.new
1355 // memb(Rx++I:circ(Mu))=Nt.new
1356 // memb(Rx++Mu)=Nt.new
1357 // memb(Rx++Mu:brev)=Nt.new
1358 // memh(Rx++#s4:1:circ(Mu))=Nt.new
1359 // memh(Rx++I:circ(Mu))=Nt.new
1360 // memh(Rx++Mu)=Nt.new
1361 // memh(Rx++Mu:brev)=Nt.new
1362
1363 // memw(Rx++#s4:2:circ(Mu))=Nt.new
1364 // memw(Rx++I:circ(Mu))=Nt.new
1365 // memw(Rx++Mu)=Nt.new
1366 // memw(Rx++Mu:brev)=Nt.new
1367
1368 //===----------------------------------------------------------------------===//
1369 // NV/ST -
1370 //===----------------------------------------------------------------------===//
1371
1372 //===----------------------------------------------------------------------===//
1373 // NV/J +
1374 //===----------------------------------------------------------------------===//
1375
1376 //===----------------------------------------------------------------------===//
1377 // multiclass/template class for the new-value compare jumps with the register
1378 // operands.
1379 //===----------------------------------------------------------------------===//
1380
1381 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 11,
1382     opExtentAlign = 2 in
1383 class NVJrr_template<string mnemonic, bits<3> majOp, bit NvOpNum,
1384                       bit isNegCond, bit isTak>
1385   : NVInst_V4<(outs),
1386     (ins IntRegs:$src1, IntRegs:$src2, brtarget:$offset),
1387     "if ("#!if(isNegCond, "!","")#mnemonic#
1388     "($src1"#!if(!eq(NvOpNum, 0),".new, ",", ")#
1389     "$src2"#!if(!eq(NvOpNum, 1),".new))","))")#" jump:"
1390     #!if(isTak, "t","nt")#" $offset", []> {
1391
1392       bits<5> src1;
1393       bits<5> src2;
1394       bits<3> Ns;    // New-Value Operand
1395       bits<5> RegOp; // Non-New-Value Operand
1396       bits<11> offset;
1397
1398       let isTaken = isTak;
1399       let isPredicatedFalse = isNegCond;
1400       let opNewValue{0} = NvOpNum;
1401
1402       let Ns = !if(!eq(NvOpNum, 0), src1{2-0}, src2{2-0});
1403       let RegOp = !if(!eq(NvOpNum, 0), src2, src1);
1404
1405       let IClass = 0b0010;
1406       let Inst{26} = 0b0;
1407       let Inst{25-23} = majOp;
1408       let Inst{22} = isNegCond;
1409       let Inst{18-16} = Ns;
1410       let Inst{13} = isTak;
1411       let Inst{12-8} = RegOp;
1412       let Inst{21-20} = offset{10-9};
1413       let Inst{7-1} = offset{8-2};
1414 }
1415
1416
1417 multiclass NVJrr_cond<string mnemonic, bits<3> majOp, bit NvOpNum,
1418                        bit isNegCond> {
1419   // Branch not taken:
1420   def _nt_V4: NVJrr_template<mnemonic, majOp, NvOpNum, isNegCond, 0>;
1421   // Branch taken:
1422   def _t_V4: NVJrr_template<mnemonic, majOp, NvOpNum, isNegCond, 1>;
1423 }
1424
1425 // NvOpNum = 0 -> First Operand is a new-value Register
1426 // NvOpNum = 1 -> Second Operand is a new-value Register
1427
1428 multiclass NVJrr_base<string mnemonic, string BaseOp, bits<3> majOp,
1429                        bit NvOpNum> {
1430   let BaseOpcode = BaseOp#_NVJ in {
1431     defm _t_Jumpnv : NVJrr_cond<mnemonic, majOp, NvOpNum, 0>; // True cond
1432     defm _f_Jumpnv : NVJrr_cond<mnemonic, majOp, NvOpNum, 1>; // False cond
1433   }
1434 }
1435
1436 // if ([!]cmp.eq(Ns.new,Rt)) jump:[n]t #r9:2
1437 // if ([!]cmp.gt(Ns.new,Rt)) jump:[n]t #r9:2
1438 // if ([!]cmp.gtu(Ns.new,Rt)) jump:[n]t #r9:2
1439 // if ([!]cmp.gt(Rt,Ns.new)) jump:[n]t #r9:2
1440 // if ([!]cmp.gtu(Rt,Ns.new)) jump:[n]t #r9:2
1441
1442 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator = 1,
1443     Defs = [PC], hasSideEffects = 0, validSubTargets = HasV4SubT,
1444     isCodeGenOnly = 0 in {
1445   defm CMPEQrr  : NVJrr_base<"cmp.eq",  "CMPEQ",  0b000, 0>, PredRel;
1446   defm CMPGTrr  : NVJrr_base<"cmp.gt",  "CMPGT",  0b001, 0>, PredRel;
1447   defm CMPGTUrr : NVJrr_base<"cmp.gtu", "CMPGTU", 0b010, 0>, PredRel;
1448   defm CMPLTrr  : NVJrr_base<"cmp.gt",  "CMPLT",  0b011, 1>, PredRel;
1449   defm CMPLTUrr : NVJrr_base<"cmp.gtu", "CMPLTU", 0b100, 1>, PredRel;
1450 }
1451
1452 //===----------------------------------------------------------------------===//
1453 // multiclass/template class for the new-value compare jumps instruction
1454 // with a register and an unsigned immediate (U5) operand.
1455 //===----------------------------------------------------------------------===//
1456
1457 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 11,
1458     opExtentAlign = 2 in
1459 class NVJri_template<string mnemonic, bits<3> majOp, bit isNegCond,
1460                          bit isTak>
1461   : NVInst_V4<(outs),
1462     (ins IntRegs:$src1, u5Imm:$src2, brtarget:$offset),
1463     "if ("#!if(isNegCond, "!","")#mnemonic#"($src1.new, #$src2)) jump:"
1464     #!if(isTak, "t","nt")#" $offset", []> {
1465
1466       let isTaken = isTak;
1467       let isPredicatedFalse = isNegCond;
1468       let isTaken = isTak;
1469
1470       bits<3> src1;
1471       bits<5> src2;
1472       bits<11> offset;
1473
1474       let IClass = 0b0010;
1475       let Inst{26} = 0b1;
1476       let Inst{25-23} = majOp;
1477       let Inst{22} = isNegCond;
1478       let Inst{18-16} = src1;
1479       let Inst{13} = isTak;
1480       let Inst{12-8} = src2;
1481       let Inst{21-20} = offset{10-9};
1482       let Inst{7-1} = offset{8-2};
1483 }
1484
1485 multiclass NVJri_cond<string mnemonic, bits<3> majOp, bit isNegCond> {
1486   // Branch not taken:
1487   def _nt_V4: NVJri_template<mnemonic, majOp, isNegCond, 0>;
1488   // Branch taken:
1489   def _t_V4: NVJri_template<mnemonic, majOp, isNegCond, 1>;
1490 }
1491
1492 multiclass NVJri_base<string mnemonic, string BaseOp, bits<3> majOp> {
1493   let BaseOpcode = BaseOp#_NVJri in {
1494     defm _t_Jumpnv : NVJri_cond<mnemonic, majOp, 0>; // True Cond
1495     defm _f_Jumpnv : NVJri_cond<mnemonic, majOp, 1>; // False cond
1496   }
1497 }
1498
1499 // if ([!]cmp.eq(Ns.new,#U5)) jump:[n]t #r9:2
1500 // if ([!]cmp.gt(Ns.new,#U5)) jump:[n]t #r9:2
1501 // if ([!]cmp.gtu(Ns.new,#U5)) jump:[n]t #r9:2
1502
1503 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator = 1,
1504     Defs = [PC], hasSideEffects = 0, validSubTargets = HasV4SubT,
1505     isCodeGenOnly = 0 in {
1506   defm CMPEQri  : NVJri_base<"cmp.eq", "CMPEQ", 0b000>, PredRel;
1507   defm CMPGTri  : NVJri_base<"cmp.gt", "CMPGT", 0b001>, PredRel;
1508   defm CMPGTUri : NVJri_base<"cmp.gtu", "CMPGTU", 0b010>, PredRel;
1509 }
1510
1511 //===----------------------------------------------------------------------===//
1512 // multiclass/template class for the new-value compare jumps instruction
1513 // with a register and an hardcoded 0/-1 immediate value.
1514 //===----------------------------------------------------------------------===//
1515
1516 let isExtendable = 1, opExtendable = 1, isExtentSigned = 1, opExtentBits = 11,
1517     opExtentAlign = 2 in
1518 class NVJ_ConstImm_template<string mnemonic, bits<3> majOp, string ImmVal,
1519                             bit isNegCond, bit isTak>
1520   : NVInst_V4<(outs),
1521     (ins IntRegs:$src1, brtarget:$offset),
1522     "if ("#!if(isNegCond, "!","")#mnemonic
1523     #"($src1.new, #"#ImmVal#")) jump:"
1524     #!if(isTak, "t","nt")#" $offset", []> {
1525
1526       let isTaken = isTak;
1527       let isPredicatedFalse = isNegCond;
1528       let isTaken = isTak;
1529
1530       bits<3> src1;
1531       bits<11> offset;
1532       let IClass = 0b0010;
1533       let Inst{26} = 0b1;
1534       let Inst{25-23} = majOp;
1535       let Inst{22} = isNegCond;
1536       let Inst{18-16} = src1;
1537       let Inst{13} = isTak;
1538       let Inst{21-20} = offset{10-9};
1539       let Inst{7-1} = offset{8-2};
1540 }
1541
1542 multiclass NVJ_ConstImm_cond<string mnemonic, bits<3> majOp, string ImmVal,
1543                              bit isNegCond> {
1544   // Branch not taken:
1545   def _nt_V4: NVJ_ConstImm_template<mnemonic, majOp, ImmVal, isNegCond, 0>;
1546   // Branch taken:
1547   def _t_V4: NVJ_ConstImm_template<mnemonic, majOp, ImmVal, isNegCond, 1>;
1548 }
1549
1550 multiclass NVJ_ConstImm_base<string mnemonic, string BaseOp, bits<3> majOp,
1551                              string ImmVal> {
1552   let BaseOpcode = BaseOp#_NVJ_ConstImm in {
1553     defm _t_Jumpnv : NVJ_ConstImm_cond<mnemonic, majOp, ImmVal, 0>; // True
1554     defm _f_Jumpnv : NVJ_ConstImm_cond<mnemonic, majOp, ImmVal, 1>; // False
1555   }
1556 }
1557
1558 // if ([!]tstbit(Ns.new,#0)) jump:[n]t #r9:2
1559 // if ([!]cmp.eq(Ns.new,#-1)) jump:[n]t #r9:2
1560 // if ([!]cmp.gt(Ns.new,#-1)) jump:[n]t #r9:2
1561
1562 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator=1,
1563     Defs = [PC], hasSideEffects = 0, isCodeGenOnly = 0 in {
1564   defm TSTBIT0  : NVJ_ConstImm_base<"tstbit", "TSTBIT", 0b011, "0">, PredRel;
1565   defm CMPEQn1  : NVJ_ConstImm_base<"cmp.eq", "CMPEQ",  0b100, "-1">, PredRel;
1566   defm CMPGTn1  : NVJ_ConstImm_base<"cmp.gt", "CMPGT",  0b101, "-1">, PredRel;
1567 }
1568
1569 // J4_hintjumpr: Hint indirect conditional jump.
1570 let isBranch = 1, isIndirectBranch = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1571 def J4_hintjumpr: JRInst <
1572   (outs),
1573   (ins IntRegs:$Rs),
1574   "hintjr($Rs)"> {
1575     bits<5> Rs;
1576     let IClass = 0b0101;
1577     let Inst{27-21} = 0b0010101;
1578     let Inst{20-16} = Rs;
1579   }
1580
1581 //===----------------------------------------------------------------------===//
1582 // NV/J -
1583 //===----------------------------------------------------------------------===//
1584
1585 //===----------------------------------------------------------------------===//
1586 // CR +
1587 //===----------------------------------------------------------------------===//
1588
1589 // PC-relative add
1590 let hasNewValue = 1, isExtendable = 1, opExtendable = 1,
1591     isExtentSigned = 0, opExtentBits = 6, hasSideEffects = 0,
1592     Uses = [PC], validSubTargets = HasV4SubT in
1593 def C4_addipc : CRInst <(outs IntRegs:$Rd), (ins u6Ext:$u6),
1594   "$Rd = add(pc, #$u6)", [], "", CR_tc_2_SLOT3 > {
1595     bits<5> Rd;
1596     bits<6> u6;
1597
1598     let IClass = 0b0110;
1599     let Inst{27-16} = 0b101001001001;
1600     let Inst{12-7} = u6;
1601     let Inst{4-0} = Rd;
1602   }
1603
1604
1605
1606 let hasSideEffects = 0 in
1607 class T_LOGICAL_3OP<string MnOp1, string MnOp2, bits<2> OpBits, bit IsNeg>
1608     : CRInst<(outs PredRegs:$Pd),
1609              (ins PredRegs:$Ps, PredRegs:$Pt, PredRegs:$Pu),
1610              "$Pd = " # MnOp1 # "($Ps, " # MnOp2 # "($Pt, " #
1611                    !if (IsNeg,"!","") # "$Pu))",
1612              [], "", CR_tc_2early_SLOT23> {
1613   bits<2> Pd;
1614   bits<2> Ps;
1615   bits<2> Pt;
1616   bits<2> Pu;
1617
1618   let IClass = 0b0110;
1619   let Inst{27-24} = 0b1011;
1620   let Inst{23} = IsNeg;
1621   let Inst{22-21} = OpBits;
1622   let Inst{20} = 0b1;
1623   let Inst{17-16} = Ps;
1624   let Inst{13} = 0b0;
1625   let Inst{9-8} = Pt;
1626   let Inst{7-6} = Pu;
1627   let Inst{1-0} = Pd;
1628 }
1629
1630 let isCodeGenOnly = 0 in {
1631 def C4_and_and  : T_LOGICAL_3OP<"and", "and", 0b00, 0>;
1632 def C4_and_or   : T_LOGICAL_3OP<"and", "or",  0b01, 0>;
1633 def C4_or_and   : T_LOGICAL_3OP<"or",  "and", 0b10, 0>;
1634 def C4_or_or    : T_LOGICAL_3OP<"or",  "or",  0b11, 0>;
1635 def C4_and_andn : T_LOGICAL_3OP<"and", "and", 0b00, 1>;
1636 def C4_and_orn  : T_LOGICAL_3OP<"and", "or",  0b01, 1>;
1637 def C4_or_andn  : T_LOGICAL_3OP<"or",  "and", 0b10, 1>;
1638 def C4_or_orn   : T_LOGICAL_3OP<"or",  "or",  0b11, 1>;
1639 }
1640
1641 //===----------------------------------------------------------------------===//
1642 // CR -
1643 //===----------------------------------------------------------------------===//
1644
1645 //===----------------------------------------------------------------------===//
1646 // XTYPE/ALU +
1647 //===----------------------------------------------------------------------===//
1648
1649 // Logical with-not instructions.
1650 let validSubTargets = HasV4SubT, isCodeGenOnly = 0 in {
1651   def A4_andnp : T_ALU64_logical<"and", 0b001, 1, 0, 1>;
1652   def A4_ornp  : T_ALU64_logical<"or",  0b011, 1, 0, 1>;
1653 }
1654
1655 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1656 def S4_parity: ALU64Inst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, IntRegs:$Rt),
1657       "$Rd = parity($Rs, $Rt)", [], "", ALU64_tc_2_SLOT23> {
1658   bits<5> Rd;
1659   bits<5> Rs;
1660   bits<5> Rt;
1661
1662   let IClass = 0b1101;
1663   let Inst{27-21} = 0b0101111;
1664   let Inst{20-16} = Rs;
1665   let Inst{12-8} = Rt;
1666   let Inst{4-0} = Rd;
1667 }
1668 //  Add and accumulate.
1669 //  Rd=add(Rs,add(Ru,#s6))
1670 let isExtentSigned = 1, hasNewValue = 1, isExtendable = 1, opExtentBits = 6,
1671     opExtendable = 3, isCodeGenOnly = 0 in
1672 def S4_addaddi : ALU64Inst <(outs IntRegs:$Rd),
1673                             (ins IntRegs:$Rs, IntRegs:$Ru, s6Ext:$s6),
1674   "$Rd = add($Rs, add($Ru, #$s6))" ,
1675   [(set (i32 IntRegs:$Rd), (add (i32 IntRegs:$Rs),
1676                            (add (i32 IntRegs:$Ru), s6_16ExtPred:$s6)))],
1677   "", ALU64_tc_2_SLOT23> {
1678     bits<5> Rd;
1679     bits<5> Rs;
1680     bits<5> Ru;
1681     bits<6> s6;
1682
1683     let IClass = 0b1101;
1684
1685     let Inst{27-23} = 0b10110;
1686     let Inst{22-21} = s6{5-4};
1687     let Inst{20-16} = Rs;
1688     let Inst{13}    = s6{3};
1689     let Inst{12-8}  = Rd;
1690     let Inst{7-5}   = s6{2-0};
1691     let Inst{4-0}   = Ru;
1692   }
1693
1694 let isExtentSigned = 1, hasSideEffects = 0, hasNewValue = 1, isExtendable = 1,
1695     opExtentBits = 6, opExtendable = 2, isCodeGenOnly = 0 in
1696 def S4_subaddi: ALU64Inst <(outs IntRegs:$Rd),
1697                            (ins IntRegs:$Rs, s6Ext:$s6, IntRegs:$Ru),
1698   "$Rd = add($Rs, sub(#$s6, $Ru))",
1699   [], "", ALU64_tc_2_SLOT23> {
1700     bits<5> Rd;
1701     bits<5> Rs;
1702     bits<6> s6;
1703     bits<5> Ru;
1704
1705     let IClass = 0b1101;
1706
1707     let Inst{27-23} = 0b10111;
1708     let Inst{22-21} = s6{5-4};
1709     let Inst{20-16} = Rs;
1710     let Inst{13}    = s6{3};
1711     let Inst{12-8}  = Rd;
1712     let Inst{7-5}   = s6{2-0};
1713     let Inst{4-0}   = Ru;
1714   }
1715
1716 // Extract bitfield
1717 // Rdd=extract(Rss,#u6,#U6)
1718 // Rdd=extract(Rss,Rtt)
1719 // Rd=extract(Rs,Rtt)
1720 // Rd=extract(Rs,#u5,#U5)
1721
1722 let isCodeGenOnly = 0 in {
1723 def S4_extractp_rp : T_S3op_64 < "extract",  0b11, 0b100, 0>;
1724 def S4_extractp    : T_S2op_extract <"extract",  0b1010, DoubleRegs, u6Imm>;
1725 }
1726
1727 let hasNewValue = 1, isCodeGenOnly = 0 in {
1728   def S4_extract_rp : T_S3op_extract<"extract",  0b01>;
1729   def S4_extract    : T_S2op_extract <"extract",  0b1101, IntRegs, u5Imm>;
1730 }
1731
1732 let Itinerary = M_tc_3x_SLOT23, Defs = [USR_OVF], isCodeGenOnly = 0 in {
1733   def M4_mac_up_s1_sat: T_MType_acc_rr<"+= mpy", 0b011, 0b000, 0, [], 0, 1, 1>;
1734   def M4_nac_up_s1_sat: T_MType_acc_rr<"-= mpy", 0b011, 0b001, 0, [], 0, 1, 1>;
1735 }
1736
1737 // Logical xor with xor accumulation.
1738 // Rxx^=xor(Rss,Rtt)
1739 let hasSideEffects = 0, isCodeGenOnly = 0 in
1740 def M4_xor_xacc
1741   : SInst <(outs DoubleRegs:$Rxx),
1742            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, DoubleRegs:$Rtt),
1743   "$Rxx ^= xor($Rss, $Rtt)",
1744   [(set (i64 DoubleRegs:$Rxx),
1745    (xor (i64 DoubleRegs:$dst2), (xor (i64 DoubleRegs:$Rss),
1746                                      (i64 DoubleRegs:$Rtt))))],
1747   "$dst2 = $Rxx", S_3op_tc_1_SLOT23> {
1748     bits<5> Rxx;
1749     bits<5> Rss;
1750     bits<5> Rtt;
1751
1752     let IClass = 0b1100;
1753
1754     let Inst{27-23} = 0b10101;
1755     let Inst{20-16} = Rss;
1756     let Inst{12-8}  = Rtt;
1757     let Inst{4-0}   = Rxx;
1758   }
1759
1760 // Split bitfield
1761 let isCodeGenOnly = 0 in
1762 def A4_bitspliti : T_S2op_2_di <"bitsplit", 0b110, 0b100>;
1763
1764 // Arithmetic/Convergent round
1765 let isCodeGenOnly = 0 in
1766 def A4_cround_ri : T_S2op_2_ii <"cround", 0b111, 0b000>;
1767
1768 let isCodeGenOnly = 0 in
1769 def A4_round_ri  : T_S2op_2_ii <"round", 0b111, 0b100>;
1770
1771 let Defs = [USR_OVF], isCodeGenOnly = 0 in
1772 def A4_round_ri_sat : T_S2op_2_ii <"round", 0b111, 0b110, 1>;
1773
1774 // Logical-logical words.
1775 // Compound or-and -- Rx=or(Ru,and(Rx,#s10))
1776 let isExtentSigned = 1, hasNewValue = 1, isExtendable = 1, opExtentBits = 10,
1777     opExtendable = 3, isCodeGenOnly = 0 in
1778 def S4_or_andix:
1779   ALU64Inst<(outs IntRegs:$Rx),
1780             (ins IntRegs:$Ru, IntRegs:$_src_, s10Ext:$s10),
1781   "$Rx = or($Ru, and($_src_, #$s10))" ,
1782   [(set (i32 IntRegs:$Rx),
1783         (or (i32 IntRegs:$Ru), (and (i32 IntRegs:$_src_), s10ExtPred:$s10)))] ,
1784   "$_src_ = $Rx", ALU64_tc_2_SLOT23> {
1785     bits<5> Rx;
1786     bits<5> Ru;
1787     bits<10> s10;
1788
1789     let IClass = 0b1101;
1790
1791     let Inst{27-22} = 0b101001;
1792     let Inst{20-16} = Rx;
1793     let Inst{21}    = s10{9};
1794     let Inst{13-5}  = s10{8-0};
1795     let Inst{4-0}   = Ru;
1796   }
1797
1798 // Miscellaneous ALU64 instructions.
1799 //
1800 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1801 def A4_modwrapu: ALU64Inst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, IntRegs:$Rt),
1802       "$Rd = modwrap($Rs, $Rt)", [], "", ALU64_tc_2_SLOT23> {
1803   bits<5> Rd;
1804   bits<5> Rs;
1805   bits<5> Rt;
1806
1807   let IClass = 0b1101;
1808   let Inst{27-21} = 0b0011111;
1809   let Inst{20-16} = Rs;
1810   let Inst{12-8} = Rt;
1811   let Inst{7-5} = 0b111;
1812   let Inst{4-0} = Rd;
1813 }
1814
1815 let hasSideEffects = 0, isCodeGenOnly = 0 in
1816 def A4_bitsplit: ALU64Inst<(outs DoubleRegs:$Rd),
1817       (ins IntRegs:$Rs, IntRegs:$Rt),
1818       "$Rd = bitsplit($Rs, $Rt)", [], "", ALU64_tc_1_SLOT23> {
1819   bits<5> Rd;
1820   bits<5> Rs;
1821   bits<5> Rt;
1822
1823   let IClass = 0b1101;
1824   let Inst{27-24} = 0b0100;
1825   let Inst{21} = 0b1;
1826   let Inst{20-16} = Rs;
1827   let Inst{12-8} = Rt;
1828   let Inst{4-0} = Rd;
1829 }
1830
1831 let isCodeGenOnly = 0 in {
1832 // Rx[&|]=xor(Rs,Rt)
1833 def M4_or_xor   : T_MType_acc_rr < "|= xor", 0b110, 0b001, 0>;
1834 def M4_and_xor  : T_MType_acc_rr < "&= xor", 0b010, 0b010, 0>;
1835
1836 // Rx[&|^]=or(Rs,Rt)
1837 def M4_xor_or   : T_MType_acc_rr < "^= or",  0b110, 0b011, 0>;
1838
1839 let CextOpcode = "ORr_ORr" in
1840 def M4_or_or    : T_MType_acc_rr < "|= or",  0b110, 0b000, 0>;
1841 def M4_and_or   : T_MType_acc_rr < "&= or",  0b010, 0b001, 0>;
1842
1843 // Rx[&|^]=and(Rs,Rt)
1844 def M4_xor_and  : T_MType_acc_rr < "^= and", 0b110, 0b010, 0>;
1845
1846 let CextOpcode = "ORr_ANDr" in
1847 def M4_or_and   : T_MType_acc_rr < "|= and", 0b010, 0b011, 0>;
1848 def M4_and_and  : T_MType_acc_rr < "&= and", 0b010, 0b000, 0>;
1849
1850 // Rx[&|^]=and(Rs,~Rt)
1851 def M4_xor_andn : T_MType_acc_rr < "^= and", 0b001, 0b010, 0, [], 1>;
1852 def M4_or_andn  : T_MType_acc_rr < "|= and", 0b001, 0b000, 0, [], 1>;
1853 def M4_and_andn : T_MType_acc_rr < "&= and", 0b001, 0b001, 0, [], 1>;
1854 }
1855
1856 // Compound or-or and or-and
1857 let isExtentSigned = 1, InputType = "imm", hasNewValue = 1, isExtendable = 1,
1858     opExtentBits = 10, opExtendable = 3 in
1859 class T_CompOR <string mnemonic, bits<2> MajOp, SDNode OpNode>
1860   : MInst_acc <(outs IntRegs:$Rx),
1861                (ins IntRegs:$src1, IntRegs:$Rs, s10Ext:$s10),
1862   "$Rx |= "#mnemonic#"($Rs, #$s10)",
1863   [(set (i32 IntRegs:$Rx), (or (i32 IntRegs:$src1),
1864                            (OpNode (i32 IntRegs:$Rs), s10ExtPred:$s10)))],
1865   "$src1 = $Rx", ALU64_tc_2_SLOT23>, ImmRegRel {
1866     bits<5> Rx;
1867     bits<5> Rs;
1868     bits<10> s10;
1869
1870     let IClass = 0b1101;
1871
1872     let Inst{27-24} = 0b1010;
1873     let Inst{23-22} = MajOp;
1874     let Inst{20-16} = Rs;
1875     let Inst{21}    = s10{9};
1876     let Inst{13-5}  = s10{8-0};
1877     let Inst{4-0}   = Rx;
1878   }
1879
1880 let CextOpcode = "ORr_ANDr", isCodeGenOnly = 0 in
1881 def S4_or_andi : T_CompOR <"and", 0b00, and>;
1882
1883 let CextOpcode = "ORr_ORr", isCodeGenOnly = 0 in
1884 def S4_or_ori : T_CompOR <"or", 0b10, or>;
1885
1886 //    Modulo wrap
1887 //        Rd=modwrap(Rs,Rt)
1888 //    Round
1889 //        Rd=cround(Rs,#u5)
1890 //        Rd=cround(Rs,Rt)
1891 //        Rd=round(Rs,#u5)[:sat]
1892 //        Rd=round(Rs,Rt)[:sat]
1893 //    Vector reduce add unsigned halfwords
1894 //        Rd=vraddh(Rss,Rtt)
1895 //    Vector add bytes
1896 //        Rdd=vaddb(Rss,Rtt)
1897 //    Vector conditional negate
1898 //        Rdd=vcnegh(Rss,Rt)
1899 //        Rxx+=vrcnegh(Rss,Rt)
1900 //    Vector maximum bytes
1901 //        Rdd=vmaxb(Rtt,Rss)
1902 //    Vector reduce maximum halfwords
1903 //        Rxx=vrmaxh(Rss,Ru)
1904 //        Rxx=vrmaxuh(Rss,Ru)
1905 //    Vector reduce maximum words
1906 //        Rxx=vrmaxuw(Rss,Ru)
1907 //        Rxx=vrmaxw(Rss,Ru)
1908 //    Vector minimum bytes
1909 //        Rdd=vminb(Rtt,Rss)
1910 //    Vector reduce minimum halfwords
1911 //        Rxx=vrminh(Rss,Ru)
1912 //        Rxx=vrminuh(Rss,Ru)
1913 //    Vector reduce minimum words
1914 //        Rxx=vrminuw(Rss,Ru)
1915 //        Rxx=vrminw(Rss,Ru)
1916 //    Vector subtract bytes
1917 //        Rdd=vsubb(Rss,Rtt)
1918
1919 //===----------------------------------------------------------------------===//
1920 // XTYPE/ALU -
1921 //===----------------------------------------------------------------------===//
1922
1923 //===----------------------------------------------------------------------===//
1924 // XTYPE/BIT +
1925 //===----------------------------------------------------------------------===//
1926
1927 // Bit reverse
1928 let isCodeGenOnly = 0 in
1929 def S2_brevp : T_S2op_3 <"brev", 0b11, 0b110>;
1930
1931 // Bit count
1932 let isCodeGenOnly = 0 in {
1933 def S2_ct0p : T_COUNT_LEADING_64<"ct0", 0b111, 0b010>;
1934 def S2_ct1p : T_COUNT_LEADING_64<"ct1", 0b111, 0b100>;
1935 def S4_clbpnorm : T_COUNT_LEADING_64<"normamt", 0b011, 0b000>;
1936 }
1937
1938 def: Pat<(i32 (trunc (cttz (i64 DoubleRegs:$Rss)))),
1939          (S2_ct0p (i64 DoubleRegs:$Rss))>;
1940 def: Pat<(i32 (trunc (cttz (not (i64 DoubleRegs:$Rss))))),
1941          (S2_ct1p (i64 DoubleRegs:$Rss))>;
1942
1943 let hasSideEffects = 0, hasNewValue = 1, isCodeGenOnly = 0 in
1944 def S4_clbaddi : SInst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, s6Imm:$s6),
1945     "$Rd = add(clb($Rs), #$s6)", [], "", S_2op_tc_2_SLOT23> {
1946   bits<5> Rs;
1947   bits<5> Rd;
1948   bits<6> s6;
1949   let IClass = 0b1000;
1950   let Inst{27-24} = 0b1100;
1951   let Inst{23-21} = 0b001;
1952   let Inst{20-16} = Rs;
1953   let Inst{13-8} = s6;
1954   let Inst{7-5} = 0b000;
1955   let Inst{4-0} = Rd;
1956 }
1957
1958 let hasSideEffects = 0, hasNewValue = 1, isCodeGenOnly = 0 in
1959 def S4_clbpaddi : SInst<(outs IntRegs:$Rd), (ins DoubleRegs:$Rs, s6Imm:$s6),
1960     "$Rd = add(clb($Rs), #$s6)", [], "", S_2op_tc_2_SLOT23> {
1961   bits<5> Rs;
1962   bits<5> Rd;
1963   bits<6> s6;
1964   let IClass = 0b1000;
1965   let Inst{27-24} = 0b1000;
1966   let Inst{23-21} = 0b011;
1967   let Inst{20-16} = Rs;
1968   let Inst{13-8} = s6;
1969   let Inst{7-5} = 0b010;
1970   let Inst{4-0} = Rd;
1971 }
1972
1973
1974 // Bit test/set/clear
1975 let isCodeGenOnly = 0 in {
1976 def S4_ntstbit_i : T_TEST_BIT_IMM<"!tstbit", 0b001>;
1977 def S4_ntstbit_r : T_TEST_BIT_REG<"!tstbit", 1>;
1978 }
1979
1980 let AddedComplexity = 20 in {   // Complexity greater than cmp reg-imm.
1981   def: Pat<(i1 (seteq (and (shl 1, u5ImmPred:$u5), (i32 IntRegs:$Rs)), 0)),
1982            (S4_ntstbit_i (i32 IntRegs:$Rs), u5ImmPred:$u5)>;
1983   def: Pat<(i1 (seteq (and (shl 1, (i32 IntRegs:$Rt)), (i32 IntRegs:$Rs)), 0)),
1984            (S4_ntstbit_r (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))>;
1985 }
1986
1987 // Add extra complexity to prefer these instructions over bitsset/bitsclr.
1988 // The reason is that tstbit/ntstbit can be folded into a compound instruction:
1989 //   if ([!]tstbit(...)) jump ...
1990 let AddedComplexity = 100 in
1991 def: Pat<(i1 (setne (and (i32 IntRegs:$Rs), (i32 Set5ImmPred:$u5)), (i32 0))),
1992          (S2_tstbit_i (i32 IntRegs:$Rs), (BITPOS32 Set5ImmPred:$u5))>;
1993
1994 let AddedComplexity = 100 in
1995 def: Pat<(i1 (seteq (and (i32 IntRegs:$Rs), (i32 Set5ImmPred:$u5)), (i32 0))),
1996          (S4_ntstbit_i (i32 IntRegs:$Rs), (BITPOS32 Set5ImmPred:$u5))>;
1997
1998 let isCodeGenOnly = 0 in {
1999 def C4_nbitsset  : T_TEST_BITS_REG<"!bitsset", 0b01, 1>;
2000 def C4_nbitsclr  : T_TEST_BITS_REG<"!bitsclr", 0b10, 1>;
2001 def C4_nbitsclri : T_TEST_BITS_IMM<"!bitsclr", 0b10, 1>;
2002 }
2003
2004 // Do not increase complexity of these patterns. In the DAG, "cmp i8" may be
2005 // represented as a compare against "value & 0xFF", which is an exact match
2006 // for cmpb (same for cmph). The patterns below do not contain any additional
2007 // complexity that would make them preferable, and if they were actually used
2008 // instead of cmpb/cmph, they would result in a compare against register that
2009 // is loaded with the byte/half mask (i.e. 0xFF or 0xFFFF).
2010 def: Pat<(i1 (setne (and I32:$Rs, u6ImmPred:$u6), 0)),
2011          (C4_nbitsclri I32:$Rs, u6ImmPred:$u6)>;
2012 def: Pat<(i1 (setne (and I32:$Rs, I32:$Rt), 0)),
2013          (C4_nbitsclr I32:$Rs, I32:$Rt)>;
2014 def: Pat<(i1 (setne (and I32:$Rs, I32:$Rt), I32:$Rt)),
2015          (C4_nbitsset I32:$Rs, I32:$Rt)>;
2016
2017 //===----------------------------------------------------------------------===//
2018 // XTYPE/BIT -
2019 //===----------------------------------------------------------------------===//
2020
2021 //===----------------------------------------------------------------------===//
2022 // XTYPE/MPY +
2023 //===----------------------------------------------------------------------===//
2024
2025 // Rd=add(#u6,mpyi(Rs,#U6)) -- Multiply by immed and add immed.
2026
2027 let hasNewValue = 1, isExtendable = 1, opExtentBits = 6, opExtendable = 1,
2028     isCodeGenOnly = 0 in
2029 def M4_mpyri_addi : MInst<(outs IntRegs:$Rd),
2030   (ins u6Ext:$u6, IntRegs:$Rs, u6Imm:$U6),
2031   "$Rd = add(#$u6, mpyi($Rs, #$U6))" ,
2032   [(set (i32 IntRegs:$Rd),
2033         (add (mul (i32 IntRegs:$Rs), u6ImmPred:$U6),
2034              u6ExtPred:$u6))] ,"",ALU64_tc_3x_SLOT23> {
2035     bits<5> Rd;
2036     bits<6> u6;
2037     bits<5> Rs;
2038     bits<6> U6;
2039
2040     let IClass = 0b1101;
2041
2042     let Inst{27-24} = 0b1000;
2043     let Inst{23}    = U6{5};
2044     let Inst{22-21} = u6{5-4};
2045     let Inst{20-16} = Rs;
2046     let Inst{13}    = u6{3};
2047     let Inst{12-8}  = Rd;
2048     let Inst{7-5}   = u6{2-0};
2049     let Inst{4-0}   = U6{4-0};
2050   }
2051
2052 // Rd=add(#u6,mpyi(Rs,Rt))
2053 let CextOpcode = "ADD_MPY", InputType = "imm", hasNewValue = 1,
2054     isExtendable = 1, opExtentBits = 6, opExtendable = 1, isCodeGenOnly = 0 in
2055 def M4_mpyrr_addi : MInst <(outs IntRegs:$Rd),
2056   (ins u6Ext:$u6, IntRegs:$Rs, IntRegs:$Rt),
2057   "$Rd = add(#$u6, mpyi($Rs, $Rt))" ,
2058   [(set (i32 IntRegs:$Rd),
2059         (add (mul (i32 IntRegs:$Rs), (i32 IntRegs:$Rt)), u6ExtPred:$u6))],
2060   "", ALU64_tc_3x_SLOT23>, ImmRegRel {
2061     bits<5> Rd;
2062     bits<6> u6;
2063     bits<5> Rs;
2064     bits<5> Rt;
2065
2066     let IClass = 0b1101;
2067
2068     let Inst{27-23} = 0b01110;
2069     let Inst{22-21} = u6{5-4};
2070     let Inst{20-16} = Rs;
2071     let Inst{13}    = u6{3};
2072     let Inst{12-8}  = Rt;
2073     let Inst{7-5}   = u6{2-0};
2074     let Inst{4-0}   = Rd;
2075   }
2076
2077 let hasNewValue = 1 in
2078 class T_AddMpy <bit MajOp, PatLeaf ImmPred, dag ins>
2079   : ALU64Inst <(outs IntRegs:$dst), ins,
2080   "$dst = add($src1, mpyi("#!if(MajOp,"$src3, #$src2))",
2081                                       "#$src2, $src3))"),
2082   [(set (i32 IntRegs:$dst),
2083         (add (i32 IntRegs:$src1), (mul (i32 IntRegs:$src3), ImmPred:$src2)))],
2084   "", ALU64_tc_3x_SLOT23> {
2085     bits<5> dst;
2086     bits<5> src1;
2087     bits<8> src2;
2088     bits<5> src3;
2089
2090     let IClass = 0b1101;
2091
2092     bits<6> ImmValue = !if(MajOp, src2{5-0}, src2{7-2});
2093
2094     let Inst{27-24} = 0b1111;
2095     let Inst{23}    = MajOp;
2096     let Inst{22-21} = ImmValue{5-4};
2097     let Inst{20-16} = src3;
2098     let Inst{13}    = ImmValue{3};
2099     let Inst{12-8}  = dst;
2100     let Inst{7-5}   = ImmValue{2-0};
2101     let Inst{4-0}   = src1;
2102   }
2103
2104 let isCodeGenOnly = 0 in
2105 def M4_mpyri_addr_u2 : T_AddMpy<0b0, u6_2ImmPred,
2106                        (ins IntRegs:$src1, u6_2Imm:$src2, IntRegs:$src3)>;
2107
2108 let isExtendable = 1, opExtentBits = 6, opExtendable = 3,
2109     CextOpcode = "ADD_MPY", InputType = "imm", isCodeGenOnly = 0 in
2110 def M4_mpyri_addr : T_AddMpy<0b1, u6ExtPred,
2111                     (ins IntRegs:$src1, IntRegs:$src3, u6Ext:$src2)>, ImmRegRel;
2112
2113 // Rx=add(Ru,mpyi(Rx,Rs))
2114 let validSubTargets = HasV4SubT, CextOpcode = "ADD_MPY", InputType = "reg",
2115     hasNewValue = 1, isCodeGenOnly = 0 in
2116 def M4_mpyrr_addr: MInst_acc <(outs IntRegs:$Rx),
2117                               (ins IntRegs:$Ru, IntRegs:$_src_, IntRegs:$Rs),
2118   "$Rx = add($Ru, mpyi($_src_, $Rs))",
2119   [(set (i32 IntRegs:$Rx), (add (i32 IntRegs:$Ru),
2120                            (mul (i32 IntRegs:$_src_), (i32 IntRegs:$Rs))))],
2121   "$_src_ = $Rx", M_tc_3x_SLOT23>, ImmRegRel {
2122     bits<5> Rx;
2123     bits<5> Ru;
2124     bits<5> Rs;
2125
2126     let IClass = 0b1110;
2127
2128     let Inst{27-21} = 0b0011000;
2129     let Inst{12-8} = Rx;
2130     let Inst{4-0} = Ru;
2131     let Inst{20-16} = Rs;
2132   }
2133
2134 // Rd=add(##,mpyi(Rs,#U6))
2135 def : Pat <(add (mul (i32 IntRegs:$src2), u6ImmPred:$src3),
2136                      (HexagonCONST32 tglobaladdr:$src1)),
2137            (i32 (M4_mpyri_addi tglobaladdr:$src1, IntRegs:$src2,
2138                                u6ImmPred:$src3))>;
2139
2140 // Rd=add(##,mpyi(Rs,Rt))
2141 def : Pat <(add (mul (i32 IntRegs:$src2), (i32 IntRegs:$src3)),
2142                      (HexagonCONST32 tglobaladdr:$src1)),
2143            (i32 (M4_mpyrr_addi tglobaladdr:$src1, IntRegs:$src2,
2144                                IntRegs:$src3))>;
2145
2146 // Polynomial multiply words
2147 // Rdd=pmpyw(Rs,Rt)
2148 // Rxx^=pmpyw(Rs,Rt)
2149
2150 // Vector reduce multiply word by signed half (32x16)
2151 // Rdd=vrmpyweh(Rss,Rtt)[:<<1]
2152 // Rdd=vrmpywoh(Rss,Rtt)[:<<1]
2153 // Rxx+=vrmpyweh(Rss,Rtt)[:<<1]
2154 // Rxx+=vrmpywoh(Rss,Rtt)[:<<1]
2155
2156 // Multiply and use upper result
2157 // Rd=mpy(Rs,Rt.H):<<1:sat
2158 // Rd=mpy(Rs,Rt.L):<<1:sat
2159 // Rd=mpy(Rs,Rt):<<1
2160 // Rd=mpy(Rs,Rt):<<1:sat
2161 // Rd=mpysu(Rs,Rt)
2162 // Rx+=mpy(Rs,Rt):<<1:sat
2163 // Rx-=mpy(Rs,Rt):<<1:sat
2164
2165 // Vector multiply bytes
2166 // Rdd=vmpybsu(Rs,Rt)
2167 // Rdd=vmpybu(Rs,Rt)
2168 // Rxx+=vmpybsu(Rs,Rt)
2169 // Rxx+=vmpybu(Rs,Rt)
2170
2171 // Vector polynomial multiply halfwords
2172 // Rdd=vpmpyh(Rs,Rt)
2173 // Rxx^=vpmpyh(Rs,Rt)
2174
2175 //===----------------------------------------------------------------------===//
2176 // XTYPE/MPY -
2177 //===----------------------------------------------------------------------===//
2178
2179
2180 //===----------------------------------------------------------------------===//
2181 // XTYPE/SHIFT +
2182 //===----------------------------------------------------------------------===//
2183 // Shift by immediate and accumulate/logical.
2184 // Rx=add(#u8,asl(Rx,#U5))  Rx=add(#u8,lsr(Rx,#U5))
2185 // Rx=sub(#u8,asl(Rx,#U5))  Rx=sub(#u8,lsr(Rx,#U5))
2186 // Rx=and(#u8,asl(Rx,#U5))  Rx=and(#u8,lsr(Rx,#U5))
2187 // Rx=or(#u8,asl(Rx,#U5))   Rx=or(#u8,lsr(Rx,#U5))
2188 let isExtendable = 1, opExtendable = 1, isExtentSigned = 0, opExtentBits = 8,
2189     hasNewValue = 1, opNewValue = 0, validSubTargets = HasV4SubT in
2190 class T_S4_ShiftOperate<string MnOp, string MnSh, SDNode Op, SDNode Sh,
2191                         bit asl_lsr, bits<2> MajOp, InstrItinClass Itin>
2192   : MInst_acc<(outs IntRegs:$Rd), (ins u8Ext:$u8, IntRegs:$Rx, u5Imm:$U5),
2193       "$Rd = "#MnOp#"(#$u8, "#MnSh#"($Rx, #$U5))",
2194       [(set (i32 IntRegs:$Rd),
2195             (Op (Sh I32:$Rx, u5ImmPred:$U5), u8ExtPred:$u8))],
2196       "$Rd = $Rx", Itin> {
2197
2198   bits<5> Rd;
2199   bits<8> u8;
2200   bits<5> Rx;
2201   bits<5> U5;
2202
2203   let IClass = 0b1101;
2204   let Inst{27-24} = 0b1110;
2205   let Inst{23-21} = u8{7-5};
2206   let Inst{20-16} = Rd;
2207   let Inst{13} = u8{4};
2208   let Inst{12-8} = U5;
2209   let Inst{7-5} = u8{3-1};
2210   let Inst{4} = asl_lsr;
2211   let Inst{3} = u8{0};
2212   let Inst{2-1} = MajOp;
2213 }
2214
2215 multiclass T_ShiftOperate<string mnemonic, SDNode Op, bits<2> MajOp,
2216                           InstrItinClass Itin> {
2217   def _asl_ri : T_S4_ShiftOperate<mnemonic, "asl", Op, shl, 0, MajOp, Itin>;
2218   def _lsr_ri : T_S4_ShiftOperate<mnemonic, "lsr", Op, srl, 1, MajOp, Itin>;
2219 }
2220
2221 let AddedComplexity = 200, isCodeGenOnly = 0 in {
2222   defm S4_addi : T_ShiftOperate<"add", add, 0b10, ALU64_tc_2_SLOT23>;
2223   defm S4_andi : T_ShiftOperate<"and", and, 0b00, ALU64_tc_2_SLOT23>;
2224 }
2225
2226 let AddedComplexity = 30, isCodeGenOnly = 0 in
2227 defm S4_ori  : T_ShiftOperate<"or",  or,  0b01, ALU64_tc_1_SLOT23>;
2228
2229 let isCodeGenOnly = 0 in
2230 defm S4_subi : T_ShiftOperate<"sub", sub, 0b11, ALU64_tc_1_SLOT23>;
2231
2232
2233 // Rd=[cround|round](Rs,Rt)
2234 let hasNewValue = 1, Itinerary = S_3op_tc_2_SLOT23, isCodeGenOnly = 0 in {
2235   def A4_cround_rr    : T_S3op_3 < "cround", IntRegs, 0b11, 0b00>;
2236   def A4_round_rr     : T_S3op_3 < "round", IntRegs, 0b11, 0b10>;
2237 }
2238
2239 // Rd=round(Rs,Rt):sat
2240 let hasNewValue = 1, Defs = [USR_OVF], Itinerary = S_3op_tc_2_SLOT23,
2241     isCodeGenOnly = 0 in
2242 def A4_round_rr_sat : T_S3op_3 < "round", IntRegs, 0b11, 0b11, 1>;
2243
2244 // Rdd=[add|sub](Rss,Rtt,Px):carry
2245 let isPredicateLate = 1, hasSideEffects = 0 in
2246 class T_S3op_carry <string mnemonic, bits<3> MajOp>
2247   : SInst < (outs DoubleRegs:$Rdd, PredRegs:$Px),
2248             (ins DoubleRegs:$Rss, DoubleRegs:$Rtt, PredRegs:$Pu),
2249   "$Rdd = "#mnemonic#"($Rss, $Rtt, $Pu):carry",
2250   [], "$Px = $Pu", S_3op_tc_1_SLOT23 > {
2251     bits<5> Rdd;
2252     bits<5> Rss;
2253     bits<5> Rtt;
2254     bits<2> Pu;
2255
2256     let IClass = 0b1100;
2257
2258     let Inst{27-24} = 0b0010;
2259     let Inst{23-21} = MajOp;
2260     let Inst{20-16} = Rss;
2261     let Inst{12-8}  = Rtt;
2262     let Inst{6-5}   = Pu;
2263     let Inst{4-0}   = Rdd;
2264   }
2265
2266 let isCodeGenOnly = 0 in {
2267 def A4_addp_c : T_S3op_carry < "add", 0b110 >;
2268 def A4_subp_c : T_S3op_carry < "sub", 0b111 >;
2269 }
2270
2271 // Shift an immediate left by register amount.
2272 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
2273 def S4_lsli: SInst <(outs IntRegs:$Rd), (ins s6Imm:$s6, IntRegs:$Rt),
2274   "$Rd = lsl(#$s6, $Rt)" ,
2275   [(set (i32 IntRegs:$Rd), (shl s6ImmPred:$s6,
2276                                  (i32 IntRegs:$Rt)))],
2277   "", S_3op_tc_1_SLOT23> {
2278     bits<5> Rd;
2279     bits<6> s6;
2280     bits<5> Rt;
2281
2282     let IClass = 0b1100;
2283
2284     let Inst{27-22} = 0b011010;
2285     let Inst{20-16} = s6{5-1};
2286     let Inst{12-8}  = Rt;
2287     let Inst{7-6}   = 0b11;
2288     let Inst{4-0}   = Rd;
2289     let Inst{5}     = s6{0};
2290   }
2291
2292 //===----------------------------------------------------------------------===//
2293 // XTYPE/SHIFT -
2294 //===----------------------------------------------------------------------===//
2295
2296 //===----------------------------------------------------------------------===//
2297 // MEMOP: Word, Half, Byte
2298 //===----------------------------------------------------------------------===//
2299
2300 def MEMOPIMM : SDNodeXForm<imm, [{
2301   // Call the transformation function XformM5ToU5Imm to get the negative
2302   // immediate's positive counterpart.
2303   int32_t imm = N->getSExtValue();
2304   return XformM5ToU5Imm(imm);
2305 }]>;
2306
2307 def MEMOPIMM_HALF : SDNodeXForm<imm, [{
2308   // -1 .. -31 represented as 65535..65515
2309   // assigning to a short restores our desired signed value.
2310   // Call the transformation function XformM5ToU5Imm to get the negative
2311   // immediate's positive counterpart.
2312   int16_t imm = N->getSExtValue();
2313   return XformM5ToU5Imm(imm);
2314 }]>;
2315
2316 def MEMOPIMM_BYTE : SDNodeXForm<imm, [{
2317   // -1 .. -31 represented as 255..235
2318   // assigning to a char restores our desired signed value.
2319   // Call the transformation function XformM5ToU5Imm to get the negative
2320   // immediate's positive counterpart.
2321   int8_t imm = N->getSExtValue();
2322   return XformM5ToU5Imm(imm);
2323 }]>;
2324
2325 def SETMEMIMM : SDNodeXForm<imm, [{
2326    // Return the bit position we will set [0-31].
2327    // As an SDNode.
2328    int32_t imm = N->getSExtValue();
2329    return XformMskToBitPosU5Imm(imm);
2330 }]>;
2331
2332 def CLRMEMIMM : SDNodeXForm<imm, [{
2333    // Return the bit position we will clear [0-31].
2334    // As an SDNode.
2335    // we bit negate the value first
2336    int32_t imm = ~(N->getSExtValue());
2337    return XformMskToBitPosU5Imm(imm);
2338 }]>;
2339
2340 def SETMEMIMM_SHORT : SDNodeXForm<imm, [{
2341    // Return the bit position we will set [0-15].
2342    // As an SDNode.
2343    int16_t imm = N->getSExtValue();
2344    return XformMskToBitPosU4Imm(imm);
2345 }]>;
2346
2347 def CLRMEMIMM_SHORT : SDNodeXForm<imm, [{
2348    // Return the bit position we will clear [0-15].
2349    // As an SDNode.
2350    // we bit negate the value first
2351    int16_t imm = ~(N->getSExtValue());
2352    return XformMskToBitPosU4Imm(imm);
2353 }]>;
2354
2355 def SETMEMIMM_BYTE : SDNodeXForm<imm, [{
2356    // Return the bit position we will set [0-7].
2357    // As an SDNode.
2358    int8_t imm =  N->getSExtValue();
2359    return XformMskToBitPosU3Imm(imm);
2360 }]>;
2361
2362 def CLRMEMIMM_BYTE : SDNodeXForm<imm, [{
2363    // Return the bit position we will clear [0-7].
2364    // As an SDNode.
2365    // we bit negate the value first
2366    int8_t imm = ~(N->getSExtValue());
2367    return XformMskToBitPosU3Imm(imm);
2368 }]>;
2369
2370 //===----------------------------------------------------------------------===//
2371 // Template class for MemOp instructions with the register value.
2372 //===----------------------------------------------------------------------===//
2373 class MemOp_rr_base <string opc, bits<2> opcBits, Operand ImmOp,
2374                      string memOp, bits<2> memOpBits> :
2375       MEMInst_V4<(outs),
2376                  (ins IntRegs:$base, ImmOp:$offset, IntRegs:$delta),
2377                  opc#"($base+#$offset)"#memOp#"$delta",
2378                  []>,
2379                  Requires<[UseMEMOP]> {
2380
2381     bits<5> base;
2382     bits<5> delta;
2383     bits<32> offset;
2384     bits<6> offsetBits; // memb - u6:0 , memh - u6:1, memw - u6:2
2385
2386     let offsetBits = !if (!eq(opcBits, 0b00), offset{5-0},
2387                      !if (!eq(opcBits, 0b01), offset{6-1},
2388                      !if (!eq(opcBits, 0b10), offset{7-2},0)));
2389
2390     let opExtentAlign = opcBits;
2391     let IClass = 0b0011;
2392     let Inst{27-24} = 0b1110;
2393     let Inst{22-21} = opcBits;
2394     let Inst{20-16} = base;
2395     let Inst{13} = 0b0;
2396     let Inst{12-7} = offsetBits;
2397     let Inst{6-5} = memOpBits;
2398     let Inst{4-0} = delta;
2399 }
2400
2401 //===----------------------------------------------------------------------===//
2402 // Template class for MemOp instructions with the immediate value.
2403 //===----------------------------------------------------------------------===//
2404 class MemOp_ri_base <string opc, bits<2> opcBits, Operand ImmOp,
2405                      string memOp, bits<2> memOpBits> :
2406       MEMInst_V4 <(outs),
2407                   (ins IntRegs:$base, ImmOp:$offset, u5Imm:$delta),
2408                   opc#"($base+#$offset)"#memOp#"#$delta"
2409                   #!if(memOpBits{1},")", ""), // clrbit, setbit - include ')'
2410                   []>,
2411                   Requires<[UseMEMOP]> {
2412
2413     bits<5> base;
2414     bits<5> delta;
2415     bits<32> offset;
2416     bits<6> offsetBits; // memb - u6:0 , memh - u6:1, memw - u6:2
2417
2418     let offsetBits = !if (!eq(opcBits, 0b00), offset{5-0},
2419                      !if (!eq(opcBits, 0b01), offset{6-1},
2420                      !if (!eq(opcBits, 0b10), offset{7-2},0)));
2421
2422     let opExtentAlign = opcBits;
2423     let IClass = 0b0011;
2424     let Inst{27-24} = 0b1111;
2425     let Inst{22-21} = opcBits;
2426     let Inst{20-16} = base;
2427     let Inst{13} = 0b0;
2428     let Inst{12-7} = offsetBits;
2429     let Inst{6-5} = memOpBits;
2430     let Inst{4-0} = delta;
2431 }
2432
2433 // multiclass to define MemOp instructions with register operand.
2434 multiclass MemOp_rr<string opc, bits<2> opcBits, Operand ImmOp> {
2435   def L4_add#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " += ", 0b00>; // add
2436   def L4_sub#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " -= ", 0b01>; // sub
2437   def L4_and#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " &= ", 0b10>; // and
2438   def L4_or#NAME  : MemOp_rr_base <opc, opcBits, ImmOp, " |= ", 0b11>; // or
2439 }
2440
2441 // multiclass to define MemOp instructions with immediate Operand.
2442 multiclass MemOp_ri<string opc, bits<2> opcBits, Operand ImmOp> {
2443   def L4_iadd#NAME : MemOp_ri_base <opc, opcBits, ImmOp, " += ", 0b00 >;
2444   def L4_isub#NAME : MemOp_ri_base <opc, opcBits, ImmOp, " -= ", 0b01 >;
2445   def L4_iand#NAME : MemOp_ri_base<opc, opcBits, ImmOp, " = clrbit(", 0b10>;
2446   def L4_ior#NAME : MemOp_ri_base<opc, opcBits, ImmOp, " = setbit(", 0b11>;
2447 }
2448
2449 multiclass MemOp_base <string opc, bits<2> opcBits, Operand ImmOp> {
2450   defm _#NAME : MemOp_rr <opc, opcBits, ImmOp>;
2451   defm _#NAME : MemOp_ri <opc, opcBits, ImmOp>;
2452 }
2453
2454 // Define MemOp instructions.
2455 let isExtendable = 1, opExtendable = 1, isExtentSigned = 0,
2456     validSubTargets =HasV4SubT in {
2457   let opExtentBits = 6, accessSize = ByteAccess, isCodeGenOnly = 0 in
2458   defm memopb_io : MemOp_base <"memb", 0b00, u6_0Ext>;
2459
2460   let opExtentBits = 7, accessSize = HalfWordAccess, isCodeGenOnly = 0 in
2461   defm memoph_io : MemOp_base <"memh", 0b01, u6_1Ext>;
2462
2463   let opExtentBits = 8, accessSize = WordAccess, isCodeGenOnly = 0 in
2464   defm memopw_io : MemOp_base <"memw", 0b10, u6_2Ext>;
2465 }
2466
2467 //===----------------------------------------------------------------------===//
2468 // Multiclass to define 'Def Pats' for ALU operations on the memory
2469 // Here value used for the ALU operation is an immediate value.
2470 // mem[bh](Rs+#0) += #U5
2471 // mem[bh](Rs+#u6) += #U5
2472 //===----------------------------------------------------------------------===//
2473
2474 multiclass MemOpi_u5Pats <PatFrag ldOp, PatFrag stOp, PatLeaf ExtPred,
2475                           InstHexagon MI, SDNode OpNode> {
2476   let AddedComplexity = 180 in
2477   def : Pat < (stOp (OpNode (ldOp IntRegs:$addr), u5ImmPred:$addend),
2478                     IntRegs:$addr),
2479               (MI IntRegs:$addr, #0, u5ImmPred:$addend )>;
2480
2481   let AddedComplexity = 190 in
2482   def : Pat <(stOp (OpNode (ldOp (add IntRegs:$base, ExtPred:$offset)),
2483                      u5ImmPred:$addend),
2484              (add IntRegs:$base, ExtPred:$offset)),
2485        (MI IntRegs:$base, ExtPred:$offset, u5ImmPred:$addend)>;
2486 }
2487
2488 multiclass MemOpi_u5ALUOp<PatFrag ldOp, PatFrag stOp, PatLeaf ExtPred,
2489                           InstHexagon addMI, InstHexagon subMI> {
2490   defm : MemOpi_u5Pats<ldOp, stOp, ExtPred, addMI, add>;
2491   defm : MemOpi_u5Pats<ldOp, stOp, ExtPred, subMI, sub>;
2492 }
2493
2494 multiclass MemOpi_u5ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2495   // Half Word
2496   defm : MemOpi_u5ALUOp <ldOpHalf, truncstorei16, u6_1ExtPred,
2497                          L4_iadd_memoph_io, L4_isub_memoph_io>;
2498   // Byte
2499   defm : MemOpi_u5ALUOp <ldOpByte, truncstorei8, u6ExtPred,
2500                          L4_iadd_memopb_io, L4_isub_memopb_io>;
2501 }
2502
2503 let Predicates = [HasV4T, UseMEMOP] in {
2504   defm : MemOpi_u5ExtType<zextloadi8, zextloadi16>; // zero extend
2505   defm : MemOpi_u5ExtType<sextloadi8, sextloadi16>; // sign extend
2506   defm : MemOpi_u5ExtType<extloadi8,  extloadi16>;  // any extend
2507
2508   // Word
2509   defm : MemOpi_u5ALUOp <load, store, u6_2ExtPred, L4_iadd_memopw_io,
2510                          L4_isub_memopw_io>;
2511 }
2512
2513 //===----------------------------------------------------------------------===//
2514 // multiclass to define 'Def Pats' for ALU operations on the memory.
2515 // Here value used for the ALU operation is a negative value.
2516 // mem[bh](Rs+#0) += #m5
2517 // mem[bh](Rs+#u6) += #m5
2518 //===----------------------------------------------------------------------===//
2519
2520 multiclass MemOpi_m5Pats <PatFrag ldOp, PatFrag stOp, PatLeaf extPred,
2521                           PatLeaf immPred, ComplexPattern addrPred,
2522                           SDNodeXForm xformFunc, InstHexagon MI> {
2523   let AddedComplexity = 190 in
2524   def : Pat <(stOp (add (ldOp IntRegs:$addr), immPred:$subend),
2525                    IntRegs:$addr),
2526              (MI IntRegs:$addr, #0, (xformFunc immPred:$subend) )>;
2527
2528   let AddedComplexity = 195 in
2529   def : Pat<(stOp (add (ldOp (add IntRegs:$base, extPred:$offset)),
2530                        immPred:$subend),
2531                   (add IntRegs:$base, extPred:$offset)),
2532             (MI IntRegs:$base, extPred:$offset, (xformFunc immPred:$subend))>;
2533 }
2534
2535 multiclass MemOpi_m5ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2536   // Half Word
2537   defm : MemOpi_m5Pats <ldOpHalf, truncstorei16, u6_1ExtPred, m5HImmPred,
2538                         ADDRriU6_1, MEMOPIMM_HALF, L4_isub_memoph_io>;
2539   // Byte
2540   defm : MemOpi_m5Pats <ldOpByte, truncstorei8, u6ExtPred, m5BImmPred,
2541                         ADDRriU6_0, MEMOPIMM_BYTE, L4_isub_memopb_io>;
2542 }
2543
2544 let Predicates = [HasV4T, UseMEMOP] in {
2545   defm : MemOpi_m5ExtType<zextloadi8, zextloadi16>; // zero extend
2546   defm : MemOpi_m5ExtType<sextloadi8, sextloadi16>; // sign extend
2547   defm : MemOpi_m5ExtType<extloadi8,  extloadi16>;  // any extend
2548
2549   // Word
2550   defm : MemOpi_m5Pats <load, store, u6_2ExtPred, m5ImmPred,
2551                           ADDRriU6_2, MEMOPIMM, L4_isub_memopw_io>;
2552 }
2553
2554 //===----------------------------------------------------------------------===//
2555 // Multiclass to define 'def Pats' for bit operations on the memory.
2556 // mem[bhw](Rs+#0) = [clrbit|setbit](#U5)
2557 // mem[bhw](Rs+#u6) = [clrbit|setbit](#U5)
2558 //===----------------------------------------------------------------------===//
2559
2560 multiclass MemOpi_bitPats <PatFrag ldOp, PatFrag stOp, PatLeaf immPred,
2561                      PatLeaf extPred, ComplexPattern addrPred,
2562                      SDNodeXForm xformFunc, InstHexagon MI, SDNode OpNode> {
2563
2564   // mem[bhw](Rs+#u6:[012]) = [clrbit|setbit](#U5)
2565   let AddedComplexity = 250 in
2566   def : Pat<(stOp (OpNode (ldOp (add IntRegs:$base, extPred:$offset)),
2567                           immPred:$bitend),
2568                   (add IntRegs:$base, extPred:$offset)),
2569             (MI IntRegs:$base, extPred:$offset, (xformFunc immPred:$bitend))>;
2570
2571   // mem[bhw](Rs+#0) = [clrbit|setbit](#U5)
2572   let AddedComplexity = 225 in
2573   def : Pat <(stOp (OpNode (ldOp (addrPred IntRegs:$addr, extPred:$offset)),
2574                            immPred:$bitend),
2575                    (addrPred (i32 IntRegs:$addr), extPred:$offset)),
2576              (MI IntRegs:$addr, extPred:$offset, (xformFunc immPred:$bitend))>;
2577 }
2578
2579 multiclass MemOpi_bitExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2580   // Byte - clrbit
2581   defm : MemOpi_bitPats<ldOpByte, truncstorei8, Clr3ImmPred, u6ExtPred,
2582                        ADDRriU6_0, CLRMEMIMM_BYTE, L4_iand_memopb_io, and>;
2583   // Byte - setbit
2584   defm : MemOpi_bitPats<ldOpByte, truncstorei8, Set3ImmPred,  u6ExtPred,
2585                        ADDRriU6_0, SETMEMIMM_BYTE, L4_ior_memopb_io, or>;
2586   // Half Word - clrbit
2587   defm : MemOpi_bitPats<ldOpHalf, truncstorei16, Clr4ImmPred, u6_1ExtPred,
2588                        ADDRriU6_1, CLRMEMIMM_SHORT, L4_iand_memoph_io, and>;
2589   // Half Word - setbit
2590   defm : MemOpi_bitPats<ldOpHalf, truncstorei16, Set4ImmPred, u6_1ExtPred,
2591                        ADDRriU6_1, SETMEMIMM_SHORT, L4_ior_memoph_io, or>;
2592 }
2593
2594 let Predicates = [HasV4T, UseMEMOP] in {
2595   // mem[bh](Rs+#0) = [clrbit|setbit](#U5)
2596   // mem[bh](Rs+#u6:[01]) = [clrbit|setbit](#U5)
2597   defm : MemOpi_bitExtType<zextloadi8, zextloadi16>; // zero extend
2598   defm : MemOpi_bitExtType<sextloadi8, sextloadi16>; // sign extend
2599   defm : MemOpi_bitExtType<extloadi8,  extloadi16>;  // any extend
2600
2601   // memw(Rs+#0) = [clrbit|setbit](#U5)
2602   // memw(Rs+#u6:2) = [clrbit|setbit](#U5)
2603   defm : MemOpi_bitPats<load, store, Clr5ImmPred, u6_2ExtPred, ADDRriU6_2,
2604                        CLRMEMIMM, L4_iand_memopw_io, and>;
2605   defm : MemOpi_bitPats<load, store, Set5ImmPred, u6_2ExtPred, ADDRriU6_2,
2606                        SETMEMIMM, L4_ior_memopw_io, or>;
2607 }
2608
2609 //===----------------------------------------------------------------------===//
2610 // Multiclass to define 'def Pats' for ALU operations on the memory
2611 // where addend is a register.
2612 // mem[bhw](Rs+#0) [+-&|]= Rt
2613 // mem[bhw](Rs+#U6:[012]) [+-&|]= Rt
2614 //===----------------------------------------------------------------------===//
2615
2616 multiclass MemOpr_Pats <PatFrag ldOp, PatFrag stOp, ComplexPattern addrPred,
2617                      PatLeaf extPred, InstHexagon MI, SDNode OpNode> {
2618   let AddedComplexity = 141 in
2619   // mem[bhw](Rs+#0) [+-&|]= Rt
2620   def : Pat <(stOp (OpNode (ldOp (addrPred IntRegs:$addr, extPred:$offset)),
2621                            (i32 IntRegs:$addend)),
2622                    (addrPred (i32 IntRegs:$addr), extPred:$offset)),
2623              (MI IntRegs:$addr, extPred:$offset, (i32 IntRegs:$addend) )>;
2624
2625   // mem[bhw](Rs+#U6:[012]) [+-&|]= Rt
2626   let AddedComplexity = 150 in
2627   def : Pat <(stOp (OpNode (ldOp (add IntRegs:$base, extPred:$offset)),
2628                            (i32 IntRegs:$orend)),
2629                    (add IntRegs:$base, extPred:$offset)),
2630              (MI IntRegs:$base, extPred:$offset, (i32 IntRegs:$orend) )>;
2631 }
2632
2633 multiclass MemOPr_ALUOp<PatFrag ldOp, PatFrag stOp,
2634                         ComplexPattern addrPred, PatLeaf extPred,
2635                         InstHexagon addMI, InstHexagon subMI,
2636                         InstHexagon andMI, InstHexagon orMI > {
2637
2638   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, addMI, add>;
2639   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, subMI, sub>;
2640   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, andMI, and>;
2641   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, orMI,  or>;
2642 }
2643
2644 multiclass MemOPr_ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2645   // Half Word
2646   defm : MemOPr_ALUOp <ldOpHalf, truncstorei16, ADDRriU6_1, u6_1ExtPred,
2647                        L4_add_memoph_io, L4_sub_memoph_io,
2648                        L4_and_memoph_io, L4_or_memoph_io>;
2649   // Byte
2650   defm : MemOPr_ALUOp <ldOpByte, truncstorei8, ADDRriU6_0, u6ExtPred,
2651                        L4_add_memopb_io, L4_sub_memopb_io,
2652                        L4_and_memopb_io, L4_or_memopb_io>;
2653 }
2654
2655 // Define 'def Pats' for MemOps with register addend.
2656 let Predicates = [HasV4T, UseMEMOP] in {
2657   // Byte, Half Word
2658   defm : MemOPr_ExtType<zextloadi8, zextloadi16>; // zero extend
2659   defm : MemOPr_ExtType<sextloadi8, sextloadi16>; // sign extend
2660   defm : MemOPr_ExtType<extloadi8,  extloadi16>;  // any extend
2661   // Word
2662   defm : MemOPr_ALUOp <load, store, ADDRriU6_2, u6_2ExtPred, L4_add_memopw_io,
2663                        L4_sub_memopw_io, L4_and_memopw_io, L4_or_memopw_io >;
2664 }
2665
2666 //===----------------------------------------------------------------------===//
2667 // XTYPE/PRED +
2668 //===----------------------------------------------------------------------===//
2669
2670 // Hexagon V4 only supports these flavors of byte/half compare instructions:
2671 // EQ/GT/GTU. Other flavors like GE/GEU/LT/LTU/LE/LEU are not supported by
2672 // hardware. However, compiler can still implement these patterns through
2673 // appropriate patterns combinations based on current implemented patterns.
2674 // The implemented patterns are: EQ/GT/GTU.
2675 // Missing patterns are: GE/GEU/LT/LTU/LE/LEU.
2676
2677 // Following instruction is not being extended as it results into the
2678 // incorrect code for negative numbers.
2679 // Pd=cmpb.eq(Rs,#u8)
2680
2681 let isCompare = 1, isExtendable = 1, opExtendable = 2, hasSideEffects = 0,
2682     validSubTargets = HasV4SubT in
2683 class CMP_NOT_REG_IMM<string OpName, bits<2> op, Operand ImmOp,
2684                       list<dag> Pattern>
2685   : ALU32Inst <(outs PredRegs:$dst), (ins IntRegs:$src1, ImmOp:$src2),
2686     "$dst = !cmp."#OpName#"($src1, #$src2)",
2687     Pattern,
2688     "", ALU32_2op_tc_2early_SLOT0123> {
2689     bits<2> dst;
2690     bits<5> src1;
2691     bits<10> src2;
2692
2693     let IClass = 0b0111;
2694     let Inst{27-24} = 0b0101;
2695     let Inst{23-22} = op;
2696     let Inst{20-16} = src1;
2697     let Inst{21} = !if (!eq(OpName, "gtu"), 0b0, src2{9});
2698     let Inst{13-5} = src2{8-0};
2699     let Inst{4-2} = 0b100;
2700     let Inst{1-0} = dst;
2701 }
2702
2703 let opExtentBits = 10, isExtentSigned = 1 in {
2704 def C4_cmpneqi : CMP_NOT_REG_IMM <"eq", 0b00, s10Ext, [(set (i1 PredRegs:$dst),
2705                  (setne (i32 IntRegs:$src1), s10ExtPred:$src2))]>;
2706
2707 def C4_cmpltei : CMP_NOT_REG_IMM <"gt", 0b01, s10Ext, [(set (i1 PredRegs:$dst),
2708                  (not (setgt (i32 IntRegs:$src1), s10ExtPred:$src2)))]>;
2709
2710 }
2711 let opExtentBits = 9 in
2712 def C4_cmplteui : CMP_NOT_REG_IMM <"gtu", 0b10, u9Ext, [(set (i1 PredRegs:$dst),
2713                   (not (setugt (i32 IntRegs:$src1), u9ExtPred:$src2)))]>;
2714
2715 def : Pat <(brcond (i1 (setne (and (i32 IntRegs:$src1), 255), u8ImmPred:$src2)),
2716                        bb:$offset),
2717       (J2_jumpf (A4_cmpbeqi (i32 IntRegs:$src1), u8ImmPred:$src2),
2718                 bb:$offset)>,
2719       Requires<[HasV4T]>;
2720
2721 // Pd=cmpb.eq(Rs,Rt)
2722 let isCompare = 1, validSubTargets = HasV4SubT in
2723 def CMPbEQrr_ubub_V4 : MInst<(outs PredRegs:$dst),
2724             (ins IntRegs:$src1, IntRegs:$src2),
2725             "$dst = cmpb.eq($src1, $src2)",
2726             [(set (i1 PredRegs:$dst),
2727                   (seteq (and (xor (i32 IntRegs:$src1),
2728                                    (i32 IntRegs:$src2)), 255), 0))]>,
2729             Requires<[HasV4T]>;
2730
2731 // Pd=cmpb.eq(Rs,Rt)
2732 let isCompare = 1, validSubTargets = HasV4SubT in
2733 def CMPbEQrr_sbsb_V4 : MInst<(outs PredRegs:$dst),
2734             (ins IntRegs:$src1, IntRegs:$src2),
2735             "$dst = cmpb.eq($src1, $src2)",
2736             [(set (i1 PredRegs:$dst),
2737                   (seteq (shl (i32 IntRegs:$src1), (i32 24)),
2738                          (shl (i32 IntRegs:$src2), (i32 24))))]>,
2739             Requires<[HasV4T]>;
2740
2741 // Pd=cmpb.gt(Rs,Rt)
2742 let isCompare = 1, validSubTargets = HasV4SubT in
2743 def CMPbGTrr_V4 : MInst<(outs PredRegs:$dst),
2744             (ins IntRegs:$src1, IntRegs:$src2),
2745             "$dst = cmpb.gt($src1, $src2)",
2746             [(set (i1 PredRegs:$dst),
2747                   (setgt (shl (i32 IntRegs:$src1), (i32 24)),
2748                          (shl (i32 IntRegs:$src2), (i32 24))))]>,
2749             Requires<[HasV4T]>;
2750
2751 // Pd=cmpb.gtu(Rs,#u7)
2752 let isExtendable = 1, opExtendable = 2, isExtentSigned = 0, opExtentBits = 7,
2753 isCompare = 1, validSubTargets = HasV4SubT, CextOpcode = "CMPbGTU", InputType = "imm" in
2754 def CMPbGTUri_V4 : MInst<(outs PredRegs:$dst),
2755             (ins IntRegs:$src1, u7Ext:$src2),
2756             "$dst = cmpb.gtu($src1, #$src2)",
2757             [(set (i1 PredRegs:$dst), (setugt (and (i32 IntRegs:$src1), 255),
2758                                               u7ExtPred:$src2))]>,
2759             Requires<[HasV4T]>, ImmRegRel;
2760
2761 // SDNode for converting immediate C to C-1.
2762 def DEC_CONST_BYTE : SDNodeXForm<imm, [{
2763    // Return the byte immediate const-1 as an SDNode.
2764    int32_t imm = N->getSExtValue();
2765    return XformU7ToU7M1Imm(imm);
2766 }]>;
2767
2768 // For the sequence
2769 //   zext( seteq ( and(Rs, 255), u8))
2770 // Generate
2771 //   Pd=cmpb.eq(Rs, #u8)
2772 //   if (Pd.new) Rd=#1
2773 //   if (!Pd.new) Rd=#0
2774 def : Pat <(i32 (zext (i1 (seteq (i32 (and (i32 IntRegs:$Rs), 255)),
2775                                            u8ExtPred:$u8)))),
2776            (i32 (TFR_condset_ii (i1 (A4_cmpbeqi (i32 IntRegs:$Rs),
2777                                                  (u8ExtPred:$u8))),
2778                                 1, 0))>,
2779            Requires<[HasV4T]>;
2780
2781 // For the sequence
2782 //   zext( setne ( and(Rs, 255), u8))
2783 // Generate
2784 //   Pd=cmpb.eq(Rs, #u8)
2785 //   if (Pd.new) Rd=#0
2786 //   if (!Pd.new) Rd=#1
2787 def : Pat <(i32 (zext (i1 (setne (i32 (and (i32 IntRegs:$Rs), 255)),
2788                                            u8ExtPred:$u8)))),
2789            (i32 (TFR_condset_ii (i1 (A4_cmpbeqi (i32 IntRegs:$Rs),
2790                                                  (u8ExtPred:$u8))),
2791                                 0, 1))>,
2792            Requires<[HasV4T]>;
2793
2794 // For the sequence
2795 //   zext( seteq (Rs, and(Rt, 255)))
2796 // Generate
2797 //   Pd=cmpb.eq(Rs, Rt)
2798 //   if (Pd.new) Rd=#1
2799 //   if (!Pd.new) Rd=#0
2800 def : Pat <(i32 (zext (i1 (seteq (i32 IntRegs:$Rt),
2801                                  (i32 (and (i32 IntRegs:$Rs), 255)))))),
2802            (i32 (TFR_condset_ii (i1 (CMPbEQrr_ubub_V4 (i32 IntRegs:$Rs),
2803                                                       (i32 IntRegs:$Rt))),
2804                                 1, 0))>,
2805            Requires<[HasV4T]>;
2806
2807 // For the sequence
2808 //   zext( setne (Rs, and(Rt, 255)))
2809 // Generate
2810 //   Pd=cmpb.eq(Rs, Rt)
2811 //   if (Pd.new) Rd=#0
2812 //   if (!Pd.new) Rd=#1
2813 def : Pat <(i32 (zext (i1 (setne (i32 IntRegs:$Rt),
2814                                  (i32 (and (i32 IntRegs:$Rs), 255)))))),
2815            (i32 (TFR_condset_ii (i1 (CMPbEQrr_ubub_V4 (i32 IntRegs:$Rs),
2816                                                       (i32 IntRegs:$Rt))),
2817                                 0, 1))>,
2818            Requires<[HasV4T]>;
2819
2820 // For the sequence
2821 //   zext( setugt ( and(Rs, 255), u8))
2822 // Generate
2823 //   Pd=cmpb.gtu(Rs, #u8)
2824 //   if (Pd.new) Rd=#1
2825 //   if (!Pd.new) Rd=#0
2826 def : Pat <(i32 (zext (i1 (setugt (i32 (and (i32 IntRegs:$Rs), 255)),
2827                                             u8ExtPred:$u8)))),
2828            (i32 (TFR_condset_ii (i1 (CMPbGTUri_V4 (i32 IntRegs:$Rs),
2829                                                   (u8ExtPred:$u8))),
2830                                 1, 0))>,
2831            Requires<[HasV4T]>;
2832
2833 // For the sequence
2834 //   zext( setugt ( and(Rs, 254), u8))
2835 // Generate
2836 //   Pd=cmpb.gtu(Rs, #u8)
2837 //   if (Pd.new) Rd=#1
2838 //   if (!Pd.new) Rd=#0
2839 def : Pat <(i32 (zext (i1 (setugt (i32 (and (i32 IntRegs:$Rs), 254)),
2840                                             u8ExtPred:$u8)))),
2841            (i32 (TFR_condset_ii (i1 (CMPbGTUri_V4 (i32 IntRegs:$Rs),
2842                                                   (u8ExtPred:$u8))),
2843                                 1, 0))>,
2844            Requires<[HasV4T]>;
2845
2846 // For the sequence
2847 //   zext( setult ( Rs, Rt))
2848 // Generate
2849 //   Pd=cmp.ltu(Rs, Rt)
2850 //   if (Pd.new) Rd=#1
2851 //   if (!Pd.new) Rd=#0
2852 // cmp.ltu(Rs, Rt) -> cmp.gtu(Rt, Rs)
2853 def : Pat <(i32 (zext (i1 (setult (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
2854            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rt),
2855                                               (i32 IntRegs:$Rs))),
2856                                 1, 0))>,
2857            Requires<[HasV4T]>;
2858
2859 // For the sequence
2860 //   zext( setlt ( Rs, Rt))
2861 // Generate
2862 //   Pd=cmp.lt(Rs, Rt)
2863 //   if (Pd.new) Rd=#1
2864 //   if (!Pd.new) Rd=#0
2865 // cmp.lt(Rs, Rt) -> cmp.gt(Rt, Rs)
2866 def : Pat <(i32 (zext (i1 (setlt (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
2867            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rt),
2868                                              (i32 IntRegs:$Rs))),
2869                                 1, 0))>,
2870            Requires<[HasV4T]>;
2871
2872 // For the sequence
2873 //   zext( setugt ( Rs, Rt))
2874 // Generate
2875 //   Pd=cmp.gtu(Rs, Rt)
2876 //   if (Pd.new) Rd=#1
2877 //   if (!Pd.new) Rd=#0
2878 def : Pat <(i32 (zext (i1 (setugt (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
2879            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rs),
2880                                               (i32 IntRegs:$Rt))),
2881                                 1, 0))>,
2882            Requires<[HasV4T]>;
2883
2884 // This pattern interefers with coremark performance, not implementing at this
2885 // time.
2886 // For the sequence
2887 //   zext( setgt ( Rs, Rt))
2888 // Generate
2889 //   Pd=cmp.gt(Rs, Rt)
2890 //   if (Pd.new) Rd=#1
2891 //   if (!Pd.new) Rd=#0
2892
2893 // For the sequence
2894 //   zext( setuge ( Rs, Rt))
2895 // Generate
2896 //   Pd=cmp.ltu(Rs, Rt)
2897 //   if (Pd.new) Rd=#0
2898 //   if (!Pd.new) Rd=#1
2899 // cmp.ltu(Rs, Rt) -> cmp.gtu(Rt, Rs)
2900 def : Pat <(i32 (zext (i1 (setuge (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
2901            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rt),
2902                                               (i32 IntRegs:$Rs))),
2903                                 0, 1))>,
2904            Requires<[HasV4T]>;
2905
2906 // For the sequence
2907 //   zext( setge ( Rs, Rt))
2908 // Generate
2909 //   Pd=cmp.lt(Rs, Rt)
2910 //   if (Pd.new) Rd=#0
2911 //   if (!Pd.new) Rd=#1
2912 // cmp.lt(Rs, Rt) -> cmp.gt(Rt, Rs)
2913 def : Pat <(i32 (zext (i1 (setge (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
2914            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rt),
2915                                              (i32 IntRegs:$Rs))),
2916                                 0, 1))>,
2917            Requires<[HasV4T]>;
2918
2919 // For the sequence
2920 //   zext( setule ( Rs, Rt))
2921 // Generate
2922 //   Pd=cmp.gtu(Rs, Rt)
2923 //   if (Pd.new) Rd=#0
2924 //   if (!Pd.new) Rd=#1
2925 def : Pat <(i32 (zext (i1 (setule (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
2926            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rs),
2927                                               (i32 IntRegs:$Rt))),
2928                                 0, 1))>,
2929            Requires<[HasV4T]>;
2930
2931 // For the sequence
2932 //   zext( setle ( Rs, Rt))
2933 // Generate
2934 //   Pd=cmp.gt(Rs, Rt)
2935 //   if (Pd.new) Rd=#0
2936 //   if (!Pd.new) Rd=#1
2937 def : Pat <(i32 (zext (i1 (setle (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
2938            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rs),
2939                                              (i32 IntRegs:$Rt))),
2940                                 0, 1))>,
2941            Requires<[HasV4T]>;
2942
2943 // For the sequence
2944 //   zext( setult ( and(Rs, 255), u8))
2945 // Use the isdigit transformation below
2946
2947 // Generate code of the form 'mux_ii(cmpbgtu(Rdd, C-1),0,1)'
2948 // for C code of the form r = ((c>='0') & (c<='9')) ? 1 : 0;.
2949 // The isdigit transformation relies on two 'clever' aspects:
2950 // 1) The data type is unsigned which allows us to eliminate a zero test after
2951 //    biasing the expression by 48. We are depending on the representation of
2952 //    the unsigned types, and semantics.
2953 // 2) The front end has converted <= 9 into < 10 on entry to LLVM
2954 //
2955 // For the C code:
2956 //   retval = ((c>='0') & (c<='9')) ? 1 : 0;
2957 // The code is transformed upstream of llvm into
2958 //   retval = (c-48) < 10 ? 1 : 0;
2959 let AddedComplexity = 139 in
2960 def : Pat <(i32 (zext (i1 (setult (i32 (and (i32 IntRegs:$src1), 255)),
2961                                   u7StrictPosImmPred:$src2)))),
2962   (i32 (C2_muxii (i1 (CMPbGTUri_V4 (i32 IntRegs:$src1),
2963                                  (DEC_CONST_BYTE u7StrictPosImmPred:$src2))),
2964                    0, 1))>,
2965                    Requires<[HasV4T]>;
2966
2967 // Pd=cmpb.gtu(Rs,Rt)
2968 let isCompare = 1, validSubTargets = HasV4SubT, CextOpcode = "CMPbGTU",
2969 InputType = "reg" in
2970 def CMPbGTUrr_V4 : MInst<(outs PredRegs:$dst),
2971             (ins IntRegs:$src1, IntRegs:$src2),
2972             "$dst = cmpb.gtu($src1, $src2)",
2973             [(set (i1 PredRegs:$dst), (setugt (and (i32 IntRegs:$src1), 255),
2974                                              (and (i32 IntRegs:$src2), 255)))]>,
2975             Requires<[HasV4T]>, ImmRegRel;
2976
2977 // Following instruction is not being extended as it results into the incorrect
2978 // code for negative numbers.
2979
2980 // Signed half compare(.eq) ri.
2981 // Pd=cmph.eq(Rs,#s8)
2982 let isCompare = 1, validSubTargets = HasV4SubT in
2983 def CMPhEQri_V4 : MInst<(outs PredRegs:$dst),
2984             (ins IntRegs:$src1, s8Imm:$src2),
2985             "$dst = cmph.eq($src1, #$src2)",
2986             [(set (i1 PredRegs:$dst), (seteq (and (i32 IntRegs:$src1), 65535),
2987                                              s8ImmPred:$src2))]>,
2988             Requires<[HasV4T]>;
2989
2990 // Signed half compare(.eq) rr.
2991 // Case 1: xor + and, then compare:
2992 //   r0=xor(r0,r1)
2993 //   r0=and(r0,#0xffff)
2994 //   p0=cmp.eq(r0,#0)
2995 // Pd=cmph.eq(Rs,Rt)
2996 let isCompare = 1, validSubTargets = HasV4SubT in
2997 def CMPhEQrr_xor_V4 : MInst<(outs PredRegs:$dst),
2998             (ins IntRegs:$src1, IntRegs:$src2),
2999             "$dst = cmph.eq($src1, $src2)",
3000             [(set (i1 PredRegs:$dst), (seteq (and (xor (i32 IntRegs:$src1),
3001                                                        (i32 IntRegs:$src2)),
3002                                                   65535), 0))]>,
3003             Requires<[HasV4T]>;
3004
3005 // Signed half compare(.eq) rr.
3006 // Case 2: shift left 16 bits then compare:
3007 //   r0=asl(r0,16)
3008 //   r1=asl(r1,16)
3009 //   p0=cmp.eq(r0,r1)
3010 // Pd=cmph.eq(Rs,Rt)
3011 let isCompare = 1, validSubTargets = HasV4SubT in
3012 def CMPhEQrr_shl_V4 : MInst<(outs PredRegs:$dst),
3013             (ins IntRegs:$src1, IntRegs:$src2),
3014             "$dst = cmph.eq($src1, $src2)",
3015             [(set (i1 PredRegs:$dst),
3016                   (seteq (shl (i32 IntRegs:$src1), (i32 16)),
3017                          (shl (i32 IntRegs:$src2), (i32 16))))]>,
3018             Requires<[HasV4T]>;
3019
3020 /* Incorrect Pattern -- immediate should be right shifted before being
3021 used in the cmph.gt instruction.
3022 // Signed half compare(.gt) ri.
3023 // Pd=cmph.gt(Rs,#s8)
3024
3025 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 8,
3026 isCompare = 1, validSubTargets = HasV4SubT in
3027 def CMPhGTri_V4 : MInst<(outs PredRegs:$dst),
3028             (ins IntRegs:$src1, s8Ext:$src2),
3029             "$dst = cmph.gt($src1, #$src2)",
3030             [(set (i1 PredRegs:$dst),
3031                   (setgt (shl (i32 IntRegs:$src1), (i32 16)),
3032                          s8ExtPred:$src2))]>,
3033             Requires<[HasV4T]>;
3034 */
3035
3036 // Signed half compare(.gt) rr.
3037 // Pd=cmph.gt(Rs,Rt)
3038 let isCompare = 1, validSubTargets = HasV4SubT in
3039 def CMPhGTrr_shl_V4 : MInst<(outs PredRegs:$dst),
3040             (ins IntRegs:$src1, IntRegs:$src2),
3041             "$dst = cmph.gt($src1, $src2)",
3042             [(set (i1 PredRegs:$dst),
3043                   (setgt (shl (i32 IntRegs:$src1), (i32 16)),
3044                          (shl (i32 IntRegs:$src2), (i32 16))))]>,
3045             Requires<[HasV4T]>;
3046
3047 // Unsigned half compare rr (.gtu).
3048 // Pd=cmph.gtu(Rs,Rt)
3049 let isCompare = 1, validSubTargets = HasV4SubT, CextOpcode = "CMPhGTU",
3050 InputType = "reg" in
3051 def CMPhGTUrr_V4 : MInst<(outs PredRegs:$dst),
3052             (ins IntRegs:$src1, IntRegs:$src2),
3053             "$dst = cmph.gtu($src1, $src2)",
3054             [(set (i1 PredRegs:$dst),
3055                   (setugt (and (i32 IntRegs:$src1), 65535),
3056                           (and (i32 IntRegs:$src2), 65535)))]>,
3057             Requires<[HasV4T]>, ImmRegRel;
3058
3059 // Unsigned half compare ri (.gtu).
3060 // Pd=cmph.gtu(Rs,#u7)
3061 let isExtendable = 1, opExtendable = 2, isExtentSigned = 0, opExtentBits = 7,
3062 isCompare = 1, validSubTargets = HasV4SubT, CextOpcode = "CMPhGTU",
3063 InputType = "imm" in
3064 def CMPhGTUri_V4 : MInst<(outs PredRegs:$dst),
3065             (ins IntRegs:$src1, u7Ext:$src2),
3066             "$dst = cmph.gtu($src1, #$src2)",
3067             [(set (i1 PredRegs:$dst), (setugt (and (i32 IntRegs:$src1), 65535),
3068                                               u7ExtPred:$src2))]>,
3069             Requires<[HasV4T]>, ImmRegRel;
3070
3071 let validSubTargets = HasV4SubT in
3072 def NTSTBIT_rr : SInst<(outs PredRegs:$dst), (ins IntRegs:$src1, IntRegs:$src2),
3073     "$dst = !tstbit($src1, $src2)",
3074     [(set (i1 PredRegs:$dst),
3075           (seteq (and (shl 1, (i32 IntRegs:$src2)), (i32 IntRegs:$src1)), 0))]>,
3076     Requires<[HasV4T]>;
3077
3078 let validSubTargets = HasV4SubT in
3079 def NTSTBIT_ri : SInst<(outs PredRegs:$dst), (ins IntRegs:$src1, u5Imm:$src2),
3080     "$dst = !tstbit($src1, $src2)",
3081     [(set (i1 PredRegs:$dst),
3082           (seteq (and (shl 1, u5ImmPred:$src2), (i32 IntRegs:$src1)), 0))]>,
3083     Requires<[HasV4T]>;
3084
3085 //===----------------------------------------------------------------------===//
3086 // XTYPE/PRED -
3087 //===----------------------------------------------------------------------===//
3088
3089 //===----------------------------------------------------------------------===//
3090 // Multiclass for DeallocReturn
3091 //===----------------------------------------------------------------------===//
3092 class L4_RETURN<string mnemonic, bit isNot, bit isPredNew, bit isTak>
3093   : LD0Inst<(outs), (ins PredRegs:$src),
3094   !if(isNot, "if (!$src", "if ($src")#
3095   !if(isPredNew, ".new) ", ") ")#mnemonic#
3096   !if(isPredNew, #!if(isTak,":t", ":nt"),""),
3097   [], "", LD_tc_3or4stall_SLOT0> {
3098
3099     bits<2> src;
3100     let BaseOpcode = "L4_RETURN";
3101     let isPredicatedFalse = isNot;
3102     let isPredicatedNew = isPredNew;
3103     let isTaken = isTak;
3104     let IClass = 0b1001;
3105
3106     let Inst{27-16} = 0b011000011110;
3107
3108     let Inst{13} = isNot;
3109     let Inst{12} = isTak;
3110     let Inst{11} = isPredNew;
3111     let Inst{10} = 0b0;
3112     let Inst{9-8} = src;
3113     let Inst{4-0} = 0b11110;
3114   }
3115
3116 // Produce all predicated forms, p, !p, p.new, !p.new, :t, :nt
3117 multiclass L4_RETURN_PRED<string mnemonic, bit PredNot> {
3118   let isPredicated = 1 in {
3119     def _#NAME# : L4_RETURN <mnemonic, PredNot, 0, 1>;
3120     def _#NAME#new_pnt : L4_RETURN <mnemonic, PredNot, 1, 0>;
3121     def _#NAME#new_pt : L4_RETURN <mnemonic, PredNot, 1, 1>;
3122   }
3123 }
3124
3125 multiclass LD_MISC_L4_RETURN<string mnemonic> {
3126   let isBarrier = 1, isPredicable = 1 in
3127     def NAME : LD0Inst <(outs), (ins), mnemonic, [], "",
3128                         LD_tc_3or4stall_SLOT0> {
3129       let BaseOpcode = "L4_RETURN";
3130       let IClass = 0b1001;
3131       let Inst{27-16} = 0b011000011110;
3132       let Inst{13-10} = 0b0000;
3133       let Inst{4-0} = 0b11110;
3134     }
3135   defm t : L4_RETURN_PRED<mnemonic, 0 >;
3136   defm f : L4_RETURN_PRED<mnemonic, 1 >;
3137 }
3138
3139 let isReturn = 1, isTerminator = 1,
3140     Defs = [R29, R30, R31, PC], Uses = [R30], hasSideEffects = 0,
3141     validSubTargets = HasV4SubT, isCodeGenOnly = 0 in
3142 defm L4_return: LD_MISC_L4_RETURN <"dealloc_return">, PredNewRel;
3143
3144 // Restore registers and dealloc return function call.
3145 let isCall = 1, isBarrier = 1, isReturn = 1, isTerminator = 1,
3146   Defs = [R29, R30, R31, PC] in {
3147 let validSubTargets = HasV4SubT in
3148   def RESTORE_DEALLOC_RET_JMP_V4 : JInst<(outs),
3149                                    (ins calltarget:$dst),
3150              "jump $dst",
3151              []>,
3152              Requires<[HasV4T]>;
3153 }
3154
3155 // Restore registers and dealloc frame before a tail call.
3156 let isCall = 1, isBarrier = 1,
3157   Defs = [R29, R30, R31, PC] in {
3158 let validSubTargets = HasV4SubT in
3159   def RESTORE_DEALLOC_BEFORE_TAILCALL_V4 : JInst<(outs),
3160                                            (ins calltarget:$dst),
3161              "call $dst",
3162              []>,
3163              Requires<[HasV4T]>;
3164 }
3165
3166 // Save registers function call.
3167 let isCall = 1, isBarrier = 1,
3168   Uses = [R29, R31] in {
3169   def SAVE_REGISTERS_CALL_V4 : JInst<(outs),
3170                                (ins calltarget:$dst),
3171              "call $dst // Save_calle_saved_registers",
3172              []>,
3173              Requires<[HasV4T]>;
3174 }
3175
3176 //===----------------------------------------------------------------------===//
3177 // Template class for non predicated store instructions with
3178 // GP-Relative or absolute addressing.
3179 //===----------------------------------------------------------------------===//
3180 let hasSideEffects = 0, isPredicable = 1, isNVStorable = 1 in
3181 class T_StoreAbsGP <string mnemonic, RegisterClass RC, Operand ImmOp,
3182                     bits<2>MajOp, Operand AddrOp, bit isAbs, bit isHalf>
3183   : STInst<(outs), (ins AddrOp:$addr, RC:$src),
3184   mnemonic # !if(isAbs, "(##", "(#")#"$addr) = $src"#!if(isHalf, ".h",""),
3185   [], "", V2LDST_tc_st_SLOT01> {
3186     bits<19> addr;
3187     bits<5> src;
3188     bits<16> offsetBits;
3189
3190     string ImmOpStr = !cast<string>(ImmOp);
3191     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3192                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3193                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3194                                       /* u16_0Imm */ addr{15-0})));
3195     let IClass = 0b0100;
3196     let Inst{27} = 1;
3197     let Inst{26-25} = offsetBits{15-14};
3198     let Inst{24}    = 0b0;
3199     let Inst{23-22} = MajOp;
3200     let Inst{21}    = isHalf;
3201     let Inst{20-16} = offsetBits{13-9};
3202     let Inst{13}    = offsetBits{8};
3203     let Inst{12-8}  = src;
3204     let Inst{7-0}   = offsetBits{7-0};
3205   }
3206
3207 //===----------------------------------------------------------------------===//
3208 // Template class for predicated store instructions with
3209 // GP-Relative or absolute addressing.
3210 //===----------------------------------------------------------------------===//
3211 let hasSideEffects = 0, isPredicated = 1, isNVStorable = 1, opExtentBits = 6,
3212     opExtendable = 1 in
3213 class T_StoreAbs_Pred <string mnemonic, RegisterClass RC, bits<2> MajOp,
3214                        bit isHalf, bit isNot, bit isNew>
3215   : STInst<(outs), (ins PredRegs:$src1, u6Ext:$absaddr, RC: $src2),
3216   !if(isNot, "if (!$src1", "if ($src1")#!if(isNew, ".new) ",
3217   ") ")#mnemonic#"(#$absaddr) = $src2"#!if(isHalf, ".h",""),
3218   [], "", ST_tc_st_SLOT01>, AddrModeRel {
3219     bits<2> src1;
3220     bits<6> absaddr;
3221     bits<5> src2;
3222
3223     let isPredicatedNew = isNew;
3224     let isPredicatedFalse = isNot;
3225
3226     let IClass = 0b1010;
3227
3228     let Inst{27-24} = 0b1111;
3229     let Inst{23-22} = MajOp;
3230     let Inst{21}    = isHalf;
3231     let Inst{17-16} = absaddr{5-4};
3232     let Inst{13}    = isNew;
3233     let Inst{12-8}  = src2;
3234     let Inst{7}     = 0b1;
3235     let Inst{6-3}   = absaddr{3-0};
3236     let Inst{2}     = isNot;
3237     let Inst{1-0}   = src1;
3238   }
3239
3240 //===----------------------------------------------------------------------===//
3241 // Template class for predicated store instructions with absolute addressing.
3242 //===----------------------------------------------------------------------===//
3243 class T_StoreAbs <string mnemonic, RegisterClass RC, Operand ImmOp,
3244                  bits<2> MajOp, bit isHalf>
3245   : T_StoreAbsGP <mnemonic, RC, ImmOp, MajOp, u0AlwaysExt, 1, isHalf>,
3246                   AddrModeRel {
3247   string ImmOpStr = !cast<string>(ImmOp);
3248   let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3249                      !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3250                      !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3251                                       /* u16_0Imm */ 16)));
3252
3253   let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3254                       !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3255                       !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3256                                        /* u16_0Imm */ 0)));
3257 }
3258
3259 //===----------------------------------------------------------------------===//
3260 // Multiclass for store instructions with absolute addressing.
3261 //===----------------------------------------------------------------------===//
3262 let validSubTargets = HasV4SubT, addrMode = Absolute, isExtended = 1 in
3263 multiclass ST_Abs<string mnemonic, string CextOp, RegisterClass RC,
3264                   Operand ImmOp, bits<2> MajOp, bit isHalf = 0> {
3265   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3266     let opExtendable = 0, isPredicable = 1 in
3267     def S2_#NAME#abs : T_StoreAbs <mnemonic, RC, ImmOp, MajOp, isHalf>;
3268
3269     // Predicated
3270     def S4_p#NAME#t_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 0, 0>;
3271     def S4_p#NAME#f_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 1, 0>;
3272
3273     // .new Predicated
3274     def S4_p#NAME#tnew_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 0, 1>;
3275     def S4_p#NAME#fnew_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 1, 1>;
3276   }
3277 }
3278
3279 //===----------------------------------------------------------------------===//
3280 // Template class for non predicated new-value store instructions with
3281 // GP-Relative or absolute addressing.
3282 //===----------------------------------------------------------------------===//
3283 let hasSideEffects = 0, isPredicable = 1, mayStore = 1, isNVStore = 1,
3284     isNewValue = 1, opNewValue = 1 in
3285 class T_StoreAbsGP_NV <string mnemonic, Operand ImmOp, bits<2>MajOp, bit isAbs>
3286   : NVInst_V4<(outs), (ins u0AlwaysExt:$addr, IntRegs:$src),
3287   mnemonic # !if(isAbs, "(##", "(#")#"$addr) = $src.new",
3288   [], "", V2LDST_tc_st_SLOT0> {
3289     bits<19> addr;
3290     bits<3> src;
3291     bits<16> offsetBits;
3292
3293     string ImmOpStr = !cast<string>(ImmOp);
3294     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3295                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3296                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3297                                       /* u16_0Imm */ addr{15-0})));
3298     let IClass = 0b0100;
3299
3300     let Inst{27} = 1;
3301     let Inst{26-25} = offsetBits{15-14};
3302     let Inst{24-21} = 0b0101;
3303     let Inst{20-16} = offsetBits{13-9};
3304     let Inst{13}    = offsetBits{8};
3305     let Inst{12-11} = MajOp;
3306     let Inst{10-8}  = src;
3307     let Inst{7-0}   = offsetBits{7-0};
3308   }
3309
3310 //===----------------------------------------------------------------------===//
3311 // Template class for predicated new-value store instructions with
3312 // absolute addressing.
3313 //===----------------------------------------------------------------------===//
3314 let hasSideEffects = 0, isPredicated = 1, mayStore = 1, isNVStore = 1,
3315     isNewValue = 1, opNewValue = 2, opExtentBits = 6, opExtendable = 1 in
3316 class T_StoreAbs_NV_Pred <string mnemonic, bits<2> MajOp, bit isNot, bit isNew>
3317   : NVInst_V4<(outs), (ins PredRegs:$src1, u6Ext:$absaddr, IntRegs:$src2),
3318   !if(isNot, "if (!$src1", "if ($src1")#!if(isNew, ".new) ",
3319   ") ")#mnemonic#"(#$absaddr) = $src2.new",
3320   [], "", ST_tc_st_SLOT0>, AddrModeRel {
3321     bits<2> src1;
3322     bits<6> absaddr;
3323     bits<3> src2;
3324
3325     let isPredicatedNew = isNew;
3326     let isPredicatedFalse = isNot;
3327
3328     let IClass = 0b1010;
3329
3330     let Inst{27-24} = 0b1111;
3331     let Inst{23-21} = 0b101;
3332     let Inst{17-16} = absaddr{5-4};
3333     let Inst{13}    = isNew;
3334     let Inst{12-11} = MajOp;
3335     let Inst{10-8}  = src2;
3336     let Inst{7}     = 0b1;
3337     let Inst{6-3}   = absaddr{3-0};
3338     let Inst{2}     = isNot;
3339     let Inst{1-0}   = src1;
3340 }
3341
3342 //===----------------------------------------------------------------------===//
3343 // Template class for non-predicated new-value store instructions with
3344 // absolute addressing.
3345 //===----------------------------------------------------------------------===//
3346 class T_StoreAbs_NV <string mnemonic, Operand ImmOp, bits<2> MajOp>
3347   : T_StoreAbsGP_NV <mnemonic, ImmOp, MajOp, 1>, AddrModeRel {
3348
3349   string ImmOpStr = !cast<string>(ImmOp);
3350   let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3351                      !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3352                      !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3353                                       /* u16_0Imm */ 16)));
3354
3355   let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3356                       !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3357                       !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3358                                        /* u16_0Imm */ 0)));
3359 }
3360
3361 //===----------------------------------------------------------------------===//
3362 // Multiclass for new-value store instructions with absolute addressing.
3363 //===----------------------------------------------------------------------===//
3364 let validSubTargets = HasV4SubT, addrMode = Absolute, isExtended = 1  in
3365 multiclass ST_Abs_NV <string mnemonic, string CextOp, Operand ImmOp,
3366                    bits<2> MajOp> {
3367   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3368     let opExtendable = 0, isPredicable = 1 in
3369     def S2_#NAME#newabs : T_StoreAbs_NV <mnemonic, ImmOp, MajOp>;
3370
3371     // Predicated
3372     def S4_p#NAME#newt_abs  : T_StoreAbs_NV_Pred <mnemonic, MajOp, 0, 0>;
3373     def S4_p#NAME#newf_abs  : T_StoreAbs_NV_Pred <mnemonic, MajOp, 1, 0>;
3374
3375     // .new Predicated
3376     def S4_p#NAME#newtnew_abs : T_StoreAbs_NV_Pred <mnemonic, MajOp, 0, 1>;
3377     def S4_p#NAME#newfnew_abs : T_StoreAbs_NV_Pred <mnemonic, MajOp, 1, 1>;
3378   }
3379 }
3380
3381 //===----------------------------------------------------------------------===//
3382 // Stores with absolute addressing
3383 //===----------------------------------------------------------------------===//
3384 let accessSize = ByteAccess, isCodeGenOnly = 0 in
3385 defm storerb : ST_Abs    <"memb", "STrib", IntRegs, u16_0Imm, 0b00>,
3386                ST_Abs_NV <"memb", "STrib", u16_0Imm, 0b00>;
3387
3388 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in
3389 defm storerh : ST_Abs    <"memh", "STrih", IntRegs, u16_1Imm, 0b01>,
3390                ST_Abs_NV <"memh", "STrih", u16_1Imm, 0b01>;
3391
3392 let accessSize = WordAccess, isCodeGenOnly = 0 in
3393 defm storeri : ST_Abs    <"memw", "STriw", IntRegs, u16_2Imm, 0b10>,
3394                ST_Abs_NV <"memw", "STriw", u16_2Imm, 0b10>;
3395
3396 let isNVStorable = 0, accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
3397 defm storerd : ST_Abs <"memd", "STrid", DoubleRegs, u16_3Imm, 0b11>;
3398
3399 let isNVStorable = 0, accessSize = HalfWordAccess, isCodeGenOnly = 0 in
3400 defm storerf : ST_Abs <"memh", "STrif", IntRegs, u16_1Imm, 0b01, 1>;
3401
3402 //===----------------------------------------------------------------------===//
3403 // GP-relative stores.
3404 // mem[bhwd](#global)=Rt
3405 // Once predicated, these instructions map to absolute addressing mode.
3406 // if ([!]Pv[.new]) mem[bhwd](##global)=Rt
3407 //===----------------------------------------------------------------------===//
3408
3409 let validSubTargets = HasV4SubT in
3410 class T_StoreGP <string mnemonic, string BaseOp, RegisterClass RC,
3411                  Operand ImmOp, bits<2> MajOp, bit isHalf = 0>
3412   : T_StoreAbsGP <mnemonic, RC, ImmOp, MajOp, globaladdress, 0, isHalf> {
3413     // Set BaseOpcode same as absolute addressing instructions so that
3414     // non-predicated GP-Rel instructions can have relate with predicated
3415     // Absolute instruction.
3416     let BaseOpcode = BaseOp#_abs;
3417   }
3418
3419 let validSubTargets = HasV4SubT in
3420 multiclass ST_GP <string mnemonic, string BaseOp, Operand ImmOp,
3421                   bits<2> MajOp, bit isHalf = 0> {
3422   // Set BaseOpcode same as absolute addressing instructions so that
3423   // non-predicated GP-Rel instructions can have relate with predicated
3424   // Absolute instruction.
3425   let BaseOpcode = BaseOp#_abs in {
3426     def NAME#gp : T_StoreAbsGP <mnemonic, IntRegs, ImmOp, MajOp,
3427                                 globaladdress, 0, isHalf>;
3428     // New-value store
3429     def NAME#newgp : T_StoreAbsGP_NV <mnemonic, ImmOp, MajOp, 0> ;
3430   }
3431 }
3432
3433 let accessSize = ByteAccess in
3434 defm S2_storerb : ST_GP<"memb", "STrib", u16_0Imm, 0b00>, NewValueRel;
3435
3436 let accessSize = HalfWordAccess in
3437 defm S2_storerh : ST_GP<"memh", "STrih", u16_1Imm, 0b01>, NewValueRel;
3438
3439 let accessSize = WordAccess in
3440 defm S2_storeri : ST_GP<"memw", "STriw", u16_2Imm, 0b10>, NewValueRel;
3441
3442 let isNVStorable = 0, accessSize = DoubleWordAccess in
3443 def S2_storerdgp : T_StoreGP <"memd", "STrid", DoubleRegs,
3444                               u16_3Imm, 0b11>, PredNewRel;
3445
3446 let isNVStorable = 0, accessSize = HalfWordAccess in
3447 def S2_storerfgp : T_StoreGP <"memh", "STrif", IntRegs,
3448                               u16_1Imm, 0b01, 1>, PredNewRel;
3449
3450 let Predicates = [HasV4T], AddedComplexity = 30 in {
3451 def : Pat<(truncstorei8 (i32 IntRegs:$src1),
3452                         (HexagonCONST32 tglobaladdr:$absaddr)),
3453           (S2_storerbabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3454
3455 def : Pat<(truncstorei16 (i32 IntRegs:$src1),
3456                           (HexagonCONST32 tglobaladdr:$absaddr)),
3457           (S2_storerhabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3458
3459 def : Pat<(store (i32 IntRegs:$src1), (HexagonCONST32 tglobaladdr:$absaddr)),
3460           (S2_storeriabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3461
3462 def : Pat<(store (i64 DoubleRegs:$src1),
3463                  (HexagonCONST32 tglobaladdr:$absaddr)),
3464           (S2_storerdabs tglobaladdr: $absaddr, DoubleRegs: $src1)>;
3465 }
3466
3467 // 64 bit atomic store
3468 def : Pat <(atomic_store_64 (HexagonCONST32_GP tglobaladdr:$global),
3469                             (i64 DoubleRegs:$src1)),
3470            (S2_storerdgp tglobaladdr:$global, (i64 DoubleRegs:$src1))>,
3471            Requires<[HasV4T]>;
3472
3473 // Map from store(globaladdress) -> memd(#foo)
3474 let AddedComplexity = 100 in
3475 def : Pat <(store (i64 DoubleRegs:$src1),
3476                   (HexagonCONST32_GP tglobaladdr:$global)),
3477            (S2_storerdgp tglobaladdr:$global, (i64 DoubleRegs:$src1))>;
3478
3479 // 8 bit atomic store
3480 def : Pat < (atomic_store_8 (HexagonCONST32_GP tglobaladdr:$global),
3481                             (i32 IntRegs:$src1)),
3482             (S2_storerbgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3483
3484 // Map from store(globaladdress) -> memb(#foo)
3485 let AddedComplexity = 100 in
3486 def : Pat<(truncstorei8 (i32 IntRegs:$src1),
3487           (HexagonCONST32_GP tglobaladdr:$global)),
3488           (S2_storerbgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3489
3490 // Map from "i1 = constant<-1>; memw(CONST32(#foo)) = i1"
3491 //       to "r0 = 1; memw(#foo) = r0"
3492 let AddedComplexity = 100 in
3493 def : Pat<(store (i1 -1), (HexagonCONST32_GP tglobaladdr:$global)),
3494           (S2_storerbgp tglobaladdr:$global, (A2_tfrsi 1))>;
3495
3496 def : Pat<(atomic_store_16 (HexagonCONST32_GP tglobaladdr:$global),
3497                            (i32 IntRegs:$src1)),
3498           (S2_storerhgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3499
3500 // Map from store(globaladdress) -> memh(#foo)
3501 let AddedComplexity = 100 in
3502 def : Pat<(truncstorei16 (i32 IntRegs:$src1),
3503                          (HexagonCONST32_GP tglobaladdr:$global)),
3504           (S2_storerhgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3505
3506 // 32 bit atomic store
3507 def : Pat<(atomic_store_32 (HexagonCONST32_GP tglobaladdr:$global),
3508                            (i32 IntRegs:$src1)),
3509           (S2_storerigp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3510
3511 // Map from store(globaladdress) -> memw(#foo)
3512 let AddedComplexity = 100 in
3513 def : Pat<(store (i32 IntRegs:$src1), (HexagonCONST32_GP tglobaladdr:$global)),
3514           (S2_storerigp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3515
3516 //===----------------------------------------------------------------------===//
3517 // Template class for non predicated load instructions with
3518 // absolute addressing mode.
3519 //===----------------------------------------------------------------------===//
3520 let isPredicable = 1, hasSideEffects = 0, validSubTargets = HasV4SubT in
3521 class T_LoadAbsGP <string mnemonic, RegisterClass RC, Operand ImmOp,
3522                    bits<3> MajOp, Operand AddrOp, bit isAbs>
3523   : LDInst <(outs RC:$dst), (ins AddrOp:$addr),
3524   "$dst = "#mnemonic# !if(isAbs, "(##", "(#")#"$addr)",
3525   [], "", V2LDST_tc_ld_SLOT01> {
3526     bits<5> dst;
3527     bits<19> addr;
3528     bits<16> offsetBits;
3529
3530     string ImmOpStr = !cast<string>(ImmOp);
3531     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3532                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3533                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3534                                       /* u16_0Imm */ addr{15-0})));
3535
3536     let IClass = 0b0100;
3537
3538     let Inst{27}    = 0b1;
3539     let Inst{26-25} = offsetBits{15-14};
3540     let Inst{24}    = 0b1;
3541     let Inst{23-21} = MajOp;
3542     let Inst{20-16} = offsetBits{13-9};
3543     let Inst{13-5}  = offsetBits{8-0};
3544     let Inst{4-0}   = dst;
3545   }
3546
3547 class T_LoadAbs <string mnemonic, RegisterClass RC, Operand ImmOp,
3548                  bits<3> MajOp>
3549   : T_LoadAbsGP <mnemonic, RC, ImmOp, MajOp, u0AlwaysExt, 1>, AddrModeRel {
3550
3551     string ImmOpStr = !cast<string>(ImmOp);
3552     let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3553                        !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3554                        !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3555                                         /* u16_0Imm */ 16)));
3556
3557     let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3558                         !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3559                         !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3560                                         /* u16_0Imm */ 0)));
3561   }
3562 //===----------------------------------------------------------------------===//
3563 // Template class for predicated load instructions with
3564 // absolute addressing mode.
3565 //===----------------------------------------------------------------------===//
3566 let isPredicated = 1, hasNewValue = 1, opExtentBits = 6, opExtendable = 2 in
3567 class T_LoadAbs_Pred <string mnemonic, RegisterClass RC, bits<3> MajOp,
3568                       bit isPredNot, bit isPredNew>
3569   : LDInst <(outs RC:$dst), (ins PredRegs:$src1, u6Ext:$absaddr),
3570   !if(isPredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
3571   ") ")#"$dst = "#mnemonic#"(#$absaddr)">, AddrModeRel {
3572     bits<5> dst;
3573     bits<2> src1;
3574     bits<6> absaddr;
3575
3576     let isPredicatedNew = isPredNew;
3577     let isPredicatedFalse = isPredNot;
3578
3579     let IClass = 0b1001;
3580
3581     let Inst{27-24} = 0b1111;
3582     let Inst{23-21} = MajOp;
3583     let Inst{20-16} = absaddr{5-1};
3584     let Inst{13} = 0b1;
3585     let Inst{12} = isPredNew;
3586     let Inst{11} = isPredNot;
3587     let Inst{10-9} = src1;
3588     let Inst{8} = absaddr{0};
3589     let Inst{7} = 0b1;
3590     let Inst{4-0} = dst;
3591   }
3592
3593 //===----------------------------------------------------------------------===//
3594 // Multiclass for the load instructions with absolute addressing mode.
3595 //===----------------------------------------------------------------------===//
3596 multiclass LD_Abs_Pred<string mnemonic, RegisterClass RC, bits<3> MajOp,
3597                        bit PredNot> {
3598   def _abs : T_LoadAbs_Pred <mnemonic, RC, MajOp, PredNot, 0>;
3599   // Predicate new
3600   def new_abs : T_LoadAbs_Pred <mnemonic, RC, MajOp, PredNot, 1>;
3601 }
3602
3603 let addrMode = Absolute, isExtended = 1 in
3604 multiclass LD_Abs<string mnemonic, string CextOp, RegisterClass RC,
3605                   Operand ImmOp, bits<3> MajOp> {
3606   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3607     let opExtendable = 1, isPredicable = 1 in
3608     def L4_#NAME#_abs: T_LoadAbs <mnemonic, RC, ImmOp, MajOp>;
3609
3610     // Predicated
3611     defm L4_p#NAME#t : LD_Abs_Pred<mnemonic, RC, MajOp, 0>;
3612     defm L4_p#NAME#f : LD_Abs_Pred<mnemonic, RC, MajOp, 1>;
3613   }
3614 }
3615
3616 let accessSize = ByteAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
3617   defm loadrb  : LD_Abs<"memb",  "LDrib",  IntRegs, u16_0Imm, 0b000>;
3618   defm loadrub : LD_Abs<"memub", "LDriub", IntRegs, u16_0Imm, 0b001>;
3619 }
3620
3621 let accessSize = HalfWordAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
3622   defm loadrh  : LD_Abs<"memh",  "LDrih",  IntRegs, u16_1Imm, 0b010>;
3623   defm loadruh : LD_Abs<"memuh", "LDriuh", IntRegs, u16_1Imm, 0b011>;
3624 }
3625
3626 let accessSize = WordAccess, hasNewValue = 1, isCodeGenOnly = 0 in
3627 defm loadri  : LD_Abs<"memw",  "LDriw",  IntRegs, u16_2Imm, 0b100>;
3628
3629 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
3630 defm loadrd  : LD_Abs<"memd",  "LDrid", DoubleRegs, u16_3Imm, 0b110>;
3631
3632 //===----------------------------------------------------------------------===//
3633 // multiclass for load instructions with GP-relative addressing mode.
3634 // Rx=mem[bhwd](##global)
3635 // Once predicated, these instructions map to absolute addressing mode.
3636 // if ([!]Pv[.new]) Rx=mem[bhwd](##global)
3637 //===----------------------------------------------------------------------===//
3638
3639 class T_LoadGP <string mnemonic, string BaseOp, RegisterClass RC, Operand ImmOp,
3640                 bits<3> MajOp>
3641   : T_LoadAbsGP <mnemonic, RC, ImmOp, MajOp, globaladdress, 0>, PredNewRel {
3642     let BaseOpcode = BaseOp#_abs;
3643   }
3644
3645 let accessSize = ByteAccess, hasNewValue = 1 in {
3646   def L2_loadrbgp  : T_LoadGP<"memb",  "LDrib",  IntRegs, u16_0Imm, 0b000>;
3647   def L2_loadrubgp : T_LoadGP<"memub", "LDriub", IntRegs, u16_0Imm, 0b001>;
3648 }
3649
3650 let accessSize = HalfWordAccess, hasNewValue = 1 in {
3651   def L2_loadrhgp  : T_LoadGP<"memh",  "LDrih",  IntRegs, u16_1Imm, 0b010>;
3652   def L2_loadruhgp : T_LoadGP<"memuh", "LDriuh", IntRegs, u16_1Imm, 0b011>;
3653 }
3654
3655 let accessSize = WordAccess, hasNewValue = 1 in
3656 def L2_loadrigp  : T_LoadGP<"memw",  "LDriw",  IntRegs, u16_2Imm, 0b100>;
3657
3658 let accessSize = DoubleWordAccess in
3659 def L2_loadrdgp  : T_LoadGP<"memd", "LDrid", DoubleRegs, u16_3Imm, 0b110>;
3660
3661 let Predicates = [HasV4T], AddedComplexity  = 30 in {
3662 def : Pat<(i32 (load (HexagonCONST32 tglobaladdr:$absaddr))),
3663           (L4_loadri_abs tglobaladdr: $absaddr)>;
3664
3665 def : Pat<(i32 (sextloadi8 (HexagonCONST32 tglobaladdr:$absaddr))),
3666           (L4_loadrb_abs tglobaladdr:$absaddr)>;
3667
3668 def : Pat<(i32 (zextloadi8 (HexagonCONST32 tglobaladdr:$absaddr))),
3669           (L4_loadrub_abs tglobaladdr:$absaddr)>;
3670
3671 def : Pat<(i32 (sextloadi16 (HexagonCONST32 tglobaladdr:$absaddr))),
3672           (L4_loadrh_abs tglobaladdr:$absaddr)>;
3673
3674 def : Pat<(i32 (zextloadi16 (HexagonCONST32 tglobaladdr:$absaddr))),
3675           (L4_loadruh_abs tglobaladdr:$absaddr)>;
3676 }
3677
3678 def : Pat <(atomic_load_64 (HexagonCONST32_GP tglobaladdr:$global)),
3679            (i64 (L2_loadrdgp tglobaladdr:$global))>;
3680
3681 def : Pat <(atomic_load_32 (HexagonCONST32_GP tglobaladdr:$global)),
3682            (i32 (L2_loadrigp tglobaladdr:$global))>;
3683
3684 def : Pat <(atomic_load_16 (HexagonCONST32_GP tglobaladdr:$global)),
3685            (i32 (L2_loadruhgp tglobaladdr:$global))>;
3686
3687 def : Pat <(atomic_load_8 (HexagonCONST32_GP tglobaladdr:$global)),
3688            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3689
3690 // Map from load(globaladdress) -> memw(#foo + 0)
3691 let AddedComplexity = 100 in
3692 def : Pat <(i64 (load (HexagonCONST32_GP tglobaladdr:$global))),
3693            (i64 (L2_loadrdgp tglobaladdr:$global))>;
3694
3695 // Map from Pd = load(globaladdress) -> Rd = memb(globaladdress), Pd = Rd
3696 let AddedComplexity = 100 in
3697 def : Pat <(i1 (load (HexagonCONST32_GP tglobaladdr:$global))),
3698            (i1 (C2_tfrrp (i32 (L2_loadrbgp tglobaladdr:$global))))>;
3699
3700 // When the Interprocedural Global Variable optimizer realizes that a certain
3701 // global variable takes only two constant values, it shrinks the global to
3702 // a boolean. Catch those loads here in the following 3 patterns.
3703 let AddedComplexity = 100 in
3704 def : Pat <(i32 (extloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3705            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3706
3707 let AddedComplexity = 100 in
3708 def : Pat <(i32 (sextloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3709            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3710
3711 // Map from load(globaladdress) -> memb(#foo)
3712 let AddedComplexity = 100 in
3713 def : Pat <(i32 (extloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3714            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3715
3716 // Map from load(globaladdress) -> memb(#foo)
3717 let AddedComplexity = 100 in
3718 def : Pat <(i32 (sextloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3719            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3720
3721 let AddedComplexity = 100 in
3722 def : Pat <(i32 (zextloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3723            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3724
3725 // Map from load(globaladdress) -> memub(#foo)
3726 let AddedComplexity = 100 in
3727 def : Pat <(i32 (zextloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3728            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3729
3730 // Map from load(globaladdress) -> memh(#foo)
3731 let AddedComplexity = 100 in
3732 def : Pat <(i32 (extloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3733            (i32 (L2_loadrhgp tglobaladdr:$global))>;
3734
3735 // Map from load(globaladdress) -> memh(#foo)
3736 let AddedComplexity = 100 in
3737 def : Pat <(i32 (sextloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3738            (i32 (L2_loadrhgp tglobaladdr:$global))>;
3739
3740 // Map from load(globaladdress) -> memuh(#foo)
3741 let AddedComplexity = 100 in
3742 def : Pat <(i32 (zextloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3743            (i32 (L2_loadruhgp tglobaladdr:$global))>;
3744
3745 // Map from load(globaladdress) -> memw(#foo)
3746 let AddedComplexity = 100 in
3747 def : Pat <(i32 (load (HexagonCONST32_GP tglobaladdr:$global))),
3748            (i32 (L2_loadrigp tglobaladdr:$global))>;
3749
3750
3751 // Transfer global address into a register
3752 let isExtended = 1, opExtendable = 1, AddedComplexity=50, isMoveImm = 1,
3753 isAsCheapAsAMove = 1, isReMaterializable = 1, validSubTargets = HasV4SubT in
3754 def TFRI_V4 : ALU32_ri<(outs IntRegs:$dst), (ins s16Ext:$src1),
3755            "$dst = #$src1",
3756            [(set IntRegs:$dst, (HexagonCONST32 tglobaladdr:$src1))]>,
3757            Requires<[HasV4T]>;
3758
3759 // Transfer a block address into a register
3760 def : Pat<(HexagonCONST32_GP tblockaddress:$src1),
3761           (TFRI_V4 tblockaddress:$src1)>,
3762           Requires<[HasV4T]>;
3763
3764 let isExtended = 1, opExtendable = 2, AddedComplexity=50,
3765 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3766 def TFRI_cPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3767                            (ins PredRegs:$src1, s16Ext:$src2),
3768            "if($src1) $dst = #$src2",
3769            []>,
3770            Requires<[HasV4T]>;
3771
3772 let isExtended = 1, opExtendable = 2, AddedComplexity=50, isPredicatedFalse = 1,
3773 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3774 def TFRI_cNotPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3775                               (ins PredRegs:$src1, s16Ext:$src2),
3776            "if(!$src1) $dst = #$src2",
3777            []>,
3778            Requires<[HasV4T]>;
3779
3780 let isExtended = 1, opExtendable = 2, AddedComplexity=50,
3781 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3782 def TFRI_cdnPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3783                              (ins PredRegs:$src1, s16Ext:$src2),
3784            "if($src1.new) $dst = #$src2",
3785            []>,
3786            Requires<[HasV4T]>;
3787
3788 let isExtended = 1, opExtendable = 2, AddedComplexity=50, isPredicatedFalse = 1,
3789 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3790 def TFRI_cdnNotPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3791                                 (ins PredRegs:$src1, s16Ext:$src2),
3792            "if(!$src1.new) $dst = #$src2",
3793            []>,
3794            Requires<[HasV4T]>;
3795
3796 let AddedComplexity = 50, Predicates = [HasV4T] in
3797 def : Pat<(HexagonCONST32_GP tglobaladdr:$src1),
3798            (TFRI_V4 tglobaladdr:$src1)>,
3799            Requires<[HasV4T]>;
3800
3801
3802 // Load - Indirect with long offset: These instructions take global address
3803 // as an operand
3804 let isExtended = 1, opExtendable = 3, AddedComplexity = 40,
3805 validSubTargets = HasV4SubT in
3806 def LDrid_ind_lo_V4 : LDInst<(outs DoubleRegs:$dst),
3807             (ins IntRegs:$src1, u2Imm:$src2, globaladdressExt:$offset),
3808             "$dst=memd($src1<<#$src2+##$offset)",
3809             [(set (i64 DoubleRegs:$dst),
3810                   (load (add (shl IntRegs:$src1, u2ImmPred:$src2),
3811                         (HexagonCONST32 tglobaladdr:$offset))))]>,
3812             Requires<[HasV4T]>;
3813
3814 let AddedComplexity = 40 in
3815 multiclass LD_indirect_lo<string OpcStr, PatFrag OpNode> {
3816 let isExtended = 1, opExtendable = 3, validSubTargets = HasV4SubT in
3817   def _lo_V4 : LDInst<(outs IntRegs:$dst),
3818             (ins IntRegs:$src1, u2Imm:$src2, globaladdressExt:$offset),
3819             !strconcat("$dst = ",
3820             !strconcat(OpcStr, "($src1<<#$src2+##$offset)")),
3821             [(set IntRegs:$dst,
3822                   (i32 (OpNode (add (shl IntRegs:$src1, u2ImmPred:$src2),
3823                           (HexagonCONST32 tglobaladdr:$offset)))))]>,
3824             Requires<[HasV4T]>;
3825 }
3826
3827 defm LDrib_ind : LD_indirect_lo<"memb", sextloadi8>;
3828 defm LDriub_ind : LD_indirect_lo<"memub", zextloadi8>;
3829 defm LDriub_ind_anyext : LD_indirect_lo<"memub", extloadi8>;
3830 defm LDrih_ind : LD_indirect_lo<"memh", sextloadi16>;
3831 defm LDriuh_ind : LD_indirect_lo<"memuh", zextloadi16>;
3832 defm LDriuh_ind_anyext : LD_indirect_lo<"memuh", extloadi16>;
3833 defm LDriw_ind : LD_indirect_lo<"memw", load>;
3834
3835 let AddedComplexity = 40 in
3836 def : Pat <(i32 (sextloadi8 (add IntRegs:$src1,
3837                                  (NumUsesBelowThresCONST32 tglobaladdr:$offset)))),
3838            (i32 (LDrib_ind_lo_V4 IntRegs:$src1, 0, tglobaladdr:$offset))>,
3839            Requires<[HasV4T]>;
3840
3841 let AddedComplexity = 40 in
3842 def : Pat <(i32 (zextloadi8 (add IntRegs:$src1,
3843                                  (NumUsesBelowThresCONST32 tglobaladdr:$offset)))),
3844            (i32 (LDriub_ind_lo_V4 IntRegs:$src1, 0, tglobaladdr:$offset))>,
3845            Requires<[HasV4T]>;
3846
3847 let Predicates = [HasV4T], AddedComplexity  = 30 in {
3848 def : Pat<(truncstorei8 (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
3849           (S2_storerbabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
3850
3851 def : Pat<(truncstorei16 (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
3852           (S2_storerhabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
3853
3854 def : Pat<(store (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
3855           (S2_storeriabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
3856 }
3857
3858 let Predicates = [HasV4T], AddedComplexity  = 30 in {
3859 def : Pat<(i32 (load u0AlwaysExtPred:$src)),
3860           (L4_loadri_abs u0AlwaysExtPred:$src)>;
3861
3862 def : Pat<(i32 (sextloadi8 u0AlwaysExtPred:$src)),
3863           (L4_loadrb_abs u0AlwaysExtPred:$src)>;
3864
3865 def : Pat<(i32 (zextloadi8 u0AlwaysExtPred:$src)),
3866           (L4_loadrub_abs u0AlwaysExtPred:$src)>;
3867
3868 def : Pat<(i32 (sextloadi16 u0AlwaysExtPred:$src)),
3869           (L4_loadrh_abs u0AlwaysExtPred:$src)>;
3870
3871 def : Pat<(i32 (zextloadi16 u0AlwaysExtPred:$src)),
3872           (L4_loadruh_abs u0AlwaysExtPred:$src)>;
3873 }
3874
3875 // Indexed store word - global address.
3876 // memw(Rs+#u6:2)=#S8
3877 let AddedComplexity = 10 in
3878 def STriw_offset_ext_V4 : STInst<(outs),
3879             (ins IntRegs:$src1, u6_2Imm:$src2, globaladdress:$src3),
3880             "memw($src1+#$src2) = ##$src3",
3881             [(store (HexagonCONST32 tglobaladdr:$src3),
3882                     (add IntRegs:$src1, u6_2ImmPred:$src2))]>,
3883             Requires<[HasV4T]>;
3884
3885 def : Pat<(i64 (ctlz (i64 DoubleRegs:$src1))),
3886           (i64 (A4_combineir (i32 0), (i32 (CTLZ64_rr DoubleRegs:$src1))))>,
3887           Requires<[HasV4T]>;
3888
3889 def : Pat<(i64 (cttz (i64 DoubleRegs:$src1))),
3890           (i64 (A4_combineir (i32 0), (i32 (CTTZ64_rr DoubleRegs:$src1))))>,
3891           Requires<[HasV4T]>;
3892
3893
3894 // i8 -> i64 loads
3895 // We need a complexity of 120 here to override preceding handling of
3896 // zextloadi8.
3897 let Predicates = [HasV4T], AddedComplexity = 120 in {
3898 def:  Pat <(i64 (extloadi8 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3899       (i64 (A4_combineir 0, (L4_loadrb_abs tglobaladdr:$addr)))>;
3900
3901 def:  Pat <(i64 (zextloadi8 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3902       (i64 (A4_combineir 0, (L4_loadrub_abs tglobaladdr:$addr)))>;
3903
3904 def:  Pat <(i64 (sextloadi8 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3905       (i64 (A2_sxtw (L4_loadrb_abs tglobaladdr:$addr)))>;
3906
3907 def:  Pat <(i64 (extloadi8 FoldGlobalAddr:$addr)),
3908       (i64 (A4_combineir 0, (L4_loadrb_abs FoldGlobalAddr:$addr)))>;
3909
3910 def:  Pat <(i64 (zextloadi8 FoldGlobalAddr:$addr)),
3911       (i64 (A4_combineir 0, (L4_loadrub_abs FoldGlobalAddr:$addr)))>;
3912
3913 def:  Pat <(i64 (sextloadi8 FoldGlobalAddr:$addr)),
3914       (i64 (A2_sxtw (L4_loadrb_abs FoldGlobalAddr:$addr)))>;
3915 }
3916 // i16 -> i64 loads
3917 // We need a complexity of 120 here to override preceding handling of
3918 // zextloadi16.
3919 let AddedComplexity = 120 in {
3920 def:  Pat <(i64 (extloadi16 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3921       (i64 (A4_combineir 0, (L4_loadrh_abs tglobaladdr:$addr)))>,
3922       Requires<[HasV4T]>;
3923
3924 def:  Pat <(i64 (zextloadi16 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3925       (i64 (A4_combineir 0, (L4_loadruh_abs tglobaladdr:$addr)))>,
3926       Requires<[HasV4T]>;
3927
3928 def:  Pat <(i64 (sextloadi16 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3929       (i64 (A2_sxtw (L4_loadrh_abs tglobaladdr:$addr)))>,
3930       Requires<[HasV4T]>;
3931
3932 def:  Pat <(i64 (extloadi16 FoldGlobalAddr:$addr)),
3933       (i64 (A4_combineir 0, (L4_loadrh_abs FoldGlobalAddr:$addr)))>,
3934       Requires<[HasV4T]>;
3935
3936 def:  Pat <(i64 (zextloadi16 FoldGlobalAddr:$addr)),
3937       (i64 (A4_combineir 0, (L4_loadruh_abs FoldGlobalAddr:$addr)))>,
3938       Requires<[HasV4T]>;
3939
3940 def:  Pat <(i64 (sextloadi16 FoldGlobalAddr:$addr)),
3941       (i64 (A2_sxtw (L4_loadrh_abs FoldGlobalAddr:$addr)))>,
3942       Requires<[HasV4T]>;
3943 }
3944 // i32->i64 loads
3945 // We need a complexity of 120 here to override preceding handling of
3946 // zextloadi32.
3947 let AddedComplexity = 120 in {
3948 def:  Pat <(i64 (extloadi32 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3949       (i64 (A4_combineir 0, (L4_loadri_abs tglobaladdr:$addr)))>,
3950       Requires<[HasV4T]>;
3951
3952 def:  Pat <(i64 (zextloadi32 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3953       (i64 (A4_combineir 0, (L4_loadri_abs tglobaladdr:$addr)))>,
3954       Requires<[HasV4T]>;
3955
3956 def:  Pat <(i64 (sextloadi32 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3957       (i64 (A2_sxtw (L4_loadri_abs tglobaladdr:$addr)))>,
3958       Requires<[HasV4T]>;
3959
3960 def:  Pat <(i64 (extloadi32 FoldGlobalAddr:$addr)),
3961       (i64 (A4_combineir 0, (L4_loadri_abs FoldGlobalAddr:$addr)))>,
3962       Requires<[HasV4T]>;
3963
3964 def:  Pat <(i64 (zextloadi32 FoldGlobalAddr:$addr)),
3965       (i64 (A4_combineir 0, (L4_loadri_abs FoldGlobalAddr:$addr)))>,
3966       Requires<[HasV4T]>;
3967
3968 def:  Pat <(i64 (sextloadi32 FoldGlobalAddr:$addr)),
3969       (i64 (A2_sxtw (L4_loadri_abs FoldGlobalAddr:$addr)))>,
3970       Requires<[HasV4T]>;
3971 }
3972
3973 // Indexed store double word - global address.
3974 // memw(Rs+#u6:2)=#S8
3975 let AddedComplexity = 10 in
3976 def STrih_offset_ext_V4 : STInst<(outs),
3977             (ins IntRegs:$src1, u6_1Imm:$src2, globaladdress:$src3),
3978             "memh($src1+#$src2) = ##$src3",
3979             [(truncstorei16 (HexagonCONST32 tglobaladdr:$src3),
3980                     (add IntRegs:$src1, u6_1ImmPred:$src2))]>,
3981             Requires<[HasV4T]>;
3982 // Map from store(globaladdress + x) -> memd(#foo + x)
3983 let AddedComplexity = 100 in
3984 def : Pat<(store (i64 DoubleRegs:$src1),
3985                  FoldGlobalAddrGP:$addr),
3986           (S2_storerdabs FoldGlobalAddrGP:$addr, (i64 DoubleRegs:$src1))>,
3987           Requires<[HasV4T]>;
3988
3989 def : Pat<(atomic_store_64 FoldGlobalAddrGP:$addr,
3990                            (i64 DoubleRegs:$src1)),
3991           (S2_storerdabs FoldGlobalAddrGP:$addr, (i64 DoubleRegs:$src1))>,
3992           Requires<[HasV4T]>;
3993
3994 // Map from store(globaladdress + x) -> memb(#foo + x)
3995 let AddedComplexity = 100 in
3996 def : Pat<(truncstorei8 (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
3997           (S2_storerbabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
3998             Requires<[HasV4T]>;
3999
4000 def : Pat<(atomic_store_8 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4001           (S2_storerbabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4002             Requires<[HasV4T]>;
4003
4004 // Map from store(globaladdress + x) -> memh(#foo + x)
4005 let AddedComplexity = 100 in
4006 def : Pat<(truncstorei16 (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
4007           (S2_storerhabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4008             Requires<[HasV4T]>;
4009
4010 def : Pat<(atomic_store_16 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4011           (S2_storerhabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4012             Requires<[HasV4T]>;
4013
4014 // Map from store(globaladdress + x) -> memw(#foo + x)
4015 let AddedComplexity = 100 in
4016 def : Pat<(store (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
4017           (S2_storeriabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4018            Requires<[HasV4T]>;
4019
4020 def : Pat<(atomic_store_32 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4021           (S2_storeriabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4022             Requires<[HasV4T]>;
4023
4024 // Map from load(globaladdress + x) -> memd(#foo + x)
4025 let AddedComplexity = 100 in
4026 def : Pat<(i64 (load FoldGlobalAddrGP:$addr)),
4027           (i64 (L4_loadrd_abs FoldGlobalAddrGP:$addr))>,
4028            Requires<[HasV4T]>;
4029
4030 def : Pat<(atomic_load_64 FoldGlobalAddrGP:$addr),
4031           (i64 (L4_loadrd_abs FoldGlobalAddrGP:$addr))>,
4032            Requires<[HasV4T]>;
4033
4034 // Map from load(globaladdress + x) -> memb(#foo + x)
4035 let AddedComplexity = 100 in
4036 def : Pat<(i32 (extloadi8 FoldGlobalAddrGP:$addr)),
4037           (i32 (L4_loadrb_abs FoldGlobalAddrGP:$addr))>,
4038            Requires<[HasV4T]>;
4039
4040 // Map from load(globaladdress + x) -> memb(#foo + x)
4041 let AddedComplexity = 100 in
4042 def : Pat<(i32 (sextloadi8 FoldGlobalAddrGP:$addr)),
4043           (i32 (L4_loadrb_abs FoldGlobalAddrGP:$addr))>,
4044            Requires<[HasV4T]>;
4045
4046 //let AddedComplexity = 100 in
4047 let AddedComplexity = 100 in
4048 def : Pat<(i32 (extloadi16 FoldGlobalAddrGP:$addr)),
4049           (i32 (L4_loadrh_abs FoldGlobalAddrGP:$addr))>,
4050            Requires<[HasV4T]>;
4051
4052 // Map from load(globaladdress + x) -> memh(#foo + x)
4053 let AddedComplexity = 100 in
4054 def : Pat<(i32 (sextloadi16 FoldGlobalAddrGP:$addr)),
4055           (i32 (L4_loadrh_abs FoldGlobalAddrGP:$addr))>,
4056            Requires<[HasV4T]>;
4057
4058 // Map from load(globaladdress + x) -> memuh(#foo + x)
4059 let AddedComplexity = 100 in
4060 def : Pat<(i32 (zextloadi16 FoldGlobalAddrGP:$addr)),
4061           (i32 (L4_loadruh_abs FoldGlobalAddrGP:$addr))>,
4062            Requires<[HasV4T]>;
4063
4064 def : Pat<(atomic_load_16 FoldGlobalAddrGP:$addr),
4065           (i32 (L4_loadruh_abs FoldGlobalAddrGP:$addr))>,
4066            Requires<[HasV4T]>;
4067
4068 // Map from load(globaladdress + x) -> memub(#foo + x)
4069 let AddedComplexity = 100 in
4070 def : Pat<(i32 (zextloadi8 FoldGlobalAddrGP:$addr)),
4071           (i32 (L4_loadrub_abs FoldGlobalAddrGP:$addr))>,
4072            Requires<[HasV4T]>;
4073
4074 def : Pat<(atomic_load_8 FoldGlobalAddrGP:$addr),
4075           (i32 (L4_loadrub_abs FoldGlobalAddrGP:$addr))>,
4076            Requires<[HasV4T]>;
4077
4078 // Map from load(globaladdress + x) -> memw(#foo + x)
4079 let AddedComplexity = 100 in
4080 def : Pat<(i32 (load FoldGlobalAddrGP:$addr)),
4081           (i32 (L4_loadri_abs FoldGlobalAddrGP:$addr))>,
4082            Requires<[HasV4T]>;
4083
4084 def : Pat<(atomic_load_32 FoldGlobalAddrGP:$addr),
4085           (i32 (L4_loadri_abs FoldGlobalAddrGP:$addr))>,
4086            Requires<[HasV4T]>;
4087
4088 //===----------------------------------------------------------------------===//
4089 // :raw for of boundscheck:hi:lo insns
4090 //===----------------------------------------------------------------------===//
4091
4092 // A4_boundscheck_lo: Detect if a register is within bounds.
4093 let hasSideEffects = 0, isCodeGenOnly = 0 in
4094 def A4_boundscheck_lo: ALU64Inst <
4095   (outs PredRegs:$Pd),
4096   (ins DoubleRegs:$Rss, DoubleRegs:$Rtt),
4097   "$Pd = boundscheck($Rss, $Rtt):raw:lo"> {
4098     bits<2> Pd;
4099     bits<5> Rss;
4100     bits<5> Rtt;
4101
4102     let IClass = 0b1101;
4103
4104     let Inst{27-23} = 0b00100;
4105     let Inst{13} = 0b1;
4106     let Inst{7-5} = 0b100;
4107     let Inst{1-0} = Pd;
4108     let Inst{20-16} = Rss;
4109     let Inst{12-8} = Rtt;
4110   }
4111
4112 // A4_boundscheck_hi: Detect if a register is within bounds.
4113 let hasSideEffects = 0, isCodeGenOnly = 0 in
4114 def A4_boundscheck_hi: ALU64Inst <
4115   (outs PredRegs:$Pd),
4116   (ins DoubleRegs:$Rss, DoubleRegs:$Rtt),
4117   "$Pd = boundscheck($Rss, $Rtt):raw:hi"> {
4118     bits<2> Pd;
4119     bits<5> Rss;
4120     bits<5> Rtt;
4121
4122     let IClass = 0b1101;
4123
4124     let Inst{27-23} = 0b00100;
4125     let Inst{13} = 0b1;
4126     let Inst{7-5} = 0b101;
4127     let Inst{1-0} = Pd;
4128     let Inst{20-16} = Rss;
4129     let Inst{12-8} = Rtt;
4130   }
4131
4132 let hasSideEffects = 0 in
4133 def A4_boundscheck : MInst <
4134   (outs PredRegs:$Pd), (ins IntRegs:$Rs, DoubleRegs:$Rtt),
4135   "$Pd=boundscheck($Rs,$Rtt)">;
4136
4137 // A4_tlbmatch: Detect if a VA/ASID matches a TLB entry.
4138 let isPredicateLate = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
4139 def A4_tlbmatch : ALU64Inst<(outs PredRegs:$Pd),
4140   (ins DoubleRegs:$Rs, IntRegs:$Rt),
4141   "$Pd = tlbmatch($Rs, $Rt)",
4142   [], "", ALU64_tc_2early_SLOT23> {
4143     bits<2> Pd;
4144     bits<5> Rs;
4145     bits<5> Rt;
4146
4147     let IClass = 0b1101;
4148     let Inst{27-23} = 0b00100;
4149     let Inst{20-16} = Rs;
4150     let Inst{13} = 0b1;
4151     let Inst{12-8} = Rt;
4152     let Inst{7-5} = 0b011;
4153     let Inst{1-0} = Pd;
4154   }
4155
4156 // We need custom lowering of ISD::PREFETCH into HexagonISD::DCFETCH
4157 // because the SDNode ISD::PREFETCH has properties MayLoad and MayStore.
4158 // We don't really want either one here.
4159 def SDTHexagonDCFETCH : SDTypeProfile<0, 2, [SDTCisPtrTy<0>,SDTCisInt<1>]>;
4160 def HexagonDCFETCH : SDNode<"HexagonISD::DCFETCH", SDTHexagonDCFETCH,
4161                             [SDNPHasChain]>;
4162
4163 // Use LD0Inst for dcfetch, but set "mayLoad" to 0 because this doesn't
4164 // really do a load.
4165 let hasSideEffects = 1, mayLoad = 0, isCodeGenOnly = 0 in
4166 def Y2_dcfetchbo : LD0Inst<(outs), (ins IntRegs:$Rs, u11_3Imm:$u11_3),
4167       "dcfetch($Rs + #$u11_3)",
4168       [(HexagonDCFETCH IntRegs:$Rs, u11_3ImmPred:$u11_3)],
4169       "", LD_tc_ld_SLOT0> {
4170   bits<5> Rs;
4171   bits<14> u11_3;
4172
4173   let IClass = 0b1001;
4174   let Inst{27-21} = 0b0100000;
4175   let Inst{20-16} = Rs;
4176   let Inst{13} = 0b0;
4177   let Inst{10-0} = u11_3{13-3};
4178 }
4179
4180 //===----------------------------------------------------------------------===//
4181 // Compound instructions
4182 //===----------------------------------------------------------------------===//
4183
4184 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4185     isPredicated = 1, isPredicatedNew = 1, isExtendable = 1,
4186     opExtentBits = 11, opExtentAlign = 2, opExtendable = 1,
4187     isTerminator = 1, validSubTargets = HasV4SubT in
4188 class CJInst_tstbit_R0<string px, bit np, string tnt>
4189   : InstHexagon<(outs), (ins IntRegs:$Rs, brtarget:$r9_2),
4190   ""#px#" = tstbit($Rs, #0); if ("
4191     #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4192   [], "", COMPOUND, TypeCOMPOUND> {
4193   bits<4> Rs;
4194   bits<11> r9_2;
4195
4196   // np: !p[01]
4197   let isPredicatedFalse = np;
4198   // tnt: Taken/Not Taken
4199   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4200   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4201
4202   let IClass = 0b0001;
4203   let Inst{27-26} = 0b00;
4204   let Inst{25} = !if (!eq(px, "!p1"), 1,
4205                  !if (!eq(px,  "p1"), 1, 0));
4206   let Inst{24-23} = 0b11;
4207   let Inst{22} = np;
4208   let Inst{21-20} = r9_2{10-9};
4209   let Inst{19-16} = Rs;
4210   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4211   let Inst{9-8} = 0b11;
4212   let Inst{7-1} = r9_2{8-2};
4213 }
4214
4215 let Defs = [PC, P0], Uses = [P0], isCodeGenOnly = 0 in {
4216   def J4_tstbit0_tp0_jump_nt : CJInst_tstbit_R0<"p0", 0, "nt">;
4217   def J4_tstbit0_tp0_jump_t : CJInst_tstbit_R0<"p0", 0, "t">;
4218   def J4_tstbit0_fp0_jump_nt : CJInst_tstbit_R0<"p0", 1, "nt">;
4219   def J4_tstbit0_fp0_jump_t : CJInst_tstbit_R0<"p0", 1, "t">;
4220 }
4221
4222 let Defs = [PC, P1], Uses = [P1], isCodeGenOnly = 0 in {
4223   def J4_tstbit0_tp1_jump_nt : CJInst_tstbit_R0<"p1", 0, "nt">;
4224   def J4_tstbit0_tp1_jump_t : CJInst_tstbit_R0<"p1", 0, "t">;
4225   def J4_tstbit0_fp1_jump_nt : CJInst_tstbit_R0<"p1", 1, "nt">;
4226   def J4_tstbit0_fp1_jump_t : CJInst_tstbit_R0<"p1", 1, "t">;
4227 }
4228
4229
4230 let isBranch = 1, hasSideEffects = 0,
4231     isExtentSigned = 1, isPredicated = 1, isPredicatedNew = 1,
4232     isExtendable = 1, opExtentBits = 11, opExtentAlign = 2,
4233     opExtendable = 2, isTerminator = 1, validSubTargets = HasV4SubT in
4234 class CJInst_RR<string px, string op, bit np, string tnt>
4235   : InstHexagon<(outs), (ins IntRegs:$Rs, IntRegs:$Rt, brtarget:$r9_2),
4236   ""#px#" = cmp."#op#"($Rs, $Rt); if ("
4237    #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4238   [], "", COMPOUND, TypeCOMPOUND> {
4239   bits<4> Rs;
4240   bits<4> Rt;
4241   bits<11> r9_2;
4242
4243   // np: !p[01]
4244   let isPredicatedFalse = np;
4245   // tnt: Taken/Not Taken
4246   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4247   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4248
4249   let IClass = 0b0001;
4250   let Inst{27-23} = !if (!eq(op, "eq"),  0b01000,
4251                     !if (!eq(op, "gt"),  0b01001,
4252                     !if (!eq(op, "gtu"), 0b01010, 0)));
4253   let Inst{22} = np;
4254   let Inst{21-20} = r9_2{10-9};
4255   let Inst{19-16} = Rs;
4256   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4257   // px: Predicate reg 0/1
4258   let Inst{12} = !if (!eq(px, "!p1"), 1,
4259                  !if (!eq(px,  "p1"), 1, 0));
4260   let Inst{11-8} = Rt;
4261   let Inst{7-1} = r9_2{8-2};
4262 }
4263
4264 // P[10] taken/not taken.
4265 multiclass T_tnt_CJInst_RR<string op, bit np> {
4266   let Defs = [PC, P0], Uses = [P0] in {
4267     def NAME#p0_jump_nt : CJInst_RR<"p0", op, np, "nt">;
4268     def NAME#p0_jump_t : CJInst_RR<"p0", op, np, "t">;
4269   }
4270   let Defs = [PC, P1], Uses = [P1] in {
4271     def NAME#p1_jump_nt : CJInst_RR<"p1", op, np, "nt">;
4272     def NAME#p1_jump_t : CJInst_RR<"p1", op, np, "t">;
4273   }
4274 }
4275 // Predicate / !Predicate
4276 multiclass T_pnp_CJInst_RR<string op>{
4277   defm J4_cmp#NAME#_t : T_tnt_CJInst_RR<op, 0>;
4278   defm J4_cmp#NAME#_f : T_tnt_CJInst_RR<op, 1>;
4279 }
4280 // TypeCJ Instructions compare RR and jump
4281 let isCodeGenOnly = 0 in {
4282 defm eq : T_pnp_CJInst_RR<"eq">;
4283 defm gt : T_pnp_CJInst_RR<"gt">;
4284 defm gtu : T_pnp_CJInst_RR<"gtu">;
4285 }
4286
4287 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4288     isPredicated = 1, isPredicatedNew = 1, isExtendable = 1, opExtentBits = 11,
4289     opExtentAlign = 2, opExtendable = 2, isTerminator = 1,
4290     validSubTargets = HasV4SubT in
4291 class CJInst_RU5<string px, string op, bit np, string tnt>
4292   : InstHexagon<(outs), (ins IntRegs:$Rs, u5Imm:$U5, brtarget:$r9_2),
4293   ""#px#" = cmp."#op#"($Rs, #$U5); if ("
4294     #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4295   [], "", COMPOUND, TypeCOMPOUND> {
4296   bits<4> Rs;
4297   bits<5> U5;
4298   bits<11> r9_2;
4299
4300   // np: !p[01]
4301   let isPredicatedFalse = np;
4302   // tnt: Taken/Not Taken
4303   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4304   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4305
4306   let IClass = 0b0001;
4307   let Inst{27-26} = 0b00;
4308   // px: Predicate reg 0/1
4309   let Inst{25} = !if (!eq(px, "!p1"), 1,
4310                  !if (!eq(px,  "p1"), 1, 0));
4311   let Inst{24-23} = !if (!eq(op, "eq"),  0b00,
4312                     !if (!eq(op, "gt"),  0b01,
4313                     !if (!eq(op, "gtu"), 0b10, 0)));
4314   let Inst{22} = np;
4315   let Inst{21-20} = r9_2{10-9};
4316   let Inst{19-16} = Rs;
4317   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4318   let Inst{12-8} = U5;
4319   let Inst{7-1} = r9_2{8-2};
4320 }
4321 // P[10] taken/not taken.
4322 multiclass T_tnt_CJInst_RU5<string op, bit np> {
4323   let Defs = [PC, P0], Uses = [P0] in {
4324     def NAME#p0_jump_nt : CJInst_RU5<"p0", op, np, "nt">;
4325     def NAME#p0_jump_t : CJInst_RU5<"p0", op, np, "t">;
4326   }
4327   let Defs = [PC, P1], Uses = [P1] in {
4328     def NAME#p1_jump_nt : CJInst_RU5<"p1", op, np, "nt">;
4329     def NAME#p1_jump_t : CJInst_RU5<"p1", op, np, "t">;
4330   }
4331 }
4332 // Predicate / !Predicate
4333 multiclass T_pnp_CJInst_RU5<string op>{
4334   defm J4_cmp#NAME#i_t : T_tnt_CJInst_RU5<op, 0>;
4335   defm J4_cmp#NAME#i_f : T_tnt_CJInst_RU5<op, 1>;
4336 }
4337 // TypeCJ Instructions compare RI and jump
4338 let isCodeGenOnly = 0 in {
4339 defm eq : T_pnp_CJInst_RU5<"eq">;
4340 defm gt : T_pnp_CJInst_RU5<"gt">;
4341 defm gtu : T_pnp_CJInst_RU5<"gtu">;
4342 }
4343
4344 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4345     isPredicated = 1, isPredicatedFalse = 1, isPredicatedNew = 1,
4346     isExtendable = 1, opExtentBits = 11, opExtentAlign = 2, opExtendable = 1,
4347     isTerminator = 1, validSubTargets = HasV4SubT in
4348 class CJInst_Rn1<string px, string op, bit np, string tnt>
4349   : InstHexagon<(outs), (ins IntRegs:$Rs, brtarget:$r9_2),
4350   ""#px#" = cmp."#op#"($Rs,#-1); if ("
4351   #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4352   [], "", COMPOUND, TypeCOMPOUND> {
4353   bits<4> Rs;
4354   bits<11> r9_2;
4355
4356   // np: !p[01]
4357   let isPredicatedFalse = np;
4358   // tnt: Taken/Not Taken
4359   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4360   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4361
4362   let IClass = 0b0001;
4363   let Inst{27-26} = 0b00;
4364   let Inst{25} = !if (!eq(px, "!p1"), 1,
4365                  !if (!eq(px,  "p1"), 1, 0));
4366
4367   let Inst{24-23} = 0b11;
4368   let Inst{22} = np;
4369   let Inst{21-20} = r9_2{10-9};
4370   let Inst{19-16} = Rs;
4371   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4372   let Inst{9-8} = !if (!eq(op, "eq"),  0b00,
4373                   !if (!eq(op, "gt"),  0b01, 0));
4374   let Inst{7-1} = r9_2{8-2};
4375 }
4376
4377 // P[10] taken/not taken.
4378 multiclass T_tnt_CJInst_Rn1<string op, bit np> {
4379   let Defs = [PC, P0], Uses = [P0] in {
4380     def NAME#p0_jump_nt : CJInst_Rn1<"p0", op, np, "nt">;
4381     def NAME#p0_jump_t : CJInst_Rn1<"p0", op, np, "t">;
4382   }
4383   let Defs = [PC, P1], Uses = [P1] in {
4384     def NAME#p1_jump_nt : CJInst_Rn1<"p1", op, np, "nt">;
4385     def NAME#p1_jump_t : CJInst_Rn1<"p1", op, np, "t">;
4386   }
4387 }
4388 // Predicate / !Predicate
4389 multiclass T_pnp_CJInst_Rn1<string op>{
4390   defm J4_cmp#NAME#n1_t : T_tnt_CJInst_Rn1<op, 0>;
4391   defm J4_cmp#NAME#n1_f : T_tnt_CJInst_Rn1<op, 1>;
4392 }
4393 // TypeCJ Instructions compare -1 and jump
4394 let isCodeGenOnly = 0 in {
4395 defm eq : T_pnp_CJInst_Rn1<"eq">;
4396 defm gt : T_pnp_CJInst_Rn1<"gt">;
4397 }
4398
4399 // J4_jumpseti: Direct unconditional jump and set register to immediate.
4400 let Defs = [PC], isBranch = 1, hasSideEffects = 0, hasNewValue = 1,
4401     isExtentSigned = 1, opNewValue = 0, isExtendable = 1, opExtentBits = 11,
4402     opExtentAlign = 2, opExtendable = 2, validSubTargets = HasV4SubT,
4403     isCodeGenOnly = 0 in
4404 def J4_jumpseti: CJInst <
4405   (outs IntRegs:$Rd),
4406   (ins u6Imm:$U6, brtarget:$r9_2),
4407   "$Rd = #$U6 ; jump $r9_2"> {
4408     bits<4> Rd;
4409     bits<6> U6;
4410     bits<11> r9_2;
4411
4412     let IClass = 0b0001;
4413     let Inst{27-24} = 0b0110;
4414     let Inst{21-20} = r9_2{10-9};
4415     let Inst{19-16} = Rd;
4416     let Inst{13-8} = U6;
4417     let Inst{7-1} = r9_2{8-2};
4418   }
4419
4420 // J4_jumpsetr: Direct unconditional jump and transfer register.
4421 let Defs = [PC], isBranch = 1, hasSideEffects = 0, hasNewValue = 1,
4422     isExtentSigned = 1, opNewValue = 0, isExtendable = 1, opExtentBits = 11,
4423     opExtentAlign = 2, opExtendable = 2, validSubTargets = HasV4SubT,
4424     isCodeGenOnly = 0 in
4425 def J4_jumpsetr: CJInst <
4426   (outs IntRegs:$Rd),
4427   (ins IntRegs:$Rs, brtarget:$r9_2),
4428   "$Rd = $Rs ; jump $r9_2"> {
4429     bits<4> Rd;
4430     bits<4> Rs;
4431     bits<11> r9_2;
4432
4433     let IClass = 0b0001;
4434     let Inst{27-24} = 0b0111;
4435     let Inst{21-20} = r9_2{10-9};
4436     let Inst{11-8} = Rd;
4437     let Inst{19-16} = Rs;
4438     let Inst{7-1} = r9_2{8-2};
4439   }