lib/Target/Hexagon/HexagonInstrInfoV4.td

   1 //=- HexagonInstrInfoV4.td - Target Desc. for Hexagon Target -*- tablegen -*-=//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file describes the Hexagon V4 instructions in TableGen format.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 let hasSideEffects = 0 in
  15 class T_Immext<Operand ImmType>
  16   : EXTENDERInst<(outs), (ins ImmType:$imm),
  17                  "immext(#$imm)", []> {
  18     bits<32> imm;
  19     let IClass = 0b0000;
  20
  21     let Inst{27-16} = imm{31-20};
  22     let Inst{13-0} = imm{19-6};
  23   }
  24
  25 def A4_ext : T_Immext<u26_6Imm>;
  26 let isCodeGenOnly = 1 in {
  27   let isBranch = 1 in
  28     def A4_ext_b : T_Immext<brtarget>;
  29   let isCall = 1 in
  30     def A4_ext_c : T_Immext<calltarget>;
  31   def A4_ext_g : T_Immext<globaladdress>;
  32 }
  33
  34 def BITPOS32 : SDNodeXForm<imm, [{
  35    // Return the bit position we will set [0-31].
  36    // As an SDNode.
  37    int32_t imm = N->getSExtValue();
  38    return XformMskToBitPosU5Imm(imm);
  39 }]>;
  40
  41 // Fold (add (CONST32 tglobaladdr:$addr) <offset>) into a global address.
  42 def FoldGlobalAddr : ComplexPattern<i32, 1, "foldGlobalAddress", [], []>;
  43
  44 // Fold (add (CONST32_GP tglobaladdr:$addr) <offset>) into a global address.
  45 def FoldGlobalAddrGP : ComplexPattern<i32, 1, "foldGlobalAddressGP", [], []>;
  46
  47 def NumUsesBelowThresCONST32 : PatFrag<(ops node:$addr),
  48                                        (HexagonCONST32 node:$addr), [{
  49   return hasNumUsesBelowThresGA(N->getOperand(0).getNode());
  50 }]>;
  51
  52 // Hexagon V4 Architecture spec defines 8 instruction classes:
  53 // LD ST ALU32 XTYPE J JR MEMOP NV CR SYSTEM(system is not implemented in the
  54 // compiler)
  55
  56 // LD Instructions:
  57 // ========================================
  58 // Loads (8/16/32/64 bit)
  59 // Deallocframe
  60
  61 // ST Instructions:
  62 // ========================================
  63 // Stores (8/16/32/64 bit)
  64 // Allocframe
  65
  66 // ALU32 Instructions:
  67 // ========================================
  68 // Arithmetic / Logical (32 bit)
  69 // Vector Halfword
  70
  71 // XTYPE Instructions (32/64 bit):
  72 // ========================================
  73 // Arithmetic, Logical, Bit Manipulation
  74 // Multiply (Integer, Fractional, Complex)
  75 // Permute / Vector Permute Operations
  76 // Predicate Operations
  77 // Shift / Shift with Add/Sub/Logical
  78 // Vector Byte ALU
  79 // Vector Halfword (ALU, Shift, Multiply)
  80 // Vector Word (ALU, Shift)
  81
  82 // J Instructions:
  83 // ========================================
  84 // Jump/Call PC-relative
  85
  86 // JR Instructions:
  87 // ========================================
  88 // Jump/Call Register
  89
  90 // MEMOP Instructions:
  91 // ========================================
  92 // Operation on memory (8/16/32 bit)
  93
  94 // NV Instructions:
  95 // ========================================
  96 // New-value Jumps
  97 // New-value Stores
  98
  99 // CR Instructions:
 100 // ========================================
 101 // Control-Register Transfers
 102 // Hardware Loop Setup
 103 // Predicate Logicals & Reductions
 104
 105 // SYSTEM Instructions (not implemented in the compiler):
 106 // ========================================
 107 // Prefetch
 108 // Cache Maintenance
 109 // Bus Operations
 110
 111
 112 //===----------------------------------------------------------------------===//
 113 // ALU32 +
 114 //===----------------------------------------------------------------------===//
 115
 116 class T_ALU32_3op_not<string mnemonic, bits<3> MajOp, bits<3> MinOp,
 117                       bit OpsRev>
 118   : T_ALU32_3op<mnemonic, MajOp, MinOp, OpsRev, 0> {
 119   let AsmString = "$Rd = "#mnemonic#"($Rs, ~$Rt)";
 120 }
 121
 122 let BaseOpcode = "andn_rr", CextOpcode = "andn", isCodeGenOnly = 0 in
 123 def A4_andn    : T_ALU32_3op_not<"and", 0b001, 0b100, 1>;
 124 let BaseOpcode = "orn_rr", CextOpcode = "orn", isCodeGenOnly = 0 in
 125 def A4_orn     : T_ALU32_3op_not<"or",  0b001, 0b101, 1>;
 126
 127 let CextOpcode = "rcmp.eq", isCodeGenOnly = 0 in
 128 def A4_rcmpeq  : T_ALU32_3op<"cmp.eq",  0b011, 0b010, 0, 1>;
 129 let CextOpcode = "!rcmp.eq", isCodeGenOnly = 0 in
 130 def A4_rcmpneq : T_ALU32_3op<"!cmp.eq", 0b011, 0b011, 0, 1>;
 131
 132 let isCodeGenOnly = 0 in {
 133 def C4_cmpneq  : T_ALU32_3op_cmp<"!cmp.eq",  0b00, 1, 1>;
 134 def C4_cmplte  : T_ALU32_3op_cmp<"!cmp.gt",  0b10, 1, 0>;
 135 def C4_cmplteu : T_ALU32_3op_cmp<"!cmp.gtu", 0b11, 1, 0>;
 136 }
 137
 138 // Pats for instruction selection.
 139
 140 // A class to embed the usual comparison patfrags within a zext to i32.
 141 // The seteq/setne frags use "lhs" and "rhs" as operands, so use the same
 142 // names, or else the frag's "body" won't match the operands.
 143 class CmpInReg<PatFrag Op>
 144   : PatFrag<(ops node:$lhs, node:$rhs),(i32 (zext (i1 Op.Fragment)))>;
 145
 146 def: T_cmp32_rr_pat<A4_rcmpeq,  CmpInReg<seteq>, i32>;
 147 def: T_cmp32_rr_pat<A4_rcmpneq, CmpInReg<setne>, i32>;
 148
 149 def: T_cmp32_rr_pat<C4_cmpneq,  setne,  i1>;
 150
 151 class T_CMP_rrbh<string mnemonic, bits<3> MinOp, bit IsComm>
 152   : SInst<(outs PredRegs:$Pd), (ins IntRegs:$Rs, IntRegs:$Rt),
 153     "$Pd = "#mnemonic#"($Rs, $Rt)", [], "", S_3op_tc_2early_SLOT23>,
 154     ImmRegRel {
 155   let validSubTargets = HasV4SubT;
 156   let InputType = "reg";
 157   let CextOpcode = mnemonic;
 158   let isCompare = 1;
 159   let isCommutable = IsComm;
 160   let hasSideEffects = 0;
 161
 162   bits<2> Pd;
 163   bits<5> Rs;
 164   bits<5> Rt;
 165
 166   let IClass = 0b1100;
 167   let Inst{27-21} = 0b0111110;
 168   let Inst{20-16} = Rs;
 169   let Inst{12-8} = Rt;
 170   let Inst{7-5} = MinOp;
 171   let Inst{1-0} = Pd;
 172 }
 173
 174 let isCodeGenOnly = 0 in {
 175 def A4_cmpbeq  : T_CMP_rrbh<"cmpb.eq",  0b110, 1>;
 176 def A4_cmpbgt  : T_CMP_rrbh<"cmpb.gt",  0b010, 0>;
 177 def A4_cmpbgtu : T_CMP_rrbh<"cmpb.gtu", 0b111, 0>;
 178 def A4_cmpheq  : T_CMP_rrbh<"cmph.eq",  0b011, 1>;
 179 def A4_cmphgt  : T_CMP_rrbh<"cmph.gt",  0b100, 0>;
 180 def A4_cmphgtu : T_CMP_rrbh<"cmph.gtu", 0b101, 0>;
 181 }
 182
 183 class T_CMP_ribh<string mnemonic, bits<2> MajOp, bit IsHalf, bit IsComm,
 184                  Operand ImmType, bit IsImmExt, bit IsImmSigned, int ImmBits>
 185   : ALU64Inst<(outs PredRegs:$Pd), (ins IntRegs:$Rs, ImmType:$Imm),
 186     "$Pd = "#mnemonic#"($Rs, #$Imm)", [], "", ALU64_tc_2early_SLOT23>,
 187     ImmRegRel {
 188   let validSubTargets = HasV4SubT;
 189   let InputType = "imm";
 190   let CextOpcode = mnemonic;
 191   let isCompare = 1;
 192   let isCommutable = IsComm;
 193   let hasSideEffects = 0;
 194   let isExtendable = IsImmExt;
 195   let opExtendable = !if (IsImmExt, 2, 0);
 196   let isExtentSigned = IsImmSigned;
 197   let opExtentBits = ImmBits;
 198
 199   bits<2> Pd;
 200   bits<5> Rs;
 201   bits<8> Imm;
 202
 203   let IClass = 0b1101;
 204   let Inst{27-24} = 0b1101;
 205   let Inst{22-21} = MajOp;
 206   let Inst{20-16} = Rs;
 207   let Inst{12-5} = Imm;
 208   let Inst{4} = 0b0;
 209   let Inst{3} = IsHalf;
 210   let Inst{1-0} = Pd;
 211 }
 212
 213 let isCodeGenOnly = 0 in {
 214 def A4_cmpbeqi  : T_CMP_ribh<"cmpb.eq",  0b00, 0, 1, u8Imm, 0, 0, 8>;
 215 def A4_cmpbgti  : T_CMP_ribh<"cmpb.gt",  0b01, 0, 0, s8Imm, 0, 1, 8>;
 216 def A4_cmpbgtui : T_CMP_ribh<"cmpb.gtu", 0b10, 0, 0, u7Ext, 1, 0, 7>;
 217 def A4_cmpheqi  : T_CMP_ribh<"cmph.eq",  0b00, 1, 1, s8Ext, 1, 1, 8>;
 218 def A4_cmphgti  : T_CMP_ribh<"cmph.gt",  0b01, 1, 0, s8Ext, 1, 1, 8>;
 219 def A4_cmphgtui : T_CMP_ribh<"cmph.gtu", 0b10, 1, 0, u7Ext, 1, 0, 7>;
 220 }
 221 class T_RCMP_EQ_ri<string mnemonic, bit IsNeg>
 222   : ALU32_ri<(outs IntRegs:$Rd), (ins IntRegs:$Rs, s8Ext:$s8),
 223     "$Rd = "#mnemonic#"($Rs, #$s8)", [], "", ALU32_2op_tc_1_SLOT0123>,
 224     ImmRegRel {
 225   let validSubTargets = HasV4SubT;
 226   let InputType = "imm";
 227   let CextOpcode = !if (IsNeg, "!rcmp.eq", "rcmp.eq");
 228   let isExtendable = 1;
 229   let opExtendable = 2;
 230   let isExtentSigned = 1;
 231   let opExtentBits = 8;
 232   let hasNewValue = 1;
 233
 234   bits<5> Rd;
 235   bits<5> Rs;
 236   bits<8> s8;
 237
 238   let IClass = 0b0111;
 239   let Inst{27-24} = 0b0011;
 240   let Inst{22} = 0b1;
 241   let Inst{21} = IsNeg;
 242   let Inst{20-16} = Rs;
 243   let Inst{13} = 0b1;
 244   let Inst{12-5} = s8;
 245   let Inst{4-0} = Rd;
 246 }
 247
 248 let isCodeGenOnly = 0 in {
 249 def A4_rcmpeqi  : T_RCMP_EQ_ri<"cmp.eq",  0>;
 250 def A4_rcmpneqi : T_RCMP_EQ_ri<"!cmp.eq", 1>;
 251 }
 252
 253 def: Pat<(i32 (zext (i1 (seteq (i32 IntRegs:$Rs), s8ExtPred:$s8)))),
 254          (A4_rcmpeqi IntRegs:$Rs, s8ExtPred:$s8)>;
 255 def: Pat<(i32 (zext (i1 (setne (i32 IntRegs:$Rs), s8ExtPred:$s8)))),
 256          (A4_rcmpneqi IntRegs:$Rs, s8ExtPred:$s8)>;
 257
 258 // Preserve the S2_tstbit_r generation
 259 def: Pat<(i32 (zext (i1 (setne (i32 (and (i32 (shl 1, (i32 IntRegs:$src2))),
 260                                          (i32 IntRegs:$src1))), 0)))),
 261          (C2_muxii (S2_tstbit_r IntRegs:$src1, IntRegs:$src2), 1, 0)>;
 262
 263
 264 //===----------------------------------------------------------------------===//
 265 // ALU32 -
 266 //===----------------------------------------------------------------------===//
 267
 268
 269 //===----------------------------------------------------------------------===//
 270 // ALU32/PERM +
 271 //===----------------------------------------------------------------------===//
 272
 273 // Combine a word and an immediate into a register pair.
 274 let hasSideEffects = 0, isExtentSigned = 1, isExtendable = 1,
 275     opExtentBits = 8 in
 276 class T_Combine1 <bits<2> MajOp, dag ins, string AsmStr>
 277   : ALU32Inst <(outs DoubleRegs:$Rdd), ins, AsmStr> {
 278     bits<5> Rdd;
 279     bits<5> Rs;
 280     bits<8> s8;
 281
 282     let IClass      = 0b0111;
 283     let Inst{27-24} = 0b0011;
 284     let Inst{22-21} = MajOp;
 285     let Inst{20-16} = Rs;
 286     let Inst{13}    = 0b1;
 287     let Inst{12-5}  = s8;
 288     let Inst{4-0}   = Rdd;
 289   }
 290
 291 let opExtendable = 2, isCodeGenOnly = 0 in
 292 def A4_combineri : T_Combine1<0b00, (ins IntRegs:$Rs, s8Ext:$s8),
 293                                     "$Rdd = combine($Rs, #$s8)">;
 294
 295 let opExtendable = 1, isCodeGenOnly = 0 in
 296 def A4_combineir : T_Combine1<0b01, (ins s8Ext:$s8, IntRegs:$Rs),
 297                                     "$Rdd = combine(#$s8, $Rs)">;
 298
 299 def HexagonWrapperCombineRI_V4 :
 300   SDNode<"HexagonISD::WrapperCombineRI_V4", SDTHexagonI64I32I32>;
 301 def HexagonWrapperCombineIR_V4 :
 302   SDNode<"HexagonISD::WrapperCombineIR_V4", SDTHexagonI64I32I32>;
 303
 304 def : Pat <(HexagonWrapperCombineRI_V4 IntRegs:$r, s8ExtPred:$i),
 305            (A4_combineri IntRegs:$r, s8ExtPred:$i)>,
 306           Requires<[HasV4T]>;
 307
 308 def : Pat <(HexagonWrapperCombineIR_V4 s8ExtPred:$i, IntRegs:$r),
 309            (A4_combineir s8ExtPred:$i, IntRegs:$r)>,
 310           Requires<[HasV4T]>;
 311
 312 // A4_combineii: Set two small immediates.
 313 let hasSideEffects = 0, isExtendable = 1, opExtentBits = 6, opExtendable = 2 in
 314 def A4_combineii: ALU32Inst<(outs DoubleRegs:$Rdd), (ins s8Imm:$s8, u6Ext:$U6),
 315   "$Rdd = combine(#$s8, #$U6)"> {
 316     bits<5> Rdd;
 317     bits<8> s8;
 318     bits<6> U6;
 319
 320     let IClass = 0b0111;
 321     let Inst{27-23} = 0b11001;
 322     let Inst{20-16} = U6{5-1};
 323     let Inst{13}    = U6{0};
 324     let Inst{12-5}  = s8;
 325     let Inst{4-0}   = Rdd;
 326   }
 327
 328 //===----------------------------------------------------------------------===//
 329 // ALU32/PERM -
 330 //===----------------------------------------------------------------------===//
 331
 332 //===----------------------------------------------------------------------===//
 333 // LD +
 334 //===----------------------------------------------------------------------===//
 335 //===----------------------------------------------------------------------===//
 336 // Template class for load instructions with Absolute set addressing mode.
 337 //===----------------------------------------------------------------------===//
 338 let isExtended = 1, opExtendable = 2, opExtentBits = 6, addrMode = AbsoluteSet,
 339     hasSideEffects = 0 in
 340 class T_LD_abs_set<string mnemonic, RegisterClass RC, bits<4>MajOp>:
 341             LDInst<(outs RC:$dst1, IntRegs:$dst2),
 342             (ins u6Ext:$addr),
 343             "$dst1 = "#mnemonic#"($dst2 = #$addr)",
 344             []> {
 345   bits<7> name;
 346   bits<5> dst1;
 347   bits<5> dst2;
 348   bits<6> addr;
 349
 350   let IClass = 0b1001;
 351   let Inst{27-25} = 0b101;
 352   let Inst{24-21} = MajOp;
 353   let Inst{13-12} = 0b01;
 354   let Inst{4-0}   = dst1;
 355   let Inst{20-16} = dst2;
 356   let Inst{11-8}  = addr{5-2};
 357   let Inst{6-5}   = addr{1-0};
 358 }
 359
 360 let accessSize = ByteAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
 361   def L4_loadrb_ap   : T_LD_abs_set <"memb",   IntRegs, 0b1000>;
 362   def L4_loadrub_ap  : T_LD_abs_set <"memub",  IntRegs, 0b1001>;
 363 }
 364
 365 let accessSize = HalfWordAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
 366   def L4_loadrh_ap  : T_LD_abs_set <"memh",  IntRegs, 0b1010>;
 367   def L4_loadruh_ap : T_LD_abs_set <"memuh", IntRegs, 0b1011>;
 368 }
 369
 370 let accessSize = WordAccess, hasNewValue = 1, isCodeGenOnly = 0 in
 371   def L4_loadri_ap : T_LD_abs_set <"memw", IntRegs, 0b1100>;
 372
 373 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 374 def L4_loadrd_ap : T_LD_abs_set <"memd", DoubleRegs, 0b1110>;
 375
 376 //===----------------------------------------------------------------------===//
 377 // Template classes for the non-predicated load instructions with
 378 // base + register offset addressing mode
 379 //===----------------------------------------------------------------------===//
 380 class T_load_rr <string mnemonic, RegisterClass RC, bits<3> MajOp>:
 381    LDInst<(outs RC:$dst), (ins IntRegs:$src1, IntRegs:$src2, u2Imm:$u2),
 382   "$dst = "#mnemonic#"($src1 + $src2<<#$u2)",
 383   [], "", V4LDST_tc_ld_SLOT01>, ImmRegShl, AddrModeRel {
 384     bits<5> dst;
 385     bits<5> src1;
 386     bits<5> src2;
 387     bits<2> u2;
 388
 389     let IClass = 0b0011;
 390
 391     let Inst{27-24} = 0b1010;
 392     let Inst{23-21} = MajOp;
 393     let Inst{20-16} = src1;
 394     let Inst{12-8}  = src2;
 395     let Inst{13}    = u2{1};
 396     let Inst{7}     = u2{0};
 397     let Inst{4-0}   = dst;
 398   }
 399
 400 //===----------------------------------------------------------------------===//
 401 // Template classes for the predicated load instructions with
 402 // base + register offset addressing mode
 403 //===----------------------------------------------------------------------===//
 404 let isPredicated =  1 in
 405 class T_pload_rr <string mnemonic, RegisterClass RC, bits<3> MajOp,
 406                   bit isNot, bit isPredNew>:
 407    LDInst <(outs RC:$dst),
 408            (ins PredRegs:$src1, IntRegs:$src2, IntRegs:$src3, u2Imm:$u2),
 409   !if(isNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
 410   ") ")#"$dst = "#mnemonic#"($src2+$src3<<#$u2)",
 411   [], "", V4LDST_tc_ld_SLOT01>, AddrModeRel {
 412     bits<5> dst;
 413     bits<2> src1;
 414     bits<5> src2;
 415     bits<5> src3;
 416     bits<2> u2;
 417
 418     let isPredicatedFalse = isNot;
 419     let isPredicatedNew = isPredNew;
 420
 421     let IClass = 0b0011;
 422
 423     let Inst{27-26} = 0b00;
 424     let Inst{25}    = isPredNew;
 425     let Inst{24}    = isNot;
 426     let Inst{23-21} = MajOp;
 427     let Inst{20-16} = src2;
 428     let Inst{12-8}  = src3;
 429     let Inst{13}    = u2{1};
 430     let Inst{7}     = u2{0};
 431     let Inst{6-5}   = src1;
 432     let Inst{4-0}   = dst;
 433   }
 434
 435 //===----------------------------------------------------------------------===//
 436 // multiclass for load instructions with base + register offset
 437 // addressing mode
 438 //===----------------------------------------------------------------------===//
 439 let hasSideEffects = 0, addrMode = BaseRegOffset in
 440 multiclass ld_idxd_shl <string mnemonic, string CextOp, RegisterClass RC,
 441                         bits<3> MajOp > {
 442   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl,
 443       InputType = "reg" in {
 444     let isPredicable = 1 in
 445     def L4_#NAME#_rr : T_load_rr <mnemonic, RC, MajOp>;
 446
 447     // Predicated
 448     def L4_p#NAME#t_rr : T_pload_rr <mnemonic, RC, MajOp, 0, 0>;
 449     def L4_p#NAME#f_rr : T_pload_rr <mnemonic, RC, MajOp, 1, 0>;
 450
 451     // Predicated new
 452     def L4_p#NAME#tnew_rr : T_pload_rr <mnemonic, RC, MajOp, 0, 1>;
 453     def L4_p#NAME#fnew_rr : T_pload_rr <mnemonic, RC, MajOp, 1, 1>;
 454   }
 455 }
 456
 457 let hasNewValue = 1, accessSize = ByteAccess, isCodeGenOnly = 0 in {
 458   defm loadrb  : ld_idxd_shl<"memb", "LDrib", IntRegs, 0b000>;
 459   defm loadrub : ld_idxd_shl<"memub", "LDriub", IntRegs, 0b001>;
 460 }
 461
 462 let hasNewValue = 1, accessSize = HalfWordAccess, isCodeGenOnly = 0 in {
 463   defm loadrh  : ld_idxd_shl<"memh", "LDrih", IntRegs, 0b010>;
 464   defm loadruh : ld_idxd_shl<"memuh", "LDriuh", IntRegs, 0b011>;
 465 }
 466
 467 let hasNewValue = 1, accessSize = WordAccess, isCodeGenOnly = 0 in
 468 defm loadri : ld_idxd_shl<"memw", "LDriw", IntRegs, 0b100>;
 469
 470 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 471 defm loadrd  : ld_idxd_shl<"memd", "LDrid", DoubleRegs, 0b110>;
 472
 473 // 'def pats' for load instructions with base + register offset and non-zero
 474 // immediate value. Immediate value is used to left-shift the second
 475 // register operand.
 476 let AddedComplexity = 40 in {
 477 def : Pat <(i32 (sextloadi8 (add IntRegs:$src1,
 478                                  (shl IntRegs:$src2, u2ImmPred:$offset)))),
 479            (L4_loadrb_rr IntRegs:$src1,
 480             IntRegs:$src2, u2ImmPred:$offset)>,
 481             Requires<[HasV4T]>;
 482
 483 def : Pat <(i32 (zextloadi8 (add IntRegs:$src1,
 484                                  (shl IntRegs:$src2, u2ImmPred:$offset)))),
 485            (L4_loadrub_rr IntRegs:$src1,
 486             IntRegs:$src2, u2ImmPred:$offset)>,
 487             Requires<[HasV4T]>;
 488
 489 def : Pat <(i32 (extloadi8 (add IntRegs:$src1,
 490                                 (shl IntRegs:$src2, u2ImmPred:$offset)))),
 491            (L4_loadrub_rr IntRegs:$src1,
 492             IntRegs:$src2, u2ImmPred:$offset)>,
 493             Requires<[HasV4T]>;
 494
 495 def : Pat <(i32 (sextloadi16 (add IntRegs:$src1,
 496                                   (shl IntRegs:$src2, u2ImmPred:$offset)))),
 497            (L4_loadrh_rr IntRegs:$src1,
 498             IntRegs:$src2, u2ImmPred:$offset)>,
 499             Requires<[HasV4T]>;
 500
 501 def : Pat <(i32 (zextloadi16 (add IntRegs:$src1,
 502                                   (shl IntRegs:$src2, u2ImmPred:$offset)))),
 503            (L4_loadruh_rr IntRegs:$src1,
 504             IntRegs:$src2, u2ImmPred:$offset)>,
 505             Requires<[HasV4T]>;
 506
 507 def : Pat <(i32 (extloadi16 (add IntRegs:$src1,
 508                                  (shl IntRegs:$src2, u2ImmPred:$offset)))),
 509            (L4_loadruh_rr IntRegs:$src1,
 510             IntRegs:$src2, u2ImmPred:$offset)>,
 511             Requires<[HasV4T]>;
 512
 513 def : Pat <(i32 (load (add IntRegs:$src1,
 514                            (shl IntRegs:$src2, u2ImmPred:$offset)))),
 515            (L4_loadri_rr IntRegs:$src1,
 516             IntRegs:$src2, u2ImmPred:$offset)>,
 517             Requires<[HasV4T]>;
 518
 519 def : Pat <(i64 (load (add IntRegs:$src1,
 520                            (shl IntRegs:$src2, u2ImmPred:$offset)))),
 521            (L4_loadrd_rr IntRegs:$src1,
 522             IntRegs:$src2, u2ImmPred:$offset)>,
 523             Requires<[HasV4T]>;
 524 }
 525
 526 // 'def pats' for load instruction base + register offset and
 527 // zero immediate value.
 528 class Loadxs_simple_pat<PatFrag Load, ValueType VT, InstHexagon MI>
 529   : Pat<(VT (Load (add (i32 IntRegs:$Rs), (i32 IntRegs:$Rt)))),
 530         (VT (MI IntRegs:$Rs, IntRegs:$Rt, 0))>;
 531
 532 let AddedComplexity = 20 in {
 533   def: Loadxs_simple_pat<extloadi8,   i32, L4_loadrub_rr>;
 534   def: Loadxs_simple_pat<zextloadi8,  i32, L4_loadrub_rr>;
 535   def: Loadxs_simple_pat<sextloadi8,  i32, L4_loadrb_rr>;
 536   def: Loadxs_simple_pat<extloadi16,  i32, L4_loadruh_rr>;
 537   def: Loadxs_simple_pat<zextloadi16, i32, L4_loadruh_rr>;
 538   def: Loadxs_simple_pat<sextloadi16, i32, L4_loadrh_rr>;
 539   def: Loadxs_simple_pat<load,        i32, L4_loadri_rr>;
 540   def: Loadxs_simple_pat<load,        i64, L4_loadrd_rr>;
 541 }
 542
 543 // zext i1->i64
 544 def : Pat <(i64 (zext (i1 PredRegs:$src1))),
 545       (i64 (A4_combineir 0, (C2_muxii (i1 PredRegs:$src1), 1, 0)))>,
 546       Requires<[HasV4T]>;
 547
 548 // zext i32->i64
 549 def : Pat <(i64 (zext (i32 IntRegs:$src1))),
 550       (i64 (A4_combineir 0, (i32 IntRegs:$src1)))>,
 551       Requires<[HasV4T]>;
 552 // zext i8->i64
 553 def:  Pat <(i64 (zextloadi8 ADDRriS11_0:$src1)),
 554       (i64 (A4_combineir 0, (L2_loadrub_io AddrFI:$src1, 0)))>,
 555       Requires<[HasV4T]>;
 556
 557 let AddedComplexity = 20 in
 558 def:  Pat <(i64 (zextloadi8 (add (i32 IntRegs:$src1),
 559                                 s11_0ExtPred:$offset))),
 560       (i64 (A4_combineir 0, (L2_loadrub_io IntRegs:$src1,
 561                                   s11_0ExtPred:$offset)))>,
 562       Requires<[HasV4T]>;
 563
 564 // zext i1->i64
 565 def:  Pat <(i64 (zextloadi1 ADDRriS11_0:$src1)),
 566       (i64 (A4_combineir 0, (L2_loadrub_io AddrFI:$src1, 0)))>,
 567       Requires<[HasV4T]>;
 568
 569 let AddedComplexity = 20 in
 570 def:  Pat <(i64 (zextloadi1 (add (i32 IntRegs:$src1),
 571                                 s11_0ExtPred:$offset))),
 572       (i64 (A4_combineir 0, (L2_loadrub_io IntRegs:$src1,
 573                                   s11_0ExtPred:$offset)))>,
 574       Requires<[HasV4T]>;
 575
 576 // zext i16->i64
 577 def:  Pat <(i64 (zextloadi16 ADDRriS11_1:$src1)),
 578       (i64 (A4_combineir 0, (L2_loadruh_io AddrFI:$src1, 0)))>,
 579       Requires<[HasV4T]>;
 580
 581 let AddedComplexity = 20 in
 582 def:  Pat <(i64 (zextloadi16 (add (i32 IntRegs:$src1),
 583                                   s11_1ExtPred:$offset))),
 584       (i64 (A4_combineir 0, (L2_loadruh_io IntRegs:$src1,
 585                                   s11_1ExtPred:$offset)))>,
 586       Requires<[HasV4T]>;
 587
 588 // anyext i16->i64
 589 def:  Pat <(i64 (extloadi16 ADDRriS11_2:$src1)),
 590       (i64 (A4_combineir 0, (L2_loadrh_io AddrFI:$src1, 0)))>,
 591       Requires<[HasV4T]>;
 592
 593 let AddedComplexity = 20 in
 594 def:  Pat <(i64 (extloadi16 (add (i32 IntRegs:$src1),
 595                                   s11_1ExtPred:$offset))),
 596       (i64 (A4_combineir 0, (L2_loadrh_io IntRegs:$src1,
 597                                   s11_1ExtPred:$offset)))>,
 598       Requires<[HasV4T]>;
 599
 600 // zext i32->i64
 601 def:  Pat <(i64 (zextloadi32 ADDRriS11_2:$src1)),
 602       (i64 (A4_combineir 0, (L2_loadri_io AddrFI:$src1, 0)))>,
 603       Requires<[HasV4T]>;
 604
 605 let AddedComplexity = 100 in
 606 def:  Pat <(i64 (zextloadi32 (i32 (add IntRegs:$src1, s11_2ExtPred:$offset)))),
 607       (i64 (A4_combineir 0, (L2_loadri_io IntRegs:$src1,
 608                                   s11_2ExtPred:$offset)))>,
 609       Requires<[HasV4T]>;
 610
 611 // anyext i32->i64
 612 def:  Pat <(i64 (extloadi32 ADDRriS11_2:$src1)),
 613       (i64 (A4_combineir 0, (L2_loadri_io AddrFI:$src1, 0)))>,
 614       Requires<[HasV4T]>;
 615
 616 let AddedComplexity = 100 in
 617 def:  Pat <(i64 (extloadi32 (i32 (add IntRegs:$src1, s11_2ExtPred:$offset)))),
 618       (i64 (A4_combineir 0, (L2_loadri_io IntRegs:$src1,
 619                                   s11_2ExtPred:$offset)))>,
 620       Requires<[HasV4T]>;
 621
 622
 623
 624 //===----------------------------------------------------------------------===//
 625 // LD -
 626 //===----------------------------------------------------------------------===//
 627
 628 //===----------------------------------------------------------------------===//
 629 // ST +
 630 //===----------------------------------------------------------------------===//
 631 ///
 632 //===----------------------------------------------------------------------===//
 633 // Template class for store instructions with Absolute set addressing mode.
 634 //===----------------------------------------------------------------------===//
 635 let isExtended = 1, opExtendable = 2, validSubTargets = HasV4SubT,
 636 addrMode = AbsoluteSet in
 637 class T_ST_abs_set<string mnemonic, RegisterClass RC>:
 638             STInst2<(outs IntRegs:$dst1),
 639             (ins RC:$src1, u0AlwaysExt:$src2),
 640             mnemonic#"($dst1=##$src2) = $src1",
 641             []>,
 642             Requires<[HasV4T]>;
 643
 644 def STrid_abs_set_V4 : T_ST_abs_set <"memd", DoubleRegs>;
 645 def STrib_abs_set_V4 : T_ST_abs_set <"memb", IntRegs>;
 646 def STrih_abs_set_V4 : T_ST_abs_set <"memh", IntRegs>;
 647 def STriw_abs_set_V4 : T_ST_abs_set <"memw", IntRegs>;
 648
 649 //===----------------------------------------------------------------------===//
 650 // Template classes for the non-predicated store instructions with
 651 // base + register offset addressing mode
 652 //===----------------------------------------------------------------------===//
 653 let isPredicable = 1 in
 654 class T_store_rr <string mnemonic, RegisterClass RC, bits<3> MajOp, bit isH>
 655   : STInst < (outs ), (ins IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, RC:$Rt),
 656   mnemonic#"($Rs + $Ru<<#$u2) = $Rt"#!if(isH, ".h",""),
 657   [],"",V4LDST_tc_st_SLOT01>, ImmRegShl, AddrModeRel {
 658
 659     bits<5> Rs;
 660     bits<5> Ru;
 661     bits<2> u2;
 662     bits<5> Rt;
 663
 664     let IClass = 0b0011;
 665
 666     let Inst{27-24} = 0b1011;
 667     let Inst{23-21} = MajOp;
 668     let Inst{20-16} = Rs;
 669     let Inst{12-8}  = Ru;
 670     let Inst{13}    = u2{1};
 671     let Inst{7}     = u2{0};
 672     let Inst{4-0}   = Rt;
 673   }
 674
 675 //===----------------------------------------------------------------------===//
 676 // Template classes for the predicated store instructions with
 677 // base + register offset addressing mode
 678 //===----------------------------------------------------------------------===//
 679 let isPredicated = 1 in
 680 class T_pstore_rr <string mnemonic, RegisterClass RC, bits<3> MajOp,
 681                    bit isNot, bit isPredNew, bit isH>
 682   : STInst <(outs),
 683             (ins PredRegs:$Pv, IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, RC:$Rt),
 684
 685   !if(isNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 686   ") ")#mnemonic#"($Rs+$Ru<<#$u2) = $Rt"#!if(isH, ".h",""),
 687   [], "", V4LDST_tc_st_SLOT01> , AddrModeRel{
 688     bits<2> Pv;
 689     bits<5> Rs;
 690     bits<5> Ru;
 691     bits<2> u2;
 692     bits<5> Rt;
 693
 694     let isPredicatedFalse = isNot;
 695     let isPredicatedNew = isPredNew;
 696
 697     let IClass = 0b0011;
 698
 699     let Inst{27-26} = 0b01;
 700     let Inst{25}    = isPredNew;
 701     let Inst{24}    = isNot;
 702     let Inst{23-21} = MajOp;
 703     let Inst{20-16} = Rs;
 704     let Inst{12-8}  = Ru;
 705     let Inst{13}    = u2{1};
 706     let Inst{7}     = u2{0};
 707     let Inst{6-5}   = Pv;
 708     let Inst{4-0}   = Rt;
 709   }
 710
 711 //===----------------------------------------------------------------------===//
 712 // Template classes for the new-value store instructions with
 713 // base + register offset addressing mode
 714 //===----------------------------------------------------------------------===//
 715 let isPredicable = 1, isNewValue = 1, opNewValue = 3 in
 716 class T_store_new_rr <string mnemonic, bits<2> MajOp> :
 717   NVInst < (outs ), (ins IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, IntRegs:$Nt),
 718   mnemonic#"($Rs + $Ru<<#$u2) = $Nt.new",
 719   [],"",V4LDST_tc_st_SLOT0>, ImmRegShl, AddrModeRel {
 720
 721     bits<5> Rs;
 722     bits<5> Ru;
 723     bits<2> u2;
 724     bits<3> Nt;
 725
 726     let IClass = 0b0011;
 727
 728     let Inst{27-21} = 0b1011101;
 729     let Inst{20-16} = Rs;
 730     let Inst{12-8}  = Ru;
 731     let Inst{13}    = u2{1};
 732     let Inst{7}     = u2{0};
 733     let Inst{4-3}   = MajOp;
 734     let Inst{2-0}   = Nt;
 735   }
 736
 737 //===----------------------------------------------------------------------===//
 738 // Template classes for the predicated new-value store instructions with
 739 // base + register offset addressing mode
 740 //===----------------------------------------------------------------------===//
 741 let isPredicated = 1, isNewValue = 1, opNewValue = 4 in
 742 class T_pstore_new_rr <string mnemonic, bits<2> MajOp, bit isNot, bit isPredNew>
 743   : NVInst<(outs),
 744            (ins PredRegs:$Pv, IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, IntRegs:$Nt),
 745    !if(isNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 746    ") ")#mnemonic#"($Rs+$Ru<<#$u2) = $Nt.new",
 747    [], "", V4LDST_tc_st_SLOT0>, AddrModeRel {
 748     bits<2> Pv;
 749     bits<5> Rs;
 750     bits<5> Ru;
 751     bits<2> u2;
 752     bits<3> Nt;
 753
 754     let isPredicatedFalse = isNot;
 755     let isPredicatedNew = isPredNew;
 756
 757     let IClass = 0b0011;
 758     let Inst{27-26} = 0b01;
 759     let Inst{25}    = isPredNew;
 760     let Inst{24}    = isNot;
 761     let Inst{23-21} = 0b101;
 762     let Inst{20-16} = Rs;
 763     let Inst{12-8}  = Ru;
 764     let Inst{13}    = u2{1};
 765     let Inst{7}     = u2{0};
 766     let Inst{6-5}   = Pv;
 767     let Inst{4-3}   = MajOp;
 768     let Inst{2-0}   = Nt;
 769   }
 770
 771 //===----------------------------------------------------------------------===//
 772 // multiclass for store instructions with base + register offset addressing
 773 // mode
 774 //===----------------------------------------------------------------------===//
 775 let isNVStorable = 1 in
 776 multiclass ST_Idxd_shl<string mnemonic, string CextOp, RegisterClass RC,
 777                        bits<3> MajOp, bit isH = 0> {
 778   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl in {
 779     def S4_#NAME#_rr : T_store_rr <mnemonic, RC, MajOp, isH>;
 780
 781     // Predicated
 782     def S4_p#NAME#t_rr : T_pstore_rr <mnemonic, RC, MajOp, 0, 0, isH>;
 783     def S4_p#NAME#f_rr : T_pstore_rr <mnemonic, RC, MajOp, 1, 0, isH>;
 784
 785     // Predicated new
 786     def S4_p#NAME#tnew_rr : T_pstore_rr <mnemonic, RC, MajOp, 0, 1, isH>;
 787     def S4_p#NAME#fnew_rr : T_pstore_rr <mnemonic, RC, MajOp, 1, 1, isH>;
 788   }
 789 }
 790
 791 //===----------------------------------------------------------------------===//
 792 // multiclass for new-value store instructions with base + register offset
 793 // addressing mode.
 794 //===----------------------------------------------------------------------===//
 795 let mayStore = 1, isNVStore = 1 in
 796 multiclass ST_Idxd_shl_nv <string mnemonic, string CextOp, RegisterClass RC,
 797                            bits<2> MajOp> {
 798   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl in {
 799     def S4_#NAME#new_rr : T_store_new_rr<mnemonic, MajOp>;
 800
 801     // Predicated
 802     def S4_p#NAME#newt_rr : T_pstore_new_rr <mnemonic, MajOp, 0, 0>;
 803     def S4_p#NAME#newf_rr : T_pstore_new_rr <mnemonic, MajOp, 1, 0>;
 804
 805     // Predicated new
 806     def S4_p#NAME#newtnew_rr : T_pstore_new_rr <mnemonic, MajOp, 0, 1>;
 807     def S4_p#NAME#newfnew_rr : T_pstore_new_rr <mnemonic, MajOp, 1, 1>;
 808   }
 809 }
 810
 811 let addrMode = BaseRegOffset, InputType = "reg", hasSideEffects = 0,
 812     isCodeGenOnly = 0 in {
 813   let accessSize = ByteAccess in
 814   defm storerb: ST_Idxd_shl<"memb", "STrib", IntRegs, 0b000>,
 815                 ST_Idxd_shl_nv<"memb", "STrib", IntRegs, 0b00>;
 816
 817   let accessSize = HalfWordAccess in
 818   defm storerh: ST_Idxd_shl<"memh", "STrih", IntRegs, 0b010>,
 819                 ST_Idxd_shl_nv<"memh", "STrih", IntRegs, 0b01>;
 820
 821   let accessSize = WordAccess in
 822   defm storeri: ST_Idxd_shl<"memw", "STriw", IntRegs, 0b100>,
 823                 ST_Idxd_shl_nv<"memw", "STriw", IntRegs, 0b10>;
 824
 825   let isNVStorable = 0, accessSize = DoubleWordAccess in
 826   defm storerd: ST_Idxd_shl<"memd", "STrid", DoubleRegs, 0b110>;
 827
 828   let isNVStorable = 0, accessSize = HalfWordAccess in
 829   defm storerf: ST_Idxd_shl<"memh", "STrif", IntRegs, 0b011, 1>;
 830 }
 831
 832 let Predicates = [HasV4T], AddedComplexity = 10 in {
 833 def : Pat<(truncstorei8 (i32 IntRegs:$src4),
 834                        (add IntRegs:$src1, (shl IntRegs:$src2,
 835                                                 u2ImmPred:$src3))),
 836           (S4_storerb_rr IntRegs:$src1, IntRegs:$src2,
 837                                 u2ImmPred:$src3, IntRegs:$src4)>;
 838
 839 def : Pat<(truncstorei16 (i32 IntRegs:$src4),
 840                         (add IntRegs:$src1, (shl IntRegs:$src2,
 841                                                  u2ImmPred:$src3))),
 842           (S4_storerh_rr IntRegs:$src1, IntRegs:$src2,
 843                                 u2ImmPred:$src3, IntRegs:$src4)>;
 844
 845 def : Pat<(store (i32 IntRegs:$src4),
 846                  (add IntRegs:$src1, (shl IntRegs:$src2, u2ImmPred:$src3))),
 847           (S4_storeri_rr IntRegs:$src1, IntRegs:$src2,
 848                                 u2ImmPred:$src3, IntRegs:$src4)>;
 849
 850 def : Pat<(store (i64 DoubleRegs:$src4),
 851                 (add IntRegs:$src1, (shl IntRegs:$src2, u2ImmPred:$src3))),
 852           (S4_storerd_rr IntRegs:$src1, IntRegs:$src2,
 853                                 u2ImmPred:$src3, DoubleRegs:$src4)>;
 854 }
 855
 856 let isExtended = 1, opExtendable = 2 in
 857 class T_ST_LongOff <string mnemonic, PatFrag stOp, RegisterClass RC, ValueType VT> :
 858             STInst<(outs),
 859             (ins IntRegs:$src1, u2Imm:$src2, u0AlwaysExt:$src3, RC:$src4),
 860             mnemonic#"($src1<<#$src2+##$src3) = $src4",
 861             [(stOp (VT RC:$src4),
 862                     (add (shl (i32 IntRegs:$src1), u2ImmPred:$src2),
 863                          u0AlwaysExtPred:$src3))]>,
 864             Requires<[HasV4T]>;
 865
 866 let isExtended = 1, opExtendable = 2, mayStore = 1, isNVStore = 1 in
 867 class T_ST_LongOff_nv <string mnemonic> :
 868             NVInst_V4<(outs),
 869             (ins IntRegs:$src1, u2Imm:$src2, u0AlwaysExt:$src3, IntRegs:$src4),
 870             mnemonic#"($src1<<#$src2+##$src3) = $src4.new",
 871             []>,
 872             Requires<[HasV4T]>;
 873
 874 multiclass ST_LongOff <string mnemonic, string BaseOp, PatFrag stOp> {
 875   let  BaseOpcode = BaseOp#"_shl" in {
 876     let isNVStorable = 1 in
 877     def NAME#_V4 : T_ST_LongOff<mnemonic, stOp, IntRegs, i32>;
 878
 879     def NAME#_nv_V4 : T_ST_LongOff_nv<mnemonic>;
 880   }
 881 }
 882
 883 let AddedComplexity = 10, validSubTargets = HasV4SubT in {
 884   def STrid_shl_V4 : T_ST_LongOff<"memd", store, DoubleRegs, i64>;
 885   defm STrib_shl   : ST_LongOff <"memb", "STrib", truncstorei8>, NewValueRel;
 886   defm STrih_shl   : ST_LongOff <"memh", "Strih", truncstorei16>, NewValueRel;
 887   defm STriw_shl   : ST_LongOff <"memw", "STriw", store>, NewValueRel;
 888 }
 889
 890 let AddedComplexity = 40 in
 891 multiclass T_ST_LOff_Pats <InstHexagon I, RegisterClass RC, ValueType VT,
 892                            PatFrag stOp> {
 893  def : Pat<(stOp (VT RC:$src4),
 894            (add (shl IntRegs:$src1, u2ImmPred:$src2),
 895                (NumUsesBelowThresCONST32 tglobaladdr:$src3))),
 896            (I IntRegs:$src1, u2ImmPred:$src2, tglobaladdr:$src3, RC:$src4)>;
 897
 898  def : Pat<(stOp (VT RC:$src4),
 899            (add IntRegs:$src1,
 900                (NumUsesBelowThresCONST32 tglobaladdr:$src3))),
 901            (I IntRegs:$src1, 0, tglobaladdr:$src3, RC:$src4)>;
 902 }
 903
 904 defm : T_ST_LOff_Pats<STrid_shl_V4, DoubleRegs, i64, store>;
 905 defm : T_ST_LOff_Pats<STriw_shl_V4, IntRegs, i32, store>;
 906 defm : T_ST_LOff_Pats<STrib_shl_V4, IntRegs, i32, truncstorei8>;
 907 defm : T_ST_LOff_Pats<STrih_shl_V4, IntRegs, i32, truncstorei16>;
 908
 909 // memd(Rx++#s4:3)=Rtt
 910 // memd(Rx++#s4:3:circ(Mu))=Rtt
 911 // memd(Rx++I:circ(Mu))=Rtt
 912 // memd(Rx++Mu)=Rtt
 913 // memd(Rx++Mu:brev)=Rtt
 914 // memd(gp+#u16:3)=Rtt
 915
 916 // Store doubleword conditionally.
 917 // if ([!]Pv[.new]) memd(#u6)=Rtt
 918 // TODO: needs to be implemented.
 919
 920 //===----------------------------------------------------------------------===//
 921 // Template class
 922 //===----------------------------------------------------------------------===//
 923 let isPredicable = 1, isExtendable = 1, isExtentSigned = 1, opExtentBits = 8,
 924     opExtendable = 2 in
 925 class T_StoreImm <string mnemonic, Operand OffsetOp, bits<2> MajOp >
 926   : STInst <(outs ), (ins IntRegs:$Rs, OffsetOp:$offset, s8Ext:$S8),
 927   mnemonic#"($Rs+#$offset)=#$S8",
 928   [], "", V4LDST_tc_st_SLOT01>,
 929   ImmRegRel, PredNewRel {
 930     bits<5> Rs;
 931     bits<8> S8;
 932     bits<8> offset;
 933     bits<6> offsetBits;
 934
 935     string OffsetOpStr = !cast<string>(OffsetOp);
 936     let offsetBits = !if (!eq(OffsetOpStr, "u6_2Imm"), offset{7-2},
 937                      !if (!eq(OffsetOpStr, "u6_1Imm"), offset{6-1},
 938                                          /* u6_0Imm */ offset{5-0}));
 939
 940     let IClass = 0b0011;
 941
 942     let Inst{27-25} = 0b110;
 943     let Inst{22-21} = MajOp;
 944     let Inst{20-16} = Rs;
 945     let Inst{12-7}  = offsetBits;
 946     let Inst{13}    = S8{7};
 947     let Inst{6-0}   = S8{6-0};
 948   }
 949
 950 let isPredicated = 1, isExtendable = 1, isExtentSigned = 1, opExtentBits = 6,
 951     opExtendable = 3 in
 952 class T_StoreImm_pred <string mnemonic, Operand OffsetOp, bits<2> MajOp,
 953                        bit isPredNot, bit isPredNew >
 954   : STInst <(outs ),
 955             (ins PredRegs:$Pv, IntRegs:$Rs, OffsetOp:$offset, s6Ext:$S6),
 956   !if(isPredNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 957   ") ")#mnemonic#"($Rs+#$offset)=#$S6",
 958   [], "", V4LDST_tc_st_SLOT01>,
 959   ImmRegRel, PredNewRel {
 960     bits<2> Pv;
 961     bits<5> Rs;
 962     bits<6> S6;
 963     bits<8> offset;
 964     bits<6> offsetBits;
 965
 966     string OffsetOpStr = !cast<string>(OffsetOp);
 967     let offsetBits = !if (!eq(OffsetOpStr, "u6_2Imm"), offset{7-2},
 968                      !if (!eq(OffsetOpStr, "u6_1Imm"), offset{6-1},
 969                                          /* u6_0Imm */ offset{5-0}));
 970     let isPredicatedNew = isPredNew;
 971     let isPredicatedFalse = isPredNot;
 972
 973     let IClass = 0b0011;
 974
 975     let Inst{27-25} = 0b100;
 976     let Inst{24}    = isPredNew;
 977     let Inst{23}    = isPredNot;
 978     let Inst{22-21} = MajOp;
 979     let Inst{20-16} = Rs;
 980     let Inst{13}    = S6{5};
 981     let Inst{12-7}  = offsetBits;
 982     let Inst{6-5}   = Pv;
 983     let Inst{4-0}   = S6{4-0};
 984   }
 985
 986
 987 //===----------------------------------------------------------------------===//
 988 // multiclass for store instructions with base + immediate offset
 989 // addressing mode and immediate stored value.
 990 // mem[bhw](Rx++#s4:3)=#s8
 991 // if ([!]Pv[.new]) mem[bhw](Rx++#s4:3)=#s6
 992 //===----------------------------------------------------------------------===//
 993
 994 multiclass ST_Imm_Pred <string mnemonic, Operand OffsetOp, bits<2> MajOp,
 995                         bit PredNot> {
 996   def _io    : T_StoreImm_pred <mnemonic, OffsetOp, MajOp, PredNot, 0>;
 997   // Predicate new
 998   def new_io : T_StoreImm_pred <mnemonic, OffsetOp, MajOp, PredNot, 1>;
 999 }
1000
1001 multiclass ST_Imm <string mnemonic, string CextOp, Operand OffsetOp,
1002                    bits<2> MajOp> {
1003   let CextOpcode = CextOp, BaseOpcode = CextOp#_imm in {
1004     def _io : T_StoreImm <mnemonic, OffsetOp, MajOp>;
1005
1006     defm t : ST_Imm_Pred <mnemonic, OffsetOp, MajOp, 0>;
1007     defm f : ST_Imm_Pred <mnemonic, OffsetOp, MajOp, 1>;
1008   }
1009 }
1010
1011 let hasSideEffects = 0, validSubTargets = HasV4SubT, addrMode = BaseImmOffset,
1012     InputType = "imm", isCodeGenOnly = 0 in {
1013   let accessSize = ByteAccess in
1014   defm S4_storeirb : ST_Imm<"memb", "STrib", u6_0Imm, 0b00>;
1015
1016   let accessSize = HalfWordAccess in
1017   defm S4_storeirh : ST_Imm<"memh", "STrih", u6_1Imm, 0b01>;
1018
1019   let accessSize = WordAccess in
1020   defm S4_storeiri : ST_Imm<"memw", "STriw", u6_2Imm, 0b10>;
1021 }
1022
1023 let Predicates = [HasV4T], AddedComplexity = 10 in {
1024 def: Pat<(truncstorei8 s8ExtPred:$src3, (add IntRegs:$src1, u6_0ImmPred:$src2)),
1025             (S4_storeirb_io IntRegs:$src1, u6_0ImmPred:$src2, s8ExtPred:$src3)>;
1026
1027 def: Pat<(truncstorei16 s8ExtPred:$src3, (add IntRegs:$src1,
1028                                               u6_1ImmPred:$src2)),
1029             (S4_storeirh_io IntRegs:$src1, u6_1ImmPred:$src2, s8ExtPred:$src3)>;
1030
1031 def: Pat<(store s8ExtPred:$src3, (add IntRegs:$src1, u6_2ImmPred:$src2)),
1032             (S4_storeiri_io IntRegs:$src1, u6_2ImmPred:$src2, s8ExtPred:$src3)>;
1033 }
1034
1035 let AddedComplexity = 6 in
1036 def : Pat <(truncstorei8 s8ExtPred:$src2, (i32 IntRegs:$src1)),
1037            (S4_storeirb_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1038            Requires<[HasV4T]>;
1039
1040 // memb(Rx++#s4:0:circ(Mu))=Rt
1041 // memb(Rx++I:circ(Mu))=Rt
1042 // memb(Rx++Mu)=Rt
1043 // memb(Rx++Mu:brev)=Rt
1044 // memb(gp+#u16:0)=Rt
1045
1046
1047 // Store halfword.
1048 // TODO: needs to be implemented
1049 // memh(Re=#U6)=Rt.H
1050 // memh(Rs+#s11:1)=Rt.H
1051 let AddedComplexity = 6 in
1052 def : Pat <(truncstorei16 s8ExtPred:$src2, (i32 IntRegs:$src1)),
1053            (S4_storeirh_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1054            Requires<[HasV4T]>;
1055
1056 // memh(Rs+Ru<<#u2)=Rt.H
1057 // TODO: needs to be implemented.
1058
1059 // memh(Ru<<#u2+#U6)=Rt.H
1060 // memh(Rx++#s4:1:circ(Mu))=Rt.H
1061 // memh(Rx++#s4:1:circ(Mu))=Rt
1062 // memh(Rx++I:circ(Mu))=Rt.H
1063 // memh(Rx++I:circ(Mu))=Rt
1064 // memh(Rx++Mu)=Rt.H
1065 // memh(Rx++Mu)=Rt
1066 // memh(Rx++Mu:brev)=Rt.H
1067 // memh(Rx++Mu:brev)=Rt
1068 // memh(gp+#u16:1)=Rt
1069 // if ([!]Pv[.new]) memh(#u6)=Rt.H
1070 // if ([!]Pv[.new]) memh(#u6)=Rt
1071
1072
1073 // if ([!]Pv[.new]) memh(Rs+#u6:1)=Rt.H
1074 // TODO: needs to be implemented.
1075
1076 // if ([!]Pv[.new]) memh(Rx++#s4:1)=Rt.H
1077 // TODO: Needs to be implemented.
1078
1079 // Store word.
1080 // memw(Re=#U6)=Rt
1081 // TODO: Needs to be implemented.
1082
1083 // Store predicate:
1084 let hasSideEffects = 0 in
1085 def STriw_pred_V4 : STInst2<(outs),
1086             (ins MEMri:$addr, PredRegs:$src1),
1087             "Error; should not emit",
1088             []>,
1089             Requires<[HasV4T]>;
1090
1091 let AddedComplexity = 6 in
1092 def : Pat <(store s8ExtPred:$src2, (i32 IntRegs:$src1)),
1093            (S4_storeiri_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1094            Requires<[HasV4T]>;
1095
1096 // memw(Rx++#s4:2)=Rt
1097 // memw(Rx++#s4:2:circ(Mu))=Rt
1098 // memw(Rx++I:circ(Mu))=Rt
1099 // memw(Rx++Mu)=Rt
1100 // memw(Rx++Mu:brev)=Rt
1101
1102 //===----------------------------------------------------------------------===
1103 // ST -
1104 //===----------------------------------------------------------------------===
1105
1106
1107 //===----------------------------------------------------------------------===//
1108 // NV/ST +
1109 //===----------------------------------------------------------------------===//
1110
1111 let opNewValue = 2, opExtendable = 1, isExtentSigned = 1, isPredicable = 1 in
1112 class T_store_io_nv <string mnemonic, RegisterClass RC,
1113                     Operand ImmOp, bits<2>MajOp>
1114   : NVInst_V4 <(outs),
1115                (ins IntRegs:$src1, ImmOp:$src2, RC:$src3),
1116   mnemonic#"($src1+#$src2) = $src3.new",
1117   [],"",ST_tc_st_SLOT0> {
1118     bits<5> src1;
1119     bits<13> src2; // Actual address offset
1120     bits<3> src3;
1121     bits<11> offsetBits; // Represents offset encoding
1122
1123     let opExtentBits = !if (!eq(mnemonic, "memb"), 11,
1124                        !if (!eq(mnemonic, "memh"), 12,
1125                        !if (!eq(mnemonic, "memw"), 13, 0)));
1126
1127     let opExtentAlign = !if (!eq(mnemonic, "memb"), 0,
1128                         !if (!eq(mnemonic, "memh"), 1,
1129                         !if (!eq(mnemonic, "memw"), 2, 0)));
1130
1131     let offsetBits = !if (!eq(mnemonic, "memb"),  src2{10-0},
1132                      !if (!eq(mnemonic, "memh"),  src2{11-1},
1133                      !if (!eq(mnemonic, "memw"),  src2{12-2}, 0)));
1134
1135     let IClass = 0b1010;
1136
1137     let Inst{27} = 0b0;
1138     let Inst{26-25} = offsetBits{10-9};
1139     let Inst{24-21} = 0b1101;
1140     let Inst{20-16} = src1;
1141     let Inst{13} = offsetBits{8};
1142     let Inst{12-11} = MajOp;
1143     let Inst{10-8} = src3;
1144     let Inst{7-0} = offsetBits{7-0};
1145   }
1146
1147 let opExtendable = 2, opNewValue = 3, isPredicated = 1 in
1148 class T_pstore_io_nv <string mnemonic, RegisterClass RC, Operand predImmOp,
1149                          bits<2>MajOp, bit PredNot, bit isPredNew>
1150   : NVInst_V4 <(outs),
1151                (ins PredRegs:$src1, IntRegs:$src2, predImmOp:$src3, RC:$src4),
1152   !if(PredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
1153   ") ")#mnemonic#"($src2+#$src3) = $src4.new",
1154   [],"",V2LDST_tc_st_SLOT0> {
1155     bits<2> src1;
1156     bits<5> src2;
1157     bits<9> src3;
1158     bits<3> src4;
1159     bits<6> offsetBits; // Represents offset encoding
1160
1161     let isPredicatedNew = isPredNew;
1162     let isPredicatedFalse = PredNot;
1163     let opExtentBits = !if (!eq(mnemonic, "memb"), 6,
1164                        !if (!eq(mnemonic, "memh"), 7,
1165                        !if (!eq(mnemonic, "memw"), 8, 0)));
1166
1167     let opExtentAlign = !if (!eq(mnemonic, "memb"), 0,
1168                         !if (!eq(mnemonic, "memh"), 1,
1169                         !if (!eq(mnemonic, "memw"), 2, 0)));
1170
1171     let offsetBits = !if (!eq(mnemonic, "memb"), src3{5-0},
1172                      !if (!eq(mnemonic, "memh"), src3{6-1},
1173                      !if (!eq(mnemonic, "memw"), src3{7-2}, 0)));
1174
1175     let IClass = 0b0100;
1176
1177     let Inst{27}    = 0b0;
1178     let Inst{26}    = PredNot;
1179     let Inst{25}    = isPredNew;
1180     let Inst{24-21} = 0b0101;
1181     let Inst{20-16} = src2;
1182     let Inst{13}    = offsetBits{5};
1183     let Inst{12-11} = MajOp;
1184     let Inst{10-8}  = src4;
1185     let Inst{7-3}   = offsetBits{4-0};
1186     let Inst{2}     = 0b0;
1187     let Inst{1-0}   = src1;
1188   }
1189
1190 // multiclass for new-value store instructions with base + immediate offset.
1191 //
1192 let mayStore = 1, isNVStore = 1, isNewValue = 1, hasSideEffects = 0,
1193     isExtendable = 1 in
1194 multiclass ST_Idxd_nv<string mnemonic, string CextOp, RegisterClass RC,
1195                    Operand ImmOp, Operand predImmOp, bits<2> MajOp> {
1196
1197   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed in {
1198     def S2_#NAME#new_io : T_store_io_nv <mnemonic, RC, ImmOp, MajOp>;
1199     // Predicated
1200     def S2_p#NAME#newt_io :T_pstore_io_nv <mnemonic, RC, predImmOp, MajOp, 0, 0>;
1201     def S2_p#NAME#newf_io :T_pstore_io_nv <mnemonic, RC, predImmOp, MajOp, 1, 0>;
1202     // Predicated new
1203     def S4_p#NAME#newtnew_io :T_pstore_io_nv <mnemonic, RC, predImmOp,
1204                                               MajOp, 0, 1>;
1205     def S4_p#NAME#newfnew_io :T_pstore_io_nv <mnemonic, RC, predImmOp,
1206                                               MajOp, 1, 1>;
1207   }
1208 }
1209
1210 let addrMode = BaseImmOffset, InputType = "imm", isCodeGenOnly = 0 in {
1211   let accessSize = ByteAccess in
1212   defm storerb: ST_Idxd_nv<"memb", "STrib", IntRegs, s11_0Ext,
1213                            u6_0Ext, 0b00>, AddrModeRel;
1214
1215   let accessSize = HalfWordAccess, opExtentAlign = 1 in
1216   defm storerh: ST_Idxd_nv<"memh", "STrih", IntRegs, s11_1Ext,
1217                            u6_1Ext, 0b01>, AddrModeRel;
1218
1219   let accessSize = WordAccess, opExtentAlign = 2 in
1220   defm storeri: ST_Idxd_nv<"memw", "STriw", IntRegs, s11_2Ext,
1221                            u6_2Ext, 0b10>, AddrModeRel;
1222 }
1223
1224 //===----------------------------------------------------------------------===//
1225 // Post increment loads with register offset.
1226 //===----------------------------------------------------------------------===//
1227
1228 let hasNewValue = 1, isCodeGenOnly = 0 in
1229 def L2_loadbsw2_pr : T_load_pr <"membh", IntRegs, 0b0001, HalfWordAccess>;
1230
1231 let isCodeGenOnly = 0 in
1232 def L2_loadbsw4_pr : T_load_pr <"membh", DoubleRegs, 0b0111, WordAccess>;
1233
1234 //===----------------------------------------------------------------------===//
1235 // Template class for non-predicated post increment .new stores
1236 // mem[bhwd](Rx++#s4:[0123])=Nt.new
1237 //===----------------------------------------------------------------------===//
1238 let isPredicable = 1, hasSideEffects = 0, validSubTargets = HasV4SubT,
1239     addrMode = PostInc, isNVStore = 1, isNewValue = 1, opNewValue = 3 in
1240 class T_StorePI_nv <string mnemonic, Operand ImmOp, bits<2> MajOp >
1241   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1242                  (ins IntRegs:$src1, ImmOp:$offset, IntRegs:$src2),
1243   mnemonic#"($src1++#$offset) = $src2.new",
1244   [], "$src1 = $_dst_">,
1245   AddrModeRel {
1246     bits<5> src1;
1247     bits<3> src2;
1248     bits<7> offset;
1249     bits<4> offsetBits;
1250
1251     string ImmOpStr = !cast<string>(ImmOp);
1252     let offsetBits = !if (!eq(ImmOpStr, "s4_2Imm"), offset{5-2},
1253                      !if (!eq(ImmOpStr, "s4_1Imm"), offset{4-1},
1254                                       /* s4_0Imm */ offset{3-0}));
1255     let IClass = 0b1010;
1256
1257     let Inst{27-21} = 0b1011101;
1258     let Inst{20-16} = src1;
1259     let Inst{13} = 0b0;
1260     let Inst{12-11} = MajOp;
1261     let Inst{10-8} = src2;
1262     let Inst{7} = 0b0;
1263     let Inst{6-3} = offsetBits;
1264     let Inst{1} = 0b0;
1265   }
1266
1267 //===----------------------------------------------------------------------===//
1268 // Template class for predicated post increment .new stores
1269 // if([!]Pv[.new]) mem[bhwd](Rx++#s4:[0123])=Nt.new
1270 //===----------------------------------------------------------------------===//
1271 let isPredicated = 1, hasSideEffects = 0, validSubTargets = HasV4SubT,
1272     addrMode = PostInc, isNVStore = 1, isNewValue = 1, opNewValue = 4 in
1273 class T_StorePI_nv_pred <string mnemonic, Operand ImmOp,
1274                          bits<2> MajOp, bit isPredNot, bit isPredNew >
1275   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1276                  (ins PredRegs:$src1, IntRegs:$src2,
1277                       ImmOp:$offset, IntRegs:$src3),
1278   !if(isPredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
1279   ") ")#mnemonic#"($src2++#$offset) = $src3.new",
1280   [], "$src2 = $_dst_">,
1281   AddrModeRel {
1282     bits<2> src1;
1283     bits<5> src2;
1284     bits<3> src3;
1285     bits<7> offset;
1286     bits<4> offsetBits;
1287
1288     string ImmOpStr = !cast<string>(ImmOp);
1289     let offsetBits = !if (!eq(ImmOpStr, "s4_2Imm"), offset{5-2},
1290                      !if (!eq(ImmOpStr, "s4_1Imm"), offset{4-1},
1291                                       /* s4_0Imm */ offset{3-0}));
1292     let isPredicatedNew = isPredNew;
1293     let isPredicatedFalse = isPredNot;
1294
1295     let IClass = 0b1010;
1296
1297     let Inst{27-21} = 0b1011101;
1298     let Inst{20-16} = src2;
1299     let Inst{13} = 0b1;
1300     let Inst{12-11} = MajOp;
1301     let Inst{10-8} = src3;
1302     let Inst{7} = isPredNew;
1303     let Inst{6-3} = offsetBits;
1304     let Inst{2} = isPredNot;
1305     let Inst{1-0} = src1;
1306   }
1307
1308 multiclass ST_PostInc_Pred_nv<string mnemonic, Operand ImmOp,
1309                               bits<2> MajOp, bit PredNot> {
1310   def _pi : T_StorePI_nv_pred <mnemonic, ImmOp, MajOp, PredNot, 0>;
1311
1312   // Predicate new
1313   def new_pi : T_StorePI_nv_pred <mnemonic, ImmOp, MajOp, PredNot, 1>;
1314 }
1315
1316 multiclass ST_PostInc_nv<string mnemonic, string BaseOp, Operand ImmOp,
1317                          bits<2> MajOp> {
1318   let BaseOpcode = "POST_"#BaseOp in {
1319     def S2_#NAME#_pi : T_StorePI_nv <mnemonic, ImmOp, MajOp>;
1320
1321     // Predicated
1322     defm S2_p#NAME#t : ST_PostInc_Pred_nv <mnemonic, ImmOp, MajOp, 0>;
1323     defm S2_p#NAME#f : ST_PostInc_Pred_nv <mnemonic, ImmOp, MajOp, 1>;
1324   }
1325 }
1326
1327 let accessSize = ByteAccess, isCodeGenOnly = 0 in
1328 defm storerbnew: ST_PostInc_nv <"memb", "STrib", s4_0Imm, 0b00>;
1329
1330 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in
1331 defm storerhnew: ST_PostInc_nv <"memh", "STrih", s4_1Imm, 0b01>;
1332
1333 let accessSize = WordAccess, isCodeGenOnly = 0 in
1334 defm storerinew: ST_PostInc_nv <"memw", "STriw", s4_2Imm, 0b10>;
1335
1336 //===----------------------------------------------------------------------===//
1337 // Template class for post increment .new stores with register offset
1338 //===----------------------------------------------------------------------===//
1339 let isNewValue = 1, mayStore = 1, isNVStore = 1, opNewValue = 3 in
1340 class T_StorePI_RegNV <string mnemonic, bits<2> MajOp, MemAccessSize AccessSz>
1341   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1342                  (ins IntRegs:$src1, ModRegs:$src2, IntRegs:$src3),
1343   #mnemonic#"($src1++$src2) = $src3.new",
1344   [], "$src1 = $_dst_"> {
1345     bits<5> src1;
1346     bits<1> src2;
1347     bits<3> src3;
1348     let accessSize = AccessSz;
1349
1350     let IClass = 0b1010;
1351
1352     let Inst{27-21} = 0b1101101;
1353     let Inst{20-16} = src1;
1354     let Inst{13}    = src2;
1355     let Inst{12-11} = MajOp;
1356     let Inst{10-8}  = src3;
1357     let Inst{7}     = 0b0;
1358   }
1359
1360 let isCodeGenOnly = 0 in {
1361 def S2_storerbnew_pr : T_StorePI_RegNV<"memb", 0b00, ByteAccess>;
1362 def S2_storerhnew_pr : T_StorePI_RegNV<"memh", 0b01, HalfWordAccess>;
1363 def S2_storerinew_pr : T_StorePI_RegNV<"memw", 0b10, WordAccess>;
1364 }
1365
1366 // memb(Rx++#s4:0:circ(Mu))=Nt.new
1367 // memb(Rx++I:circ(Mu))=Nt.new
1368 // memb(Rx++Mu)=Nt.new
1369 // memb(Rx++Mu:brev)=Nt.new
1370 // memh(Rx++#s4:1:circ(Mu))=Nt.new
1371 // memh(Rx++I:circ(Mu))=Nt.new
1372 // memh(Rx++Mu)=Nt.new
1373 // memh(Rx++Mu:brev)=Nt.new
1374
1375 // memw(Rx++#s4:2:circ(Mu))=Nt.new
1376 // memw(Rx++I:circ(Mu))=Nt.new
1377 // memw(Rx++Mu)=Nt.new
1378 // memw(Rx++Mu:brev)=Nt.new
1379
1380 //===----------------------------------------------------------------------===//
1381 // NV/ST -
1382 //===----------------------------------------------------------------------===//
1383
1384 //===----------------------------------------------------------------------===//
1385 // NV/J +
1386 //===----------------------------------------------------------------------===//
1387
1388 //===----------------------------------------------------------------------===//
1389 // multiclass/template class for the new-value compare jumps with the register
1390 // operands.
1391 //===----------------------------------------------------------------------===//
1392
1393 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 11,
1394     opExtentAlign = 2 in
1395 class NVJrr_template<string mnemonic, bits<3> majOp, bit NvOpNum,
1396                       bit isNegCond, bit isTak>
1397   : NVInst_V4<(outs),
1398     (ins IntRegs:$src1, IntRegs:$src2, brtarget:$offset),
1399     "if ("#!if(isNegCond, "!","")#mnemonic#
1400     "($src1"#!if(!eq(NvOpNum, 0),".new, ",", ")#
1401     "$src2"#!if(!eq(NvOpNum, 1),".new))","))")#" jump:"
1402     #!if(isTak, "t","nt")#" $offset", []> {
1403
1404       bits<5> src1;
1405       bits<5> src2;
1406       bits<3> Ns;    // New-Value Operand
1407       bits<5> RegOp; // Non-New-Value Operand
1408       bits<11> offset;
1409
1410       let isTaken = isTak;
1411       let isPredicatedFalse = isNegCond;
1412       let opNewValue{0} = NvOpNum;
1413
1414       let Ns = !if(!eq(NvOpNum, 0), src1{2-0}, src2{2-0});
1415       let RegOp = !if(!eq(NvOpNum, 0), src2, src1);
1416
1417       let IClass = 0b0010;
1418       let Inst{26} = 0b0;
1419       let Inst{25-23} = majOp;
1420       let Inst{22} = isNegCond;
1421       let Inst{18-16} = Ns;
1422       let Inst{13} = isTak;
1423       let Inst{12-8} = RegOp;
1424       let Inst{21-20} = offset{10-9};
1425       let Inst{7-1} = offset{8-2};
1426 }
1427
1428
1429 multiclass NVJrr_cond<string mnemonic, bits<3> majOp, bit NvOpNum,
1430                        bit isNegCond> {
1431   // Branch not taken:
1432   def _nt_V4: NVJrr_template<mnemonic, majOp, NvOpNum, isNegCond, 0>;
1433   // Branch taken:
1434   def _t_V4: NVJrr_template<mnemonic, majOp, NvOpNum, isNegCond, 1>;
1435 }
1436
1437 // NvOpNum = 0 -> First Operand is a new-value Register
1438 // NvOpNum = 1 -> Second Operand is a new-value Register
1439
1440 multiclass NVJrr_base<string mnemonic, string BaseOp, bits<3> majOp,
1441                        bit NvOpNum> {
1442   let BaseOpcode = BaseOp#_NVJ in {
1443     defm _t_Jumpnv : NVJrr_cond<mnemonic, majOp, NvOpNum, 0>; // True cond
1444     defm _f_Jumpnv : NVJrr_cond<mnemonic, majOp, NvOpNum, 1>; // False cond
1445   }
1446 }
1447
1448 // if ([!]cmp.eq(Ns.new,Rt)) jump:[n]t #r9:2
1449 // if ([!]cmp.gt(Ns.new,Rt)) jump:[n]t #r9:2
1450 // if ([!]cmp.gtu(Ns.new,Rt)) jump:[n]t #r9:2
1451 // if ([!]cmp.gt(Rt,Ns.new)) jump:[n]t #r9:2
1452 // if ([!]cmp.gtu(Rt,Ns.new)) jump:[n]t #r9:2
1453
1454 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator = 1,
1455     Defs = [PC], hasSideEffects = 0, validSubTargets = HasV4SubT,
1456     isCodeGenOnly = 0 in {
1457   defm CMPEQrr  : NVJrr_base<"cmp.eq",  "CMPEQ",  0b000, 0>, PredRel;
1458   defm CMPGTrr  : NVJrr_base<"cmp.gt",  "CMPGT",  0b001, 0>, PredRel;
1459   defm CMPGTUrr : NVJrr_base<"cmp.gtu", "CMPGTU", 0b010, 0>, PredRel;
1460   defm CMPLTrr  : NVJrr_base<"cmp.gt",  "CMPLT",  0b011, 1>, PredRel;
1461   defm CMPLTUrr : NVJrr_base<"cmp.gtu", "CMPLTU", 0b100, 1>, PredRel;
1462 }
1463
1464 //===----------------------------------------------------------------------===//
1465 // multiclass/template class for the new-value compare jumps instruction
1466 // with a register and an unsigned immediate (U5) operand.
1467 //===----------------------------------------------------------------------===//
1468
1469 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 11,
1470     opExtentAlign = 2 in
1471 class NVJri_template<string mnemonic, bits<3> majOp, bit isNegCond,
1472                          bit isTak>
1473   : NVInst_V4<(outs),
1474     (ins IntRegs:$src1, u5Imm:$src2, brtarget:$offset),
1475     "if ("#!if(isNegCond, "!","")#mnemonic#"($src1.new, #$src2)) jump:"
1476     #!if(isTak, "t","nt")#" $offset", []> {
1477
1478       let isTaken = isTak;
1479       let isPredicatedFalse = isNegCond;
1480       let isTaken = isTak;
1481
1482       bits<3> src1;
1483       bits<5> src2;
1484       bits<11> offset;
1485
1486       let IClass = 0b0010;
1487       let Inst{26} = 0b1;
1488       let Inst{25-23} = majOp;
1489       let Inst{22} = isNegCond;
1490       let Inst{18-16} = src1;
1491       let Inst{13} = isTak;
1492       let Inst{12-8} = src2;
1493       let Inst{21-20} = offset{10-9};
1494       let Inst{7-1} = offset{8-2};
1495 }
1496
1497 multiclass NVJri_cond<string mnemonic, bits<3> majOp, bit isNegCond> {
1498   // Branch not taken:
1499   def _nt_V4: NVJri_template<mnemonic, majOp, isNegCond, 0>;
1500   // Branch taken:
1501   def _t_V4: NVJri_template<mnemonic, majOp, isNegCond, 1>;
1502 }
1503
1504 multiclass NVJri_base<string mnemonic, string BaseOp, bits<3> majOp> {
1505   let BaseOpcode = BaseOp#_NVJri in {
1506     defm _t_Jumpnv : NVJri_cond<mnemonic, majOp, 0>; // True Cond
1507     defm _f_Jumpnv : NVJri_cond<mnemonic, majOp, 1>; // False cond
1508   }
1509 }
1510
1511 // if ([!]cmp.eq(Ns.new,#U5)) jump:[n]t #r9:2
1512 // if ([!]cmp.gt(Ns.new,#U5)) jump:[n]t #r9:2
1513 // if ([!]cmp.gtu(Ns.new,#U5)) jump:[n]t #r9:2
1514
1515 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator = 1,
1516     Defs = [PC], hasSideEffects = 0, validSubTargets = HasV4SubT,
1517     isCodeGenOnly = 0 in {
1518   defm CMPEQri  : NVJri_base<"cmp.eq", "CMPEQ", 0b000>, PredRel;
1519   defm CMPGTri  : NVJri_base<"cmp.gt", "CMPGT", 0b001>, PredRel;
1520   defm CMPGTUri : NVJri_base<"cmp.gtu", "CMPGTU", 0b010>, PredRel;
1521 }
1522
1523 //===----------------------------------------------------------------------===//
1524 // multiclass/template class for the new-value compare jumps instruction
1525 // with a register and an hardcoded 0/-1 immediate value.
1526 //===----------------------------------------------------------------------===//
1527
1528 let isExtendable = 1, opExtendable = 1, isExtentSigned = 1, opExtentBits = 11,
1529     opExtentAlign = 2 in
1530 class NVJ_ConstImm_template<string mnemonic, bits<3> majOp, string ImmVal,
1531                             bit isNegCond, bit isTak>
1532   : NVInst_V4<(outs),
1533     (ins IntRegs:$src1, brtarget:$offset),
1534     "if ("#!if(isNegCond, "!","")#mnemonic
1535     #"($src1.new, #"#ImmVal#")) jump:"
1536     #!if(isTak, "t","nt")#" $offset", []> {
1537
1538       let isTaken = isTak;
1539       let isPredicatedFalse = isNegCond;
1540       let isTaken = isTak;
1541
1542       bits<3> src1;
1543       bits<11> offset;
1544       let IClass = 0b0010;
1545       let Inst{26} = 0b1;
1546       let Inst{25-23} = majOp;
1547       let Inst{22} = isNegCond;
1548       let Inst{18-16} = src1;
1549       let Inst{13} = isTak;
1550       let Inst{21-20} = offset{10-9};
1551       let Inst{7-1} = offset{8-2};
1552 }
1553
1554 multiclass NVJ_ConstImm_cond<string mnemonic, bits<3> majOp, string ImmVal,
1555                              bit isNegCond> {
1556   // Branch not taken:
1557   def _nt_V4: NVJ_ConstImm_template<mnemonic, majOp, ImmVal, isNegCond, 0>;
1558   // Branch taken:
1559   def _t_V4: NVJ_ConstImm_template<mnemonic, majOp, ImmVal, isNegCond, 1>;
1560 }
1561
1562 multiclass NVJ_ConstImm_base<string mnemonic, string BaseOp, bits<3> majOp,
1563                              string ImmVal> {
1564   let BaseOpcode = BaseOp#_NVJ_ConstImm in {
1565     defm _t_Jumpnv : NVJ_ConstImm_cond<mnemonic, majOp, ImmVal, 0>; // True
1566     defm _f_Jumpnv : NVJ_ConstImm_cond<mnemonic, majOp, ImmVal, 1>; // False
1567   }
1568 }
1569
1570 // if ([!]tstbit(Ns.new,#0)) jump:[n]t #r9:2
1571 // if ([!]cmp.eq(Ns.new,#-1)) jump:[n]t #r9:2
1572 // if ([!]cmp.gt(Ns.new,#-1)) jump:[n]t #r9:2
1573
1574 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator=1,
1575     Defs = [PC], hasSideEffects = 0, isCodeGenOnly = 0 in {
1576   defm TSTBIT0  : NVJ_ConstImm_base<"tstbit", "TSTBIT", 0b011, "0">, PredRel;
1577   defm CMPEQn1  : NVJ_ConstImm_base<"cmp.eq", "CMPEQ",  0b100, "-1">, PredRel;
1578   defm CMPGTn1  : NVJ_ConstImm_base<"cmp.gt", "CMPGT",  0b101, "-1">, PredRel;
1579 }
1580
1581 // J4_hintjumpr: Hint indirect conditional jump.
1582 let isBranch = 1, isIndirectBranch = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1583 def J4_hintjumpr: JRInst <
1584   (outs),
1585   (ins IntRegs:$Rs),
1586   "hintjr($Rs)"> {
1587     bits<5> Rs;
1588     let IClass = 0b0101;
1589     let Inst{27-21} = 0b0010101;
1590     let Inst{20-16} = Rs;
1591   }
1592
1593 //===----------------------------------------------------------------------===//
1594 // NV/J -
1595 //===----------------------------------------------------------------------===//
1596
1597 //===----------------------------------------------------------------------===//
1598 // CR +
1599 //===----------------------------------------------------------------------===//
1600
1601 // PC-relative add
1602 let hasNewValue = 1, isExtendable = 1, opExtendable = 1,
1603     isExtentSigned = 0, opExtentBits = 6, hasSideEffects = 0,
1604     Uses = [PC], validSubTargets = HasV4SubT, isCodeGenOnly = 0 in
1605 def C4_addipc : CRInst <(outs IntRegs:$Rd), (ins u6Ext:$u6),
1606   "$Rd = add(pc, #$u6)", [], "", CR_tc_2_SLOT3 > {
1607     bits<5> Rd;
1608     bits<6> u6;
1609
1610     let IClass = 0b0110;
1611     let Inst{27-16} = 0b101001001001;
1612     let Inst{12-7} = u6;
1613     let Inst{4-0} = Rd;
1614   }
1615
1616
1617
1618 let hasSideEffects = 0 in
1619 class T_LOGICAL_3OP<string MnOp1, string MnOp2, bits<2> OpBits, bit IsNeg>
1620     : CRInst<(outs PredRegs:$Pd),
1621              (ins PredRegs:$Ps, PredRegs:$Pt, PredRegs:$Pu),
1622              "$Pd = " # MnOp1 # "($Ps, " # MnOp2 # "($Pt, " #
1623                    !if (IsNeg,"!","") # "$Pu))",
1624              [], "", CR_tc_2early_SLOT23> {
1625   bits<2> Pd;
1626   bits<2> Ps;
1627   bits<2> Pt;
1628   bits<2> Pu;
1629
1630   let IClass = 0b0110;
1631   let Inst{27-24} = 0b1011;
1632   let Inst{23} = IsNeg;
1633   let Inst{22-21} = OpBits;
1634   let Inst{20} = 0b1;
1635   let Inst{17-16} = Ps;
1636   let Inst{13} = 0b0;
1637   let Inst{9-8} = Pt;
1638   let Inst{7-6} = Pu;
1639   let Inst{1-0} = Pd;
1640 }
1641
1642 let isCodeGenOnly = 0 in {
1643 def C4_and_and  : T_LOGICAL_3OP<"and", "and", 0b00, 0>;
1644 def C4_and_or   : T_LOGICAL_3OP<"and", "or",  0b01, 0>;
1645 def C4_or_and   : T_LOGICAL_3OP<"or",  "and", 0b10, 0>;
1646 def C4_or_or    : T_LOGICAL_3OP<"or",  "or",  0b11, 0>;
1647 def C4_and_andn : T_LOGICAL_3OP<"and", "and", 0b00, 1>;
1648 def C4_and_orn  : T_LOGICAL_3OP<"and", "or",  0b01, 1>;
1649 def C4_or_andn  : T_LOGICAL_3OP<"or",  "and", 0b10, 1>;
1650 def C4_or_orn   : T_LOGICAL_3OP<"or",  "or",  0b11, 1>;
1651 }
1652
1653 //===----------------------------------------------------------------------===//
1654 // CR -
1655 //===----------------------------------------------------------------------===//
1656
1657 //===----------------------------------------------------------------------===//
1658 // XTYPE/ALU +
1659 //===----------------------------------------------------------------------===//
1660
1661 // Logical with-not instructions.
1662 let validSubTargets = HasV4SubT, isCodeGenOnly = 0 in {
1663   def A4_andnp : T_ALU64_logical<"and", 0b001, 1, 0, 1>;
1664   def A4_ornp  : T_ALU64_logical<"or",  0b011, 1, 0, 1>;
1665 }
1666
1667 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1668 def S4_parity: ALU64Inst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, IntRegs:$Rt),
1669       "$Rd = parity($Rs, $Rt)", [], "", ALU64_tc_2_SLOT23> {
1670   bits<5> Rd;
1671   bits<5> Rs;
1672   bits<5> Rt;
1673
1674   let IClass = 0b1101;
1675   let Inst{27-21} = 0b0101111;
1676   let Inst{20-16} = Rs;
1677   let Inst{12-8} = Rt;
1678   let Inst{4-0} = Rd;
1679 }
1680 //  Add and accumulate.
1681 //  Rd=add(Rs,add(Ru,#s6))
1682 let isExtentSigned = 1, hasNewValue = 1, isExtendable = 1, opExtentBits = 6,
1683     opExtendable = 3, isCodeGenOnly = 0 in
1684 def S4_addaddi : ALU64Inst <(outs IntRegs:$Rd),
1685                             (ins IntRegs:$Rs, IntRegs:$Ru, s6Ext:$s6),
1686   "$Rd = add($Rs, add($Ru, #$s6))" ,
1687   [(set (i32 IntRegs:$Rd), (add (i32 IntRegs:$Rs),
1688                            (add (i32 IntRegs:$Ru), s6_16ExtPred:$s6)))],
1689   "", ALU64_tc_2_SLOT23> {
1690     bits<5> Rd;
1691     bits<5> Rs;
1692     bits<5> Ru;
1693     bits<6> s6;
1694
1695     let IClass = 0b1101;
1696
1697     let Inst{27-23} = 0b10110;
1698     let Inst{22-21} = s6{5-4};
1699     let Inst{20-16} = Rs;
1700     let Inst{13}    = s6{3};
1701     let Inst{12-8}  = Rd;
1702     let Inst{7-5}   = s6{2-0};
1703     let Inst{4-0}   = Ru;
1704   }
1705
1706 let isExtentSigned = 1, hasSideEffects = 0, hasNewValue = 1, isExtendable = 1,
1707     opExtentBits = 6, opExtendable = 2, isCodeGenOnly = 0 in
1708 def S4_subaddi: ALU64Inst <(outs IntRegs:$Rd),
1709                            (ins IntRegs:$Rs, s6Ext:$s6, IntRegs:$Ru),
1710   "$Rd = add($Rs, sub(#$s6, $Ru))",
1711   [], "", ALU64_tc_2_SLOT23> {
1712     bits<5> Rd;
1713     bits<5> Rs;
1714     bits<6> s6;
1715     bits<5> Ru;
1716
1717     let IClass = 0b1101;
1718
1719     let Inst{27-23} = 0b10111;
1720     let Inst{22-21} = s6{5-4};
1721     let Inst{20-16} = Rs;
1722     let Inst{13}    = s6{3};
1723     let Inst{12-8}  = Rd;
1724     let Inst{7-5}   = s6{2-0};
1725     let Inst{4-0}   = Ru;
1726   }
1727
1728 // Extract bitfield
1729 // Rdd=extract(Rss,#u6,#U6)
1730 // Rdd=extract(Rss,Rtt)
1731 // Rd=extract(Rs,Rtt)
1732 // Rd=extract(Rs,#u5,#U5)
1733
1734 let isCodeGenOnly = 0 in {
1735 def S4_extractp_rp : T_S3op_64 < "extract",  0b11, 0b100, 0>;
1736 def S4_extractp    : T_S2op_extract <"extract",  0b1010, DoubleRegs, u6Imm>;
1737 }
1738
1739 let hasNewValue = 1, isCodeGenOnly = 0 in {
1740   def S4_extract_rp : T_S3op_extract<"extract",  0b01>;
1741   def S4_extract    : T_S2op_extract <"extract",  0b1101, IntRegs, u5Imm>;
1742 }
1743
1744 // Complex add/sub halfwords/words
1745 let Defs = [USR_OVF], isCodeGenOnly = 0 in {
1746   def S4_vxaddsubh : T_S3op_64 < "vxaddsubh", 0b01, 0b100, 0, 1>;
1747   def S4_vxaddsubw : T_S3op_64 < "vxaddsubw", 0b01, 0b000, 0, 1>;
1748   def S4_vxsubaddh : T_S3op_64 < "vxsubaddh", 0b01, 0b110, 0, 1>;
1749   def S4_vxsubaddw : T_S3op_64 < "vxsubaddw", 0b01, 0b010, 0, 1>;
1750 }
1751
1752 let Defs = [USR_OVF], isCodeGenOnly = 0 in {
1753   def S4_vxaddsubhr : T_S3op_64 < "vxaddsubh", 0b11, 0b000, 0, 1, 1, 1>;
1754   def S4_vxsubaddhr : T_S3op_64 < "vxsubaddh", 0b11, 0b010, 0, 1, 1, 1>;
1755 }
1756
1757 let Itinerary = M_tc_3x_SLOT23, Defs = [USR_OVF], isCodeGenOnly = 0 in {
1758   def M4_mac_up_s1_sat: T_MType_acc_rr<"+= mpy", 0b011, 0b000, 0, [], 0, 1, 1>;
1759   def M4_nac_up_s1_sat: T_MType_acc_rr<"-= mpy", 0b011, 0b001, 0, [], 0, 1, 1>;
1760 }
1761
1762 // Logical xor with xor accumulation.
1763 // Rxx^=xor(Rss,Rtt)
1764 let hasSideEffects = 0, isCodeGenOnly = 0 in
1765 def M4_xor_xacc
1766   : SInst <(outs DoubleRegs:$Rxx),
1767            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, DoubleRegs:$Rtt),
1768   "$Rxx ^= xor($Rss, $Rtt)",
1769   [(set (i64 DoubleRegs:$Rxx),
1770    (xor (i64 DoubleRegs:$dst2), (xor (i64 DoubleRegs:$Rss),
1771                                      (i64 DoubleRegs:$Rtt))))],
1772   "$dst2 = $Rxx", S_3op_tc_1_SLOT23> {
1773     bits<5> Rxx;
1774     bits<5> Rss;
1775     bits<5> Rtt;
1776
1777     let IClass = 0b1100;
1778
1779     let Inst{27-23} = 0b10101;
1780     let Inst{20-16} = Rss;
1781     let Inst{12-8}  = Rtt;
1782     let Inst{4-0}   = Rxx;
1783   }
1784
1785 // Rotate and reduce bytes
1786 // Rdd=vrcrotate(Rss,Rt,#u2)
1787 let hasSideEffects = 0, isCodeGenOnly = 0 in
1788 def S4_vrcrotate
1789   : SInst <(outs DoubleRegs:$Rdd),
1790            (ins DoubleRegs:$Rss, IntRegs:$Rt, u2Imm:$u2),
1791   "$Rdd = vrcrotate($Rss, $Rt, #$u2)",
1792   [], "", S_3op_tc_3x_SLOT23> {
1793     bits<5> Rdd;
1794     bits<5> Rss;
1795     bits<5> Rt;
1796     bits<2> u2;
1797
1798     let IClass = 0b1100;
1799
1800     let Inst{27-22} = 0b001111;
1801     let Inst{20-16} = Rss;
1802     let Inst{13}    = u2{1};
1803     let Inst{12-8}  = Rt;
1804     let Inst{7-6}   = 0b11;
1805     let Inst{5}     = u2{0};
1806     let Inst{4-0}   = Rdd;
1807   }
1808
1809 // Rotate and reduce bytes with accumulation
1810 // Rxx+=vrcrotate(Rss,Rt,#u2)
1811 let hasSideEffects = 0, isCodeGenOnly = 0 in
1812 def S4_vrcrotate_acc
1813   : SInst <(outs DoubleRegs:$Rxx),
1814            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Rt, u2Imm:$u2),
1815   "$Rxx += vrcrotate($Rss, $Rt, #$u2)", [],
1816   "$dst2 = $Rxx", S_3op_tc_3x_SLOT23> {
1817     bits<5> Rxx;
1818     bits<5> Rss;
1819     bits<5> Rt;
1820     bits<2> u2;
1821
1822     let IClass = 0b1100;
1823
1824     let Inst{27-21} = 0b1011101;
1825     let Inst{20-16} = Rss;
1826     let Inst{13}    = u2{1};
1827     let Inst{12-8}  = Rt;
1828     let Inst{5}     = u2{0};
1829     let Inst{4-0}   = Rxx;
1830   }
1831
1832
1833 // Vector reduce conditional negate halfwords
1834 let hasSideEffects = 0, isCodeGenOnly = 0 in
1835 def S2_vrcnegh
1836   : SInst <(outs DoubleRegs:$Rxx),
1837            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Rt),
1838   "$Rxx += vrcnegh($Rss, $Rt)", [],
1839   "$dst2 = $Rxx", S_3op_tc_3x_SLOT23> {
1840     bits<5> Rxx;
1841     bits<5> Rss;
1842     bits<5> Rt;
1843
1844     let IClass = 0b1100;
1845
1846     let Inst{27-21} = 0b1011001;
1847     let Inst{20-16} = Rss;
1848     let Inst{13}    = 0b1;
1849     let Inst{12-8}  = Rt;
1850     let Inst{7-5}   = 0b111;
1851     let Inst{4-0}   = Rxx;
1852   }
1853
1854 // Split bitfield
1855 let isCodeGenOnly = 0 in
1856 def A4_bitspliti : T_S2op_2_di <"bitsplit", 0b110, 0b100>;
1857
1858 // Arithmetic/Convergent round
1859 let isCodeGenOnly = 0 in
1860 def A4_cround_ri : T_S2op_2_ii <"cround", 0b111, 0b000>;
1861
1862 let isCodeGenOnly = 0 in
1863 def A4_round_ri  : T_S2op_2_ii <"round", 0b111, 0b100>;
1864
1865 let Defs = [USR_OVF], isCodeGenOnly = 0 in
1866 def A4_round_ri_sat : T_S2op_2_ii <"round", 0b111, 0b110, 1>;
1867
1868 // Logical-logical words.
1869 // Compound or-and -- Rx=or(Ru,and(Rx,#s10))
1870 let isExtentSigned = 1, hasNewValue = 1, isExtendable = 1, opExtentBits = 10,
1871     opExtendable = 3, isCodeGenOnly = 0 in
1872 def S4_or_andix:
1873   ALU64Inst<(outs IntRegs:$Rx),
1874             (ins IntRegs:$Ru, IntRegs:$_src_, s10Ext:$s10),
1875   "$Rx = or($Ru, and($_src_, #$s10))" ,
1876   [(set (i32 IntRegs:$Rx),
1877         (or (i32 IntRegs:$Ru), (and (i32 IntRegs:$_src_), s10ExtPred:$s10)))] ,
1878   "$_src_ = $Rx", ALU64_tc_2_SLOT23> {
1879     bits<5> Rx;
1880     bits<5> Ru;
1881     bits<10> s10;
1882
1883     let IClass = 0b1101;
1884
1885     let Inst{27-22} = 0b101001;
1886     let Inst{20-16} = Rx;
1887     let Inst{21}    = s10{9};
1888     let Inst{13-5}  = s10{8-0};
1889     let Inst{4-0}   = Ru;
1890   }
1891
1892 // Miscellaneous ALU64 instructions.
1893 //
1894 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1895 def A4_modwrapu: ALU64Inst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, IntRegs:$Rt),
1896       "$Rd = modwrap($Rs, $Rt)", [], "", ALU64_tc_2_SLOT23> {
1897   bits<5> Rd;
1898   bits<5> Rs;
1899   bits<5> Rt;
1900
1901   let IClass = 0b1101;
1902   let Inst{27-21} = 0b0011111;
1903   let Inst{20-16} = Rs;
1904   let Inst{12-8} = Rt;
1905   let Inst{7-5} = 0b111;
1906   let Inst{4-0} = Rd;
1907 }
1908
1909 let hasSideEffects = 0, isCodeGenOnly = 0 in
1910 def A4_bitsplit: ALU64Inst<(outs DoubleRegs:$Rd),
1911       (ins IntRegs:$Rs, IntRegs:$Rt),
1912       "$Rd = bitsplit($Rs, $Rt)", [], "", ALU64_tc_1_SLOT23> {
1913   bits<5> Rd;
1914   bits<5> Rs;
1915   bits<5> Rt;
1916
1917   let IClass = 0b1101;
1918   let Inst{27-24} = 0b0100;
1919   let Inst{21} = 0b1;
1920   let Inst{20-16} = Rs;
1921   let Inst{12-8} = Rt;
1922   let Inst{4-0} = Rd;
1923 }
1924
1925 let isCodeGenOnly = 0 in {
1926 // Rx[&|]=xor(Rs,Rt)
1927 def M4_or_xor   : T_MType_acc_rr < "|= xor", 0b110, 0b001, 0>;
1928 def M4_and_xor  : T_MType_acc_rr < "&= xor", 0b010, 0b010, 0>;
1929
1930 // Rx[&|^]=or(Rs,Rt)
1931 def M4_xor_or   : T_MType_acc_rr < "^= or",  0b110, 0b011, 0>;
1932
1933 let CextOpcode = "ORr_ORr" in
1934 def M4_or_or    : T_MType_acc_rr < "|= or",  0b110, 0b000, 0>;
1935 def M4_and_or   : T_MType_acc_rr < "&= or",  0b010, 0b001, 0>;
1936
1937 // Rx[&|^]=and(Rs,Rt)
1938 def M4_xor_and  : T_MType_acc_rr < "^= and", 0b110, 0b010, 0>;
1939
1940 let CextOpcode = "ORr_ANDr" in
1941 def M4_or_and   : T_MType_acc_rr < "|= and", 0b010, 0b011, 0>;
1942 def M4_and_and  : T_MType_acc_rr < "&= and", 0b010, 0b000, 0>;
1943
1944 // Rx[&|^]=and(Rs,~Rt)
1945 def M4_xor_andn : T_MType_acc_rr < "^= and", 0b001, 0b010, 0, [], 1>;
1946 def M4_or_andn  : T_MType_acc_rr < "|= and", 0b001, 0b000, 0, [], 1>;
1947 def M4_and_andn : T_MType_acc_rr < "&= and", 0b001, 0b001, 0, [], 1>;
1948 }
1949
1950 // Compound or-or and or-and
1951 let isExtentSigned = 1, InputType = "imm", hasNewValue = 1, isExtendable = 1,
1952     opExtentBits = 10, opExtendable = 3 in
1953 class T_CompOR <string mnemonic, bits<2> MajOp, SDNode OpNode>
1954   : MInst_acc <(outs IntRegs:$Rx),
1955                (ins IntRegs:$src1, IntRegs:$Rs, s10Ext:$s10),
1956   "$Rx |= "#mnemonic#"($Rs, #$s10)",
1957   [(set (i32 IntRegs:$Rx), (or (i32 IntRegs:$src1),
1958                            (OpNode (i32 IntRegs:$Rs), s10ExtPred:$s10)))],
1959   "$src1 = $Rx", ALU64_tc_2_SLOT23>, ImmRegRel {
1960     bits<5> Rx;
1961     bits<5> Rs;
1962     bits<10> s10;
1963
1964     let IClass = 0b1101;
1965
1966     let Inst{27-24} = 0b1010;
1967     let Inst{23-22} = MajOp;
1968     let Inst{20-16} = Rs;
1969     let Inst{21}    = s10{9};
1970     let Inst{13-5}  = s10{8-0};
1971     let Inst{4-0}   = Rx;
1972   }
1973
1974 let CextOpcode = "ORr_ANDr", isCodeGenOnly = 0 in
1975 def S4_or_andi : T_CompOR <"and", 0b00, and>;
1976
1977 let CextOpcode = "ORr_ORr", isCodeGenOnly = 0 in
1978 def S4_or_ori : T_CompOR <"or", 0b10, or>;
1979
1980 //    Modulo wrap
1981 //        Rd=modwrap(Rs,Rt)
1982 //    Round
1983 //        Rd=cround(Rs,#u5)
1984 //        Rd=cround(Rs,Rt)
1985 //        Rd=round(Rs,#u5)[:sat]
1986 //        Rd=round(Rs,Rt)[:sat]
1987 //    Vector reduce add unsigned halfwords
1988 //        Rd=vraddh(Rss,Rtt)
1989 //    Vector add bytes
1990 //        Rdd=vaddb(Rss,Rtt)
1991 //    Vector conditional negate
1992 //        Rdd=vcnegh(Rss,Rt)
1993 //        Rxx+=vrcnegh(Rss,Rt)
1994 //    Vector maximum bytes
1995 //        Rdd=vmaxb(Rtt,Rss)
1996 //    Vector reduce maximum halfwords
1997 //        Rxx=vrmaxh(Rss,Ru)
1998 //        Rxx=vrmaxuh(Rss,Ru)
1999 //    Vector reduce maximum words
2000 //        Rxx=vrmaxuw(Rss,Ru)
2001 //        Rxx=vrmaxw(Rss,Ru)
2002 //    Vector minimum bytes
2003 //        Rdd=vminb(Rtt,Rss)
2004 //    Vector reduce minimum halfwords
2005 //        Rxx=vrminh(Rss,Ru)
2006 //        Rxx=vrminuh(Rss,Ru)
2007 //    Vector reduce minimum words
2008 //        Rxx=vrminuw(Rss,Ru)
2009 //        Rxx=vrminw(Rss,Ru)
2010 //    Vector subtract bytes
2011 //        Rdd=vsubb(Rss,Rtt)
2012
2013 //===----------------------------------------------------------------------===//
2014 // XTYPE/ALU -
2015 //===----------------------------------------------------------------------===//
2016
2017 //===----------------------------------------------------------------------===//
2018 // XTYPE/BIT +
2019 //===----------------------------------------------------------------------===//
2020
2021 // Bit reverse
2022 let isCodeGenOnly = 0 in
2023 def S2_brevp : T_S2op_3 <"brev", 0b11, 0b110>;
2024
2025 // Bit count
2026 let isCodeGenOnly = 0 in {
2027 def S2_ct0p : T_COUNT_LEADING_64<"ct0", 0b111, 0b010>;
2028 def S2_ct1p : T_COUNT_LEADING_64<"ct1", 0b111, 0b100>;
2029 def S4_clbpnorm : T_COUNT_LEADING_64<"normamt", 0b011, 0b000>;
2030 }
2031
2032 def: Pat<(i32 (trunc (cttz (i64 DoubleRegs:$Rss)))),
2033          (S2_ct0p (i64 DoubleRegs:$Rss))>;
2034 def: Pat<(i32 (trunc (cttz (not (i64 DoubleRegs:$Rss))))),
2035          (S2_ct1p (i64 DoubleRegs:$Rss))>;
2036
2037 let hasSideEffects = 0, hasNewValue = 1, isCodeGenOnly = 0 in
2038 def S4_clbaddi : SInst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, s6Imm:$s6),
2039     "$Rd = add(clb($Rs), #$s6)", [], "", S_2op_tc_2_SLOT23> {
2040   bits<5> Rs;
2041   bits<5> Rd;
2042   bits<6> s6;
2043   let IClass = 0b1000;
2044   let Inst{27-24} = 0b1100;
2045   let Inst{23-21} = 0b001;
2046   let Inst{20-16} = Rs;
2047   let Inst{13-8} = s6;
2048   let Inst{7-5} = 0b000;
2049   let Inst{4-0} = Rd;
2050 }
2051
2052 let hasSideEffects = 0, hasNewValue = 1, isCodeGenOnly = 0 in
2053 def S4_clbpaddi : SInst<(outs IntRegs:$Rd), (ins DoubleRegs:$Rs, s6Imm:$s6),
2054     "$Rd = add(clb($Rs), #$s6)", [], "", S_2op_tc_2_SLOT23> {
2055   bits<5> Rs;
2056   bits<5> Rd;
2057   bits<6> s6;
2058   let IClass = 0b1000;
2059   let Inst{27-24} = 0b1000;
2060   let Inst{23-21} = 0b011;
2061   let Inst{20-16} = Rs;
2062   let Inst{13-8} = s6;
2063   let Inst{7-5} = 0b010;
2064   let Inst{4-0} = Rd;
2065 }
2066
2067
2068 // Bit test/set/clear
2069 let isCodeGenOnly = 0 in {
2070 def S4_ntstbit_i : T_TEST_BIT_IMM<"!tstbit", 0b001>;
2071 def S4_ntstbit_r : T_TEST_BIT_REG<"!tstbit", 1>;
2072 }
2073
2074 let AddedComplexity = 20 in {   // Complexity greater than cmp reg-imm.
2075   def: Pat<(i1 (seteq (and (shl 1, u5ImmPred:$u5), (i32 IntRegs:$Rs)), 0)),
2076            (S4_ntstbit_i (i32 IntRegs:$Rs), u5ImmPred:$u5)>;
2077   def: Pat<(i1 (seteq (and (shl 1, (i32 IntRegs:$Rt)), (i32 IntRegs:$Rs)), 0)),
2078            (S4_ntstbit_r (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))>;
2079 }
2080
2081 // Add extra complexity to prefer these instructions over bitsset/bitsclr.
2082 // The reason is that tstbit/ntstbit can be folded into a compound instruction:
2083 //   if ([!]tstbit(...)) jump ...
2084 let AddedComplexity = 100 in
2085 def: Pat<(i1 (setne (and (i32 IntRegs:$Rs), (i32 Set5ImmPred:$u5)), (i32 0))),
2086          (S2_tstbit_i (i32 IntRegs:$Rs), (BITPOS32 Set5ImmPred:$u5))>;
2087
2088 let AddedComplexity = 100 in
2089 def: Pat<(i1 (seteq (and (i32 IntRegs:$Rs), (i32 Set5ImmPred:$u5)), (i32 0))),
2090          (S4_ntstbit_i (i32 IntRegs:$Rs), (BITPOS32 Set5ImmPred:$u5))>;
2091
2092 let isCodeGenOnly = 0 in {
2093 def C4_nbitsset  : T_TEST_BITS_REG<"!bitsset", 0b01, 1>;
2094 def C4_nbitsclr  : T_TEST_BITS_REG<"!bitsclr", 0b10, 1>;
2095 def C4_nbitsclri : T_TEST_BITS_IMM<"!bitsclr", 0b10, 1>;
2096 }
2097
2098 // Do not increase complexity of these patterns. In the DAG, "cmp i8" may be
2099 // represented as a compare against "value & 0xFF", which is an exact match
2100 // for cmpb (same for cmph). The patterns below do not contain any additional
2101 // complexity that would make them preferable, and if they were actually used
2102 // instead of cmpb/cmph, they would result in a compare against register that
2103 // is loaded with the byte/half mask (i.e. 0xFF or 0xFFFF).
2104 def: Pat<(i1 (setne (and I32:$Rs, u6ImmPred:$u6), 0)),
2105          (C4_nbitsclri I32:$Rs, u6ImmPred:$u6)>;
2106 def: Pat<(i1 (setne (and I32:$Rs, I32:$Rt), 0)),
2107          (C4_nbitsclr I32:$Rs, I32:$Rt)>;
2108 def: Pat<(i1 (setne (and I32:$Rs, I32:$Rt), I32:$Rt)),
2109          (C4_nbitsset I32:$Rs, I32:$Rt)>;
2110
2111 //===----------------------------------------------------------------------===//
2112 // XTYPE/BIT -
2113 //===----------------------------------------------------------------------===//
2114
2115 //===----------------------------------------------------------------------===//
2116 // XTYPE/MPY +
2117 //===----------------------------------------------------------------------===//
2118
2119 // Rd=add(#u6,mpyi(Rs,#U6)) -- Multiply by immed and add immed.
2120
2121 let hasNewValue = 1, isExtendable = 1, opExtentBits = 6, opExtendable = 1,
2122     isCodeGenOnly = 0 in
2123 def M4_mpyri_addi : MInst<(outs IntRegs:$Rd),
2124   (ins u6Ext:$u6, IntRegs:$Rs, u6Imm:$U6),
2125   "$Rd = add(#$u6, mpyi($Rs, #$U6))" ,
2126   [(set (i32 IntRegs:$Rd),
2127         (add (mul (i32 IntRegs:$Rs), u6ImmPred:$U6),
2128              u6ExtPred:$u6))] ,"",ALU64_tc_3x_SLOT23> {
2129     bits<5> Rd;
2130     bits<6> u6;
2131     bits<5> Rs;
2132     bits<6> U6;
2133
2134     let IClass = 0b1101;
2135
2136     let Inst{27-24} = 0b1000;
2137     let Inst{23}    = U6{5};
2138     let Inst{22-21} = u6{5-4};
2139     let Inst{20-16} = Rs;
2140     let Inst{13}    = u6{3};
2141     let Inst{12-8}  = Rd;
2142     let Inst{7-5}   = u6{2-0};
2143     let Inst{4-0}   = U6{4-0};
2144   }
2145
2146 // Rd=add(#u6,mpyi(Rs,Rt))
2147 let CextOpcode = "ADD_MPY", InputType = "imm", hasNewValue = 1,
2148     isExtendable = 1, opExtentBits = 6, opExtendable = 1, isCodeGenOnly = 0 in
2149 def M4_mpyrr_addi : MInst <(outs IntRegs:$Rd),
2150   (ins u6Ext:$u6, IntRegs:$Rs, IntRegs:$Rt),
2151   "$Rd = add(#$u6, mpyi($Rs, $Rt))" ,
2152   [(set (i32 IntRegs:$Rd),
2153         (add (mul (i32 IntRegs:$Rs), (i32 IntRegs:$Rt)), u6ExtPred:$u6))],
2154   "", ALU64_tc_3x_SLOT23>, ImmRegRel {
2155     bits<5> Rd;
2156     bits<6> u6;
2157     bits<5> Rs;
2158     bits<5> Rt;
2159
2160     let IClass = 0b1101;
2161
2162     let Inst{27-23} = 0b01110;
2163     let Inst{22-21} = u6{5-4};
2164     let Inst{20-16} = Rs;
2165     let Inst{13}    = u6{3};
2166     let Inst{12-8}  = Rt;
2167     let Inst{7-5}   = u6{2-0};
2168     let Inst{4-0}   = Rd;
2169   }
2170
2171 let hasNewValue = 1 in
2172 class T_AddMpy <bit MajOp, PatLeaf ImmPred, dag ins>
2173   : ALU64Inst <(outs IntRegs:$dst), ins,
2174   "$dst = add($src1, mpyi("#!if(MajOp,"$src3, #$src2))",
2175                                       "#$src2, $src3))"),
2176   [(set (i32 IntRegs:$dst),
2177         (add (i32 IntRegs:$src1), (mul (i32 IntRegs:$src3), ImmPred:$src2)))],
2178   "", ALU64_tc_3x_SLOT23> {
2179     bits<5> dst;
2180     bits<5> src1;
2181     bits<8> src2;
2182     bits<5> src3;
2183
2184     let IClass = 0b1101;
2185
2186     bits<6> ImmValue = !if(MajOp, src2{5-0}, src2{7-2});
2187
2188     let Inst{27-24} = 0b1111;
2189     let Inst{23}    = MajOp;
2190     let Inst{22-21} = ImmValue{5-4};
2191     let Inst{20-16} = src3;
2192     let Inst{13}    = ImmValue{3};
2193     let Inst{12-8}  = dst;
2194     let Inst{7-5}   = ImmValue{2-0};
2195     let Inst{4-0}   = src1;
2196   }
2197
2198 let isCodeGenOnly = 0 in
2199 def M4_mpyri_addr_u2 : T_AddMpy<0b0, u6_2ImmPred,
2200                        (ins IntRegs:$src1, u6_2Imm:$src2, IntRegs:$src3)>;
2201
2202 let isExtendable = 1, opExtentBits = 6, opExtendable = 3,
2203     CextOpcode = "ADD_MPY", InputType = "imm", isCodeGenOnly = 0 in
2204 def M4_mpyri_addr : T_AddMpy<0b1, u6ExtPred,
2205                     (ins IntRegs:$src1, IntRegs:$src3, u6Ext:$src2)>, ImmRegRel;
2206
2207 // Rx=add(Ru,mpyi(Rx,Rs))
2208 let validSubTargets = HasV4SubT, CextOpcode = "ADD_MPY", InputType = "reg",
2209     hasNewValue = 1, isCodeGenOnly = 0 in
2210 def M4_mpyrr_addr: MInst_acc <(outs IntRegs:$Rx),
2211                               (ins IntRegs:$Ru, IntRegs:$_src_, IntRegs:$Rs),
2212   "$Rx = add($Ru, mpyi($_src_, $Rs))",
2213   [(set (i32 IntRegs:$Rx), (add (i32 IntRegs:$Ru),
2214                            (mul (i32 IntRegs:$_src_), (i32 IntRegs:$Rs))))],
2215   "$_src_ = $Rx", M_tc_3x_SLOT23>, ImmRegRel {
2216     bits<5> Rx;
2217     bits<5> Ru;
2218     bits<5> Rs;
2219
2220     let IClass = 0b1110;
2221
2222     let Inst{27-21} = 0b0011000;
2223     let Inst{12-8} = Rx;
2224     let Inst{4-0} = Ru;
2225     let Inst{20-16} = Rs;
2226   }
2227
2228 // Rd=add(##,mpyi(Rs,#U6))
2229 def : Pat <(add (mul (i32 IntRegs:$src2), u6ImmPred:$src3),
2230                      (HexagonCONST32 tglobaladdr:$src1)),
2231            (i32 (M4_mpyri_addi tglobaladdr:$src1, IntRegs:$src2,
2232                                u6ImmPred:$src3))>;
2233
2234 // Rd=add(##,mpyi(Rs,Rt))
2235 def : Pat <(add (mul (i32 IntRegs:$src2), (i32 IntRegs:$src3)),
2236                      (HexagonCONST32 tglobaladdr:$src1)),
2237            (i32 (M4_mpyrr_addi tglobaladdr:$src1, IntRegs:$src2,
2238                                IntRegs:$src3))>;
2239
2240 // Vector reduce multiply word by signed half (32x16)
2241 //Rdd=vrmpyweh(Rss,Rtt)[:<<1]
2242 let isCodeGenOnly = 0 in {
2243 def M4_vrmpyeh_s0 : T_M2_vmpy<"vrmpyweh", 0b010, 0b100, 0, 0, 0>;
2244 def M4_vrmpyeh_s1 : T_M2_vmpy<"vrmpyweh", 0b110, 0b100, 1, 0, 0>;
2245 }
2246
2247 //Rdd=vrmpywoh(Rss,Rtt)[:<<1]
2248 let isCodeGenOnly = 0 in {
2249 def M4_vrmpyoh_s0 : T_M2_vmpy<"vrmpywoh", 0b001, 0b010, 0, 0, 0>;
2250 def M4_vrmpyoh_s1 : T_M2_vmpy<"vrmpywoh", 0b101, 0b010, 1, 0, 0>;
2251 }
2252 //Rdd+=vrmpyweh(Rss,Rtt)[:<<1]
2253 let isCodeGenOnly = 0 in {
2254 def M4_vrmpyeh_acc_s0: T_M2_vmpy_acc<"vrmpyweh", 0b001, 0b110, 0, 0>;
2255 def M4_vrmpyeh_acc_s1: T_M2_vmpy_acc<"vrmpyweh", 0b101, 0b110, 1, 0>;
2256 }
2257
2258 //Rdd=vrmpywoh(Rss,Rtt)[:<<1]
2259 let isCodeGenOnly = 0 in {
2260 def M4_vrmpyoh_acc_s0: T_M2_vmpy_acc<"vrmpywoh", 0b011, 0b110, 0, 0>;
2261 def M4_vrmpyoh_acc_s1: T_M2_vmpy_acc<"vrmpywoh", 0b111, 0b110, 1, 0>;
2262 }
2263
2264 // Vector multiply halfwords, signed by unsigned
2265 // Rdd=vmpyhsu(Rs,Rt)[:<<]:sat
2266 let isCodeGenOnly = 0 in {
2267 def M2_vmpy2su_s0 : T_XTYPE_mpy64 < "vmpyhsu", 0b000, 0b111, 1, 0, 0>;
2268 def M2_vmpy2su_s1 : T_XTYPE_mpy64 < "vmpyhsu", 0b100, 0b111, 1, 1, 0>;
2269 }
2270
2271 // Rxx+=vmpyhsu(Rs,Rt)[:<<1]:sat
2272 let isCodeGenOnly = 0 in {
2273 def M2_vmac2su_s0 : T_XTYPE_mpy64_acc < "vmpyhsu", "+", 0b011, 0b101, 1, 0, 0>;
2274 def M2_vmac2su_s1 : T_XTYPE_mpy64_acc < "vmpyhsu", "+", 0b111, 0b101, 1, 1, 0>;
2275 }
2276
2277 // Vector polynomial multiply halfwords
2278 // Rdd=vpmpyh(Rs,Rt)
2279 let isCodeGenOnly = 0 in
2280 def M4_vpmpyh : T_XTYPE_mpy64 < "vpmpyh", 0b110, 0b111, 0, 0, 0>;
2281
2282 // Rxx^=vpmpyh(Rs,Rt)
2283 let isCodeGenOnly = 0 in
2284 def M4_vpmpyh_acc : T_XTYPE_mpy64_acc < "vpmpyh", "^", 0b101, 0b111, 0, 0, 0>;
2285
2286 // Polynomial multiply words
2287 // Rdd=pmpyw(Rs,Rt)
2288 let isCodeGenOnly = 0 in
2289 def M4_pmpyw : T_XTYPE_mpy64 < "pmpyw", 0b010, 0b111, 0, 0, 0>;
2290
2291 // Rxx^=pmpyw(Rs,Rt)
2292 let isCodeGenOnly = 0 in
2293 def M4_pmpyw_acc  : T_XTYPE_mpy64_acc < "pmpyw", "^", 0b001, 0b111, 0, 0, 0>;
2294
2295 //===----------------------------------------------------------------------===//
2296 // XTYPE/MPY -
2297 //===----------------------------------------------------------------------===//
2298
2299
2300 //===----------------------------------------------------------------------===//
2301 // ALU64/Vector compare
2302 //===----------------------------------------------------------------------===//
2303 //===----------------------------------------------------------------------===//
2304 // Template class for vector compare
2305 //===----------------------------------------------------------------------===//
2306
2307 let hasSideEffects = 0 in
2308 class T_vcmpImm <string Str, bits<2> cmpOp, bits<2> minOp, Operand ImmOprnd>
2309   : ALU64_rr <(outs PredRegs:$Pd),
2310               (ins DoubleRegs:$Rss, ImmOprnd:$Imm),
2311   "$Pd = "#Str#"($Rss, #$Imm)",
2312   [], "", ALU64_tc_2early_SLOT23> {
2313     bits<2> Pd;
2314     bits<5> Rss;
2315     bits<32> Imm;
2316     bits<8> ImmBits;
2317     let ImmBits{6-0} = Imm{6-0};
2318     let ImmBits{7} = !if (!eq(cmpOp,0b10), 0b0, Imm{7}); // 0 for vcmp[bhw].gtu
2319
2320     let IClass = 0b1101;
2321
2322     let Inst{27-24} = 0b1100;
2323     let Inst{22-21} = cmpOp;
2324     let Inst{20-16} = Rss;
2325     let Inst{12-5} = ImmBits;
2326     let Inst{4-3} = minOp;
2327     let Inst{1-0} = Pd;
2328   }
2329
2330 // Vector compare bytes
2331 let isCodeGenOnly = 0 in
2332 def A4_vcmpbgt   : T_vcmp <"vcmpb.gt", 0b1010>;
2333 def: T_vcmp_pat<A4_vcmpbgt, setgt, v8i8>;
2334
2335 let AsmString = "$Pd = any8(vcmpb.eq($Rss, $Rtt))" in
2336 let isCodeGenOnly = 0 in
2337 def A4_vcmpbeq_any : T_vcmp <"any8(vcmpb.gt", 0b1000>;
2338
2339 let isCodeGenOnly = 0 in {
2340 def A4_vcmpbeqi  : T_vcmpImm <"vcmpb.eq",  0b00, 0b00, u8Imm>;
2341 def A4_vcmpbgti  : T_vcmpImm <"vcmpb.gt",  0b01, 0b00, s8Imm>;
2342 def A4_vcmpbgtui : T_vcmpImm <"vcmpb.gtu", 0b10, 0b00, u7Imm>;
2343 }
2344
2345 // Vector compare halfwords
2346 let isCodeGenOnly = 0 in {
2347 def A4_vcmpheqi  : T_vcmpImm <"vcmph.eq",  0b00, 0b01, s8Imm>;
2348 def A4_vcmphgti  : T_vcmpImm <"vcmph.gt",  0b01, 0b01, s8Imm>;
2349 def A4_vcmphgtui : T_vcmpImm <"vcmph.gtu", 0b10, 0b01, u7Imm>;
2350 }
2351
2352 // Vector compare words
2353 let isCodeGenOnly = 0 in {
2354 def A4_vcmpweqi  : T_vcmpImm <"vcmpw.eq",  0b00, 0b10, s8Imm>;
2355 def A4_vcmpwgti  : T_vcmpImm <"vcmpw.gt",  0b01, 0b10, s8Imm>;
2356 def A4_vcmpwgtui : T_vcmpImm <"vcmpw.gtu", 0b10, 0b10, u7Imm>;
2357 }
2358
2359 //===----------------------------------------------------------------------===//
2360 // XTYPE/SHIFT +
2361 //===----------------------------------------------------------------------===//
2362 // Shift by immediate and accumulate/logical.
2363 // Rx=add(#u8,asl(Rx,#U5))  Rx=add(#u8,lsr(Rx,#U5))
2364 // Rx=sub(#u8,asl(Rx,#U5))  Rx=sub(#u8,lsr(Rx,#U5))
2365 // Rx=and(#u8,asl(Rx,#U5))  Rx=and(#u8,lsr(Rx,#U5))
2366 // Rx=or(#u8,asl(Rx,#U5))   Rx=or(#u8,lsr(Rx,#U5))
2367 let isExtendable = 1, opExtendable = 1, isExtentSigned = 0, opExtentBits = 8,
2368     hasNewValue = 1, opNewValue = 0, validSubTargets = HasV4SubT in
2369 class T_S4_ShiftOperate<string MnOp, string MnSh, SDNode Op, SDNode Sh,
2370                         bit asl_lsr, bits<2> MajOp, InstrItinClass Itin>
2371   : MInst_acc<(outs IntRegs:$Rd), (ins u8Ext:$u8, IntRegs:$Rx, u5Imm:$U5),
2372       "$Rd = "#MnOp#"(#$u8, "#MnSh#"($Rx, #$U5))",
2373       [(set (i32 IntRegs:$Rd),
2374             (Op (Sh I32:$Rx, u5ImmPred:$U5), u8ExtPred:$u8))],
2375       "$Rd = $Rx", Itin> {
2376
2377   bits<5> Rd;
2378   bits<8> u8;
2379   bits<5> Rx;
2380   bits<5> U5;
2381
2382   let IClass = 0b1101;
2383   let Inst{27-24} = 0b1110;
2384   let Inst{23-21} = u8{7-5};
2385   let Inst{20-16} = Rd;
2386   let Inst{13} = u8{4};
2387   let Inst{12-8} = U5;
2388   let Inst{7-5} = u8{3-1};
2389   let Inst{4} = asl_lsr;
2390   let Inst{3} = u8{0};
2391   let Inst{2-1} = MajOp;
2392 }
2393
2394 multiclass T_ShiftOperate<string mnemonic, SDNode Op, bits<2> MajOp,
2395                           InstrItinClass Itin> {
2396   def _asl_ri : T_S4_ShiftOperate<mnemonic, "asl", Op, shl, 0, MajOp, Itin>;
2397   def _lsr_ri : T_S4_ShiftOperate<mnemonic, "lsr", Op, srl, 1, MajOp, Itin>;
2398 }
2399
2400 let AddedComplexity = 200, isCodeGenOnly = 0 in {
2401   defm S4_addi : T_ShiftOperate<"add", add, 0b10, ALU64_tc_2_SLOT23>;
2402   defm S4_andi : T_ShiftOperate<"and", and, 0b00, ALU64_tc_2_SLOT23>;
2403 }
2404
2405 let AddedComplexity = 30, isCodeGenOnly = 0 in
2406 defm S4_ori  : T_ShiftOperate<"or",  or,  0b01, ALU64_tc_1_SLOT23>;
2407
2408 let isCodeGenOnly = 0 in
2409 defm S4_subi : T_ShiftOperate<"sub", sub, 0b11, ALU64_tc_1_SLOT23>;
2410
2411 // Vector conditional negate
2412 // Rdd=vcnegh(Rss,Rt)
2413 let Defs = [USR_OVF], Itinerary = S_3op_tc_2_SLOT23, isCodeGenOnly = 0 in
2414 def S2_vcnegh   : T_S3op_shiftVect < "vcnegh",   0b11, 0b01>;
2415
2416 // Rd=[cround|round](Rs,Rt)
2417 let hasNewValue = 1, Itinerary = S_3op_tc_2_SLOT23, isCodeGenOnly = 0 in {
2418   def A4_cround_rr    : T_S3op_3 < "cround", IntRegs, 0b11, 0b00>;
2419   def A4_round_rr     : T_S3op_3 < "round", IntRegs, 0b11, 0b10>;
2420 }
2421
2422 // Rd=round(Rs,Rt):sat
2423 let hasNewValue = 1, Defs = [USR_OVF], Itinerary = S_3op_tc_2_SLOT23,
2424     isCodeGenOnly = 0 in
2425 def A4_round_rr_sat : T_S3op_3 < "round", IntRegs, 0b11, 0b11, 1>;
2426
2427 // Rd=[cmpyiwh|cmpyrwh](Rss,Rt):<<1:rnd:sat
2428 let Defs = [USR_OVF], Itinerary = S_3op_tc_3x_SLOT23, isCodeGenOnly = 0 in {
2429   def M4_cmpyi_wh     : T_S3op_8<"cmpyiwh", 0b100, 1, 1, 1>;
2430   def M4_cmpyr_wh     : T_S3op_8<"cmpyrwh", 0b110, 1, 1, 1>;
2431 }
2432
2433 // Rdd=[add|sub](Rss,Rtt,Px):carry
2434 let isPredicateLate = 1, hasSideEffects = 0 in
2435 class T_S3op_carry <string mnemonic, bits<3> MajOp>
2436   : SInst < (outs DoubleRegs:$Rdd, PredRegs:$Px),
2437             (ins DoubleRegs:$Rss, DoubleRegs:$Rtt, PredRegs:$Pu),
2438   "$Rdd = "#mnemonic#"($Rss, $Rtt, $Pu):carry",
2439   [], "$Px = $Pu", S_3op_tc_1_SLOT23 > {
2440     bits<5> Rdd;
2441     bits<5> Rss;
2442     bits<5> Rtt;
2443     bits<2> Pu;
2444
2445     let IClass = 0b1100;
2446
2447     let Inst{27-24} = 0b0010;
2448     let Inst{23-21} = MajOp;
2449     let Inst{20-16} = Rss;
2450     let Inst{12-8}  = Rtt;
2451     let Inst{6-5}   = Pu;
2452     let Inst{4-0}   = Rdd;
2453   }
2454
2455 let isCodeGenOnly = 0 in {
2456 def A4_addp_c : T_S3op_carry < "add", 0b110 >;
2457 def A4_subp_c : T_S3op_carry < "sub", 0b111 >;
2458 }
2459
2460 let Itinerary = S_3op_tc_3_SLOT23, hasSideEffects = 0 in
2461 class T_S3op_6 <string mnemonic, bits<3> MinOp, bit isUnsigned>
2462   : SInst <(outs DoubleRegs:$Rxx),
2463            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Ru),
2464   "$Rxx = "#mnemonic#"($Rss, $Ru)" ,
2465   [] , "$dst2 = $Rxx"> {
2466     bits<5> Rxx;
2467     bits<5> Rss;
2468     bits<5> Ru;
2469
2470     let IClass = 0b1100;
2471
2472     let Inst{27-21} = 0b1011001;
2473     let Inst{20-16} = Rss;
2474     let Inst{13}    = isUnsigned;
2475     let Inst{12-8}  = Rxx;
2476     let Inst{7-5}   = MinOp;
2477     let Inst{4-0}   = Ru;
2478   }
2479
2480 // Vector reduce maximum halfwords
2481 // Rxx=vrmax[u]h(Rss,Ru)
2482 let isCodeGenOnly = 0 in {
2483 def A4_vrmaxh  : T_S3op_6 < "vrmaxh",  0b001, 0>;
2484 def A4_vrmaxuh : T_S3op_6 < "vrmaxuh", 0b001, 1>;
2485 }
2486 // Vector reduce maximum words
2487 // Rxx=vrmax[u]w(Rss,Ru)
2488 let isCodeGenOnly = 0 in {
2489 def A4_vrmaxw  : T_S3op_6 < "vrmaxw",  0b010, 0>;
2490 def A4_vrmaxuw : T_S3op_6 < "vrmaxuw", 0b010, 1>;
2491 }
2492 // Vector reduce minimum halfwords
2493 // Rxx=vrmin[u]h(Rss,Ru)
2494 let isCodeGenOnly = 0 in {
2495 def A4_vrminh  : T_S3op_6 < "vrminh",  0b101, 0>;
2496 def A4_vrminuh : T_S3op_6 < "vrminuh", 0b101, 1>;
2497 }
2498
2499 // Vector reduce minimum words
2500 // Rxx=vrmin[u]w(Rss,Ru)
2501 let isCodeGenOnly = 0 in {
2502 def A4_vrminw  : T_S3op_6 < "vrminw",  0b110, 0>;
2503 def A4_vrminuw : T_S3op_6 < "vrminuw", 0b110, 1>;
2504 }
2505
2506 // Shift an immediate left by register amount.
2507 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
2508 def S4_lsli: SInst <(outs IntRegs:$Rd), (ins s6Imm:$s6, IntRegs:$Rt),
2509   "$Rd = lsl(#$s6, $Rt)" ,
2510   [(set (i32 IntRegs:$Rd), (shl s6ImmPred:$s6,
2511                                  (i32 IntRegs:$Rt)))],
2512   "", S_3op_tc_1_SLOT23> {
2513     bits<5> Rd;
2514     bits<6> s6;
2515     bits<5> Rt;
2516
2517     let IClass = 0b1100;
2518
2519     let Inst{27-22} = 0b011010;
2520     let Inst{20-16} = s6{5-1};
2521     let Inst{12-8}  = Rt;
2522     let Inst{7-6}   = 0b11;
2523     let Inst{4-0}   = Rd;
2524     let Inst{5}     = s6{0};
2525   }
2526
2527 //===----------------------------------------------------------------------===//
2528 // XTYPE/SHIFT -
2529 //===----------------------------------------------------------------------===//
2530
2531 //===----------------------------------------------------------------------===//
2532 // MEMOP: Word, Half, Byte
2533 //===----------------------------------------------------------------------===//
2534
2535 def MEMOPIMM : SDNodeXForm<imm, [{
2536   // Call the transformation function XformM5ToU5Imm to get the negative
2537   // immediate's positive counterpart.
2538   int32_t imm = N->getSExtValue();
2539   return XformM5ToU5Imm(imm);
2540 }]>;
2541
2542 def MEMOPIMM_HALF : SDNodeXForm<imm, [{
2543   // -1 .. -31 represented as 65535..65515
2544   // assigning to a short restores our desired signed value.
2545   // Call the transformation function XformM5ToU5Imm to get the negative
2546   // immediate's positive counterpart.
2547   int16_t imm = N->getSExtValue();
2548   return XformM5ToU5Imm(imm);
2549 }]>;
2550
2551 def MEMOPIMM_BYTE : SDNodeXForm<imm, [{
2552   // -1 .. -31 represented as 255..235
2553   // assigning to a char restores our desired signed value.
2554   // Call the transformation function XformM5ToU5Imm to get the negative
2555   // immediate's positive counterpart.
2556   int8_t imm = N->getSExtValue();
2557   return XformM5ToU5Imm(imm);
2558 }]>;
2559
2560 def SETMEMIMM : SDNodeXForm<imm, [{
2561    // Return the bit position we will set [0-31].
2562    // As an SDNode.
2563    int32_t imm = N->getSExtValue();
2564    return XformMskToBitPosU5Imm(imm);
2565 }]>;
2566
2567 def CLRMEMIMM : SDNodeXForm<imm, [{
2568    // Return the bit position we will clear [0-31].
2569    // As an SDNode.
2570    // we bit negate the value first
2571    int32_t imm = ~(N->getSExtValue());
2572    return XformMskToBitPosU5Imm(imm);
2573 }]>;
2574
2575 def SETMEMIMM_SHORT : SDNodeXForm<imm, [{
2576    // Return the bit position we will set [0-15].
2577    // As an SDNode.
2578    int16_t imm = N->getSExtValue();
2579    return XformMskToBitPosU4Imm(imm);
2580 }]>;
2581
2582 def CLRMEMIMM_SHORT : SDNodeXForm<imm, [{
2583    // Return the bit position we will clear [0-15].
2584    // As an SDNode.
2585    // we bit negate the value first
2586    int16_t imm = ~(N->getSExtValue());
2587    return XformMskToBitPosU4Imm(imm);
2588 }]>;
2589
2590 def SETMEMIMM_BYTE : SDNodeXForm<imm, [{
2591    // Return the bit position we will set [0-7].
2592    // As an SDNode.
2593    int8_t imm =  N->getSExtValue();
2594    return XformMskToBitPosU3Imm(imm);
2595 }]>;
2596
2597 def CLRMEMIMM_BYTE : SDNodeXForm<imm, [{
2598    // Return the bit position we will clear [0-7].
2599    // As an SDNode.
2600    // we bit negate the value first
2601    int8_t imm = ~(N->getSExtValue());
2602    return XformMskToBitPosU3Imm(imm);
2603 }]>;
2604
2605 //===----------------------------------------------------------------------===//
2606 // Template class for MemOp instructions with the register value.
2607 //===----------------------------------------------------------------------===//
2608 class MemOp_rr_base <string opc, bits<2> opcBits, Operand ImmOp,
2609                      string memOp, bits<2> memOpBits> :
2610       MEMInst_V4<(outs),
2611                  (ins IntRegs:$base, ImmOp:$offset, IntRegs:$delta),
2612                  opc#"($base+#$offset)"#memOp#"$delta",
2613                  []>,
2614                  Requires<[UseMEMOP]> {
2615
2616     bits<5> base;
2617     bits<5> delta;
2618     bits<32> offset;
2619     bits<6> offsetBits; // memb - u6:0 , memh - u6:1, memw - u6:2
2620
2621     let offsetBits = !if (!eq(opcBits, 0b00), offset{5-0},
2622                      !if (!eq(opcBits, 0b01), offset{6-1},
2623                      !if (!eq(opcBits, 0b10), offset{7-2},0)));
2624
2625     let opExtentAlign = opcBits;
2626     let IClass = 0b0011;
2627     let Inst{27-24} = 0b1110;
2628     let Inst{22-21} = opcBits;
2629     let Inst{20-16} = base;
2630     let Inst{13} = 0b0;
2631     let Inst{12-7} = offsetBits;
2632     let Inst{6-5} = memOpBits;
2633     let Inst{4-0} = delta;
2634 }
2635
2636 //===----------------------------------------------------------------------===//
2637 // Template class for MemOp instructions with the immediate value.
2638 //===----------------------------------------------------------------------===//
2639 class MemOp_ri_base <string opc, bits<2> opcBits, Operand ImmOp,
2640                      string memOp, bits<2> memOpBits> :
2641       MEMInst_V4 <(outs),
2642                   (ins IntRegs:$base, ImmOp:$offset, u5Imm:$delta),
2643                   opc#"($base+#$offset)"#memOp#"#$delta"
2644                   #!if(memOpBits{1},")", ""), // clrbit, setbit - include ')'
2645                   []>,
2646                   Requires<[UseMEMOP]> {
2647
2648     bits<5> base;
2649     bits<5> delta;
2650     bits<32> offset;
2651     bits<6> offsetBits; // memb - u6:0 , memh - u6:1, memw - u6:2
2652
2653     let offsetBits = !if (!eq(opcBits, 0b00), offset{5-0},
2654                      !if (!eq(opcBits, 0b01), offset{6-1},
2655                      !if (!eq(opcBits, 0b10), offset{7-2},0)));
2656
2657     let opExtentAlign = opcBits;
2658     let IClass = 0b0011;
2659     let Inst{27-24} = 0b1111;
2660     let Inst{22-21} = opcBits;
2661     let Inst{20-16} = base;
2662     let Inst{13} = 0b0;
2663     let Inst{12-7} = offsetBits;
2664     let Inst{6-5} = memOpBits;
2665     let Inst{4-0} = delta;
2666 }
2667
2668 // multiclass to define MemOp instructions with register operand.
2669 multiclass MemOp_rr<string opc, bits<2> opcBits, Operand ImmOp> {
2670   def L4_add#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " += ", 0b00>; // add
2671   def L4_sub#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " -= ", 0b01>; // sub
2672   def L4_and#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " &= ", 0b10>; // and
2673   def L4_or#NAME  : MemOp_rr_base <opc, opcBits, ImmOp, " |= ", 0b11>; // or
2674 }
2675
2676 // multiclass to define MemOp instructions with immediate Operand.
2677 multiclass MemOp_ri<string opc, bits<2> opcBits, Operand ImmOp> {
2678   def L4_iadd#NAME : MemOp_ri_base <opc, opcBits, ImmOp, " += ", 0b00 >;
2679   def L4_isub#NAME : MemOp_ri_base <opc, opcBits, ImmOp, " -= ", 0b01 >;
2680   def L4_iand#NAME : MemOp_ri_base<opc, opcBits, ImmOp, " = clrbit(", 0b10>;
2681   def L4_ior#NAME : MemOp_ri_base<opc, opcBits, ImmOp, " = setbit(", 0b11>;
2682 }
2683
2684 multiclass MemOp_base <string opc, bits<2> opcBits, Operand ImmOp> {
2685   defm _#NAME : MemOp_rr <opc, opcBits, ImmOp>;
2686   defm _#NAME : MemOp_ri <opc, opcBits, ImmOp>;
2687 }
2688
2689 // Define MemOp instructions.
2690 let isExtendable = 1, opExtendable = 1, isExtentSigned = 0,
2691     validSubTargets =HasV4SubT in {
2692   let opExtentBits = 6, accessSize = ByteAccess, isCodeGenOnly = 0 in
2693   defm memopb_io : MemOp_base <"memb", 0b00, u6_0Ext>;
2694
2695   let opExtentBits = 7, accessSize = HalfWordAccess, isCodeGenOnly = 0 in
2696   defm memoph_io : MemOp_base <"memh", 0b01, u6_1Ext>;
2697
2698   let opExtentBits = 8, accessSize = WordAccess, isCodeGenOnly = 0 in
2699   defm memopw_io : MemOp_base <"memw", 0b10, u6_2Ext>;
2700 }
2701
2702 //===----------------------------------------------------------------------===//
2703 // Multiclass to define 'Def Pats' for ALU operations on the memory
2704 // Here value used for the ALU operation is an immediate value.
2705 // mem[bh](Rs+#0) += #U5
2706 // mem[bh](Rs+#u6) += #U5
2707 //===----------------------------------------------------------------------===//
2708
2709 multiclass MemOpi_u5Pats <PatFrag ldOp, PatFrag stOp, PatLeaf ExtPred,
2710                           InstHexagon MI, SDNode OpNode> {
2711   let AddedComplexity = 180 in
2712   def : Pat < (stOp (OpNode (ldOp IntRegs:$addr), u5ImmPred:$addend),
2713                     IntRegs:$addr),
2714               (MI IntRegs:$addr, #0, u5ImmPred:$addend )>;
2715
2716   let AddedComplexity = 190 in
2717   def : Pat <(stOp (OpNode (ldOp (add IntRegs:$base, ExtPred:$offset)),
2718                      u5ImmPred:$addend),
2719              (add IntRegs:$base, ExtPred:$offset)),
2720        (MI IntRegs:$base, ExtPred:$offset, u5ImmPred:$addend)>;
2721 }
2722
2723 multiclass MemOpi_u5ALUOp<PatFrag ldOp, PatFrag stOp, PatLeaf ExtPred,
2724                           InstHexagon addMI, InstHexagon subMI> {
2725   defm : MemOpi_u5Pats<ldOp, stOp, ExtPred, addMI, add>;
2726   defm : MemOpi_u5Pats<ldOp, stOp, ExtPred, subMI, sub>;
2727 }
2728
2729 multiclass MemOpi_u5ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2730   // Half Word
2731   defm : MemOpi_u5ALUOp <ldOpHalf, truncstorei16, u6_1ExtPred,
2732                          L4_iadd_memoph_io, L4_isub_memoph_io>;
2733   // Byte
2734   defm : MemOpi_u5ALUOp <ldOpByte, truncstorei8, u6ExtPred,
2735                          L4_iadd_memopb_io, L4_isub_memopb_io>;
2736 }
2737
2738 let Predicates = [HasV4T, UseMEMOP] in {
2739   defm : MemOpi_u5ExtType<zextloadi8, zextloadi16>; // zero extend
2740   defm : MemOpi_u5ExtType<sextloadi8, sextloadi16>; // sign extend
2741   defm : MemOpi_u5ExtType<extloadi8,  extloadi16>;  // any extend
2742
2743   // Word
2744   defm : MemOpi_u5ALUOp <load, store, u6_2ExtPred, L4_iadd_memopw_io,
2745                          L4_isub_memopw_io>;
2746 }
2747
2748 //===----------------------------------------------------------------------===//
2749 // multiclass to define 'Def Pats' for ALU operations on the memory.
2750 // Here value used for the ALU operation is a negative value.
2751 // mem[bh](Rs+#0) += #m5
2752 // mem[bh](Rs+#u6) += #m5
2753 //===----------------------------------------------------------------------===//
2754
2755 multiclass MemOpi_m5Pats <PatFrag ldOp, PatFrag stOp, PatLeaf extPred,
2756                           PatLeaf immPred, ComplexPattern addrPred,
2757                           SDNodeXForm xformFunc, InstHexagon MI> {
2758   let AddedComplexity = 190 in
2759   def : Pat <(stOp (add (ldOp IntRegs:$addr), immPred:$subend),
2760                    IntRegs:$addr),
2761              (MI IntRegs:$addr, #0, (xformFunc immPred:$subend) )>;
2762
2763   let AddedComplexity = 195 in
2764   def : Pat<(stOp (add (ldOp (add IntRegs:$base, extPred:$offset)),
2765                        immPred:$subend),
2766                   (add IntRegs:$base, extPred:$offset)),
2767             (MI IntRegs:$base, extPred:$offset, (xformFunc immPred:$subend))>;
2768 }
2769
2770 multiclass MemOpi_m5ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2771   // Half Word
2772   defm : MemOpi_m5Pats <ldOpHalf, truncstorei16, u6_1ExtPred, m5HImmPred,
2773                         ADDRriU6_1, MEMOPIMM_HALF, L4_isub_memoph_io>;
2774   // Byte
2775   defm : MemOpi_m5Pats <ldOpByte, truncstorei8, u6ExtPred, m5BImmPred,
2776                         ADDRriU6_0, MEMOPIMM_BYTE, L4_isub_memopb_io>;
2777 }
2778
2779 let Predicates = [HasV4T, UseMEMOP] in {
2780   defm : MemOpi_m5ExtType<zextloadi8, zextloadi16>; // zero extend
2781   defm : MemOpi_m5ExtType<sextloadi8, sextloadi16>; // sign extend
2782   defm : MemOpi_m5ExtType<extloadi8,  extloadi16>;  // any extend
2783
2784   // Word
2785   defm : MemOpi_m5Pats <load, store, u6_2ExtPred, m5ImmPred,
2786                           ADDRriU6_2, MEMOPIMM, L4_isub_memopw_io>;
2787 }
2788
2789 //===----------------------------------------------------------------------===//
2790 // Multiclass to define 'def Pats' for bit operations on the memory.
2791 // mem[bhw](Rs+#0) = [clrbit|setbit](#U5)
2792 // mem[bhw](Rs+#u6) = [clrbit|setbit](#U5)
2793 //===----------------------------------------------------------------------===//
2794
2795 multiclass MemOpi_bitPats <PatFrag ldOp, PatFrag stOp, PatLeaf immPred,
2796                      PatLeaf extPred, ComplexPattern addrPred,
2797                      SDNodeXForm xformFunc, InstHexagon MI, SDNode OpNode> {
2798
2799   // mem[bhw](Rs+#u6:[012]) = [clrbit|setbit](#U5)
2800   let AddedComplexity = 250 in
2801   def : Pat<(stOp (OpNode (ldOp (add IntRegs:$base, extPred:$offset)),
2802                           immPred:$bitend),
2803                   (add IntRegs:$base, extPred:$offset)),
2804             (MI IntRegs:$base, extPred:$offset, (xformFunc immPred:$bitend))>;
2805
2806   // mem[bhw](Rs+#0) = [clrbit|setbit](#U5)
2807   let AddedComplexity = 225 in
2808   def : Pat <(stOp (OpNode (ldOp (addrPred IntRegs:$addr, extPred:$offset)),
2809                            immPred:$bitend),
2810                    (addrPred (i32 IntRegs:$addr), extPred:$offset)),
2811              (MI IntRegs:$addr, extPred:$offset, (xformFunc immPred:$bitend))>;
2812 }
2813
2814 multiclass MemOpi_bitExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2815   // Byte - clrbit
2816   defm : MemOpi_bitPats<ldOpByte, truncstorei8, Clr3ImmPred, u6ExtPred,
2817                        ADDRriU6_0, CLRMEMIMM_BYTE, L4_iand_memopb_io, and>;
2818   // Byte - setbit
2819   defm : MemOpi_bitPats<ldOpByte, truncstorei8, Set3ImmPred,  u6ExtPred,
2820                        ADDRriU6_0, SETMEMIMM_BYTE, L4_ior_memopb_io, or>;
2821   // Half Word - clrbit
2822   defm : MemOpi_bitPats<ldOpHalf, truncstorei16, Clr4ImmPred, u6_1ExtPred,
2823                        ADDRriU6_1, CLRMEMIMM_SHORT, L4_iand_memoph_io, and>;
2824   // Half Word - setbit
2825   defm : MemOpi_bitPats<ldOpHalf, truncstorei16, Set4ImmPred, u6_1ExtPred,
2826                        ADDRriU6_1, SETMEMIMM_SHORT, L4_ior_memoph_io, or>;
2827 }
2828
2829 let Predicates = [HasV4T, UseMEMOP] in {
2830   // mem[bh](Rs+#0) = [clrbit|setbit](#U5)
2831   // mem[bh](Rs+#u6:[01]) = [clrbit|setbit](#U5)
2832   defm : MemOpi_bitExtType<zextloadi8, zextloadi16>; // zero extend
2833   defm : MemOpi_bitExtType<sextloadi8, sextloadi16>; // sign extend
2834   defm : MemOpi_bitExtType<extloadi8,  extloadi16>;  // any extend
2835
2836   // memw(Rs+#0) = [clrbit|setbit](#U5)
2837   // memw(Rs+#u6:2) = [clrbit|setbit](#U5)
2838   defm : MemOpi_bitPats<load, store, Clr5ImmPred, u6_2ExtPred, ADDRriU6_2,
2839                        CLRMEMIMM, L4_iand_memopw_io, and>;
2840   defm : MemOpi_bitPats<load, store, Set5ImmPred, u6_2ExtPred, ADDRriU6_2,
2841                        SETMEMIMM, L4_ior_memopw_io, or>;
2842 }
2843
2844 //===----------------------------------------------------------------------===//
2845 // Multiclass to define 'def Pats' for ALU operations on the memory
2846 // where addend is a register.
2847 // mem[bhw](Rs+#0) [+-&|]= Rt
2848 // mem[bhw](Rs+#U6:[012]) [+-&|]= Rt
2849 //===----------------------------------------------------------------------===//
2850
2851 multiclass MemOpr_Pats <PatFrag ldOp, PatFrag stOp, ComplexPattern addrPred,
2852                      PatLeaf extPred, InstHexagon MI, SDNode OpNode> {
2853   let AddedComplexity = 141 in
2854   // mem[bhw](Rs+#0) [+-&|]= Rt
2855   def : Pat <(stOp (OpNode (ldOp (addrPred IntRegs:$addr, extPred:$offset)),
2856                            (i32 IntRegs:$addend)),
2857                    (addrPred (i32 IntRegs:$addr), extPred:$offset)),
2858              (MI IntRegs:$addr, extPred:$offset, (i32 IntRegs:$addend) )>;
2859
2860   // mem[bhw](Rs+#U6:[012]) [+-&|]= Rt
2861   let AddedComplexity = 150 in
2862   def : Pat <(stOp (OpNode (ldOp (add IntRegs:$base, extPred:$offset)),
2863                            (i32 IntRegs:$orend)),
2864                    (add IntRegs:$base, extPred:$offset)),
2865              (MI IntRegs:$base, extPred:$offset, (i32 IntRegs:$orend) )>;
2866 }
2867
2868 multiclass MemOPr_ALUOp<PatFrag ldOp, PatFrag stOp,
2869                         ComplexPattern addrPred, PatLeaf extPred,
2870                         InstHexagon addMI, InstHexagon subMI,
2871                         InstHexagon andMI, InstHexagon orMI > {
2872
2873   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, addMI, add>;
2874   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, subMI, sub>;
2875   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, andMI, and>;
2876   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, orMI,  or>;
2877 }
2878
2879 multiclass MemOPr_ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2880   // Half Word
2881   defm : MemOPr_ALUOp <ldOpHalf, truncstorei16, ADDRriU6_1, u6_1ExtPred,
2882                        L4_add_memoph_io, L4_sub_memoph_io,
2883                        L4_and_memoph_io, L4_or_memoph_io>;
2884   // Byte
2885   defm : MemOPr_ALUOp <ldOpByte, truncstorei8, ADDRriU6_0, u6ExtPred,
2886                        L4_add_memopb_io, L4_sub_memopb_io,
2887                        L4_and_memopb_io, L4_or_memopb_io>;
2888 }
2889
2890 // Define 'def Pats' for MemOps with register addend.
2891 let Predicates = [HasV4T, UseMEMOP] in {
2892   // Byte, Half Word
2893   defm : MemOPr_ExtType<zextloadi8, zextloadi16>; // zero extend
2894   defm : MemOPr_ExtType<sextloadi8, sextloadi16>; // sign extend
2895   defm : MemOPr_ExtType<extloadi8,  extloadi16>;  // any extend
2896   // Word
2897   defm : MemOPr_ALUOp <load, store, ADDRriU6_2, u6_2ExtPred, L4_add_memopw_io,
2898                        L4_sub_memopw_io, L4_and_memopw_io, L4_or_memopw_io >;
2899 }
2900
2901 //===----------------------------------------------------------------------===//
2902 // XTYPE/PRED +
2903 //===----------------------------------------------------------------------===//
2904
2905 // Hexagon V4 only supports these flavors of byte/half compare instructions:
2906 // EQ/GT/GTU. Other flavors like GE/GEU/LT/LTU/LE/LEU are not supported by
2907 // hardware. However, compiler can still implement these patterns through
2908 // appropriate patterns combinations based on current implemented patterns.
2909 // The implemented patterns are: EQ/GT/GTU.
2910 // Missing patterns are: GE/GEU/LT/LTU/LE/LEU.
2911
2912 // Following instruction is not being extended as it results into the
2913 // incorrect code for negative numbers.
2914 // Pd=cmpb.eq(Rs,#u8)
2915
2916 // p=!cmp.eq(r1,#s10)
2917 let isCodeGenOnly = 0 in {
2918 def C4_cmpneqi  : T_CMP <"cmp.eq",  0b00, 1, s10Ext>;
2919 def C4_cmpltei  : T_CMP <"cmp.gt",  0b01, 1, s10Ext>;
2920 def C4_cmplteui : T_CMP <"cmp.gtu", 0b10, 1, u9Ext>;
2921 }
2922
2923 def : T_CMP_pat <C4_cmpneqi,  setne,  s10ExtPred>;
2924 def : T_CMP_pat <C4_cmpltei,  setle,  s10ExtPred>;
2925 def : T_CMP_pat <C4_cmplteui, setule, u9ImmPred>;
2926
2927 // rs <= rt -> !(rs > rt).
2928 /*
2929 def: Pat<(i1 (setle (i32 IntRegs:$src1), s10ExtPred:$src2)),
2930          (C2_not (C2_cmpgti IntRegs:$src1, s10ExtPred:$src2))>;
2931 //         (C4_cmpltei IntRegs:$src1, s10ExtPred:$src2)>;
2932 */
2933 // Map cmplt(Rs, Imm) -> !cmpgt(Rs, Imm-1).
2934 def: Pat<(i1 (setlt (i32 IntRegs:$src1), s8ExtPred:$src2)),
2935          (C4_cmpltei IntRegs:$src1, (DEC_CONST_SIGNED s8ExtPred:$src2))>;
2936
2937 // rs != rt -> !(rs == rt).
2938 def: Pat<(i1 (setne (i32 IntRegs:$src1), s10ExtPred:$src2)),
2939          (C4_cmpneqi IntRegs:$src1, s10ExtPred:$src2)>;
2940
2941 // SDNode for converting immediate C to C-1.
2942 def DEC_CONST_BYTE : SDNodeXForm<imm, [{
2943    // Return the byte immediate const-1 as an SDNode.
2944    int32_t imm = N->getSExtValue();
2945    return XformU7ToU7M1Imm(imm);
2946 }]>;
2947
2948 // For the sequence
2949 //   zext( seteq ( and(Rs, 255), u8))
2950 // Generate
2951 //   Pd=cmpb.eq(Rs, #u8)
2952 //   if (Pd.new) Rd=#1
2953 //   if (!Pd.new) Rd=#0
2954 def : Pat <(i32 (zext (i1 (seteq (i32 (and (i32 IntRegs:$Rs), 255)),
2955                                            u8ExtPred:$u8)))),
2956            (i32 (TFR_condset_ii (i1 (A4_cmpbeqi (i32 IntRegs:$Rs),
2957                                                  (u8ExtPred:$u8))),
2958                                 1, 0))>,
2959            Requires<[HasV4T]>;
2960
2961 // For the sequence
2962 //   zext( setne ( and(Rs, 255), u8))
2963 // Generate
2964 //   Pd=cmpb.eq(Rs, #u8)
2965 //   if (Pd.new) Rd=#0
2966 //   if (!Pd.new) Rd=#1
2967 def : Pat <(i32 (zext (i1 (setne (i32 (and (i32 IntRegs:$Rs), 255)),
2968                                            u8ExtPred:$u8)))),
2969            (i32 (TFR_condset_ii (i1 (A4_cmpbeqi (i32 IntRegs:$Rs),
2970                                                  (u8ExtPred:$u8))),
2971                                 0, 1))>,
2972            Requires<[HasV4T]>;
2973
2974 // For the sequence
2975 //   zext( seteq (Rs, and(Rt, 255)))
2976 // Generate
2977 //   Pd=cmpb.eq(Rs, Rt)
2978 //   if (Pd.new) Rd=#1
2979 //   if (!Pd.new) Rd=#0
2980 def : Pat <(i32 (zext (i1 (seteq (i32 IntRegs:$Rt),
2981                                  (i32 (and (i32 IntRegs:$Rs), 255)))))),
2982            (i32 (TFR_condset_ii (i1 (A4_cmpbeq (i32 IntRegs:$Rs),
2983                                                       (i32 IntRegs:$Rt))),
2984                                 1, 0))>,
2985            Requires<[HasV4T]>;
2986
2987 // For the sequence
2988 //   zext( setne (Rs, and(Rt, 255)))
2989 // Generate
2990 //   Pd=cmpb.eq(Rs, Rt)
2991 //   if (Pd.new) Rd=#0
2992 //   if (!Pd.new) Rd=#1
2993 def : Pat <(i32 (zext (i1 (setne (i32 IntRegs:$Rt),
2994                                  (i32 (and (i32 IntRegs:$Rs), 255)))))),
2995            (i32 (TFR_condset_ii (i1 (A4_cmpbeq (i32 IntRegs:$Rs),
2996                                                       (i32 IntRegs:$Rt))),
2997                                 0, 1))>,
2998            Requires<[HasV4T]>;
2999
3000 // For the sequence
3001 //   zext( setugt ( and(Rs, 255), u8))
3002 // Generate
3003 //   Pd=cmpb.gtu(Rs, #u8)
3004 //   if (Pd.new) Rd=#1
3005 //   if (!Pd.new) Rd=#0
3006 def : Pat <(i32 (zext (i1 (setugt (i32 (and (i32 IntRegs:$Rs), 255)),
3007                                             u8ExtPred:$u8)))),
3008            (i32 (TFR_condset_ii (i1 (A4_cmpbgtui (i32 IntRegs:$Rs),
3009                                                   (u8ExtPred:$u8))),
3010                                 1, 0))>,
3011            Requires<[HasV4T]>;
3012
3013 // For the sequence
3014 //   zext( setugt ( and(Rs, 254), u8))
3015 // Generate
3016 //   Pd=cmpb.gtu(Rs, #u8)
3017 //   if (Pd.new) Rd=#1
3018 //   if (!Pd.new) Rd=#0
3019 def : Pat <(i32 (zext (i1 (setugt (i32 (and (i32 IntRegs:$Rs), 254)),
3020                                             u8ExtPred:$u8)))),
3021            (i32 (TFR_condset_ii (i1 (A4_cmpbgtui (i32 IntRegs:$Rs),
3022                                                   (u8ExtPred:$u8))),
3023                                 1, 0))>,
3024            Requires<[HasV4T]>;
3025
3026 // For the sequence
3027 //   zext( setult ( Rs, Rt))
3028 // Generate
3029 //   Pd=cmp.ltu(Rs, Rt)
3030 //   if (Pd.new) Rd=#1
3031 //   if (!Pd.new) Rd=#0
3032 // cmp.ltu(Rs, Rt) -> cmp.gtu(Rt, Rs)
3033 def : Pat <(i32 (zext (i1 (setult (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3034            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rt),
3035                                               (i32 IntRegs:$Rs))),
3036                                 1, 0))>,
3037            Requires<[HasV4T]>;
3038
3039 // For the sequence
3040 //   zext( setlt ( Rs, Rt))
3041 // Generate
3042 //   Pd=cmp.lt(Rs, Rt)
3043 //   if (Pd.new) Rd=#1
3044 //   if (!Pd.new) Rd=#0
3045 // cmp.lt(Rs, Rt) -> cmp.gt(Rt, Rs)
3046 def : Pat <(i32 (zext (i1 (setlt (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3047            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rt),
3048                                              (i32 IntRegs:$Rs))),
3049                                 1, 0))>,
3050            Requires<[HasV4T]>;
3051
3052 // For the sequence
3053 //   zext( setugt ( Rs, Rt))
3054 // Generate
3055 //   Pd=cmp.gtu(Rs, Rt)
3056 //   if (Pd.new) Rd=#1
3057 //   if (!Pd.new) Rd=#0
3058 def : Pat <(i32 (zext (i1 (setugt (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3059            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rs),
3060                                               (i32 IntRegs:$Rt))),
3061                                 1, 0))>,
3062            Requires<[HasV4T]>;
3063
3064 // This pattern interefers with coremark performance, not implementing at this
3065 // time.
3066 // For the sequence
3067 //   zext( setgt ( Rs, Rt))
3068 // Generate
3069 //   Pd=cmp.gt(Rs, Rt)
3070 //   if (Pd.new) Rd=#1
3071 //   if (!Pd.new) Rd=#0
3072
3073 // For the sequence
3074 //   zext( setuge ( Rs, Rt))
3075 // Generate
3076 //   Pd=cmp.ltu(Rs, Rt)
3077 //   if (Pd.new) Rd=#0
3078 //   if (!Pd.new) Rd=#1
3079 // cmp.ltu(Rs, Rt) -> cmp.gtu(Rt, Rs)
3080 def : Pat <(i32 (zext (i1 (setuge (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3081            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rt),
3082                                               (i32 IntRegs:$Rs))),
3083                                 0, 1))>,
3084            Requires<[HasV4T]>;
3085
3086 // For the sequence
3087 //   zext( setge ( Rs, Rt))
3088 // Generate
3089 //   Pd=cmp.lt(Rs, Rt)
3090 //   if (Pd.new) Rd=#0
3091 //   if (!Pd.new) Rd=#1
3092 // cmp.lt(Rs, Rt) -> cmp.gt(Rt, Rs)
3093 def : Pat <(i32 (zext (i1 (setge (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3094            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rt),
3095                                              (i32 IntRegs:$Rs))),
3096                                 0, 1))>,
3097            Requires<[HasV4T]>;
3098
3099 // For the sequence
3100 //   zext( setule ( Rs, Rt))
3101 // Generate
3102 //   Pd=cmp.gtu(Rs, Rt)
3103 //   if (Pd.new) Rd=#0
3104 //   if (!Pd.new) Rd=#1
3105 def : Pat <(i32 (zext (i1 (setule (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3106            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rs),
3107                                               (i32 IntRegs:$Rt))),
3108                                 0, 1))>,
3109            Requires<[HasV4T]>;
3110
3111 // For the sequence
3112 //   zext( setle ( Rs, Rt))
3113 // Generate
3114 //   Pd=cmp.gt(Rs, Rt)
3115 //   if (Pd.new) Rd=#0
3116 //   if (!Pd.new) Rd=#1
3117 def : Pat <(i32 (zext (i1 (setle (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3118            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rs),
3119                                              (i32 IntRegs:$Rt))),
3120                                 0, 1))>,
3121            Requires<[HasV4T]>;
3122
3123 // For the sequence
3124 //   zext( setult ( and(Rs, 255), u8))
3125 // Use the isdigit transformation below
3126
3127 // Generate code of the form 'mux_ii(cmpbgtu(Rdd, C-1),0,1)'
3128 // for C code of the form r = ((c>='0') & (c<='9')) ? 1 : 0;.
3129 // The isdigit transformation relies on two 'clever' aspects:
3130 // 1) The data type is unsigned which allows us to eliminate a zero test after
3131 //    biasing the expression by 48. We are depending on the representation of
3132 //    the unsigned types, and semantics.
3133 // 2) The front end has converted <= 9 into < 10 on entry to LLVM
3134 //
3135 // For the C code:
3136 //   retval = ((c>='0') & (c<='9')) ? 1 : 0;
3137 // The code is transformed upstream of llvm into
3138 //   retval = (c-48) < 10 ? 1 : 0;
3139 let AddedComplexity = 139 in
3140 def : Pat <(i32 (zext (i1 (setult (i32 (and (i32 IntRegs:$src1), 255)),
3141                                   u7StrictPosImmPred:$src2)))),
3142   (i32 (C2_muxii (i1 (A4_cmpbgtui (i32 IntRegs:$src1),
3143                                  (DEC_CONST_BYTE u7StrictPosImmPred:$src2))),
3144                    0, 1))>,
3145                    Requires<[HasV4T]>;
3146
3147 //===----------------------------------------------------------------------===//
3148 // XTYPE/PRED -
3149 //===----------------------------------------------------------------------===//
3150
3151 //===----------------------------------------------------------------------===//
3152 // Multiclass for DeallocReturn
3153 //===----------------------------------------------------------------------===//
3154 class L4_RETURN<string mnemonic, bit isNot, bit isPredNew, bit isTak>
3155   : LD0Inst<(outs), (ins PredRegs:$src),
3156   !if(isNot, "if (!$src", "if ($src")#
3157   !if(isPredNew, ".new) ", ") ")#mnemonic#
3158   !if(isPredNew, #!if(isTak,":t", ":nt"),""),
3159   [], "", LD_tc_3or4stall_SLOT0> {
3160
3161     bits<2> src;
3162     let BaseOpcode = "L4_RETURN";
3163     let isPredicatedFalse = isNot;
3164     let isPredicatedNew = isPredNew;
3165     let isTaken = isTak;
3166     let IClass = 0b1001;
3167
3168     let Inst{27-16} = 0b011000011110;
3169
3170     let Inst{13} = isNot;
3171     let Inst{12} = isTak;
3172     let Inst{11} = isPredNew;
3173     let Inst{10} = 0b0;
3174     let Inst{9-8} = src;
3175     let Inst{4-0} = 0b11110;
3176   }
3177
3178 // Produce all predicated forms, p, !p, p.new, !p.new, :t, :nt
3179 multiclass L4_RETURN_PRED<string mnemonic, bit PredNot> {
3180   let isPredicated = 1 in {
3181     def _#NAME# : L4_RETURN <mnemonic, PredNot, 0, 1>;
3182     def _#NAME#new_pnt : L4_RETURN <mnemonic, PredNot, 1, 0>;
3183     def _#NAME#new_pt : L4_RETURN <mnemonic, PredNot, 1, 1>;
3184   }
3185 }
3186
3187 multiclass LD_MISC_L4_RETURN<string mnemonic> {
3188   let isBarrier = 1, isPredicable = 1 in
3189     def NAME : LD0Inst <(outs), (ins), mnemonic, [], "",
3190                         LD_tc_3or4stall_SLOT0> {
3191       let BaseOpcode = "L4_RETURN";
3192       let IClass = 0b1001;
3193       let Inst{27-16} = 0b011000011110;
3194       let Inst{13-10} = 0b0000;
3195       let Inst{4-0} = 0b11110;
3196     }
3197   defm t : L4_RETURN_PRED<mnemonic, 0 >;
3198   defm f : L4_RETURN_PRED<mnemonic, 1 >;
3199 }
3200
3201 let isReturn = 1, isTerminator = 1,
3202     Defs = [R29, R30, R31, PC], Uses = [R30], hasSideEffects = 0,
3203     validSubTargets = HasV4SubT, isCodeGenOnly = 0 in
3204 defm L4_return: LD_MISC_L4_RETURN <"dealloc_return">, PredNewRel;
3205
3206 // Restore registers and dealloc return function call.
3207 let isCall = 1, isBarrier = 1, isReturn = 1, isTerminator = 1,
3208   Defs = [R29, R30, R31, PC] in {
3209 let validSubTargets = HasV4SubT in
3210   def RESTORE_DEALLOC_RET_JMP_V4 : JInst<(outs),
3211                                    (ins calltarget:$dst),
3212              "jump $dst",
3213              []>,
3214              Requires<[HasV4T]>;
3215 }
3216
3217 // Restore registers and dealloc frame before a tail call.
3218 let isCall = 1, isBarrier = 1,
3219   Defs = [R29, R30, R31, PC] in {
3220 let validSubTargets = HasV4SubT in
3221   def RESTORE_DEALLOC_BEFORE_TAILCALL_V4 : JInst<(outs),
3222                                            (ins calltarget:$dst),
3223              "call $dst",
3224              []>,
3225              Requires<[HasV4T]>;
3226 }
3227
3228 // Save registers function call.
3229 let isCall = 1, isBarrier = 1,
3230   Uses = [R29, R31] in {
3231   def SAVE_REGISTERS_CALL_V4 : JInst<(outs),
3232                                (ins calltarget:$dst),
3233              "call $dst // Save_calle_saved_registers",
3234              []>,
3235              Requires<[HasV4T]>;
3236 }
3237
3238 //===----------------------------------------------------------------------===//
3239 // Template class for non predicated store instructions with
3240 // GP-Relative or absolute addressing.
3241 //===----------------------------------------------------------------------===//
3242 let hasSideEffects = 0, isPredicable = 1, isNVStorable = 1 in
3243 class T_StoreAbsGP <string mnemonic, RegisterClass RC, Operand ImmOp,
3244                     bits<2>MajOp, Operand AddrOp, bit isAbs, bit isHalf>
3245   : STInst<(outs), (ins AddrOp:$addr, RC:$src),
3246   mnemonic # !if(isAbs, "(##", "(#")#"$addr) = $src"#!if(isHalf, ".h",""),
3247   [], "", V2LDST_tc_st_SLOT01> {
3248     bits<19> addr;
3249     bits<5> src;
3250     bits<16> offsetBits;
3251
3252     string ImmOpStr = !cast<string>(ImmOp);
3253     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3254                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3255                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3256                                       /* u16_0Imm */ addr{15-0})));
3257     let IClass = 0b0100;
3258     let Inst{27} = 1;
3259     let Inst{26-25} = offsetBits{15-14};
3260     let Inst{24}    = 0b0;
3261     let Inst{23-22} = MajOp;
3262     let Inst{21}    = isHalf;
3263     let Inst{20-16} = offsetBits{13-9};
3264     let Inst{13}    = offsetBits{8};
3265     let Inst{12-8}  = src;
3266     let Inst{7-0}   = offsetBits{7-0};
3267   }
3268
3269 //===----------------------------------------------------------------------===//
3270 // Template class for predicated store instructions with
3271 // GP-Relative or absolute addressing.
3272 //===----------------------------------------------------------------------===//
3273 let hasSideEffects = 0, isPredicated = 1, isNVStorable = 1, opExtentBits = 6,
3274     opExtendable = 1 in
3275 class T_StoreAbs_Pred <string mnemonic, RegisterClass RC, bits<2> MajOp,
3276                        bit isHalf, bit isNot, bit isNew>
3277   : STInst<(outs), (ins PredRegs:$src1, u6Ext:$absaddr, RC: $src2),
3278   !if(isNot, "if (!$src1", "if ($src1")#!if(isNew, ".new) ",
3279   ") ")#mnemonic#"(#$absaddr) = $src2"#!if(isHalf, ".h",""),
3280   [], "", ST_tc_st_SLOT01>, AddrModeRel {
3281     bits<2> src1;
3282     bits<6> absaddr;
3283     bits<5> src2;
3284
3285     let isPredicatedNew = isNew;
3286     let isPredicatedFalse = isNot;
3287
3288     let IClass = 0b1010;
3289
3290     let Inst{27-24} = 0b1111;
3291     let Inst{23-22} = MajOp;
3292     let Inst{21}    = isHalf;
3293     let Inst{17-16} = absaddr{5-4};
3294     let Inst{13}    = isNew;
3295     let Inst{12-8}  = src2;
3296     let Inst{7}     = 0b1;
3297     let Inst{6-3}   = absaddr{3-0};
3298     let Inst{2}     = isNot;
3299     let Inst{1-0}   = src1;
3300   }
3301
3302 //===----------------------------------------------------------------------===//
3303 // Template class for predicated store instructions with absolute addressing.
3304 //===----------------------------------------------------------------------===//
3305 class T_StoreAbs <string mnemonic, RegisterClass RC, Operand ImmOp,
3306                  bits<2> MajOp, bit isHalf>
3307   : T_StoreAbsGP <mnemonic, RC, ImmOp, MajOp, u0AlwaysExt, 1, isHalf>,
3308                   AddrModeRel {
3309   string ImmOpStr = !cast<string>(ImmOp);
3310   let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3311                      !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3312                      !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3313                                       /* u16_0Imm */ 16)));
3314
3315   let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3316                       !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3317                       !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3318                                        /* u16_0Imm */ 0)));
3319 }
3320
3321 //===----------------------------------------------------------------------===//
3322 // Multiclass for store instructions with absolute addressing.
3323 //===----------------------------------------------------------------------===//
3324 let validSubTargets = HasV4SubT, addrMode = Absolute, isExtended = 1 in
3325 multiclass ST_Abs<string mnemonic, string CextOp, RegisterClass RC,
3326                   Operand ImmOp, bits<2> MajOp, bit isHalf = 0> {
3327   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3328     let opExtendable = 0, isPredicable = 1 in
3329     def S2_#NAME#abs : T_StoreAbs <mnemonic, RC, ImmOp, MajOp, isHalf>;
3330
3331     // Predicated
3332     def S4_p#NAME#t_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 0, 0>;
3333     def S4_p#NAME#f_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 1, 0>;
3334
3335     // .new Predicated
3336     def S4_p#NAME#tnew_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 0, 1>;
3337     def S4_p#NAME#fnew_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 1, 1>;
3338   }
3339 }
3340
3341 //===----------------------------------------------------------------------===//
3342 // Template class for non predicated new-value store instructions with
3343 // GP-Relative or absolute addressing.
3344 //===----------------------------------------------------------------------===//
3345 let hasSideEffects = 0, isPredicable = 1, mayStore = 1, isNVStore = 1,
3346     isNewValue = 1, opNewValue = 1 in
3347 class T_StoreAbsGP_NV <string mnemonic, Operand ImmOp, bits<2>MajOp, bit isAbs>
3348   : NVInst_V4<(outs), (ins u0AlwaysExt:$addr, IntRegs:$src),
3349   mnemonic # !if(isAbs, "(##", "(#")#"$addr) = $src.new",
3350   [], "", V2LDST_tc_st_SLOT0> {
3351     bits<19> addr;
3352     bits<3> src;
3353     bits<16> offsetBits;
3354
3355     string ImmOpStr = !cast<string>(ImmOp);
3356     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3357                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3358                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3359                                       /* u16_0Imm */ addr{15-0})));
3360     let IClass = 0b0100;
3361
3362     let Inst{27} = 1;
3363     let Inst{26-25} = offsetBits{15-14};
3364     let Inst{24-21} = 0b0101;
3365     let Inst{20-16} = offsetBits{13-9};
3366     let Inst{13}    = offsetBits{8};
3367     let Inst{12-11} = MajOp;
3368     let Inst{10-8}  = src;
3369     let Inst{7-0}   = offsetBits{7-0};
3370   }
3371
3372 //===----------------------------------------------------------------------===//
3373 // Template class for predicated new-value store instructions with
3374 // absolute addressing.
3375 //===----------------------------------------------------------------------===//
3376 let hasSideEffects = 0, isPredicated = 1, mayStore = 1, isNVStore = 1,
3377     isNewValue = 1, opNewValue = 2, opExtentBits = 6, opExtendable = 1 in
3378 class T_StoreAbs_NV_Pred <string mnemonic, bits<2> MajOp, bit isNot, bit isNew>
3379   : NVInst_V4<(outs), (ins PredRegs:$src1, u6Ext:$absaddr, IntRegs:$src2),
3380   !if(isNot, "if (!$src1", "if ($src1")#!if(isNew, ".new) ",
3381   ") ")#mnemonic#"(#$absaddr) = $src2.new",
3382   [], "", ST_tc_st_SLOT0>, AddrModeRel {
3383     bits<2> src1;
3384     bits<6> absaddr;
3385     bits<3> src2;
3386
3387     let isPredicatedNew = isNew;
3388     let isPredicatedFalse = isNot;
3389
3390     let IClass = 0b1010;
3391
3392     let Inst{27-24} = 0b1111;
3393     let Inst{23-21} = 0b101;
3394     let Inst{17-16} = absaddr{5-4};
3395     let Inst{13}    = isNew;
3396     let Inst{12-11} = MajOp;
3397     let Inst{10-8}  = src2;
3398     let Inst{7}     = 0b1;
3399     let Inst{6-3}   = absaddr{3-0};
3400     let Inst{2}     = isNot;
3401     let Inst{1-0}   = src1;
3402 }
3403
3404 //===----------------------------------------------------------------------===//
3405 // Template class for non-predicated new-value store instructions with
3406 // absolute addressing.
3407 //===----------------------------------------------------------------------===//
3408 class T_StoreAbs_NV <string mnemonic, Operand ImmOp, bits<2> MajOp>
3409   : T_StoreAbsGP_NV <mnemonic, ImmOp, MajOp, 1>, AddrModeRel {
3410
3411   string ImmOpStr = !cast<string>(ImmOp);
3412   let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3413                      !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3414                      !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3415                                       /* u16_0Imm */ 16)));
3416
3417   let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3418                       !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3419                       !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3420                                        /* u16_0Imm */ 0)));
3421 }
3422
3423 //===----------------------------------------------------------------------===//
3424 // Multiclass for new-value store instructions with absolute addressing.
3425 //===----------------------------------------------------------------------===//
3426 let validSubTargets = HasV4SubT, addrMode = Absolute, isExtended = 1  in
3427 multiclass ST_Abs_NV <string mnemonic, string CextOp, Operand ImmOp,
3428                    bits<2> MajOp> {
3429   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3430     let opExtendable = 0, isPredicable = 1 in
3431     def S2_#NAME#newabs : T_StoreAbs_NV <mnemonic, ImmOp, MajOp>;
3432
3433     // Predicated
3434     def S4_p#NAME#newt_abs  : T_StoreAbs_NV_Pred <mnemonic, MajOp, 0, 0>;
3435     def S4_p#NAME#newf_abs  : T_StoreAbs_NV_Pred <mnemonic, MajOp, 1, 0>;
3436
3437     // .new Predicated
3438     def S4_p#NAME#newtnew_abs : T_StoreAbs_NV_Pred <mnemonic, MajOp, 0, 1>;
3439     def S4_p#NAME#newfnew_abs : T_StoreAbs_NV_Pred <mnemonic, MajOp, 1, 1>;
3440   }
3441 }
3442
3443 //===----------------------------------------------------------------------===//
3444 // Stores with absolute addressing
3445 //===----------------------------------------------------------------------===//
3446 let accessSize = ByteAccess, isCodeGenOnly = 0 in
3447 defm storerb : ST_Abs    <"memb", "STrib", IntRegs, u16_0Imm, 0b00>,
3448                ST_Abs_NV <"memb", "STrib", u16_0Imm, 0b00>;
3449
3450 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in
3451 defm storerh : ST_Abs    <"memh", "STrih", IntRegs, u16_1Imm, 0b01>,
3452                ST_Abs_NV <"memh", "STrih", u16_1Imm, 0b01>;
3453
3454 let accessSize = WordAccess, isCodeGenOnly = 0 in
3455 defm storeri : ST_Abs    <"memw", "STriw", IntRegs, u16_2Imm, 0b10>,
3456                ST_Abs_NV <"memw", "STriw", u16_2Imm, 0b10>;
3457
3458 let isNVStorable = 0, accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
3459 defm storerd : ST_Abs <"memd", "STrid", DoubleRegs, u16_3Imm, 0b11>;
3460
3461 let isNVStorable = 0, accessSize = HalfWordAccess, isCodeGenOnly = 0 in
3462 defm storerf : ST_Abs <"memh", "STrif", IntRegs, u16_1Imm, 0b01, 1>;
3463
3464 //===----------------------------------------------------------------------===//
3465 // GP-relative stores.
3466 // mem[bhwd](#global)=Rt
3467 // Once predicated, these instructions map to absolute addressing mode.
3468 // if ([!]Pv[.new]) mem[bhwd](##global)=Rt
3469 //===----------------------------------------------------------------------===//
3470
3471 let validSubTargets = HasV4SubT in
3472 class T_StoreGP <string mnemonic, string BaseOp, RegisterClass RC,
3473                  Operand ImmOp, bits<2> MajOp, bit isHalf = 0>
3474   : T_StoreAbsGP <mnemonic, RC, ImmOp, MajOp, globaladdress, 0, isHalf> {
3475     // Set BaseOpcode same as absolute addressing instructions so that
3476     // non-predicated GP-Rel instructions can have relate with predicated
3477     // Absolute instruction.
3478     let BaseOpcode = BaseOp#_abs;
3479   }
3480
3481 let validSubTargets = HasV4SubT in
3482 multiclass ST_GP <string mnemonic, string BaseOp, Operand ImmOp,
3483                   bits<2> MajOp, bit isHalf = 0> {
3484   // Set BaseOpcode same as absolute addressing instructions so that
3485   // non-predicated GP-Rel instructions can have relate with predicated
3486   // Absolute instruction.
3487   let BaseOpcode = BaseOp#_abs in {
3488     def NAME#gp : T_StoreAbsGP <mnemonic, IntRegs, ImmOp, MajOp,
3489                                 globaladdress, 0, isHalf>;
3490     // New-value store
3491     def NAME#newgp : T_StoreAbsGP_NV <mnemonic, ImmOp, MajOp, 0> ;
3492   }
3493 }
3494
3495 let accessSize = ByteAccess in
3496 defm S2_storerb : ST_GP<"memb", "STrib", u16_0Imm, 0b00>, NewValueRel;
3497
3498 let accessSize = HalfWordAccess in
3499 defm S2_storerh : ST_GP<"memh", "STrih", u16_1Imm, 0b01>, NewValueRel;
3500
3501 let accessSize = WordAccess in
3502 defm S2_storeri : ST_GP<"memw", "STriw", u16_2Imm, 0b10>, NewValueRel;
3503
3504 let isNVStorable = 0, accessSize = DoubleWordAccess in
3505 def S2_storerdgp : T_StoreGP <"memd", "STrid", DoubleRegs,
3506                               u16_3Imm, 0b11>, PredNewRel;
3507
3508 let isNVStorable = 0, accessSize = HalfWordAccess in
3509 def S2_storerfgp : T_StoreGP <"memh", "STrif", IntRegs,
3510                               u16_1Imm, 0b01, 1>, PredNewRel;
3511
3512 let Predicates = [HasV4T], AddedComplexity = 30 in {
3513 def : Pat<(truncstorei8 (i32 IntRegs:$src1),
3514                         (HexagonCONST32 tglobaladdr:$absaddr)),
3515           (S2_storerbabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3516
3517 def : Pat<(truncstorei16 (i32 IntRegs:$src1),
3518                           (HexagonCONST32 tglobaladdr:$absaddr)),
3519           (S2_storerhabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3520
3521 def : Pat<(store (i32 IntRegs:$src1), (HexagonCONST32 tglobaladdr:$absaddr)),
3522           (S2_storeriabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3523
3524 def : Pat<(store (i64 DoubleRegs:$src1),
3525                  (HexagonCONST32 tglobaladdr:$absaddr)),
3526           (S2_storerdabs tglobaladdr: $absaddr, DoubleRegs: $src1)>;
3527 }
3528
3529 // 64 bit atomic store
3530 def : Pat <(atomic_store_64 (HexagonCONST32_GP tglobaladdr:$global),
3531                             (i64 DoubleRegs:$src1)),
3532            (S2_storerdgp tglobaladdr:$global, (i64 DoubleRegs:$src1))>,
3533            Requires<[HasV4T]>;
3534
3535 // Map from store(globaladdress) -> memd(#foo)
3536 let AddedComplexity = 100 in
3537 def : Pat <(store (i64 DoubleRegs:$src1),
3538                   (HexagonCONST32_GP tglobaladdr:$global)),
3539            (S2_storerdgp tglobaladdr:$global, (i64 DoubleRegs:$src1))>;
3540
3541 // 8 bit atomic store
3542 def : Pat < (atomic_store_8 (HexagonCONST32_GP tglobaladdr:$global),
3543                             (i32 IntRegs:$src1)),
3544             (S2_storerbgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3545
3546 // Map from store(globaladdress) -> memb(#foo)
3547 let AddedComplexity = 100 in
3548 def : Pat<(truncstorei8 (i32 IntRegs:$src1),
3549           (HexagonCONST32_GP tglobaladdr:$global)),
3550           (S2_storerbgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3551
3552 // Map from "i1 = constant<-1>; memw(CONST32(#foo)) = i1"
3553 //       to "r0 = 1; memw(#foo) = r0"
3554 let AddedComplexity = 100 in
3555 def : Pat<(store (i1 -1), (HexagonCONST32_GP tglobaladdr:$global)),
3556           (S2_storerbgp tglobaladdr:$global, (A2_tfrsi 1))>;
3557
3558 def : Pat<(atomic_store_16 (HexagonCONST32_GP tglobaladdr:$global),
3559                            (i32 IntRegs:$src1)),
3560           (S2_storerhgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3561
3562 // Map from store(globaladdress) -> memh(#foo)
3563 let AddedComplexity = 100 in
3564 def : Pat<(truncstorei16 (i32 IntRegs:$src1),
3565                          (HexagonCONST32_GP tglobaladdr:$global)),
3566           (S2_storerhgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3567
3568 // 32 bit atomic store
3569 def : Pat<(atomic_store_32 (HexagonCONST32_GP tglobaladdr:$global),
3570                            (i32 IntRegs:$src1)),
3571           (S2_storerigp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3572
3573 // Map from store(globaladdress) -> memw(#foo)
3574 let AddedComplexity = 100 in
3575 def : Pat<(store (i32 IntRegs:$src1), (HexagonCONST32_GP tglobaladdr:$global)),
3576           (S2_storerigp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3577
3578 //===----------------------------------------------------------------------===//
3579 // Template class for non predicated load instructions with
3580 // absolute addressing mode.
3581 //===----------------------------------------------------------------------===//
3582 let isPredicable = 1, hasSideEffects = 0, validSubTargets = HasV4SubT in
3583 class T_LoadAbsGP <string mnemonic, RegisterClass RC, Operand ImmOp,
3584                    bits<3> MajOp, Operand AddrOp, bit isAbs>
3585   : LDInst <(outs RC:$dst), (ins AddrOp:$addr),
3586   "$dst = "#mnemonic# !if(isAbs, "(##", "(#")#"$addr)",
3587   [], "", V2LDST_tc_ld_SLOT01> {
3588     bits<5> dst;
3589     bits<19> addr;
3590     bits<16> offsetBits;
3591
3592     string ImmOpStr = !cast<string>(ImmOp);
3593     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3594                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3595                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3596                                       /* u16_0Imm */ addr{15-0})));
3597
3598     let IClass = 0b0100;
3599
3600     let Inst{27}    = 0b1;
3601     let Inst{26-25} = offsetBits{15-14};
3602     let Inst{24}    = 0b1;
3603     let Inst{23-21} = MajOp;
3604     let Inst{20-16} = offsetBits{13-9};
3605     let Inst{13-5}  = offsetBits{8-0};
3606     let Inst{4-0}   = dst;
3607   }
3608
3609 class T_LoadAbs <string mnemonic, RegisterClass RC, Operand ImmOp,
3610                  bits<3> MajOp>
3611   : T_LoadAbsGP <mnemonic, RC, ImmOp, MajOp, u0AlwaysExt, 1>, AddrModeRel {
3612
3613     string ImmOpStr = !cast<string>(ImmOp);
3614     let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3615                        !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3616                        !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3617                                         /* u16_0Imm */ 16)));
3618
3619     let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3620                         !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3621                         !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3622                                         /* u16_0Imm */ 0)));
3623   }
3624 //===----------------------------------------------------------------------===//
3625 // Template class for predicated load instructions with
3626 // absolute addressing mode.
3627 //===----------------------------------------------------------------------===//
3628 let isPredicated = 1, hasNewValue = 1, opExtentBits = 6, opExtendable = 2 in
3629 class T_LoadAbs_Pred <string mnemonic, RegisterClass RC, bits<3> MajOp,
3630                       bit isPredNot, bit isPredNew>
3631   : LDInst <(outs RC:$dst), (ins PredRegs:$src1, u6Ext:$absaddr),
3632   !if(isPredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
3633   ") ")#"$dst = "#mnemonic#"(#$absaddr)">, AddrModeRel {
3634     bits<5> dst;
3635     bits<2> src1;
3636     bits<6> absaddr;
3637
3638     let isPredicatedNew = isPredNew;
3639     let isPredicatedFalse = isPredNot;
3640
3641     let IClass = 0b1001;
3642
3643     let Inst{27-24} = 0b1111;
3644     let Inst{23-21} = MajOp;
3645     let Inst{20-16} = absaddr{5-1};
3646     let Inst{13} = 0b1;
3647     let Inst{12} = isPredNew;
3648     let Inst{11} = isPredNot;
3649     let Inst{10-9} = src1;
3650     let Inst{8} = absaddr{0};
3651     let Inst{7} = 0b1;
3652     let Inst{4-0} = dst;
3653   }
3654
3655 //===----------------------------------------------------------------------===//
3656 // Multiclass for the load instructions with absolute addressing mode.
3657 //===----------------------------------------------------------------------===//
3658 multiclass LD_Abs_Pred<string mnemonic, RegisterClass RC, bits<3> MajOp,
3659                        bit PredNot> {
3660   def _abs : T_LoadAbs_Pred <mnemonic, RC, MajOp, PredNot, 0>;
3661   // Predicate new
3662   def new_abs : T_LoadAbs_Pred <mnemonic, RC, MajOp, PredNot, 1>;
3663 }
3664
3665 let addrMode = Absolute, isExtended = 1 in
3666 multiclass LD_Abs<string mnemonic, string CextOp, RegisterClass RC,
3667                   Operand ImmOp, bits<3> MajOp> {
3668   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3669     let opExtendable = 1, isPredicable = 1 in
3670     def L4_#NAME#_abs: T_LoadAbs <mnemonic, RC, ImmOp, MajOp>;
3671
3672     // Predicated
3673     defm L4_p#NAME#t : LD_Abs_Pred<mnemonic, RC, MajOp, 0>;
3674     defm L4_p#NAME#f : LD_Abs_Pred<mnemonic, RC, MajOp, 1>;
3675   }
3676 }
3677
3678 let accessSize = ByteAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
3679   defm loadrb  : LD_Abs<"memb",  "LDrib",  IntRegs, u16_0Imm, 0b000>;
3680   defm loadrub : LD_Abs<"memub", "LDriub", IntRegs, u16_0Imm, 0b001>;
3681 }
3682
3683 let accessSize = HalfWordAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
3684   defm loadrh  : LD_Abs<"memh",  "LDrih",  IntRegs, u16_1Imm, 0b010>;
3685   defm loadruh : LD_Abs<"memuh", "LDriuh", IntRegs, u16_1Imm, 0b011>;
3686 }
3687
3688 let accessSize = WordAccess, hasNewValue = 1, isCodeGenOnly = 0 in
3689 defm loadri  : LD_Abs<"memw",  "LDriw",  IntRegs, u16_2Imm, 0b100>;
3690
3691 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
3692 defm loadrd  : LD_Abs<"memd",  "LDrid", DoubleRegs, u16_3Imm, 0b110>;
3693
3694 //===----------------------------------------------------------------------===//
3695 // multiclass for load instructions with GP-relative addressing mode.
3696 // Rx=mem[bhwd](##global)
3697 // Once predicated, these instructions map to absolute addressing mode.
3698 // if ([!]Pv[.new]) Rx=mem[bhwd](##global)
3699 //===----------------------------------------------------------------------===//
3700
3701 class T_LoadGP <string mnemonic, string BaseOp, RegisterClass RC, Operand ImmOp,
3702                 bits<3> MajOp>
3703   : T_LoadAbsGP <mnemonic, RC, ImmOp, MajOp, globaladdress, 0>, PredNewRel {
3704     let BaseOpcode = BaseOp#_abs;
3705   }
3706
3707 let accessSize = ByteAccess, hasNewValue = 1 in {
3708   def L2_loadrbgp  : T_LoadGP<"memb",  "LDrib",  IntRegs, u16_0Imm, 0b000>;
3709   def L2_loadrubgp : T_LoadGP<"memub", "LDriub", IntRegs, u16_0Imm, 0b001>;
3710 }
3711
3712 let accessSize = HalfWordAccess, hasNewValue = 1 in {
3713   def L2_loadrhgp  : T_LoadGP<"memh",  "LDrih",  IntRegs, u16_1Imm, 0b010>;
3714   def L2_loadruhgp : T_LoadGP<"memuh", "LDriuh", IntRegs, u16_1Imm, 0b011>;
3715 }
3716
3717 let accessSize = WordAccess, hasNewValue = 1 in
3718 def L2_loadrigp  : T_LoadGP<"memw",  "LDriw",  IntRegs, u16_2Imm, 0b100>;
3719
3720 let accessSize = DoubleWordAccess in
3721 def L2_loadrdgp  : T_LoadGP<"memd", "LDrid", DoubleRegs, u16_3Imm, 0b110>;
3722
3723 let Predicates = [HasV4T], AddedComplexity  = 30 in {
3724 def : Pat<(i32 (load (HexagonCONST32 tglobaladdr:$absaddr))),
3725           (L4_loadri_abs tglobaladdr: $absaddr)>;
3726
3727 def : Pat<(i32 (sextloadi8 (HexagonCONST32 tglobaladdr:$absaddr))),
3728           (L4_loadrb_abs tglobaladdr:$absaddr)>;
3729
3730 def : Pat<(i32 (zextloadi8 (HexagonCONST32 tglobaladdr:$absaddr))),
3731           (L4_loadrub_abs tglobaladdr:$absaddr)>;
3732
3733 def : Pat<(i32 (sextloadi16 (HexagonCONST32 tglobaladdr:$absaddr))),
3734           (L4_loadrh_abs tglobaladdr:$absaddr)>;
3735
3736 def : Pat<(i32 (zextloadi16 (HexagonCONST32 tglobaladdr:$absaddr))),
3737           (L4_loadruh_abs tglobaladdr:$absaddr)>;
3738 }
3739
3740 def : Pat <(atomic_load_64 (HexagonCONST32_GP tglobaladdr:$global)),
3741            (i64 (L2_loadrdgp tglobaladdr:$global))>;
3742
3743 def : Pat <(atomic_load_32 (HexagonCONST32_GP tglobaladdr:$global)),
3744            (i32 (L2_loadrigp tglobaladdr:$global))>;
3745
3746 def : Pat <(atomic_load_16 (HexagonCONST32_GP tglobaladdr:$global)),
3747            (i32 (L2_loadruhgp tglobaladdr:$global))>;
3748
3749 def : Pat <(atomic_load_8 (HexagonCONST32_GP tglobaladdr:$global)),
3750            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3751
3752 // Map from load(globaladdress) -> memw(#foo + 0)
3753 let AddedComplexity = 100 in
3754 def : Pat <(i64 (load (HexagonCONST32_GP tglobaladdr:$global))),
3755            (i64 (L2_loadrdgp tglobaladdr:$global))>;
3756
3757 // Map from Pd = load(globaladdress) -> Rd = memb(globaladdress), Pd = Rd
3758 let AddedComplexity = 100 in
3759 def : Pat <(i1 (load (HexagonCONST32_GP tglobaladdr:$global))),
3760            (i1 (C2_tfrrp (i32 (L2_loadrbgp tglobaladdr:$global))))>;
3761
3762 // When the Interprocedural Global Variable optimizer realizes that a certain
3763 // global variable takes only two constant values, it shrinks the global to
3764 // a boolean. Catch those loads here in the following 3 patterns.
3765 let AddedComplexity = 100 in
3766 def : Pat <(i32 (extloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3767            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3768
3769 let AddedComplexity = 100 in
3770 def : Pat <(i32 (sextloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3771            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3772
3773 // Map from load(globaladdress) -> memb(#foo)
3774 let AddedComplexity = 100 in
3775 def : Pat <(i32 (extloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3776            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3777
3778 // Map from load(globaladdress) -> memb(#foo)
3779 let AddedComplexity = 100 in
3780 def : Pat <(i32 (sextloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3781            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3782
3783 let AddedComplexity = 100 in
3784 def : Pat <(i32 (zextloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3785            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3786
3787 // Map from load(globaladdress) -> memub(#foo)
3788 let AddedComplexity = 100 in
3789 def : Pat <(i32 (zextloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3790            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3791
3792 // Map from load(globaladdress) -> memh(#foo)
3793 let AddedComplexity = 100 in
3794 def : Pat <(i32 (extloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3795            (i32 (L2_loadrhgp tglobaladdr:$global))>;
3796
3797 // Map from load(globaladdress) -> memh(#foo)
3798 let AddedComplexity = 100 in
3799 def : Pat <(i32 (sextloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3800            (i32 (L2_loadrhgp tglobaladdr:$global))>;
3801
3802 // Map from load(globaladdress) -> memuh(#foo)
3803 let AddedComplexity = 100 in
3804 def : Pat <(i32 (zextloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3805            (i32 (L2_loadruhgp tglobaladdr:$global))>;
3806
3807 // Map from load(globaladdress) -> memw(#foo)
3808 let AddedComplexity = 100 in
3809 def : Pat <(i32 (load (HexagonCONST32_GP tglobaladdr:$global))),
3810            (i32 (L2_loadrigp tglobaladdr:$global))>;
3811
3812
3813 // Transfer global address into a register
3814 let isExtended = 1, opExtendable = 1, AddedComplexity=50, isMoveImm = 1,
3815 isAsCheapAsAMove = 1, isReMaterializable = 1, validSubTargets = HasV4SubT in
3816 def TFRI_V4 : ALU32_ri<(outs IntRegs:$dst), (ins s16Ext:$src1),
3817            "$dst = #$src1",
3818            [(set IntRegs:$dst, (HexagonCONST32 tglobaladdr:$src1))]>,
3819            Requires<[HasV4T]>;
3820
3821 // Transfer a block address into a register
3822 def : Pat<(HexagonCONST32_GP tblockaddress:$src1),
3823           (TFRI_V4 tblockaddress:$src1)>,
3824           Requires<[HasV4T]>;
3825
3826 let isExtended = 1, opExtendable = 2, AddedComplexity=50,
3827 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3828 def TFRI_cPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3829                            (ins PredRegs:$src1, s16Ext:$src2),
3830            "if($src1) $dst = #$src2",
3831            []>,
3832            Requires<[HasV4T]>;
3833
3834 let isExtended = 1, opExtendable = 2, AddedComplexity=50, isPredicatedFalse = 1,
3835 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3836 def TFRI_cNotPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3837                               (ins PredRegs:$src1, s16Ext:$src2),
3838            "if(!$src1) $dst = #$src2",
3839            []>,
3840            Requires<[HasV4T]>;
3841
3842 let isExtended = 1, opExtendable = 2, AddedComplexity=50,
3843 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3844 def TFRI_cdnPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3845                              (ins PredRegs:$src1, s16Ext:$src2),
3846            "if($src1.new) $dst = #$src2",
3847            []>,
3848            Requires<[HasV4T]>;
3849
3850 let isExtended = 1, opExtendable = 2, AddedComplexity=50, isPredicatedFalse = 1,
3851 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3852 def TFRI_cdnNotPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3853                                 (ins PredRegs:$src1, s16Ext:$src2),
3854            "if(!$src1.new) $dst = #$src2",
3855            []>,
3856            Requires<[HasV4T]>;
3857
3858 let AddedComplexity = 50, Predicates = [HasV4T] in
3859 def : Pat<(HexagonCONST32_GP tglobaladdr:$src1),
3860            (TFRI_V4 tglobaladdr:$src1)>,
3861            Requires<[HasV4T]>;
3862
3863
3864 // Load - Indirect with long offset: These instructions take global address
3865 // as an operand
3866 let isExtended = 1, opExtendable = 3, AddedComplexity = 40,
3867 validSubTargets = HasV4SubT in
3868 def LDrid_ind_lo_V4 : LDInst<(outs DoubleRegs:$dst),
3869             (ins IntRegs:$src1, u2Imm:$src2, globaladdressExt:$offset),
3870             "$dst=memd($src1<<#$src2+##$offset)",
3871             [(set (i64 DoubleRegs:$dst),
3872                   (load (add (shl IntRegs:$src1, u2ImmPred:$src2),
3873                         (HexagonCONST32 tglobaladdr:$offset))))]>,
3874             Requires<[HasV4T]>;
3875
3876 let AddedComplexity = 40 in
3877 multiclass LD_indirect_lo<string OpcStr, PatFrag OpNode> {
3878 let isExtended = 1, opExtendable = 3, validSubTargets = HasV4SubT in
3879   def _lo_V4 : LDInst<(outs IntRegs:$dst),
3880             (ins IntRegs:$src1, u2Imm:$src2, globaladdressExt:$offset),
3881             !strconcat("$dst = ",
3882             !strconcat(OpcStr, "($src1<<#$src2+##$offset)")),
3883             [(set IntRegs:$dst,
3884                   (i32 (OpNode (add (shl IntRegs:$src1, u2ImmPred:$src2),
3885                           (HexagonCONST32 tglobaladdr:$offset)))))]>,
3886             Requires<[HasV4T]>;
3887 }
3888
3889 defm LDrib_ind : LD_indirect_lo<"memb", sextloadi8>;
3890 defm LDriub_ind : LD_indirect_lo<"memub", zextloadi8>;
3891 defm LDriub_ind_anyext : LD_indirect_lo<"memub", extloadi8>;
3892 defm LDrih_ind : LD_indirect_lo<"memh", sextloadi16>;
3893 defm LDriuh_ind : LD_indirect_lo<"memuh", zextloadi16>;
3894 defm LDriuh_ind_anyext : LD_indirect_lo<"memuh", extloadi16>;
3895 defm LDriw_ind : LD_indirect_lo<"memw", load>;
3896
3897 let AddedComplexity = 40 in
3898 def : Pat <(i32 (sextloadi8 (add IntRegs:$src1,
3899                                  (NumUsesBelowThresCONST32 tglobaladdr:$offset)))),
3900            (i32 (LDrib_ind_lo_V4 IntRegs:$src1, 0, tglobaladdr:$offset))>,
3901            Requires<[HasV4T]>;
3902
3903 let AddedComplexity = 40 in
3904 def : Pat <(i32 (zextloadi8 (add IntRegs:$src1,
3905                                  (NumUsesBelowThresCONST32 tglobaladdr:$offset)))),
3906            (i32 (LDriub_ind_lo_V4 IntRegs:$src1, 0, tglobaladdr:$offset))>,
3907            Requires<[HasV4T]>;
3908
3909 let Predicates = [HasV4T], AddedComplexity  = 30 in {
3910 def : Pat<(truncstorei8 (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
3911           (S2_storerbabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
3912
3913 def : Pat<(truncstorei16 (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
3914           (S2_storerhabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
3915
3916 def : Pat<(store (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
3917           (S2_storeriabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
3918 }
3919
3920 let Predicates = [HasV4T], AddedComplexity  = 30 in {
3921 def : Pat<(i32 (load u0AlwaysExtPred:$src)),
3922           (L4_loadri_abs u0AlwaysExtPred:$src)>;
3923
3924 def : Pat<(i32 (sextloadi8 u0AlwaysExtPred:$src)),
3925           (L4_loadrb_abs u0AlwaysExtPred:$src)>;
3926
3927 def : Pat<(i32 (zextloadi8 u0AlwaysExtPred:$src)),
3928           (L4_loadrub_abs u0AlwaysExtPred:$src)>;
3929
3930 def : Pat<(i32 (sextloadi16 u0AlwaysExtPred:$src)),
3931           (L4_loadrh_abs u0AlwaysExtPred:$src)>;
3932
3933 def : Pat<(i32 (zextloadi16 u0AlwaysExtPred:$src)),
3934           (L4_loadruh_abs u0AlwaysExtPred:$src)>;
3935 }
3936
3937 // Indexed store word - global address.
3938 // memw(Rs+#u6:2)=#S8
3939 let AddedComplexity = 10 in
3940 def STriw_offset_ext_V4 : STInst<(outs),
3941             (ins IntRegs:$src1, u6_2Imm:$src2, globaladdress:$src3),
3942             "memw($src1+#$src2) = ##$src3",
3943             [(store (HexagonCONST32 tglobaladdr:$src3),
3944                     (add IntRegs:$src1, u6_2ImmPred:$src2))]>,
3945             Requires<[HasV4T]>;
3946
3947 def : Pat<(i64 (ctlz (i64 DoubleRegs:$src1))),
3948           (i64 (A4_combineir (i32 0), (i32 (S2_cl0p DoubleRegs:$src1))))>,
3949           Requires<[HasV4T]>;
3950
3951 def : Pat<(i64 (cttz (i64 DoubleRegs:$src1))),
3952           (i64 (A4_combineir (i32 0), (i32 (S2_ct0p DoubleRegs:$src1))))>,
3953           Requires<[HasV4T]>;
3954
3955
3956 // i8 -> i64 loads
3957 // We need a complexity of 120 here to override preceding handling of
3958 // zextloadi8.
3959 let Predicates = [HasV4T], AddedComplexity = 120 in {
3960 def:  Pat <(i64 (extloadi8 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3961       (i64 (A4_combineir 0, (L4_loadrb_abs tglobaladdr:$addr)))>;
3962
3963 def:  Pat <(i64 (zextloadi8 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3964       (i64 (A4_combineir 0, (L4_loadrub_abs tglobaladdr:$addr)))>;
3965
3966 def:  Pat <(i64 (sextloadi8 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3967       (i64 (A2_sxtw (L4_loadrb_abs tglobaladdr:$addr)))>;
3968
3969 def:  Pat <(i64 (extloadi8 FoldGlobalAddr:$addr)),
3970       (i64 (A4_combineir 0, (L4_loadrb_abs FoldGlobalAddr:$addr)))>;
3971
3972 def:  Pat <(i64 (zextloadi8 FoldGlobalAddr:$addr)),
3973       (i64 (A4_combineir 0, (L4_loadrub_abs FoldGlobalAddr:$addr)))>;
3974
3975 def:  Pat <(i64 (sextloadi8 FoldGlobalAddr:$addr)),
3976       (i64 (A2_sxtw (L4_loadrb_abs FoldGlobalAddr:$addr)))>;
3977 }
3978 // i16 -> i64 loads
3979 // We need a complexity of 120 here to override preceding handling of
3980 // zextloadi16.
3981 let AddedComplexity = 120 in {
3982 def:  Pat <(i64 (extloadi16 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3983       (i64 (A4_combineir 0, (L4_loadrh_abs tglobaladdr:$addr)))>,
3984       Requires<[HasV4T]>;
3985
3986 def:  Pat <(i64 (zextloadi16 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3987       (i64 (A4_combineir 0, (L4_loadruh_abs tglobaladdr:$addr)))>,
3988       Requires<[HasV4T]>;
3989
3990 def:  Pat <(i64 (sextloadi16 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
3991       (i64 (A2_sxtw (L4_loadrh_abs tglobaladdr:$addr)))>,
3992       Requires<[HasV4T]>;
3993
3994 def:  Pat <(i64 (extloadi16 FoldGlobalAddr:$addr)),
3995       (i64 (A4_combineir 0, (L4_loadrh_abs FoldGlobalAddr:$addr)))>,
3996       Requires<[HasV4T]>;
3997
3998 def:  Pat <(i64 (zextloadi16 FoldGlobalAddr:$addr)),
3999       (i64 (A4_combineir 0, (L4_loadruh_abs FoldGlobalAddr:$addr)))>,
4000       Requires<[HasV4T]>;
4001
4002 def:  Pat <(i64 (sextloadi16 FoldGlobalAddr:$addr)),
4003       (i64 (A2_sxtw (L4_loadrh_abs FoldGlobalAddr:$addr)))>,
4004       Requires<[HasV4T]>;
4005 }
4006 // i32->i64 loads
4007 // We need a complexity of 120 here to override preceding handling of
4008 // zextloadi32.
4009 let AddedComplexity = 120 in {
4010 def:  Pat <(i64 (extloadi32 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
4011       (i64 (A4_combineir 0, (L4_loadri_abs tglobaladdr:$addr)))>,
4012       Requires<[HasV4T]>;
4013
4014 def:  Pat <(i64 (zextloadi32 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
4015       (i64 (A4_combineir 0, (L4_loadri_abs tglobaladdr:$addr)))>,
4016       Requires<[HasV4T]>;
4017
4018 def:  Pat <(i64 (sextloadi32 (NumUsesBelowThresCONST32 tglobaladdr:$addr))),
4019       (i64 (A2_sxtw (L4_loadri_abs tglobaladdr:$addr)))>,
4020       Requires<[HasV4T]>;
4021
4022 def:  Pat <(i64 (extloadi32 FoldGlobalAddr:$addr)),
4023       (i64 (A4_combineir 0, (L4_loadri_abs FoldGlobalAddr:$addr)))>,
4024       Requires<[HasV4T]>;
4025
4026 def:  Pat <(i64 (zextloadi32 FoldGlobalAddr:$addr)),
4027       (i64 (A4_combineir 0, (L4_loadri_abs FoldGlobalAddr:$addr)))>,
4028       Requires<[HasV4T]>;
4029
4030 def:  Pat <(i64 (sextloadi32 FoldGlobalAddr:$addr)),
4031       (i64 (A2_sxtw (L4_loadri_abs FoldGlobalAddr:$addr)))>,
4032       Requires<[HasV4T]>;
4033 }
4034
4035 // Indexed store double word - global address.
4036 // memw(Rs+#u6:2)=#S8
4037 let AddedComplexity = 10 in
4038 def STrih_offset_ext_V4 : STInst<(outs),
4039             (ins IntRegs:$src1, u6_1Imm:$src2, globaladdress:$src3),
4040             "memh($src1+#$src2) = ##$src3",
4041             [(truncstorei16 (HexagonCONST32 tglobaladdr:$src3),
4042                     (add IntRegs:$src1, u6_1ImmPred:$src2))]>,
4043             Requires<[HasV4T]>;
4044 // Map from store(globaladdress + x) -> memd(#foo + x)
4045 let AddedComplexity = 100 in
4046 def : Pat<(store (i64 DoubleRegs:$src1),
4047                  FoldGlobalAddrGP:$addr),
4048           (S2_storerdabs FoldGlobalAddrGP:$addr, (i64 DoubleRegs:$src1))>,
4049           Requires<[HasV4T]>;
4050
4051 def : Pat<(atomic_store_64 FoldGlobalAddrGP:$addr,
4052                            (i64 DoubleRegs:$src1)),
4053           (S2_storerdabs FoldGlobalAddrGP:$addr, (i64 DoubleRegs:$src1))>,
4054           Requires<[HasV4T]>;
4055
4056 // Map from store(globaladdress + x) -> memb(#foo + x)
4057 let AddedComplexity = 100 in
4058 def : Pat<(truncstorei8 (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
4059           (S2_storerbabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4060             Requires<[HasV4T]>;
4061
4062 def : Pat<(atomic_store_8 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4063           (S2_storerbabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4064             Requires<[HasV4T]>;
4065
4066 // Map from store(globaladdress + x) -> memh(#foo + x)
4067 let AddedComplexity = 100 in
4068 def : Pat<(truncstorei16 (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
4069           (S2_storerhabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4070             Requires<[HasV4T]>;
4071
4072 def : Pat<(atomic_store_16 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4073           (S2_storerhabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4074             Requires<[HasV4T]>;
4075
4076 // Map from store(globaladdress + x) -> memw(#foo + x)
4077 let AddedComplexity = 100 in
4078 def : Pat<(store (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
4079           (S2_storeriabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4080            Requires<[HasV4T]>;
4081
4082 def : Pat<(atomic_store_32 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4083           (S2_storeriabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4084             Requires<[HasV4T]>;
4085
4086 // Map from load(globaladdress + x) -> memd(#foo + x)
4087 let AddedComplexity = 100 in
4088 def : Pat<(i64 (load FoldGlobalAddrGP:$addr)),
4089           (i64 (L4_loadrd_abs FoldGlobalAddrGP:$addr))>,
4090            Requires<[HasV4T]>;
4091
4092 def : Pat<(atomic_load_64 FoldGlobalAddrGP:$addr),
4093           (i64 (L4_loadrd_abs FoldGlobalAddrGP:$addr))>,
4094            Requires<[HasV4T]>;
4095
4096 // Map from load(globaladdress + x) -> memb(#foo + x)
4097 let AddedComplexity = 100 in
4098 def : Pat<(i32 (extloadi8 FoldGlobalAddrGP:$addr)),
4099           (i32 (L4_loadrb_abs FoldGlobalAddrGP:$addr))>,
4100            Requires<[HasV4T]>;
4101
4102 // Map from load(globaladdress + x) -> memb(#foo + x)
4103 let AddedComplexity = 100 in
4104 def : Pat<(i32 (sextloadi8 FoldGlobalAddrGP:$addr)),
4105           (i32 (L4_loadrb_abs FoldGlobalAddrGP:$addr))>,
4106            Requires<[HasV4T]>;
4107
4108 //let AddedComplexity = 100 in
4109 let AddedComplexity = 100 in
4110 def : Pat<(i32 (extloadi16 FoldGlobalAddrGP:$addr)),
4111           (i32 (L4_loadrh_abs FoldGlobalAddrGP:$addr))>,
4112            Requires<[HasV4T]>;
4113
4114 // Map from load(globaladdress + x) -> memh(#foo + x)
4115 let AddedComplexity = 100 in
4116 def : Pat<(i32 (sextloadi16 FoldGlobalAddrGP:$addr)),
4117           (i32 (L4_loadrh_abs FoldGlobalAddrGP:$addr))>,
4118            Requires<[HasV4T]>;
4119
4120 // Map from load(globaladdress + x) -> memuh(#foo + x)
4121 let AddedComplexity = 100 in
4122 def : Pat<(i32 (zextloadi16 FoldGlobalAddrGP:$addr)),
4123           (i32 (L4_loadruh_abs FoldGlobalAddrGP:$addr))>,
4124            Requires<[HasV4T]>;
4125
4126 def : Pat<(atomic_load_16 FoldGlobalAddrGP:$addr),
4127           (i32 (L4_loadruh_abs FoldGlobalAddrGP:$addr))>,
4128            Requires<[HasV4T]>;
4129
4130 // Map from load(globaladdress + x) -> memub(#foo + x)
4131 let AddedComplexity = 100 in
4132 def : Pat<(i32 (zextloadi8 FoldGlobalAddrGP:$addr)),
4133           (i32 (L4_loadrub_abs FoldGlobalAddrGP:$addr))>,
4134            Requires<[HasV4T]>;
4135
4136 def : Pat<(atomic_load_8 FoldGlobalAddrGP:$addr),
4137           (i32 (L4_loadrub_abs FoldGlobalAddrGP:$addr))>,
4138            Requires<[HasV4T]>;
4139
4140 // Map from load(globaladdress + x) -> memw(#foo + x)
4141 let AddedComplexity = 100 in
4142 def : Pat<(i32 (load FoldGlobalAddrGP:$addr)),
4143           (i32 (L4_loadri_abs FoldGlobalAddrGP:$addr))>,
4144            Requires<[HasV4T]>;
4145
4146 def : Pat<(atomic_load_32 FoldGlobalAddrGP:$addr),
4147           (i32 (L4_loadri_abs FoldGlobalAddrGP:$addr))>,
4148            Requires<[HasV4T]>;
4149
4150 //===----------------------------------------------------------------------===//
4151 // :raw for of boundscheck:hi:lo insns
4152 //===----------------------------------------------------------------------===//
4153
4154 // A4_boundscheck_lo: Detect if a register is within bounds.
4155 let hasSideEffects = 0, isCodeGenOnly = 0 in
4156 def A4_boundscheck_lo: ALU64Inst <
4157   (outs PredRegs:$Pd),
4158   (ins DoubleRegs:$Rss, DoubleRegs:$Rtt),
4159   "$Pd = boundscheck($Rss, $Rtt):raw:lo"> {
4160     bits<2> Pd;
4161     bits<5> Rss;
4162     bits<5> Rtt;
4163
4164     let IClass = 0b1101;
4165
4166     let Inst{27-23} = 0b00100;
4167     let Inst{13} = 0b1;
4168     let Inst{7-5} = 0b100;
4169     let Inst{1-0} = Pd;
4170     let Inst{20-16} = Rss;
4171     let Inst{12-8} = Rtt;
4172   }
4173
4174 // A4_boundscheck_hi: Detect if a register is within bounds.
4175 let hasSideEffects = 0, isCodeGenOnly = 0 in
4176 def A4_boundscheck_hi: ALU64Inst <
4177   (outs PredRegs:$Pd),
4178   (ins DoubleRegs:$Rss, DoubleRegs:$Rtt),
4179   "$Pd = boundscheck($Rss, $Rtt):raw:hi"> {
4180     bits<2> Pd;
4181     bits<5> Rss;
4182     bits<5> Rtt;
4183
4184     let IClass = 0b1101;
4185
4186     let Inst{27-23} = 0b00100;
4187     let Inst{13} = 0b1;
4188     let Inst{7-5} = 0b101;
4189     let Inst{1-0} = Pd;
4190     let Inst{20-16} = Rss;
4191     let Inst{12-8} = Rtt;
4192   }
4193
4194 let hasSideEffects = 0 in
4195 def A4_boundscheck : MInst <
4196   (outs PredRegs:$Pd), (ins IntRegs:$Rs, DoubleRegs:$Rtt),
4197   "$Pd=boundscheck($Rs,$Rtt)">;
4198
4199 // A4_tlbmatch: Detect if a VA/ASID matches a TLB entry.
4200 let isPredicateLate = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
4201 def A4_tlbmatch : ALU64Inst<(outs PredRegs:$Pd),
4202   (ins DoubleRegs:$Rs, IntRegs:$Rt),
4203   "$Pd = tlbmatch($Rs, $Rt)",
4204   [], "", ALU64_tc_2early_SLOT23> {
4205     bits<2> Pd;
4206     bits<5> Rs;
4207     bits<5> Rt;
4208
4209     let IClass = 0b1101;
4210     let Inst{27-23} = 0b00100;
4211     let Inst{20-16} = Rs;
4212     let Inst{13} = 0b1;
4213     let Inst{12-8} = Rt;
4214     let Inst{7-5} = 0b011;
4215     let Inst{1-0} = Pd;
4216   }
4217
4218 // We need custom lowering of ISD::PREFETCH into HexagonISD::DCFETCH
4219 // because the SDNode ISD::PREFETCH has properties MayLoad and MayStore.
4220 // We don't really want either one here.
4221 def SDTHexagonDCFETCH : SDTypeProfile<0, 2, [SDTCisPtrTy<0>,SDTCisInt<1>]>;
4222 def HexagonDCFETCH : SDNode<"HexagonISD::DCFETCH", SDTHexagonDCFETCH,
4223                             [SDNPHasChain]>;
4224
4225 // Use LD0Inst for dcfetch, but set "mayLoad" to 0 because this doesn't
4226 // really do a load.
4227 let hasSideEffects = 1, mayLoad = 0, isCodeGenOnly = 0 in
4228 def Y2_dcfetchbo : LD0Inst<(outs), (ins IntRegs:$Rs, u11_3Imm:$u11_3),
4229       "dcfetch($Rs + #$u11_3)",
4230       [(HexagonDCFETCH IntRegs:$Rs, u11_3ImmPred:$u11_3)],
4231       "", LD_tc_ld_SLOT0> {
4232   bits<5> Rs;
4233   bits<14> u11_3;
4234
4235   let IClass = 0b1001;
4236   let Inst{27-21} = 0b0100000;
4237   let Inst{20-16} = Rs;
4238   let Inst{13} = 0b0;
4239   let Inst{10-0} = u11_3{13-3};
4240 }
4241
4242 //===----------------------------------------------------------------------===//
4243 // Compound instructions
4244 //===----------------------------------------------------------------------===//
4245
4246 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4247     isPredicated = 1, isPredicatedNew = 1, isExtendable = 1,
4248     opExtentBits = 11, opExtentAlign = 2, opExtendable = 1,
4249     isTerminator = 1, validSubTargets = HasV4SubT in
4250 class CJInst_tstbit_R0<string px, bit np, string tnt>
4251   : InstHexagon<(outs), (ins IntRegs:$Rs, brtarget:$r9_2),
4252   ""#px#" = tstbit($Rs, #0); if ("
4253     #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4254   [], "", COMPOUND, TypeCOMPOUND> {
4255   bits<4> Rs;
4256   bits<11> r9_2;
4257
4258   // np: !p[01]
4259   let isPredicatedFalse = np;
4260   // tnt: Taken/Not Taken
4261   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4262   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4263
4264   let IClass = 0b0001;
4265   let Inst{27-26} = 0b00;
4266   let Inst{25} = !if (!eq(px, "!p1"), 1,
4267                  !if (!eq(px,  "p1"), 1, 0));
4268   let Inst{24-23} = 0b11;
4269   let Inst{22} = np;
4270   let Inst{21-20} = r9_2{10-9};
4271   let Inst{19-16} = Rs;
4272   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4273   let Inst{9-8} = 0b11;
4274   let Inst{7-1} = r9_2{8-2};
4275 }
4276
4277 let Defs = [PC, P0], Uses = [P0], isCodeGenOnly = 0 in {
4278   def J4_tstbit0_tp0_jump_nt : CJInst_tstbit_R0<"p0", 0, "nt">;
4279   def J4_tstbit0_tp0_jump_t : CJInst_tstbit_R0<"p0", 0, "t">;
4280   def J4_tstbit0_fp0_jump_nt : CJInst_tstbit_R0<"p0", 1, "nt">;
4281   def J4_tstbit0_fp0_jump_t : CJInst_tstbit_R0<"p0", 1, "t">;
4282 }
4283
4284 let Defs = [PC, P1], Uses = [P1], isCodeGenOnly = 0 in {
4285   def J4_tstbit0_tp1_jump_nt : CJInst_tstbit_R0<"p1", 0, "nt">;
4286   def J4_tstbit0_tp1_jump_t : CJInst_tstbit_R0<"p1", 0, "t">;
4287   def J4_tstbit0_fp1_jump_nt : CJInst_tstbit_R0<"p1", 1, "nt">;
4288   def J4_tstbit0_fp1_jump_t : CJInst_tstbit_R0<"p1", 1, "t">;
4289 }
4290
4291
4292 let isBranch = 1, hasSideEffects = 0,
4293     isExtentSigned = 1, isPredicated = 1, isPredicatedNew = 1,
4294     isExtendable = 1, opExtentBits = 11, opExtentAlign = 2,
4295     opExtendable = 2, isTerminator = 1, validSubTargets = HasV4SubT in
4296 class CJInst_RR<string px, string op, bit np, string tnt>
4297   : InstHexagon<(outs), (ins IntRegs:$Rs, IntRegs:$Rt, brtarget:$r9_2),
4298   ""#px#" = cmp."#op#"($Rs, $Rt); if ("
4299    #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4300   [], "", COMPOUND, TypeCOMPOUND> {
4301   bits<4> Rs;
4302   bits<4> Rt;
4303   bits<11> r9_2;
4304
4305   // np: !p[01]
4306   let isPredicatedFalse = np;
4307   // tnt: Taken/Not Taken
4308   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4309   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4310
4311   let IClass = 0b0001;
4312   let Inst{27-23} = !if (!eq(op, "eq"),  0b01000,
4313                     !if (!eq(op, "gt"),  0b01001,
4314                     !if (!eq(op, "gtu"), 0b01010, 0)));
4315   let Inst{22} = np;
4316   let Inst{21-20} = r9_2{10-9};
4317   let Inst{19-16} = Rs;
4318   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4319   // px: Predicate reg 0/1
4320   let Inst{12} = !if (!eq(px, "!p1"), 1,
4321                  !if (!eq(px,  "p1"), 1, 0));
4322   let Inst{11-8} = Rt;
4323   let Inst{7-1} = r9_2{8-2};
4324 }
4325
4326 // P[10] taken/not taken.
4327 multiclass T_tnt_CJInst_RR<string op, bit np> {
4328   let Defs = [PC, P0], Uses = [P0] in {
4329     def NAME#p0_jump_nt : CJInst_RR<"p0", op, np, "nt">;
4330     def NAME#p0_jump_t : CJInst_RR<"p0", op, np, "t">;
4331   }
4332   let Defs = [PC, P1], Uses = [P1] in {
4333     def NAME#p1_jump_nt : CJInst_RR<"p1", op, np, "nt">;
4334     def NAME#p1_jump_t : CJInst_RR<"p1", op, np, "t">;
4335   }
4336 }
4337 // Predicate / !Predicate
4338 multiclass T_pnp_CJInst_RR<string op>{
4339   defm J4_cmp#NAME#_t : T_tnt_CJInst_RR<op, 0>;
4340   defm J4_cmp#NAME#_f : T_tnt_CJInst_RR<op, 1>;
4341 }
4342 // TypeCJ Instructions compare RR and jump
4343 let isCodeGenOnly = 0 in {
4344 defm eq : T_pnp_CJInst_RR<"eq">;
4345 defm gt : T_pnp_CJInst_RR<"gt">;
4346 defm gtu : T_pnp_CJInst_RR<"gtu">;
4347 }
4348
4349 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4350     isPredicated = 1, isPredicatedNew = 1, isExtendable = 1, opExtentBits = 11,
4351     opExtentAlign = 2, opExtendable = 2, isTerminator = 1,
4352     validSubTargets = HasV4SubT in
4353 class CJInst_RU5<string px, string op, bit np, string tnt>
4354   : InstHexagon<(outs), (ins IntRegs:$Rs, u5Imm:$U5, brtarget:$r9_2),
4355   ""#px#" = cmp."#op#"($Rs, #$U5); if ("
4356     #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4357   [], "", COMPOUND, TypeCOMPOUND> {
4358   bits<4> Rs;
4359   bits<5> U5;
4360   bits<11> r9_2;
4361
4362   // np: !p[01]
4363   let isPredicatedFalse = np;
4364   // tnt: Taken/Not Taken
4365   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4366   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4367
4368   let IClass = 0b0001;
4369   let Inst{27-26} = 0b00;
4370   // px: Predicate reg 0/1
4371   let Inst{25} = !if (!eq(px, "!p1"), 1,
4372                  !if (!eq(px,  "p1"), 1, 0));
4373   let Inst{24-23} = !if (!eq(op, "eq"),  0b00,
4374                     !if (!eq(op, "gt"),  0b01,
4375                     !if (!eq(op, "gtu"), 0b10, 0)));
4376   let Inst{22} = np;
4377   let Inst{21-20} = r9_2{10-9};
4378   let Inst{19-16} = Rs;
4379   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4380   let Inst{12-8} = U5;
4381   let Inst{7-1} = r9_2{8-2};
4382 }
4383 // P[10] taken/not taken.
4384 multiclass T_tnt_CJInst_RU5<string op, bit np> {
4385   let Defs = [PC, P0], Uses = [P0] in {
4386     def NAME#p0_jump_nt : CJInst_RU5<"p0", op, np, "nt">;
4387     def NAME#p0_jump_t : CJInst_RU5<"p0", op, np, "t">;
4388   }
4389   let Defs = [PC, P1], Uses = [P1] in {
4390     def NAME#p1_jump_nt : CJInst_RU5<"p1", op, np, "nt">;
4391     def NAME#p1_jump_t : CJInst_RU5<"p1", op, np, "t">;
4392   }
4393 }
4394 // Predicate / !Predicate
4395 multiclass T_pnp_CJInst_RU5<string op>{
4396   defm J4_cmp#NAME#i_t : T_tnt_CJInst_RU5<op, 0>;
4397   defm J4_cmp#NAME#i_f : T_tnt_CJInst_RU5<op, 1>;
4398 }
4399 // TypeCJ Instructions compare RI and jump
4400 let isCodeGenOnly = 0 in {
4401 defm eq : T_pnp_CJInst_RU5<"eq">;
4402 defm gt : T_pnp_CJInst_RU5<"gt">;
4403 defm gtu : T_pnp_CJInst_RU5<"gtu">;
4404 }
4405
4406 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4407     isPredicated = 1, isPredicatedFalse = 1, isPredicatedNew = 1,
4408     isExtendable = 1, opExtentBits = 11, opExtentAlign = 2, opExtendable = 1,
4409     isTerminator = 1, validSubTargets = HasV4SubT in
4410 class CJInst_Rn1<string px, string op, bit np, string tnt>
4411   : InstHexagon<(outs), (ins IntRegs:$Rs, brtarget:$r9_2),
4412   ""#px#" = cmp."#op#"($Rs,#-1); if ("
4413   #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4414   [], "", COMPOUND, TypeCOMPOUND> {
4415   bits<4> Rs;
4416   bits<11> r9_2;
4417
4418   // np: !p[01]
4419   let isPredicatedFalse = np;
4420   // tnt: Taken/Not Taken
4421   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4422   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4423
4424   let IClass = 0b0001;
4425   let Inst{27-26} = 0b00;
4426   let Inst{25} = !if (!eq(px, "!p1"), 1,
4427                  !if (!eq(px,  "p1"), 1, 0));
4428
4429   let Inst{24-23} = 0b11;
4430   let Inst{22} = np;
4431   let Inst{21-20} = r9_2{10-9};
4432   let Inst{19-16} = Rs;
4433   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4434   let Inst{9-8} = !if (!eq(op, "eq"),  0b00,
4435                   !if (!eq(op, "gt"),  0b01, 0));
4436   let Inst{7-1} = r9_2{8-2};
4437 }
4438
4439 // P[10] taken/not taken.
4440 multiclass T_tnt_CJInst_Rn1<string op, bit np> {
4441   let Defs = [PC, P0], Uses = [P0] in {
4442     def NAME#p0_jump_nt : CJInst_Rn1<"p0", op, np, "nt">;
4443     def NAME#p0_jump_t : CJInst_Rn1<"p0", op, np, "t">;
4444   }
4445   let Defs = [PC, P1], Uses = [P1] in {
4446     def NAME#p1_jump_nt : CJInst_Rn1<"p1", op, np, "nt">;
4447     def NAME#p1_jump_t : CJInst_Rn1<"p1", op, np, "t">;
4448   }
4449 }
4450 // Predicate / !Predicate
4451 multiclass T_pnp_CJInst_Rn1<string op>{
4452   defm J4_cmp#NAME#n1_t : T_tnt_CJInst_Rn1<op, 0>;
4453   defm J4_cmp#NAME#n1_f : T_tnt_CJInst_Rn1<op, 1>;
4454 }
4455 // TypeCJ Instructions compare -1 and jump
4456 let isCodeGenOnly = 0 in {
4457 defm eq : T_pnp_CJInst_Rn1<"eq">;
4458 defm gt : T_pnp_CJInst_Rn1<"gt">;
4459 }
4460
4461 // J4_jumpseti: Direct unconditional jump and set register to immediate.
4462 let Defs = [PC], isBranch = 1, hasSideEffects = 0, hasNewValue = 1,
4463     isExtentSigned = 1, opNewValue = 0, isExtendable = 1, opExtentBits = 11,
4464     opExtentAlign = 2, opExtendable = 2, validSubTargets = HasV4SubT,
4465     isCodeGenOnly = 0 in
4466 def J4_jumpseti: CJInst <
4467   (outs IntRegs:$Rd),
4468   (ins u6Imm:$U6, brtarget:$r9_2),
4469   "$Rd = #$U6 ; jump $r9_2"> {
4470     bits<4> Rd;
4471     bits<6> U6;
4472     bits<11> r9_2;
4473
4474     let IClass = 0b0001;
4475     let Inst{27-24} = 0b0110;
4476     let Inst{21-20} = r9_2{10-9};
4477     let Inst{19-16} = Rd;
4478     let Inst{13-8} = U6;
4479     let Inst{7-1} = r9_2{8-2};
4480   }
4481
4482 // J4_jumpsetr: Direct unconditional jump and transfer register.
4483 let Defs = [PC], isBranch = 1, hasSideEffects = 0, hasNewValue = 1,
4484     isExtentSigned = 1, opNewValue = 0, isExtendable = 1, opExtentBits = 11,
4485     opExtentAlign = 2, opExtendable = 2, validSubTargets = HasV4SubT,
4486     isCodeGenOnly = 0 in
4487 def J4_jumpsetr: CJInst <
4488   (outs IntRegs:$Rd),
4489   (ins IntRegs:$Rs, brtarget:$r9_2),
4490   "$Rd = $Rs ; jump $r9_2"> {
4491     bits<4> Rd;
4492     bits<4> Rs;
4493     bits<11> r9_2;
4494
4495     let IClass = 0b0001;
4496     let Inst{27-24} = 0b0111;
4497     let Inst{21-20} = r9_2{10-9};
4498     let Inst{11-8} = Rd;
4499     let Inst{19-16} = Rs;
4500     let Inst{7-1} = r9_2{8-2};
4501   }