lib/Target/Hexagon/HexagonInstrInfoV4.td

   1 //=- HexagonInstrInfoV4.td - Target Desc. for Hexagon Target -*- tablegen -*-=//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file describes the Hexagon V4 instructions in TableGen format.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 def addrga: PatLeaf<(i32 AddrGA:$Addr)>;
  15
  16 let hasSideEffects = 0 in
  17 class T_Immext<Operand ImmType>
  18   : EXTENDERInst<(outs), (ins ImmType:$imm),
  19                  "immext(#$imm)", []> {
  20     bits<32> imm;
  21     let IClass = 0b0000;
  22
  23     let Inst{27-16} = imm{31-20};
  24     let Inst{13-0} = imm{19-6};
  25   }
  26
  27 def A4_ext : T_Immext<u26_6Imm>;
  28 let isCodeGenOnly = 1 in {
  29   let isBranch = 1 in
  30     def A4_ext_b : T_Immext<brtarget>;
  31   let isCall = 1 in
  32     def A4_ext_c : T_Immext<calltarget>;
  33   def A4_ext_g : T_Immext<globaladdress>;
  34 }
  35
  36 def BITPOS32 : SDNodeXForm<imm, [{
  37    // Return the bit position we will set [0-31].
  38    // As an SDNode.
  39    int32_t imm = N->getSExtValue();
  40    return XformMskToBitPosU5Imm(imm);
  41 }]>;
  42
  43 // Fold (add (CONST32 tglobaladdr:$addr) <offset>) into a global address.
  44 def FoldGlobalAddr : ComplexPattern<i32, 1, "foldGlobalAddress", [], []>;
  45
  46 // Fold (add (CONST32_GP tglobaladdr:$addr) <offset>) into a global address.
  47 def FoldGlobalAddrGP : ComplexPattern<i32, 1, "foldGlobalAddressGP", [], []>;
  48
  49 def NumUsesBelowThresCONST32 : PatFrag<(ops node:$addr),
  50                                        (HexagonCONST32 node:$addr), [{
  51   return hasNumUsesBelowThresGA(N->getOperand(0).getNode());
  52 }]>;
  53
  54 // Hexagon V4 Architecture spec defines 8 instruction classes:
  55 // LD ST ALU32 XTYPE J JR MEMOP NV CR SYSTEM(system is not implemented in the
  56 // compiler)
  57
  58 // LD Instructions:
  59 // ========================================
  60 // Loads (8/16/32/64 bit)
  61 // Deallocframe
  62
  63 // ST Instructions:
  64 // ========================================
  65 // Stores (8/16/32/64 bit)
  66 // Allocframe
  67
  68 // ALU32 Instructions:
  69 // ========================================
  70 // Arithmetic / Logical (32 bit)
  71 // Vector Halfword
  72
  73 // XTYPE Instructions (32/64 bit):
  74 // ========================================
  75 // Arithmetic, Logical, Bit Manipulation
  76 // Multiply (Integer, Fractional, Complex)
  77 // Permute / Vector Permute Operations
  78 // Predicate Operations
  79 // Shift / Shift with Add/Sub/Logical
  80 // Vector Byte ALU
  81 // Vector Halfword (ALU, Shift, Multiply)
  82 // Vector Word (ALU, Shift)
  83
  84 // J Instructions:
  85 // ========================================
  86 // Jump/Call PC-relative
  87
  88 // JR Instructions:
  89 // ========================================
  90 // Jump/Call Register
  91
  92 // MEMOP Instructions:
  93 // ========================================
  94 // Operation on memory (8/16/32 bit)
  95
  96 // NV Instructions:
  97 // ========================================
  98 // New-value Jumps
  99 // New-value Stores
 100
 101 // CR Instructions:
 102 // ========================================
 103 // Control-Register Transfers
 104 // Hardware Loop Setup
 105 // Predicate Logicals & Reductions
 106
 107 // SYSTEM Instructions (not implemented in the compiler):
 108 // ========================================
 109 // Prefetch
 110 // Cache Maintenance
 111 // Bus Operations
 112
 113
 114 //===----------------------------------------------------------------------===//
 115 // ALU32 +
 116 //===----------------------------------------------------------------------===//
 117
 118 class T_ALU32_3op_not<string mnemonic, bits<3> MajOp, bits<3> MinOp,
 119                       bit OpsRev>
 120   : T_ALU32_3op<mnemonic, MajOp, MinOp, OpsRev, 0> {
 121   let AsmString = "$Rd = "#mnemonic#"($Rs, ~$Rt)";
 122 }
 123
 124 let BaseOpcode = "andn_rr", CextOpcode = "andn", isCodeGenOnly = 0 in
 125 def A4_andn    : T_ALU32_3op_not<"and", 0b001, 0b100, 1>;
 126 let BaseOpcode = "orn_rr", CextOpcode = "orn", isCodeGenOnly = 0 in
 127 def A4_orn     : T_ALU32_3op_not<"or",  0b001, 0b101, 1>;
 128
 129 let CextOpcode = "rcmp.eq", isCodeGenOnly = 0 in
 130 def A4_rcmpeq  : T_ALU32_3op<"cmp.eq",  0b011, 0b010, 0, 1>;
 131 let CextOpcode = "!rcmp.eq", isCodeGenOnly = 0 in
 132 def A4_rcmpneq : T_ALU32_3op<"!cmp.eq", 0b011, 0b011, 0, 1>;
 133
 134 let isCodeGenOnly = 0 in {
 135 def C4_cmpneq  : T_ALU32_3op_cmp<"!cmp.eq",  0b00, 1, 1>;
 136 def C4_cmplte  : T_ALU32_3op_cmp<"!cmp.gt",  0b10, 1, 0>;
 137 def C4_cmplteu : T_ALU32_3op_cmp<"!cmp.gtu", 0b11, 1, 0>;
 138 }
 139
 140 // Pats for instruction selection.
 141
 142 // A class to embed the usual comparison patfrags within a zext to i32.
 143 // The seteq/setne frags use "lhs" and "rhs" as operands, so use the same
 144 // names, or else the frag's "body" won't match the operands.
 145 class CmpInReg<PatFrag Op>
 146   : PatFrag<(ops node:$lhs, node:$rhs),(i32 (zext (i1 Op.Fragment)))>;
 147
 148 def: T_cmp32_rr_pat<A4_rcmpeq,  CmpInReg<seteq>, i32>;
 149 def: T_cmp32_rr_pat<A4_rcmpneq, CmpInReg<setne>, i32>;
 150
 151 def: T_cmp32_rr_pat<C4_cmpneq,  setne,  i1>;
 152
 153 class T_CMP_rrbh<string mnemonic, bits<3> MinOp, bit IsComm>
 154   : SInst<(outs PredRegs:$Pd), (ins IntRegs:$Rs, IntRegs:$Rt),
 155     "$Pd = "#mnemonic#"($Rs, $Rt)", [], "", S_3op_tc_2early_SLOT23>,
 156     ImmRegRel {
 157   let validSubTargets = HasV4SubT;
 158   let InputType = "reg";
 159   let CextOpcode = mnemonic;
 160   let isCompare = 1;
 161   let isCommutable = IsComm;
 162   let hasSideEffects = 0;
 163
 164   bits<2> Pd;
 165   bits<5> Rs;
 166   bits<5> Rt;
 167
 168   let IClass = 0b1100;
 169   let Inst{27-21} = 0b0111110;
 170   let Inst{20-16} = Rs;
 171   let Inst{12-8} = Rt;
 172   let Inst{7-5} = MinOp;
 173   let Inst{1-0} = Pd;
 174 }
 175
 176 let isCodeGenOnly = 0 in {
 177 def A4_cmpbeq  : T_CMP_rrbh<"cmpb.eq",  0b110, 1>;
 178 def A4_cmpbgt  : T_CMP_rrbh<"cmpb.gt",  0b010, 0>;
 179 def A4_cmpbgtu : T_CMP_rrbh<"cmpb.gtu", 0b111, 0>;
 180 def A4_cmpheq  : T_CMP_rrbh<"cmph.eq",  0b011, 1>;
 181 def A4_cmphgt  : T_CMP_rrbh<"cmph.gt",  0b100, 0>;
 182 def A4_cmphgtu : T_CMP_rrbh<"cmph.gtu", 0b101, 0>;
 183 }
 184
 185 class T_CMP_ribh<string mnemonic, bits<2> MajOp, bit IsHalf, bit IsComm,
 186                  Operand ImmType, bit IsImmExt, bit IsImmSigned, int ImmBits>
 187   : ALU64Inst<(outs PredRegs:$Pd), (ins IntRegs:$Rs, ImmType:$Imm),
 188     "$Pd = "#mnemonic#"($Rs, #$Imm)", [], "", ALU64_tc_2early_SLOT23>,
 189     ImmRegRel {
 190   let validSubTargets = HasV4SubT;
 191   let InputType = "imm";
 192   let CextOpcode = mnemonic;
 193   let isCompare = 1;
 194   let isCommutable = IsComm;
 195   let hasSideEffects = 0;
 196   let isExtendable = IsImmExt;
 197   let opExtendable = !if (IsImmExt, 2, 0);
 198   let isExtentSigned = IsImmSigned;
 199   let opExtentBits = ImmBits;
 200
 201   bits<2> Pd;
 202   bits<5> Rs;
 203   bits<8> Imm;
 204
 205   let IClass = 0b1101;
 206   let Inst{27-24} = 0b1101;
 207   let Inst{22-21} = MajOp;
 208   let Inst{20-16} = Rs;
 209   let Inst{12-5} = Imm;
 210   let Inst{4} = 0b0;
 211   let Inst{3} = IsHalf;
 212   let Inst{1-0} = Pd;
 213 }
 214
 215 let isCodeGenOnly = 0 in {
 216 def A4_cmpbeqi  : T_CMP_ribh<"cmpb.eq",  0b00, 0, 1, u8Imm, 0, 0, 8>;
 217 def A4_cmpbgti  : T_CMP_ribh<"cmpb.gt",  0b01, 0, 0, s8Imm, 0, 1, 8>;
 218 def A4_cmpbgtui : T_CMP_ribh<"cmpb.gtu", 0b10, 0, 0, u7Ext, 1, 0, 7>;
 219 def A4_cmpheqi  : T_CMP_ribh<"cmph.eq",  0b00, 1, 1, s8Ext, 1, 1, 8>;
 220 def A4_cmphgti  : T_CMP_ribh<"cmph.gt",  0b01, 1, 0, s8Ext, 1, 1, 8>;
 221 def A4_cmphgtui : T_CMP_ribh<"cmph.gtu", 0b10, 1, 0, u7Ext, 1, 0, 7>;
 222 }
 223 class T_RCMP_EQ_ri<string mnemonic, bit IsNeg>
 224   : ALU32_ri<(outs IntRegs:$Rd), (ins IntRegs:$Rs, s8Ext:$s8),
 225     "$Rd = "#mnemonic#"($Rs, #$s8)", [], "", ALU32_2op_tc_1_SLOT0123>,
 226     ImmRegRel {
 227   let validSubTargets = HasV4SubT;
 228   let InputType = "imm";
 229   let CextOpcode = !if (IsNeg, "!rcmp.eq", "rcmp.eq");
 230   let isExtendable = 1;
 231   let opExtendable = 2;
 232   let isExtentSigned = 1;
 233   let opExtentBits = 8;
 234   let hasNewValue = 1;
 235
 236   bits<5> Rd;
 237   bits<5> Rs;
 238   bits<8> s8;
 239
 240   let IClass = 0b0111;
 241   let Inst{27-24} = 0b0011;
 242   let Inst{22} = 0b1;
 243   let Inst{21} = IsNeg;
 244   let Inst{20-16} = Rs;
 245   let Inst{13} = 0b1;
 246   let Inst{12-5} = s8;
 247   let Inst{4-0} = Rd;
 248 }
 249
 250 let isCodeGenOnly = 0 in {
 251 def A4_rcmpeqi  : T_RCMP_EQ_ri<"cmp.eq",  0>;
 252 def A4_rcmpneqi : T_RCMP_EQ_ri<"!cmp.eq", 1>;
 253 }
 254
 255 def: Pat<(i32 (zext (i1 (seteq (i32 IntRegs:$Rs), s8ExtPred:$s8)))),
 256          (A4_rcmpeqi IntRegs:$Rs, s8ExtPred:$s8)>;
 257 def: Pat<(i32 (zext (i1 (setne (i32 IntRegs:$Rs), s8ExtPred:$s8)))),
 258          (A4_rcmpneqi IntRegs:$Rs, s8ExtPred:$s8)>;
 259
 260 // Preserve the S2_tstbit_r generation
 261 def: Pat<(i32 (zext (i1 (setne (i32 (and (i32 (shl 1, (i32 IntRegs:$src2))),
 262                                          (i32 IntRegs:$src1))), 0)))),
 263          (C2_muxii (S2_tstbit_r IntRegs:$src1, IntRegs:$src2), 1, 0)>;
 264
 265
 266 //===----------------------------------------------------------------------===//
 267 // ALU32 -
 268 //===----------------------------------------------------------------------===//
 269
 270
 271 //===----------------------------------------------------------------------===//
 272 // ALU32/PERM +
 273 //===----------------------------------------------------------------------===//
 274
 275 // Combine a word and an immediate into a register pair.
 276 let hasSideEffects = 0, isExtentSigned = 1, isExtendable = 1,
 277     opExtentBits = 8 in
 278 class T_Combine1 <bits<2> MajOp, dag ins, string AsmStr>
 279   : ALU32Inst <(outs DoubleRegs:$Rdd), ins, AsmStr> {
 280     bits<5> Rdd;
 281     bits<5> Rs;
 282     bits<8> s8;
 283
 284     let IClass      = 0b0111;
 285     let Inst{27-24} = 0b0011;
 286     let Inst{22-21} = MajOp;
 287     let Inst{20-16} = Rs;
 288     let Inst{13}    = 0b1;
 289     let Inst{12-5}  = s8;
 290     let Inst{4-0}   = Rdd;
 291   }
 292
 293 let opExtendable = 2, isCodeGenOnly = 0 in
 294 def A4_combineri : T_Combine1<0b00, (ins IntRegs:$Rs, s8Ext:$s8),
 295                                     "$Rdd = combine($Rs, #$s8)">;
 296
 297 let opExtendable = 1, isCodeGenOnly = 0 in
 298 def A4_combineir : T_Combine1<0b01, (ins s8Ext:$s8, IntRegs:$Rs),
 299                                     "$Rdd = combine(#$s8, $Rs)">;
 300
 301 def HexagonWrapperCombineRI_V4 :
 302   SDNode<"HexagonISD::WrapperCombineRI_V4", SDTHexagonI64I32I32>;
 303 def HexagonWrapperCombineIR_V4 :
 304   SDNode<"HexagonISD::WrapperCombineIR_V4", SDTHexagonI64I32I32>;
 305
 306 def : Pat <(HexagonWrapperCombineRI_V4 IntRegs:$r, s8ExtPred:$i),
 307            (A4_combineri IntRegs:$r, s8ExtPred:$i)>,
 308           Requires<[HasV4T]>;
 309
 310 def : Pat <(HexagonWrapperCombineIR_V4 s8ExtPred:$i, IntRegs:$r),
 311            (A4_combineir s8ExtPred:$i, IntRegs:$r)>,
 312           Requires<[HasV4T]>;
 313
 314 // A4_combineii: Set two small immediates.
 315 let hasSideEffects = 0, isExtendable = 1, opExtentBits = 6, opExtendable = 2 in
 316 def A4_combineii: ALU32Inst<(outs DoubleRegs:$Rdd), (ins s8Imm:$s8, u6Ext:$U6),
 317   "$Rdd = combine(#$s8, #$U6)"> {
 318     bits<5> Rdd;
 319     bits<8> s8;
 320     bits<6> U6;
 321
 322     let IClass = 0b0111;
 323     let Inst{27-23} = 0b11001;
 324     let Inst{20-16} = U6{5-1};
 325     let Inst{13}    = U6{0};
 326     let Inst{12-5}  = s8;
 327     let Inst{4-0}   = Rdd;
 328   }
 329
 330 //===----------------------------------------------------------------------===//
 331 // ALU32/PERM -
 332 //===----------------------------------------------------------------------===//
 333
 334 //===----------------------------------------------------------------------===//
 335 // LD +
 336 //===----------------------------------------------------------------------===//
 337
 338 def Zext64: OutPatFrag<(ops node:$Rs),
 339   (i64 (A4_combineir 0, (i32 $Rs)))>;
 340 def Sext64: OutPatFrag<(ops node:$Rs),
 341   (i64 (A2_sxtw (i32 $Rs)))>;
 342
 343 //===----------------------------------------------------------------------===//
 344 // Template class for load instructions with Absolute set addressing mode.
 345 //===----------------------------------------------------------------------===//
 346 let isExtended = 1, opExtendable = 2, opExtentBits = 6, addrMode = AbsoluteSet,
 347     hasSideEffects = 0 in
 348 class T_LD_abs_set<string mnemonic, RegisterClass RC, bits<4>MajOp>:
 349             LDInst<(outs RC:$dst1, IntRegs:$dst2),
 350             (ins u6Ext:$addr),
 351             "$dst1 = "#mnemonic#"($dst2 = #$addr)",
 352             []> {
 353   bits<7> name;
 354   bits<5> dst1;
 355   bits<5> dst2;
 356   bits<6> addr;
 357
 358   let IClass = 0b1001;
 359   let Inst{27-25} = 0b101;
 360   let Inst{24-21} = MajOp;
 361   let Inst{13-12} = 0b01;
 362   let Inst{4-0}   = dst1;
 363   let Inst{20-16} = dst2;
 364   let Inst{11-8}  = addr{5-2};
 365   let Inst{6-5}   = addr{1-0};
 366 }
 367
 368 let accessSize = ByteAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
 369   def L4_loadrb_ap   : T_LD_abs_set <"memb",   IntRegs, 0b1000>;
 370   def L4_loadrub_ap  : T_LD_abs_set <"memub",  IntRegs, 0b1001>;
 371 }
 372
 373 let accessSize = HalfWordAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
 374   def L4_loadrh_ap  : T_LD_abs_set <"memh",  IntRegs, 0b1010>;
 375   def L4_loadruh_ap : T_LD_abs_set <"memuh", IntRegs, 0b1011>;
 376 }
 377
 378 let accessSize = WordAccess, hasNewValue = 1, isCodeGenOnly = 0 in
 379   def L4_loadri_ap : T_LD_abs_set <"memw", IntRegs, 0b1100>;
 380
 381 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 382 def L4_loadrd_ap : T_LD_abs_set <"memd", DoubleRegs, 0b1110>;
 383 // Load - Indirect with long offset
 384 let InputType = "imm", addrMode = BaseLongOffset, isExtended = 1,
 385 opExtentBits = 6, opExtendable = 3 in
 386 class T_LoadAbsReg <string mnemonic, string CextOp, RegisterClass RC,
 387                     bits<4> MajOp>
 388   : LDInst <(outs RC:$dst), (ins IntRegs:$src1, u2Imm:$src2, u6Ext:$src3),
 389   "$dst = "#mnemonic#"($src1<<#$src2 + #$src3)",
 390   [] >, ImmRegShl {
 391     bits<5> dst;
 392     bits<5> src1;
 393     bits<2> src2;
 394     bits<6> src3;
 395     let CextOpcode = CextOp;
 396     let hasNewValue = !if (!eq(!cast<string>(RC), "DoubleRegs"), 0, 1);
 397
 398     let IClass = 0b1001;
 399     let Inst{27-25} = 0b110;
 400     let Inst{24-21} = MajOp;
 401     let Inst{20-16} = src1;
 402     let Inst{13}    = src2{1};
 403     let Inst{12}    = 0b1;
 404     let Inst{11-8}  = src3{5-2};
 405     let Inst{7}     = src2{0};
 406     let Inst{6-5}   = src3{1-0};
 407     let Inst{4-0}   = dst;
 408   }
 409
 410 let accessSize = ByteAccess, isCodeGenOnly = 0 in {
 411   def L4_loadrb_ur  : T_LoadAbsReg<"memb",  "LDrib", IntRegs, 0b1000>;
 412   def L4_loadrub_ur : T_LoadAbsReg<"memub", "LDriub", IntRegs, 0b1001>;
 413   def L4_loadalignb_ur : T_LoadAbsReg<"memb_fifo", "LDrib_fifo",
 414                                       DoubleRegs, 0b0100>;
 415 }
 416
 417 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in {
 418   def L4_loadrh_ur   : T_LoadAbsReg<"memh",   "LDrih",    IntRegs, 0b1010>;
 419   def L4_loadruh_ur  : T_LoadAbsReg<"memuh",  "LDriuh",   IntRegs, 0b1011>;
 420   def L4_loadbsw2_ur : T_LoadAbsReg<"membh",  "LDribh2",  IntRegs, 0b0001>;
 421   def L4_loadbzw2_ur : T_LoadAbsReg<"memubh", "LDriubh2", IntRegs, 0b0011>;
 422   def L4_loadalignh_ur : T_LoadAbsReg<"memh_fifo", "LDrih_fifo",
 423                                       DoubleRegs, 0b0010>;
 424 }
 425
 426 let accessSize = WordAccess, isCodeGenOnly = 0 in {
 427   def L4_loadri_ur   : T_LoadAbsReg<"memw", "LDriw", IntRegs, 0b1100>;
 428   def L4_loadbsw4_ur : T_LoadAbsReg<"membh", "LDribh4", DoubleRegs, 0b0111>;
 429   def L4_loadbzw4_ur : T_LoadAbsReg<"memubh", "LDriubh4", DoubleRegs, 0b0101>;
 430 }
 431
 432 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 433 def L4_loadrd_ur  : T_LoadAbsReg<"memd", "LDrid", DoubleRegs, 0b1110>;
 434
 435
 436 multiclass T_LoadAbsReg_Pat <PatFrag ldOp, InstHexagon MI, ValueType VT = i32> {
 437   def  : Pat <(VT (ldOp (add (shl IntRegs:$src1, u2ImmPred:$src2),
 438                              (HexagonCONST32 tglobaladdr:$src3)))),
 439               (MI IntRegs:$src1, u2ImmPred:$src2, tglobaladdr:$src3)>;
 440
 441   def  : Pat <(VT (ldOp (add IntRegs:$src1,
 442                              (HexagonCONST32 tglobaladdr:$src2)))),
 443               (MI IntRegs:$src1, 0, tglobaladdr:$src2)>;
 444 }
 445
 446 let AddedComplexity  = 60 in {
 447 defm : T_LoadAbsReg_Pat <sextloadi8, L4_loadrb_ur>;
 448 defm : T_LoadAbsReg_Pat <zextloadi8, L4_loadrub_ur>;
 449 defm : T_LoadAbsReg_Pat <extloadi8,  L4_loadrub_ur>;
 450
 451 defm : T_LoadAbsReg_Pat <sextloadi16, L4_loadrh_ur>;
 452 defm : T_LoadAbsReg_Pat <zextloadi16, L4_loadruh_ur>;
 453 defm : T_LoadAbsReg_Pat <extloadi16,  L4_loadruh_ur>;
 454
 455 defm : T_LoadAbsReg_Pat <load, L4_loadri_ur>;
 456 defm : T_LoadAbsReg_Pat <load, L4_loadrd_ur, i64>;
 457 }
 458
 459 //===----------------------------------------------------------------------===//
 460 // Template classes for the non-predicated load instructions with
 461 // base + register offset addressing mode
 462 //===----------------------------------------------------------------------===//
 463 class T_load_rr <string mnemonic, RegisterClass RC, bits<3> MajOp>:
 464    LDInst<(outs RC:$dst), (ins IntRegs:$src1, IntRegs:$src2, u2Imm:$u2),
 465   "$dst = "#mnemonic#"($src1 + $src2<<#$u2)",
 466   [], "", V4LDST_tc_ld_SLOT01>, ImmRegShl, AddrModeRel {
 467     bits<5> dst;
 468     bits<5> src1;
 469     bits<5> src2;
 470     bits<2> u2;
 471
 472     let IClass = 0b0011;
 473
 474     let Inst{27-24} = 0b1010;
 475     let Inst{23-21} = MajOp;
 476     let Inst{20-16} = src1;
 477     let Inst{12-8}  = src2;
 478     let Inst{13}    = u2{1};
 479     let Inst{7}     = u2{0};
 480     let Inst{4-0}   = dst;
 481   }
 482
 483 //===----------------------------------------------------------------------===//
 484 // Template classes for the predicated load instructions with
 485 // base + register offset addressing mode
 486 //===----------------------------------------------------------------------===//
 487 let isPredicated =  1 in
 488 class T_pload_rr <string mnemonic, RegisterClass RC, bits<3> MajOp,
 489                   bit isNot, bit isPredNew>:
 490    LDInst <(outs RC:$dst),
 491            (ins PredRegs:$src1, IntRegs:$src2, IntRegs:$src3, u2Imm:$u2),
 492   !if(isNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
 493   ") ")#"$dst = "#mnemonic#"($src2+$src3<<#$u2)",
 494   [], "", V4LDST_tc_ld_SLOT01>, AddrModeRel {
 495     bits<5> dst;
 496     bits<2> src1;
 497     bits<5> src2;
 498     bits<5> src3;
 499     bits<2> u2;
 500
 501     let isPredicatedFalse = isNot;
 502     let isPredicatedNew = isPredNew;
 503
 504     let IClass = 0b0011;
 505
 506     let Inst{27-26} = 0b00;
 507     let Inst{25}    = isPredNew;
 508     let Inst{24}    = isNot;
 509     let Inst{23-21} = MajOp;
 510     let Inst{20-16} = src2;
 511     let Inst{12-8}  = src3;
 512     let Inst{13}    = u2{1};
 513     let Inst{7}     = u2{0};
 514     let Inst{6-5}   = src1;
 515     let Inst{4-0}   = dst;
 516   }
 517
 518 //===----------------------------------------------------------------------===//
 519 // multiclass for load instructions with base + register offset
 520 // addressing mode
 521 //===----------------------------------------------------------------------===//
 522 let hasSideEffects = 0, addrMode = BaseRegOffset in
 523 multiclass ld_idxd_shl <string mnemonic, string CextOp, RegisterClass RC,
 524                         bits<3> MajOp > {
 525   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl,
 526       InputType = "reg" in {
 527     let isPredicable = 1 in
 528     def L4_#NAME#_rr : T_load_rr <mnemonic, RC, MajOp>;
 529
 530     // Predicated
 531     def L4_p#NAME#t_rr : T_pload_rr <mnemonic, RC, MajOp, 0, 0>;
 532     def L4_p#NAME#f_rr : T_pload_rr <mnemonic, RC, MajOp, 1, 0>;
 533
 534     // Predicated new
 535     def L4_p#NAME#tnew_rr : T_pload_rr <mnemonic, RC, MajOp, 0, 1>;
 536     def L4_p#NAME#fnew_rr : T_pload_rr <mnemonic, RC, MajOp, 1, 1>;
 537   }
 538 }
 539
 540 let hasNewValue = 1, accessSize = ByteAccess, isCodeGenOnly = 0 in {
 541   defm loadrb  : ld_idxd_shl<"memb", "LDrib", IntRegs, 0b000>;
 542   defm loadrub : ld_idxd_shl<"memub", "LDriub", IntRegs, 0b001>;
 543 }
 544
 545 let hasNewValue = 1, accessSize = HalfWordAccess, isCodeGenOnly = 0 in {
 546   defm loadrh  : ld_idxd_shl<"memh", "LDrih", IntRegs, 0b010>;
 547   defm loadruh : ld_idxd_shl<"memuh", "LDriuh", IntRegs, 0b011>;
 548 }
 549
 550 let hasNewValue = 1, accessSize = WordAccess, isCodeGenOnly = 0 in
 551 defm loadri : ld_idxd_shl<"memw", "LDriw", IntRegs, 0b100>;
 552
 553 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
 554 defm loadrd  : ld_idxd_shl<"memd", "LDrid", DoubleRegs, 0b110>;
 555
 556 // 'def pats' for load instructions with base + register offset and non-zero
 557 // immediate value. Immediate value is used to left-shift the second
 558 // register operand.
 559 class Loadxs_pat<PatFrag Load, ValueType VT, InstHexagon MI>
 560   : Pat<(VT (Load (add (i32 IntRegs:$Rs),
 561                        (i32 (shl (i32 IntRegs:$Rt), u2ImmPred:$u2))))),
 562         (VT (MI IntRegs:$Rs, IntRegs:$Rt, imm:$u2))>;
 563
 564 let AddedComplexity = 40 in {
 565   def: Loadxs_pat<extloadi8,   i32, L4_loadrub_rr>;
 566   def: Loadxs_pat<zextloadi8,  i32, L4_loadrub_rr>;
 567   def: Loadxs_pat<sextloadi8,  i32, L4_loadrb_rr>;
 568   def: Loadxs_pat<extloadi16,  i32, L4_loadruh_rr>;
 569   def: Loadxs_pat<zextloadi16, i32, L4_loadruh_rr>;
 570   def: Loadxs_pat<sextloadi16, i32, L4_loadrh_rr>;
 571   def: Loadxs_pat<load,        i32, L4_loadri_rr>;
 572   def: Loadxs_pat<load,        i64, L4_loadrd_rr>;
 573 }
 574
 575 // 'def pats' for load instruction base + register offset and
 576 // zero immediate value.
 577 class Loadxs_simple_pat<PatFrag Load, ValueType VT, InstHexagon MI>
 578   : Pat<(VT (Load (add (i32 IntRegs:$Rs), (i32 IntRegs:$Rt)))),
 579         (VT (MI IntRegs:$Rs, IntRegs:$Rt, 0))>;
 580
 581 let AddedComplexity = 20 in {
 582   def: Loadxs_simple_pat<extloadi8,   i32, L4_loadrub_rr>;
 583   def: Loadxs_simple_pat<zextloadi8,  i32, L4_loadrub_rr>;
 584   def: Loadxs_simple_pat<sextloadi8,  i32, L4_loadrb_rr>;
 585   def: Loadxs_simple_pat<extloadi16,  i32, L4_loadruh_rr>;
 586   def: Loadxs_simple_pat<zextloadi16, i32, L4_loadruh_rr>;
 587   def: Loadxs_simple_pat<sextloadi16, i32, L4_loadrh_rr>;
 588   def: Loadxs_simple_pat<load,        i32, L4_loadri_rr>;
 589   def: Loadxs_simple_pat<load,        i64, L4_loadrd_rr>;
 590 }
 591
 592 // zext i1->i64
 593 def : Pat <(i64 (zext (i1 PredRegs:$src1))),
 594       (i64 (A4_combineir 0, (C2_muxii (i1 PredRegs:$src1), 1, 0)))>,
 595       Requires<[HasV4T]>;
 596
 597 // zext i32->i64
 598 def : Pat <(i64 (zext (i32 IntRegs:$src1))),
 599       (i64 (A4_combineir 0, (i32 IntRegs:$src1)))>,
 600       Requires<[HasV4T]>;
 601 // zext i8->i64
 602 def:  Pat <(i64 (zextloadi8 ADDRriS11_0:$src1)),
 603       (i64 (A4_combineir 0, (L2_loadrub_io AddrFI:$src1, 0)))>,
 604       Requires<[HasV4T]>;
 605
 606 let AddedComplexity = 20 in
 607 def:  Pat <(i64 (zextloadi8 (add (i32 IntRegs:$src1),
 608                                 s11_0ExtPred:$offset))),
 609       (i64 (A4_combineir 0, (L2_loadrub_io IntRegs:$src1,
 610                                   s11_0ExtPred:$offset)))>,
 611       Requires<[HasV4T]>;
 612
 613 // zext i1->i64
 614 def:  Pat <(i64 (zextloadi1 ADDRriS11_0:$src1)),
 615       (i64 (A4_combineir 0, (L2_loadrub_io AddrFI:$src1, 0)))>,
 616       Requires<[HasV4T]>;
 617
 618 let AddedComplexity = 20 in
 619 def:  Pat <(i64 (zextloadi1 (add (i32 IntRegs:$src1),
 620                                 s11_0ExtPred:$offset))),
 621       (i64 (A4_combineir 0, (L2_loadrub_io IntRegs:$src1,
 622                                   s11_0ExtPred:$offset)))>,
 623       Requires<[HasV4T]>;
 624
 625 // zext i16->i64
 626 def:  Pat <(i64 (zextloadi16 ADDRriS11_1:$src1)),
 627       (i64 (A4_combineir 0, (L2_loadruh_io AddrFI:$src1, 0)))>,
 628       Requires<[HasV4T]>;
 629
 630 let AddedComplexity = 20 in
 631 def:  Pat <(i64 (zextloadi16 (add (i32 IntRegs:$src1),
 632                                   s11_1ExtPred:$offset))),
 633       (i64 (A4_combineir 0, (L2_loadruh_io IntRegs:$src1,
 634                                   s11_1ExtPred:$offset)))>,
 635       Requires<[HasV4T]>;
 636
 637 // anyext i16->i64
 638 def:  Pat <(i64 (extloadi16 ADDRriS11_2:$src1)),
 639       (i64 (A4_combineir 0, (L2_loadrh_io AddrFI:$src1, 0)))>,
 640       Requires<[HasV4T]>;
 641
 642 let AddedComplexity = 20 in
 643 def:  Pat <(i64 (extloadi16 (add (i32 IntRegs:$src1),
 644                                   s11_1ExtPred:$offset))),
 645       (i64 (A4_combineir 0, (L2_loadrh_io IntRegs:$src1,
 646                                   s11_1ExtPred:$offset)))>,
 647       Requires<[HasV4T]>;
 648
 649 // zext i32->i64
 650 def:  Pat <(i64 (zextloadi32 ADDRriS11_2:$src1)),
 651       (i64 (A4_combineir 0, (L2_loadri_io AddrFI:$src1, 0)))>,
 652       Requires<[HasV4T]>;
 653
 654 let AddedComplexity = 100 in
 655 def:  Pat <(i64 (zextloadi32 (i32 (add IntRegs:$src1, s11_2ExtPred:$offset)))),
 656       (i64 (A4_combineir 0, (L2_loadri_io IntRegs:$src1,
 657                                   s11_2ExtPred:$offset)))>,
 658       Requires<[HasV4T]>;
 659
 660 // anyext i32->i64
 661 def:  Pat <(i64 (extloadi32 ADDRriS11_2:$src1)),
 662       (i64 (A4_combineir 0, (L2_loadri_io AddrFI:$src1, 0)))>,
 663       Requires<[HasV4T]>;
 664
 665 let AddedComplexity = 100 in
 666 def:  Pat <(i64 (extloadi32 (i32 (add IntRegs:$src1, s11_2ExtPred:$offset)))),
 667       (i64 (A4_combineir 0, (L2_loadri_io IntRegs:$src1,
 668                                   s11_2ExtPred:$offset)))>,
 669       Requires<[HasV4T]>;
 670
 671
 672
 673 //===----------------------------------------------------------------------===//
 674 // LD -
 675 //===----------------------------------------------------------------------===//
 676
 677 //===----------------------------------------------------------------------===//
 678 // ST +
 679 //===----------------------------------------------------------------------===//
 680 ///
 681 //===----------------------------------------------------------------------===//
 682 // Template class for store instructions with Absolute set addressing mode.
 683 //===----------------------------------------------------------------------===//
 684 let isExtended = 1, opExtendable = 1, opExtentBits = 6,
 685     addrMode = AbsoluteSet, isNVStorable = 1 in
 686 class T_ST_absset <string mnemonic, string BaseOp, RegisterClass RC,
 687                    bits<3> MajOp, MemAccessSize AccessSz, bit isHalf = 0>
 688   : STInst<(outs IntRegs:$dst),
 689            (ins u6Ext:$addr, RC:$src),
 690     mnemonic#"($dst = #$addr) = $src"#!if(isHalf, ".h","")>, NewValueRel {
 691     bits<5> dst;
 692     bits<6> addr;
 693     bits<5> src;
 694     let accessSize = AccessSz;
 695     let BaseOpcode = BaseOp#"_AbsSet";
 696
 697     let IClass = 0b1010;
 698
 699     let Inst{27-24} = 0b1011;
 700     let Inst{23-21} = MajOp;
 701     let Inst{20-16} = dst;
 702     let Inst{13}    = 0b0;
 703     let Inst{12-8}  = src;
 704     let Inst{7}     = 0b1;
 705     let Inst{5-0}   = addr;
 706   }
 707
 708 def S4_storerb_ap : T_ST_absset <"memb", "STrib", IntRegs, 0b000, ByteAccess>;
 709 def S4_storerh_ap : T_ST_absset <"memh", "STrih", IntRegs, 0b010,
 710                                  HalfWordAccess>;
 711 def S4_storeri_ap : T_ST_absset <"memw", "STriw", IntRegs, 0b100, WordAccess>;
 712
 713 let isNVStorable = 0 in {
 714   def S4_storerf_ap : T_ST_absset <"memh", "STrif", IntRegs,
 715                                    0b011, HalfWordAccess, 1>;
 716   def S4_storerd_ap : T_ST_absset <"memd", "STrid", DoubleRegs,
 717                                    0b110, DoubleWordAccess>;
 718 }
 719
 720 let opExtendable = 1, isNewValue = 1, isNVStore = 1, opNewValue = 2,
 721 isExtended = 1, opExtentBits= 6 in
 722 class T_ST_absset_nv <string mnemonic, string BaseOp, bits<2> MajOp,
 723                       MemAccessSize AccessSz >
 724   : NVInst <(outs IntRegs:$dst),
 725             (ins u6Ext:$addr, IntRegs:$src),
 726     mnemonic#"($dst = #$addr) = $src.new">, NewValueRel {
 727     bits<5> dst;
 728     bits<6> addr;
 729     bits<3> src;
 730     let accessSize = AccessSz;
 731     let BaseOpcode = BaseOp#"_AbsSet";
 732
 733     let IClass = 0b1010;
 734
 735     let Inst{27-21} = 0b1011101;
 736     let Inst{20-16} = dst;
 737     let Inst{13-11} = 0b000;
 738     let Inst{12-11} = MajOp;
 739     let Inst{10-8}  = src;
 740     let Inst{7}     = 0b1;
 741     let Inst{5-0}   = addr;
 742   }
 743
 744 let mayStore = 1, addrMode = AbsoluteSet, isCodeGenOnly = 0 in {
 745   def S4_storerbnew_ap : T_ST_absset_nv <"memb", "STrib", 0b00, ByteAccess>;
 746   def S4_storerhnew_ap : T_ST_absset_nv <"memh", "STrih", 0b01, HalfWordAccess>;
 747   def S4_storerinew_ap : T_ST_absset_nv <"memw", "STriw", 0b10, WordAccess>;
 748 }
 749
 750 let isExtended = 1, opExtendable = 2, opExtentBits = 6, InputType = "imm",
 751 addrMode = BaseLongOffset, AddedComplexity = 40 in
 752 class T_StoreAbsReg <string mnemonic, string CextOp, RegisterClass RC,
 753                      bits<3> MajOp, MemAccessSize AccessSz, bit isHalf = 0>
 754   : STInst<(outs),
 755            (ins IntRegs:$src1, u2Imm:$src2, u6Ext:$src3, RC:$src4),
 756    mnemonic#"($src1<<#$src2 + #$src3) = $src4"#!if(isHalf, ".h",""),
 757    []>, ImmRegShl, NewValueRel {
 758
 759     bits<5> src1;
 760     bits<2> src2;
 761     bits<6> src3;
 762     bits<5> src4;
 763
 764     let accessSize = AccessSz;
 765     let CextOpcode = CextOp;
 766     let BaseOpcode = CextOp#"_shl";
 767     let IClass = 0b1010;
 768
 769     let Inst{27-24} =0b1101;
 770     let Inst{23-21} = MajOp;
 771     let Inst{20-16} = src1;
 772     let Inst{13}    = src2{1};
 773     let Inst{12-8}  = src4;
 774     let Inst{7}     = 0b1;
 775     let Inst{6}     = src2{0};
 776     let Inst{5-0}   = src3;
 777 }
 778
 779 let isCodeGenOnly = 0 in {
 780 def S4_storerb_ur : T_StoreAbsReg <"memb", "STrib", IntRegs, 0b000, ByteAccess>;
 781 def S4_storerh_ur : T_StoreAbsReg <"memh", "STrih", IntRegs, 0b010,
 782                                    HalfWordAccess>;
 783 def S4_storerf_ur : T_StoreAbsReg <"memh", "STrif", IntRegs, 0b011,
 784                                    HalfWordAccess, 1>;
 785 def S4_storeri_ur : T_StoreAbsReg <"memw", "STriw", IntRegs, 0b100, WordAccess>;
 786 def S4_storerd_ur : T_StoreAbsReg <"memd", "STrid", DoubleRegs, 0b110,
 787                                    DoubleWordAccess>;
 788 }
 789
 790 let AddedComplexity = 40 in
 791 multiclass T_StoreAbsReg_Pats <InstHexagon MI, RegisterClass RC, ValueType VT,
 792                            PatFrag stOp> {
 793  def : Pat<(stOp (VT RC:$src4),
 794                  (add (shl (i32 IntRegs:$src1), u2ImmPred:$src2),
 795                       u0AlwaysExtPred:$src3)),
 796           (MI IntRegs:$src1, u2ImmPred:$src2, u0AlwaysExtPred:$src3, RC:$src4)>;
 797
 798  def : Pat<(stOp (VT RC:$src4),
 799                  (add (shl IntRegs:$src1, u2ImmPred:$src2),
 800                       (HexagonCONST32 tglobaladdr:$src3))),
 801            (MI IntRegs:$src1, u2ImmPred:$src2, tglobaladdr:$src3, RC:$src4)>;
 802
 803  def : Pat<(stOp (VT RC:$src4),
 804                  (add IntRegs:$src1, (HexagonCONST32 tglobaladdr:$src3))),
 805            (MI IntRegs:$src1, 0, tglobaladdr:$src3, RC:$src4)>;
 806 }
 807
 808 defm : T_StoreAbsReg_Pats <S4_storerd_ur, DoubleRegs, i64, store>;
 809 defm : T_StoreAbsReg_Pats <S4_storeri_ur, IntRegs, i32, store>;
 810 defm : T_StoreAbsReg_Pats <S4_storerb_ur, IntRegs, i32, truncstorei8>;
 811 defm : T_StoreAbsReg_Pats <S4_storerh_ur, IntRegs, i32, truncstorei16>;
 812
 813 let mayStore = 1, isNVStore = 1, isExtended = 1, addrMode = BaseLongOffset,
 814     opExtentBits = 6, isNewValue = 1, opNewValue = 3, opExtendable = 2 in
 815 class T_StoreAbsRegNV <string mnemonic, string CextOp, bits<2> MajOp,
 816                        MemAccessSize AccessSz>
 817   : NVInst <(outs ),
 818             (ins IntRegs:$src1, u2Imm:$src2, u6Ext:$src3, IntRegs:$src4),
 819   mnemonic#"($src1<<#$src2 + #$src3) = $src4.new">, NewValueRel {
 820     bits<5> src1;
 821     bits<2> src2;
 822     bits<6> src3;
 823     bits<3> src4;
 824
 825     let CextOpcode  = CextOp;
 826     let BaseOpcode  = CextOp#"_shl";
 827     let IClass      = 0b1010;
 828
 829     let Inst{27-21} = 0b1101101;
 830     let Inst{12-11} = 0b00;
 831     let Inst{7}     = 0b1;
 832     let Inst{20-16} = src1;
 833     let Inst{13}    = src2{1};
 834     let Inst{12-11} = MajOp;
 835     let Inst{10-8}  = src4;
 836     let Inst{6}     = src2{0};
 837     let Inst{5-0}   = src3;
 838   }
 839
 840 let isCodeGenOnly = 0 in {
 841 def S4_storerbnew_ur : T_StoreAbsRegNV <"memb", "STrib", 0b00, ByteAccess>;
 842 def S4_storerhnew_ur : T_StoreAbsRegNV <"memh", "STrih", 0b01, HalfWordAccess>;
 843 def S4_storerinew_ur : T_StoreAbsRegNV <"memw", "STriw", 0b10, WordAccess>;
 844 }
 845
 846 //===----------------------------------------------------------------------===//
 847 // Template classes for the non-predicated store instructions with
 848 // base + register offset addressing mode
 849 //===----------------------------------------------------------------------===//
 850 let isPredicable = 1 in
 851 class T_store_rr <string mnemonic, RegisterClass RC, bits<3> MajOp, bit isH>
 852   : STInst < (outs ), (ins IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, RC:$Rt),
 853   mnemonic#"($Rs + $Ru<<#$u2) = $Rt"#!if(isH, ".h",""),
 854   [],"",V4LDST_tc_st_SLOT01>, ImmRegShl, AddrModeRel {
 855
 856     bits<5> Rs;
 857     bits<5> Ru;
 858     bits<2> u2;
 859     bits<5> Rt;
 860
 861     let IClass = 0b0011;
 862
 863     let Inst{27-24} = 0b1011;
 864     let Inst{23-21} = MajOp;
 865     let Inst{20-16} = Rs;
 866     let Inst{12-8}  = Ru;
 867     let Inst{13}    = u2{1};
 868     let Inst{7}     = u2{0};
 869     let Inst{4-0}   = Rt;
 870   }
 871
 872 //===----------------------------------------------------------------------===//
 873 // Template classes for the predicated store instructions with
 874 // base + register offset addressing mode
 875 //===----------------------------------------------------------------------===//
 876 let isPredicated = 1 in
 877 class T_pstore_rr <string mnemonic, RegisterClass RC, bits<3> MajOp,
 878                    bit isNot, bit isPredNew, bit isH>
 879   : STInst <(outs),
 880             (ins PredRegs:$Pv, IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, RC:$Rt),
 881
 882   !if(isNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 883   ") ")#mnemonic#"($Rs+$Ru<<#$u2) = $Rt"#!if(isH, ".h",""),
 884   [], "", V4LDST_tc_st_SLOT01> , AddrModeRel{
 885     bits<2> Pv;
 886     bits<5> Rs;
 887     bits<5> Ru;
 888     bits<2> u2;
 889     bits<5> Rt;
 890
 891     let isPredicatedFalse = isNot;
 892     let isPredicatedNew = isPredNew;
 893
 894     let IClass = 0b0011;
 895
 896     let Inst{27-26} = 0b01;
 897     let Inst{25}    = isPredNew;
 898     let Inst{24}    = isNot;
 899     let Inst{23-21} = MajOp;
 900     let Inst{20-16} = Rs;
 901     let Inst{12-8}  = Ru;
 902     let Inst{13}    = u2{1};
 903     let Inst{7}     = u2{0};
 904     let Inst{6-5}   = Pv;
 905     let Inst{4-0}   = Rt;
 906   }
 907
 908 //===----------------------------------------------------------------------===//
 909 // Template classes for the new-value store instructions with
 910 // base + register offset addressing mode
 911 //===----------------------------------------------------------------------===//
 912 let isPredicable = 1, isNewValue = 1, opNewValue = 3 in
 913 class T_store_new_rr <string mnemonic, bits<2> MajOp> :
 914   NVInst < (outs ), (ins IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, IntRegs:$Nt),
 915   mnemonic#"($Rs + $Ru<<#$u2) = $Nt.new",
 916   [],"",V4LDST_tc_st_SLOT0>, ImmRegShl, AddrModeRel {
 917
 918     bits<5> Rs;
 919     bits<5> Ru;
 920     bits<2> u2;
 921     bits<3> Nt;
 922
 923     let IClass = 0b0011;
 924
 925     let Inst{27-21} = 0b1011101;
 926     let Inst{20-16} = Rs;
 927     let Inst{12-8}  = Ru;
 928     let Inst{13}    = u2{1};
 929     let Inst{7}     = u2{0};
 930     let Inst{4-3}   = MajOp;
 931     let Inst{2-0}   = Nt;
 932   }
 933
 934 //===----------------------------------------------------------------------===//
 935 // Template classes for the predicated new-value store instructions with
 936 // base + register offset addressing mode
 937 //===----------------------------------------------------------------------===//
 938 let isPredicated = 1, isNewValue = 1, opNewValue = 4 in
 939 class T_pstore_new_rr <string mnemonic, bits<2> MajOp, bit isNot, bit isPredNew>
 940   : NVInst<(outs),
 941            (ins PredRegs:$Pv, IntRegs:$Rs, IntRegs:$Ru, u2Imm:$u2, IntRegs:$Nt),
 942    !if(isNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
 943    ") ")#mnemonic#"($Rs+$Ru<<#$u2) = $Nt.new",
 944    [], "", V4LDST_tc_st_SLOT0>, AddrModeRel {
 945     bits<2> Pv;
 946     bits<5> Rs;
 947     bits<5> Ru;
 948     bits<2> u2;
 949     bits<3> Nt;
 950
 951     let isPredicatedFalse = isNot;
 952     let isPredicatedNew = isPredNew;
 953
 954     let IClass = 0b0011;
 955     let Inst{27-26} = 0b01;
 956     let Inst{25}    = isPredNew;
 957     let Inst{24}    = isNot;
 958     let Inst{23-21} = 0b101;
 959     let Inst{20-16} = Rs;
 960     let Inst{12-8}  = Ru;
 961     let Inst{13}    = u2{1};
 962     let Inst{7}     = u2{0};
 963     let Inst{6-5}   = Pv;
 964     let Inst{4-3}   = MajOp;
 965     let Inst{2-0}   = Nt;
 966   }
 967
 968 //===----------------------------------------------------------------------===//
 969 // multiclass for store instructions with base + register offset addressing
 970 // mode
 971 //===----------------------------------------------------------------------===//
 972 let isNVStorable = 1 in
 973 multiclass ST_Idxd_shl<string mnemonic, string CextOp, RegisterClass RC,
 974                        bits<3> MajOp, bit isH = 0> {
 975   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl in {
 976     def S4_#NAME#_rr : T_store_rr <mnemonic, RC, MajOp, isH>;
 977
 978     // Predicated
 979     def S4_p#NAME#t_rr : T_pstore_rr <mnemonic, RC, MajOp, 0, 0, isH>;
 980     def S4_p#NAME#f_rr : T_pstore_rr <mnemonic, RC, MajOp, 1, 0, isH>;
 981
 982     // Predicated new
 983     def S4_p#NAME#tnew_rr : T_pstore_rr <mnemonic, RC, MajOp, 0, 1, isH>;
 984     def S4_p#NAME#fnew_rr : T_pstore_rr <mnemonic, RC, MajOp, 1, 1, isH>;
 985   }
 986 }
 987
 988 //===----------------------------------------------------------------------===//
 989 // multiclass for new-value store instructions with base + register offset
 990 // addressing mode.
 991 //===----------------------------------------------------------------------===//
 992 let mayStore = 1, isNVStore = 1 in
 993 multiclass ST_Idxd_shl_nv <string mnemonic, string CextOp, RegisterClass RC,
 994                            bits<2> MajOp> {
 995   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed_shl in {
 996     def S4_#NAME#new_rr : T_store_new_rr<mnemonic, MajOp>;
 997
 998     // Predicated
 999     def S4_p#NAME#newt_rr : T_pstore_new_rr <mnemonic, MajOp, 0, 0>;
1000     def S4_p#NAME#newf_rr : T_pstore_new_rr <mnemonic, MajOp, 1, 0>;
1001
1002     // Predicated new
1003     def S4_p#NAME#newtnew_rr : T_pstore_new_rr <mnemonic, MajOp, 0, 1>;
1004     def S4_p#NAME#newfnew_rr : T_pstore_new_rr <mnemonic, MajOp, 1, 1>;
1005   }
1006 }
1007
1008 let addrMode = BaseRegOffset, InputType = "reg", hasSideEffects = 0,
1009     isCodeGenOnly = 0 in {
1010   let accessSize = ByteAccess in
1011   defm storerb: ST_Idxd_shl<"memb", "STrib", IntRegs, 0b000>,
1012                 ST_Idxd_shl_nv<"memb", "STrib", IntRegs, 0b00>;
1013
1014   let accessSize = HalfWordAccess in
1015   defm storerh: ST_Idxd_shl<"memh", "STrih", IntRegs, 0b010>,
1016                 ST_Idxd_shl_nv<"memh", "STrih", IntRegs, 0b01>;
1017
1018   let accessSize = WordAccess in
1019   defm storeri: ST_Idxd_shl<"memw", "STriw", IntRegs, 0b100>,
1020                 ST_Idxd_shl_nv<"memw", "STriw", IntRegs, 0b10>;
1021
1022   let isNVStorable = 0, accessSize = DoubleWordAccess in
1023   defm storerd: ST_Idxd_shl<"memd", "STrid", DoubleRegs, 0b110>;
1024
1025   let isNVStorable = 0, accessSize = HalfWordAccess in
1026   defm storerf: ST_Idxd_shl<"memh", "STrif", IntRegs, 0b011, 1>;
1027 }
1028
1029 class Storexs_pat<PatFrag Store, PatFrag Value, InstHexagon MI>
1030   : Pat<(Store Value:$Ru, (add (i32 IntRegs:$Rs),
1031                                (i32 (shl (i32 IntRegs:$Rt), u2ImmPred:$u2)))),
1032         (MI IntRegs:$Rs, IntRegs:$Rt, imm:$u2, Value:$Ru)>;
1033
1034 let AddedComplexity = 40 in {
1035   def: Storexs_pat<truncstorei8,  I32, S4_storerb_rr>;
1036   def: Storexs_pat<truncstorei16, I32, S4_storerh_rr>;
1037   def: Storexs_pat<store,         I32, S4_storeri_rr>;
1038   def: Storexs_pat<store,         I64, S4_storerd_rr>;
1039 }
1040
1041 // memd(Rx++#s4:3)=Rtt
1042 // memd(Rx++#s4:3:circ(Mu))=Rtt
1043 // memd(Rx++I:circ(Mu))=Rtt
1044 // memd(Rx++Mu)=Rtt
1045 // memd(Rx++Mu:brev)=Rtt
1046 // memd(gp+#u16:3)=Rtt
1047
1048 // Store doubleword conditionally.
1049 // if ([!]Pv[.new]) memd(#u6)=Rtt
1050 // TODO: needs to be implemented.
1051
1052 //===----------------------------------------------------------------------===//
1053 // Template class
1054 //===----------------------------------------------------------------------===//
1055 let isPredicable = 1, isExtendable = 1, isExtentSigned = 1, opExtentBits = 8,
1056     opExtendable = 2 in
1057 class T_StoreImm <string mnemonic, Operand OffsetOp, bits<2> MajOp >
1058   : STInst <(outs ), (ins IntRegs:$Rs, OffsetOp:$offset, s8Ext:$S8),
1059   mnemonic#"($Rs+#$offset)=#$S8",
1060   [], "", V4LDST_tc_st_SLOT01>,
1061   ImmRegRel, PredNewRel {
1062     bits<5> Rs;
1063     bits<8> S8;
1064     bits<8> offset;
1065     bits<6> offsetBits;
1066
1067     string OffsetOpStr = !cast<string>(OffsetOp);
1068     let offsetBits = !if (!eq(OffsetOpStr, "u6_2Imm"), offset{7-2},
1069                      !if (!eq(OffsetOpStr, "u6_1Imm"), offset{6-1},
1070                                          /* u6_0Imm */ offset{5-0}));
1071
1072     let IClass = 0b0011;
1073
1074     let Inst{27-25} = 0b110;
1075     let Inst{22-21} = MajOp;
1076     let Inst{20-16} = Rs;
1077     let Inst{12-7}  = offsetBits;
1078     let Inst{13}    = S8{7};
1079     let Inst{6-0}   = S8{6-0};
1080   }
1081
1082 let isPredicated = 1, isExtendable = 1, isExtentSigned = 1, opExtentBits = 6,
1083     opExtendable = 3 in
1084 class T_StoreImm_pred <string mnemonic, Operand OffsetOp, bits<2> MajOp,
1085                        bit isPredNot, bit isPredNew >
1086   : STInst <(outs ),
1087             (ins PredRegs:$Pv, IntRegs:$Rs, OffsetOp:$offset, s6Ext:$S6),
1088   !if(isPredNot, "if (!$Pv", "if ($Pv")#!if(isPredNew, ".new) ",
1089   ") ")#mnemonic#"($Rs+#$offset)=#$S6",
1090   [], "", V4LDST_tc_st_SLOT01>,
1091   ImmRegRel, PredNewRel {
1092     bits<2> Pv;
1093     bits<5> Rs;
1094     bits<6> S6;
1095     bits<8> offset;
1096     bits<6> offsetBits;
1097
1098     string OffsetOpStr = !cast<string>(OffsetOp);
1099     let offsetBits = !if (!eq(OffsetOpStr, "u6_2Imm"), offset{7-2},
1100                      !if (!eq(OffsetOpStr, "u6_1Imm"), offset{6-1},
1101                                          /* u6_0Imm */ offset{5-0}));
1102     let isPredicatedNew = isPredNew;
1103     let isPredicatedFalse = isPredNot;
1104
1105     let IClass = 0b0011;
1106
1107     let Inst{27-25} = 0b100;
1108     let Inst{24}    = isPredNew;
1109     let Inst{23}    = isPredNot;
1110     let Inst{22-21} = MajOp;
1111     let Inst{20-16} = Rs;
1112     let Inst{13}    = S6{5};
1113     let Inst{12-7}  = offsetBits;
1114     let Inst{6-5}   = Pv;
1115     let Inst{4-0}   = S6{4-0};
1116   }
1117
1118
1119 //===----------------------------------------------------------------------===//
1120 // multiclass for store instructions with base + immediate offset
1121 // addressing mode and immediate stored value.
1122 // mem[bhw](Rx++#s4:3)=#s8
1123 // if ([!]Pv[.new]) mem[bhw](Rx++#s4:3)=#s6
1124 //===----------------------------------------------------------------------===//
1125
1126 multiclass ST_Imm_Pred <string mnemonic, Operand OffsetOp, bits<2> MajOp,
1127                         bit PredNot> {
1128   def _io    : T_StoreImm_pred <mnemonic, OffsetOp, MajOp, PredNot, 0>;
1129   // Predicate new
1130   def new_io : T_StoreImm_pred <mnemonic, OffsetOp, MajOp, PredNot, 1>;
1131 }
1132
1133 multiclass ST_Imm <string mnemonic, string CextOp, Operand OffsetOp,
1134                    bits<2> MajOp> {
1135   let CextOpcode = CextOp, BaseOpcode = CextOp#_imm in {
1136     def _io : T_StoreImm <mnemonic, OffsetOp, MajOp>;
1137
1138     defm t : ST_Imm_Pred <mnemonic, OffsetOp, MajOp, 0>;
1139     defm f : ST_Imm_Pred <mnemonic, OffsetOp, MajOp, 1>;
1140   }
1141 }
1142
1143 let hasSideEffects = 0, validSubTargets = HasV4SubT, addrMode = BaseImmOffset,
1144     InputType = "imm", isCodeGenOnly = 0 in {
1145   let accessSize = ByteAccess in
1146   defm S4_storeirb : ST_Imm<"memb", "STrib", u6_0Imm, 0b00>;
1147
1148   let accessSize = HalfWordAccess in
1149   defm S4_storeirh : ST_Imm<"memh", "STrih", u6_1Imm, 0b01>;
1150
1151   let accessSize = WordAccess in
1152   defm S4_storeiri : ST_Imm<"memw", "STriw", u6_2Imm, 0b10>;
1153 }
1154
1155 let Predicates = [HasV4T], AddedComplexity = 10 in {
1156 def: Pat<(truncstorei8 s8ExtPred:$src3, (add IntRegs:$src1, u6_0ImmPred:$src2)),
1157             (S4_storeirb_io IntRegs:$src1, u6_0ImmPred:$src2, s8ExtPred:$src3)>;
1158
1159 def: Pat<(truncstorei16 s8ExtPred:$src3, (add IntRegs:$src1,
1160                                               u6_1ImmPred:$src2)),
1161             (S4_storeirh_io IntRegs:$src1, u6_1ImmPred:$src2, s8ExtPred:$src3)>;
1162
1163 def: Pat<(store s8ExtPred:$src3, (add IntRegs:$src1, u6_2ImmPred:$src2)),
1164             (S4_storeiri_io IntRegs:$src1, u6_2ImmPred:$src2, s8ExtPred:$src3)>;
1165 }
1166
1167 let AddedComplexity = 6 in
1168 def : Pat <(truncstorei8 s8ExtPred:$src2, (i32 IntRegs:$src1)),
1169            (S4_storeirb_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1170            Requires<[HasV4T]>;
1171
1172 // memb(Rx++#s4:0:circ(Mu))=Rt
1173 // memb(Rx++I:circ(Mu))=Rt
1174 // memb(Rx++Mu)=Rt
1175 // memb(Rx++Mu:brev)=Rt
1176 // memb(gp+#u16:0)=Rt
1177
1178
1179 // Store halfword.
1180 // TODO: needs to be implemented
1181 // memh(Re=#U6)=Rt.H
1182 // memh(Rs+#s11:1)=Rt.H
1183 let AddedComplexity = 6 in
1184 def : Pat <(truncstorei16 s8ExtPred:$src2, (i32 IntRegs:$src1)),
1185            (S4_storeirh_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1186            Requires<[HasV4T]>;
1187
1188 // memh(Rs+Ru<<#u2)=Rt.H
1189 // TODO: needs to be implemented.
1190
1191 // memh(Ru<<#u2+#U6)=Rt.H
1192 // memh(Rx++#s4:1:circ(Mu))=Rt.H
1193 // memh(Rx++#s4:1:circ(Mu))=Rt
1194 // memh(Rx++I:circ(Mu))=Rt.H
1195 // memh(Rx++I:circ(Mu))=Rt
1196 // memh(Rx++Mu)=Rt.H
1197 // memh(Rx++Mu)=Rt
1198 // memh(Rx++Mu:brev)=Rt.H
1199 // memh(Rx++Mu:brev)=Rt
1200 // memh(gp+#u16:1)=Rt
1201 // if ([!]Pv[.new]) memh(#u6)=Rt.H
1202 // if ([!]Pv[.new]) memh(#u6)=Rt
1203
1204
1205 // if ([!]Pv[.new]) memh(Rs+#u6:1)=Rt.H
1206 // TODO: needs to be implemented.
1207
1208 // if ([!]Pv[.new]) memh(Rx++#s4:1)=Rt.H
1209 // TODO: Needs to be implemented.
1210
1211 // Store word.
1212 // memw(Re=#U6)=Rt
1213 // TODO: Needs to be implemented.
1214
1215 // Store predicate:
1216 let hasSideEffects = 0 in
1217 def STriw_pred_V4 : STInst2<(outs),
1218             (ins MEMri:$addr, PredRegs:$src1),
1219             "Error; should not emit",
1220             []>,
1221             Requires<[HasV4T]>;
1222
1223 let AddedComplexity = 6 in
1224 def : Pat <(store s8ExtPred:$src2, (i32 IntRegs:$src1)),
1225            (S4_storeiri_io IntRegs:$src1, 0, s8ExtPred:$src2)>,
1226            Requires<[HasV4T]>;
1227
1228 // memw(Rx++#s4:2)=Rt
1229 // memw(Rx++#s4:2:circ(Mu))=Rt
1230 // memw(Rx++I:circ(Mu))=Rt
1231 // memw(Rx++Mu)=Rt
1232 // memw(Rx++Mu:brev)=Rt
1233
1234 //===----------------------------------------------------------------------===
1235 // ST -
1236 //===----------------------------------------------------------------------===
1237
1238
1239 //===----------------------------------------------------------------------===//
1240 // NV/ST +
1241 //===----------------------------------------------------------------------===//
1242
1243 let opNewValue = 2, opExtendable = 1, isExtentSigned = 1, isPredicable = 1 in
1244 class T_store_io_nv <string mnemonic, RegisterClass RC,
1245                     Operand ImmOp, bits<2>MajOp>
1246   : NVInst_V4 <(outs),
1247                (ins IntRegs:$src1, ImmOp:$src2, RC:$src3),
1248   mnemonic#"($src1+#$src2) = $src3.new",
1249   [],"",ST_tc_st_SLOT0> {
1250     bits<5> src1;
1251     bits<13> src2; // Actual address offset
1252     bits<3> src3;
1253     bits<11> offsetBits; // Represents offset encoding
1254
1255     let opExtentBits = !if (!eq(mnemonic, "memb"), 11,
1256                        !if (!eq(mnemonic, "memh"), 12,
1257                        !if (!eq(mnemonic, "memw"), 13, 0)));
1258
1259     let opExtentAlign = !if (!eq(mnemonic, "memb"), 0,
1260                         !if (!eq(mnemonic, "memh"), 1,
1261                         !if (!eq(mnemonic, "memw"), 2, 0)));
1262
1263     let offsetBits = !if (!eq(mnemonic, "memb"),  src2{10-0},
1264                      !if (!eq(mnemonic, "memh"),  src2{11-1},
1265                      !if (!eq(mnemonic, "memw"),  src2{12-2}, 0)));
1266
1267     let IClass = 0b1010;
1268
1269     let Inst{27} = 0b0;
1270     let Inst{26-25} = offsetBits{10-9};
1271     let Inst{24-21} = 0b1101;
1272     let Inst{20-16} = src1;
1273     let Inst{13} = offsetBits{8};
1274     let Inst{12-11} = MajOp;
1275     let Inst{10-8} = src3;
1276     let Inst{7-0} = offsetBits{7-0};
1277   }
1278
1279 let opExtendable = 2, opNewValue = 3, isPredicated = 1 in
1280 class T_pstore_io_nv <string mnemonic, RegisterClass RC, Operand predImmOp,
1281                          bits<2>MajOp, bit PredNot, bit isPredNew>
1282   : NVInst_V4 <(outs),
1283                (ins PredRegs:$src1, IntRegs:$src2, predImmOp:$src3, RC:$src4),
1284   !if(PredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
1285   ") ")#mnemonic#"($src2+#$src3) = $src4.new",
1286   [],"",V2LDST_tc_st_SLOT0> {
1287     bits<2> src1;
1288     bits<5> src2;
1289     bits<9> src3;
1290     bits<3> src4;
1291     bits<6> offsetBits; // Represents offset encoding
1292
1293     let isPredicatedNew = isPredNew;
1294     let isPredicatedFalse = PredNot;
1295     let opExtentBits = !if (!eq(mnemonic, "memb"), 6,
1296                        !if (!eq(mnemonic, "memh"), 7,
1297                        !if (!eq(mnemonic, "memw"), 8, 0)));
1298
1299     let opExtentAlign = !if (!eq(mnemonic, "memb"), 0,
1300                         !if (!eq(mnemonic, "memh"), 1,
1301                         !if (!eq(mnemonic, "memw"), 2, 0)));
1302
1303     let offsetBits = !if (!eq(mnemonic, "memb"), src3{5-0},
1304                      !if (!eq(mnemonic, "memh"), src3{6-1},
1305                      !if (!eq(mnemonic, "memw"), src3{7-2}, 0)));
1306
1307     let IClass = 0b0100;
1308
1309     let Inst{27}    = 0b0;
1310     let Inst{26}    = PredNot;
1311     let Inst{25}    = isPredNew;
1312     let Inst{24-21} = 0b0101;
1313     let Inst{20-16} = src2;
1314     let Inst{13}    = offsetBits{5};
1315     let Inst{12-11} = MajOp;
1316     let Inst{10-8}  = src4;
1317     let Inst{7-3}   = offsetBits{4-0};
1318     let Inst{2}     = 0b0;
1319     let Inst{1-0}   = src1;
1320   }
1321
1322 // multiclass for new-value store instructions with base + immediate offset.
1323 //
1324 let mayStore = 1, isNVStore = 1, isNewValue = 1, hasSideEffects = 0,
1325     isExtendable = 1 in
1326 multiclass ST_Idxd_nv<string mnemonic, string CextOp, RegisterClass RC,
1327                    Operand ImmOp, Operand predImmOp, bits<2> MajOp> {
1328
1329   let CextOpcode = CextOp, BaseOpcode = CextOp#_indexed in {
1330     def S2_#NAME#new_io : T_store_io_nv <mnemonic, RC, ImmOp, MajOp>;
1331     // Predicated
1332     def S2_p#NAME#newt_io :T_pstore_io_nv <mnemonic, RC, predImmOp, MajOp, 0, 0>;
1333     def S2_p#NAME#newf_io :T_pstore_io_nv <mnemonic, RC, predImmOp, MajOp, 1, 0>;
1334     // Predicated new
1335     def S4_p#NAME#newtnew_io :T_pstore_io_nv <mnemonic, RC, predImmOp,
1336                                               MajOp, 0, 1>;
1337     def S4_p#NAME#newfnew_io :T_pstore_io_nv <mnemonic, RC, predImmOp,
1338                                               MajOp, 1, 1>;
1339   }
1340 }
1341
1342 let addrMode = BaseImmOffset, InputType = "imm", isCodeGenOnly = 0 in {
1343   let accessSize = ByteAccess in
1344   defm storerb: ST_Idxd_nv<"memb", "STrib", IntRegs, s11_0Ext,
1345                            u6_0Ext, 0b00>, AddrModeRel;
1346
1347   let accessSize = HalfWordAccess, opExtentAlign = 1 in
1348   defm storerh: ST_Idxd_nv<"memh", "STrih", IntRegs, s11_1Ext,
1349                            u6_1Ext, 0b01>, AddrModeRel;
1350
1351   let accessSize = WordAccess, opExtentAlign = 2 in
1352   defm storeri: ST_Idxd_nv<"memw", "STriw", IntRegs, s11_2Ext,
1353                            u6_2Ext, 0b10>, AddrModeRel;
1354 }
1355
1356 //===----------------------------------------------------------------------===//
1357 // Post increment loads with register offset.
1358 //===----------------------------------------------------------------------===//
1359
1360 let hasNewValue = 1, isCodeGenOnly = 0 in
1361 def L2_loadbsw2_pr : T_load_pr <"membh", IntRegs, 0b0001, HalfWordAccess>;
1362
1363 let isCodeGenOnly = 0 in
1364 def L2_loadbsw4_pr : T_load_pr <"membh", DoubleRegs, 0b0111, WordAccess>;
1365
1366 //===----------------------------------------------------------------------===//
1367 // Template class for non-predicated post increment .new stores
1368 // mem[bhwd](Rx++#s4:[0123])=Nt.new
1369 //===----------------------------------------------------------------------===//
1370 let isPredicable = 1, hasSideEffects = 0, validSubTargets = HasV4SubT,
1371     addrMode = PostInc, isNVStore = 1, isNewValue = 1, opNewValue = 3 in
1372 class T_StorePI_nv <string mnemonic, Operand ImmOp, bits<2> MajOp >
1373   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1374                  (ins IntRegs:$src1, ImmOp:$offset, IntRegs:$src2),
1375   mnemonic#"($src1++#$offset) = $src2.new",
1376   [], "$src1 = $_dst_">,
1377   AddrModeRel {
1378     bits<5> src1;
1379     bits<3> src2;
1380     bits<7> offset;
1381     bits<4> offsetBits;
1382
1383     string ImmOpStr = !cast<string>(ImmOp);
1384     let offsetBits = !if (!eq(ImmOpStr, "s4_2Imm"), offset{5-2},
1385                      !if (!eq(ImmOpStr, "s4_1Imm"), offset{4-1},
1386                                       /* s4_0Imm */ offset{3-0}));
1387     let IClass = 0b1010;
1388
1389     let Inst{27-21} = 0b1011101;
1390     let Inst{20-16} = src1;
1391     let Inst{13} = 0b0;
1392     let Inst{12-11} = MajOp;
1393     let Inst{10-8} = src2;
1394     let Inst{7} = 0b0;
1395     let Inst{6-3} = offsetBits;
1396     let Inst{1} = 0b0;
1397   }
1398
1399 //===----------------------------------------------------------------------===//
1400 // Template class for predicated post increment .new stores
1401 // if([!]Pv[.new]) mem[bhwd](Rx++#s4:[0123])=Nt.new
1402 //===----------------------------------------------------------------------===//
1403 let isPredicated = 1, hasSideEffects = 0, validSubTargets = HasV4SubT,
1404     addrMode = PostInc, isNVStore = 1, isNewValue = 1, opNewValue = 4 in
1405 class T_StorePI_nv_pred <string mnemonic, Operand ImmOp,
1406                          bits<2> MajOp, bit isPredNot, bit isPredNew >
1407   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1408                  (ins PredRegs:$src1, IntRegs:$src2,
1409                       ImmOp:$offset, IntRegs:$src3),
1410   !if(isPredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
1411   ") ")#mnemonic#"($src2++#$offset) = $src3.new",
1412   [], "$src2 = $_dst_">,
1413   AddrModeRel {
1414     bits<2> src1;
1415     bits<5> src2;
1416     bits<3> src3;
1417     bits<7> offset;
1418     bits<4> offsetBits;
1419
1420     string ImmOpStr = !cast<string>(ImmOp);
1421     let offsetBits = !if (!eq(ImmOpStr, "s4_2Imm"), offset{5-2},
1422                      !if (!eq(ImmOpStr, "s4_1Imm"), offset{4-1},
1423                                       /* s4_0Imm */ offset{3-0}));
1424     let isPredicatedNew = isPredNew;
1425     let isPredicatedFalse = isPredNot;
1426
1427     let IClass = 0b1010;
1428
1429     let Inst{27-21} = 0b1011101;
1430     let Inst{20-16} = src2;
1431     let Inst{13} = 0b1;
1432     let Inst{12-11} = MajOp;
1433     let Inst{10-8} = src3;
1434     let Inst{7} = isPredNew;
1435     let Inst{6-3} = offsetBits;
1436     let Inst{2} = isPredNot;
1437     let Inst{1-0} = src1;
1438   }
1439
1440 multiclass ST_PostInc_Pred_nv<string mnemonic, Operand ImmOp,
1441                               bits<2> MajOp, bit PredNot> {
1442   def _pi : T_StorePI_nv_pred <mnemonic, ImmOp, MajOp, PredNot, 0>;
1443
1444   // Predicate new
1445   def new_pi : T_StorePI_nv_pred <mnemonic, ImmOp, MajOp, PredNot, 1>;
1446 }
1447
1448 multiclass ST_PostInc_nv<string mnemonic, string BaseOp, Operand ImmOp,
1449                          bits<2> MajOp> {
1450   let BaseOpcode = "POST_"#BaseOp in {
1451     def S2_#NAME#_pi : T_StorePI_nv <mnemonic, ImmOp, MajOp>;
1452
1453     // Predicated
1454     defm S2_p#NAME#t : ST_PostInc_Pred_nv <mnemonic, ImmOp, MajOp, 0>;
1455     defm S2_p#NAME#f : ST_PostInc_Pred_nv <mnemonic, ImmOp, MajOp, 1>;
1456   }
1457 }
1458
1459 let accessSize = ByteAccess, isCodeGenOnly = 0 in
1460 defm storerbnew: ST_PostInc_nv <"memb", "STrib", s4_0Imm, 0b00>;
1461
1462 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in
1463 defm storerhnew: ST_PostInc_nv <"memh", "STrih", s4_1Imm, 0b01>;
1464
1465 let accessSize = WordAccess, isCodeGenOnly = 0 in
1466 defm storerinew: ST_PostInc_nv <"memw", "STriw", s4_2Imm, 0b10>;
1467
1468 //===----------------------------------------------------------------------===//
1469 // Template class for post increment .new stores with register offset
1470 //===----------------------------------------------------------------------===//
1471 let isNewValue = 1, mayStore = 1, isNVStore = 1, opNewValue = 3 in
1472 class T_StorePI_RegNV <string mnemonic, bits<2> MajOp, MemAccessSize AccessSz>
1473   : NVInstPI_V4 <(outs IntRegs:$_dst_),
1474                  (ins IntRegs:$src1, ModRegs:$src2, IntRegs:$src3),
1475   #mnemonic#"($src1++$src2) = $src3.new",
1476   [], "$src1 = $_dst_"> {
1477     bits<5> src1;
1478     bits<1> src2;
1479     bits<3> src3;
1480     let accessSize = AccessSz;
1481
1482     let IClass = 0b1010;
1483
1484     let Inst{27-21} = 0b1101101;
1485     let Inst{20-16} = src1;
1486     let Inst{13}    = src2;
1487     let Inst{12-11} = MajOp;
1488     let Inst{10-8}  = src3;
1489     let Inst{7}     = 0b0;
1490   }
1491
1492 let isCodeGenOnly = 0 in {
1493 def S2_storerbnew_pr : T_StorePI_RegNV<"memb", 0b00, ByteAccess>;
1494 def S2_storerhnew_pr : T_StorePI_RegNV<"memh", 0b01, HalfWordAccess>;
1495 def S2_storerinew_pr : T_StorePI_RegNV<"memw", 0b10, WordAccess>;
1496 }
1497
1498 // memb(Rx++#s4:0:circ(Mu))=Nt.new
1499 // memb(Rx++I:circ(Mu))=Nt.new
1500 // memb(Rx++Mu)=Nt.new
1501 // memb(Rx++Mu:brev)=Nt.new
1502 // memh(Rx++#s4:1:circ(Mu))=Nt.new
1503 // memh(Rx++I:circ(Mu))=Nt.new
1504 // memh(Rx++Mu)=Nt.new
1505 // memh(Rx++Mu:brev)=Nt.new
1506
1507 // memw(Rx++#s4:2:circ(Mu))=Nt.new
1508 // memw(Rx++I:circ(Mu))=Nt.new
1509 // memw(Rx++Mu)=Nt.new
1510 // memw(Rx++Mu:brev)=Nt.new
1511
1512 //===----------------------------------------------------------------------===//
1513 // NV/ST -
1514 //===----------------------------------------------------------------------===//
1515
1516 //===----------------------------------------------------------------------===//
1517 // NV/J +
1518 //===----------------------------------------------------------------------===//
1519
1520 //===----------------------------------------------------------------------===//
1521 // multiclass/template class for the new-value compare jumps with the register
1522 // operands.
1523 //===----------------------------------------------------------------------===//
1524
1525 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 11,
1526     opExtentAlign = 2 in
1527 class NVJrr_template<string mnemonic, bits<3> majOp, bit NvOpNum,
1528                       bit isNegCond, bit isTak>
1529   : NVInst_V4<(outs),
1530     (ins IntRegs:$src1, IntRegs:$src2, brtarget:$offset),
1531     "if ("#!if(isNegCond, "!","")#mnemonic#
1532     "($src1"#!if(!eq(NvOpNum, 0),".new, ",", ")#
1533     "$src2"#!if(!eq(NvOpNum, 1),".new))","))")#" jump:"
1534     #!if(isTak, "t","nt")#" $offset", []> {
1535
1536       bits<5> src1;
1537       bits<5> src2;
1538       bits<3> Ns;    // New-Value Operand
1539       bits<5> RegOp; // Non-New-Value Operand
1540       bits<11> offset;
1541
1542       let isTaken = isTak;
1543       let isPredicatedFalse = isNegCond;
1544       let opNewValue{0} = NvOpNum;
1545
1546       let Ns = !if(!eq(NvOpNum, 0), src1{2-0}, src2{2-0});
1547       let RegOp = !if(!eq(NvOpNum, 0), src2, src1);
1548
1549       let IClass = 0b0010;
1550       let Inst{26} = 0b0;
1551       let Inst{25-23} = majOp;
1552       let Inst{22} = isNegCond;
1553       let Inst{18-16} = Ns;
1554       let Inst{13} = isTak;
1555       let Inst{12-8} = RegOp;
1556       let Inst{21-20} = offset{10-9};
1557       let Inst{7-1} = offset{8-2};
1558 }
1559
1560
1561 multiclass NVJrr_cond<string mnemonic, bits<3> majOp, bit NvOpNum,
1562                        bit isNegCond> {
1563   // Branch not taken:
1564   def _nt_V4: NVJrr_template<mnemonic, majOp, NvOpNum, isNegCond, 0>;
1565   // Branch taken:
1566   def _t_V4: NVJrr_template<mnemonic, majOp, NvOpNum, isNegCond, 1>;
1567 }
1568
1569 // NvOpNum = 0 -> First Operand is a new-value Register
1570 // NvOpNum = 1 -> Second Operand is a new-value Register
1571
1572 multiclass NVJrr_base<string mnemonic, string BaseOp, bits<3> majOp,
1573                        bit NvOpNum> {
1574   let BaseOpcode = BaseOp#_NVJ in {
1575     defm _t_Jumpnv : NVJrr_cond<mnemonic, majOp, NvOpNum, 0>; // True cond
1576     defm _f_Jumpnv : NVJrr_cond<mnemonic, majOp, NvOpNum, 1>; // False cond
1577   }
1578 }
1579
1580 // if ([!]cmp.eq(Ns.new,Rt)) jump:[n]t #r9:2
1581 // if ([!]cmp.gt(Ns.new,Rt)) jump:[n]t #r9:2
1582 // if ([!]cmp.gtu(Ns.new,Rt)) jump:[n]t #r9:2
1583 // if ([!]cmp.gt(Rt,Ns.new)) jump:[n]t #r9:2
1584 // if ([!]cmp.gtu(Rt,Ns.new)) jump:[n]t #r9:2
1585
1586 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator = 1,
1587     Defs = [PC], hasSideEffects = 0, validSubTargets = HasV4SubT,
1588     isCodeGenOnly = 0 in {
1589   defm CMPEQrr  : NVJrr_base<"cmp.eq",  "CMPEQ",  0b000, 0>, PredRel;
1590   defm CMPGTrr  : NVJrr_base<"cmp.gt",  "CMPGT",  0b001, 0>, PredRel;
1591   defm CMPGTUrr : NVJrr_base<"cmp.gtu", "CMPGTU", 0b010, 0>, PredRel;
1592   defm CMPLTrr  : NVJrr_base<"cmp.gt",  "CMPLT",  0b011, 1>, PredRel;
1593   defm CMPLTUrr : NVJrr_base<"cmp.gtu", "CMPLTU", 0b100, 1>, PredRel;
1594 }
1595
1596 //===----------------------------------------------------------------------===//
1597 // multiclass/template class for the new-value compare jumps instruction
1598 // with a register and an unsigned immediate (U5) operand.
1599 //===----------------------------------------------------------------------===//
1600
1601 let isExtendable = 1, opExtendable = 2, isExtentSigned = 1, opExtentBits = 11,
1602     opExtentAlign = 2 in
1603 class NVJri_template<string mnemonic, bits<3> majOp, bit isNegCond,
1604                          bit isTak>
1605   : NVInst_V4<(outs),
1606     (ins IntRegs:$src1, u5Imm:$src2, brtarget:$offset),
1607     "if ("#!if(isNegCond, "!","")#mnemonic#"($src1.new, #$src2)) jump:"
1608     #!if(isTak, "t","nt")#" $offset", []> {
1609
1610       let isTaken = isTak;
1611       let isPredicatedFalse = isNegCond;
1612       let isTaken = isTak;
1613
1614       bits<3> src1;
1615       bits<5> src2;
1616       bits<11> offset;
1617
1618       let IClass = 0b0010;
1619       let Inst{26} = 0b1;
1620       let Inst{25-23} = majOp;
1621       let Inst{22} = isNegCond;
1622       let Inst{18-16} = src1;
1623       let Inst{13} = isTak;
1624       let Inst{12-8} = src2;
1625       let Inst{21-20} = offset{10-9};
1626       let Inst{7-1} = offset{8-2};
1627 }
1628
1629 multiclass NVJri_cond<string mnemonic, bits<3> majOp, bit isNegCond> {
1630   // Branch not taken:
1631   def _nt_V4: NVJri_template<mnemonic, majOp, isNegCond, 0>;
1632   // Branch taken:
1633   def _t_V4: NVJri_template<mnemonic, majOp, isNegCond, 1>;
1634 }
1635
1636 multiclass NVJri_base<string mnemonic, string BaseOp, bits<3> majOp> {
1637   let BaseOpcode = BaseOp#_NVJri in {
1638     defm _t_Jumpnv : NVJri_cond<mnemonic, majOp, 0>; // True Cond
1639     defm _f_Jumpnv : NVJri_cond<mnemonic, majOp, 1>; // False cond
1640   }
1641 }
1642
1643 // if ([!]cmp.eq(Ns.new,#U5)) jump:[n]t #r9:2
1644 // if ([!]cmp.gt(Ns.new,#U5)) jump:[n]t #r9:2
1645 // if ([!]cmp.gtu(Ns.new,#U5)) jump:[n]t #r9:2
1646
1647 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator = 1,
1648     Defs = [PC], hasSideEffects = 0, validSubTargets = HasV4SubT,
1649     isCodeGenOnly = 0 in {
1650   defm CMPEQri  : NVJri_base<"cmp.eq", "CMPEQ", 0b000>, PredRel;
1651   defm CMPGTri  : NVJri_base<"cmp.gt", "CMPGT", 0b001>, PredRel;
1652   defm CMPGTUri : NVJri_base<"cmp.gtu", "CMPGTU", 0b010>, PredRel;
1653 }
1654
1655 //===----------------------------------------------------------------------===//
1656 // multiclass/template class for the new-value compare jumps instruction
1657 // with a register and an hardcoded 0/-1 immediate value.
1658 //===----------------------------------------------------------------------===//
1659
1660 let isExtendable = 1, opExtendable = 1, isExtentSigned = 1, opExtentBits = 11,
1661     opExtentAlign = 2 in
1662 class NVJ_ConstImm_template<string mnemonic, bits<3> majOp, string ImmVal,
1663                             bit isNegCond, bit isTak>
1664   : NVInst_V4<(outs),
1665     (ins IntRegs:$src1, brtarget:$offset),
1666     "if ("#!if(isNegCond, "!","")#mnemonic
1667     #"($src1.new, #"#ImmVal#")) jump:"
1668     #!if(isTak, "t","nt")#" $offset", []> {
1669
1670       let isTaken = isTak;
1671       let isPredicatedFalse = isNegCond;
1672       let isTaken = isTak;
1673
1674       bits<3> src1;
1675       bits<11> offset;
1676       let IClass = 0b0010;
1677       let Inst{26} = 0b1;
1678       let Inst{25-23} = majOp;
1679       let Inst{22} = isNegCond;
1680       let Inst{18-16} = src1;
1681       let Inst{13} = isTak;
1682       let Inst{21-20} = offset{10-9};
1683       let Inst{7-1} = offset{8-2};
1684 }
1685
1686 multiclass NVJ_ConstImm_cond<string mnemonic, bits<3> majOp, string ImmVal,
1687                              bit isNegCond> {
1688   // Branch not taken:
1689   def _nt_V4: NVJ_ConstImm_template<mnemonic, majOp, ImmVal, isNegCond, 0>;
1690   // Branch taken:
1691   def _t_V4: NVJ_ConstImm_template<mnemonic, majOp, ImmVal, isNegCond, 1>;
1692 }
1693
1694 multiclass NVJ_ConstImm_base<string mnemonic, string BaseOp, bits<3> majOp,
1695                              string ImmVal> {
1696   let BaseOpcode = BaseOp#_NVJ_ConstImm in {
1697     defm _t_Jumpnv : NVJ_ConstImm_cond<mnemonic, majOp, ImmVal, 0>; // True
1698     defm _f_Jumpnv : NVJ_ConstImm_cond<mnemonic, majOp, ImmVal, 1>; // False
1699   }
1700 }
1701
1702 // if ([!]tstbit(Ns.new,#0)) jump:[n]t #r9:2
1703 // if ([!]cmp.eq(Ns.new,#-1)) jump:[n]t #r9:2
1704 // if ([!]cmp.gt(Ns.new,#-1)) jump:[n]t #r9:2
1705
1706 let isPredicated = 1, isBranch = 1, isNewValue = 1, isTerminator=1,
1707     Defs = [PC], hasSideEffects = 0, isCodeGenOnly = 0 in {
1708   defm TSTBIT0  : NVJ_ConstImm_base<"tstbit", "TSTBIT", 0b011, "0">, PredRel;
1709   defm CMPEQn1  : NVJ_ConstImm_base<"cmp.eq", "CMPEQ",  0b100, "-1">, PredRel;
1710   defm CMPGTn1  : NVJ_ConstImm_base<"cmp.gt", "CMPGT",  0b101, "-1">, PredRel;
1711 }
1712
1713 // J4_hintjumpr: Hint indirect conditional jump.
1714 let isBranch = 1, isIndirectBranch = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1715 def J4_hintjumpr: JRInst <
1716   (outs),
1717   (ins IntRegs:$Rs),
1718   "hintjr($Rs)"> {
1719     bits<5> Rs;
1720     let IClass = 0b0101;
1721     let Inst{27-21} = 0b0010101;
1722     let Inst{20-16} = Rs;
1723   }
1724
1725 //===----------------------------------------------------------------------===//
1726 // NV/J -
1727 //===----------------------------------------------------------------------===//
1728
1729 //===----------------------------------------------------------------------===//
1730 // CR +
1731 //===----------------------------------------------------------------------===//
1732
1733 // PC-relative add
1734 let hasNewValue = 1, isExtendable = 1, opExtendable = 1,
1735     isExtentSigned = 0, opExtentBits = 6, hasSideEffects = 0,
1736     Uses = [PC], validSubTargets = HasV4SubT, isCodeGenOnly = 0 in
1737 def C4_addipc : CRInst <(outs IntRegs:$Rd), (ins u6Ext:$u6),
1738   "$Rd = add(pc, #$u6)", [], "", CR_tc_2_SLOT3 > {
1739     bits<5> Rd;
1740     bits<6> u6;
1741
1742     let IClass = 0b0110;
1743     let Inst{27-16} = 0b101001001001;
1744     let Inst{12-7} = u6;
1745     let Inst{4-0} = Rd;
1746   }
1747
1748
1749
1750 let hasSideEffects = 0 in
1751 class T_LOGICAL_3OP<string MnOp1, string MnOp2, bits<2> OpBits, bit IsNeg>
1752     : CRInst<(outs PredRegs:$Pd),
1753              (ins PredRegs:$Ps, PredRegs:$Pt, PredRegs:$Pu),
1754              "$Pd = " # MnOp1 # "($Ps, " # MnOp2 # "($Pt, " #
1755                    !if (IsNeg,"!","") # "$Pu))",
1756              [], "", CR_tc_2early_SLOT23> {
1757   bits<2> Pd;
1758   bits<2> Ps;
1759   bits<2> Pt;
1760   bits<2> Pu;
1761
1762   let IClass = 0b0110;
1763   let Inst{27-24} = 0b1011;
1764   let Inst{23} = IsNeg;
1765   let Inst{22-21} = OpBits;
1766   let Inst{20} = 0b1;
1767   let Inst{17-16} = Ps;
1768   let Inst{13} = 0b0;
1769   let Inst{9-8} = Pt;
1770   let Inst{7-6} = Pu;
1771   let Inst{1-0} = Pd;
1772 }
1773
1774 let isCodeGenOnly = 0 in {
1775 def C4_and_and  : T_LOGICAL_3OP<"and", "and", 0b00, 0>;
1776 def C4_and_or   : T_LOGICAL_3OP<"and", "or",  0b01, 0>;
1777 def C4_or_and   : T_LOGICAL_3OP<"or",  "and", 0b10, 0>;
1778 def C4_or_or    : T_LOGICAL_3OP<"or",  "or",  0b11, 0>;
1779 def C4_and_andn : T_LOGICAL_3OP<"and", "and", 0b00, 1>;
1780 def C4_and_orn  : T_LOGICAL_3OP<"and", "or",  0b01, 1>;
1781 def C4_or_andn  : T_LOGICAL_3OP<"or",  "and", 0b10, 1>;
1782 def C4_or_orn   : T_LOGICAL_3OP<"or",  "or",  0b11, 1>;
1783 }
1784
1785 //===----------------------------------------------------------------------===//
1786 // CR -
1787 //===----------------------------------------------------------------------===//
1788
1789 //===----------------------------------------------------------------------===//
1790 // XTYPE/ALU +
1791 //===----------------------------------------------------------------------===//
1792
1793 // Logical with-not instructions.
1794 let validSubTargets = HasV4SubT, isCodeGenOnly = 0 in {
1795   def A4_andnp : T_ALU64_logical<"and", 0b001, 1, 0, 1>;
1796   def A4_ornp  : T_ALU64_logical<"or",  0b011, 1, 0, 1>;
1797 }
1798
1799 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
1800 def S4_parity: ALU64Inst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, IntRegs:$Rt),
1801       "$Rd = parity($Rs, $Rt)", [], "", ALU64_tc_2_SLOT23> {
1802   bits<5> Rd;
1803   bits<5> Rs;
1804   bits<5> Rt;
1805
1806   let IClass = 0b1101;
1807   let Inst{27-21} = 0b0101111;
1808   let Inst{20-16} = Rs;
1809   let Inst{12-8} = Rt;
1810   let Inst{4-0} = Rd;
1811 }
1812 //  Add and accumulate.
1813 //  Rd=add(Rs,add(Ru,#s6))
1814 let isExtentSigned = 1, hasNewValue = 1, isExtendable = 1, opExtentBits = 6,
1815     opExtendable = 3, isCodeGenOnly = 0 in
1816 def S4_addaddi : ALU64Inst <(outs IntRegs:$Rd),
1817                             (ins IntRegs:$Rs, IntRegs:$Ru, s6Ext:$s6),
1818   "$Rd = add($Rs, add($Ru, #$s6))" ,
1819   [(set (i32 IntRegs:$Rd), (add (i32 IntRegs:$Rs),
1820                            (add (i32 IntRegs:$Ru), s6_16ExtPred:$s6)))],
1821   "", ALU64_tc_2_SLOT23> {
1822     bits<5> Rd;
1823     bits<5> Rs;
1824     bits<5> Ru;
1825     bits<6> s6;
1826
1827     let IClass = 0b1101;
1828
1829     let Inst{27-23} = 0b10110;
1830     let Inst{22-21} = s6{5-4};
1831     let Inst{20-16} = Rs;
1832     let Inst{13}    = s6{3};
1833     let Inst{12-8}  = Rd;
1834     let Inst{7-5}   = s6{2-0};
1835     let Inst{4-0}   = Ru;
1836   }
1837
1838 let isExtentSigned = 1, hasSideEffects = 0, hasNewValue = 1, isExtendable = 1,
1839     opExtentBits = 6, opExtendable = 2, isCodeGenOnly = 0 in
1840 def S4_subaddi: ALU64Inst <(outs IntRegs:$Rd),
1841                            (ins IntRegs:$Rs, s6Ext:$s6, IntRegs:$Ru),
1842   "$Rd = add($Rs, sub(#$s6, $Ru))",
1843   [], "", ALU64_tc_2_SLOT23> {
1844     bits<5> Rd;
1845     bits<5> Rs;
1846     bits<6> s6;
1847     bits<5> Ru;
1848
1849     let IClass = 0b1101;
1850
1851     let Inst{27-23} = 0b10111;
1852     let Inst{22-21} = s6{5-4};
1853     let Inst{20-16} = Rs;
1854     let Inst{13}    = s6{3};
1855     let Inst{12-8}  = Rd;
1856     let Inst{7-5}   = s6{2-0};
1857     let Inst{4-0}   = Ru;
1858   }
1859
1860 // Extract bitfield
1861 // Rdd=extract(Rss,#u6,#U6)
1862 // Rdd=extract(Rss,Rtt)
1863 // Rd=extract(Rs,Rtt)
1864 // Rd=extract(Rs,#u5,#U5)
1865
1866 let isCodeGenOnly = 0 in {
1867 def S4_extractp_rp : T_S3op_64 < "extract",  0b11, 0b100, 0>;
1868 def S4_extractp    : T_S2op_extract <"extract",  0b1010, DoubleRegs, u6Imm>;
1869 }
1870
1871 let hasNewValue = 1, isCodeGenOnly = 0 in {
1872   def S4_extract_rp : T_S3op_extract<"extract",  0b01>;
1873   def S4_extract    : T_S2op_extract <"extract",  0b1101, IntRegs, u5Imm>;
1874 }
1875
1876 // Complex add/sub halfwords/words
1877 let Defs = [USR_OVF], isCodeGenOnly = 0 in {
1878   def S4_vxaddsubh : T_S3op_64 < "vxaddsubh", 0b01, 0b100, 0, 1>;
1879   def S4_vxaddsubw : T_S3op_64 < "vxaddsubw", 0b01, 0b000, 0, 1>;
1880   def S4_vxsubaddh : T_S3op_64 < "vxsubaddh", 0b01, 0b110, 0, 1>;
1881   def S4_vxsubaddw : T_S3op_64 < "vxsubaddw", 0b01, 0b010, 0, 1>;
1882 }
1883
1884 let Defs = [USR_OVF], isCodeGenOnly = 0 in {
1885   def S4_vxaddsubhr : T_S3op_64 < "vxaddsubh", 0b11, 0b000, 0, 1, 1, 1>;
1886   def S4_vxsubaddhr : T_S3op_64 < "vxsubaddh", 0b11, 0b010, 0, 1, 1, 1>;
1887 }
1888
1889 let Itinerary = M_tc_3x_SLOT23, Defs = [USR_OVF], isCodeGenOnly = 0 in {
1890   def M4_mac_up_s1_sat: T_MType_acc_rr<"+= mpy", 0b011, 0b000, 0, [], 0, 1, 1>;
1891   def M4_nac_up_s1_sat: T_MType_acc_rr<"-= mpy", 0b011, 0b001, 0, [], 0, 1, 1>;
1892 }
1893
1894 // Logical xor with xor accumulation.
1895 // Rxx^=xor(Rss,Rtt)
1896 let hasSideEffects = 0, isCodeGenOnly = 0 in
1897 def M4_xor_xacc
1898   : SInst <(outs DoubleRegs:$Rxx),
1899            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, DoubleRegs:$Rtt),
1900   "$Rxx ^= xor($Rss, $Rtt)",
1901   [(set (i64 DoubleRegs:$Rxx),
1902    (xor (i64 DoubleRegs:$dst2), (xor (i64 DoubleRegs:$Rss),
1903                                      (i64 DoubleRegs:$Rtt))))],
1904   "$dst2 = $Rxx", S_3op_tc_1_SLOT23> {
1905     bits<5> Rxx;
1906     bits<5> Rss;
1907     bits<5> Rtt;
1908
1909     let IClass = 0b1100;
1910
1911     let Inst{27-23} = 0b10101;
1912     let Inst{20-16} = Rss;
1913     let Inst{12-8}  = Rtt;
1914     let Inst{4-0}   = Rxx;
1915   }
1916
1917 // Rotate and reduce bytes
1918 // Rdd=vrcrotate(Rss,Rt,#u2)
1919 let hasSideEffects = 0, isCodeGenOnly = 0 in
1920 def S4_vrcrotate
1921   : SInst <(outs DoubleRegs:$Rdd),
1922            (ins DoubleRegs:$Rss, IntRegs:$Rt, u2Imm:$u2),
1923   "$Rdd = vrcrotate($Rss, $Rt, #$u2)",
1924   [], "", S_3op_tc_3x_SLOT23> {
1925     bits<5> Rdd;
1926     bits<5> Rss;
1927     bits<5> Rt;
1928     bits<2> u2;
1929
1930     let IClass = 0b1100;
1931
1932     let Inst{27-22} = 0b001111;
1933     let Inst{20-16} = Rss;
1934     let Inst{13}    = u2{1};
1935     let Inst{12-8}  = Rt;
1936     let Inst{7-6}   = 0b11;
1937     let Inst{5}     = u2{0};
1938     let Inst{4-0}   = Rdd;
1939   }
1940
1941 // Rotate and reduce bytes with accumulation
1942 // Rxx+=vrcrotate(Rss,Rt,#u2)
1943 let hasSideEffects = 0, isCodeGenOnly = 0 in
1944 def S4_vrcrotate_acc
1945   : SInst <(outs DoubleRegs:$Rxx),
1946            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Rt, u2Imm:$u2),
1947   "$Rxx += vrcrotate($Rss, $Rt, #$u2)", [],
1948   "$dst2 = $Rxx", S_3op_tc_3x_SLOT23> {
1949     bits<5> Rxx;
1950     bits<5> Rss;
1951     bits<5> Rt;
1952     bits<2> u2;
1953
1954     let IClass = 0b1100;
1955
1956     let Inst{27-21} = 0b1011101;
1957     let Inst{20-16} = Rss;
1958     let Inst{13}    = u2{1};
1959     let Inst{12-8}  = Rt;
1960     let Inst{5}     = u2{0};
1961     let Inst{4-0}   = Rxx;
1962   }
1963
1964
1965 // Vector reduce conditional negate halfwords
1966 let hasSideEffects = 0, isCodeGenOnly = 0 in
1967 def S2_vrcnegh
1968   : SInst <(outs DoubleRegs:$Rxx),
1969            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Rt),
1970   "$Rxx += vrcnegh($Rss, $Rt)", [],
1971   "$dst2 = $Rxx", S_3op_tc_3x_SLOT23> {
1972     bits<5> Rxx;
1973     bits<5> Rss;
1974     bits<5> Rt;
1975
1976     let IClass = 0b1100;
1977
1978     let Inst{27-21} = 0b1011001;
1979     let Inst{20-16} = Rss;
1980     let Inst{13}    = 0b1;
1981     let Inst{12-8}  = Rt;
1982     let Inst{7-5}   = 0b111;
1983     let Inst{4-0}   = Rxx;
1984   }
1985
1986 // Split bitfield
1987 let isCodeGenOnly = 0 in
1988 def A4_bitspliti : T_S2op_2_di <"bitsplit", 0b110, 0b100>;
1989
1990 // Arithmetic/Convergent round
1991 let isCodeGenOnly = 0 in
1992 def A4_cround_ri : T_S2op_2_ii <"cround", 0b111, 0b000>;
1993
1994 let isCodeGenOnly = 0 in
1995 def A4_round_ri  : T_S2op_2_ii <"round", 0b111, 0b100>;
1996
1997 let Defs = [USR_OVF], isCodeGenOnly = 0 in
1998 def A4_round_ri_sat : T_S2op_2_ii <"round", 0b111, 0b110, 1>;
1999
2000 // Logical-logical words.
2001 // Compound or-and -- Rx=or(Ru,and(Rx,#s10))
2002 let isExtentSigned = 1, hasNewValue = 1, isExtendable = 1, opExtentBits = 10,
2003     opExtendable = 3, isCodeGenOnly = 0 in
2004 def S4_or_andix:
2005   ALU64Inst<(outs IntRegs:$Rx),
2006             (ins IntRegs:$Ru, IntRegs:$_src_, s10Ext:$s10),
2007   "$Rx = or($Ru, and($_src_, #$s10))" ,
2008   [(set (i32 IntRegs:$Rx),
2009         (or (i32 IntRegs:$Ru), (and (i32 IntRegs:$_src_), s10ExtPred:$s10)))] ,
2010   "$_src_ = $Rx", ALU64_tc_2_SLOT23> {
2011     bits<5> Rx;
2012     bits<5> Ru;
2013     bits<10> s10;
2014
2015     let IClass = 0b1101;
2016
2017     let Inst{27-22} = 0b101001;
2018     let Inst{20-16} = Rx;
2019     let Inst{21}    = s10{9};
2020     let Inst{13-5}  = s10{8-0};
2021     let Inst{4-0}   = Ru;
2022   }
2023
2024 // Miscellaneous ALU64 instructions.
2025 //
2026 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
2027 def A4_modwrapu: ALU64Inst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, IntRegs:$Rt),
2028       "$Rd = modwrap($Rs, $Rt)", [], "", ALU64_tc_2_SLOT23> {
2029   bits<5> Rd;
2030   bits<5> Rs;
2031   bits<5> Rt;
2032
2033   let IClass = 0b1101;
2034   let Inst{27-21} = 0b0011111;
2035   let Inst{20-16} = Rs;
2036   let Inst{12-8} = Rt;
2037   let Inst{7-5} = 0b111;
2038   let Inst{4-0} = Rd;
2039 }
2040
2041 let hasSideEffects = 0, isCodeGenOnly = 0 in
2042 def A4_bitsplit: ALU64Inst<(outs DoubleRegs:$Rd),
2043       (ins IntRegs:$Rs, IntRegs:$Rt),
2044       "$Rd = bitsplit($Rs, $Rt)", [], "", ALU64_tc_1_SLOT23> {
2045   bits<5> Rd;
2046   bits<5> Rs;
2047   bits<5> Rt;
2048
2049   let IClass = 0b1101;
2050   let Inst{27-24} = 0b0100;
2051   let Inst{21} = 0b1;
2052   let Inst{20-16} = Rs;
2053   let Inst{12-8} = Rt;
2054   let Inst{4-0} = Rd;
2055 }
2056
2057 let isCodeGenOnly = 0 in {
2058 // Rx[&|]=xor(Rs,Rt)
2059 def M4_or_xor   : T_MType_acc_rr < "|= xor", 0b110, 0b001, 0>;
2060 def M4_and_xor  : T_MType_acc_rr < "&= xor", 0b010, 0b010, 0>;
2061
2062 // Rx[&|^]=or(Rs,Rt)
2063 def M4_xor_or   : T_MType_acc_rr < "^= or",  0b110, 0b011, 0>;
2064
2065 let CextOpcode = "ORr_ORr" in
2066 def M4_or_or    : T_MType_acc_rr < "|= or",  0b110, 0b000, 0>;
2067 def M4_and_or   : T_MType_acc_rr < "&= or",  0b010, 0b001, 0>;
2068
2069 // Rx[&|^]=and(Rs,Rt)
2070 def M4_xor_and  : T_MType_acc_rr < "^= and", 0b110, 0b010, 0>;
2071
2072 let CextOpcode = "ORr_ANDr" in
2073 def M4_or_and   : T_MType_acc_rr < "|= and", 0b010, 0b011, 0>;
2074 def M4_and_and  : T_MType_acc_rr < "&= and", 0b010, 0b000, 0>;
2075
2076 // Rx[&|^]=and(Rs,~Rt)
2077 def M4_xor_andn : T_MType_acc_rr < "^= and", 0b001, 0b010, 0, [], 1>;
2078 def M4_or_andn  : T_MType_acc_rr < "|= and", 0b001, 0b000, 0, [], 1>;
2079 def M4_and_andn : T_MType_acc_rr < "&= and", 0b001, 0b001, 0, [], 1>;
2080 }
2081
2082 // Compound or-or and or-and
2083 let isExtentSigned = 1, InputType = "imm", hasNewValue = 1, isExtendable = 1,
2084     opExtentBits = 10, opExtendable = 3 in
2085 class T_CompOR <string mnemonic, bits<2> MajOp, SDNode OpNode>
2086   : MInst_acc <(outs IntRegs:$Rx),
2087                (ins IntRegs:$src1, IntRegs:$Rs, s10Ext:$s10),
2088   "$Rx |= "#mnemonic#"($Rs, #$s10)",
2089   [(set (i32 IntRegs:$Rx), (or (i32 IntRegs:$src1),
2090                            (OpNode (i32 IntRegs:$Rs), s10ExtPred:$s10)))],
2091   "$src1 = $Rx", ALU64_tc_2_SLOT23>, ImmRegRel {
2092     bits<5> Rx;
2093     bits<5> Rs;
2094     bits<10> s10;
2095
2096     let IClass = 0b1101;
2097
2098     let Inst{27-24} = 0b1010;
2099     let Inst{23-22} = MajOp;
2100     let Inst{20-16} = Rs;
2101     let Inst{21}    = s10{9};
2102     let Inst{13-5}  = s10{8-0};
2103     let Inst{4-0}   = Rx;
2104   }
2105
2106 let CextOpcode = "ORr_ANDr", isCodeGenOnly = 0 in
2107 def S4_or_andi : T_CompOR <"and", 0b00, and>;
2108
2109 let CextOpcode = "ORr_ORr", isCodeGenOnly = 0 in
2110 def S4_or_ori : T_CompOR <"or", 0b10, or>;
2111
2112 //    Modulo wrap
2113 //        Rd=modwrap(Rs,Rt)
2114 //    Round
2115 //        Rd=cround(Rs,#u5)
2116 //        Rd=cround(Rs,Rt)
2117 //        Rd=round(Rs,#u5)[:sat]
2118 //        Rd=round(Rs,Rt)[:sat]
2119 //    Vector reduce add unsigned halfwords
2120 //        Rd=vraddh(Rss,Rtt)
2121 //    Vector add bytes
2122 //        Rdd=vaddb(Rss,Rtt)
2123 //    Vector conditional negate
2124 //        Rdd=vcnegh(Rss,Rt)
2125 //        Rxx+=vrcnegh(Rss,Rt)
2126 //    Vector maximum bytes
2127 //        Rdd=vmaxb(Rtt,Rss)
2128 //    Vector reduce maximum halfwords
2129 //        Rxx=vrmaxh(Rss,Ru)
2130 //        Rxx=vrmaxuh(Rss,Ru)
2131 //    Vector reduce maximum words
2132 //        Rxx=vrmaxuw(Rss,Ru)
2133 //        Rxx=vrmaxw(Rss,Ru)
2134 //    Vector minimum bytes
2135 //        Rdd=vminb(Rtt,Rss)
2136 //    Vector reduce minimum halfwords
2137 //        Rxx=vrminh(Rss,Ru)
2138 //        Rxx=vrminuh(Rss,Ru)
2139 //    Vector reduce minimum words
2140 //        Rxx=vrminuw(Rss,Ru)
2141 //        Rxx=vrminw(Rss,Ru)
2142 //    Vector subtract bytes
2143 //        Rdd=vsubb(Rss,Rtt)
2144
2145 //===----------------------------------------------------------------------===//
2146 // XTYPE/ALU -
2147 //===----------------------------------------------------------------------===//
2148
2149 //===----------------------------------------------------------------------===//
2150 // XTYPE/BIT +
2151 //===----------------------------------------------------------------------===//
2152
2153 // Bit reverse
2154 let isCodeGenOnly = 0 in
2155 def S2_brevp : T_S2op_3 <"brev", 0b11, 0b110>;
2156
2157 // Bit count
2158 let isCodeGenOnly = 0 in {
2159 def S2_ct0p : T_COUNT_LEADING_64<"ct0", 0b111, 0b010>;
2160 def S2_ct1p : T_COUNT_LEADING_64<"ct1", 0b111, 0b100>;
2161 def S4_clbpnorm : T_COUNT_LEADING_64<"normamt", 0b011, 0b000>;
2162 }
2163
2164 def: Pat<(i32 (trunc (cttz (i64 DoubleRegs:$Rss)))),
2165          (S2_ct0p (i64 DoubleRegs:$Rss))>;
2166 def: Pat<(i32 (trunc (cttz (not (i64 DoubleRegs:$Rss))))),
2167          (S2_ct1p (i64 DoubleRegs:$Rss))>;
2168
2169 let hasSideEffects = 0, hasNewValue = 1, isCodeGenOnly = 0 in
2170 def S4_clbaddi : SInst<(outs IntRegs:$Rd), (ins IntRegs:$Rs, s6Imm:$s6),
2171     "$Rd = add(clb($Rs), #$s6)", [], "", S_2op_tc_2_SLOT23> {
2172   bits<5> Rs;
2173   bits<5> Rd;
2174   bits<6> s6;
2175   let IClass = 0b1000;
2176   let Inst{27-24} = 0b1100;
2177   let Inst{23-21} = 0b001;
2178   let Inst{20-16} = Rs;
2179   let Inst{13-8} = s6;
2180   let Inst{7-5} = 0b000;
2181   let Inst{4-0} = Rd;
2182 }
2183
2184 let hasSideEffects = 0, hasNewValue = 1, isCodeGenOnly = 0 in
2185 def S4_clbpaddi : SInst<(outs IntRegs:$Rd), (ins DoubleRegs:$Rs, s6Imm:$s6),
2186     "$Rd = add(clb($Rs), #$s6)", [], "", S_2op_tc_2_SLOT23> {
2187   bits<5> Rs;
2188   bits<5> Rd;
2189   bits<6> s6;
2190   let IClass = 0b1000;
2191   let Inst{27-24} = 0b1000;
2192   let Inst{23-21} = 0b011;
2193   let Inst{20-16} = Rs;
2194   let Inst{13-8} = s6;
2195   let Inst{7-5} = 0b010;
2196   let Inst{4-0} = Rd;
2197 }
2198
2199
2200 // Bit test/set/clear
2201 let isCodeGenOnly = 0 in {
2202 def S4_ntstbit_i : T_TEST_BIT_IMM<"!tstbit", 0b001>;
2203 def S4_ntstbit_r : T_TEST_BIT_REG<"!tstbit", 1>;
2204 }
2205
2206 let AddedComplexity = 20 in {   // Complexity greater than cmp reg-imm.
2207   def: Pat<(i1 (seteq (and (shl 1, u5ImmPred:$u5), (i32 IntRegs:$Rs)), 0)),
2208            (S4_ntstbit_i (i32 IntRegs:$Rs), u5ImmPred:$u5)>;
2209   def: Pat<(i1 (seteq (and (shl 1, (i32 IntRegs:$Rt)), (i32 IntRegs:$Rs)), 0)),
2210            (S4_ntstbit_r (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))>;
2211 }
2212
2213 // Add extra complexity to prefer these instructions over bitsset/bitsclr.
2214 // The reason is that tstbit/ntstbit can be folded into a compound instruction:
2215 //   if ([!]tstbit(...)) jump ...
2216 let AddedComplexity = 100 in
2217 def: Pat<(i1 (setne (and (i32 IntRegs:$Rs), (i32 Set5ImmPred:$u5)), (i32 0))),
2218          (S2_tstbit_i (i32 IntRegs:$Rs), (BITPOS32 Set5ImmPred:$u5))>;
2219
2220 let AddedComplexity = 100 in
2221 def: Pat<(i1 (seteq (and (i32 IntRegs:$Rs), (i32 Set5ImmPred:$u5)), (i32 0))),
2222          (S4_ntstbit_i (i32 IntRegs:$Rs), (BITPOS32 Set5ImmPred:$u5))>;
2223
2224 let isCodeGenOnly = 0 in {
2225 def C4_nbitsset  : T_TEST_BITS_REG<"!bitsset", 0b01, 1>;
2226 def C4_nbitsclr  : T_TEST_BITS_REG<"!bitsclr", 0b10, 1>;
2227 def C4_nbitsclri : T_TEST_BITS_IMM<"!bitsclr", 0b10, 1>;
2228 }
2229
2230 // Do not increase complexity of these patterns. In the DAG, "cmp i8" may be
2231 // represented as a compare against "value & 0xFF", which is an exact match
2232 // for cmpb (same for cmph). The patterns below do not contain any additional
2233 // complexity that would make them preferable, and if they were actually used
2234 // instead of cmpb/cmph, they would result in a compare against register that
2235 // is loaded with the byte/half mask (i.e. 0xFF or 0xFFFF).
2236 def: Pat<(i1 (setne (and I32:$Rs, u6ImmPred:$u6), 0)),
2237          (C4_nbitsclri I32:$Rs, u6ImmPred:$u6)>;
2238 def: Pat<(i1 (setne (and I32:$Rs, I32:$Rt), 0)),
2239          (C4_nbitsclr I32:$Rs, I32:$Rt)>;
2240 def: Pat<(i1 (setne (and I32:$Rs, I32:$Rt), I32:$Rt)),
2241          (C4_nbitsset I32:$Rs, I32:$Rt)>;
2242
2243 //===----------------------------------------------------------------------===//
2244 // XTYPE/BIT -
2245 //===----------------------------------------------------------------------===//
2246
2247 //===----------------------------------------------------------------------===//
2248 // XTYPE/MPY +
2249 //===----------------------------------------------------------------------===//
2250
2251 // Rd=add(#u6,mpyi(Rs,#U6)) -- Multiply by immed and add immed.
2252
2253 let hasNewValue = 1, isExtendable = 1, opExtentBits = 6, opExtendable = 1,
2254     isCodeGenOnly = 0 in
2255 def M4_mpyri_addi : MInst<(outs IntRegs:$Rd),
2256   (ins u6Ext:$u6, IntRegs:$Rs, u6Imm:$U6),
2257   "$Rd = add(#$u6, mpyi($Rs, #$U6))" ,
2258   [(set (i32 IntRegs:$Rd),
2259         (add (mul (i32 IntRegs:$Rs), u6ImmPred:$U6),
2260              u6ExtPred:$u6))] ,"",ALU64_tc_3x_SLOT23> {
2261     bits<5> Rd;
2262     bits<6> u6;
2263     bits<5> Rs;
2264     bits<6> U6;
2265
2266     let IClass = 0b1101;
2267
2268     let Inst{27-24} = 0b1000;
2269     let Inst{23}    = U6{5};
2270     let Inst{22-21} = u6{5-4};
2271     let Inst{20-16} = Rs;
2272     let Inst{13}    = u6{3};
2273     let Inst{12-8}  = Rd;
2274     let Inst{7-5}   = u6{2-0};
2275     let Inst{4-0}   = U6{4-0};
2276   }
2277
2278 // Rd=add(#u6,mpyi(Rs,Rt))
2279 let CextOpcode = "ADD_MPY", InputType = "imm", hasNewValue = 1,
2280     isExtendable = 1, opExtentBits = 6, opExtendable = 1, isCodeGenOnly = 0 in
2281 def M4_mpyrr_addi : MInst <(outs IntRegs:$Rd),
2282   (ins u6Ext:$u6, IntRegs:$Rs, IntRegs:$Rt),
2283   "$Rd = add(#$u6, mpyi($Rs, $Rt))" ,
2284   [(set (i32 IntRegs:$Rd),
2285         (add (mul (i32 IntRegs:$Rs), (i32 IntRegs:$Rt)), u6ExtPred:$u6))],
2286   "", ALU64_tc_3x_SLOT23>, ImmRegRel {
2287     bits<5> Rd;
2288     bits<6> u6;
2289     bits<5> Rs;
2290     bits<5> Rt;
2291
2292     let IClass = 0b1101;
2293
2294     let Inst{27-23} = 0b01110;
2295     let Inst{22-21} = u6{5-4};
2296     let Inst{20-16} = Rs;
2297     let Inst{13}    = u6{3};
2298     let Inst{12-8}  = Rt;
2299     let Inst{7-5}   = u6{2-0};
2300     let Inst{4-0}   = Rd;
2301   }
2302
2303 let hasNewValue = 1 in
2304 class T_AddMpy <bit MajOp, PatLeaf ImmPred, dag ins>
2305   : ALU64Inst <(outs IntRegs:$dst), ins,
2306   "$dst = add($src1, mpyi("#!if(MajOp,"$src3, #$src2))",
2307                                       "#$src2, $src3))"),
2308   [(set (i32 IntRegs:$dst),
2309         (add (i32 IntRegs:$src1), (mul (i32 IntRegs:$src3), ImmPred:$src2)))],
2310   "", ALU64_tc_3x_SLOT23> {
2311     bits<5> dst;
2312     bits<5> src1;
2313     bits<8> src2;
2314     bits<5> src3;
2315
2316     let IClass = 0b1101;
2317
2318     bits<6> ImmValue = !if(MajOp, src2{5-0}, src2{7-2});
2319
2320     let Inst{27-24} = 0b1111;
2321     let Inst{23}    = MajOp;
2322     let Inst{22-21} = ImmValue{5-4};
2323     let Inst{20-16} = src3;
2324     let Inst{13}    = ImmValue{3};
2325     let Inst{12-8}  = dst;
2326     let Inst{7-5}   = ImmValue{2-0};
2327     let Inst{4-0}   = src1;
2328   }
2329
2330 let isCodeGenOnly = 0 in
2331 def M4_mpyri_addr_u2 : T_AddMpy<0b0, u6_2ImmPred,
2332                        (ins IntRegs:$src1, u6_2Imm:$src2, IntRegs:$src3)>;
2333
2334 let isExtendable = 1, opExtentBits = 6, opExtendable = 3,
2335     CextOpcode = "ADD_MPY", InputType = "imm", isCodeGenOnly = 0 in
2336 def M4_mpyri_addr : T_AddMpy<0b1, u6ExtPred,
2337                     (ins IntRegs:$src1, IntRegs:$src3, u6Ext:$src2)>, ImmRegRel;
2338
2339 // Rx=add(Ru,mpyi(Rx,Rs))
2340 let validSubTargets = HasV4SubT, CextOpcode = "ADD_MPY", InputType = "reg",
2341     hasNewValue = 1, isCodeGenOnly = 0 in
2342 def M4_mpyrr_addr: MInst_acc <(outs IntRegs:$Rx),
2343                               (ins IntRegs:$Ru, IntRegs:$_src_, IntRegs:$Rs),
2344   "$Rx = add($Ru, mpyi($_src_, $Rs))",
2345   [(set (i32 IntRegs:$Rx), (add (i32 IntRegs:$Ru),
2346                            (mul (i32 IntRegs:$_src_), (i32 IntRegs:$Rs))))],
2347   "$_src_ = $Rx", M_tc_3x_SLOT23>, ImmRegRel {
2348     bits<5> Rx;
2349     bits<5> Ru;
2350     bits<5> Rs;
2351
2352     let IClass = 0b1110;
2353
2354     let Inst{27-21} = 0b0011000;
2355     let Inst{12-8} = Rx;
2356     let Inst{4-0} = Ru;
2357     let Inst{20-16} = Rs;
2358   }
2359
2360 // Rd=add(##,mpyi(Rs,#U6))
2361 def : Pat <(add (mul (i32 IntRegs:$src2), u6ImmPred:$src3),
2362                      (HexagonCONST32 tglobaladdr:$src1)),
2363            (i32 (M4_mpyri_addi tglobaladdr:$src1, IntRegs:$src2,
2364                                u6ImmPred:$src3))>;
2365
2366 // Rd=add(##,mpyi(Rs,Rt))
2367 def : Pat <(add (mul (i32 IntRegs:$src2), (i32 IntRegs:$src3)),
2368                      (HexagonCONST32 tglobaladdr:$src1)),
2369            (i32 (M4_mpyrr_addi tglobaladdr:$src1, IntRegs:$src2,
2370                                IntRegs:$src3))>;
2371
2372 // Vector reduce multiply word by signed half (32x16)
2373 //Rdd=vrmpyweh(Rss,Rtt)[:<<1]
2374 let isCodeGenOnly = 0 in {
2375 def M4_vrmpyeh_s0 : T_M2_vmpy<"vrmpyweh", 0b010, 0b100, 0, 0, 0>;
2376 def M4_vrmpyeh_s1 : T_M2_vmpy<"vrmpyweh", 0b110, 0b100, 1, 0, 0>;
2377 }
2378
2379 //Rdd=vrmpywoh(Rss,Rtt)[:<<1]
2380 let isCodeGenOnly = 0 in {
2381 def M4_vrmpyoh_s0 : T_M2_vmpy<"vrmpywoh", 0b001, 0b010, 0, 0, 0>;
2382 def M4_vrmpyoh_s1 : T_M2_vmpy<"vrmpywoh", 0b101, 0b010, 1, 0, 0>;
2383 }
2384 //Rdd+=vrmpyweh(Rss,Rtt)[:<<1]
2385 let isCodeGenOnly = 0 in {
2386 def M4_vrmpyeh_acc_s0: T_M2_vmpy_acc<"vrmpyweh", 0b001, 0b110, 0, 0>;
2387 def M4_vrmpyeh_acc_s1: T_M2_vmpy_acc<"vrmpyweh", 0b101, 0b110, 1, 0>;
2388 }
2389
2390 //Rdd=vrmpywoh(Rss,Rtt)[:<<1]
2391 let isCodeGenOnly = 0 in {
2392 def M4_vrmpyoh_acc_s0: T_M2_vmpy_acc<"vrmpywoh", 0b011, 0b110, 0, 0>;
2393 def M4_vrmpyoh_acc_s1: T_M2_vmpy_acc<"vrmpywoh", 0b111, 0b110, 1, 0>;
2394 }
2395
2396 // Vector multiply halfwords, signed by unsigned
2397 // Rdd=vmpyhsu(Rs,Rt)[:<<]:sat
2398 let isCodeGenOnly = 0 in {
2399 def M2_vmpy2su_s0 : T_XTYPE_mpy64 < "vmpyhsu", 0b000, 0b111, 1, 0, 0>;
2400 def M2_vmpy2su_s1 : T_XTYPE_mpy64 < "vmpyhsu", 0b100, 0b111, 1, 1, 0>;
2401 }
2402
2403 // Rxx+=vmpyhsu(Rs,Rt)[:<<1]:sat
2404 let isCodeGenOnly = 0 in {
2405 def M2_vmac2su_s0 : T_XTYPE_mpy64_acc < "vmpyhsu", "+", 0b011, 0b101, 1, 0, 0>;
2406 def M2_vmac2su_s1 : T_XTYPE_mpy64_acc < "vmpyhsu", "+", 0b111, 0b101, 1, 1, 0>;
2407 }
2408
2409 // Vector polynomial multiply halfwords
2410 // Rdd=vpmpyh(Rs,Rt)
2411 let isCodeGenOnly = 0 in
2412 def M4_vpmpyh : T_XTYPE_mpy64 < "vpmpyh", 0b110, 0b111, 0, 0, 0>;
2413
2414 // Rxx^=vpmpyh(Rs,Rt)
2415 let isCodeGenOnly = 0 in
2416 def M4_vpmpyh_acc : T_XTYPE_mpy64_acc < "vpmpyh", "^", 0b101, 0b111, 0, 0, 0>;
2417
2418 // Polynomial multiply words
2419 // Rdd=pmpyw(Rs,Rt)
2420 let isCodeGenOnly = 0 in
2421 def M4_pmpyw : T_XTYPE_mpy64 < "pmpyw", 0b010, 0b111, 0, 0, 0>;
2422
2423 // Rxx^=pmpyw(Rs,Rt)
2424 let isCodeGenOnly = 0 in
2425 def M4_pmpyw_acc  : T_XTYPE_mpy64_acc < "pmpyw", "^", 0b001, 0b111, 0, 0, 0>;
2426
2427 //===----------------------------------------------------------------------===//
2428 // XTYPE/MPY -
2429 //===----------------------------------------------------------------------===//
2430
2431
2432 //===----------------------------------------------------------------------===//
2433 // ALU64/Vector compare
2434 //===----------------------------------------------------------------------===//
2435 //===----------------------------------------------------------------------===//
2436 // Template class for vector compare
2437 //===----------------------------------------------------------------------===//
2438
2439 let hasSideEffects = 0 in
2440 class T_vcmpImm <string Str, bits<2> cmpOp, bits<2> minOp, Operand ImmOprnd>
2441   : ALU64_rr <(outs PredRegs:$Pd),
2442               (ins DoubleRegs:$Rss, ImmOprnd:$Imm),
2443   "$Pd = "#Str#"($Rss, #$Imm)",
2444   [], "", ALU64_tc_2early_SLOT23> {
2445     bits<2> Pd;
2446     bits<5> Rss;
2447     bits<32> Imm;
2448     bits<8> ImmBits;
2449     let ImmBits{6-0} = Imm{6-0};
2450     let ImmBits{7} = !if (!eq(cmpOp,0b10), 0b0, Imm{7}); // 0 for vcmp[bhw].gtu
2451
2452     let IClass = 0b1101;
2453
2454     let Inst{27-24} = 0b1100;
2455     let Inst{22-21} = cmpOp;
2456     let Inst{20-16} = Rss;
2457     let Inst{12-5} = ImmBits;
2458     let Inst{4-3} = minOp;
2459     let Inst{1-0} = Pd;
2460   }
2461
2462 // Vector compare bytes
2463 let isCodeGenOnly = 0 in
2464 def A4_vcmpbgt   : T_vcmp <"vcmpb.gt", 0b1010>;
2465 def: T_vcmp_pat<A4_vcmpbgt, setgt, v8i8>;
2466
2467 let AsmString = "$Pd = any8(vcmpb.eq($Rss, $Rtt))" in
2468 let isCodeGenOnly = 0 in
2469 def A4_vcmpbeq_any : T_vcmp <"any8(vcmpb.gt", 0b1000>;
2470
2471 let isCodeGenOnly = 0 in {
2472 def A4_vcmpbeqi  : T_vcmpImm <"vcmpb.eq",  0b00, 0b00, u8Imm>;
2473 def A4_vcmpbgti  : T_vcmpImm <"vcmpb.gt",  0b01, 0b00, s8Imm>;
2474 def A4_vcmpbgtui : T_vcmpImm <"vcmpb.gtu", 0b10, 0b00, u7Imm>;
2475 }
2476
2477 // Vector compare halfwords
2478 let isCodeGenOnly = 0 in {
2479 def A4_vcmpheqi  : T_vcmpImm <"vcmph.eq",  0b00, 0b01, s8Imm>;
2480 def A4_vcmphgti  : T_vcmpImm <"vcmph.gt",  0b01, 0b01, s8Imm>;
2481 def A4_vcmphgtui : T_vcmpImm <"vcmph.gtu", 0b10, 0b01, u7Imm>;
2482 }
2483
2484 // Vector compare words
2485 let isCodeGenOnly = 0 in {
2486 def A4_vcmpweqi  : T_vcmpImm <"vcmpw.eq",  0b00, 0b10, s8Imm>;
2487 def A4_vcmpwgti  : T_vcmpImm <"vcmpw.gt",  0b01, 0b10, s8Imm>;
2488 def A4_vcmpwgtui : T_vcmpImm <"vcmpw.gtu", 0b10, 0b10, u7Imm>;
2489 }
2490
2491 //===----------------------------------------------------------------------===//
2492 // XTYPE/SHIFT +
2493 //===----------------------------------------------------------------------===//
2494 // Shift by immediate and accumulate/logical.
2495 // Rx=add(#u8,asl(Rx,#U5))  Rx=add(#u8,lsr(Rx,#U5))
2496 // Rx=sub(#u8,asl(Rx,#U5))  Rx=sub(#u8,lsr(Rx,#U5))
2497 // Rx=and(#u8,asl(Rx,#U5))  Rx=and(#u8,lsr(Rx,#U5))
2498 // Rx=or(#u8,asl(Rx,#U5))   Rx=or(#u8,lsr(Rx,#U5))
2499 let isExtendable = 1, opExtendable = 1, isExtentSigned = 0, opExtentBits = 8,
2500     hasNewValue = 1, opNewValue = 0, validSubTargets = HasV4SubT in
2501 class T_S4_ShiftOperate<string MnOp, string MnSh, SDNode Op, SDNode Sh,
2502                         bit asl_lsr, bits<2> MajOp, InstrItinClass Itin>
2503   : MInst_acc<(outs IntRegs:$Rd), (ins u8Ext:$u8, IntRegs:$Rx, u5Imm:$U5),
2504       "$Rd = "#MnOp#"(#$u8, "#MnSh#"($Rx, #$U5))",
2505       [(set (i32 IntRegs:$Rd),
2506             (Op (Sh I32:$Rx, u5ImmPred:$U5), u8ExtPred:$u8))],
2507       "$Rd = $Rx", Itin> {
2508
2509   bits<5> Rd;
2510   bits<8> u8;
2511   bits<5> Rx;
2512   bits<5> U5;
2513
2514   let IClass = 0b1101;
2515   let Inst{27-24} = 0b1110;
2516   let Inst{23-21} = u8{7-5};
2517   let Inst{20-16} = Rd;
2518   let Inst{13} = u8{4};
2519   let Inst{12-8} = U5;
2520   let Inst{7-5} = u8{3-1};
2521   let Inst{4} = asl_lsr;
2522   let Inst{3} = u8{0};
2523   let Inst{2-1} = MajOp;
2524 }
2525
2526 multiclass T_ShiftOperate<string mnemonic, SDNode Op, bits<2> MajOp,
2527                           InstrItinClass Itin> {
2528   def _asl_ri : T_S4_ShiftOperate<mnemonic, "asl", Op, shl, 0, MajOp, Itin>;
2529   def _lsr_ri : T_S4_ShiftOperate<mnemonic, "lsr", Op, srl, 1, MajOp, Itin>;
2530 }
2531
2532 let AddedComplexity = 200, isCodeGenOnly = 0 in {
2533   defm S4_addi : T_ShiftOperate<"add", add, 0b10, ALU64_tc_2_SLOT23>;
2534   defm S4_andi : T_ShiftOperate<"and", and, 0b00, ALU64_tc_2_SLOT23>;
2535 }
2536
2537 let AddedComplexity = 30, isCodeGenOnly = 0 in
2538 defm S4_ori  : T_ShiftOperate<"or",  or,  0b01, ALU64_tc_1_SLOT23>;
2539
2540 let isCodeGenOnly = 0 in
2541 defm S4_subi : T_ShiftOperate<"sub", sub, 0b11, ALU64_tc_1_SLOT23>;
2542
2543 // Vector conditional negate
2544 // Rdd=vcnegh(Rss,Rt)
2545 let Defs = [USR_OVF], Itinerary = S_3op_tc_2_SLOT23, isCodeGenOnly = 0 in
2546 def S2_vcnegh   : T_S3op_shiftVect < "vcnegh",   0b11, 0b01>;
2547
2548 // Rd=[cround|round](Rs,Rt)
2549 let hasNewValue = 1, Itinerary = S_3op_tc_2_SLOT23, isCodeGenOnly = 0 in {
2550   def A4_cround_rr    : T_S3op_3 < "cround", IntRegs, 0b11, 0b00>;
2551   def A4_round_rr     : T_S3op_3 < "round", IntRegs, 0b11, 0b10>;
2552 }
2553
2554 // Rd=round(Rs,Rt):sat
2555 let hasNewValue = 1, Defs = [USR_OVF], Itinerary = S_3op_tc_2_SLOT23,
2556     isCodeGenOnly = 0 in
2557 def A4_round_rr_sat : T_S3op_3 < "round", IntRegs, 0b11, 0b11, 1>;
2558
2559 // Rd=[cmpyiwh|cmpyrwh](Rss,Rt):<<1:rnd:sat
2560 let Defs = [USR_OVF], Itinerary = S_3op_tc_3x_SLOT23, isCodeGenOnly = 0 in {
2561   def M4_cmpyi_wh     : T_S3op_8<"cmpyiwh", 0b100, 1, 1, 1>;
2562   def M4_cmpyr_wh     : T_S3op_8<"cmpyrwh", 0b110, 1, 1, 1>;
2563 }
2564
2565 // Rdd=[add|sub](Rss,Rtt,Px):carry
2566 let isPredicateLate = 1, hasSideEffects = 0 in
2567 class T_S3op_carry <string mnemonic, bits<3> MajOp>
2568   : SInst < (outs DoubleRegs:$Rdd, PredRegs:$Px),
2569             (ins DoubleRegs:$Rss, DoubleRegs:$Rtt, PredRegs:$Pu),
2570   "$Rdd = "#mnemonic#"($Rss, $Rtt, $Pu):carry",
2571   [], "$Px = $Pu", S_3op_tc_1_SLOT23 > {
2572     bits<5> Rdd;
2573     bits<5> Rss;
2574     bits<5> Rtt;
2575     bits<2> Pu;
2576
2577     let IClass = 0b1100;
2578
2579     let Inst{27-24} = 0b0010;
2580     let Inst{23-21} = MajOp;
2581     let Inst{20-16} = Rss;
2582     let Inst{12-8}  = Rtt;
2583     let Inst{6-5}   = Pu;
2584     let Inst{4-0}   = Rdd;
2585   }
2586
2587 let isCodeGenOnly = 0 in {
2588 def A4_addp_c : T_S3op_carry < "add", 0b110 >;
2589 def A4_subp_c : T_S3op_carry < "sub", 0b111 >;
2590 }
2591
2592 let Itinerary = S_3op_tc_3_SLOT23, hasSideEffects = 0 in
2593 class T_S3op_6 <string mnemonic, bits<3> MinOp, bit isUnsigned>
2594   : SInst <(outs DoubleRegs:$Rxx),
2595            (ins DoubleRegs:$dst2, DoubleRegs:$Rss, IntRegs:$Ru),
2596   "$Rxx = "#mnemonic#"($Rss, $Ru)" ,
2597   [] , "$dst2 = $Rxx"> {
2598     bits<5> Rxx;
2599     bits<5> Rss;
2600     bits<5> Ru;
2601
2602     let IClass = 0b1100;
2603
2604     let Inst{27-21} = 0b1011001;
2605     let Inst{20-16} = Rss;
2606     let Inst{13}    = isUnsigned;
2607     let Inst{12-8}  = Rxx;
2608     let Inst{7-5}   = MinOp;
2609     let Inst{4-0}   = Ru;
2610   }
2611
2612 // Vector reduce maximum halfwords
2613 // Rxx=vrmax[u]h(Rss,Ru)
2614 let isCodeGenOnly = 0 in {
2615 def A4_vrmaxh  : T_S3op_6 < "vrmaxh",  0b001, 0>;
2616 def A4_vrmaxuh : T_S3op_6 < "vrmaxuh", 0b001, 1>;
2617 }
2618 // Vector reduce maximum words
2619 // Rxx=vrmax[u]w(Rss,Ru)
2620 let isCodeGenOnly = 0 in {
2621 def A4_vrmaxw  : T_S3op_6 < "vrmaxw",  0b010, 0>;
2622 def A4_vrmaxuw : T_S3op_6 < "vrmaxuw", 0b010, 1>;
2623 }
2624 // Vector reduce minimum halfwords
2625 // Rxx=vrmin[u]h(Rss,Ru)
2626 let isCodeGenOnly = 0 in {
2627 def A4_vrminh  : T_S3op_6 < "vrminh",  0b101, 0>;
2628 def A4_vrminuh : T_S3op_6 < "vrminuh", 0b101, 1>;
2629 }
2630
2631 // Vector reduce minimum words
2632 // Rxx=vrmin[u]w(Rss,Ru)
2633 let isCodeGenOnly = 0 in {
2634 def A4_vrminw  : T_S3op_6 < "vrminw",  0b110, 0>;
2635 def A4_vrminuw : T_S3op_6 < "vrminuw", 0b110, 1>;
2636 }
2637
2638 // Shift an immediate left by register amount.
2639 let hasNewValue = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
2640 def S4_lsli: SInst <(outs IntRegs:$Rd), (ins s6Imm:$s6, IntRegs:$Rt),
2641   "$Rd = lsl(#$s6, $Rt)" ,
2642   [(set (i32 IntRegs:$Rd), (shl s6ImmPred:$s6,
2643                                  (i32 IntRegs:$Rt)))],
2644   "", S_3op_tc_1_SLOT23> {
2645     bits<5> Rd;
2646     bits<6> s6;
2647     bits<5> Rt;
2648
2649     let IClass = 0b1100;
2650
2651     let Inst{27-22} = 0b011010;
2652     let Inst{20-16} = s6{5-1};
2653     let Inst{12-8}  = Rt;
2654     let Inst{7-6}   = 0b11;
2655     let Inst{4-0}   = Rd;
2656     let Inst{5}     = s6{0};
2657   }
2658
2659 //===----------------------------------------------------------------------===//
2660 // XTYPE/SHIFT -
2661 //===----------------------------------------------------------------------===//
2662
2663 //===----------------------------------------------------------------------===//
2664 // MEMOP: Word, Half, Byte
2665 //===----------------------------------------------------------------------===//
2666
2667 def MEMOPIMM : SDNodeXForm<imm, [{
2668   // Call the transformation function XformM5ToU5Imm to get the negative
2669   // immediate's positive counterpart.
2670   int32_t imm = N->getSExtValue();
2671   return XformM5ToU5Imm(imm);
2672 }]>;
2673
2674 def MEMOPIMM_HALF : SDNodeXForm<imm, [{
2675   // -1 .. -31 represented as 65535..65515
2676   // assigning to a short restores our desired signed value.
2677   // Call the transformation function XformM5ToU5Imm to get the negative
2678   // immediate's positive counterpart.
2679   int16_t imm = N->getSExtValue();
2680   return XformM5ToU5Imm(imm);
2681 }]>;
2682
2683 def MEMOPIMM_BYTE : SDNodeXForm<imm, [{
2684   // -1 .. -31 represented as 255..235
2685   // assigning to a char restores our desired signed value.
2686   // Call the transformation function XformM5ToU5Imm to get the negative
2687   // immediate's positive counterpart.
2688   int8_t imm = N->getSExtValue();
2689   return XformM5ToU5Imm(imm);
2690 }]>;
2691
2692 def SETMEMIMM : SDNodeXForm<imm, [{
2693    // Return the bit position we will set [0-31].
2694    // As an SDNode.
2695    int32_t imm = N->getSExtValue();
2696    return XformMskToBitPosU5Imm(imm);
2697 }]>;
2698
2699 def CLRMEMIMM : SDNodeXForm<imm, [{
2700    // Return the bit position we will clear [0-31].
2701    // As an SDNode.
2702    // we bit negate the value first
2703    int32_t imm = ~(N->getSExtValue());
2704    return XformMskToBitPosU5Imm(imm);
2705 }]>;
2706
2707 def SETMEMIMM_SHORT : SDNodeXForm<imm, [{
2708    // Return the bit position we will set [0-15].
2709    // As an SDNode.
2710    int16_t imm = N->getSExtValue();
2711    return XformMskToBitPosU4Imm(imm);
2712 }]>;
2713
2714 def CLRMEMIMM_SHORT : SDNodeXForm<imm, [{
2715    // Return the bit position we will clear [0-15].
2716    // As an SDNode.
2717    // we bit negate the value first
2718    int16_t imm = ~(N->getSExtValue());
2719    return XformMskToBitPosU4Imm(imm);
2720 }]>;
2721
2722 def SETMEMIMM_BYTE : SDNodeXForm<imm, [{
2723    // Return the bit position we will set [0-7].
2724    // As an SDNode.
2725    int8_t imm =  N->getSExtValue();
2726    return XformMskToBitPosU3Imm(imm);
2727 }]>;
2728
2729 def CLRMEMIMM_BYTE : SDNodeXForm<imm, [{
2730    // Return the bit position we will clear [0-7].
2731    // As an SDNode.
2732    // we bit negate the value first
2733    int8_t imm = ~(N->getSExtValue());
2734    return XformMskToBitPosU3Imm(imm);
2735 }]>;
2736
2737 //===----------------------------------------------------------------------===//
2738 // Template class for MemOp instructions with the register value.
2739 //===----------------------------------------------------------------------===//
2740 class MemOp_rr_base <string opc, bits<2> opcBits, Operand ImmOp,
2741                      string memOp, bits<2> memOpBits> :
2742       MEMInst_V4<(outs),
2743                  (ins IntRegs:$base, ImmOp:$offset, IntRegs:$delta),
2744                  opc#"($base+#$offset)"#memOp#"$delta",
2745                  []>,
2746                  Requires<[UseMEMOP]> {
2747
2748     bits<5> base;
2749     bits<5> delta;
2750     bits<32> offset;
2751     bits<6> offsetBits; // memb - u6:0 , memh - u6:1, memw - u6:2
2752
2753     let offsetBits = !if (!eq(opcBits, 0b00), offset{5-0},
2754                      !if (!eq(opcBits, 0b01), offset{6-1},
2755                      !if (!eq(opcBits, 0b10), offset{7-2},0)));
2756
2757     let opExtentAlign = opcBits;
2758     let IClass = 0b0011;
2759     let Inst{27-24} = 0b1110;
2760     let Inst{22-21} = opcBits;
2761     let Inst{20-16} = base;
2762     let Inst{13} = 0b0;
2763     let Inst{12-7} = offsetBits;
2764     let Inst{6-5} = memOpBits;
2765     let Inst{4-0} = delta;
2766 }
2767
2768 //===----------------------------------------------------------------------===//
2769 // Template class for MemOp instructions with the immediate value.
2770 //===----------------------------------------------------------------------===//
2771 class MemOp_ri_base <string opc, bits<2> opcBits, Operand ImmOp,
2772                      string memOp, bits<2> memOpBits> :
2773       MEMInst_V4 <(outs),
2774                   (ins IntRegs:$base, ImmOp:$offset, u5Imm:$delta),
2775                   opc#"($base+#$offset)"#memOp#"#$delta"
2776                   #!if(memOpBits{1},")", ""), // clrbit, setbit - include ')'
2777                   []>,
2778                   Requires<[UseMEMOP]> {
2779
2780     bits<5> base;
2781     bits<5> delta;
2782     bits<32> offset;
2783     bits<6> offsetBits; // memb - u6:0 , memh - u6:1, memw - u6:2
2784
2785     let offsetBits = !if (!eq(opcBits, 0b00), offset{5-0},
2786                      !if (!eq(opcBits, 0b01), offset{6-1},
2787                      !if (!eq(opcBits, 0b10), offset{7-2},0)));
2788
2789     let opExtentAlign = opcBits;
2790     let IClass = 0b0011;
2791     let Inst{27-24} = 0b1111;
2792     let Inst{22-21} = opcBits;
2793     let Inst{20-16} = base;
2794     let Inst{13} = 0b0;
2795     let Inst{12-7} = offsetBits;
2796     let Inst{6-5} = memOpBits;
2797     let Inst{4-0} = delta;
2798 }
2799
2800 // multiclass to define MemOp instructions with register operand.
2801 multiclass MemOp_rr<string opc, bits<2> opcBits, Operand ImmOp> {
2802   def L4_add#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " += ", 0b00>; // add
2803   def L4_sub#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " -= ", 0b01>; // sub
2804   def L4_and#NAME : MemOp_rr_base <opc, opcBits, ImmOp, " &= ", 0b10>; // and
2805   def L4_or#NAME  : MemOp_rr_base <opc, opcBits, ImmOp, " |= ", 0b11>; // or
2806 }
2807
2808 // multiclass to define MemOp instructions with immediate Operand.
2809 multiclass MemOp_ri<string opc, bits<2> opcBits, Operand ImmOp> {
2810   def L4_iadd#NAME : MemOp_ri_base <opc, opcBits, ImmOp, " += ", 0b00 >;
2811   def L4_isub#NAME : MemOp_ri_base <opc, opcBits, ImmOp, " -= ", 0b01 >;
2812   def L4_iand#NAME : MemOp_ri_base<opc, opcBits, ImmOp, " = clrbit(", 0b10>;
2813   def L4_ior#NAME : MemOp_ri_base<opc, opcBits, ImmOp, " = setbit(", 0b11>;
2814 }
2815
2816 multiclass MemOp_base <string opc, bits<2> opcBits, Operand ImmOp> {
2817   defm _#NAME : MemOp_rr <opc, opcBits, ImmOp>;
2818   defm _#NAME : MemOp_ri <opc, opcBits, ImmOp>;
2819 }
2820
2821 // Define MemOp instructions.
2822 let isExtendable = 1, opExtendable = 1, isExtentSigned = 0,
2823     validSubTargets =HasV4SubT in {
2824   let opExtentBits = 6, accessSize = ByteAccess, isCodeGenOnly = 0 in
2825   defm memopb_io : MemOp_base <"memb", 0b00, u6_0Ext>;
2826
2827   let opExtentBits = 7, accessSize = HalfWordAccess, isCodeGenOnly = 0 in
2828   defm memoph_io : MemOp_base <"memh", 0b01, u6_1Ext>;
2829
2830   let opExtentBits = 8, accessSize = WordAccess, isCodeGenOnly = 0 in
2831   defm memopw_io : MemOp_base <"memw", 0b10, u6_2Ext>;
2832 }
2833
2834 //===----------------------------------------------------------------------===//
2835 // Multiclass to define 'Def Pats' for ALU operations on the memory
2836 // Here value used for the ALU operation is an immediate value.
2837 // mem[bh](Rs+#0) += #U5
2838 // mem[bh](Rs+#u6) += #U5
2839 //===----------------------------------------------------------------------===//
2840
2841 multiclass MemOpi_u5Pats <PatFrag ldOp, PatFrag stOp, PatLeaf ExtPred,
2842                           InstHexagon MI, SDNode OpNode> {
2843   let AddedComplexity = 180 in
2844   def : Pat < (stOp (OpNode (ldOp IntRegs:$addr), u5ImmPred:$addend),
2845                     IntRegs:$addr),
2846               (MI IntRegs:$addr, #0, u5ImmPred:$addend )>;
2847
2848   let AddedComplexity = 190 in
2849   def : Pat <(stOp (OpNode (ldOp (add IntRegs:$base, ExtPred:$offset)),
2850                      u5ImmPred:$addend),
2851              (add IntRegs:$base, ExtPred:$offset)),
2852        (MI IntRegs:$base, ExtPred:$offset, u5ImmPred:$addend)>;
2853 }
2854
2855 multiclass MemOpi_u5ALUOp<PatFrag ldOp, PatFrag stOp, PatLeaf ExtPred,
2856                           InstHexagon addMI, InstHexagon subMI> {
2857   defm : MemOpi_u5Pats<ldOp, stOp, ExtPred, addMI, add>;
2858   defm : MemOpi_u5Pats<ldOp, stOp, ExtPred, subMI, sub>;
2859 }
2860
2861 multiclass MemOpi_u5ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2862   // Half Word
2863   defm : MemOpi_u5ALUOp <ldOpHalf, truncstorei16, u6_1ExtPred,
2864                          L4_iadd_memoph_io, L4_isub_memoph_io>;
2865   // Byte
2866   defm : MemOpi_u5ALUOp <ldOpByte, truncstorei8, u6ExtPred,
2867                          L4_iadd_memopb_io, L4_isub_memopb_io>;
2868 }
2869
2870 let Predicates = [HasV4T, UseMEMOP] in {
2871   defm : MemOpi_u5ExtType<zextloadi8, zextloadi16>; // zero extend
2872   defm : MemOpi_u5ExtType<sextloadi8, sextloadi16>; // sign extend
2873   defm : MemOpi_u5ExtType<extloadi8,  extloadi16>;  // any extend
2874
2875   // Word
2876   defm : MemOpi_u5ALUOp <load, store, u6_2ExtPred, L4_iadd_memopw_io,
2877                          L4_isub_memopw_io>;
2878 }
2879
2880 //===----------------------------------------------------------------------===//
2881 // multiclass to define 'Def Pats' for ALU operations on the memory.
2882 // Here value used for the ALU operation is a negative value.
2883 // mem[bh](Rs+#0) += #m5
2884 // mem[bh](Rs+#u6) += #m5
2885 //===----------------------------------------------------------------------===//
2886
2887 multiclass MemOpi_m5Pats <PatFrag ldOp, PatFrag stOp, PatLeaf extPred,
2888                           PatLeaf immPred, ComplexPattern addrPred,
2889                           SDNodeXForm xformFunc, InstHexagon MI> {
2890   let AddedComplexity = 190 in
2891   def : Pat <(stOp (add (ldOp IntRegs:$addr), immPred:$subend),
2892                    IntRegs:$addr),
2893              (MI IntRegs:$addr, #0, (xformFunc immPred:$subend) )>;
2894
2895   let AddedComplexity = 195 in
2896   def : Pat<(stOp (add (ldOp (add IntRegs:$base, extPred:$offset)),
2897                        immPred:$subend),
2898                   (add IntRegs:$base, extPred:$offset)),
2899             (MI IntRegs:$base, extPred:$offset, (xformFunc immPred:$subend))>;
2900 }
2901
2902 multiclass MemOpi_m5ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2903   // Half Word
2904   defm : MemOpi_m5Pats <ldOpHalf, truncstorei16, u6_1ExtPred, m5HImmPred,
2905                         ADDRriU6_1, MEMOPIMM_HALF, L4_isub_memoph_io>;
2906   // Byte
2907   defm : MemOpi_m5Pats <ldOpByte, truncstorei8, u6ExtPred, m5BImmPred,
2908                         ADDRriU6_0, MEMOPIMM_BYTE, L4_isub_memopb_io>;
2909 }
2910
2911 let Predicates = [HasV4T, UseMEMOP] in {
2912   defm : MemOpi_m5ExtType<zextloadi8, zextloadi16>; // zero extend
2913   defm : MemOpi_m5ExtType<sextloadi8, sextloadi16>; // sign extend
2914   defm : MemOpi_m5ExtType<extloadi8,  extloadi16>;  // any extend
2915
2916   // Word
2917   defm : MemOpi_m5Pats <load, store, u6_2ExtPred, m5ImmPred,
2918                           ADDRriU6_2, MEMOPIMM, L4_isub_memopw_io>;
2919 }
2920
2921 //===----------------------------------------------------------------------===//
2922 // Multiclass to define 'def Pats' for bit operations on the memory.
2923 // mem[bhw](Rs+#0) = [clrbit|setbit](#U5)
2924 // mem[bhw](Rs+#u6) = [clrbit|setbit](#U5)
2925 //===----------------------------------------------------------------------===//
2926
2927 multiclass MemOpi_bitPats <PatFrag ldOp, PatFrag stOp, PatLeaf immPred,
2928                      PatLeaf extPred, ComplexPattern addrPred,
2929                      SDNodeXForm xformFunc, InstHexagon MI, SDNode OpNode> {
2930
2931   // mem[bhw](Rs+#u6:[012]) = [clrbit|setbit](#U5)
2932   let AddedComplexity = 250 in
2933   def : Pat<(stOp (OpNode (ldOp (add IntRegs:$base, extPred:$offset)),
2934                           immPred:$bitend),
2935                   (add IntRegs:$base, extPred:$offset)),
2936             (MI IntRegs:$base, extPred:$offset, (xformFunc immPred:$bitend))>;
2937
2938   // mem[bhw](Rs+#0) = [clrbit|setbit](#U5)
2939   let AddedComplexity = 225 in
2940   def : Pat <(stOp (OpNode (ldOp (addrPred IntRegs:$addr, extPred:$offset)),
2941                            immPred:$bitend),
2942                    (addrPred (i32 IntRegs:$addr), extPred:$offset)),
2943              (MI IntRegs:$addr, extPred:$offset, (xformFunc immPred:$bitend))>;
2944 }
2945
2946 multiclass MemOpi_bitExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
2947   // Byte - clrbit
2948   defm : MemOpi_bitPats<ldOpByte, truncstorei8, Clr3ImmPred, u6ExtPred,
2949                        ADDRriU6_0, CLRMEMIMM_BYTE, L4_iand_memopb_io, and>;
2950   // Byte - setbit
2951   defm : MemOpi_bitPats<ldOpByte, truncstorei8, Set3ImmPred,  u6ExtPred,
2952                        ADDRriU6_0, SETMEMIMM_BYTE, L4_ior_memopb_io, or>;
2953   // Half Word - clrbit
2954   defm : MemOpi_bitPats<ldOpHalf, truncstorei16, Clr4ImmPred, u6_1ExtPred,
2955                        ADDRriU6_1, CLRMEMIMM_SHORT, L4_iand_memoph_io, and>;
2956   // Half Word - setbit
2957   defm : MemOpi_bitPats<ldOpHalf, truncstorei16, Set4ImmPred, u6_1ExtPred,
2958                        ADDRriU6_1, SETMEMIMM_SHORT, L4_ior_memoph_io, or>;
2959 }
2960
2961 let Predicates = [HasV4T, UseMEMOP] in {
2962   // mem[bh](Rs+#0) = [clrbit|setbit](#U5)
2963   // mem[bh](Rs+#u6:[01]) = [clrbit|setbit](#U5)
2964   defm : MemOpi_bitExtType<zextloadi8, zextloadi16>; // zero extend
2965   defm : MemOpi_bitExtType<sextloadi8, sextloadi16>; // sign extend
2966   defm : MemOpi_bitExtType<extloadi8,  extloadi16>;  // any extend
2967
2968   // memw(Rs+#0) = [clrbit|setbit](#U5)
2969   // memw(Rs+#u6:2) = [clrbit|setbit](#U5)
2970   defm : MemOpi_bitPats<load, store, Clr5ImmPred, u6_2ExtPred, ADDRriU6_2,
2971                        CLRMEMIMM, L4_iand_memopw_io, and>;
2972   defm : MemOpi_bitPats<load, store, Set5ImmPred, u6_2ExtPred, ADDRriU6_2,
2973                        SETMEMIMM, L4_ior_memopw_io, or>;
2974 }
2975
2976 //===----------------------------------------------------------------------===//
2977 // Multiclass to define 'def Pats' for ALU operations on the memory
2978 // where addend is a register.
2979 // mem[bhw](Rs+#0) [+-&|]= Rt
2980 // mem[bhw](Rs+#U6:[012]) [+-&|]= Rt
2981 //===----------------------------------------------------------------------===//
2982
2983 multiclass MemOpr_Pats <PatFrag ldOp, PatFrag stOp, ComplexPattern addrPred,
2984                      PatLeaf extPred, InstHexagon MI, SDNode OpNode> {
2985   let AddedComplexity = 141 in
2986   // mem[bhw](Rs+#0) [+-&|]= Rt
2987   def : Pat <(stOp (OpNode (ldOp (addrPred IntRegs:$addr, extPred:$offset)),
2988                            (i32 IntRegs:$addend)),
2989                    (addrPred (i32 IntRegs:$addr), extPred:$offset)),
2990              (MI IntRegs:$addr, extPred:$offset, (i32 IntRegs:$addend) )>;
2991
2992   // mem[bhw](Rs+#U6:[012]) [+-&|]= Rt
2993   let AddedComplexity = 150 in
2994   def : Pat <(stOp (OpNode (ldOp (add IntRegs:$base, extPred:$offset)),
2995                            (i32 IntRegs:$orend)),
2996                    (add IntRegs:$base, extPred:$offset)),
2997              (MI IntRegs:$base, extPred:$offset, (i32 IntRegs:$orend) )>;
2998 }
2999
3000 multiclass MemOPr_ALUOp<PatFrag ldOp, PatFrag stOp,
3001                         ComplexPattern addrPred, PatLeaf extPred,
3002                         InstHexagon addMI, InstHexagon subMI,
3003                         InstHexagon andMI, InstHexagon orMI > {
3004
3005   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, addMI, add>;
3006   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, subMI, sub>;
3007   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, andMI, and>;
3008   defm : MemOpr_Pats <ldOp, stOp, addrPred, extPred, orMI,  or>;
3009 }
3010
3011 multiclass MemOPr_ExtType<PatFrag ldOpByte, PatFrag ldOpHalf > {
3012   // Half Word
3013   defm : MemOPr_ALUOp <ldOpHalf, truncstorei16, ADDRriU6_1, u6_1ExtPred,
3014                        L4_add_memoph_io, L4_sub_memoph_io,
3015                        L4_and_memoph_io, L4_or_memoph_io>;
3016   // Byte
3017   defm : MemOPr_ALUOp <ldOpByte, truncstorei8, ADDRriU6_0, u6ExtPred,
3018                        L4_add_memopb_io, L4_sub_memopb_io,
3019                        L4_and_memopb_io, L4_or_memopb_io>;
3020 }
3021
3022 // Define 'def Pats' for MemOps with register addend.
3023 let Predicates = [HasV4T, UseMEMOP] in {
3024   // Byte, Half Word
3025   defm : MemOPr_ExtType<zextloadi8, zextloadi16>; // zero extend
3026   defm : MemOPr_ExtType<sextloadi8, sextloadi16>; // sign extend
3027   defm : MemOPr_ExtType<extloadi8,  extloadi16>;  // any extend
3028   // Word
3029   defm : MemOPr_ALUOp <load, store, ADDRriU6_2, u6_2ExtPred, L4_add_memopw_io,
3030                        L4_sub_memopw_io, L4_and_memopw_io, L4_or_memopw_io >;
3031 }
3032
3033 //===----------------------------------------------------------------------===//
3034 // XTYPE/PRED +
3035 //===----------------------------------------------------------------------===//
3036
3037 // Hexagon V4 only supports these flavors of byte/half compare instructions:
3038 // EQ/GT/GTU. Other flavors like GE/GEU/LT/LTU/LE/LEU are not supported by
3039 // hardware. However, compiler can still implement these patterns through
3040 // appropriate patterns combinations based on current implemented patterns.
3041 // The implemented patterns are: EQ/GT/GTU.
3042 // Missing patterns are: GE/GEU/LT/LTU/LE/LEU.
3043
3044 // Following instruction is not being extended as it results into the
3045 // incorrect code for negative numbers.
3046 // Pd=cmpb.eq(Rs,#u8)
3047
3048 // p=!cmp.eq(r1,#s10)
3049 let isCodeGenOnly = 0 in {
3050 def C4_cmpneqi  : T_CMP <"cmp.eq",  0b00, 1, s10Ext>;
3051 def C4_cmpltei  : T_CMP <"cmp.gt",  0b01, 1, s10Ext>;
3052 def C4_cmplteui : T_CMP <"cmp.gtu", 0b10, 1, u9Ext>;
3053 }
3054
3055 def : T_CMP_pat <C4_cmpneqi,  setne,  s10ExtPred>;
3056 def : T_CMP_pat <C4_cmpltei,  setle,  s10ExtPred>;
3057 def : T_CMP_pat <C4_cmplteui, setule, u9ImmPred>;
3058
3059 // rs <= rt -> !(rs > rt).
3060 /*
3061 def: Pat<(i1 (setle (i32 IntRegs:$src1), s10ExtPred:$src2)),
3062          (C2_not (C2_cmpgti IntRegs:$src1, s10ExtPred:$src2))>;
3063 //         (C4_cmpltei IntRegs:$src1, s10ExtPred:$src2)>;
3064 */
3065 // Map cmplt(Rs, Imm) -> !cmpgt(Rs, Imm-1).
3066 def: Pat<(i1 (setlt (i32 IntRegs:$src1), s8ExtPred:$src2)),
3067          (C4_cmpltei IntRegs:$src1, (DEC_CONST_SIGNED s8ExtPred:$src2))>;
3068
3069 // rs != rt -> !(rs == rt).
3070 def: Pat<(i1 (setne (i32 IntRegs:$src1), s10ExtPred:$src2)),
3071          (C4_cmpneqi IntRegs:$src1, s10ExtPred:$src2)>;
3072
3073 // SDNode for converting immediate C to C-1.
3074 def DEC_CONST_BYTE : SDNodeXForm<imm, [{
3075    // Return the byte immediate const-1 as an SDNode.
3076    int32_t imm = N->getSExtValue();
3077    return XformU7ToU7M1Imm(imm);
3078 }]>;
3079
3080 // For the sequence
3081 //   zext( seteq ( and(Rs, 255), u8))
3082 // Generate
3083 //   Pd=cmpb.eq(Rs, #u8)
3084 //   if (Pd.new) Rd=#1
3085 //   if (!Pd.new) Rd=#0
3086 def : Pat <(i32 (zext (i1 (seteq (i32 (and (i32 IntRegs:$Rs), 255)),
3087                                            u8ExtPred:$u8)))),
3088            (i32 (TFR_condset_ii (i1 (A4_cmpbeqi (i32 IntRegs:$Rs),
3089                                                  (u8ExtPred:$u8))),
3090                                 1, 0))>,
3091            Requires<[HasV4T]>;
3092
3093 // For the sequence
3094 //   zext( setne ( and(Rs, 255), u8))
3095 // Generate
3096 //   Pd=cmpb.eq(Rs, #u8)
3097 //   if (Pd.new) Rd=#0
3098 //   if (!Pd.new) Rd=#1
3099 def : Pat <(i32 (zext (i1 (setne (i32 (and (i32 IntRegs:$Rs), 255)),
3100                                            u8ExtPred:$u8)))),
3101            (i32 (TFR_condset_ii (i1 (A4_cmpbeqi (i32 IntRegs:$Rs),
3102                                                  (u8ExtPred:$u8))),
3103                                 0, 1))>,
3104            Requires<[HasV4T]>;
3105
3106 // For the sequence
3107 //   zext( seteq (Rs, and(Rt, 255)))
3108 // Generate
3109 //   Pd=cmpb.eq(Rs, Rt)
3110 //   if (Pd.new) Rd=#1
3111 //   if (!Pd.new) Rd=#0
3112 def : Pat <(i32 (zext (i1 (seteq (i32 IntRegs:$Rt),
3113                                  (i32 (and (i32 IntRegs:$Rs), 255)))))),
3114            (i32 (TFR_condset_ii (i1 (A4_cmpbeq (i32 IntRegs:$Rs),
3115                                                       (i32 IntRegs:$Rt))),
3116                                 1, 0))>,
3117            Requires<[HasV4T]>;
3118
3119 // For the sequence
3120 //   zext( setne (Rs, and(Rt, 255)))
3121 // Generate
3122 //   Pd=cmpb.eq(Rs, Rt)
3123 //   if (Pd.new) Rd=#0
3124 //   if (!Pd.new) Rd=#1
3125 def : Pat <(i32 (zext (i1 (setne (i32 IntRegs:$Rt),
3126                                  (i32 (and (i32 IntRegs:$Rs), 255)))))),
3127            (i32 (TFR_condset_ii (i1 (A4_cmpbeq (i32 IntRegs:$Rs),
3128                                                       (i32 IntRegs:$Rt))),
3129                                 0, 1))>,
3130            Requires<[HasV4T]>;
3131
3132 // For the sequence
3133 //   zext( setugt ( and(Rs, 255), u8))
3134 // Generate
3135 //   Pd=cmpb.gtu(Rs, #u8)
3136 //   if (Pd.new) Rd=#1
3137 //   if (!Pd.new) Rd=#0
3138 def : Pat <(i32 (zext (i1 (setugt (i32 (and (i32 IntRegs:$Rs), 255)),
3139                                             u8ExtPred:$u8)))),
3140            (i32 (TFR_condset_ii (i1 (A4_cmpbgtui (i32 IntRegs:$Rs),
3141                                                   (u8ExtPred:$u8))),
3142                                 1, 0))>,
3143            Requires<[HasV4T]>;
3144
3145 // For the sequence
3146 //   zext( setugt ( and(Rs, 254), u8))
3147 // Generate
3148 //   Pd=cmpb.gtu(Rs, #u8)
3149 //   if (Pd.new) Rd=#1
3150 //   if (!Pd.new) Rd=#0
3151 def : Pat <(i32 (zext (i1 (setugt (i32 (and (i32 IntRegs:$Rs), 254)),
3152                                             u8ExtPred:$u8)))),
3153            (i32 (TFR_condset_ii (i1 (A4_cmpbgtui (i32 IntRegs:$Rs),
3154                                                   (u8ExtPred:$u8))),
3155                                 1, 0))>,
3156            Requires<[HasV4T]>;
3157
3158 // For the sequence
3159 //   zext( setult ( Rs, Rt))
3160 // Generate
3161 //   Pd=cmp.ltu(Rs, Rt)
3162 //   if (Pd.new) Rd=#1
3163 //   if (!Pd.new) Rd=#0
3164 // cmp.ltu(Rs, Rt) -> cmp.gtu(Rt, Rs)
3165 def : Pat <(i32 (zext (i1 (setult (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3166            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rt),
3167                                               (i32 IntRegs:$Rs))),
3168                                 1, 0))>,
3169            Requires<[HasV4T]>;
3170
3171 // For the sequence
3172 //   zext( setlt ( Rs, Rt))
3173 // Generate
3174 //   Pd=cmp.lt(Rs, Rt)
3175 //   if (Pd.new) Rd=#1
3176 //   if (!Pd.new) Rd=#0
3177 // cmp.lt(Rs, Rt) -> cmp.gt(Rt, Rs)
3178 def : Pat <(i32 (zext (i1 (setlt (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3179            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rt),
3180                                              (i32 IntRegs:$Rs))),
3181                                 1, 0))>,
3182            Requires<[HasV4T]>;
3183
3184 // For the sequence
3185 //   zext( setugt ( Rs, Rt))
3186 // Generate
3187 //   Pd=cmp.gtu(Rs, Rt)
3188 //   if (Pd.new) Rd=#1
3189 //   if (!Pd.new) Rd=#0
3190 def : Pat <(i32 (zext (i1 (setugt (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3191            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rs),
3192                                               (i32 IntRegs:$Rt))),
3193                                 1, 0))>,
3194            Requires<[HasV4T]>;
3195
3196 // This pattern interefers with coremark performance, not implementing at this
3197 // time.
3198 // For the sequence
3199 //   zext( setgt ( Rs, Rt))
3200 // Generate
3201 //   Pd=cmp.gt(Rs, Rt)
3202 //   if (Pd.new) Rd=#1
3203 //   if (!Pd.new) Rd=#0
3204
3205 // For the sequence
3206 //   zext( setuge ( Rs, Rt))
3207 // Generate
3208 //   Pd=cmp.ltu(Rs, Rt)
3209 //   if (Pd.new) Rd=#0
3210 //   if (!Pd.new) Rd=#1
3211 // cmp.ltu(Rs, Rt) -> cmp.gtu(Rt, Rs)
3212 def : Pat <(i32 (zext (i1 (setuge (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3213            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rt),
3214                                               (i32 IntRegs:$Rs))),
3215                                 0, 1))>,
3216            Requires<[HasV4T]>;
3217
3218 // For the sequence
3219 //   zext( setge ( Rs, Rt))
3220 // Generate
3221 //   Pd=cmp.lt(Rs, Rt)
3222 //   if (Pd.new) Rd=#0
3223 //   if (!Pd.new) Rd=#1
3224 // cmp.lt(Rs, Rt) -> cmp.gt(Rt, Rs)
3225 def : Pat <(i32 (zext (i1 (setge (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3226            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rt),
3227                                              (i32 IntRegs:$Rs))),
3228                                 0, 1))>,
3229            Requires<[HasV4T]>;
3230
3231 // For the sequence
3232 //   zext( setule ( Rs, Rt))
3233 // Generate
3234 //   Pd=cmp.gtu(Rs, Rt)
3235 //   if (Pd.new) Rd=#0
3236 //   if (!Pd.new) Rd=#1
3237 def : Pat <(i32 (zext (i1 (setule (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3238            (i32 (TFR_condset_ii (i1 (C2_cmpgtu (i32 IntRegs:$Rs),
3239                                               (i32 IntRegs:$Rt))),
3240                                 0, 1))>,
3241            Requires<[HasV4T]>;
3242
3243 // For the sequence
3244 //   zext( setle ( Rs, Rt))
3245 // Generate
3246 //   Pd=cmp.gt(Rs, Rt)
3247 //   if (Pd.new) Rd=#0
3248 //   if (!Pd.new) Rd=#1
3249 def : Pat <(i32 (zext (i1 (setle (i32 IntRegs:$Rs), (i32 IntRegs:$Rt))))),
3250            (i32 (TFR_condset_ii (i1 (C2_cmpgt (i32 IntRegs:$Rs),
3251                                              (i32 IntRegs:$Rt))),
3252                                 0, 1))>,
3253            Requires<[HasV4T]>;
3254
3255 // For the sequence
3256 //   zext( setult ( and(Rs, 255), u8))
3257 // Use the isdigit transformation below
3258
3259 // Generate code of the form 'mux_ii(cmpbgtu(Rdd, C-1),0,1)'
3260 // for C code of the form r = ((c>='0') & (c<='9')) ? 1 : 0;.
3261 // The isdigit transformation relies on two 'clever' aspects:
3262 // 1) The data type is unsigned which allows us to eliminate a zero test after
3263 //    biasing the expression by 48. We are depending on the representation of
3264 //    the unsigned types, and semantics.
3265 // 2) The front end has converted <= 9 into < 10 on entry to LLVM
3266 //
3267 // For the C code:
3268 //   retval = ((c>='0') & (c<='9')) ? 1 : 0;
3269 // The code is transformed upstream of llvm into
3270 //   retval = (c-48) < 10 ? 1 : 0;
3271 let AddedComplexity = 139 in
3272 def : Pat <(i32 (zext (i1 (setult (i32 (and (i32 IntRegs:$src1), 255)),
3273                                   u7StrictPosImmPred:$src2)))),
3274   (i32 (C2_muxii (i1 (A4_cmpbgtui (i32 IntRegs:$src1),
3275                                  (DEC_CONST_BYTE u7StrictPosImmPred:$src2))),
3276                    0, 1))>,
3277                    Requires<[HasV4T]>;
3278
3279 //===----------------------------------------------------------------------===//
3280 // XTYPE/PRED -
3281 //===----------------------------------------------------------------------===//
3282
3283 //===----------------------------------------------------------------------===//
3284 // Multiclass for DeallocReturn
3285 //===----------------------------------------------------------------------===//
3286 class L4_RETURN<string mnemonic, bit isNot, bit isPredNew, bit isTak>
3287   : LD0Inst<(outs), (ins PredRegs:$src),
3288   !if(isNot, "if (!$src", "if ($src")#
3289   !if(isPredNew, ".new) ", ") ")#mnemonic#
3290   !if(isPredNew, #!if(isTak,":t", ":nt"),""),
3291   [], "", LD_tc_3or4stall_SLOT0> {
3292
3293     bits<2> src;
3294     let BaseOpcode = "L4_RETURN";
3295     let isPredicatedFalse = isNot;
3296     let isPredicatedNew = isPredNew;
3297     let isTaken = isTak;
3298     let IClass = 0b1001;
3299
3300     let Inst{27-16} = 0b011000011110;
3301
3302     let Inst{13} = isNot;
3303     let Inst{12} = isTak;
3304     let Inst{11} = isPredNew;
3305     let Inst{10} = 0b0;
3306     let Inst{9-8} = src;
3307     let Inst{4-0} = 0b11110;
3308   }
3309
3310 // Produce all predicated forms, p, !p, p.new, !p.new, :t, :nt
3311 multiclass L4_RETURN_PRED<string mnemonic, bit PredNot> {
3312   let isPredicated = 1 in {
3313     def _#NAME# : L4_RETURN <mnemonic, PredNot, 0, 1>;
3314     def _#NAME#new_pnt : L4_RETURN <mnemonic, PredNot, 1, 0>;
3315     def _#NAME#new_pt : L4_RETURN <mnemonic, PredNot, 1, 1>;
3316   }
3317 }
3318
3319 multiclass LD_MISC_L4_RETURN<string mnemonic> {
3320   let isBarrier = 1, isPredicable = 1 in
3321     def NAME : LD0Inst <(outs), (ins), mnemonic, [], "",
3322                         LD_tc_3or4stall_SLOT0> {
3323       let BaseOpcode = "L4_RETURN";
3324       let IClass = 0b1001;
3325       let Inst{27-16} = 0b011000011110;
3326       let Inst{13-10} = 0b0000;
3327       let Inst{4-0} = 0b11110;
3328     }
3329   defm t : L4_RETURN_PRED<mnemonic, 0 >;
3330   defm f : L4_RETURN_PRED<mnemonic, 1 >;
3331 }
3332
3333 let isReturn = 1, isTerminator = 1,
3334     Defs = [R29, R30, R31, PC], Uses = [R30], hasSideEffects = 0,
3335     validSubTargets = HasV4SubT, isCodeGenOnly = 0 in
3336 defm L4_return: LD_MISC_L4_RETURN <"dealloc_return">, PredNewRel;
3337
3338 // Restore registers and dealloc return function call.
3339 let isCall = 1, isBarrier = 1, isReturn = 1, isTerminator = 1,
3340   Defs = [R29, R30, R31, PC], isAsmParserOnly = 1 in {
3341 let validSubTargets = HasV4SubT in
3342   def RESTORE_DEALLOC_RET_JMP_V4 : JInst<(outs),
3343                                    (ins calltarget:$dst),
3344              "jump $dst",
3345              []>,
3346              Requires<[HasV4T]>;
3347 }
3348
3349 // Restore registers and dealloc frame before a tail call.
3350 let isCall = 1, isBarrier = 1, isAsmParserOnly = 1,
3351   Defs = [R29, R30, R31, PC] in {
3352 let validSubTargets = HasV4SubT in
3353   def RESTORE_DEALLOC_BEFORE_TAILCALL_V4 : JInst<(outs),
3354                                            (ins calltarget:$dst),
3355              "call $dst",
3356              []>,
3357              Requires<[HasV4T]>;
3358 }
3359
3360 // Save registers function call.
3361 let isCall = 1, isBarrier = 1, isAsmParserOnly = 1,
3362   Uses = [R29, R31] in {
3363   def SAVE_REGISTERS_CALL_V4 : JInst<(outs),
3364                                (ins calltarget:$dst),
3365              "call $dst // Save_calle_saved_registers",
3366              []>,
3367              Requires<[HasV4T]>;
3368 }
3369
3370 //===----------------------------------------------------------------------===//
3371 // Template class for non predicated store instructions with
3372 // GP-Relative or absolute addressing.
3373 //===----------------------------------------------------------------------===//
3374 let hasSideEffects = 0, isPredicable = 1, isNVStorable = 1 in
3375 class T_StoreAbsGP <string mnemonic, RegisterClass RC, Operand ImmOp,
3376                     bits<2>MajOp, Operand AddrOp, bit isAbs, bit isHalf>
3377   : STInst<(outs), (ins AddrOp:$addr, RC:$src),
3378   mnemonic # !if(isAbs, "(##", "(#")#"$addr) = $src"#!if(isHalf, ".h",""),
3379   [], "", V2LDST_tc_st_SLOT01> {
3380     bits<19> addr;
3381     bits<5> src;
3382     bits<16> offsetBits;
3383
3384     string ImmOpStr = !cast<string>(ImmOp);
3385     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3386                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3387                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3388                                       /* u16_0Imm */ addr{15-0})));
3389     let IClass = 0b0100;
3390     let Inst{27} = 1;
3391     let Inst{26-25} = offsetBits{15-14};
3392     let Inst{24}    = 0b0;
3393     let Inst{23-22} = MajOp;
3394     let Inst{21}    = isHalf;
3395     let Inst{20-16} = offsetBits{13-9};
3396     let Inst{13}    = offsetBits{8};
3397     let Inst{12-8}  = src;
3398     let Inst{7-0}   = offsetBits{7-0};
3399   }
3400
3401 //===----------------------------------------------------------------------===//
3402 // Template class for predicated store instructions with
3403 // GP-Relative or absolute addressing.
3404 //===----------------------------------------------------------------------===//
3405 let hasSideEffects = 0, isPredicated = 1, isNVStorable = 1, opExtentBits = 6,
3406     opExtendable = 1 in
3407 class T_StoreAbs_Pred <string mnemonic, RegisterClass RC, bits<2> MajOp,
3408                        bit isHalf, bit isNot, bit isNew>
3409   : STInst<(outs), (ins PredRegs:$src1, u6Ext:$absaddr, RC: $src2),
3410   !if(isNot, "if (!$src1", "if ($src1")#!if(isNew, ".new) ",
3411   ") ")#mnemonic#"(#$absaddr) = $src2"#!if(isHalf, ".h",""),
3412   [], "", ST_tc_st_SLOT01>, AddrModeRel {
3413     bits<2> src1;
3414     bits<6> absaddr;
3415     bits<5> src2;
3416
3417     let isPredicatedNew = isNew;
3418     let isPredicatedFalse = isNot;
3419
3420     let IClass = 0b1010;
3421
3422     let Inst{27-24} = 0b1111;
3423     let Inst{23-22} = MajOp;
3424     let Inst{21}    = isHalf;
3425     let Inst{17-16} = absaddr{5-4};
3426     let Inst{13}    = isNew;
3427     let Inst{12-8}  = src2;
3428     let Inst{7}     = 0b1;
3429     let Inst{6-3}   = absaddr{3-0};
3430     let Inst{2}     = isNot;
3431     let Inst{1-0}   = src1;
3432   }
3433
3434 //===----------------------------------------------------------------------===//
3435 // Template class for predicated store instructions with absolute addressing.
3436 //===----------------------------------------------------------------------===//
3437 class T_StoreAbs <string mnemonic, RegisterClass RC, Operand ImmOp,
3438                  bits<2> MajOp, bit isHalf>
3439   : T_StoreAbsGP <mnemonic, RC, ImmOp, MajOp, u0AlwaysExt, 1, isHalf>,
3440                   AddrModeRel {
3441   string ImmOpStr = !cast<string>(ImmOp);
3442   let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3443                      !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3444                      !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3445                                       /* u16_0Imm */ 16)));
3446
3447   let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3448                       !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3449                       !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3450                                        /* u16_0Imm */ 0)));
3451 }
3452
3453 //===----------------------------------------------------------------------===//
3454 // Multiclass for store instructions with absolute addressing.
3455 //===----------------------------------------------------------------------===//
3456 let validSubTargets = HasV4SubT, addrMode = Absolute, isExtended = 1 in
3457 multiclass ST_Abs<string mnemonic, string CextOp, RegisterClass RC,
3458                   Operand ImmOp, bits<2> MajOp, bit isHalf = 0> {
3459   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3460     let opExtendable = 0, isPredicable = 1 in
3461     def S2_#NAME#abs : T_StoreAbs <mnemonic, RC, ImmOp, MajOp, isHalf>;
3462
3463     // Predicated
3464     def S4_p#NAME#t_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 0, 0>;
3465     def S4_p#NAME#f_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 1, 0>;
3466
3467     // .new Predicated
3468     def S4_p#NAME#tnew_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 0, 1>;
3469     def S4_p#NAME#fnew_abs : T_StoreAbs_Pred<mnemonic, RC, MajOp, isHalf, 1, 1>;
3470   }
3471 }
3472
3473 //===----------------------------------------------------------------------===//
3474 // Template class for non predicated new-value store instructions with
3475 // GP-Relative or absolute addressing.
3476 //===----------------------------------------------------------------------===//
3477 let hasSideEffects = 0, isPredicable = 1, mayStore = 1, isNVStore = 1,
3478     isNewValue = 1, opNewValue = 1 in
3479 class T_StoreAbsGP_NV <string mnemonic, Operand ImmOp, bits<2>MajOp, bit isAbs>
3480   : NVInst_V4<(outs), (ins u0AlwaysExt:$addr, IntRegs:$src),
3481   mnemonic # !if(isAbs, "(##", "(#")#"$addr) = $src.new",
3482   [], "", V2LDST_tc_st_SLOT0> {
3483     bits<19> addr;
3484     bits<3> src;
3485     bits<16> offsetBits;
3486
3487     string ImmOpStr = !cast<string>(ImmOp);
3488     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3489                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3490                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3491                                       /* u16_0Imm */ addr{15-0})));
3492     let IClass = 0b0100;
3493
3494     let Inst{27} = 1;
3495     let Inst{26-25} = offsetBits{15-14};
3496     let Inst{24-21} = 0b0101;
3497     let Inst{20-16} = offsetBits{13-9};
3498     let Inst{13}    = offsetBits{8};
3499     let Inst{12-11} = MajOp;
3500     let Inst{10-8}  = src;
3501     let Inst{7-0}   = offsetBits{7-0};
3502   }
3503
3504 //===----------------------------------------------------------------------===//
3505 // Template class for predicated new-value store instructions with
3506 // absolute addressing.
3507 //===----------------------------------------------------------------------===//
3508 let hasSideEffects = 0, isPredicated = 1, mayStore = 1, isNVStore = 1,
3509     isNewValue = 1, opNewValue = 2, opExtentBits = 6, opExtendable = 1 in
3510 class T_StoreAbs_NV_Pred <string mnemonic, bits<2> MajOp, bit isNot, bit isNew>
3511   : NVInst_V4<(outs), (ins PredRegs:$src1, u6Ext:$absaddr, IntRegs:$src2),
3512   !if(isNot, "if (!$src1", "if ($src1")#!if(isNew, ".new) ",
3513   ") ")#mnemonic#"(#$absaddr) = $src2.new",
3514   [], "", ST_tc_st_SLOT0>, AddrModeRel {
3515     bits<2> src1;
3516     bits<6> absaddr;
3517     bits<3> src2;
3518
3519     let isPredicatedNew = isNew;
3520     let isPredicatedFalse = isNot;
3521
3522     let IClass = 0b1010;
3523
3524     let Inst{27-24} = 0b1111;
3525     let Inst{23-21} = 0b101;
3526     let Inst{17-16} = absaddr{5-4};
3527     let Inst{13}    = isNew;
3528     let Inst{12-11} = MajOp;
3529     let Inst{10-8}  = src2;
3530     let Inst{7}     = 0b1;
3531     let Inst{6-3}   = absaddr{3-0};
3532     let Inst{2}     = isNot;
3533     let Inst{1-0}   = src1;
3534 }
3535
3536 //===----------------------------------------------------------------------===//
3537 // Template class for non-predicated new-value store instructions with
3538 // absolute addressing.
3539 //===----------------------------------------------------------------------===//
3540 class T_StoreAbs_NV <string mnemonic, Operand ImmOp, bits<2> MajOp>
3541   : T_StoreAbsGP_NV <mnemonic, ImmOp, MajOp, 1>, AddrModeRel {
3542
3543   string ImmOpStr = !cast<string>(ImmOp);
3544   let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3545                      !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3546                      !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3547                                       /* u16_0Imm */ 16)));
3548
3549   let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3550                       !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3551                       !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3552                                        /* u16_0Imm */ 0)));
3553 }
3554
3555 //===----------------------------------------------------------------------===//
3556 // Multiclass for new-value store instructions with absolute addressing.
3557 //===----------------------------------------------------------------------===//
3558 let validSubTargets = HasV4SubT, addrMode = Absolute, isExtended = 1  in
3559 multiclass ST_Abs_NV <string mnemonic, string CextOp, Operand ImmOp,
3560                    bits<2> MajOp> {
3561   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3562     let opExtendable = 0, isPredicable = 1 in
3563     def S2_#NAME#newabs : T_StoreAbs_NV <mnemonic, ImmOp, MajOp>;
3564
3565     // Predicated
3566     def S4_p#NAME#newt_abs  : T_StoreAbs_NV_Pred <mnemonic, MajOp, 0, 0>;
3567     def S4_p#NAME#newf_abs  : T_StoreAbs_NV_Pred <mnemonic, MajOp, 1, 0>;
3568
3569     // .new Predicated
3570     def S4_p#NAME#newtnew_abs : T_StoreAbs_NV_Pred <mnemonic, MajOp, 0, 1>;
3571     def S4_p#NAME#newfnew_abs : T_StoreAbs_NV_Pred <mnemonic, MajOp, 1, 1>;
3572   }
3573 }
3574
3575 //===----------------------------------------------------------------------===//
3576 // Stores with absolute addressing
3577 //===----------------------------------------------------------------------===//
3578 let accessSize = ByteAccess, isCodeGenOnly = 0 in
3579 defm storerb : ST_Abs    <"memb", "STrib", IntRegs, u16_0Imm, 0b00>,
3580                ST_Abs_NV <"memb", "STrib", u16_0Imm, 0b00>;
3581
3582 let accessSize = HalfWordAccess, isCodeGenOnly = 0 in
3583 defm storerh : ST_Abs    <"memh", "STrih", IntRegs, u16_1Imm, 0b01>,
3584                ST_Abs_NV <"memh", "STrih", u16_1Imm, 0b01>;
3585
3586 let accessSize = WordAccess, isCodeGenOnly = 0 in
3587 defm storeri : ST_Abs    <"memw", "STriw", IntRegs, u16_2Imm, 0b10>,
3588                ST_Abs_NV <"memw", "STriw", u16_2Imm, 0b10>;
3589
3590 let isNVStorable = 0, accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
3591 defm storerd : ST_Abs <"memd", "STrid", DoubleRegs, u16_3Imm, 0b11>;
3592
3593 let isNVStorable = 0, accessSize = HalfWordAccess, isCodeGenOnly = 0 in
3594 defm storerf : ST_Abs <"memh", "STrif", IntRegs, u16_1Imm, 0b01, 1>;
3595
3596 //===----------------------------------------------------------------------===//
3597 // GP-relative stores.
3598 // mem[bhwd](#global)=Rt
3599 // Once predicated, these instructions map to absolute addressing mode.
3600 // if ([!]Pv[.new]) mem[bhwd](##global)=Rt
3601 //===----------------------------------------------------------------------===//
3602
3603 let validSubTargets = HasV4SubT, isAsmParserOnly = 1 in
3604 class T_StoreGP <string mnemonic, string BaseOp, RegisterClass RC,
3605                  Operand ImmOp, bits<2> MajOp, bit isHalf = 0>
3606   : T_StoreAbsGP <mnemonic, RC, ImmOp, MajOp, globaladdress, 0, isHalf> {
3607     // Set BaseOpcode same as absolute addressing instructions so that
3608     // non-predicated GP-Rel instructions can have relate with predicated
3609     // Absolute instruction.
3610     let BaseOpcode = BaseOp#_abs;
3611   }
3612
3613 let validSubTargets = HasV4SubT, isAsmParserOnly = 1 in
3614 multiclass ST_GP <string mnemonic, string BaseOp, Operand ImmOp,
3615                   bits<2> MajOp, bit isHalf = 0> {
3616   // Set BaseOpcode same as absolute addressing instructions so that
3617   // non-predicated GP-Rel instructions can have relate with predicated
3618   // Absolute instruction.
3619   let BaseOpcode = BaseOp#_abs in {
3620     def NAME#gp : T_StoreAbsGP <mnemonic, IntRegs, ImmOp, MajOp,
3621                                 globaladdress, 0, isHalf>;
3622     // New-value store
3623     def NAME#newgp : T_StoreAbsGP_NV <mnemonic, ImmOp, MajOp, 0> ;
3624   }
3625 }
3626
3627 let accessSize = ByteAccess in
3628 defm S2_storerb : ST_GP<"memb", "STrib", u16_0Imm, 0b00>, NewValueRel;
3629
3630 let accessSize = HalfWordAccess in
3631 defm S2_storerh : ST_GP<"memh", "STrih", u16_1Imm, 0b01>, NewValueRel;
3632
3633 let accessSize = WordAccess in
3634 defm S2_storeri : ST_GP<"memw", "STriw", u16_2Imm, 0b10>, NewValueRel;
3635
3636 let isNVStorable = 0, accessSize = DoubleWordAccess in
3637 def S2_storerdgp : T_StoreGP <"memd", "STrid", DoubleRegs,
3638                               u16_3Imm, 0b11>, PredNewRel;
3639
3640 let isNVStorable = 0, accessSize = HalfWordAccess in
3641 def S2_storerfgp : T_StoreGP <"memh", "STrif", IntRegs,
3642                               u16_1Imm, 0b01, 1>, PredNewRel;
3643
3644 class Loada_pat<PatFrag Load, ValueType VT, PatFrag Addr, InstHexagon MI>
3645   : Pat<(VT (Load Addr:$addr)), (MI Addr:$addr)>;
3646
3647 class Loadam_pat<PatFrag Load, ValueType VT, PatFrag Addr, PatFrag ValueMod,
3648                  InstHexagon MI>
3649   : Pat<(VT (Load Addr:$addr)), (ValueMod (MI Addr:$addr))>;
3650
3651 let Predicates = [HasV4T], AddedComplexity = 30 in {
3652 def : Pat<(truncstorei8 (i32 IntRegs:$src1),
3653                         (HexagonCONST32 tglobaladdr:$absaddr)),
3654           (S2_storerbabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3655
3656 def : Pat<(truncstorei16 (i32 IntRegs:$src1),
3657                           (HexagonCONST32 tglobaladdr:$absaddr)),
3658           (S2_storerhabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3659
3660 def : Pat<(store (i32 IntRegs:$src1), (HexagonCONST32 tglobaladdr:$absaddr)),
3661           (S2_storeriabs tglobaladdr: $absaddr, IntRegs: $src1)>;
3662
3663 def : Pat<(store (i64 DoubleRegs:$src1),
3664                  (HexagonCONST32 tglobaladdr:$absaddr)),
3665           (S2_storerdabs tglobaladdr: $absaddr, DoubleRegs: $src1)>;
3666 }
3667
3668 // 64 bit atomic store
3669 def : Pat <(atomic_store_64 (HexagonCONST32_GP tglobaladdr:$global),
3670                             (i64 DoubleRegs:$src1)),
3671            (S2_storerdgp tglobaladdr:$global, (i64 DoubleRegs:$src1))>,
3672            Requires<[HasV4T]>;
3673
3674 // Map from store(globaladdress) -> memd(#foo)
3675 let AddedComplexity = 100 in
3676 def : Pat <(store (i64 DoubleRegs:$src1),
3677                   (HexagonCONST32_GP tglobaladdr:$global)),
3678            (S2_storerdgp tglobaladdr:$global, (i64 DoubleRegs:$src1))>;
3679
3680 // 8 bit atomic store
3681 def : Pat < (atomic_store_8 (HexagonCONST32_GP tglobaladdr:$global),
3682                             (i32 IntRegs:$src1)),
3683             (S2_storerbgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3684
3685 // Map from store(globaladdress) -> memb(#foo)
3686 let AddedComplexity = 100 in
3687 def : Pat<(truncstorei8 (i32 IntRegs:$src1),
3688           (HexagonCONST32_GP tglobaladdr:$global)),
3689           (S2_storerbgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3690
3691 // Map from "i1 = constant<-1>; memw(CONST32(#foo)) = i1"
3692 //       to "r0 = 1; memw(#foo) = r0"
3693 let AddedComplexity = 100 in
3694 def : Pat<(store (i1 -1), (HexagonCONST32_GP tglobaladdr:$global)),
3695           (S2_storerbgp tglobaladdr:$global, (A2_tfrsi 1))>;
3696
3697 def : Pat<(atomic_store_16 (HexagonCONST32_GP tglobaladdr:$global),
3698                            (i32 IntRegs:$src1)),
3699           (S2_storerhgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3700
3701 // Map from store(globaladdress) -> memh(#foo)
3702 let AddedComplexity = 100 in
3703 def : Pat<(truncstorei16 (i32 IntRegs:$src1),
3704                          (HexagonCONST32_GP tglobaladdr:$global)),
3705           (S2_storerhgp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3706
3707 // 32 bit atomic store
3708 def : Pat<(atomic_store_32 (HexagonCONST32_GP tglobaladdr:$global),
3709                            (i32 IntRegs:$src1)),
3710           (S2_storerigp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3711
3712 // Map from store(globaladdress) -> memw(#foo)
3713 let AddedComplexity = 100 in
3714 def : Pat<(store (i32 IntRegs:$src1), (HexagonCONST32_GP tglobaladdr:$global)),
3715           (S2_storerigp tglobaladdr:$global, (i32 IntRegs:$src1))>;
3716
3717 //===----------------------------------------------------------------------===//
3718 // Template class for non predicated load instructions with
3719 // absolute addressing mode.
3720 //===----------------------------------------------------------------------===//
3721 let isPredicable = 1, hasSideEffects = 0, validSubTargets = HasV4SubT in
3722 class T_LoadAbsGP <string mnemonic, RegisterClass RC, Operand ImmOp,
3723                    bits<3> MajOp, Operand AddrOp, bit isAbs>
3724   : LDInst <(outs RC:$dst), (ins AddrOp:$addr),
3725   "$dst = "#mnemonic# !if(isAbs, "(##", "(#")#"$addr)",
3726   [], "", V2LDST_tc_ld_SLOT01> {
3727     bits<5> dst;
3728     bits<19> addr;
3729     bits<16> offsetBits;
3730
3731     string ImmOpStr = !cast<string>(ImmOp);
3732     let offsetBits = !if (!eq(ImmOpStr, "u16_3Imm"), addr{18-3},
3733                      !if (!eq(ImmOpStr, "u16_2Imm"), addr{17-2},
3734                      !if (!eq(ImmOpStr, "u16_1Imm"), addr{16-1},
3735                                       /* u16_0Imm */ addr{15-0})));
3736
3737     let IClass = 0b0100;
3738
3739     let Inst{27}    = 0b1;
3740     let Inst{26-25} = offsetBits{15-14};
3741     let Inst{24}    = 0b1;
3742     let Inst{23-21} = MajOp;
3743     let Inst{20-16} = offsetBits{13-9};
3744     let Inst{13-5}  = offsetBits{8-0};
3745     let Inst{4-0}   = dst;
3746   }
3747
3748 class T_LoadAbs <string mnemonic, RegisterClass RC, Operand ImmOp,
3749                  bits<3> MajOp>
3750   : T_LoadAbsGP <mnemonic, RC, ImmOp, MajOp, u0AlwaysExt, 1>, AddrModeRel {
3751
3752     string ImmOpStr = !cast<string>(ImmOp);
3753     let opExtentBits = !if (!eq(ImmOpStr, "u16_3Imm"), 19,
3754                        !if (!eq(ImmOpStr, "u16_2Imm"), 18,
3755                        !if (!eq(ImmOpStr, "u16_1Imm"), 17,
3756                                         /* u16_0Imm */ 16)));
3757
3758     let opExtentAlign = !if (!eq(ImmOpStr, "u16_3Imm"), 3,
3759                         !if (!eq(ImmOpStr, "u16_2Imm"), 2,
3760                         !if (!eq(ImmOpStr, "u16_1Imm"), 1,
3761                                         /* u16_0Imm */ 0)));
3762   }
3763 //===----------------------------------------------------------------------===//
3764 // Template class for predicated load instructions with
3765 // absolute addressing mode.
3766 //===----------------------------------------------------------------------===//
3767 let isPredicated = 1, hasNewValue = 1, opExtentBits = 6, opExtendable = 2 in
3768 class T_LoadAbs_Pred <string mnemonic, RegisterClass RC, bits<3> MajOp,
3769                       bit isPredNot, bit isPredNew>
3770   : LDInst <(outs RC:$dst), (ins PredRegs:$src1, u6Ext:$absaddr),
3771   !if(isPredNot, "if (!$src1", "if ($src1")#!if(isPredNew, ".new) ",
3772   ") ")#"$dst = "#mnemonic#"(#$absaddr)">, AddrModeRel {
3773     bits<5> dst;
3774     bits<2> src1;
3775     bits<6> absaddr;
3776
3777     let isPredicatedNew = isPredNew;
3778     let isPredicatedFalse = isPredNot;
3779
3780     let IClass = 0b1001;
3781
3782     let Inst{27-24} = 0b1111;
3783     let Inst{23-21} = MajOp;
3784     let Inst{20-16} = absaddr{5-1};
3785     let Inst{13} = 0b1;
3786     let Inst{12} = isPredNew;
3787     let Inst{11} = isPredNot;
3788     let Inst{10-9} = src1;
3789     let Inst{8} = absaddr{0};
3790     let Inst{7} = 0b1;
3791     let Inst{4-0} = dst;
3792   }
3793
3794 //===----------------------------------------------------------------------===//
3795 // Multiclass for the load instructions with absolute addressing mode.
3796 //===----------------------------------------------------------------------===//
3797 multiclass LD_Abs_Pred<string mnemonic, RegisterClass RC, bits<3> MajOp,
3798                        bit PredNot> {
3799   def _abs : T_LoadAbs_Pred <mnemonic, RC, MajOp, PredNot, 0>;
3800   // Predicate new
3801   def new_abs : T_LoadAbs_Pred <mnemonic, RC, MajOp, PredNot, 1>;
3802 }
3803
3804 let addrMode = Absolute, isExtended = 1 in
3805 multiclass LD_Abs<string mnemonic, string CextOp, RegisterClass RC,
3806                   Operand ImmOp, bits<3> MajOp> {
3807   let CextOpcode = CextOp, BaseOpcode = CextOp#_abs in {
3808     let opExtendable = 1, isPredicable = 1 in
3809     def L4_#NAME#_abs: T_LoadAbs <mnemonic, RC, ImmOp, MajOp>;
3810
3811     // Predicated
3812     defm L4_p#NAME#t : LD_Abs_Pred<mnemonic, RC, MajOp, 0>;
3813     defm L4_p#NAME#f : LD_Abs_Pred<mnemonic, RC, MajOp, 1>;
3814   }
3815 }
3816
3817 let accessSize = ByteAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
3818   defm loadrb  : LD_Abs<"memb",  "LDrib",  IntRegs, u16_0Imm, 0b000>;
3819   defm loadrub : LD_Abs<"memub", "LDriub", IntRegs, u16_0Imm, 0b001>;
3820 }
3821
3822 let accessSize = HalfWordAccess, hasNewValue = 1, isCodeGenOnly = 0 in {
3823   defm loadrh  : LD_Abs<"memh",  "LDrih",  IntRegs, u16_1Imm, 0b010>;
3824   defm loadruh : LD_Abs<"memuh", "LDriuh", IntRegs, u16_1Imm, 0b011>;
3825 }
3826
3827 let accessSize = WordAccess, hasNewValue = 1, isCodeGenOnly = 0 in
3828 defm loadri  : LD_Abs<"memw",  "LDriw",  IntRegs, u16_2Imm, 0b100>;
3829
3830 let accessSize = DoubleWordAccess, isCodeGenOnly = 0 in
3831 defm loadrd  : LD_Abs<"memd",  "LDrid", DoubleRegs, u16_3Imm, 0b110>;
3832
3833 //===----------------------------------------------------------------------===//
3834 // multiclass for load instructions with GP-relative addressing mode.
3835 // Rx=mem[bhwd](##global)
3836 // Once predicated, these instructions map to absolute addressing mode.
3837 // if ([!]Pv[.new]) Rx=mem[bhwd](##global)
3838 //===----------------------------------------------------------------------===//
3839
3840 let isAsmParserOnly = 1 in
3841 class T_LoadGP <string mnemonic, string BaseOp, RegisterClass RC, Operand ImmOp,
3842                 bits<3> MajOp>
3843   : T_LoadAbsGP <mnemonic, RC, ImmOp, MajOp, globaladdress, 0>, PredNewRel {
3844     let BaseOpcode = BaseOp#_abs;
3845   }
3846
3847 let accessSize = ByteAccess, hasNewValue = 1 in {
3848   def L2_loadrbgp  : T_LoadGP<"memb",  "LDrib",  IntRegs, u16_0Imm, 0b000>;
3849   def L2_loadrubgp : T_LoadGP<"memub", "LDriub", IntRegs, u16_0Imm, 0b001>;
3850 }
3851
3852 let accessSize = HalfWordAccess, hasNewValue = 1 in {
3853   def L2_loadrhgp  : T_LoadGP<"memh",  "LDrih",  IntRegs, u16_1Imm, 0b010>;
3854   def L2_loadruhgp : T_LoadGP<"memuh", "LDriuh", IntRegs, u16_1Imm, 0b011>;
3855 }
3856
3857 let accessSize = WordAccess, hasNewValue = 1 in
3858 def L2_loadrigp  : T_LoadGP<"memw",  "LDriw",  IntRegs, u16_2Imm, 0b100>;
3859
3860 let accessSize = DoubleWordAccess in
3861 def L2_loadrdgp  : T_LoadGP<"memd", "LDrid", DoubleRegs, u16_3Imm, 0b110>;
3862
3863 let Predicates = [HasV4T], AddedComplexity  = 30 in {
3864 def : Pat<(i32 (load (HexagonCONST32 tglobaladdr:$absaddr))),
3865           (L4_loadri_abs tglobaladdr: $absaddr)>;
3866
3867 def : Pat<(i32 (sextloadi8 (HexagonCONST32 tglobaladdr:$absaddr))),
3868           (L4_loadrb_abs tglobaladdr:$absaddr)>;
3869
3870 def : Pat<(i32 (zextloadi8 (HexagonCONST32 tglobaladdr:$absaddr))),
3871           (L4_loadrub_abs tglobaladdr:$absaddr)>;
3872
3873 def : Pat<(i32 (sextloadi16 (HexagonCONST32 tglobaladdr:$absaddr))),
3874           (L4_loadrh_abs tglobaladdr:$absaddr)>;
3875
3876 def : Pat<(i32 (zextloadi16 (HexagonCONST32 tglobaladdr:$absaddr))),
3877           (L4_loadruh_abs tglobaladdr:$absaddr)>;
3878 }
3879
3880 def : Pat <(atomic_load_64 (HexagonCONST32_GP tglobaladdr:$global)),
3881            (i64 (L2_loadrdgp tglobaladdr:$global))>;
3882
3883 def : Pat <(atomic_load_32 (HexagonCONST32_GP tglobaladdr:$global)),
3884            (i32 (L2_loadrigp tglobaladdr:$global))>;
3885
3886 def : Pat <(atomic_load_16 (HexagonCONST32_GP tglobaladdr:$global)),
3887            (i32 (L2_loadruhgp tglobaladdr:$global))>;
3888
3889 def : Pat <(atomic_load_8 (HexagonCONST32_GP tglobaladdr:$global)),
3890            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3891
3892 // Map from load(globaladdress) -> memw(#foo + 0)
3893 let AddedComplexity = 100 in
3894 def : Pat <(i64 (load (HexagonCONST32_GP tglobaladdr:$global))),
3895            (i64 (L2_loadrdgp tglobaladdr:$global))>;
3896
3897 // Map from Pd = load(globaladdress) -> Rd = memb(globaladdress), Pd = Rd
3898 let AddedComplexity = 100 in
3899 def : Pat <(i1 (load (HexagonCONST32_GP tglobaladdr:$global))),
3900            (i1 (C2_tfrrp (i32 (L2_loadrbgp tglobaladdr:$global))))>;
3901
3902 // When the Interprocedural Global Variable optimizer realizes that a certain
3903 // global variable takes only two constant values, it shrinks the global to
3904 // a boolean. Catch those loads here in the following 3 patterns.
3905 let AddedComplexity = 100 in
3906 def : Pat <(i32 (extloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3907            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3908
3909 let AddedComplexity = 100 in
3910 def : Pat <(i32 (sextloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3911            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3912
3913 // Map from load(globaladdress) -> memb(#foo)
3914 let AddedComplexity = 100 in
3915 def : Pat <(i32 (extloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3916            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3917
3918 // Map from load(globaladdress) -> memb(#foo)
3919 let AddedComplexity = 100 in
3920 def : Pat <(i32 (sextloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3921            (i32 (L2_loadrbgp tglobaladdr:$global))>;
3922
3923 let AddedComplexity = 100 in
3924 def : Pat <(i32 (zextloadi1 (HexagonCONST32_GP tglobaladdr:$global))),
3925            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3926
3927 // Map from load(globaladdress) -> memub(#foo)
3928 let AddedComplexity = 100 in
3929 def : Pat <(i32 (zextloadi8 (HexagonCONST32_GP tglobaladdr:$global))),
3930            (i32 (L2_loadrubgp tglobaladdr:$global))>;
3931
3932 // Map from load(globaladdress) -> memh(#foo)
3933 let AddedComplexity = 100 in
3934 def : Pat <(i32 (extloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3935            (i32 (L2_loadrhgp tglobaladdr:$global))>;
3936
3937 // Map from load(globaladdress) -> memh(#foo)
3938 let AddedComplexity = 100 in
3939 def : Pat <(i32 (sextloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3940            (i32 (L2_loadrhgp tglobaladdr:$global))>;
3941
3942 // Map from load(globaladdress) -> memuh(#foo)
3943 let AddedComplexity = 100 in
3944 def : Pat <(i32 (zextloadi16 (HexagonCONST32_GP tglobaladdr:$global))),
3945            (i32 (L2_loadruhgp tglobaladdr:$global))>;
3946
3947 // Map from load(globaladdress) -> memw(#foo)
3948 let AddedComplexity = 100 in
3949 def : Pat <(i32 (load (HexagonCONST32_GP tglobaladdr:$global))),
3950            (i32 (L2_loadrigp tglobaladdr:$global))>;
3951
3952
3953 // Transfer global address into a register
3954 let isExtended = 1, opExtendable = 1, AddedComplexity=50, isMoveImm = 1,
3955 isAsCheapAsAMove = 1, isReMaterializable = 1, validSubTargets = HasV4SubT in
3956 def TFRI_V4 : ALU32_ri<(outs IntRegs:$dst), (ins s16Ext:$src1),
3957            "$dst = #$src1",
3958            [(set IntRegs:$dst, (HexagonCONST32 tglobaladdr:$src1))]>,
3959            Requires<[HasV4T]>;
3960
3961 // Transfer a block address into a register
3962 def : Pat<(HexagonCONST32_GP tblockaddress:$src1),
3963           (TFRI_V4 tblockaddress:$src1)>,
3964           Requires<[HasV4T]>;
3965
3966 let isExtended = 1, opExtendable = 2, AddedComplexity=50,
3967 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3968 def TFRI_cPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3969                            (ins PredRegs:$src1, s16Ext:$src2),
3970            "if($src1) $dst = #$src2",
3971            []>,
3972            Requires<[HasV4T]>;
3973
3974 let isExtended = 1, opExtendable = 2, AddedComplexity=50, isPredicatedFalse = 1,
3975 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3976 def TFRI_cNotPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3977                               (ins PredRegs:$src1, s16Ext:$src2),
3978            "if(!$src1) $dst = #$src2",
3979            []>,
3980            Requires<[HasV4T]>;
3981
3982 let isExtended = 1, opExtendable = 2, AddedComplexity=50,
3983 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3984 def TFRI_cdnPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3985                              (ins PredRegs:$src1, s16Ext:$src2),
3986            "if($src1.new) $dst = #$src2",
3987            []>,
3988            Requires<[HasV4T]>;
3989
3990 let isExtended = 1, opExtendable = 2, AddedComplexity=50, isPredicatedFalse = 1,
3991 hasSideEffects = 0, isPredicated = 1, validSubTargets = HasV4SubT in
3992 def TFRI_cdnNotPt_V4 : ALU32_ri<(outs IntRegs:$dst),
3993                                 (ins PredRegs:$src1, s16Ext:$src2),
3994            "if(!$src1.new) $dst = #$src2",
3995            []>,
3996            Requires<[HasV4T]>;
3997
3998 let AddedComplexity = 50, Predicates = [HasV4T] in
3999 def : Pat<(HexagonCONST32_GP tglobaladdr:$src1),
4000            (TFRI_V4 tglobaladdr:$src1)>,
4001            Requires<[HasV4T]>;
4002
4003 let Predicates = [HasV4T], AddedComplexity  = 30 in {
4004 def : Pat<(truncstorei8 (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
4005           (S2_storerbabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
4006
4007 def : Pat<(truncstorei16 (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
4008           (S2_storerhabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
4009
4010 def : Pat<(store (i32 IntRegs:$src1), u0AlwaysExtPred:$src2),
4011           (S2_storeriabs u0AlwaysExtPred:$src2, IntRegs: $src1)>;
4012 }
4013
4014 let Predicates = [HasV4T], AddedComplexity  = 30 in {
4015 def : Pat<(i32 (load u0AlwaysExtPred:$src)),
4016           (L4_loadri_abs u0AlwaysExtPred:$src)>;
4017 }
4018
4019 // Indexed store word - global address.
4020 // memw(Rs+#u6:2)=#S8
4021 let AddedComplexity = 10 in
4022 def STriw_offset_ext_V4 : STInst<(outs),
4023             (ins IntRegs:$src1, u6_2Imm:$src2, globaladdress:$src3),
4024             "memw($src1+#$src2) = ##$src3",
4025             [(store (HexagonCONST32 tglobaladdr:$src3),
4026                     (add IntRegs:$src1, u6_2ImmPred:$src2))]>,
4027             Requires<[HasV4T]>;
4028
4029 def : Pat<(i64 (ctlz (i64 DoubleRegs:$src1))),
4030           (i64 (A4_combineir (i32 0), (i32 (S2_cl0p DoubleRegs:$src1))))>,
4031           Requires<[HasV4T]>;
4032
4033 def : Pat<(i64 (cttz (i64 DoubleRegs:$src1))),
4034           (i64 (A4_combineir (i32 0), (i32 (S2_ct0p DoubleRegs:$src1))))>,
4035           Requires<[HasV4T]>;
4036
4037 // i8/i16/i32 -> i64 loads
4038 // We need a complexity of 120 here to override preceding handling of
4039 // zextload.
4040 let AddedComplexity = 120 in {
4041   def: Loadam_pat<extloadi8,   i64, addrga, Zext64, L4_loadrub_abs>;
4042   def: Loadam_pat<sextloadi8,  i64, addrga, Sext64, L4_loadrb_abs>;
4043   def: Loadam_pat<zextloadi8,  i64, addrga, Zext64, L4_loadrub_abs>;
4044
4045   def: Loadam_pat<extloadi16,  i64, addrga, Zext64, L4_loadruh_abs>;
4046   def: Loadam_pat<sextloadi16, i64, addrga, Sext64, L4_loadrh_abs>;
4047   def: Loadam_pat<zextloadi16, i64, addrga, Zext64, L4_loadruh_abs>;
4048
4049   def: Loadam_pat<extloadi32,  i64, addrga, Zext64, L4_loadri_abs>;
4050   def: Loadam_pat<sextloadi32, i64, addrga, Sext64, L4_loadri_abs>;
4051   def: Loadam_pat<zextloadi32, i64, addrga, Zext64, L4_loadri_abs>;
4052 }
4053
4054 // Indexed store double word - global address.
4055 // memw(Rs+#u6:2)=#S8
4056 let AddedComplexity = 10 in
4057 def STrih_offset_ext_V4 : STInst<(outs),
4058             (ins IntRegs:$src1, u6_1Imm:$src2, globaladdress:$src3),
4059             "memh($src1+#$src2) = ##$src3",
4060             [(truncstorei16 (HexagonCONST32 tglobaladdr:$src3),
4061                     (add IntRegs:$src1, u6_1ImmPred:$src2))]>,
4062             Requires<[HasV4T]>;
4063 // Map from store(globaladdress + x) -> memd(#foo + x)
4064 let AddedComplexity = 100 in
4065 def : Pat<(store (i64 DoubleRegs:$src1),
4066                  FoldGlobalAddrGP:$addr),
4067           (S2_storerdabs FoldGlobalAddrGP:$addr, (i64 DoubleRegs:$src1))>,
4068           Requires<[HasV4T]>;
4069
4070 def : Pat<(atomic_store_64 FoldGlobalAddrGP:$addr,
4071                            (i64 DoubleRegs:$src1)),
4072           (S2_storerdabs FoldGlobalAddrGP:$addr, (i64 DoubleRegs:$src1))>,
4073           Requires<[HasV4T]>;
4074
4075 // Map from store(globaladdress + x) -> memb(#foo + x)
4076 let AddedComplexity = 100 in
4077 def : Pat<(truncstorei8 (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
4078           (S2_storerbabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4079             Requires<[HasV4T]>;
4080
4081 def : Pat<(atomic_store_8 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4082           (S2_storerbabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4083             Requires<[HasV4T]>;
4084
4085 // Map from store(globaladdress + x) -> memh(#foo + x)
4086 let AddedComplexity = 100 in
4087 def : Pat<(truncstorei16 (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
4088           (S2_storerhabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4089             Requires<[HasV4T]>;
4090
4091 def : Pat<(atomic_store_16 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4092           (S2_storerhabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4093             Requires<[HasV4T]>;
4094
4095 // Map from store(globaladdress + x) -> memw(#foo + x)
4096 let AddedComplexity = 100 in
4097 def : Pat<(store (i32 IntRegs:$src1), FoldGlobalAddrGP:$addr),
4098           (S2_storeriabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4099            Requires<[HasV4T]>;
4100
4101 def : Pat<(atomic_store_32 FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1)),
4102           (S2_storeriabs FoldGlobalAddrGP:$addr, (i32 IntRegs:$src1))>,
4103             Requires<[HasV4T]>;
4104
4105 // Map from load(globaladdress + x) -> memd(#foo + x)
4106 let AddedComplexity = 100 in
4107 def : Pat<(i64 (load FoldGlobalAddrGP:$addr)),
4108           (i64 (L4_loadrd_abs FoldGlobalAddrGP:$addr))>,
4109            Requires<[HasV4T]>;
4110
4111 def : Pat<(atomic_load_64 FoldGlobalAddrGP:$addr),
4112           (i64 (L4_loadrd_abs FoldGlobalAddrGP:$addr))>,
4113            Requires<[HasV4T]>;
4114
4115 // Map from load(globaladdress + x) -> memb(#foo + x)
4116 let AddedComplexity = 100 in
4117 def : Pat<(i32 (extloadi8 FoldGlobalAddrGP:$addr)),
4118           (i32 (L4_loadrb_abs FoldGlobalAddrGP:$addr))>,
4119            Requires<[HasV4T]>;
4120
4121 // Map from load(globaladdress + x) -> memb(#foo + x)
4122 let AddedComplexity = 100 in
4123 def : Pat<(i32 (sextloadi8 FoldGlobalAddrGP:$addr)),
4124           (i32 (L4_loadrb_abs FoldGlobalAddrGP:$addr))>,
4125            Requires<[HasV4T]>;
4126
4127 //let AddedComplexity = 100 in
4128 let AddedComplexity = 100 in
4129 def : Pat<(i32 (extloadi16 FoldGlobalAddrGP:$addr)),
4130           (i32 (L4_loadrh_abs FoldGlobalAddrGP:$addr))>,
4131            Requires<[HasV4T]>;
4132
4133 // Map from load(globaladdress + x) -> memh(#foo + x)
4134 let AddedComplexity = 100 in
4135 def : Pat<(i32 (sextloadi16 FoldGlobalAddrGP:$addr)),
4136           (i32 (L4_loadrh_abs FoldGlobalAddrGP:$addr))>,
4137            Requires<[HasV4T]>;
4138
4139 // Map from load(globaladdress + x) -> memuh(#foo + x)
4140 let AddedComplexity = 100 in
4141 def : Pat<(i32 (zextloadi16 FoldGlobalAddrGP:$addr)),
4142           (i32 (L4_loadruh_abs FoldGlobalAddrGP:$addr))>,
4143            Requires<[HasV4T]>;
4144
4145 def : Pat<(atomic_load_16 FoldGlobalAddrGP:$addr),
4146           (i32 (L4_loadruh_abs FoldGlobalAddrGP:$addr))>,
4147            Requires<[HasV4T]>;
4148
4149 // Map from load(globaladdress + x) -> memub(#foo + x)
4150 let AddedComplexity = 100 in
4151 def : Pat<(i32 (zextloadi8 FoldGlobalAddrGP:$addr)),
4152           (i32 (L4_loadrub_abs FoldGlobalAddrGP:$addr))>,
4153            Requires<[HasV4T]>;
4154
4155 def : Pat<(atomic_load_8 FoldGlobalAddrGP:$addr),
4156           (i32 (L4_loadrub_abs FoldGlobalAddrGP:$addr))>,
4157            Requires<[HasV4T]>;
4158
4159 // Map from load(globaladdress + x) -> memw(#foo + x)
4160 let AddedComplexity = 100 in
4161 def : Pat<(i32 (load FoldGlobalAddrGP:$addr)),
4162           (i32 (L4_loadri_abs FoldGlobalAddrGP:$addr))>,
4163            Requires<[HasV4T]>;
4164
4165 def : Pat<(atomic_load_32 FoldGlobalAddrGP:$addr),
4166           (i32 (L4_loadri_abs FoldGlobalAddrGP:$addr))>,
4167            Requires<[HasV4T]>;
4168
4169 //===----------------------------------------------------------------------===//
4170 // :raw for of boundscheck:hi:lo insns
4171 //===----------------------------------------------------------------------===//
4172
4173 // A4_boundscheck_lo: Detect if a register is within bounds.
4174 let hasSideEffects = 0, isCodeGenOnly = 0 in
4175 def A4_boundscheck_lo: ALU64Inst <
4176   (outs PredRegs:$Pd),
4177   (ins DoubleRegs:$Rss, DoubleRegs:$Rtt),
4178   "$Pd = boundscheck($Rss, $Rtt):raw:lo"> {
4179     bits<2> Pd;
4180     bits<5> Rss;
4181     bits<5> Rtt;
4182
4183     let IClass = 0b1101;
4184
4185     let Inst{27-23} = 0b00100;
4186     let Inst{13} = 0b1;
4187     let Inst{7-5} = 0b100;
4188     let Inst{1-0} = Pd;
4189     let Inst{20-16} = Rss;
4190     let Inst{12-8} = Rtt;
4191   }
4192
4193 // A4_boundscheck_hi: Detect if a register is within bounds.
4194 let hasSideEffects = 0, isCodeGenOnly = 0 in
4195 def A4_boundscheck_hi: ALU64Inst <
4196   (outs PredRegs:$Pd),
4197   (ins DoubleRegs:$Rss, DoubleRegs:$Rtt),
4198   "$Pd = boundscheck($Rss, $Rtt):raw:hi"> {
4199     bits<2> Pd;
4200     bits<5> Rss;
4201     bits<5> Rtt;
4202
4203     let IClass = 0b1101;
4204
4205     let Inst{27-23} = 0b00100;
4206     let Inst{13} = 0b1;
4207     let Inst{7-5} = 0b101;
4208     let Inst{1-0} = Pd;
4209     let Inst{20-16} = Rss;
4210     let Inst{12-8} = Rtt;
4211   }
4212
4213 let hasSideEffects = 0, isAsmParserOnly = 1 in
4214 def A4_boundscheck : MInst <
4215   (outs PredRegs:$Pd), (ins IntRegs:$Rs, DoubleRegs:$Rtt),
4216   "$Pd=boundscheck($Rs,$Rtt)">;
4217
4218 // A4_tlbmatch: Detect if a VA/ASID matches a TLB entry.
4219 let isPredicateLate = 1, hasSideEffects = 0, isCodeGenOnly = 0 in
4220 def A4_tlbmatch : ALU64Inst<(outs PredRegs:$Pd),
4221   (ins DoubleRegs:$Rs, IntRegs:$Rt),
4222   "$Pd = tlbmatch($Rs, $Rt)",
4223   [], "", ALU64_tc_2early_SLOT23> {
4224     bits<2> Pd;
4225     bits<5> Rs;
4226     bits<5> Rt;
4227
4228     let IClass = 0b1101;
4229     let Inst{27-23} = 0b00100;
4230     let Inst{20-16} = Rs;
4231     let Inst{13} = 0b1;
4232     let Inst{12-8} = Rt;
4233     let Inst{7-5} = 0b011;
4234     let Inst{1-0} = Pd;
4235   }
4236
4237 // We need custom lowering of ISD::PREFETCH into HexagonISD::DCFETCH
4238 // because the SDNode ISD::PREFETCH has properties MayLoad and MayStore.
4239 // We don't really want either one here.
4240 def SDTHexagonDCFETCH : SDTypeProfile<0, 2, [SDTCisPtrTy<0>,SDTCisInt<1>]>;
4241 def HexagonDCFETCH : SDNode<"HexagonISD::DCFETCH", SDTHexagonDCFETCH,
4242                             [SDNPHasChain]>;
4243
4244 // Use LD0Inst for dcfetch, but set "mayLoad" to 0 because this doesn't
4245 // really do a load.
4246 let hasSideEffects = 1, mayLoad = 0, isCodeGenOnly = 0 in
4247 def Y2_dcfetchbo : LD0Inst<(outs), (ins IntRegs:$Rs, u11_3Imm:$u11_3),
4248       "dcfetch($Rs + #$u11_3)",
4249       [(HexagonDCFETCH IntRegs:$Rs, u11_3ImmPred:$u11_3)],
4250       "", LD_tc_ld_SLOT0> {
4251   bits<5> Rs;
4252   bits<14> u11_3;
4253
4254   let IClass = 0b1001;
4255   let Inst{27-21} = 0b0100000;
4256   let Inst{20-16} = Rs;
4257   let Inst{13} = 0b0;
4258   let Inst{10-0} = u11_3{13-3};
4259 }
4260
4261 //===----------------------------------------------------------------------===//
4262 // Compound instructions
4263 //===----------------------------------------------------------------------===//
4264
4265 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4266     isPredicated = 1, isPredicatedNew = 1, isExtendable = 1,
4267     opExtentBits = 11, opExtentAlign = 2, opExtendable = 1,
4268     isTerminator = 1, validSubTargets = HasV4SubT in
4269 class CJInst_tstbit_R0<string px, bit np, string tnt>
4270   : InstHexagon<(outs), (ins IntRegs:$Rs, brtarget:$r9_2),
4271   ""#px#" = tstbit($Rs, #0); if ("
4272     #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4273   [], "", COMPOUND, TypeCOMPOUND> {
4274   bits<4> Rs;
4275   bits<11> r9_2;
4276
4277   // np: !p[01]
4278   let isPredicatedFalse = np;
4279   // tnt: Taken/Not Taken
4280   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4281   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4282
4283   let IClass = 0b0001;
4284   let Inst{27-26} = 0b00;
4285   let Inst{25} = !if (!eq(px, "!p1"), 1,
4286                  !if (!eq(px,  "p1"), 1, 0));
4287   let Inst{24-23} = 0b11;
4288   let Inst{22} = np;
4289   let Inst{21-20} = r9_2{10-9};
4290   let Inst{19-16} = Rs;
4291   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4292   let Inst{9-8} = 0b11;
4293   let Inst{7-1} = r9_2{8-2};
4294 }
4295
4296 let Defs = [PC, P0], Uses = [P0], isCodeGenOnly = 0 in {
4297   def J4_tstbit0_tp0_jump_nt : CJInst_tstbit_R0<"p0", 0, "nt">;
4298   def J4_tstbit0_tp0_jump_t : CJInst_tstbit_R0<"p0", 0, "t">;
4299   def J4_tstbit0_fp0_jump_nt : CJInst_tstbit_R0<"p0", 1, "nt">;
4300   def J4_tstbit0_fp0_jump_t : CJInst_tstbit_R0<"p0", 1, "t">;
4301 }
4302
4303 let Defs = [PC, P1], Uses = [P1], isCodeGenOnly = 0 in {
4304   def J4_tstbit0_tp1_jump_nt : CJInst_tstbit_R0<"p1", 0, "nt">;
4305   def J4_tstbit0_tp1_jump_t : CJInst_tstbit_R0<"p1", 0, "t">;
4306   def J4_tstbit0_fp1_jump_nt : CJInst_tstbit_R0<"p1", 1, "nt">;
4307   def J4_tstbit0_fp1_jump_t : CJInst_tstbit_R0<"p1", 1, "t">;
4308 }
4309
4310
4311 let isBranch = 1, hasSideEffects = 0,
4312     isExtentSigned = 1, isPredicated = 1, isPredicatedNew = 1,
4313     isExtendable = 1, opExtentBits = 11, opExtentAlign = 2,
4314     opExtendable = 2, isTerminator = 1, validSubTargets = HasV4SubT in
4315 class CJInst_RR<string px, string op, bit np, string tnt>
4316   : InstHexagon<(outs), (ins IntRegs:$Rs, IntRegs:$Rt, brtarget:$r9_2),
4317   ""#px#" = cmp."#op#"($Rs, $Rt); if ("
4318    #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4319   [], "", COMPOUND, TypeCOMPOUND> {
4320   bits<4> Rs;
4321   bits<4> Rt;
4322   bits<11> r9_2;
4323
4324   // np: !p[01]
4325   let isPredicatedFalse = np;
4326   // tnt: Taken/Not Taken
4327   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4328   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4329
4330   let IClass = 0b0001;
4331   let Inst{27-23} = !if (!eq(op, "eq"),  0b01000,
4332                     !if (!eq(op, "gt"),  0b01001,
4333                     !if (!eq(op, "gtu"), 0b01010, 0)));
4334   let Inst{22} = np;
4335   let Inst{21-20} = r9_2{10-9};
4336   let Inst{19-16} = Rs;
4337   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4338   // px: Predicate reg 0/1
4339   let Inst{12} = !if (!eq(px, "!p1"), 1,
4340                  !if (!eq(px,  "p1"), 1, 0));
4341   let Inst{11-8} = Rt;
4342   let Inst{7-1} = r9_2{8-2};
4343 }
4344
4345 // P[10] taken/not taken.
4346 multiclass T_tnt_CJInst_RR<string op, bit np> {
4347   let Defs = [PC, P0], Uses = [P0] in {
4348     def NAME#p0_jump_nt : CJInst_RR<"p0", op, np, "nt">;
4349     def NAME#p0_jump_t : CJInst_RR<"p0", op, np, "t">;
4350   }
4351   let Defs = [PC, P1], Uses = [P1] in {
4352     def NAME#p1_jump_nt : CJInst_RR<"p1", op, np, "nt">;
4353     def NAME#p1_jump_t : CJInst_RR<"p1", op, np, "t">;
4354   }
4355 }
4356 // Predicate / !Predicate
4357 multiclass T_pnp_CJInst_RR<string op>{
4358   defm J4_cmp#NAME#_t : T_tnt_CJInst_RR<op, 0>;
4359   defm J4_cmp#NAME#_f : T_tnt_CJInst_RR<op, 1>;
4360 }
4361 // TypeCJ Instructions compare RR and jump
4362 let isCodeGenOnly = 0 in {
4363 defm eq : T_pnp_CJInst_RR<"eq">;
4364 defm gt : T_pnp_CJInst_RR<"gt">;
4365 defm gtu : T_pnp_CJInst_RR<"gtu">;
4366 }
4367
4368 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4369     isPredicated = 1, isPredicatedNew = 1, isExtendable = 1, opExtentBits = 11,
4370     opExtentAlign = 2, opExtendable = 2, isTerminator = 1,
4371     validSubTargets = HasV4SubT in
4372 class CJInst_RU5<string px, string op, bit np, string tnt>
4373   : InstHexagon<(outs), (ins IntRegs:$Rs, u5Imm:$U5, brtarget:$r9_2),
4374   ""#px#" = cmp."#op#"($Rs, #$U5); if ("
4375     #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4376   [], "", COMPOUND, TypeCOMPOUND> {
4377   bits<4> Rs;
4378   bits<5> U5;
4379   bits<11> r9_2;
4380
4381   // np: !p[01]
4382   let isPredicatedFalse = np;
4383   // tnt: Taken/Not Taken
4384   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4385   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4386
4387   let IClass = 0b0001;
4388   let Inst{27-26} = 0b00;
4389   // px: Predicate reg 0/1
4390   let Inst{25} = !if (!eq(px, "!p1"), 1,
4391                  !if (!eq(px,  "p1"), 1, 0));
4392   let Inst{24-23} = !if (!eq(op, "eq"),  0b00,
4393                     !if (!eq(op, "gt"),  0b01,
4394                     !if (!eq(op, "gtu"), 0b10, 0)));
4395   let Inst{22} = np;
4396   let Inst{21-20} = r9_2{10-9};
4397   let Inst{19-16} = Rs;
4398   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4399   let Inst{12-8} = U5;
4400   let Inst{7-1} = r9_2{8-2};
4401 }
4402 // P[10] taken/not taken.
4403 multiclass T_tnt_CJInst_RU5<string op, bit np> {
4404   let Defs = [PC, P0], Uses = [P0] in {
4405     def NAME#p0_jump_nt : CJInst_RU5<"p0", op, np, "nt">;
4406     def NAME#p0_jump_t : CJInst_RU5<"p0", op, np, "t">;
4407   }
4408   let Defs = [PC, P1], Uses = [P1] in {
4409     def NAME#p1_jump_nt : CJInst_RU5<"p1", op, np, "nt">;
4410     def NAME#p1_jump_t : CJInst_RU5<"p1", op, np, "t">;
4411   }
4412 }
4413 // Predicate / !Predicate
4414 multiclass T_pnp_CJInst_RU5<string op>{
4415   defm J4_cmp#NAME#i_t : T_tnt_CJInst_RU5<op, 0>;
4416   defm J4_cmp#NAME#i_f : T_tnt_CJInst_RU5<op, 1>;
4417 }
4418 // TypeCJ Instructions compare RI and jump
4419 let isCodeGenOnly = 0 in {
4420 defm eq : T_pnp_CJInst_RU5<"eq">;
4421 defm gt : T_pnp_CJInst_RU5<"gt">;
4422 defm gtu : T_pnp_CJInst_RU5<"gtu">;
4423 }
4424
4425 let isBranch = 1, hasSideEffects = 0, isExtentSigned = 1,
4426     isPredicated = 1, isPredicatedFalse = 1, isPredicatedNew = 1,
4427     isExtendable = 1, opExtentBits = 11, opExtentAlign = 2, opExtendable = 1,
4428     isTerminator = 1, validSubTargets = HasV4SubT in
4429 class CJInst_Rn1<string px, string op, bit np, string tnt>
4430   : InstHexagon<(outs), (ins IntRegs:$Rs, brtarget:$r9_2),
4431   ""#px#" = cmp."#op#"($Rs,#-1); if ("
4432   #!if(np, "!","")#""#px#".new) jump:"#tnt#" $r9_2",
4433   [], "", COMPOUND, TypeCOMPOUND> {
4434   bits<4> Rs;
4435   bits<11> r9_2;
4436
4437   // np: !p[01]
4438   let isPredicatedFalse = np;
4439   // tnt: Taken/Not Taken
4440   let isBrTaken = !if (!eq(tnt, "t"), "true", "false");
4441   let isTaken   = !if (!eq(tnt, "t"), 1, 0);
4442
4443   let IClass = 0b0001;
4444   let Inst{27-26} = 0b00;
4445   let Inst{25} = !if (!eq(px, "!p1"), 1,
4446                  !if (!eq(px,  "p1"), 1, 0));
4447
4448   let Inst{24-23} = 0b11;
4449   let Inst{22} = np;
4450   let Inst{21-20} = r9_2{10-9};
4451   let Inst{19-16} = Rs;
4452   let Inst{13} = !if (!eq(tnt, "t"), 1, 0);
4453   let Inst{9-8} = !if (!eq(op, "eq"),  0b00,
4454                   !if (!eq(op, "gt"),  0b01, 0));
4455   let Inst{7-1} = r9_2{8-2};
4456 }
4457
4458 // P[10] taken/not taken.
4459 multiclass T_tnt_CJInst_Rn1<string op, bit np> {
4460   let Defs = [PC, P0], Uses = [P0] in {
4461     def NAME#p0_jump_nt : CJInst_Rn1<"p0", op, np, "nt">;
4462     def NAME#p0_jump_t : CJInst_Rn1<"p0", op, np, "t">;
4463   }
4464   let Defs = [PC, P1], Uses = [P1] in {
4465     def NAME#p1_jump_nt : CJInst_Rn1<"p1", op, np, "nt">;
4466     def NAME#p1_jump_t : CJInst_Rn1<"p1", op, np, "t">;
4467   }
4468 }
4469 // Predicate / !Predicate
4470 multiclass T_pnp_CJInst_Rn1<string op>{
4471   defm J4_cmp#NAME#n1_t : T_tnt_CJInst_Rn1<op, 0>;
4472   defm J4_cmp#NAME#n1_f : T_tnt_CJInst_Rn1<op, 1>;
4473 }
4474 // TypeCJ Instructions compare -1 and jump
4475 let isCodeGenOnly = 0 in {
4476 defm eq : T_pnp_CJInst_Rn1<"eq">;
4477 defm gt : T_pnp_CJInst_Rn1<"gt">;
4478 }
4479
4480 // J4_jumpseti: Direct unconditional jump and set register to immediate.
4481 let Defs = [PC], isBranch = 1, hasSideEffects = 0, hasNewValue = 1,
4482     isExtentSigned = 1, opNewValue = 0, isExtendable = 1, opExtentBits = 11,
4483     opExtentAlign = 2, opExtendable = 2, validSubTargets = HasV4SubT,
4484     isCodeGenOnly = 0 in
4485 def J4_jumpseti: CJInst <
4486   (outs IntRegs:$Rd),
4487   (ins u6Imm:$U6, brtarget:$r9_2),
4488   "$Rd = #$U6 ; jump $r9_2"> {
4489     bits<4> Rd;
4490     bits<6> U6;
4491     bits<11> r9_2;
4492
4493     let IClass = 0b0001;
4494     let Inst{27-24} = 0b0110;
4495     let Inst{21-20} = r9_2{10-9};
4496     let Inst{19-16} = Rd;
4497     let Inst{13-8} = U6;
4498     let Inst{7-1} = r9_2{8-2};
4499   }
4500
4501 // J4_jumpsetr: Direct unconditional jump and transfer register.
4502 let Defs = [PC], isBranch = 1, hasSideEffects = 0, hasNewValue = 1,
4503     isExtentSigned = 1, opNewValue = 0, isExtendable = 1, opExtentBits = 11,
4504     opExtentAlign = 2, opExtendable = 2, validSubTargets = HasV4SubT,
4505     isCodeGenOnly = 0 in
4506 def J4_jumpsetr: CJInst <
4507   (outs IntRegs:$Rd),
4508   (ins IntRegs:$Rs, brtarget:$r9_2),
4509   "$Rd = $Rs ; jump $r9_2"> {
4510     bits<4> Rd;
4511     bits<4> Rs;
4512     bits<11> r9_2;
4513
4514     let IClass = 0b0001;
4515     let Inst{27-24} = 0b0111;
4516     let Inst{21-20} = r9_2{10-9};
4517     let Inst{11-8} = Rd;
4518     let Inst{19-16} = Rs;
4519     let Inst{7-1} = r9_2{8-2};
4520   }