lib/Target/Sparc/SparcInstr64Bit.td

   1 //===-- SparcInstr64Bit.td - 64-bit instructions for Sparc Target ---------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file contains instruction definitions and patterns needed for 64-bit
  11 // code generation on SPARC v9.
  12 //
  13 // Some SPARC v9 instructions are defined in SparcInstrInfo.td because they can
  14 // also be used in 32-bit code running on a SPARC v9 CPU.
  15 //
  16 //===----------------------------------------------------------------------===//
  17
  18 let Predicates = [Is64Bit] in {
  19 // The same integer registers are used for i32 and i64 values.
  20 // When registers hold i32 values, the high bits are don't care.
  21 // This give us free trunc and anyext.
  22 def : Pat<(i64 (anyext i32:$val)), (COPY_TO_REGCLASS $val, I64Regs)>;
  23 def : Pat<(i32 (trunc i64:$val)), (COPY_TO_REGCLASS $val, IntRegs)>;
  24
  25 } // Predicates = [Is64Bit]
  26
  27
  28 //===----------------------------------------------------------------------===//
  29 // 64-bit Shift Instructions.
  30 //===----------------------------------------------------------------------===//
  31 //
  32 // The 32-bit shift instructions are still available. The left shift srl
  33 // instructions shift all 64 bits, but it only accepts a 5-bit shift amount.
  34 //
  35 // The srl instructions only shift the low 32 bits and clear the high 32 bits.
  36 // Finally, sra shifts the low 32 bits and sign-extends to 64 bits.
  37
  38 let Predicates = [Is64Bit] in {
  39
  40 def : Pat<(i64 (zext i32:$val)), (SRLri $val, 0)>;
  41 def : Pat<(i64 (sext i32:$val)), (SRAri $val, 0)>;
  42
  43 def : Pat<(i64 (and i64:$val, 0xffffffff)), (SRLri $val, 0)>;
  44 def : Pat<(i64 (sext_inreg i64:$val, i32)), (SRAri $val, 0)>;
  45
  46 defm SLLX : F3_S<"sllx", 0b100101, 1, shl, i64, I64Regs>;
  47 defm SRLX : F3_S<"srlx", 0b100110, 1, srl, i64, I64Regs>;
  48 defm SRAX : F3_S<"srax", 0b100111, 1, sra, i64, I64Regs>;
  49
  50 } // Predicates = [Is64Bit]
  51
  52
  53 //===----------------------------------------------------------------------===//
  54 // 64-bit Immediates.
  55 //===----------------------------------------------------------------------===//
  56 //
  57 // All 32-bit immediates can be materialized with sethi+or, but 64-bit
  58 // immediates may require more code. There may be a point where it is
  59 // preferable to use a constant pool load instead, depending on the
  60 // microarchitecture.
  61
  62 // Single-instruction patterns.
  63
  64 // The ALU instructions want their simm13 operands as i32 immediates.
  65 def as_i32imm : SDNodeXForm<imm, [{
  66   return CurDAG->getTargetConstant(N->getSExtValue(), MVT::i32);
  67 }]>;
  68 def : Pat<(i64 simm13:$val), (ORri (i64 G0), (as_i32imm $val))>;
  69 def : Pat<(i64 SETHIimm:$val), (SETHIi (HI22 $val))>;
  70
  71 // Double-instruction patterns.
  72
  73 // All unsigned i32 immediates can be handled by sethi+or.
  74 def uimm32 : PatLeaf<(imm), [{ return isUInt<32>(N->getZExtValue()); }]>;
  75 def : Pat<(i64 uimm32:$val), (ORri (SETHIi (HI22 $val)), (LO10 $val))>,
  76       Requires<[Is64Bit]>;
  77
  78 // All negative i33 immediates can be handled by sethi+xor.
  79 def nimm33 : PatLeaf<(imm), [{
  80   int64_t Imm = N->getSExtValue();
  81   return Imm < 0 && isInt<33>(Imm);
  82 }]>;
  83 // Bits 10-31 inverted. Same as assembler's %hix.
  84 def HIX22 : SDNodeXForm<imm, [{
  85   uint64_t Val = (~N->getZExtValue() >> 10) & ((1u << 22) - 1);
  86   return CurDAG->getTargetConstant(Val, MVT::i32);
  87 }]>;
  88 // Bits 0-9 with ones in bits 10-31. Same as assembler's %lox.
  89 def LOX10 : SDNodeXForm<imm, [{
  90   return CurDAG->getTargetConstant(~(~N->getZExtValue() & 0x3ff), MVT::i32);
  91 }]>;
  92 def : Pat<(i64 nimm33:$val), (XORri (SETHIi (HIX22 $val)), (LOX10 $val))>,
  93       Requires<[Is64Bit]>;
  94
  95 // More possible patterns:
  96 //
  97 //   (sllx sethi, n)
  98 //   (sllx simm13, n)
  99 //
 100 // 3 instrs:
 101 //
 102 //   (xor (sllx sethi), simm13)
 103 //   (sllx (xor sethi, simm13))
 104 //
 105 // 4 instrs:
 106 //
 107 //   (or sethi, (sllx sethi))
 108 //   (xnor sethi, (sllx sethi))
 109 //
 110 // 5 instrs:
 111 //
 112 //   (or (sllx sethi), (or sethi, simm13))
 113 //   (xnor (sllx sethi), (or sethi, simm13))
 114 //   (or (sllx sethi), (sllx sethi))
 115 //   (xnor (sllx sethi), (sllx sethi))
 116 //
 117 // Worst case is 6 instrs:
 118 //
 119 //   (or (sllx (or sethi, simmm13)), (or sethi, simm13))
 120
 121 // Bits 42-63, same as assembler's %hh.
 122 def HH22 : SDNodeXForm<imm, [{
 123   uint64_t Val = (N->getZExtValue() >> 42) & ((1u << 22) - 1);
 124   return CurDAG->getTargetConstant(Val, MVT::i32);
 125 }]>;
 126 // Bits 32-41, same as assembler's %hm.
 127 def HM10 : SDNodeXForm<imm, [{
 128   uint64_t Val = (N->getZExtValue() >> 32) & ((1u << 10) - 1);
 129   return CurDAG->getTargetConstant(Val, MVT::i32);
 130 }]>;
 131 def : Pat<(i64 imm:$val),
 132           (ORrr (SLLXri (ORri (SETHIi (HH22 $val)), (HM10 $val)), (i32 32)),
 133                 (ORri (SETHIi (HI22 $val)), (LO10 $val)))>,
 134       Requires<[Is64Bit]>;
 135
 136
 137 //===----------------------------------------------------------------------===//
 138 // 64-bit Integer Arithmetic and Logic.
 139 //===----------------------------------------------------------------------===//
 140
 141 let Predicates = [Is64Bit] in {
 142
 143 // Register-register instructions.
 144 defm ANDX    : F3_12<"and", 0b000001, and, I64Regs, i64, i64imm>;
 145 defm ORX     : F3_12<"or",  0b000010, or,  I64Regs, i64, i64imm>;
 146 defm XORX    : F3_12<"xor", 0b000011, xor, I64Regs, i64, i64imm>;
 147
 148 def ANDXNrr  : F3_1<2, 0b000101,
 149                  (outs I64Regs:$dst), (ins I64Regs:$b, I64Regs:$c),
 150                  "andn $b, $c, $dst",
 151                  [(set i64:$dst, (and i64:$b, (not i64:$c)))]>;
 152 def ORXNrr   : F3_1<2, 0b000110,
 153                  (outs I64Regs:$dst), (ins I64Regs:$b, I64Regs:$c),
 154                  "orn $b, $c, $dst",
 155                  [(set i64:$dst, (or i64:$b, (not i64:$c)))]>;
 156 def XNORXrr  : F3_1<2, 0b000111,
 157                    (outs I64Regs:$dst), (ins I64Regs:$b, I64Regs:$c),
 158                    "xnor $b, $c, $dst",
 159                    [(set i64:$dst, (not (xor i64:$b, i64:$c)))]>;
 160
 161 defm ADDX    : F3_12<"add", 0b000000, add, I64Regs, i64, i64imm>;
 162 defm SUBX    : F3_12<"sub", 0b000100, sub, I64Regs, i64, i64imm>;
 163
 164 def : Pat<(SPcmpicc i64:$a, i64:$b), (CMPrr $a, $b)>;
 165
 166 def TLS_ADDXrr : F3_1<2, 0b000000, (outs I64Regs:$rd),
 167                    (ins I64Regs:$rs1, I64Regs:$rs2, TLSSym:$sym),
 168                    "add $rs1, $rs2, $rd, $sym",
 169                    [(set i64:$rd,
 170                        (tlsadd i64:$rs1, i64:$rs2, tglobaltlsaddr:$sym))]>;
 171
 172 // Register-immediate instructions.
 173
 174 def : Pat<(SPcmpicc i64:$a, (i64 simm13:$b)), (CMPri $a, (as_i32imm $b))>;
 175
 176 def : Pat<(ctpop i64:$src), (POPCrr $src)>;
 177
 178 // "LEA" form of add
 179 let isCodeGenOnly = 1 in
 180 def LEAX_ADDri : F3_2<2, 0b000000,
 181                      (outs I64Regs:$dst), (ins MEMri:$addr),
 182                      "add ${addr:arith}, $dst",
 183                      [(set iPTR:$dst, ADDRri:$addr)]>;
 184 } // Predicates = [Is64Bit]
 185
 186
 187 //===----------------------------------------------------------------------===//
 188 // 64-bit Integer Multiply and Divide.
 189 //===----------------------------------------------------------------------===//
 190
 191 let Predicates = [Is64Bit] in {
 192
 193 def MULXrr : F3_1<2, 0b001001,
 194                   (outs I64Regs:$rd), (ins I64Regs:$rs1, I64Regs:$rs2),
 195                   "mulx $rs1, $rs2, $rd",
 196                   [(set i64:$rd, (mul i64:$rs1, i64:$rs2))]>;
 197 def MULXri : F3_2<2, 0b001001,
 198                   (outs IntRegs:$rd), (ins IntRegs:$rs1, i64imm:$i),
 199                   "mulx $rs1, $i, $rd",
 200                   [(set i64:$rd, (mul i64:$rs1, (i64 simm13:$i)))]>;
 201
 202 // Division can trap.
 203 let hasSideEffects = 1 in {
 204 def SDIVXrr : F3_1<2, 0b101101,
 205                    (outs I64Regs:$rd), (ins I64Regs:$rs1, I64Regs:$rs2),
 206                    "sdivx $rs1, $rs2, $rd",
 207                    [(set i64:$rd, (sdiv i64:$rs1, i64:$rs2))]>;
 208 def SDIVXri : F3_2<2, 0b101101,
 209                    (outs IntRegs:$rd), (ins IntRegs:$rs1, i64imm:$i),
 210                    "sdivx $rs1, $i, $rd",
 211                    [(set i64:$rd, (sdiv i64:$rs1, (i64 simm13:$i)))]>;
 212
 213 def UDIVXrr : F3_1<2, 0b001101,
 214                    (outs I64Regs:$rd), (ins I64Regs:$rs1, I64Regs:$rs2),
 215                    "udivx $rs1, $rs2, $rd",
 216                    [(set i64:$rd, (udiv i64:$rs1, i64:$rs2))]>;
 217 def UDIVXri : F3_2<2, 0b001101,
 218                    (outs IntRegs:$rd), (ins IntRegs:$rs1, i64imm:$i),
 219                    "udivx $rs1, $i, $rd",
 220                    [(set i64:$rd, (udiv i64:$rs1, (i64 simm13:$i)))]>;
 221 } // hasSideEffects = 1
 222
 223 } // Predicates = [Is64Bit]
 224
 225
 226 //===----------------------------------------------------------------------===//
 227 // 64-bit Loads and Stores.
 228 //===----------------------------------------------------------------------===//
 229 //
 230 // All the 32-bit loads and stores are available. The extending loads are sign
 231 // or zero-extending to 64 bits. The LDrr and LDri instructions load 32 bits
 232 // zero-extended to i64. Their mnemonic is lduw in SPARC v9 (Load Unsigned
 233 // Word).
 234 //
 235 // SPARC v9 adds 64-bit loads as well as a sign-extending ldsw i32 loads.
 236
 237 let Predicates = [Is64Bit] in {
 238
 239 // 64-bit loads.
 240 def LDXrr  : F3_1<3, 0b001011,
 241                   (outs I64Regs:$dst), (ins MEMrr:$addr),
 242                   "ldx [$addr], $dst",
 243                   [(set i64:$dst, (load ADDRrr:$addr))]>;
 244 def LDXri  : F3_2<3, 0b001011,
 245                   (outs I64Regs:$dst), (ins MEMri:$addr),
 246                   "ldx [$addr], $dst",
 247                   [(set i64:$dst, (load ADDRri:$addr))]>;
 248 let mayLoad = 1 in
 249   def TLS_LDXrr : F3_1<3, 0b001011,
 250                        (outs IntRegs:$dst), (ins MEMrr:$addr, TLSSym:$sym),
 251                        "ldx [$addr], $dst, $sym",
 252                        [(set i64:$dst,
 253                            (tlsld ADDRrr:$addr, tglobaltlsaddr:$sym))]>;
 254
 255 // Extending loads to i64.
 256 def : Pat<(i64 (zextloadi1 ADDRrr:$addr)), (LDUBrr ADDRrr:$addr)>;
 257 def : Pat<(i64 (zextloadi1 ADDRri:$addr)), (LDUBri ADDRri:$addr)>;
 258 def : Pat<(i64 (extloadi1 ADDRrr:$addr)), (LDUBrr ADDRrr:$addr)>;
 259 def : Pat<(i64 (extloadi1 ADDRri:$addr)), (LDUBri ADDRri:$addr)>;
 260
 261 def : Pat<(i64 (zextloadi8 ADDRrr:$addr)), (LDUBrr ADDRrr:$addr)>;
 262 def : Pat<(i64 (zextloadi8 ADDRri:$addr)), (LDUBri ADDRri:$addr)>;
 263 def : Pat<(i64 (extloadi8 ADDRrr:$addr)),  (LDUBrr ADDRrr:$addr)>;
 264 def : Pat<(i64 (extloadi8 ADDRri:$addr)),  (LDUBri ADDRri:$addr)>;
 265 def : Pat<(i64 (sextloadi8 ADDRrr:$addr)), (LDSBrr ADDRrr:$addr)>;
 266 def : Pat<(i64 (sextloadi8 ADDRri:$addr)), (LDSBri ADDRri:$addr)>;
 267
 268 def : Pat<(i64 (zextloadi16 ADDRrr:$addr)), (LDUHrr ADDRrr:$addr)>;
 269 def : Pat<(i64 (zextloadi16 ADDRri:$addr)), (LDUHri ADDRri:$addr)>;
 270 def : Pat<(i64 (extloadi16 ADDRrr:$addr)),  (LDUHrr ADDRrr:$addr)>;
 271 def : Pat<(i64 (extloadi16 ADDRri:$addr)),  (LDUHri ADDRri:$addr)>;
 272 def : Pat<(i64 (sextloadi16 ADDRrr:$addr)), (LDSHrr ADDRrr:$addr)>;
 273 def : Pat<(i64 (sextloadi16 ADDRri:$addr)), (LDSHri ADDRri:$addr)>;
 274
 275 def : Pat<(i64 (zextloadi32 ADDRrr:$addr)), (LDrr ADDRrr:$addr)>;
 276 def : Pat<(i64 (zextloadi32 ADDRri:$addr)), (LDri ADDRri:$addr)>;
 277 def : Pat<(i64 (extloadi32 ADDRrr:$addr)),  (LDrr ADDRrr:$addr)>;
 278 def : Pat<(i64 (extloadi32 ADDRri:$addr)),  (LDri ADDRri:$addr)>;
 279
 280 // Sign-extending load of i32 into i64 is a new SPARC v9 instruction.
 281 def LDSWrr : F3_1<3, 0b001011,
 282                  (outs I64Regs:$dst), (ins MEMrr:$addr),
 283                  "ldsw [$addr], $dst",
 284                  [(set i64:$dst, (sextloadi32 ADDRrr:$addr))]>;
 285 def LDSWri : F3_2<3, 0b001011,
 286                  (outs I64Regs:$dst), (ins MEMri:$addr),
 287                  "ldsw [$addr], $dst",
 288                  [(set i64:$dst, (sextloadi32 ADDRri:$addr))]>;
 289
 290 // 64-bit stores.
 291 def STXrr  : F3_1<3, 0b001110,
 292                  (outs), (ins MEMrr:$addr, I64Regs:$src),
 293                  "stx $src, [$addr]",
 294                  [(store i64:$src, ADDRrr:$addr)]>;
 295 def STXri  : F3_2<3, 0b001110,
 296                  (outs), (ins MEMri:$addr, I64Regs:$src),
 297                  "stx $src, [$addr]",
 298                  [(store i64:$src, ADDRri:$addr)]>;
 299
 300 // Truncating stores from i64 are identical to the i32 stores.
 301 def : Pat<(truncstorei8  i64:$src, ADDRrr:$addr), (STBrr ADDRrr:$addr, $src)>;
 302 def : Pat<(truncstorei8  i64:$src, ADDRri:$addr), (STBri ADDRri:$addr, $src)>;
 303 def : Pat<(truncstorei16 i64:$src, ADDRrr:$addr), (STHrr ADDRrr:$addr, $src)>;
 304 def : Pat<(truncstorei16 i64:$src, ADDRri:$addr), (STHri ADDRri:$addr, $src)>;
 305 def : Pat<(truncstorei32 i64:$src, ADDRrr:$addr), (STrr  ADDRrr:$addr, $src)>;
 306 def : Pat<(truncstorei32 i64:$src, ADDRri:$addr), (STri  ADDRri:$addr, $src)>;
 307
 308 // store 0, addr -> store %g0, addr
 309 def : Pat<(store (i64 0), ADDRrr:$dst), (STXrr ADDRrr:$dst, (i64 G0))>;
 310 def : Pat<(store (i64 0), ADDRri:$dst), (STXri ADDRri:$dst, (i64 G0))>;
 311
 312 } // Predicates = [Is64Bit]
 313
 314
 315 //===----------------------------------------------------------------------===//
 316 // 64-bit Conditionals.
 317 //===----------------------------------------------------------------------===//
 318 //
 319 // Flag-setting instructions like subcc and addcc set both icc and xcc flags.
 320 // The icc flags correspond to the 32-bit result, and the xcc are for the
 321 // full 64-bit result.
 322 //
 323 // We reuse CMPICC SDNodes for compares, but use new BRXCC branch nodes for
 324 // 64-bit compares. See LowerBR_CC.
 325
 326 let Predicates = [Is64Bit] in {
 327
 328 let Uses = [ICC] in
 329 def BPXCC : BranchSP<(ins brtarget:$imm22, CCOp:$cond),
 330                      "b$cond %xcc, $imm22",
 331                      [(SPbrxcc bb:$imm22, imm:$cond)]>;
 332
 333 // Conditional moves on %xcc.
 334 let Uses = [ICC], Constraints = "$f = $rd" in {
 335 def MOVXCCrr : Pseudo<(outs IntRegs:$rd),
 336                       (ins IntRegs:$rs2, IntRegs:$f, CCOp:$cond),
 337                       "mov$cond %xcc, $rs2, $rd",
 338                       [(set i32:$rd,
 339                        (SPselectxcc i32:$rs2, i32:$f, imm:$cond))]>;
 340 def MOVXCCri : Pseudo<(outs IntRegs:$rd),
 341                       (ins i32imm:$i, IntRegs:$f, CCOp:$cond),
 342                       "mov$cond %xcc, $i, $rd",
 343                       [(set i32:$rd,
 344                        (SPselectxcc simm11:$i, i32:$f, imm:$cond))]>;
 345 def FMOVS_XCC : Pseudo<(outs FPRegs:$rd),
 346                       (ins FPRegs:$rs2, FPRegs:$f, CCOp:$cond),
 347                       "fmovs$cond %xcc, $rs2, $rd",
 348                       [(set f32:$rd,
 349                        (SPselectxcc f32:$rs2, f32:$f, imm:$cond))]>;
 350 def FMOVD_XCC : Pseudo<(outs DFPRegs:$rd),
 351                       (ins DFPRegs:$rs2, DFPRegs:$f, CCOp:$cond),
 352                       "fmovd$cond %xcc, $rs2, $rd",
 353                       [(set f64:$rd,
 354                        (SPselectxcc f64:$rs2, f64:$f, imm:$cond))]>;
 355 } // Uses, Constraints
 356
 357 //===----------------------------------------------------------------------===//
 358 // 64-bit Floating Point Conversions.
 359 //===----------------------------------------------------------------------===//
 360
 361 let Predicates = [Is64Bit] in {
 362
 363 def FXTOS : F3_3u<2, 0b110100, 0b010000100,
 364                  (outs FPRegs:$dst), (ins DFPRegs:$src),
 365                  "fxtos $src, $dst",
 366                  [(set FPRegs:$dst, (SPxtof DFPRegs:$src))]>;
 367 def FXTOD : F3_3u<2, 0b110100, 0b010001000,
 368                  (outs DFPRegs:$dst), (ins DFPRegs:$src),
 369                  "fxtod $src, $dst",
 370                  [(set DFPRegs:$dst, (SPxtof DFPRegs:$src))]>;
 371 def FXTOQ : F3_3u<2, 0b110100, 0b010001100,
 372                  (outs QFPRegs:$dst), (ins DFPRegs:$src),
 373                  "fxtoq $src, $dst",
 374                  [(set QFPRegs:$dst, (SPxtof DFPRegs:$src))]>,
 375                  Requires<[HasHardQuad]>;
 376
 377 def FSTOX : F3_3u<2, 0b110100, 0b010000001,
 378                  (outs DFPRegs:$dst), (ins FPRegs:$src),
 379                  "fstox $src, $dst",
 380                  [(set DFPRegs:$dst, (SPftox FPRegs:$src))]>;
 381 def FDTOX : F3_3u<2, 0b110100, 0b010000010,
 382                  (outs DFPRegs:$dst), (ins DFPRegs:$src),
 383                  "fdtox $src, $dst",
 384                  [(set DFPRegs:$dst, (SPftox DFPRegs:$src))]>;
 385 def FQTOX : F3_3u<2, 0b110100, 0b010000011,
 386                  (outs DFPRegs:$dst), (ins QFPRegs:$src),
 387                  "fqtox $src, $dst",
 388                  [(set DFPRegs:$dst, (SPftox QFPRegs:$src))]>,
 389                  Requires<[HasHardQuad]>;
 390
 391 } // Predicates = [Is64Bit]
 392
 393 def : Pat<(SPselectxcc i64:$t, i64:$f, imm:$cond),
 394           (MOVXCCrr $t, $f, imm:$cond)>;
 395 def : Pat<(SPselectxcc (i64 simm11:$t), i64:$f, imm:$cond),
 396           (MOVXCCri (as_i32imm $t), $f, imm:$cond)>;
 397
 398 def : Pat<(SPselecticc i64:$t, i64:$f, imm:$cond),
 399           (MOVICCrr $t, $f, imm:$cond)>;
 400 def : Pat<(SPselecticc (i64 simm11:$t), i64:$f, imm:$cond),
 401           (MOVICCri (as_i32imm $t), $f, imm:$cond)>;
 402
 403 def : Pat<(SPselectfcc i64:$t, i64:$f, imm:$cond),
 404           (MOVFCCrr $t, $f, imm:$cond)>;
 405 def : Pat<(SPselectfcc (i64 simm11:$t), i64:$f, imm:$cond),
 406           (MOVFCCri (as_i32imm $t), $f, imm:$cond)>;
 407
 408 } // Predicates = [Is64Bit]
 409
 410
 411 // 64 bit SETHI
 412 let Predicates = [Is64Bit] in {
 413 def SETHIXi : F2_1<0b100,
 414                    (outs IntRegs:$rd), (ins i64imm:$imm22),
 415                    "sethi $imm22, $rd",
 416                    [(set i64:$rd, SETHIimm:$imm22)]>;
 417 }
 418
 419 // ATOMICS.
 420 let Predicates = [Is64Bit], Constraints = "$swap = $rd" in {
 421   def CASXrr: F3_1<3, 0b111110,
 422                 (outs I64Regs:$rd), (ins I64Regs:$rs1, I64Regs:$rs2,
 423                                      I64Regs:$swap),
 424                  "casx [$rs1], $rs2, $rd",
 425                  [(set i64:$rd,
 426                      (atomic_cmp_swap i64:$rs1, i64:$rs2, i64:$swap))]>;
 427
 428 } // Predicates = [Is64Bit], Constraints = ...
 429
 430 let Predicates = [Is64Bit] in {
 431
 432 def : Pat<(atomic_fence imm, imm), (MEMBARi 0xf)>;
 433
 434 // atomic_load_64 addr -> load addr
 435 def : Pat<(i64 (atomic_load ADDRrr:$src)), (LDXrr ADDRrr:$src)>;
 436 def : Pat<(i64 (atomic_load ADDRri:$src)), (LDXri ADDRri:$src)>;
 437
 438 // atomic_store_64 val, addr -> store val, addr
 439 def : Pat<(atomic_store ADDRrr:$dst, i64:$val), (STXrr ADDRrr:$dst, $val)>;
 440 def : Pat<(atomic_store ADDRri:$dst, i64:$val), (STXri ADDRri:$dst, $val)>;
 441
 442 } // Predicates = [Is64Bit]
 443
 444 // Global addresses, constant pool entries
 445 let Predicates = [Is64Bit] in {
 446
 447 def : Pat<(SPhi tglobaladdr:$in), (SETHIi tglobaladdr:$in)>;
 448 def : Pat<(SPlo tglobaladdr:$in), (ORXri (i64 G0), tglobaladdr:$in)>;
 449 def : Pat<(SPhi tconstpool:$in), (SETHIi tconstpool:$in)>;
 450 def : Pat<(SPlo tconstpool:$in), (ORXri (i64 G0), tconstpool:$in)>;
 451
 452 // GlobalTLS addresses
 453 def : Pat<(SPhi tglobaltlsaddr:$in), (SETHIi tglobaltlsaddr:$in)>;
 454 def : Pat<(SPlo tglobaltlsaddr:$in), (ORXri (i64 G0), tglobaltlsaddr:$in)>;
 455 def : Pat<(add (SPhi tglobaltlsaddr:$in1), (SPlo tglobaltlsaddr:$in2)),
 456           (ADDXri (SETHIXi tglobaltlsaddr:$in1), (tglobaltlsaddr:$in2))>;
 457 def : Pat<(xor (SPhi tglobaltlsaddr:$in1), (SPlo tglobaltlsaddr:$in2)),
 458           (XORXri  (SETHIXi tglobaltlsaddr:$in1), (tglobaltlsaddr:$in2))>;
 459
 460 // Blockaddress
 461 def : Pat<(SPhi tblockaddress:$in), (SETHIi tblockaddress:$in)>;
 462 def : Pat<(SPlo tblockaddress:$in), (ORXri (i64 G0), tblockaddress:$in)>;
 463
 464 // Add reg, lo.  This is used when taking the addr of a global/constpool entry.
 465 def : Pat<(add iPTR:$r, (SPlo tglobaladdr:$in)), (ADDXri $r, tglobaladdr:$in)>;
 466 def : Pat<(add iPTR:$r, (SPlo tconstpool:$in)),  (ADDXri $r, tconstpool:$in)>;
 467 def : Pat<(add iPTR:$r, (SPlo tblockaddress:$in)),
 468                         (ADDXri $r, tblockaddress:$in)>;
 469 }