test/CodeGen/R600/local-atomics.ll

   1 ; RUN: llc -march=r600 -mcpu=SI -verify-machineinstrs < %s | FileCheck -check-prefix=SI %s
   2
   3 ; FUNC-LABEL: @lds_atomic_xchg_ret_i32:
   4 ; SI: S_LOAD_DWORD [[SPTR:s[0-9]+]],
   5 ; SI: V_MOV_B32_e32 [[DATA:v[0-9]+]], 4
   6 ; SI: V_MOV_B32_e32 [[VPTR:v[0-9]+]], [[SPTR]]
   7 ; SI: DS_WRXCHG_RTN_B32 [[RESULT:v[0-9]+]], [[VPTR]], [[DATA]], 0x0, [M0]
   8 ; SI: BUFFER_STORE_DWORD [[RESULT]],
   9 ; SI: S_ENDPGM
  10 define void @lds_atomic_xchg_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  11   %result = atomicrmw xchg i32 addrspace(3)* %ptr, i32 4 seq_cst
  12   store i32 %result, i32 addrspace(1)* %out, align 4
  13   ret void
  14 }
  15
  16 ; FUNC-LABEL: @lds_atomic_xchg_ret_i32_offset:
  17 ; SI: DS_WRXCHG_RTN_B32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
  18 ; SI: S_ENDPGM
  19 define void @lds_atomic_xchg_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  20   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
  21   %result = atomicrmw xchg i32 addrspace(3)* %gep, i32 4 seq_cst
  22   store i32 %result, i32 addrspace(1)* %out, align 4
  23   ret void
  24 }
  25
  26 ; XXX - Is it really necessary to load 4 into VGPR?
  27 ; FUNC-LABEL: @lds_atomic_add_ret_i32:
  28 ; SI: S_LOAD_DWORD [[SPTR:s[0-9]+]],
  29 ; SI: V_MOV_B32_e32 [[DATA:v[0-9]+]], 4
  30 ; SI: V_MOV_B32_e32 [[VPTR:v[0-9]+]], [[SPTR]]
  31 ; SI: DS_ADD_RTN_U32 [[RESULT:v[0-9]+]], [[VPTR]], [[DATA]], 0x0, [M0]
  32 ; SI: BUFFER_STORE_DWORD [[RESULT]],
  33 ; SI: S_ENDPGM
  34 define void @lds_atomic_add_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  35   %result = atomicrmw add i32 addrspace(3)* %ptr, i32 4 seq_cst
  36   store i32 %result, i32 addrspace(1)* %out, align 4
  37   ret void
  38 }
  39
  40 ; FUNC-LABEL: @lds_atomic_add_ret_i32_offset:
  41 ; SI: DS_ADD_RTN_U32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
  42 ; SI: S_ENDPGM
  43 define void @lds_atomic_add_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  44   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
  45   %result = atomicrmw add i32 addrspace(3)* %gep, i32 4 seq_cst
  46   store i32 %result, i32 addrspace(1)* %out, align 4
  47   ret void
  48 }
  49
  50 ; FUNC-LABEL: @lds_atomic_inc_ret_i32:
  51 ; SI: DS_INC_RTN_U32
  52 ; SI: S_ENDPGM
  53 define void @lds_atomic_inc_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  54   %result = atomicrmw add i32 addrspace(3)* %ptr, i32 1 seq_cst
  55   store i32 %result, i32 addrspace(1)* %out, align 4
  56   ret void
  57 }
  58
  59 ; FUNC-LABEL: @lds_atomic_inc_ret_i32_offset:
  60 ; SI: DS_INC_RTN_U32 v{{[0-9]+}}, v{{[0-9]+}}, 0x10
  61 ; SI: S_ENDPGM
  62 define void @lds_atomic_inc_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  63   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
  64   %result = atomicrmw add i32 addrspace(3)* %gep, i32 1 seq_cst
  65   store i32 %result, i32 addrspace(1)* %out, align 4
  66   ret void
  67 }
  68
  69 ; FUNC-LABEL: @lds_atomic_sub_ret_i32:
  70 ; SI: DS_SUB_RTN_U32
  71 ; SI: S_ENDPGM
  72 define void @lds_atomic_sub_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  73   %result = atomicrmw sub i32 addrspace(3)* %ptr, i32 4 seq_cst
  74   store i32 %result, i32 addrspace(1)* %out, align 4
  75   ret void
  76 }
  77
  78 ; FUNC-LABEL: @lds_atomic_sub_ret_i32_offset:
  79 ; SI: DS_SUB_RTN_U32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
  80 ; SI: S_ENDPGM
  81 define void @lds_atomic_sub_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  82   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
  83   %result = atomicrmw sub i32 addrspace(3)* %gep, i32 4 seq_cst
  84   store i32 %result, i32 addrspace(1)* %out, align 4
  85   ret void
  86 }
  87
  88 ; FUNC-LABEL: @lds_atomic_dec_ret_i32:
  89 ; SI: DS_DEC_RTN_U32
  90 ; SI: S_ENDPGM
  91 define void @lds_atomic_dec_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
  92   %result = atomicrmw sub i32 addrspace(3)* %ptr, i32 1 seq_cst
  93   store i32 %result, i32 addrspace(1)* %out, align 4
  94   ret void
  95 }
  96
  97 ; FUNC-LABEL: @lds_atomic_dec_ret_i32_offset:
  98 ; SI: DS_DEC_RTN_U32 v{{[0-9]+}}, v{{[0-9]+}}, 0x10
  99 ; SI: S_ENDPGM
 100 define void @lds_atomic_dec_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 101   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
 102   %result = atomicrmw sub i32 addrspace(3)* %gep, i32 1 seq_cst
 103   store i32 %result, i32 addrspace(1)* %out, align 4
 104   ret void
 105 }
 106
 107 ; FUNC-LABEL: @lds_atomic_and_ret_i32:
 108 ; SI: DS_AND_RTN_B32
 109 ; SI: S_ENDPGM
 110 define void @lds_atomic_and_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 111   %result = atomicrmw and i32 addrspace(3)* %ptr, i32 4 seq_cst
 112   store i32 %result, i32 addrspace(1)* %out, align 4
 113   ret void
 114 }
 115
 116 ; FUNC-LABEL: @lds_atomic_and_ret_i32_offset:
 117 ; SI: DS_AND_RTN_B32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
 118 ; SI: S_ENDPGM
 119 define void @lds_atomic_and_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 120   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
 121   %result = atomicrmw and i32 addrspace(3)* %gep, i32 4 seq_cst
 122   store i32 %result, i32 addrspace(1)* %out, align 4
 123   ret void
 124 }
 125
 126 ; FUNC-LABEL: @lds_atomic_or_ret_i32:
 127 ; SI: DS_OR_RTN_B32
 128 ; SI: S_ENDPGM
 129 define void @lds_atomic_or_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 130   %result = atomicrmw or i32 addrspace(3)* %ptr, i32 4 seq_cst
 131   store i32 %result, i32 addrspace(1)* %out, align 4
 132   ret void
 133 }
 134
 135 ; FUNC-LABEL: @lds_atomic_or_ret_i32_offset:
 136 ; SI: DS_OR_RTN_B32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
 137 ; SI: S_ENDPGM
 138 define void @lds_atomic_or_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 139   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
 140   %result = atomicrmw or i32 addrspace(3)* %gep, i32 4 seq_cst
 141   store i32 %result, i32 addrspace(1)* %out, align 4
 142   ret void
 143 }
 144
 145 ; FUNC-LABEL: @lds_atomic_xor_ret_i32:
 146 ; SI: DS_XOR_RTN_B32
 147 ; SI: S_ENDPGM
 148 define void @lds_atomic_xor_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 149   %result = atomicrmw xor i32 addrspace(3)* %ptr, i32 4 seq_cst
 150   store i32 %result, i32 addrspace(1)* %out, align 4
 151   ret void
 152 }
 153
 154 ; FUNC-LABEL: @lds_atomic_xor_ret_i32_offset:
 155 ; SI: DS_XOR_RTN_B32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
 156 ; SI: S_ENDPGM
 157 define void @lds_atomic_xor_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 158   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
 159   %result = atomicrmw xor i32 addrspace(3)* %gep, i32 4 seq_cst
 160   store i32 %result, i32 addrspace(1)* %out, align 4
 161   ret void
 162 }
 163
 164 ; FIXME: There is no atomic nand instr
 165 ; XFUNC-LABEL: @lds_atomic_nand_ret_i32:uction, so we somehow need to expand this.
 166 ; define void @lds_atomic_nand_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 167 ;   %result = atomicrmw nand i32 addrspace(3)* %ptr, i32 4 seq_cst
 168 ;   store i32 %result, i32 addrspace(1)* %out, align 4
 169 ;   ret void
 170 ; }
 171
 172 ; FUNC-LABEL: @lds_atomic_min_ret_i32:
 173 ; SI: DS_MIN_RTN_I32
 174 ; SI: S_ENDPGM
 175 define void @lds_atomic_min_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 176   %result = atomicrmw min i32 addrspace(3)* %ptr, i32 4 seq_cst
 177   store i32 %result, i32 addrspace(1)* %out, align 4
 178   ret void
 179 }
 180
 181 ; FUNC-LABEL: @lds_atomic_min_ret_i32_offset:
 182 ; SI: DS_MIN_RTN_I32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
 183 ; SI: S_ENDPGM
 184 define void @lds_atomic_min_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 185   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
 186   %result = atomicrmw min i32 addrspace(3)* %gep, i32 4 seq_cst
 187   store i32 %result, i32 addrspace(1)* %out, align 4
 188   ret void
 189 }
 190
 191 ; FUNC-LABEL: @lds_atomic_max_ret_i32:
 192 ; SI: DS_MAX_RTN_I32
 193 ; SI: S_ENDPGM
 194 define void @lds_atomic_max_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 195   %result = atomicrmw max i32 addrspace(3)* %ptr, i32 4 seq_cst
 196   store i32 %result, i32 addrspace(1)* %out, align 4
 197   ret void
 198 }
 199
 200 ; FUNC-LABEL: @lds_atomic_max_ret_i32_offset:
 201 ; SI: DS_MAX_RTN_I32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
 202 ; SI: S_ENDPGM
 203 define void @lds_atomic_max_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 204   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
 205   %result = atomicrmw max i32 addrspace(3)* %gep, i32 4 seq_cst
 206   store i32 %result, i32 addrspace(1)* %out, align 4
 207   ret void
 208 }
 209
 210 ; FUNC-LABEL: @lds_atomic_umin_ret_i32:
 211 ; SI: DS_MIN_RTN_U32
 212 ; SI: S_ENDPGM
 213 define void @lds_atomic_umin_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 214   %result = atomicrmw umin i32 addrspace(3)* %ptr, i32 4 seq_cst
 215   store i32 %result, i32 addrspace(1)* %out, align 4
 216   ret void
 217 }
 218
 219 ; FUNC-LABEL: @lds_atomic_umin_ret_i32_offset:
 220 ; SI: DS_MIN_RTN_U32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
 221 ; SI: S_ENDPGM
 222 define void @lds_atomic_umin_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 223   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
 224   %result = atomicrmw umin i32 addrspace(3)* %gep, i32 4 seq_cst
 225   store i32 %result, i32 addrspace(1)* %out, align 4
 226   ret void
 227 }
 228
 229 ; FUNC-LABEL: @lds_atomic_umax_ret_i32:
 230 ; SI: DS_MAX_RTN_U32
 231 ; SI: S_ENDPGM
 232 define void @lds_atomic_umax_ret_i32(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 233   %result = atomicrmw umax i32 addrspace(3)* %ptr, i32 4 seq_cst
 234   store i32 %result, i32 addrspace(1)* %out, align 4
 235   ret void
 236 }
 237
 238 ; FUNC-LABEL: @lds_atomic_umax_ret_i32_offset:
 239 ; SI: DS_MAX_RTN_U32 v{{[0-9]+}}, v{{[0-9]+}}, v{{[0-9]+}}, 0x10
 240 ; SI: S_ENDPGM
 241 define void @lds_atomic_umax_ret_i32_offset(i32 addrspace(1)* %out, i32 addrspace(3)* %ptr) nounwind {
 242   %gep = getelementptr i32 addrspace(3)* %ptr, i32 4
 243   %result = atomicrmw umax i32 addrspace(3)* %gep, i32 4 seq_cst
 244   store i32 %result, i32 addrspace(1)* %out, align 4
 245   ret void
 246 }