test/CodeGen/R600/load.ll

   1 ; RUN: llc < %s -march=r600 -mcpu=redwood | FileCheck --check-prefix=R600-CHECK %s
   2 ; RUN: llc < %s -march=r600 -mcpu=cayman | FileCheck --check-prefix=R600-CHECK %s
   3 ; RUN: llc < %s -march=r600 -mcpu=SI -verify-machineinstrs | FileCheck --check-prefix=SI-CHECK  %s
   4
   5 ;===------------------------------------------------------------------------===;
   6 ; GLOBAL ADDRESS SPACE
   7 ;===------------------------------------------------------------------------===;
   8
   9 ; Load an i8 value from the global address space.
  10 ; R600-CHECK: @load_i8
  11 ; R600-CHECK: VTX_READ_8 T{{[0-9]+\.X, T[0-9]+\.X}}
  12
  13 ; SI-CHECK: @load_i8
  14 ; SI-CHECK: BUFFER_LOAD_UBYTE VGPR{{[0-9]+}},
  15 define void @load_i8(i32 addrspace(1)* %out, i8 addrspace(1)* %in) {
  16   %1 = load i8 addrspace(1)* %in
  17   %2 = zext i8 %1 to i32
  18   store i32 %2, i32 addrspace(1)* %out
  19   ret void
  20 }
  21
  22 ; R600-CHECK: @load_i8_sext
  23 ; R600-CHECK: VTX_READ_8 [[DST:T[0-9]\.[XYZW]]], [[DST]]
  24 ; R600-CHECK: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_CHAN:[XYZW]]], [[DST]]
  25 ; R600-CHECK: 24
  26 ; R600-CHECK: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_CHAN]]
  27 ; R600-CHECK: 24
  28 ; SI-CHECK: @load_i8_sext
  29 ; SI-CHECK: BUFFER_LOAD_SBYTE
  30 define void @load_i8_sext(i32 addrspace(1)* %out, i8 addrspace(1)* %in) {
  31 entry:
  32   %0 = load i8 addrspace(1)* %in
  33   %1 = sext i8 %0 to i32
  34   store i32 %1, i32 addrspace(1)* %out
  35   ret void
  36 }
  37
  38 ; R600-CHECK: @load_v2i8
  39 ; R600-CHECK: VTX_READ_8
  40 ; R600-CHECK: VTX_READ_8
  41 ; SI-CHECK: @load_v2i8
  42 ; SI-CHECK: BUFFER_LOAD_UBYTE
  43 ; SI-CHECK: BUFFER_LOAD_UBYTE
  44 define void @load_v2i8(<2 x i32> addrspace(1)* %out, <2 x i8> addrspace(1)* %in) {
  45 entry:
  46   %0 = load <2 x i8> addrspace(1)* %in
  47   %1 = zext <2 x i8> %0 to <2 x i32>
  48   store <2 x i32> %1, <2 x i32> addrspace(1)* %out
  49   ret void
  50 }
  51
  52 ; R600-CHECK: @load_v2i8_sext
  53 ; R600-CHECK-DAG: VTX_READ_8 [[DST_X:T[0-9]\.[XYZW]]], [[DST_X]]
  54 ; R600-CHECK-DAG: VTX_READ_8 [[DST_Y:T[0-9]\.[XYZW]]], [[DST_Y]]
  55 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_X_CHAN:[XYZW]]], [[DST_X]]
  56 ; R600-CHECK-DAG: 24
  57 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_X_CHAN]]
  58 ; R600-CHECK-DAG: 24
  59 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_Y_CHAN:[XYZW]]], [[DST_Y]]
  60 ; R600-CHECK-DAG: 24
  61 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_Y_CHAN]]
  62 ; R600-CHECK-DAG: 24
  63 ; SI-CHECK: @load_v2i8_sext
  64 ; SI-CHECK: BUFFER_LOAD_SBYTE
  65 ; SI-CHECK: BUFFER_LOAD_SBYTE
  66 define void @load_v2i8_sext(<2 x i32> addrspace(1)* %out, <2 x i8> addrspace(1)* %in) {
  67 entry:
  68   %0 = load <2 x i8> addrspace(1)* %in
  69   %1 = sext <2 x i8> %0 to <2 x i32>
  70   store <2 x i32> %1, <2 x i32> addrspace(1)* %out
  71   ret void
  72 }
  73
  74 ; R600-CHECK: @load_v4i8
  75 ; R600-CHECK: VTX_READ_8
  76 ; R600-CHECK: VTX_READ_8
  77 ; R600-CHECK: VTX_READ_8
  78 ; R600-CHECK: VTX_READ_8
  79 ; SI-CHECK: @load_v4i8
  80 ; SI-CHECK: BUFFER_LOAD_UBYTE
  81 ; SI-CHECK: BUFFER_LOAD_UBYTE
  82 ; SI-CHECK: BUFFER_LOAD_UBYTE
  83 ; SI-CHECK: BUFFER_LOAD_UBYTE
  84 define void @load_v4i8(<4 x i32> addrspace(1)* %out, <4 x i8> addrspace(1)* %in) {
  85 entry:
  86   %0 = load <4 x i8> addrspace(1)* %in
  87   %1 = zext <4 x i8> %0 to <4 x i32>
  88   store <4 x i32> %1, <4 x i32> addrspace(1)* %out
  89   ret void
  90 }
  91
  92 ; R600-CHECK: @load_v4i8_sext
  93 ; R600-CHECK-DAG: VTX_READ_8 [[DST_X:T[0-9]\.[XYZW]]], [[DST_X]]
  94 ; R600-CHECK-DAG: VTX_READ_8 [[DST_Y:T[0-9]\.[XYZW]]], [[DST_Y]]
  95 ; R600-CHECK-DAG: VTX_READ_8 [[DST_Z:T[0-9]\.[XYZW]]], [[DST_Z]]
  96 ; R600-CHECK-DAG: VTX_READ_8 [[DST_W:T[0-9]\.[XYZW]]], [[DST_W]]
  97 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_X_CHAN:[XYZW]]], [[DST_X]]
  98 ; R600-CHECK-DAG: 24
  99 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_X_CHAN]]
 100 ; R600-CHECK-DAG: 24
 101 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_Y_CHAN:[XYZW]]], [[DST_Y]]
 102 ; R600-CHECK-DAG: 24
 103 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_Y_CHAN]]
 104 ; R600-CHECK-DAG: 24
 105 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_Z_CHAN:[XYZW]]], [[DST_Z]]
 106 ; R600-CHECK-DAG: 24
 107 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_Z_CHAN]]
 108 ; R600-CHECK-DAG: 24
 109 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_W_CHAN:[XYZW]]], [[DST_W]]
 110 ; R600-CHECK-DAG: 24
 111 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_W_CHAN]]
 112 ; R600-CHECK-DAG: 24
 113 ; SI-CHECK: @load_v4i8_sext
 114 ; SI-CHECK: BUFFER_LOAD_SBYTE
 115 ; SI-CHECK: BUFFER_LOAD_SBYTE
 116 ; SI-CHECK: BUFFER_LOAD_SBYTE
 117 ; SI-CHECK: BUFFER_LOAD_SBYTE
 118 define void @load_v4i8_sext(<4 x i32> addrspace(1)* %out, <4 x i8> addrspace(1)* %in) {
 119 entry:
 120   %0 = load <4 x i8> addrspace(1)* %in
 121   %1 = sext <4 x i8> %0 to <4 x i32>
 122   store <4 x i32> %1, <4 x i32> addrspace(1)* %out
 123   ret void
 124 }
 125
 126 ; Load an i16 value from the global address space.
 127 ; R600-CHECK: @load_i16
 128 ; R600-CHECK: VTX_READ_16 T{{[0-9]+\.X, T[0-9]+\.X}}
 129 ; SI-CHECK: @load_i16
 130 ; SI-CHECK: BUFFER_LOAD_USHORT
 131 define void @load_i16(i32 addrspace(1)* %out, i16 addrspace(1)* %in) {
 132 entry:
 133   %0 = load i16  addrspace(1)* %in
 134   %1 = zext i16 %0 to i32
 135   store i32 %1, i32 addrspace(1)* %out
 136   ret void
 137 }
 138
 139 ; R600-CHECK: @load_i16_sext
 140 ; R600-CHECK: VTX_READ_16 [[DST:T[0-9]\.[XYZW]]], [[DST]]
 141 ; R600-CHECK: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_CHAN:[XYZW]]], [[DST]]
 142 ; R600-CHECK: 16
 143 ; R600-CHECK: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_CHAN]]
 144 ; R600-CHECK: 16
 145 ; SI-CHECK: @load_i16_sext
 146 ; SI-CHECK: BUFFER_LOAD_SSHORT
 147 define void @load_i16_sext(i32 addrspace(1)* %out, i16 addrspace(1)* %in) {
 148 entry:
 149   %0 = load i16 addrspace(1)* %in
 150   %1 = sext i16 %0 to i32
 151   store i32 %1, i32 addrspace(1)* %out
 152   ret void
 153 }
 154
 155 ; R600-CHECK: @load_v2i16
 156 ; R600-CHECK: VTX_READ_16
 157 ; R600-CHECK: VTX_READ_16
 158 ; SI-CHECK: @load_v2i16
 159 ; SI-CHECK: BUFFER_LOAD_USHORT
 160 ; SI-CHECK: BUFFER_LOAD_USHORT
 161 define void @load_v2i16(<2 x i32> addrspace(1)* %out, <2 x i16> addrspace(1)* %in) {
 162 entry:
 163   %0 = load <2 x i16> addrspace(1)* %in
 164   %1 = zext <2 x i16> %0 to <2 x i32>
 165   store <2 x i32> %1, <2 x i32> addrspace(1)* %out
 166   ret void
 167 }
 168
 169 ; R600-CHECK: @load_v2i16_sext
 170 ; R600-CHECK-DAG: VTX_READ_16 [[DST_X:T[0-9]\.[XYZW]]], [[DST_X]]
 171 ; R600-CHECK-DAG: VTX_READ_16 [[DST_Y:T[0-9]\.[XYZW]]], [[DST_Y]]
 172 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_X_CHAN:[XYZW]]], [[DST_X]]
 173 ; R600-CHECK-DAG: 16
 174 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_X_CHAN]]
 175 ; R600-CHECK-DAG: 16
 176 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_Y_CHAN:[XYZW]]], [[DST_Y]]
 177 ; R600-CHECK-DAG: 16
 178 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_Y_CHAN]]
 179 ; R600-CHECK-DAG: 16
 180 ; SI-CHECK: @load_v2i16_sext
 181 ; SI-CHECK: BUFFER_LOAD_SSHORT
 182 ; SI-CHECK: BUFFER_LOAD_SSHORT
 183 define void @load_v2i16_sext(<2 x i32> addrspace(1)* %out, <2 x i16> addrspace(1)* %in) {
 184 entry:
 185   %0 = load <2 x i16> addrspace(1)* %in
 186   %1 = sext <2 x i16> %0 to <2 x i32>
 187   store <2 x i32> %1, <2 x i32> addrspace(1)* %out
 188   ret void
 189 }
 190
 191 ; R600-CHECK: @load_v4i16
 192 ; R600-CHECK: VTX_READ_16
 193 ; R600-CHECK: VTX_READ_16
 194 ; R600-CHECK: VTX_READ_16
 195 ; R600-CHECK: VTX_READ_16
 196 ; SI-CHECK: @load_v4i16
 197 ; SI-CHECK: BUFFER_LOAD_USHORT
 198 ; SI-CHECK: BUFFER_LOAD_USHORT
 199 ; SI-CHECK: BUFFER_LOAD_USHORT
 200 ; SI-CHECK: BUFFER_LOAD_USHORT
 201 define void @load_v4i16(<4 x i32> addrspace(1)* %out, <4 x i16> addrspace(1)* %in) {
 202 entry:
 203   %0 = load <4 x i16> addrspace(1)* %in
 204   %1 = zext <4 x i16> %0 to <4 x i32>
 205   store <4 x i32> %1, <4 x i32> addrspace(1)* %out
 206   ret void
 207 }
 208
 209 ; R600-CHECK: @load_v4i16_sext
 210 ; R600-CHECK-DAG: VTX_READ_16 [[DST_X:T[0-9]\.[XYZW]]], [[DST_X]]
 211 ; R600-CHECK-DAG: VTX_READ_16 [[DST_Y:T[0-9]\.[XYZW]]], [[DST_Y]]
 212 ; R600-CHECK-DAG: VTX_READ_16 [[DST_Z:T[0-9]\.[XYZW]]], [[DST_Z]]
 213 ; R600-CHECK-DAG: VTX_READ_16 [[DST_W:T[0-9]\.[XYZW]]], [[DST_W]]
 214 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_X_CHAN:[XYZW]]], [[DST_X]]
 215 ; R600-CHECK-DAG: 16
 216 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_X_CHAN]]
 217 ; R600-CHECK-DAG: 16
 218 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_Y_CHAN:[XYZW]]], [[DST_Y]]
 219 ; R600-CHECK-DAG: 16
 220 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_Y_CHAN]]
 221 ; R600-CHECK-DAG: 16
 222 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_Z_CHAN:[XYZW]]], [[DST_Z]]
 223 ; R600-CHECK-DAG: 16
 224 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_Z_CHAN]]
 225 ; R600-CHECK-DAG: 16
 226 ; R600-CHECK-DAG: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_W_CHAN:[XYZW]]], [[DST_W]]
 227 ; R600-CHECK-DAG: 16
 228 ; R600-CHECK-DAG: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_W_CHAN]]
 229 ; R600-CHECK-DAG: 16
 230 ; SI-CHECK: @load_v4i16_sext
 231 ; SI-CHECK: BUFFER_LOAD_SSHORT
 232 ; SI-CHECK: BUFFER_LOAD_SSHORT
 233 ; SI-CHECK: BUFFER_LOAD_SSHORT
 234 ; SI-CHECK: BUFFER_LOAD_SSHORT
 235 define void @load_v4i16_sext(<4 x i32> addrspace(1)* %out, <4 x i16> addrspace(1)* %in) {
 236 entry:
 237   %0 = load <4 x i16> addrspace(1)* %in
 238   %1 = sext <4 x i16> %0 to <4 x i32>
 239   store <4 x i32> %1, <4 x i32> addrspace(1)* %out
 240   ret void
 241 }
 242
 243 ; load an i32 value from the global address space.
 244 ; R600-CHECK: @load_i32
 245 ; R600-CHECK: VTX_READ_32 T{{[0-9]+}}.X, T{{[0-9]+}}.X, 0
 246
 247 ; SI-CHECK: @load_i32
 248 ; SI-CHECK: BUFFER_LOAD_DWORD VGPR{{[0-9]+}}
 249 define void @load_i32(i32 addrspace(1)* %out, i32 addrspace(1)* %in) {
 250 entry:
 251   %0 = load i32 addrspace(1)* %in
 252   store i32 %0, i32 addrspace(1)* %out
 253   ret void
 254 }
 255
 256 ; load a f32 value from the global address space.
 257 ; R600-CHECK: @load_f32
 258 ; R600-CHECK: VTX_READ_32 T{{[0-9]+}}.X, T{{[0-9]+}}.X, 0
 259
 260 ; SI-CHECK: @load_f32
 261 ; SI-CHECK: BUFFER_LOAD_DWORD VGPR{{[0-9]+}}
 262 define void @load_f32(float addrspace(1)* %out, float addrspace(1)* %in) {
 263 entry:
 264   %0 = load float addrspace(1)* %in
 265   store float %0, float addrspace(1)* %out
 266   ret void
 267 }
 268
 269 ; load a v2f32 value from the global address space
 270 ; R600-CHECK: @load_v2f32
 271 ; R600-CHECK: VTX_READ_64
 272
 273 ; SI-CHECK: @load_v2f32
 274 ; SI-CHECK: BUFFER_LOAD_DWORDX2
 275 define void @load_v2f32(<2 x float> addrspace(1)* %out, <2 x float> addrspace(1)* %in) {
 276 entry:
 277   %0 = load <2 x float> addrspace(1)* %in
 278   store <2 x float> %0, <2 x float> addrspace(1)* %out
 279   ret void
 280 }
 281
 282 ; R600-CHECK: @load_i64
 283 ; R600-CHECK: MEM_RAT
 284 ; R600-CHECK: MEM_RAT
 285
 286 ; SI-CHECK: @load_i64
 287 ; SI-CHECK: BUFFER_LOAD_DWORDX2
 288 define void @load_i64(i64 addrspace(1)* %out, i64 addrspace(1)* %in) {
 289 entry:
 290   %0 = load i64 addrspace(1)* %in
 291   store i64 %0, i64 addrspace(1)* %out
 292   ret void
 293 }
 294
 295 ; R600-CHECK: @load_i64_sext
 296 ; R600-CHECK: MEM_RAT
 297 ; R600-CHECK: MEM_RAT
 298 ; R600-CHECK: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, T{{[0-9]\.[XYZW]}},  literal.x
 299 ; R600-CHECK: 31
 300 ; SI-CHECK: @load_i64_sext
 301 ; SI-CHECK: BUFFER_LOAD_DWORDX2 [[VAL:VGPR[0-9]_VGPR[0-9]]]
 302 ; SI-CHECK: V_LSHL_B64 [[LSHL:VGPR[0-9]_VGPR[0-9]]], [[VAL]], 32
 303 ; SI-CHECK: V_ASHR_I64 VGPR{{[0-9]}}_VGPR{{[0-9]}}, [[LSHL]], 32
 304
 305 define void @load_i64_sext(i64 addrspace(1)* %out, i32 addrspace(1)* %in) {
 306 entry:
 307   %0 = load i32 addrspace(1)* %in
 308   %1 = sext i32 %0 to i64
 309   store i64 %1, i64 addrspace(1)* %out
 310   ret void
 311 }
 312
 313 ; R600-CHECK: @load_i64_zext
 314 ; R600-CHECK: MEM_RAT
 315 ; R600-CHECK: MEM_RAT
 316 define void @load_i64_zext(i64 addrspace(1)* %out, i32 addrspace(1)* %in) {
 317 entry:
 318   %0 = load i32 addrspace(1)* %in
 319   %1 = zext i32 %0 to i64
 320   store i64 %1, i64 addrspace(1)* %out
 321   ret void
 322 }
 323
 324 ;===------------------------------------------------------------------------===;
 325 ; CONSTANT ADDRESS SPACE
 326 ;===------------------------------------------------------------------------===;
 327
 328 ; Load a sign-extended i8 value
 329 ; R600-CHECK: @load_const_i8_sext
 330 ; R600-CHECK: VTX_READ_8 [[DST:T[0-9]\.[XYZW]]], [[DST]]
 331 ; R600-CHECK: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_CHAN:[XYZW]]], [[DST]]
 332 ; R600-CHECK: 24
 333 ; R600-CHECK: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_CHAN]]
 334 ; R600-CHECK: 24
 335 ; SI-CHECK: @load_const_i8_sext
 336 ; SI-CHECK: BUFFER_LOAD_SBYTE VGPR{{[0-9]+}},
 337 define void @load_const_i8_sext(i32 addrspace(1)* %out, i8 addrspace(2)* %in) {
 338 entry:
 339   %0 = load i8 addrspace(2)* %in
 340   %1 = sext i8 %0 to i32
 341   store i32 %1, i32 addrspace(1)* %out
 342   ret void
 343 }
 344
 345 ; Load an aligned i8 value
 346 ; R600-CHECK: @load_const_i8_aligned
 347 ; R600-CHECK: VTX_READ_8 T{{[0-9]+\.X, T[0-9]+\.X}}
 348 ; SI-CHECK: @load_const_i8_aligned
 349 ; SI-CHECK: BUFFER_LOAD_UBYTE VGPR{{[0-9]+}},
 350 define void @load_const_i8_aligned(i32 addrspace(1)* %out, i8 addrspace(2)* %in) {
 351 entry:
 352   %0 = load i8 addrspace(2)* %in
 353   %1 = zext i8 %0 to i32
 354   store i32 %1, i32 addrspace(1)* %out
 355   ret void
 356 }
 357
 358 ; Load an un-aligned i8 value
 359 ; R600-CHECK: @load_const_i8_unaligned
 360 ; R600-CHECK: VTX_READ_8 T{{[0-9]+\.X, T[0-9]+\.X}}
 361 ; SI-CHECK: @load_const_i8_unaligned
 362 ; SI-CHECK: BUFFER_LOAD_UBYTE VGPR{{[0-9]+}},
 363 define void @load_const_i8_unaligned(i32 addrspace(1)* %out, i8 addrspace(2)* %in) {
 364 entry:
 365   %0 = getelementptr i8 addrspace(2)* %in, i32 1
 366   %1 = load i8 addrspace(2)* %0
 367   %2 = zext i8 %1 to i32
 368   store i32 %2, i32 addrspace(1)* %out
 369   ret void
 370 }
 371
 372 ; Load a sign-extended i16 value
 373 ; R600-CHECK: @load_const_i16_sext
 374 ; R600-CHECK: VTX_READ_16 [[DST:T[0-9]\.[XYZW]]], [[DST]]
 375 ; R600-CHECK: LSHL {{[* ]*}}T{{[0-9]}}.[[LSHL_CHAN:[XYZW]]], [[DST]]
 376 ; R600-CHECK: 16
 377 ; R600-CHECK: ASHR {{[* ]*}}T{{[0-9]\.[XYZW]}}, PV.[[LSHL_CHAN]]
 378 ; R600-CHECK: 16
 379 ; SI-CHECK: @load_const_i16_sext
 380 ; SI-CHECK: BUFFER_LOAD_SSHORT
 381 define void @load_const_i16_sext(i32 addrspace(1)* %out, i16 addrspace(2)* %in) {
 382 entry:
 383   %0 = load i16 addrspace(2)* %in
 384   %1 = sext i16 %0 to i32
 385   store i32 %1, i32 addrspace(1)* %out
 386   ret void
 387 }
 388
 389 ; Load an aligned i16 value
 390 ; R600-CHECK: @load_const_i16_aligned
 391 ; R600-CHECK: VTX_READ_16 T{{[0-9]+\.X, T[0-9]+\.X}}
 392 ; SI-CHECK: @load_const_i16_aligned
 393 ; SI-CHECK: BUFFER_LOAD_USHORT
 394 define void @load_const_i16_aligned(i32 addrspace(1)* %out, i16 addrspace(2)* %in) {
 395 entry:
 396   %0 = load i16 addrspace(2)* %in
 397   %1 = zext i16 %0 to i32
 398   store i32 %1, i32 addrspace(1)* %out
 399   ret void
 400 }
 401
 402 ; Load an un-aligned i16 value
 403 ; R600-CHECK: @load_const_i16_unaligned
 404 ; R600-CHECK: VTX_READ_16 T{{[0-9]+\.X, T[0-9]+\.X}}
 405 ; SI-CHECK: @load_const_i16_unaligned
 406 ; SI-CHECK: BUFFER_LOAD_USHORT
 407 define void @load_const_i16_unaligned(i32 addrspace(1)* %out, i16 addrspace(2)* %in) {
 408 entry:
 409   %0 = getelementptr i16 addrspace(2)* %in, i32 1
 410   %1 = load i16 addrspace(2)* %0
 411   %2 = zext i16 %1 to i32
 412   store i32 %2, i32 addrspace(1)* %out
 413   ret void
 414 }
 415
 416 ; Load an i32 value from the constant address space.
 417 ; R600-CHECK: @load_const_addrspace_i32
 418 ; R600-CHECK: VTX_READ_32 T{{[0-9]+}}.X, T{{[0-9]+}}.X, 0
 419
 420 ; SI-CHECK: @load_const_addrspace_i32
 421 ; SI-CHECK: S_LOAD_DWORD SGPR{{[0-9]+}}
 422 define void @load_const_addrspace_i32(i32 addrspace(1)* %out, i32 addrspace(2)* %in) {
 423 entry:
 424   %0 = load i32 addrspace(2)* %in
 425   store i32 %0, i32 addrspace(1)* %out
 426   ret void
 427 }
 428
 429 ; Load a f32 value from the constant address space.
 430 ; R600-CHECK: @load_const_addrspace_f32
 431 ; R600-CHECK: VTX_READ_32 T{{[0-9]+}}.X, T{{[0-9]+}}.X, 0
 432
 433 ; SI-CHECK: @load_const_addrspace_f32
 434 ; SI-CHECK: S_LOAD_DWORD SGPR{{[0-9]+}}
 435 define void @load_const_addrspace_f32(float addrspace(1)* %out, float addrspace(2)* %in) {
 436   %1 = load float addrspace(2)* %in
 437   store float %1, float addrspace(1)* %out
 438   ret void
 439 }
 440
 441 ;===------------------------------------------------------------------------===;
 442 ; LOCAL ADDRESS SPACE
 443 ;===------------------------------------------------------------------------===;
 444
 445 ; Load an i8 value from the local address space.
 446 ; R600-CHECK: @load_i8_local
 447 ; R600-CHECK: LDS_UBYTE_READ_RET
 448 ; SI-CHECK: @load_i8_local
 449 ; SI-CHECK-NOT: S_WQM_B64
 450 ; SI-CHECK: DS_READ_U8
 451 define void @load_i8_local(i32 addrspace(1)* %out, i8 addrspace(3)* %in) {
 452   %1 = load i8 addrspace(3)* %in
 453   %2 = zext i8 %1 to i32
 454   store i32 %2, i32 addrspace(1)* %out
 455   ret void
 456 }
 457
 458 ; R600-CHECK: @load_i8_sext_local
 459 ; R600-CHECK: LDS_UBYTE_READ_RET
 460 ; R600-CHECK: ASHR
 461 ; SI-CHECK: @load_i8_sext_local
 462 ; SI-CHECK-NOT: S_WQM_B64
 463 ; SI-CHECK: DS_READ_I8
 464 define void @load_i8_sext_local(i32 addrspace(1)* %out, i8 addrspace(3)* %in) {
 465 entry:
 466   %0 = load i8 addrspace(3)* %in
 467   %1 = sext i8 %0 to i32
 468   store i32 %1, i32 addrspace(1)* %out
 469   ret void
 470 }
 471
 472 ; R600-CHECK: @load_v2i8_local
 473 ; R600-CHECK: LDS_UBYTE_READ_RET
 474 ; R600-CHECK: LDS_UBYTE_READ_RET
 475 ; SI-CHECK: @load_v2i8_local
 476 ; SI-CHECK-NOT: S_WQM_B64
 477 ; SI-CHECK: DS_READ_U8
 478 ; SI-CHECK: DS_READ_U8
 479 define void @load_v2i8_local(<2 x i32> addrspace(1)* %out, <2 x i8> addrspace(3)* %in) {
 480 entry:
 481   %0 = load <2 x i8> addrspace(3)* %in
 482   %1 = zext <2 x i8> %0 to <2 x i32>
 483   store <2 x i32> %1, <2 x i32> addrspace(1)* %out
 484   ret void
 485 }
 486
 487 ; R600-CHECK: @load_v2i8_sext_local
 488 ; R600-CHECK-DAG: LDS_UBYTE_READ_RET
 489 ; R600-CHECK-DAG: LDS_UBYTE_READ_RET
 490 ; R600-CHECK-DAG: ASHR
 491 ; R600-CHECK-DAG: ASHR
 492 ; SI-CHECK: @load_v2i8_sext_local
 493 ; SI-CHECK-NOT: S_WQM_B64
 494 ; SI-CHECK: DS_READ_I8
 495 ; SI-CHECK: DS_READ_I8
 496 define void @load_v2i8_sext_local(<2 x i32> addrspace(1)* %out, <2 x i8> addrspace(3)* %in) {
 497 entry:
 498   %0 = load <2 x i8> addrspace(3)* %in
 499   %1 = sext <2 x i8> %0 to <2 x i32>
 500   store <2 x i32> %1, <2 x i32> addrspace(1)* %out
 501   ret void
 502 }
 503
 504 ; R600-CHECK: @load_v4i8_local
 505 ; R600-CHECK: LDS_UBYTE_READ_RET
 506 ; R600-CHECK: LDS_UBYTE_READ_RET
 507 ; R600-CHECK: LDS_UBYTE_READ_RET
 508 ; R600-CHECK: LDS_UBYTE_READ_RET
 509 ; SI-CHECK: @load_v4i8_local
 510 ; SI-CHECK-NOT: S_WQM_B64
 511 ; SI-CHECK: DS_READ_U8
 512 ; SI-CHECK: DS_READ_U8
 513 ; SI-CHECK: DS_READ_U8
 514 ; SI-CHECK: DS_READ_U8
 515 define void @load_v4i8_local(<4 x i32> addrspace(1)* %out, <4 x i8> addrspace(3)* %in) {
 516 entry:
 517   %0 = load <4 x i8> addrspace(3)* %in
 518   %1 = zext <4 x i8> %0 to <4 x i32>
 519   store <4 x i32> %1, <4 x i32> addrspace(1)* %out
 520   ret void
 521 }
 522
 523 ; R600-CHECK: @load_v4i8_sext_local
 524 ; R600-CHECK-DAG: LDS_UBYTE_READ_RET
 525 ; R600-CHECK-DAG: LDS_UBYTE_READ_RET
 526 ; R600-CHECK-DAG: LDS_UBYTE_READ_RET
 527 ; R600-CHECK-DAG: LDS_UBYTE_READ_RET
 528 ; R600-CHECK-DAG: ASHR
 529 ; R600-CHECK-DAG: ASHR
 530 ; R600-CHECK-DAG: ASHR
 531 ; R600-CHECK-DAG: ASHR
 532 ; SI-CHECK: @load_v4i8_sext_local
 533 ; SI-CHECK-NOT: S_WQM_B64
 534 ; SI-CHECK: DS_READ_I8
 535 ; SI-CHECK: DS_READ_I8
 536 ; SI-CHECK: DS_READ_I8
 537 ; SI-CHECK: DS_READ_I8
 538 define void @load_v4i8_sext_local(<4 x i32> addrspace(1)* %out, <4 x i8> addrspace(3)* %in) {
 539 entry:
 540   %0 = load <4 x i8> addrspace(3)* %in
 541   %1 = sext <4 x i8> %0 to <4 x i32>
 542   store <4 x i32> %1, <4 x i32> addrspace(1)* %out
 543   ret void
 544 }
 545
 546 ; Load an i16 value from the local address space.
 547 ; R600-CHECK: @load_i16_local
 548 ; R600-CHECK: LDS_USHORT_READ_RET
 549 ; SI-CHECK: @load_i16_local
 550 ; SI-CHECK-NOT: S_WQM_B64
 551 ; SI-CHECK: DS_READ_U16
 552 define void @load_i16_local(i32 addrspace(1)* %out, i16 addrspace(3)* %in) {
 553 entry:
 554   %0 = load i16  addrspace(3)* %in
 555   %1 = zext i16 %0 to i32
 556   store i32 %1, i32 addrspace(1)* %out
 557   ret void
 558 }
 559
 560 ; R600-CHECK: @load_i16_sext_local
 561 ; R600-CHECK: LDS_USHORT_READ_RET
 562 ; R600-CHECK: ASHR
 563 ; SI-CHECK: @load_i16_sext_local
 564 ; SI-CHECK-NOT: S_WQM_B64
 565 ; SI-CHECK: DS_READ_I16
 566 define void @load_i16_sext_local(i32 addrspace(1)* %out, i16 addrspace(3)* %in) {
 567 entry:
 568   %0 = load i16 addrspace(3)* %in
 569   %1 = sext i16 %0 to i32
 570   store i32 %1, i32 addrspace(1)* %out
 571   ret void
 572 }
 573
 574 ; R600-CHECK: @load_v2i16_local
 575 ; R600-CHECK: LDS_USHORT_READ_RET
 576 ; R600-CHECK: LDS_USHORT_READ_RET
 577 ; SI-CHECK: @load_v2i16_local
 578 ; SI-CHECK-NOT: S_WQM_B64
 579 ; SI-CHECK: DS_READ_U16
 580 ; SI-CHECK: DS_READ_U16
 581 define void @load_v2i16_local(<2 x i32> addrspace(1)* %out, <2 x i16> addrspace(3)* %in) {
 582 entry:
 583   %0 = load <2 x i16> addrspace(3)* %in
 584   %1 = zext <2 x i16> %0 to <2 x i32>
 585   store <2 x i32> %1, <2 x i32> addrspace(1)* %out
 586   ret void
 587 }
 588
 589 ; R600-CHECK: @load_v2i16_sext_local
 590 ; R600-CHECK-DAG: LDS_USHORT_READ_RET
 591 ; R600-CHECK-DAG: LDS_USHORT_READ_RET
 592 ; R600-CHECK-DAG: ASHR
 593 ; R600-CHECK-DAG: ASHR
 594 ; SI-CHECK: @load_v2i16_sext_local
 595 ; SI-CHECK-NOT: S_WQM_B64
 596 ; SI-CHECK: DS_READ_I16
 597 ; SI-CHECK: DS_READ_I16
 598 define void @load_v2i16_sext_local(<2 x i32> addrspace(1)* %out, <2 x i16> addrspace(3)* %in) {
 599 entry:
 600   %0 = load <2 x i16> addrspace(3)* %in
 601   %1 = sext <2 x i16> %0 to <2 x i32>
 602   store <2 x i32> %1, <2 x i32> addrspace(1)* %out
 603   ret void
 604 }
 605
 606 ; R600-CHECK: @load_v4i16_local
 607 ; R600-CHECK: LDS_USHORT_READ_RET
 608 ; R600-CHECK: LDS_USHORT_READ_RET
 609 ; R600-CHECK: LDS_USHORT_READ_RET
 610 ; R600-CHECK: LDS_USHORT_READ_RET
 611 ; SI-CHECK: @load_v4i16_local
 612 ; SI-CHECK-NOT: S_WQM_B64
 613 ; SI-CHECK: DS_READ_U16
 614 ; SI-CHECK: DS_READ_U16
 615 ; SI-CHECK: DS_READ_U16
 616 ; SI-CHECK: DS_READ_U16
 617 define void @load_v4i16_local(<4 x i32> addrspace(1)* %out, <4 x i16> addrspace(3)* %in) {
 618 entry:
 619   %0 = load <4 x i16> addrspace(3)* %in
 620   %1 = zext <4 x i16> %0 to <4 x i32>
 621   store <4 x i32> %1, <4 x i32> addrspace(1)* %out
 622   ret void
 623 }
 624
 625 ; R600-CHECK: @load_v4i16_sext_local
 626 ; R600-CHECK-DAG: LDS_USHORT_READ_RET
 627 ; R600-CHECK-DAG: LDS_USHORT_READ_RET
 628 ; R600-CHECK-DAG: LDS_USHORT_READ_RET
 629 ; R600-CHECK-DAG: LDS_USHORT_READ_RET
 630 ; R600-CHECK-DAG: ASHR
 631 ; R600-CHECK-DAG: ASHR
 632 ; R600-CHECK-DAG: ASHR
 633 ; R600-CHECK-DAG: ASHR
 634 ; SI-CHECK: @load_v4i16_sext_local
 635 ; SI-CHECK-NOT: S_WQM_B64
 636 ; SI-CHECK: DS_READ_I16
 637 ; SI-CHECK: DS_READ_I16
 638 ; SI-CHECK: DS_READ_I16
 639 ; SI-CHECK: DS_READ_I16
 640 define void @load_v4i16_sext_local(<4 x i32> addrspace(1)* %out, <4 x i16> addrspace(3)* %in) {
 641 entry:
 642   %0 = load <4 x i16> addrspace(3)* %in
 643   %1 = sext <4 x i16> %0 to <4 x i32>
 644   store <4 x i32> %1, <4 x i32> addrspace(1)* %out
 645   ret void
 646 }
 647
 648 ; load an i32 value from the glocal address space.
 649 ; R600-CHECK: @load_i32_local
 650 ; R600-CHECK: LDS_READ_RET
 651 ; SI-CHECK: @load_i32_local
 652 ; SI-CHECK-NOT: S_WQM_B64
 653 ; SI-CHECK: DS_READ_B32
 654 define void @load_i32_local(i32 addrspace(1)* %out, i32 addrspace(3)* %in) {
 655 entry:
 656   %0 = load i32 addrspace(3)* %in
 657   store i32 %0, i32 addrspace(1)* %out
 658   ret void
 659 }
 660
 661 ; load a f32 value from the global address space.
 662 ; R600-CHECK: @load_f32_local
 663 ; R600-CHECK: LDS_READ_RET
 664 ; SI-CHECK: @load_f32_local
 665 ; SI-CHECK: DS_READ_B32
 666 define void @load_f32_local(float addrspace(1)* %out, float addrspace(3)* %in) {
 667 entry:
 668   %0 = load float addrspace(3)* %in
 669   store float %0, float addrspace(1)* %out
 670   ret void
 671 }
 672
 673 ; load a v2f32 value from the local address space
 674 ; R600-CHECK: @load_v2f32_local
 675 ; R600-CHECK: LDS_READ_RET
 676 ; R600-CHECK: LDS_READ_RET
 677 ; SI-CHECK: @load_v2f32_local
 678 ; SI-CHECK: DS_READ_B32
 679 ; SI-CHECK: DS_READ_B32
 680 define void @load_v2f32_local(<2 x float> addrspace(1)* %out, <2 x float> addrspace(3)* %in) {
 681 entry:
 682   %0 = load <2 x float> addrspace(3)* %in
 683   store <2 x float> %0, <2 x float> addrspace(1)* %out
 684   ret void
 685 }