test/CodeGen/X86/avx-vbroadcast.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -mcpu=corei7-avx -mattr=+avx | FileCheck %s
   3
   4 define <4 x i64> @A(i64* %ptr) nounwind uwtable readnone ssp {
   5 ; CHECK-LABEL: A:
   6 ; CHECK:       ## BB#0: ## %entry
   7 ; CHECK-NEXT:    vbroadcastsd (%rdi), %ymm0
   8 ; CHECK-NEXT:    retq
   9 entry:
  10   %q = load i64, i64* %ptr, align 8
  11   %vecinit.i = insertelement <4 x i64> undef, i64 %q, i32 0
  12   %vecinit2.i = insertelement <4 x i64> %vecinit.i, i64 %q, i32 1
  13   %vecinit4.i = insertelement <4 x i64> %vecinit2.i, i64 %q, i32 2
  14   %vecinit6.i = insertelement <4 x i64> %vecinit4.i, i64 %q, i32 3
  15   ret <4 x i64> %vecinit6.i
  16 }
  17
  18 define <8 x i32> @B(i32* %ptr) nounwind uwtable readnone ssp {
  19 ; CHECK-LABEL: B:
  20 ; CHECK:       ## BB#0: ## %entry
  21 ; CHECK-NEXT:    vbroadcastss (%rdi), %ymm0
  22 ; CHECK-NEXT:    retq
  23 entry:
  24   %q = load i32, i32* %ptr, align 4
  25   %vecinit.i = insertelement <8 x i32> undef, i32 %q, i32 0
  26   %vecinit2.i = insertelement <8 x i32> %vecinit.i, i32 %q, i32 1
  27   %vecinit4.i = insertelement <8 x i32> %vecinit2.i, i32 %q, i32 2
  28   %vecinit6.i = insertelement <8 x i32> %vecinit4.i, i32 %q, i32 3
  29   ret <8 x i32> %vecinit6.i
  30 }
  31
  32 define <4 x double> @C(double* %ptr) nounwind uwtable readnone ssp {
  33 ; CHECK-LABEL: C:
  34 ; CHECK:       ## BB#0: ## %entry
  35 ; CHECK-NEXT:    vbroadcastsd (%rdi), %ymm0
  36 ; CHECK-NEXT:    retq
  37 entry:
  38   %q = load double, double* %ptr, align 8
  39   %vecinit.i = insertelement <4 x double> undef, double %q, i32 0
  40   %vecinit2.i = insertelement <4 x double> %vecinit.i, double %q, i32 1
  41   %vecinit4.i = insertelement <4 x double> %vecinit2.i, double %q, i32 2
  42   %vecinit6.i = insertelement <4 x double> %vecinit4.i, double %q, i32 3
  43   ret <4 x double> %vecinit6.i
  44 }
  45
  46 define <8 x float> @D(float* %ptr) nounwind uwtable readnone ssp {
  47 ; CHECK-LABEL: D:
  48 ; CHECK:       ## BB#0: ## %entry
  49 ; CHECK-NEXT:    vbroadcastss (%rdi), %ymm0
  50 ; CHECK-NEXT:    retq
  51 entry:
  52   %q = load float, float* %ptr, align 4
  53   %vecinit.i = insertelement <8 x float> undef, float %q, i32 0
  54   %vecinit2.i = insertelement <8 x float> %vecinit.i, float %q, i32 1
  55   %vecinit4.i = insertelement <8 x float> %vecinit2.i, float %q, i32 2
  56   %vecinit6.i = insertelement <8 x float> %vecinit4.i, float %q, i32 3
  57   ret <8 x float> %vecinit6.i
  58 }
  59
  60 ;;;; 128-bit versions
  61
  62 define <4 x float> @e(float* %ptr) nounwind uwtable readnone ssp {
  63 ; CHECK-LABEL: e:
  64 ; CHECK:       ## BB#0: ## %entry
  65 ; CHECK-NEXT:    vbroadcastss (%rdi), %xmm0
  66 ; CHECK-NEXT:    retq
  67 entry:
  68   %q = load float, float* %ptr, align 4
  69   %vecinit.i = insertelement <4 x float> undef, float %q, i32 0
  70   %vecinit2.i = insertelement <4 x float> %vecinit.i, float %q, i32 1
  71   %vecinit4.i = insertelement <4 x float> %vecinit2.i, float %q, i32 2
  72   %vecinit6.i = insertelement <4 x float> %vecinit4.i, float %q, i32 3
  73   ret <4 x float> %vecinit6.i
  74 }
  75
  76 ; Don't broadcast constants on pre-AVX2 hardware.
  77 define <4 x float> @_e2(float* %ptr) nounwind uwtable readnone ssp {
  78 ; CHECK-LABEL: _e2:
  79 ; CHECK:       ## BB#0: ## %entry
  80 ; CHECK-NEXT:    vmovaps {{.*#+}} xmm0 = [-7.812500e-03,-7.812500e-03,-7.812500e-03,-7.812500e-03]
  81 ; CHECK-NEXT:    retq
  82 entry:
  83    %vecinit.i = insertelement <4 x float> undef, float       0xbf80000000000000, i32 0
  84   %vecinit2.i = insertelement <4 x float> %vecinit.i, float  0xbf80000000000000, i32 1
  85   %vecinit4.i = insertelement <4 x float> %vecinit2.i, float 0xbf80000000000000, i32 2
  86   %vecinit6.i = insertelement <4 x float> %vecinit4.i, float 0xbf80000000000000, i32 3
  87   ret <4 x float> %vecinit6.i
  88 }
  89
  90
  91 define <4 x i32> @F(i32* %ptr) nounwind uwtable readnone ssp {
  92 ; CHECK-LABEL: F:
  93 ; CHECK:       ## BB#0: ## %entry
  94 ; CHECK-NEXT:    vbroadcastss (%rdi), %xmm0
  95 ; CHECK-NEXT:    retq
  96 entry:
  97   %q = load i32, i32* %ptr, align 4
  98   %vecinit.i = insertelement <4 x i32> undef, i32 %q, i32 0
  99   %vecinit2.i = insertelement <4 x i32> %vecinit.i, i32 %q, i32 1
 100   %vecinit4.i = insertelement <4 x i32> %vecinit2.i, i32 %q, i32 2
 101   %vecinit6.i = insertelement <4 x i32> %vecinit4.i, i32 %q, i32 3
 102   ret <4 x i32> %vecinit6.i
 103 }
 104
 105 ; FIXME: Pointer adjusted broadcasts
 106
 107 define <4 x i32> @load_splat_4i32_4i32_1111(<4 x i32>* %ptr) nounwind uwtable readnone ssp {
 108 ; CHECK-LABEL: load_splat_4i32_4i32_1111:
 109 ; CHECK:       ## BB#0: ## %entry
 110 ; CHECK-NEXT:    vpshufd {{.*#+}} xmm0 = mem[1,1,1,1]
 111 ; CHECK-NEXT:    retq
 112 entry:
 113   %ld = load <4 x i32>, <4 x i32>* %ptr
 114   %ret = shufflevector <4 x i32> %ld, <4 x i32> undef, <4 x i32> <i32 1, i32 1, i32 1, i32 1>
 115   ret <4 x i32> %ret
 116 }
 117
 118 define <8 x i32> @load_splat_8i32_4i32_33333333(<4 x i32>* %ptr) nounwind uwtable readnone ssp {
 119 ; CHECK-LABEL: load_splat_8i32_4i32_33333333:
 120 ; CHECK:       ## BB#0: ## %entry
 121 ; CHECK-NEXT:    vpermilps {{.*#+}} xmm0 = mem[3,3,3,3]
 122 ; CHECK-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 123 ; CHECK-NEXT:    retq
 124 entry:
 125   %ld = load <4 x i32>, <4 x i32>* %ptr
 126   %ret = shufflevector <4 x i32> %ld, <4 x i32> undef, <8 x i32> <i32 3, i32 3, i32 3, i32 3, i32 3, i32 3, i32 3, i32 3>
 127   ret <8 x i32> %ret
 128 }
 129
 130 define <8 x i32> @load_splat_8i32_8i32_55555555(<8 x i32>* %ptr) nounwind uwtable readnone ssp {
 131 ; CHECK-LABEL: load_splat_8i32_8i32_55555555:
 132 ; CHECK:       ## BB#0: ## %entry
 133 ; CHECK-NEXT:    vbroadcastss 20(%rdi), %ymm0
 134 ; CHECK-NEXT:    retq
 135 entry:
 136   %ld = load <8 x i32>, <8 x i32>* %ptr
 137   %ret = shufflevector <8 x i32> %ld, <8 x i32> undef, <8 x i32> <i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5>
 138   ret <8 x i32> %ret
 139 }
 140
 141 define <4 x float> @load_splat_4f32_4f32_1111(<4 x float>* %ptr) nounwind uwtable readnone ssp {
 142 ; CHECK-LABEL: load_splat_4f32_4f32_1111:
 143 ; CHECK:       ## BB#0: ## %entry
 144 ; CHECK-NEXT:    vbroadcastss 4(%rdi), %xmm0
 145 ; CHECK-NEXT:    retq
 146 entry:
 147   %ld = load <4 x float>, <4 x float>* %ptr
 148   %ret = shufflevector <4 x float> %ld, <4 x float> undef, <4 x i32> <i32 1, i32 1, i32 1, i32 1>
 149   ret <4 x float> %ret
 150 }
 151
 152 define <8 x float> @load_splat_8f32_4f32_33333333(<4 x float>* %ptr) nounwind uwtable readnone ssp {
 153 ; CHECK-LABEL: load_splat_8f32_4f32_33333333:
 154 ; CHECK:       ## BB#0: ## %entry
 155 ; CHECK-NEXT:    vbroadcastss 12(%rdi), %ymm0
 156 ; CHECK-NEXT:    retq
 157 entry:
 158   %ld = load <4 x float>, <4 x float>* %ptr
 159   %ret = shufflevector <4 x float> %ld, <4 x float> undef, <8 x i32> <i32 3, i32 3, i32 3, i32 3, i32 3, i32 3, i32 3, i32 3>
 160   ret <8 x float> %ret
 161 }
 162
 163 define <8 x float> @load_splat_8f32_8f32_55555555(<8 x float>* %ptr) nounwind uwtable readnone ssp {
 164 ; CHECK-LABEL: load_splat_8f32_8f32_55555555:
 165 ; CHECK:       ## BB#0: ## %entry
 166 ; CHECK-NEXT:    vbroadcastss 20(%rdi), %ymm0
 167 ; CHECK-NEXT:    retq
 168 entry:
 169   %ld = load <8 x float>, <8 x float>* %ptr
 170   %ret = shufflevector <8 x float> %ld, <8 x float> undef, <8 x i32> <i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5>
 171   ret <8 x float> %ret
 172 }
 173
 174 define <2 x i64> @load_splat_2i64_2i64_1111(<2 x i64>* %ptr) nounwind uwtable readnone ssp {
 175 ; CHECK-LABEL: load_splat_2i64_2i64_1111:
 176 ; CHECK:       ## BB#0: ## %entry
 177 ; CHECK-NEXT:    vpshufd {{.*#+}} xmm0 = mem[2,3,2,3]
 178 ; CHECK-NEXT:    retq
 179 entry:
 180   %ld = load <2 x i64>, <2 x i64>* %ptr
 181   %ret = shufflevector <2 x i64> %ld, <2 x i64> undef, <2 x i32> <i32 1, i32 1>
 182   ret <2 x i64> %ret
 183 }
 184
 185 define <4 x i64> @load_splat_4i64_2i64_1111(<2 x i64>* %ptr) nounwind uwtable readnone ssp {
 186 ; CHECK-LABEL: load_splat_4i64_2i64_1111:
 187 ; CHECK:       ## BB#0: ## %entry
 188 ; CHECK-NEXT:    vmovaps (%rdi), %xmm0
 189 ; CHECK-NEXT:    vmovhlps {{.*#+}} xmm0 = xmm0[1,1]
 190 ; CHECK-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 191 ; CHECK-NEXT:    retq
 192 entry:
 193   %ld = load <2 x i64>, <2 x i64>* %ptr
 194   %ret = shufflevector <2 x i64> %ld, <2 x i64> undef, <4 x i32> <i32 1, i32 1, i32 1, i32 1>
 195   ret <4 x i64> %ret
 196 }
 197
 198 define <4 x i64> @load_splat_4i64_4i64_2222(<4 x i64>* %ptr) nounwind uwtable readnone ssp {
 199 ; CHECK-LABEL: load_splat_4i64_4i64_2222:
 200 ; CHECK:       ## BB#0: ## %entry
 201 ; CHECK-NEXT:    vbroadcastsd 16(%rdi), %ymm0
 202 ; CHECK-NEXT:    retq
 203 entry:
 204   %ld = load <4 x i64>, <4 x i64>* %ptr
 205   %ret = shufflevector <4 x i64> %ld, <4 x i64> undef, <4 x i32> <i32 2, i32 2, i32 2, i32 2>
 206   ret <4 x i64> %ret
 207 }
 208
 209 define <2 x double> @load_splat_2f64_2f64_1111(<2 x double>* %ptr) nounwind uwtable readnone ssp {
 210 ; CHECK-LABEL: load_splat_2f64_2f64_1111:
 211 ; CHECK:       ## BB#0: ## %entry
 212 ; CHECK-NEXT:    vmovaps (%rdi), %xmm0
 213 ; CHECK-NEXT:    vmovhlps {{.*#+}} xmm0 = xmm0[1,1]
 214 ; CHECK-NEXT:    retq
 215 entry:
 216   %ld = load <2 x double>, <2 x double>* %ptr
 217   %ret = shufflevector <2 x double> %ld, <2 x double> undef, <2 x i32> <i32 1, i32 1>
 218   ret <2 x double> %ret
 219 }
 220
 221 define <4 x double> @load_splat_4f64_2f64_1111(<2 x double>* %ptr) nounwind uwtable readnone ssp {
 222 ; CHECK-LABEL: load_splat_4f64_2f64_1111:
 223 ; CHECK:       ## BB#0: ## %entry
 224 ; CHECK-NEXT:    vbroadcastsd 8(%rdi), %ymm0
 225 ; CHECK-NEXT:    retq
 226 entry:
 227   %ld = load <2 x double>, <2 x double>* %ptr
 228   %ret = shufflevector <2 x double> %ld, <2 x double> undef, <4 x i32> <i32 1, i32 1, i32 1, i32 1>
 229   ret <4 x double> %ret
 230 }
 231
 232 define <4 x double> @load_splat_4f64_4f64_2222(<4 x double>* %ptr) nounwind uwtable readnone ssp {
 233 ; CHECK-LABEL: load_splat_4f64_4f64_2222:
 234 ; CHECK:       ## BB#0: ## %entry
 235 ; CHECK-NEXT:    vbroadcastsd 16(%rdi), %ymm0
 236 ; CHECK-NEXT:    retq
 237 entry:
 238   %ld = load <4 x double>, <4 x double>* %ptr
 239   %ret = shufflevector <4 x double> %ld, <4 x double> undef, <4 x i32> <i32 2, i32 2, i32 2, i32 2>
 240   ret <4 x double> %ret
 241 }
 242
 243 ; Unsupported vbroadcasts
 244
 245 define <2 x i64> @G(i64* %ptr) nounwind uwtable readnone ssp {
 246 ; CHECK-LABEL: G:
 247 ; CHECK:       ## BB#0: ## %entry
 248 ; CHECK-NEXT:    vmovq {{.*#+}} xmm0 = mem[0],zero
 249 ; CHECK-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
 250 ; CHECK-NEXT:    retq
 251 entry:
 252   %q = load i64, i64* %ptr, align 8
 253   %vecinit.i = insertelement <2 x i64> undef, i64 %q, i32 0
 254   %vecinit2.i = insertelement <2 x i64> %vecinit.i, i64 %q, i32 1
 255   ret <2 x i64> %vecinit2.i
 256 }
 257
 258 define <4 x i32> @H(<4 x i32> %a) {
 259 ; CHECK-LABEL: H:
 260 ; CHECK:       ## BB#0: ## %entry
 261 ; CHECK-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,1,2,3]
 262 ; CHECK-NEXT:    retq
 263 entry:
 264   %x = shufflevector <4 x i32> %a, <4 x i32> undef, <4 x i32> <i32 1, i32 undef, i32 undef, i32 undef>
 265   ret <4 x i32> %x
 266 }
 267
 268 define <2 x double> @I(double* %ptr) nounwind uwtable readnone ssp {
 269 ; CHECK-LABEL: I:
 270 ; CHECK:       ## BB#0: ## %entry
 271 ; CHECK-NEXT:    vmovddup {{.*#+}} xmm0 = mem[0,0]
 272 ; CHECK-NEXT:    retq
 273 entry:
 274   %q = load double, double* %ptr, align 4
 275   %vecinit.i = insertelement <2 x double> undef, double %q, i32 0
 276   %vecinit2.i = insertelement <2 x double> %vecinit.i, double %q, i32 1
 277   ret <2 x double> %vecinit2.i
 278 }
 279
 280 define <4 x float> @_RR(float* %ptr, i32* %k) nounwind uwtable readnone ssp {
 281 ; CHECK-LABEL: _RR:
 282 ; CHECK:       ## BB#0: ## %entry
 283 ; CHECK-NEXT:    vbroadcastss (%rdi), %xmm0
 284 ; CHECK-NEXT:    movl (%rsi), %eax
 285 ; CHECK-NEXT:    movl %eax, (%rax)
 286 ; CHECK-NEXT:    retq
 287 entry:
 288   %q = load float, float* %ptr, align 4
 289   %vecinit.i = insertelement <4 x float> undef, float %q, i32 0
 290   %vecinit2.i = insertelement <4 x float> %vecinit.i, float %q, i32 1
 291   %vecinit4.i = insertelement <4 x float> %vecinit2.i, float %q, i32 2
 292   %vecinit6.i = insertelement <4 x float> %vecinit4.i, float %q, i32 3
 293   ; force a chain
 294   %j = load i32, i32* %k, align 4
 295   store i32 %j, i32* undef
 296   ret <4 x float> %vecinit6.i
 297 }
 298
 299 define <4 x float> @_RR2(float* %ptr, i32* %k) nounwind uwtable readnone ssp {
 300 ; CHECK-LABEL: _RR2:
 301 ; CHECK:       ## BB#0: ## %entry
 302 ; CHECK-NEXT:    vbroadcastss (%rdi), %xmm0
 303 ; CHECK-NEXT:    retq
 304 entry:
 305   %q = load float, float* %ptr, align 4
 306   %v = insertelement <4 x float> undef, float %q, i32 0
 307   %t = shufflevector <4 x float> %v, <4 x float> undef, <4 x i32> zeroinitializer
 308   ret <4 x float> %t
 309 }
 310
 311 ; These tests check that a vbroadcast instruction is used when we have a splat
 312 ; formed from a concat_vectors (via the shufflevector) of two BUILD_VECTORs
 313 ; (via the insertelements).
 314
 315 define <8 x float> @splat_concat1(float* %p) {
 316 ; CHECK-LABEL: splat_concat1:
 317 ; CHECK:       ## BB#0:
 318 ; CHECK-NEXT:    vbroadcastss (%rdi), %ymm0
 319 ; CHECK-NEXT:    retq
 320   %1 = load float, float* %p, align 4
 321   %2 = insertelement <4 x float> undef, float %1, i32 0
 322   %3 = insertelement <4 x float> %2, float %1, i32 1
 323   %4 = insertelement <4 x float> %3, float %1, i32 2
 324   %5 = insertelement <4 x float> %4, float %1, i32 3
 325   %6 = shufflevector <4 x float> %5, <4 x float> undef, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
 326   ret <8 x float> %6
 327 }
 328
 329 define <8 x float> @splat_concat2(float* %p) {
 330 ; CHECK-LABEL: splat_concat2:
 331 ; CHECK:       ## BB#0:
 332 ; CHECK-NEXT:    vbroadcastss (%rdi), %ymm0
 333 ; CHECK-NEXT:    retq
 334   %1 = load float, float* %p, align 4
 335   %2 = insertelement <4 x float> undef, float %1, i32 0
 336   %3 = insertelement <4 x float> %2, float %1, i32 1
 337   %4 = insertelement <4 x float> %3, float %1, i32 2
 338   %5 = insertelement <4 x float> %4, float %1, i32 3
 339   %6 = insertelement <4 x float> undef, float %1, i32 0
 340   %7 = insertelement <4 x float> %6, float %1, i32 1
 341   %8 = insertelement <4 x float> %7, float %1, i32 2
 342   %9 = insertelement <4 x float> %8, float %1, i32 3
 343   %10 = shufflevector <4 x float> %5, <4 x float> %9, <8 x i32> <i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 344   ret <8 x float> %10
 345 }
 346
 347 define <4 x double> @splat_concat3(double* %p) {
 348 ; CHECK-LABEL: splat_concat3:
 349 ; CHECK:       ## BB#0:
 350 ; CHECK-NEXT:    vbroadcastsd (%rdi), %ymm0
 351 ; CHECK-NEXT:    retq
 352   %1 = load double, double* %p, align 8
 353   %2 = insertelement <2 x double> undef, double %1, i32 0
 354   %3 = insertelement <2 x double> %2, double %1, i32 1
 355   %4 = shufflevector <2 x double> %3, <2 x double> undef, <4 x i32> <i32 0, i32 1, i32 0, i32 1>
 356   ret <4 x double> %4
 357 }
 358
 359 define <4 x double> @splat_concat4(double* %p) {
 360 ; CHECK-LABEL: splat_concat4:
 361 ; CHECK:       ## BB#0:
 362 ; CHECK-NEXT:    vbroadcastsd (%rdi), %ymm0
 363 ; CHECK-NEXT:    retq
 364   %1 = load double, double* %p, align 8
 365   %2 = insertelement <2 x double> undef, double %1, i32 0
 366   %3 = insertelement <2 x double> %2, double %1, i32 1
 367   %4 = insertelement <2 x double> undef, double %1, i32 0
 368   %5 = insertelement <2 x double> %2, double %1, i32 1
 369   %6 = shufflevector <2 x double> %3, <2 x double> %5, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
 370   ret <4 x double> %6
 371 }