add test to show suboptimal load merging behavior
[oota-llvm.git] / test / CodeGen / X86 / avx512-vbroadcast.ll
1 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -mcpu=knl | FileCheck %s
2
3 define   <16 x i32> @_inreg16xi32(i32 %a) {
4 ; CHECK-LABEL: _inreg16xi32:
5 ; CHECK:       ## BB#0:
6 ; CHECK-NEXT:    vpbroadcastd %edi, %zmm0
7 ; CHECK-NEXT:    retq
8   %b = insertelement <16 x i32> undef, i32 %a, i32 0
9   %c = shufflevector <16 x i32> %b, <16 x i32> undef, <16 x i32> zeroinitializer
10   ret <16 x i32> %c
11 }
12
13 define   <8 x i64> @_inreg8xi64(i64 %a) {
14 ; CHECK-LABEL: _inreg8xi64:
15 ; CHECK:       ## BB#0:
16 ; CHECK-NEXT:    vpbroadcastq %rdi, %zmm0
17 ; CHECK-NEXT:    retq
18   %b = insertelement <8 x i64> undef, i64 %a, i32 0
19   %c = shufflevector <8 x i64> %b, <8 x i64> undef, <8 x i32> zeroinitializer
20   ret <8 x i64> %c
21 }
22
23 ;CHECK-LABEL: _ss16xfloat_v4
24 ;CHECK: vbroadcastss %xmm0, %zmm0
25 ;CHECK: ret
26 define   <16 x float> @_ss16xfloat_v4(<4 x float> %a) {
27   %b = shufflevector <4 x float> %a, <4 x float> undef, <16 x i32> zeroinitializer
28   ret <16 x float> %b
29 }
30
31 define   <16 x float> @_inreg16xfloat(float %a) {
32 ; CHECK-LABEL: _inreg16xfloat:
33 ; CHECK:       ## BB#0:
34 ; CHECK-NEXT:    vbroadcastss %xmm0, %zmm0
35 ; CHECK-NEXT:    retq
36   %b = insertelement <16 x float> undef, float %a, i32 0
37   %c = shufflevector <16 x float> %b, <16 x float> undef, <16 x i32> zeroinitializer
38   ret <16 x float> %c
39 }
40
41 ;CHECK-LABEL: _ss16xfloat_mask:
42 ;CHECK: vbroadcastss %xmm0, %zmm1 {%k1}
43 ;CHECK: ret
44 define   <16 x float> @_ss16xfloat_mask(float %a, <16 x float> %i, <16 x i32> %mask1) {
45   %mask = icmp ne <16 x i32> %mask1, zeroinitializer
46   %b = insertelement <16 x float> undef, float %a, i32 0
47   %c = shufflevector <16 x float> %b, <16 x float> undef, <16 x i32> zeroinitializer
48   %r = select <16 x i1> %mask, <16 x float> %c, <16 x float> %i
49   ret <16 x float> %r
50 }
51
52 ;CHECK-LABEL: _ss16xfloat_maskz:
53 ;CHECK: vbroadcastss %xmm0, %zmm0 {%k1} {z}
54 ;CHECK: ret
55 define   <16 x float> @_ss16xfloat_maskz(float %a, <16 x i32> %mask1) {
56   %mask = icmp ne <16 x i32> %mask1, zeroinitializer
57   %b = insertelement <16 x float> undef, float %a, i32 0
58   %c = shufflevector <16 x float> %b, <16 x float> undef, <16 x i32> zeroinitializer
59   %r = select <16 x i1> %mask, <16 x float> %c, <16 x float> zeroinitializer
60   ret <16 x float> %r
61 }
62
63 ;CHECK-LABEL: _ss16xfloat_load:
64 ;CHECK: vbroadcastss (%{{.*}}, %zmm
65 ;CHECK: ret
66 define   <16 x float> @_ss16xfloat_load(float* %a.ptr) {
67   %a = load float, float* %a.ptr
68   %b = insertelement <16 x float> undef, float %a, i32 0
69   %c = shufflevector <16 x float> %b, <16 x float> undef, <16 x i32> zeroinitializer
70   ret <16 x float> %c
71 }
72
73 ;CHECK-LABEL: _ss16xfloat_mask_load:
74 ;CHECK: vbroadcastss (%rdi), %zmm0 {%k1}
75 ;CHECK: ret
76 define   <16 x float> @_ss16xfloat_mask_load(float* %a.ptr, <16 x float> %i, <16 x i32> %mask1) {
77   %a = load float, float* %a.ptr
78   %mask = icmp ne <16 x i32> %mask1, zeroinitializer
79   %b = insertelement <16 x float> undef, float %a, i32 0
80   %c = shufflevector <16 x float> %b, <16 x float> undef, <16 x i32> zeroinitializer
81   %r = select <16 x i1> %mask, <16 x float> %c, <16 x float> %i
82   ret <16 x float> %r
83 }
84
85 ;CHECK-LABEL: _ss16xfloat_maskz_load:
86 ;CHECK: vbroadcastss (%rdi), %zmm0 {%k1} {z}
87 ;CHECK: ret
88 define   <16 x float> @_ss16xfloat_maskz_load(float* %a.ptr, <16 x i32> %mask1) {
89   %a = load float, float* %a.ptr
90   %mask = icmp ne <16 x i32> %mask1, zeroinitializer
91   %b = insertelement <16 x float> undef, float %a, i32 0
92   %c = shufflevector <16 x float> %b, <16 x float> undef, <16 x i32> zeroinitializer
93   %r = select <16 x i1> %mask, <16 x float> %c, <16 x float> zeroinitializer
94   ret <16 x float> %r
95 }
96
97 define   <8 x double> @_inreg8xdouble(double %a) {
98 ; CHECK-LABEL: _inreg8xdouble:
99 ; CHECK:       ## BB#0:
100 ; CHECK-NEXT:    vbroadcastsd %xmm0, %zmm0
101 ; CHECK-NEXT:    retq
102   %b = insertelement <8 x double> undef, double %a, i32 0
103   %c = shufflevector <8 x double> %b, <8 x double> undef, <8 x i32> zeroinitializer
104   ret <8 x double> %c
105 }
106
107 ;CHECK-LABEL: _sd8xdouble_mask:
108 ;CHECK: vbroadcastsd %xmm0, %zmm1 {%k1}
109 ;CHECK: ret
110 define   <8 x double> @_sd8xdouble_mask(double %a, <8 x double> %i, <8 x i32> %mask1) {
111   %mask = icmp ne <8 x i32> %mask1, zeroinitializer
112   %b = insertelement <8 x double> undef, double %a, i32 0
113   %c = shufflevector <8 x double> %b, <8 x double> undef, <8 x i32> zeroinitializer
114   %r = select <8 x i1> %mask, <8 x double> %c, <8 x double> %i
115   ret <8 x double> %r
116 }
117
118 ;CHECK-LABEL: _sd8xdouble_maskz:
119 ;CHECK: vbroadcastsd %xmm0, %zmm0 {%k1} {z}
120 ;CHECK: ret
121 define   <8 x double> @_sd8xdouble_maskz(double %a, <8 x i32> %mask1) {
122   %mask = icmp ne <8 x i32> %mask1, zeroinitializer
123   %b = insertelement <8 x double> undef, double %a, i32 0
124   %c = shufflevector <8 x double> %b, <8 x double> undef, <8 x i32> zeroinitializer
125   %r = select <8 x i1> %mask, <8 x double> %c, <8 x double> zeroinitializer
126   ret <8 x double> %r
127 }
128
129 ;CHECK-LABEL: _sd8xdouble_load:
130 ;CHECK: vbroadcastsd (%rdi), %zmm
131 ;CHECK: ret
132 define   <8 x double> @_sd8xdouble_load(double* %a.ptr) {
133   %a = load double, double* %a.ptr
134   %b = insertelement <8 x double> undef, double %a, i32 0
135   %c = shufflevector <8 x double> %b, <8 x double> undef, <8 x i32> zeroinitializer
136   ret <8 x double> %c
137 }
138
139 ;CHECK-LABEL: _sd8xdouble_mask_load:
140 ;CHECK: vbroadcastsd (%rdi), %zmm0 {%k1}
141 ;CHECK: ret
142 define   <8 x double> @_sd8xdouble_mask_load(double* %a.ptr, <8 x double> %i, <8 x i32> %mask1) {
143   %a = load double, double* %a.ptr
144   %mask = icmp ne <8 x i32> %mask1, zeroinitializer
145   %b = insertelement <8 x double> undef, double %a, i32 0
146   %c = shufflevector <8 x double> %b, <8 x double> undef, <8 x i32> zeroinitializer
147   %r = select <8 x i1> %mask, <8 x double> %c, <8 x double> %i
148   ret <8 x double> %r
149 }
150
151 define   <8 x double> @_sd8xdouble_maskz_load(double* %a.ptr, <8 x i32> %mask1) {
152 ; CHECK-LABEL: _sd8xdouble_maskz_load:
153 ; CHECK:    vbroadcastsd (%rdi), %zmm0 {%k1} {z}
154 ; CHECK:    ret
155   %a = load double, double* %a.ptr
156   %mask = icmp ne <8 x i32> %mask1, zeroinitializer
157   %b = insertelement <8 x double> undef, double %a, i32 0
158   %c = shufflevector <8 x double> %b, <8 x double> undef, <8 x i32> zeroinitializer
159   %r = select <8 x i1> %mask, <8 x double> %c, <8 x double> zeroinitializer
160   ret <8 x double> %r
161 }
162
163 define   <16 x i32> @_xmm16xi32(<16 x i32> %a) {
164 ; CHECK-LABEL: _xmm16xi32:
165 ; CHECK:       ## BB#0:
166 ; CHECK-NEXT:    vpbroadcastd %xmm0, %zmm0
167 ; CHECK-NEXT:    retq
168   %b = shufflevector <16 x i32> %a, <16 x i32> undef, <16 x i32> zeroinitializer
169   ret <16 x i32> %b
170 }
171
172 define   <16 x float> @_xmm16xfloat(<16 x float> %a) {
173 ; CHECK-LABEL: _xmm16xfloat:
174 ; CHECK:       ## BB#0:
175 ; CHECK-NEXT:    vbroadcastss %xmm0, %zmm0
176 ; CHECK-NEXT:    retq
177   %b = shufflevector <16 x float> %a, <16 x float> undef, <16 x i32> zeroinitializer
178   ret <16 x float> %b
179 }
180
181 define <16 x i32> @test_vbroadcast() {
182 ; CHECK-LABEL: test_vbroadcast:
183 ; CHECK:       ## BB#0: ## %entry
184 ; CHECK-NEXT:    vpxord %zmm0, %zmm0, %zmm0
185 ; CHECK-NEXT:    vcmpunordps %zmm0, %zmm0, %k1
186 ; CHECK-NEXT:    vpbroadcastd {{.*}}(%rip), %zmm0 {%k1} {z}
187 ; CHECK-NEXT:    knotw %k1, %k1
188 ; CHECK-NEXT:    vmovdqu32 %zmm0, %zmm0 {%k1} {z}
189 ; CHECK-NEXT:    retq
190 entry:
191   %0 = sext <16 x i1> zeroinitializer to <16 x i32>
192   %1 = fcmp uno <16 x float> undef, zeroinitializer
193   %2 = sext <16 x i1> %1 to <16 x i32>
194   %3 = select <16 x i1> %1, <16 x i32> %0, <16 x i32> %2
195   ret <16 x i32> %3
196 }
197
198 ; We implement the set1 intrinsics with vector initializers.  Verify that the
199 ; IR generated will produce broadcasts at the end.
200 define <8 x double> @test_set1_pd(double %d) #2 {
201 ; CHECK-LABEL: test_set1_pd:
202 ; CHECK:       ## BB#0: ## %entry
203 ; CHECK-NEXT:    vbroadcastsd %xmm0, %zmm0
204 ; CHECK-NEXT:    retq
205 entry:
206   %vecinit.i = insertelement <8 x double> undef, double %d, i32 0
207   %vecinit1.i = insertelement <8 x double> %vecinit.i, double %d, i32 1
208   %vecinit2.i = insertelement <8 x double> %vecinit1.i, double %d, i32 2
209   %vecinit3.i = insertelement <8 x double> %vecinit2.i, double %d, i32 3
210   %vecinit4.i = insertelement <8 x double> %vecinit3.i, double %d, i32 4
211   %vecinit5.i = insertelement <8 x double> %vecinit4.i, double %d, i32 5
212   %vecinit6.i = insertelement <8 x double> %vecinit5.i, double %d, i32 6
213   %vecinit7.i = insertelement <8 x double> %vecinit6.i, double %d, i32 7
214   ret <8 x double> %vecinit7.i
215 }
216
217 define <8 x i64> @test_set1_epi64(i64 %d) #2 {
218 ; CHECK-LABEL: test_set1_epi64:
219 ; CHECK:       ## BB#0: ## %entry
220 ; CHECK-NEXT:    vpbroadcastq %rdi, %zmm0
221 ; CHECK-NEXT:    retq
222 entry:
223   %vecinit.i = insertelement <8 x i64> undef, i64 %d, i32 0
224   %vecinit1.i = insertelement <8 x i64> %vecinit.i, i64 %d, i32 1
225   %vecinit2.i = insertelement <8 x i64> %vecinit1.i, i64 %d, i32 2
226   %vecinit3.i = insertelement <8 x i64> %vecinit2.i, i64 %d, i32 3
227   %vecinit4.i = insertelement <8 x i64> %vecinit3.i, i64 %d, i32 4
228   %vecinit5.i = insertelement <8 x i64> %vecinit4.i, i64 %d, i32 5
229   %vecinit6.i = insertelement <8 x i64> %vecinit5.i, i64 %d, i32 6
230   %vecinit7.i = insertelement <8 x i64> %vecinit6.i, i64 %d, i32 7
231   ret <8 x i64> %vecinit7.i
232 }
233
234 define <16 x float> @test_set1_ps(float %f) #2 {
235 ; CHECK-LABEL: test_set1_ps:
236 ; CHECK:       ## BB#0: ## %entry
237 ; CHECK-NEXT:    vbroadcastss %xmm0, %zmm0
238 ; CHECK-NEXT:    retq
239 entry:
240   %vecinit.i = insertelement <16 x float> undef, float %f, i32 0
241   %vecinit1.i = insertelement <16 x float> %vecinit.i, float %f, i32 1
242   %vecinit2.i = insertelement <16 x float> %vecinit1.i, float %f, i32 2
243   %vecinit3.i = insertelement <16 x float> %vecinit2.i, float %f, i32 3
244   %vecinit4.i = insertelement <16 x float> %vecinit3.i, float %f, i32 4
245   %vecinit5.i = insertelement <16 x float> %vecinit4.i, float %f, i32 5
246   %vecinit6.i = insertelement <16 x float> %vecinit5.i, float %f, i32 6
247   %vecinit7.i = insertelement <16 x float> %vecinit6.i, float %f, i32 7
248   %vecinit8.i = insertelement <16 x float> %vecinit7.i, float %f, i32 8
249   %vecinit9.i = insertelement <16 x float> %vecinit8.i, float %f, i32 9
250   %vecinit10.i = insertelement <16 x float> %vecinit9.i, float %f, i32 10
251   %vecinit11.i = insertelement <16 x float> %vecinit10.i, float %f, i32 11
252   %vecinit12.i = insertelement <16 x float> %vecinit11.i, float %f, i32 12
253   %vecinit13.i = insertelement <16 x float> %vecinit12.i, float %f, i32 13
254   %vecinit14.i = insertelement <16 x float> %vecinit13.i, float %f, i32 14
255   %vecinit15.i = insertelement <16 x float> %vecinit14.i, float %f, i32 15
256   ret <16 x float> %vecinit15.i
257 }
258
259 define <16 x i32> @test_set1_epi32(i32 %f) #2 {
260 ; CHECK-LABEL: test_set1_epi32:
261 ; CHECK:       ## BB#0: ## %entry
262 ; CHECK-NEXT:    vpbroadcastd %edi, %zmm0
263 ; CHECK-NEXT:    retq
264 entry:
265   %vecinit.i = insertelement <16 x i32> undef, i32 %f, i32 0
266   %vecinit1.i = insertelement <16 x i32> %vecinit.i, i32 %f, i32 1
267   %vecinit2.i = insertelement <16 x i32> %vecinit1.i, i32 %f, i32 2
268   %vecinit3.i = insertelement <16 x i32> %vecinit2.i, i32 %f, i32 3
269   %vecinit4.i = insertelement <16 x i32> %vecinit3.i, i32 %f, i32 4
270   %vecinit5.i = insertelement <16 x i32> %vecinit4.i, i32 %f, i32 5
271   %vecinit6.i = insertelement <16 x i32> %vecinit5.i, i32 %f, i32 6
272   %vecinit7.i = insertelement <16 x i32> %vecinit6.i, i32 %f, i32 7
273   %vecinit8.i = insertelement <16 x i32> %vecinit7.i, i32 %f, i32 8
274   %vecinit9.i = insertelement <16 x i32> %vecinit8.i, i32 %f, i32 9
275   %vecinit10.i = insertelement <16 x i32> %vecinit9.i, i32 %f, i32 10
276   %vecinit11.i = insertelement <16 x i32> %vecinit10.i, i32 %f, i32 11
277   %vecinit12.i = insertelement <16 x i32> %vecinit11.i, i32 %f, i32 12
278   %vecinit13.i = insertelement <16 x i32> %vecinit12.i, i32 %f, i32 13
279   %vecinit14.i = insertelement <16 x i32> %vecinit13.i, i32 %f, i32 14
280   %vecinit15.i = insertelement <16 x i32> %vecinit14.i, i32 %f, i32 15
281   ret <16 x i32> %vecinit15.i
282 }
283
284 ; We implement the scalar broadcast intrinsics with vector initializers.
285 ; Verify that the IR generated will produce the broadcast at the end.
286 define <8 x double> @test_mm512_broadcastsd_pd(<2 x double> %a) {
287 ; CHECK-LABEL: test_mm512_broadcastsd_pd:
288 ; CHECK:       ## BB#0: ## %entry
289 ; CHECK-NEXT:    vbroadcastsd %xmm0, %zmm0
290 ; CHECK-NEXT:    retq
291 entry:
292   %0 = extractelement <2 x double> %a, i32 0
293   %vecinit.i = insertelement <8 x double> undef, double %0, i32 0
294   %vecinit1.i = insertelement <8 x double> %vecinit.i, double %0, i32 1
295   %vecinit2.i = insertelement <8 x double> %vecinit1.i, double %0, i32 2
296   %vecinit3.i = insertelement <8 x double> %vecinit2.i, double %0, i32 3
297   %vecinit4.i = insertelement <8 x double> %vecinit3.i, double %0, i32 4
298   %vecinit5.i = insertelement <8 x double> %vecinit4.i, double %0, i32 5
299   %vecinit6.i = insertelement <8 x double> %vecinit5.i, double %0, i32 6
300   %vecinit7.i = insertelement <8 x double> %vecinit6.i, double %0, i32 7
301   ret <8 x double> %vecinit7.i
302 }
303
304 ; CHECK-LABEL: test1
305 ; CHECK: vbroadcastss
306 define <16 x float> @test1(<8 x float>%a)  {
307   %res = shufflevector <8 x float> %a, <8 x float> undef, <16 x i32> zeroinitializer
308   ret <16 x float>%res
309 }
310
311 ; CHECK-LABEL: test2
312 ; CHECK: vbroadcastsd
313 define <8 x double> @test2(<4 x double>%a)  {
314   %res = shufflevector <4 x double> %a, <4 x double> undef, <8 x i32> zeroinitializer
315   ret <8 x double>%res
316 }
317
318 ; CHECK-LABEL: test3
319 ; CHECK: vpbroadcastd
320 define <16 x i32> @test3(<8 x i32>%a)  {
321   %res = shufflevector <8 x i32> %a, <8 x i32> undef, <16 x i32> zeroinitializer
322   ret <16 x i32>%res
323 }
324
325 ; CHECK-LABEL: test4
326 ; CHECK: vpbroadcastq
327 define <8 x i64> @test4(<4 x i64>%a)  {
328   %res = shufflevector <4 x i64> %a, <4 x i64> undef, <8 x i32> zeroinitializer
329   ret <8 x i64>%res
330 }