[X86] Don't pass a scale value of 0 to scatter/gather intrinsics. This causes the...
[oota-llvm.git] / test / CodeGen / X86 / avx512-gather-scatter-intrin.ll
1 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -mcpu=skx | FileCheck %s
2
3 declare <16 x float> @llvm.x86.avx512.gather.dps.512 (<16 x float>, i8*, <16 x i32>, i16, i32)
4 declare void @llvm.x86.avx512.scatter.dps.512 (i8*, i16, <16 x i32>, <16 x float>, i32)
5 declare <8 x double> @llvm.x86.avx512.gather.dpd.512 (<8 x double>, i8*, <8 x i32>, i8, i32)
6 declare void @llvm.x86.avx512.scatter.dpd.512 (i8*, i8, <8 x i32>, <8 x double>, i32)
7
8 declare <8 x float> @llvm.x86.avx512.gather.qps.512 (<8 x float>, i8*, <8 x i64>, i8, i32)
9 declare void @llvm.x86.avx512.scatter.qps.512 (i8*, i8, <8 x i64>, <8 x float>, i32)
10 declare <8 x double> @llvm.x86.avx512.gather.qpd.512 (<8 x double>, i8*, <8 x i64>, i8, i32)
11 declare void @llvm.x86.avx512.scatter.qpd.512 (i8*, i8, <8 x i64>, <8 x double>, i32)
12
13 define void @gather_mask_dps(<16 x i32> %ind, <16 x float> %src, i16 %mask, i8* %base, i8* %stbuf)  {
14 ; CHECK-LABEL: gather_mask_dps:
15 ; CHECK:       ## BB#0:
16 ; CHECK-NEXT:    kmovw %edi, %k1
17 ; CHECK-NEXT:    kmovw %k1, %k2
18 ; CHECK-NEXT:    vgatherdps (%rsi,%zmm0,4), %zmm1 {%k2}
19 ; CHECK-NEXT:    vpaddd {{.*}}(%rip), %zmm0, %zmm0
20 ; CHECK-NEXT:    vscatterdps %zmm1, (%rdx,%zmm0,4) {%k1}
21 ; CHECK-NEXT:    retq
22   %x = call <16 x float> @llvm.x86.avx512.gather.dps.512 (<16 x float> %src, i8* %base, <16 x i32>%ind, i16 %mask, i32 4)
23   %ind2 = add <16 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
24   call void @llvm.x86.avx512.scatter.dps.512 (i8* %stbuf, i16 %mask, <16 x i32>%ind2, <16 x float> %x, i32 4)
25   ret void
26 }
27
28 define void @gather_mask_dpd(<8 x i32> %ind, <8 x double> %src, i8 %mask, i8* %base, i8* %stbuf)  {
29 ; CHECK-LABEL: gather_mask_dpd:
30 ; CHECK:       ## BB#0:
31 ; CHECK-NEXT:    kmovb %edi, %k1
32 ; CHECK-NEXT:    kmovw %k1, %k2
33 ; CHECK-NEXT:    vgatherdpd (%rsi,%ymm0,4), %zmm1 {%k2}
34 ; CHECK-NEXT:    vpaddd {{.*}}(%rip), %ymm0, %ymm0
35 ; CHECK-NEXT:    vscatterdpd %zmm1, (%rdx,%ymm0,4) {%k1}
36 ; CHECK-NEXT:    retq
37   %x = call <8 x double> @llvm.x86.avx512.gather.dpd.512 (<8 x double> %src, i8* %base, <8 x i32>%ind, i8 %mask, i32 4)
38   %ind2 = add <8 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
39   call void @llvm.x86.avx512.scatter.dpd.512 (i8* %stbuf, i8 %mask, <8 x i32>%ind2, <8 x double> %x, i32 4)
40   ret void
41 }
42
43 define void @gather_mask_qps(<8 x i64> %ind, <8 x float> %src, i8 %mask, i8* %base, i8* %stbuf)  {
44 ; CHECK-LABEL: gather_mask_qps:
45 ; CHECK:       ## BB#0:
46 ; CHECK-NEXT:    kmovb %edi, %k1
47 ; CHECK-NEXT:    kmovw %k1, %k2
48 ; CHECK-NEXT:    vgatherqps (%rsi,%zmm0,4), %ymm1 {%k2}
49 ; CHECK-NEXT:    vpaddq {{.*}}(%rip), %zmm0, %zmm0
50 ; CHECK-NEXT:    vscatterqps %ymm1, (%rdx,%zmm0,4) {%k1}
51 ; CHECK-NEXT:    retq
52   %x = call <8 x float> @llvm.x86.avx512.gather.qps.512 (<8 x float> %src, i8* %base, <8 x i64>%ind, i8 %mask, i32 4)
53   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
54   call void @llvm.x86.avx512.scatter.qps.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind2, <8 x float> %x, i32 4)
55   ret void
56 }
57
58 define void @gather_mask_qpd(<8 x i64> %ind, <8 x double> %src, i8 %mask, i8* %base, i8* %stbuf)  {
59 ; CHECK-LABEL: gather_mask_qpd:
60 ; CHECK:       ## BB#0:
61 ; CHECK-NEXT:    kmovb %edi, %k1
62 ; CHECK-NEXT:    kmovw %k1, %k2
63 ; CHECK-NEXT:    vgatherqpd (%rsi,%zmm0,4), %zmm1 {%k2}
64 ; CHECK-NEXT:    vpaddq {{.*}}(%rip), %zmm0, %zmm0
65 ; CHECK-NEXT:    vscatterqpd %zmm1, (%rdx,%zmm0,4) {%k1}
66 ; CHECK-NEXT:    retq
67   %x = call <8 x double> @llvm.x86.avx512.gather.qpd.512 (<8 x double> %src, i8* %base, <8 x i64>%ind, i8 %mask, i32 4)
68   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
69   call void @llvm.x86.avx512.scatter.qpd.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind2, <8 x double> %x, i32 4)
70   ret void
71 }
72 ;;
73 ;; Integer Gather/Scatter
74 ;;
75 declare <16 x i32> @llvm.x86.avx512.gather.dpi.512 (<16 x i32>, i8*, <16 x i32>, i16, i32)
76 declare void @llvm.x86.avx512.scatter.dpi.512 (i8*, i16, <16 x i32>, <16 x i32>, i32)
77 declare <8 x i64> @llvm.x86.avx512.gather.dpq.512 (<8 x i64>, i8*, <8 x i32>, i8, i32)
78 declare void @llvm.x86.avx512.scatter.dpq.512 (i8*, i8, <8 x i32>, <8 x i64>, i32)
79
80 declare <8 x i32> @llvm.x86.avx512.gather.qpi.512 (<8 x i32>, i8*, <8 x i64>, i8, i32)
81 declare void @llvm.x86.avx512.scatter.qpi.512 (i8*, i8, <8 x i64>, <8 x i32>, i32)
82 declare <8 x i64> @llvm.x86.avx512.gather.qpq.512 (<8 x i64>, i8*, <8 x i64>, i8, i32)
83 declare void @llvm.x86.avx512.scatter.qpq.512 (i8*, i8, <8 x i64>, <8 x i64>, i32)
84
85 define void @gather_mask_dd(<16 x i32> %ind, <16 x i32> %src, i16 %mask, i8* %base, i8* %stbuf)  {
86 ; CHECK-LABEL: gather_mask_dd:
87 ; CHECK:       ## BB#0:
88 ; CHECK-NEXT:    kmovw %edi, %k1
89 ; CHECK-NEXT:    kmovw %k1, %k2
90 ; CHECK-NEXT:    vpgatherdd (%rsi,%zmm0,4), %zmm1 {%k2}
91 ; CHECK-NEXT:    vpaddd {{.*}}(%rip), %zmm0, %zmm0
92 ; CHECK-NEXT:    vpscatterdd %zmm1, (%rdx,%zmm0,4) {%k1}
93 ; CHECK-NEXT:    retq
94   %x = call <16 x i32> @llvm.x86.avx512.gather.dpi.512 (<16 x i32> %src, i8* %base, <16 x i32>%ind, i16 %mask, i32 4)
95   %ind2 = add <16 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
96   call void @llvm.x86.avx512.scatter.dpi.512 (i8* %stbuf, i16 %mask, <16 x i32>%ind2, <16 x i32> %x, i32 4)
97   ret void
98 }
99
100 define void @gather_mask_qd(<8 x i64> %ind, <8 x i32> %src, i8 %mask, i8* %base, i8* %stbuf)  {
101 ; CHECK-LABEL: gather_mask_qd:
102 ; CHECK:       ## BB#0:
103 ; CHECK-NEXT:    kmovb %edi, %k1
104 ; CHECK-NEXT:    kmovw %k1, %k2
105 ; CHECK-NEXT:    vpgatherqd (%rsi,%zmm0,4), %ymm1 {%k2}
106 ; CHECK-NEXT:    vpaddq {{.*}}(%rip), %zmm0, %zmm0
107 ; CHECK-NEXT:    vpscatterqd %ymm1, (%rdx,%zmm0,4) {%k1}
108 ; CHECK-NEXT:    retq
109   %x = call <8 x i32> @llvm.x86.avx512.gather.qpi.512 (<8 x i32> %src, i8* %base, <8 x i64>%ind, i8 %mask, i32 4)
110   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
111   call void @llvm.x86.avx512.scatter.qpi.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind2, <8 x i32> %x, i32 4)
112   ret void
113 }
114
115 define void @gather_mask_qq(<8 x i64> %ind, <8 x i64> %src, i8 %mask, i8* %base, i8* %stbuf)  {
116 ; CHECK-LABEL: gather_mask_qq:
117 ; CHECK:       ## BB#0:
118 ; CHECK-NEXT:    kmovb %edi, %k1
119 ; CHECK-NEXT:    kmovw %k1, %k2
120 ; CHECK-NEXT:    vpgatherqq (%rsi,%zmm0,4), %zmm1 {%k2}
121 ; CHECK-NEXT:    vpaddq {{.*}}(%rip), %zmm0, %zmm0
122 ; CHECK-NEXT:    vpscatterqq %zmm1, (%rdx,%zmm0,4) {%k1}
123 ; CHECK-NEXT:    retq
124   %x = call <8 x i64> @llvm.x86.avx512.gather.qpq.512 (<8 x i64> %src, i8* %base, <8 x i64>%ind, i8 %mask, i32 4)
125   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
126   call void @llvm.x86.avx512.scatter.qpq.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind2, <8 x i64> %x, i32 4)
127   ret void
128 }
129
130 define void @gather_mask_dq(<8 x i32> %ind, <8 x i64> %src, i8 %mask, i8* %base, i8* %stbuf)  {
131 ; CHECK-LABEL: gather_mask_dq:
132 ; CHECK:       ## BB#0:
133 ; CHECK-NEXT:    kmovb %edi, %k1
134 ; CHECK-NEXT:    kmovw %k1, %k2
135 ; CHECK-NEXT:    vpgatherdq (%rsi,%ymm0,4), %zmm1 {%k2}
136 ; CHECK-NEXT:    vpaddd {{.*}}(%rip), %ymm0, %ymm0
137 ; CHECK-NEXT:    vpscatterdq %zmm1, (%rdx,%ymm0,4) {%k1}
138 ; CHECK-NEXT:    retq
139   %x = call <8 x i64> @llvm.x86.avx512.gather.dpq.512 (<8 x i64> %src, i8* %base, <8 x i32>%ind, i8 %mask, i32 4)
140   %ind2 = add <8 x i32> %ind, <i32 0, i32 1, i32 2, i32 3, i32 0, i32 1, i32 2, i32 3>
141   call void @llvm.x86.avx512.scatter.dpq.512 (i8* %stbuf, i8 %mask, <8 x i32>%ind2, <8 x i64> %x, i32 4)
142   ret void
143 }
144
145 define void @gather_mask_dpd_execdomain(<8 x i32> %ind, <8 x double> %src, i8 %mask, i8* %base, <8 x double>* %stbuf)  {
146 ; CHECK-LABEL: gather_mask_dpd_execdomain:
147 ; CHECK:       ## BB#0:
148 ; CHECK-NEXT:    kmovb %edi, %k1
149 ; CHECK-NEXT:    vgatherdpd (%rsi,%ymm0,4), %zmm1 {%k1}
150 ; CHECK-NEXT:    vmovapd %zmm1, (%rdx)
151 ; CHECK-NEXT:    retq
152   %x = call <8 x double> @llvm.x86.avx512.gather.dpd.512 (<8 x double> %src, i8* %base, <8 x i32>%ind, i8 %mask, i32 4)
153   store <8 x double> %x, <8 x double>* %stbuf
154   ret void
155 }
156
157 define void @gather_mask_qpd_execdomain(<8 x i64> %ind, <8 x double> %src, i8 %mask, i8* %base, <8 x double>* %stbuf)  {
158 ; CHECK-LABEL: gather_mask_qpd_execdomain:
159 ; CHECK:       ## BB#0:
160 ; CHECK-NEXT:    kmovb %edi, %k1
161 ; CHECK-NEXT:    vgatherqpd (%rsi,%zmm0,4), %zmm1 {%k1}
162 ; CHECK-NEXT:    vmovapd %zmm1, (%rdx)
163 ; CHECK-NEXT:    retq
164   %x = call <8 x double> @llvm.x86.avx512.gather.qpd.512 (<8 x double> %src, i8* %base, <8 x i64>%ind, i8 %mask, i32 4)
165   store <8 x double> %x, <8 x double>* %stbuf
166   ret void
167 }
168
169 define <16 x float> @gather_mask_dps_execdomain(<16 x i32> %ind, <16 x float> %src, i16 %mask, i8* %base)  {
170 ; CHECK-LABEL: gather_mask_dps_execdomain:
171 ; CHECK:       ## BB#0:
172 ; CHECK-NEXT:    kmovw %edi, %k1
173 ; CHECK-NEXT:    vgatherdps (%rsi,%zmm0,4), %zmm1 {%k1}
174 ; CHECK-NEXT:    vmovaps %zmm1, %zmm0
175 ; CHECK-NEXT:    retq
176   %res = call <16 x float> @llvm.x86.avx512.gather.dps.512 (<16 x float> %src, i8* %base, <16 x i32>%ind, i16 %mask, i32 4)
177   ret <16 x float> %res;
178 }
179
180 define <8 x float> @gather_mask_qps_execdomain(<8 x i64> %ind, <8 x float> %src, i8 %mask, i8* %base)  {
181 ; CHECK-LABEL: gather_mask_qps_execdomain:
182 ; CHECK:       ## BB#0:
183 ; CHECK-NEXT:    kmovb %edi, %k1
184 ; CHECK-NEXT:    vgatherqps (%rsi,%zmm0,4), %ymm1 {%k1}
185 ; CHECK-NEXT:    vmovaps %zmm1, %zmm0
186 ; CHECK-NEXT:    retq
187   %res = call <8 x float> @llvm.x86.avx512.gather.qps.512 (<8 x float> %src, i8* %base, <8 x i64>%ind, i8 %mask, i32 4)
188   ret <8 x float> %res;
189 }
190
191 define void @scatter_mask_dpd_execdomain(<8 x i32> %ind, <8 x double>* %src, i8 %mask, i8* %base, i8* %stbuf)  {
192 ; CHECK-LABEL: scatter_mask_dpd_execdomain:
193 ; CHECK:       ## BB#0:
194 ; CHECK-NEXT:    kmovb %esi, %k1
195 ; CHECK-NEXT:    vmovapd (%rdi), %zmm1
196 ; CHECK-NEXT:    vscatterdpd %zmm1, (%rcx,%ymm0,4) {%k1}
197 ; CHECK-NEXT:    retq
198   %x = load <8 x double>, <8 x double>* %src, align 64
199   call void @llvm.x86.avx512.scatter.dpd.512 (i8* %stbuf, i8 %mask, <8 x i32>%ind, <8 x double> %x, i32 4)
200   ret void
201 }
202
203 define void @scatter_mask_qpd_execdomain(<8 x i64> %ind, <8 x double>* %src, i8 %mask, i8* %base, i8* %stbuf)  {
204 ; CHECK-LABEL: scatter_mask_qpd_execdomain:
205 ; CHECK:       ## BB#0:
206 ; CHECK-NEXT:    kmovb %esi, %k1
207 ; CHECK-NEXT:    vmovapd (%rdi), %zmm1
208 ; CHECK-NEXT:    vscatterqpd %zmm1, (%rcx,%zmm0,4) {%k1}
209 ; CHECK-NEXT:    retq
210   %x = load <8 x double>, <8 x double>* %src, align 64
211   call void @llvm.x86.avx512.scatter.qpd.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind, <8 x double> %x, i32 4)
212   ret void
213 }
214
215 define void @scatter_mask_dps_execdomain(<16 x i32> %ind, <16 x float>* %src, i16 %mask, i8* %base, i8* %stbuf)  {
216 ; CHECK-LABEL: scatter_mask_dps_execdomain:
217 ; CHECK:       ## BB#0:
218 ; CHECK-NEXT:    kmovw %esi, %k1
219 ; CHECK-NEXT:    vmovaps (%rdi), %zmm1
220 ; CHECK-NEXT:    vscatterdps %zmm1, (%rcx,%zmm0,4) {%k1}
221 ; CHECK-NEXT:    retq
222   %x = load <16 x float>, <16 x float>* %src, align 64
223   call void @llvm.x86.avx512.scatter.dps.512 (i8* %stbuf, i16 %mask, <16 x i32>%ind, <16 x float> %x, i32 4)
224   ret void
225 }
226
227 define void @scatter_mask_qps_execdomain(<8 x i64> %ind, <8 x float>* %src, i8 %mask, i8* %base, i8* %stbuf)  {
228 ; CHECK-LABEL: scatter_mask_qps_execdomain:
229 ; CHECK:       ## BB#0:
230 ; CHECK-NEXT:    kmovb %esi, %k1
231 ; CHECK-NEXT:    vmovaps (%rdi), %ymm1
232 ; CHECK-NEXT:    vscatterqps %ymm1, (%rcx,%zmm0,4) {%k1}
233 ; CHECK-NEXT:    retq
234   %x = load <8 x float>, <8 x float>* %src, align 32
235   call void @llvm.x86.avx512.scatter.qps.512 (i8* %stbuf, i8 %mask, <8 x i64>%ind, <8 x float> %x, i32 4)
236   ret void
237 }
238
239 define void @gather_qps(<8 x i64> %ind, <8 x float> %src, i8* %base, i8* %stbuf)  {
240 ; CHECK-LABEL: gather_qps:
241 ; CHECK:       ## BB#0:
242 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
243 ; CHECK-NEXT:    kxnorw %k2, %k2, %k2
244 ; CHECK-NEXT:    vgatherqps (%rdi,%zmm0,4), %ymm1 {%k2}
245 ; CHECK-NEXT:    vpaddq {{.*}}(%rip), %zmm0, %zmm0
246 ; CHECK-NEXT:    vscatterqps %ymm1, (%rsi,%zmm0,4) {%k1}
247 ; CHECK-NEXT:    retq
248   %x = call <8 x float> @llvm.x86.avx512.gather.qps.512 (<8 x float> %src, i8* %base, <8 x i64>%ind, i8 -1, i32 4)
249   %ind2 = add <8 x i64> %ind, <i64 0, i64 1, i64 2, i64 3, i64 0, i64 1, i64 2, i64 3>
250   call void @llvm.x86.avx512.scatter.qps.512 (i8* %stbuf, i8 -1, <8 x i64>%ind2, <8 x float> %x, i32 4)
251   ret void
252 }
253
254 declare  void @llvm.x86.avx512.gatherpf.qps.512(i8, <8 x i64>, i8* , i32, i32);
255 declare  void @llvm.x86.avx512.scatterpf.qps.512(i8, <8 x i64>, i8* , i32, i32);
256 define void @prefetch(<8 x i64> %ind, i8* %base) {
257 ; CHECK-LABEL: prefetch:
258 ; CHECK:       ## BB#0:
259 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
260 ; CHECK-NEXT:    vgatherpf0qps (%rdi,%zmm0,4) {%k1}
261 ; CHECK-NEXT:    vgatherpf1qps (%rdi,%zmm0,4) {%k1}
262 ; CHECK-NEXT:    vscatterpf0qps (%rdi,%zmm0,2) {%k1}
263 ; CHECK-NEXT:    vscatterpf1qps (%rdi,%zmm0,2) {%k1}
264 ; CHECK-NEXT:    retq
265   call void @llvm.x86.avx512.gatherpf.qps.512(i8 -1, <8 x i64> %ind, i8* %base, i32 4, i32 0)
266   call void @llvm.x86.avx512.gatherpf.qps.512(i8 -1, <8 x i64> %ind, i8* %base, i32 4, i32 1)
267   call void @llvm.x86.avx512.scatterpf.qps.512(i8 -1, <8 x i64> %ind, i8* %base, i32 2, i32 0)
268   call void @llvm.x86.avx512.scatterpf.qps.512(i8 -1, <8 x i64> %ind, i8* %base, i32 2, i32 1)
269   ret void
270 }
271
272
273 declare <2 x double> @llvm.x86.avx512.gather3div2.df(<2 x double>, i8*, <2 x i64>, i8, i32)
274
275 define <2 x double>@test_int_x86_avx512_gather3div2_df(<2 x double> %x0, i8* %x1, <2 x i64> %x2, i8 %x3) {
276 ; CHECK-LABEL: test_int_x86_avx512_gather3div2_df:
277 ; CHECK:       ## BB#0:
278 ; CHECK-NEXT:    kmovb %esi, %k1
279 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
280 ; CHECK-NEXT:    vgatherqpd (%rdi,%xmm1,4), %xmm2 {%k1}
281 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
282 ; CHECK-NEXT:    vgatherqpd (%rdi,%xmm1,2), %xmm0 {%k1}
283 ; CHECK-NEXT:    vaddpd %xmm0, %xmm2, %xmm0
284 ; CHECK-NEXT:    retq
285   %res = call <2 x double> @llvm.x86.avx512.gather3div2.df(<2 x double> %x0, i8* %x1, <2 x i64> %x2, i8 %x3, i32 4)
286   %res1 = call <2 x double> @llvm.x86.avx512.gather3div2.df(<2 x double> %x0, i8* %x1, <2 x i64> %x2, i8 -1, i32 2)
287   %res2 = fadd <2 x double> %res, %res1
288   ret <2 x double> %res2
289 }
290
291 declare <4 x i32> @llvm.x86.avx512.gather3div2.di(<2 x i64>, i8*, <2 x i64>, i8, i32)
292
293 define <4 x i32>@test_int_x86_avx512_gather3div2_di(<2 x i64> %x0, i8* %x1, <2 x i64> %x2, i8 %x3) {
294 ; CHECK-LABEL: test_int_x86_avx512_gather3div2_di:
295 ; CHECK:       ## BB#0:
296 ; CHECK-NEXT:    kmovb %esi, %k1
297 ; CHECK-NEXT:    vpgatherqq (%rdi,%xmm1,8), %xmm0 {%k1}
298 ; CHECK-NEXT:    vpaddd %xmm0, %xmm0, %xmm0
299 ; CHECK-NEXT:    retq
300   %res = call <4 x i32> @llvm.x86.avx512.gather3div2.di(<2 x i64> %x0, i8* %x1, <2 x i64> %x2, i8 %x3, i32 8)
301   %res1 = call <4 x i32> @llvm.x86.avx512.gather3div2.di(<2 x i64> %x0, i8* %x1, <2 x i64> %x2, i8 %x3, i32 8)
302   %res2 = add <4 x i32> %res, %res1
303   ret <4 x i32> %res2
304 }
305
306 declare <4 x double> @llvm.x86.avx512.gather3div4.df(<4 x double>, i8*, <4 x i64>, i8, i32)
307
308 define <4 x double>@test_int_x86_avx512_gather3div4_df(<4 x double> %x0, i8* %x1, <4 x i64> %x2, i8 %x3) {
309 ; CHECK-LABEL: test_int_x86_avx512_gather3div4_df:
310 ; CHECK:       ## BB#0:
311 ; CHECK-NEXT:    kmovb %esi, %k1
312 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
313 ; CHECK-NEXT:    vgatherqpd (%rdi,%ymm1,4), %ymm2 {%k1}
314 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
315 ; CHECK-NEXT:    vgatherqpd (%rdi,%ymm1,2), %ymm0 {%k1}
316 ; CHECK-NEXT:    vaddpd %ymm0, %ymm2, %ymm0
317 ; CHECK-NEXT:    retq
318   %res = call <4 x double> @llvm.x86.avx512.gather3div4.df(<4 x double> %x0, i8* %x1, <4 x i64> %x2, i8 %x3, i32 4)
319   %res1 = call <4 x double> @llvm.x86.avx512.gather3div4.df(<4 x double> %x0, i8* %x1, <4 x i64> %x2, i8 -1, i32 2)
320   %res2 = fadd <4 x double> %res, %res1
321   ret <4 x double> %res2
322 }
323
324 declare <8 x i32> @llvm.x86.avx512.gather3div4.di(<4 x i64>, i8*, <4 x i64>, i8, i32)
325
326 define <8 x i32>@test_int_x86_avx512_gather3div4_di(<4 x i64> %x0, i8* %x1, <4 x i64> %x2, i8 %x3) {
327 ; CHECK-LABEL: test_int_x86_avx512_gather3div4_di:
328 ; CHECK:       ## BB#0:
329 ; CHECK-NEXT:    kmovb %esi, %k1
330 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
331 ; CHECK-NEXT:    vpgatherqq (%rdi,%ymm1,8), %ymm2 {%k1}
332 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
333 ; CHECK-NEXT:    vpgatherqq (%rdi,%ymm1,8), %ymm0 {%k1}
334 ; CHECK-NEXT:    vpaddd %ymm0, %ymm2, %ymm0
335 ; CHECK-NEXT:    retq
336   %res = call <8 x i32> @llvm.x86.avx512.gather3div4.di(<4 x i64> %x0, i8* %x1, <4 x i64> %x2, i8 %x3, i32 8)
337   %res1 = call <8 x i32> @llvm.x86.avx512.gather3div4.di(<4 x i64> %x0, i8* %x1, <4 x i64> %x2, i8 -1, i32 8)
338   %res2 = add <8 x i32> %res, %res1
339   ret <8 x i32> %res2
340 }
341
342 declare <4 x float> @llvm.x86.avx512.gather3div4.sf(<4 x float>, i8*, <2 x i64>, i8, i32)
343
344 define <4 x float>@test_int_x86_avx512_gather3div4_sf(<4 x float> %x0, i8* %x1, <2 x i64> %x2, i8 %x3) {
345 ; CHECK-LABEL: test_int_x86_avx512_gather3div4_sf:
346 ; CHECK:       ## BB#0:
347 ; CHECK-NEXT:    kmovb %esi, %k1
348 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
349 ; CHECK-NEXT:    vgatherqps (%rdi,%xmm1,4), %xmm2 {%k1}
350 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
351 ; CHECK-NEXT:    vgatherqps (%rdi,%xmm1,2), %xmm0 {%k1}
352 ; CHECK-NEXT:    vaddps %xmm0, %xmm2, %xmm0
353 ; CHECK-NEXT:    retq
354   %res = call <4 x float> @llvm.x86.avx512.gather3div4.sf(<4 x float> %x0, i8* %x1, <2 x i64> %x2, i8 %x3, i32 4)
355   %res1 = call <4 x float> @llvm.x86.avx512.gather3div4.sf(<4 x float> %x0, i8* %x1, <2 x i64> %x2, i8 -1, i32 2)
356   %res2 = fadd <4 x float> %res, %res1
357   ret <4 x float> %res2
358 }
359
360 declare <4 x i32> @llvm.x86.avx512.gather3div4.si(<4 x i32>, i8*, <2 x i64>, i8, i32)
361
362 define <4 x i32>@test_int_x86_avx512_gather3div4_si(<4 x i32> %x0, i8* %x1, <2 x i64> %x2, i8 %x3) {
363 ; CHECK-LABEL: test_int_x86_avx512_gather3div4_si:
364 ; CHECK:       ## BB#0:
365 ; CHECK-NEXT:    kmovb %esi, %k1
366 ; CHECK-NEXT:    kxnorw %k2, %k2, %k2
367 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
368 ; CHECK-NEXT:    vpgatherqd (%rdi,%xmm1,4), %xmm2 {%k2}
369 ; CHECK-NEXT:    vpgatherqd (%rdi,%xmm1,4), %xmm0 {%k1}
370 ; CHECK-NEXT:    vpaddd %xmm0, %xmm2, %xmm0
371 ; CHECK-NEXT:    retq
372   %res = call <4 x i32> @llvm.x86.avx512.gather3div4.si(<4 x i32> %x0, i8* %x1, <2 x i64> %x2, i8 -1, i32 4)
373   %res1 = call <4 x i32> @llvm.x86.avx512.gather3div4.si(<4 x i32> %x0, i8* %x1, <2 x i64> %x2, i8 %x3, i32 4)
374   %res2 = add <4 x i32> %res, %res1
375   ret <4 x i32> %res2
376 }
377
378 declare <4 x float> @llvm.x86.avx512.gather3div8.sf(<4 x float>, i8*, <4 x i64>, i8, i32)
379
380 define <4 x float>@test_int_x86_avx512_gather3div8_sf(<4 x float> %x0, i8* %x1, <4 x i64> %x2, i8 %x3) {
381 ; CHECK-LABEL: test_int_x86_avx512_gather3div8_sf:
382 ; CHECK:       ## BB#0:
383 ; CHECK-NEXT:    kmovb %esi, %k1
384 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
385 ; CHECK-NEXT:    vgatherqps (%rdi,%ymm1,4), %xmm2 {%k1}
386 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
387 ; CHECK-NEXT:    vgatherqps (%rdi,%ymm1,2), %xmm0 {%k1}
388 ; CHECK-NEXT:    vaddps %xmm0, %xmm2, %xmm0
389 ; CHECK-NEXT:    retq
390   %res = call <4 x float> @llvm.x86.avx512.gather3div8.sf(<4 x float> %x0, i8* %x1, <4 x i64> %x2, i8 %x3, i32 4)
391   %res1 = call <4 x float> @llvm.x86.avx512.gather3div8.sf(<4 x float> %x0, i8* %x1, <4 x i64> %x2, i8 -1, i32 2)
392   %res2 = fadd <4 x float> %res, %res1
393   ret <4 x float> %res2
394 }
395
396 declare <4 x i32> @llvm.x86.avx512.gather3div8.si(<4 x i32>, i8*, <4 x i64>, i8, i32)
397
398 define <4 x i32>@test_int_x86_avx512_gather3div8_si(<4 x i32> %x0, i8* %x1, <4 x i64> %x2, i8 %x3) {
399 ; CHECK-LABEL: test_int_x86_avx512_gather3div8_si:
400 ; CHECK:       ## BB#0:
401 ; CHECK-NEXT:    kmovb %esi, %k1
402 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
403 ; CHECK-NEXT:    kmovw %k1, %k2
404 ; CHECK-NEXT:    vpgatherqd (%rdi,%ymm1,4), %xmm2 {%k2}
405 ; CHECK-NEXT:    vpgatherqd (%rdi,%ymm1,2), %xmm0 {%k1}
406 ; CHECK-NEXT:    vpaddd %xmm0, %xmm2, %xmm0
407 ; CHECK-NEXT:    retq
408   %res = call <4 x i32> @llvm.x86.avx512.gather3div8.si(<4 x i32> %x0, i8* %x1, <4 x i64> %x2, i8 %x3, i32 4)
409   %res1 = call <4 x i32> @llvm.x86.avx512.gather3div8.si(<4 x i32> %x0, i8* %x1, <4 x i64> %x2, i8 %x3, i32 2)
410   %res2 = add <4 x i32> %res, %res1
411   ret <4 x i32> %res2
412 }
413
414 declare <2 x double> @llvm.x86.avx512.gather3siv2.df(<2 x double>, i8*, <4 x i32>, i8, i32)
415
416 define <2 x double>@test_int_x86_avx512_gather3siv2_df(<2 x double> %x0, i8* %x1, <4 x i32> %x2, i8 %x3) {
417 ; CHECK-LABEL: test_int_x86_avx512_gather3siv2_df:
418 ; CHECK:       ## BB#0:
419 ; CHECK-NEXT:    kmovb %esi, %k1
420 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
421 ; CHECK-NEXT:    vgatherdpd (%rdi,%xmm1,4), %xmm2 {%k1}
422 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
423 ; CHECK-NEXT:    vgatherdpd (%rdi,%xmm1,2), %xmm0 {%k1}
424 ; CHECK-NEXT:    vaddpd %xmm0, %xmm2, %xmm0
425 ; CHECK-NEXT:    retq
426   %res = call <2 x double> @llvm.x86.avx512.gather3siv2.df(<2 x double> %x0, i8* %x1, <4 x i32> %x2, i8 %x3, i32 4)
427   %res1 = call <2 x double> @llvm.x86.avx512.gather3siv2.df(<2 x double> %x0, i8* %x1, <4 x i32> %x2, i8 -1, i32 2)
428   %res2 = fadd <2 x double> %res, %res1
429   ret <2 x double> %res2
430 }
431
432 declare <4 x i32> @llvm.x86.avx512.gather3siv2.di(<2 x i64>, i8*, <4 x i32>, i8, i32)
433
434 define <4 x i32>@test_int_x86_avx512_gather3siv2_di(<2 x i64> %x0, i8* %x1, <4 x i32> %x2, i8 %x3) {
435 ; CHECK-LABEL: test_int_x86_avx512_gather3siv2_di:
436 ; CHECK:       ## BB#0:
437 ; CHECK-NEXT:    kmovb %esi, %k1
438 ; CHECK-NEXT:    vpgatherdq (%rdi,%xmm1,8), %xmm0 {%k1}
439 ; CHECK-NEXT:    vpaddd %xmm0, %xmm0, %xmm0
440 ; CHECK-NEXT:    retq
441   %res = call <4 x i32> @llvm.x86.avx512.gather3siv2.di(<2 x i64> %x0, i8* %x1, <4 x i32> %x2, i8 %x3, i32 8)
442   %res1 = call <4 x i32> @llvm.x86.avx512.gather3siv2.di(<2 x i64> %x0, i8* %x1, <4 x i32> %x2, i8 %x3, i32 8)
443   %res2 = add <4 x i32> %res, %res1
444   ret <4 x i32> %res2
445 }
446
447 declare <4 x double> @llvm.x86.avx512.gather3siv4.df(<4 x double>, i8*, <4 x i32>, i8, i32)
448
449 define <4 x double>@test_int_x86_avx512_gather3siv4_df(<4 x double> %x0, i8* %x1, <4 x i32> %x2, i8 %x3) {
450 ; CHECK-LABEL: test_int_x86_avx512_gather3siv4_df:
451 ; CHECK:       ## BB#0:
452 ; CHECK-NEXT:    kmovb %esi, %k1
453 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
454 ; CHECK-NEXT:    vgatherdpd (%rdi,%xmm1,4), %ymm2 {%k1}
455 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
456 ; CHECK-NEXT:    vgatherdpd (%rdi,%xmm1,2), %ymm0 {%k1}
457 ; CHECK-NEXT:    vaddpd %ymm0, %ymm2, %ymm0
458 ; CHECK-NEXT:    retq
459   %res = call <4 x double> @llvm.x86.avx512.gather3siv4.df(<4 x double> %x0, i8* %x1, <4 x i32> %x2, i8 %x3, i32 4)
460   %res1 = call <4 x double> @llvm.x86.avx512.gather3siv4.df(<4 x double> %x0, i8* %x1, <4 x i32> %x2, i8 -1, i32 2)
461   %res2 = fadd <4 x double> %res, %res1
462   ret <4 x double> %res2
463 }
464
465 declare <8 x i32> @llvm.x86.avx512.gather3siv4.di(<4 x i64>, i8*, <4 x i32>, i8, i32)
466
467 define <8 x i32>@test_int_x86_avx512_gather3siv4_di(<4 x i64> %x0, i8* %x1, <4 x i32> %x2, i8 %x3) {
468 ; CHECK-LABEL: test_int_x86_avx512_gather3siv4_di:
469 ; CHECK:       ## BB#0:
470 ; CHECK-NEXT:    kmovb %esi, %k1
471 ; CHECK-NEXT:    vpgatherdq (%rdi,%xmm1,8), %ymm0 {%k1}
472 ; CHECK-NEXT:    vpaddd %ymm0, %ymm0, %ymm0
473 ; CHECK-NEXT:    retq
474   %res = call <8 x i32> @llvm.x86.avx512.gather3siv4.di(<4 x i64> %x0, i8* %x1, <4 x i32> %x2, i8 %x3, i32 8)
475   %res1 = call <8 x i32> @llvm.x86.avx512.gather3siv4.di(<4 x i64> %x0, i8* %x1, <4 x i32> %x2, i8 %x3, i32 8)
476   %res2 = add <8 x i32> %res, %res1
477   ret <8 x i32> %res2
478 }
479
480 declare <4 x float> @llvm.x86.avx512.gather3siv4.sf(<4 x float>, i8*, <4 x i32>, i8, i32)
481
482 define <4 x float>@test_int_x86_avx512_gather3siv4_sf(<4 x float> %x0, i8* %x1, <4 x i32> %x2, i8 %x3) {
483 ; CHECK-LABEL: test_int_x86_avx512_gather3siv4_sf:
484 ; CHECK:       ## BB#0:
485 ; CHECK-NEXT:    kmovb %esi, %k1
486 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
487 ; CHECK-NEXT:    vgatherdps (%rdi,%xmm1,4), %xmm2 {%k1}
488 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
489 ; CHECK-NEXT:    vgatherdps (%rdi,%xmm1,2), %xmm0 {%k1}
490 ; CHECK-NEXT:    vaddps %xmm0, %xmm2, %xmm0
491 ; CHECK-NEXT:    retq
492   %res = call <4 x float> @llvm.x86.avx512.gather3siv4.sf(<4 x float> %x0, i8* %x1, <4 x i32> %x2, i8 %x3, i32 4)
493   %res1 = call <4 x float> @llvm.x86.avx512.gather3siv4.sf(<4 x float> %x0, i8* %x1, <4 x i32> %x2, i8 -1, i32 2)
494   %res2 = fadd <4 x float> %res, %res1
495   ret <4 x float> %res2
496 }
497
498 declare <4 x i32> @llvm.x86.avx512.gather3siv4.si(<4 x i32>, i8*, <4 x i32>, i8, i32)
499
500 define <4 x i32>@test_int_x86_avx512_gather3siv4_si(<4 x i32> %x0, i8* %x1, <4 x i32> %x2, i8 %x3) {
501 ; CHECK-LABEL: test_int_x86_avx512_gather3siv4_si:
502 ; CHECK:       ## BB#0:
503 ; CHECK-NEXT:    kmovb %esi, %k1
504 ; CHECK-NEXT:    kxnorw %k2, %k2, %k2
505 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
506 ; CHECK-NEXT:    vpgatherdd (%rdi,%xmm1,4), %xmm2 {%k2}
507 ; CHECK-NEXT:    vpgatherdd (%rdi,%xmm1,2), %xmm0 {%k1}
508 ; CHECK-NEXT:    vpaddd %xmm0, %xmm2, %xmm0
509 ; CHECK-NEXT:    retq
510   %res = call <4 x i32> @llvm.x86.avx512.gather3siv4.si(<4 x i32> %x0, i8* %x1, <4 x i32> %x2, i8 -1, i32 4)
511   %res1 = call <4 x i32> @llvm.x86.avx512.gather3siv4.si(<4 x i32> %x0, i8* %x1, <4 x i32> %x2, i8 %x3, i32 2)
512   %res2 = add <4 x i32> %res, %res1
513   ret <4 x i32> %res2
514 }
515
516 declare <8 x float> @llvm.x86.avx512.gather3siv8.sf(<8 x float>, i8*, <8 x i32>, i8, i32)
517
518 define <8 x float>@test_int_x86_avx512_gather3siv8_sf(<8 x float> %x0, i8* %x1, <8 x i32> %x2, i8 %x3) {
519 ; CHECK-LABEL: test_int_x86_avx512_gather3siv8_sf:
520 ; CHECK:       ## BB#0:
521 ; CHECK-NEXT:    kmovb %esi, %k1
522 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
523 ; CHECK-NEXT:    vgatherdps (%rdi,%ymm1,4), %ymm2 {%k1}
524 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
525 ; CHECK-NEXT:    vgatherdps (%rdi,%ymm1,2), %ymm0 {%k1}
526 ; CHECK-NEXT:    vaddps %ymm0, %ymm2, %ymm0
527 ; CHECK-NEXT:    retq
528   %res = call <8 x float> @llvm.x86.avx512.gather3siv8.sf(<8 x float> %x0, i8* %x1, <8 x i32> %x2, i8 %x3, i32 4)
529   %res1 = call <8 x float> @llvm.x86.avx512.gather3siv8.sf(<8 x float> %x0, i8* %x1, <8 x i32> %x2, i8 -1, i32 2)
530   %res2 = fadd <8 x float> %res, %res1
531   ret <8 x float> %res2
532 }
533
534 declare <8 x i32> @llvm.x86.avx512.gather3siv8.si(<8 x i32>, i8*, <8 x i32>, i8, i32)
535
536 define <8 x i32>@test_int_x86_avx512_gather3siv8_si(<8 x i32> %x0, i8* %x1, <8 x i32> %x2, i8 %x3) {
537 ; CHECK-LABEL: test_int_x86_avx512_gather3siv8_si:
538 ; CHECK:       ## BB#0:
539 ; CHECK-NEXT:    kmovb %esi, %k1
540 ; CHECK-NEXT:    vmovaps %zmm0, %zmm2
541 ; CHECK-NEXT:    kmovw %k1, %k2
542 ; CHECK-NEXT:    vpgatherdd (%rdi,%ymm1,4), %ymm2 {%k2}
543 ; CHECK-NEXT:    vpgatherdd (%rdi,%ymm1,2), %ymm0 {%k1}
544 ; CHECK-NEXT:    vpaddd %ymm0, %ymm2, %ymm0
545 ; CHECK-NEXT:    retq
546   %res = call <8 x i32> @llvm.x86.avx512.gather3siv8.si(<8 x i32> %x0, i8* %x1, <8 x i32> %x2, i8 %x3, i32 4)
547   %res1 = call <8 x i32> @llvm.x86.avx512.gather3siv8.si(<8 x i32> %x0, i8* %x1, <8 x i32> %x2, i8 %x3, i32 2)
548   %res2 = add <8 x i32> %res, %res1
549   ret <8 x i32> %res2
550 }
551
552 declare void @llvm.x86.avx512.scatterdiv2.df(i8*, i8, <2 x i64>, <2 x double>, i32)
553
554 define void@test_int_x86_avx512_scatterdiv2_df(i8* %x0, i8 %x1, <2 x i64> %x2, <2 x double> %x3) {
555 ; CHECK-LABEL: test_int_x86_avx512_scatterdiv2_df:
556 ; CHECK:       ## BB#0:
557 ; CHECK-NEXT:    kmovb %esi, %k1
558 ; CHECK-NEXT:    kxnorw %k2, %k2, %k2
559 ; CHECK-NEXT:    vscatterqpd %xmm1, (%rdi,%xmm0,2) {%k2}
560 ; CHECK-NEXT:    vscatterqpd %xmm1, (%rdi,%xmm0,4) {%k1}
561 ; CHECK-NEXT:    retq
562   call void @llvm.x86.avx512.scatterdiv2.df(i8* %x0, i8 -1, <2 x i64> %x2, <2 x double> %x3, i32 2)
563   call void @llvm.x86.avx512.scatterdiv2.df(i8* %x0, i8 %x1, <2 x i64> %x2, <2 x double> %x3, i32 4)
564   ret void
565 }
566
567 declare void @llvm.x86.avx512.scatterdiv2.di(i8*, i8, <2 x i64>, <2 x i64>, i32)
568
569 define void@test_int_x86_avx512_scatterdiv2_di(i8* %x0, i8 %x1, <2 x i64> %x2, <2 x i64> %x3) {
570 ; CHECK-LABEL: test_int_x86_avx512_scatterdiv2_di:
571 ; CHECK:       ## BB#0:
572 ; CHECK-NEXT:    kmovb %esi, %k1
573 ; CHECK-NEXT:    vpscatterqq %xmm1, (%rdi,%xmm0,2) {%k1}
574 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
575 ; CHECK-NEXT:    vpscatterqq %xmm1, (%rdi,%xmm0,4) {%k1}
576 ; CHECK-NEXT:    retq
577   call void @llvm.x86.avx512.scatterdiv2.di(i8* %x0, i8 %x1, <2 x i64> %x2, <2 x i64> %x3, i32 2)
578   call void @llvm.x86.avx512.scatterdiv2.di(i8* %x0, i8 -1, <2 x i64> %x2, <2 x i64> %x3, i32 4)
579   ret void
580 }
581
582 declare void @llvm.x86.avx512.scatterdiv4.df(i8*, i8, <4 x i64>, <4 x double>, i32)
583
584 define void@test_int_x86_avx512_scatterdiv4_df(i8* %x0, i8 %x1, <4 x i64> %x2, <4 x double> %x3) {
585 ; CHECK-LABEL: test_int_x86_avx512_scatterdiv4_df:
586 ; CHECK:       ## BB#0:
587 ; CHECK-NEXT:    kmovb %esi, %k1
588 ; CHECK-NEXT:    vscatterqpd %ymm1, (%rdi,%ymm0,2) {%k1}
589 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
590 ; CHECK-NEXT:    vscatterqpd %ymm1, (%rdi,%ymm0,4) {%k1}
591 ; CHECK-NEXT:    retq
592   call void @llvm.x86.avx512.scatterdiv4.df(i8* %x0, i8 %x1, <4 x i64> %x2, <4 x double> %x3, i32 2)
593   call void @llvm.x86.avx512.scatterdiv4.df(i8* %x0, i8 -1, <4 x i64> %x2, <4 x double> %x3, i32 4)
594   ret void
595 }
596
597 declare void @llvm.x86.avx512.scatterdiv4.di(i8*, i8, <4 x i64>, <4 x i64>, i32)
598
599 define void@test_int_x86_avx512_scatterdiv4_di(i8* %x0, i8 %x1, <4 x i64> %x2, <4 x i64> %x3) {
600 ; CHECK-LABEL: test_int_x86_avx512_scatterdiv4_di:
601 ; CHECK:       ## BB#0:
602 ; CHECK-NEXT:    kmovb %esi, %k1
603 ; CHECK-NEXT:    vpscatterqq %ymm1, (%rdi,%ymm0,2) {%k1}
604 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
605 ; CHECK-NEXT:    vpscatterqq %ymm1, (%rdi,%ymm0,4) {%k1}
606 ; CHECK-NEXT:    retq
607   call void @llvm.x86.avx512.scatterdiv4.di(i8* %x0, i8 %x1, <4 x i64> %x2, <4 x i64> %x3, i32 2)
608   call void @llvm.x86.avx512.scatterdiv4.di(i8* %x0, i8 -1, <4 x i64> %x2, <4 x i64> %x3, i32 4)
609   ret void
610 }
611
612 declare void @llvm.x86.avx512.scatterdiv4.sf(i8*, i8, <2 x i64>, <4 x float>, i32)
613
614 define void@test_int_x86_avx512_scatterdiv4_sf(i8* %x0, i8 %x1, <2 x i64> %x2, <4 x float> %x3) {
615 ; CHECK-LABEL: test_int_x86_avx512_scatterdiv4_sf:
616 ; CHECK:       ## BB#0:
617 ; CHECK-NEXT:    kmovb %esi, %k1
618 ; CHECK-NEXT:    vscatterqps %xmm1, (%rdi,%xmm0,2) {%k1}
619 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
620 ; CHECK-NEXT:    vscatterqps %xmm1, (%rdi,%xmm0,4) {%k1}
621 ; CHECK-NEXT:    retq
622   call void @llvm.x86.avx512.scatterdiv4.sf(i8* %x0, i8 %x1, <2 x i64> %x2, <4 x float> %x3, i32 2)
623   call void @llvm.x86.avx512.scatterdiv4.sf(i8* %x0, i8 -1, <2 x i64> %x2, <4 x float> %x3, i32 4)
624   ret void
625 }
626
627 declare void @llvm.x86.avx512.scatterdiv4.si(i8*, i8, <2 x i64>, <4 x i32>, i32)
628
629 define void@test_int_x86_avx512_scatterdiv4_si(i8* %x0, i8 %x1, <2 x i64> %x2, <4 x i32> %x3) {
630 ; CHECK-LABEL: test_int_x86_avx512_scatterdiv4_si:
631 ; CHECK:       ## BB#0:
632 ; CHECK-NEXT:    kmovb %esi, %k1
633 ; CHECK-NEXT:    kxnorw %k2, %k2, %k2
634 ; CHECK-NEXT:    vpscatterqd %xmm1, (%rdi,%xmm0,2) {%k2}
635 ; CHECK-NEXT:    vpscatterqd %xmm1, (%rdi,%xmm0,4) {%k1}
636 ; CHECK-NEXT:    retq
637   call void @llvm.x86.avx512.scatterdiv4.si(i8* %x0, i8 -1, <2 x i64> %x2, <4 x i32> %x3, i32 2)
638   call void @llvm.x86.avx512.scatterdiv4.si(i8* %x0, i8 %x1, <2 x i64> %x2, <4 x i32> %x3, i32 4)
639   ret void
640 }
641
642 declare void @llvm.x86.avx512.scatterdiv8.sf(i8*, i8, <4 x i64>, <4 x float>, i32)
643
644 define void@test_int_x86_avx512_scatterdiv8_sf(i8* %x0, i8 %x1, <4 x i64> %x2, <4 x float> %x3) {
645 ; CHECK-LABEL: test_int_x86_avx512_scatterdiv8_sf:
646 ; CHECK:       ## BB#0:
647 ; CHECK-NEXT:    kmovb %esi, %k1
648 ; CHECK-NEXT:    vscatterqps %xmm1, (%rdi,%ymm0,2) {%k1}
649 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
650 ; CHECK-NEXT:    vscatterqps %xmm1, (%rdi,%ymm0,4) {%k1}
651 ; CHECK-NEXT:    retq
652   call void @llvm.x86.avx512.scatterdiv8.sf(i8* %x0, i8 %x1, <4 x i64> %x2, <4 x float> %x3, i32 2)
653   call void @llvm.x86.avx512.scatterdiv8.sf(i8* %x0, i8 -1, <4 x i64> %x2, <4 x float> %x3, i32 4)
654   ret void
655 }
656
657 declare void @llvm.x86.avx512.scatterdiv8.si(i8*, i8, <4 x i64>, <4 x i32>, i32)
658
659 define void@test_int_x86_avx512_scatterdiv8_si(i8* %x0, i8 %x1, <4 x i64> %x2, <4 x i32> %x3) {
660 ; CHECK-LABEL: test_int_x86_avx512_scatterdiv8_si:
661 ; CHECK:       ## BB#0:
662 ; CHECK-NEXT:    kmovb %esi, %k1
663 ; CHECK-NEXT:    vpscatterqd %xmm1, (%rdi,%ymm0,2) {%k1}
664 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
665 ; CHECK-NEXT:    vpscatterqd %xmm1, (%rdi,%ymm0,4) {%k1}
666 ; CHECK-NEXT:    retq
667   call void @llvm.x86.avx512.scatterdiv8.si(i8* %x0, i8 %x1, <4 x i64> %x2, <4 x i32> %x3, i32 2)
668   call void @llvm.x86.avx512.scatterdiv8.si(i8* %x0, i8 -1, <4 x i64> %x2, <4 x i32> %x3, i32 4)
669   ret void
670 }
671
672 declare void @llvm.x86.avx512.scattersiv2.df(i8*, i8, <4 x i32>, <2 x double>, i32)
673
674 define void@test_int_x86_avx512_scattersiv2_df(i8* %x0, i8 %x1, <4 x i32> %x2, <2 x double> %x3) {
675 ; CHECK-LABEL: test_int_x86_avx512_scattersiv2_df:
676 ; CHECK:       ## BB#0:
677 ; CHECK-NEXT:    kmovb %esi, %k1
678 ; CHECK-NEXT:    kxnorw %k2, %k2, %k2
679 ; CHECK-NEXT:    vscatterdpd %xmm1, (%rdi,%xmm0,2) {%k2}
680 ; CHECK-NEXT:    vscatterdpd %xmm1, (%rdi,%xmm0,4) {%k1}
681 ; CHECK-NEXT:    retq
682   call void @llvm.x86.avx512.scattersiv2.df(i8* %x0, i8 -1, <4 x i32> %x2, <2 x double> %x3, i32 2)
683   call void @llvm.x86.avx512.scattersiv2.df(i8* %x0, i8 %x1, <4 x i32> %x2, <2 x double> %x3, i32 4)
684   ret void
685 }
686
687 declare void @llvm.x86.avx512.scattersiv2.di(i8*, i8, <4 x i32>, <2 x i64>, i32)
688
689 define void@test_int_x86_avx512_scattersiv2_di(i8* %x0, i8 %x1, <4 x i32> %x2, <2 x i64> %x3) {
690 ; CHECK-LABEL: test_int_x86_avx512_scattersiv2_di:
691 ; CHECK:       ## BB#0:
692 ; CHECK-NEXT:    kmovb %esi, %k1
693 ; CHECK-NEXT:    kxnorw %k2, %k2, %k2
694 ; CHECK-NEXT:    vpscatterdq %xmm1, (%rdi,%xmm0,2) {%k2}
695 ; CHECK-NEXT:    vpscatterdq %xmm1, (%rdi,%xmm0,4) {%k1}
696 ; CHECK-NEXT:    retq
697   call void @llvm.x86.avx512.scattersiv2.di(i8* %x0, i8 -1, <4 x i32> %x2, <2 x i64> %x3, i32 2)
698   call void @llvm.x86.avx512.scattersiv2.di(i8* %x0, i8 %x1, <4 x i32> %x2, <2 x i64> %x3, i32 4)
699   ret void
700 }
701
702 declare void @llvm.x86.avx512.scattersiv4.df(i8*, i8, <4 x i32>, <4 x double>, i32)
703
704 define void@test_int_x86_avx512_scattersiv4_df(i8* %x0, i8 %x1, <4 x i32> %x2, <4 x double> %x3) {
705 ; CHECK-LABEL: test_int_x86_avx512_scattersiv4_df:
706 ; CHECK:       ## BB#0:
707 ; CHECK-NEXT:    kmovb %esi, %k1
708 ; CHECK-NEXT:    vscatterdpd %ymm1, (%rdi,%xmm0,2) {%k1}
709 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
710 ; CHECK-NEXT:    vscatterdpd %ymm1, (%rdi,%xmm0,4) {%k1}
711 ; CHECK-NEXT:    retq
712   call void @llvm.x86.avx512.scattersiv4.df(i8* %x0, i8 %x1, <4 x i32> %x2, <4 x double> %x3, i32 2)
713   call void @llvm.x86.avx512.scattersiv4.df(i8* %x0, i8 -1, <4 x i32> %x2, <4 x double> %x3, i32 4)
714   ret void
715 }
716
717 declare void @llvm.x86.avx512.scattersiv4.di(i8*, i8, <4 x i32>, <4 x i64>, i32)
718
719 define void@test_int_x86_avx512_scattersiv4_di(i8* %x0, i8 %x1, <4 x i32> %x2, <4 x i64> %x3) {
720 ; CHECK-LABEL: test_int_x86_avx512_scattersiv4_di:
721 ; CHECK:       ## BB#0:
722 ; CHECK-NEXT:    kmovb %esi, %k1
723 ; CHECK-NEXT:    kxnorw %k2, %k2, %k2
724 ; CHECK-NEXT:    vpscatterdq %ymm1, (%rdi,%xmm0,2) {%k2}
725 ; CHECK-NEXT:    vpscatterdq %ymm1, (%rdi,%xmm0,4) {%k1}
726 ; CHECK-NEXT:    retq
727   call void @llvm.x86.avx512.scattersiv4.di(i8* %x0, i8 -1, <4 x i32> %x2, <4 x i64> %x3, i32 2)
728   call void @llvm.x86.avx512.scattersiv4.di(i8* %x0, i8 %x1, <4 x i32> %x2, <4 x i64> %x3, i32 4)
729   ret void
730 }
731
732 declare void @llvm.x86.avx512.scattersiv4.sf(i8*, i8, <4 x i32>, <4 x float>, i32)
733
734 define void@test_int_x86_avx512_scattersiv4_sf(i8* %x0, i8 %x1, <4 x i32> %x2, <4 x float> %x3) {
735 ; CHECK-LABEL: test_int_x86_avx512_scattersiv4_sf:
736 ; CHECK:       ## BB#0:
737 ; CHECK-NEXT:    kmovb %esi, %k1
738 ; CHECK-NEXT:    vscatterdps %xmm1, (%rdi,%xmm0,2) {%k1}
739 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
740 ; CHECK-NEXT:    vscatterdps %xmm1, (%rdi,%xmm0,4) {%k1}
741 ; CHECK-NEXT:    retq
742   call void @llvm.x86.avx512.scattersiv4.sf(i8* %x0, i8 %x1, <4 x i32> %x2, <4 x float> %x3, i32 2)
743   call void @llvm.x86.avx512.scattersiv4.sf(i8* %x0, i8 -1, <4 x i32> %x2, <4 x float> %x3, i32 4)
744   ret void
745 }
746
747 declare void @llvm.x86.avx512.scattersiv4.si(i8*, i8, <4 x i32>, <4 x i32>, i32)
748
749 define void@test_int_x86_avx512_scattersiv4_si(i8* %x0, i8 %x1, <4 x i32> %x2, <4 x i32> %x3) {
750 ; CHECK-LABEL: test_int_x86_avx512_scattersiv4_si:
751 ; CHECK:       ## BB#0:
752 ; CHECK-NEXT:    kmovb %esi, %k1
753 ; CHECK-NEXT:    vpscatterdd %xmm1, (%rdi,%xmm0,2) {%k1}
754 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
755 ; CHECK-NEXT:    vpscatterdd %xmm1, (%rdi,%xmm0,4) {%k1}
756 ; CHECK-NEXT:    retq
757   call void @llvm.x86.avx512.scattersiv4.si(i8* %x0, i8 %x1, <4 x i32> %x2, <4 x i32> %x3, i32 2)
758   call void @llvm.x86.avx512.scattersiv4.si(i8* %x0, i8 -1, <4 x i32> %x2, <4 x i32> %x3, i32 4)
759   ret void
760 }
761
762 declare void @llvm.x86.avx512.scattersiv8.sf(i8*, i8, <8 x i32>, <8 x float>, i32)
763
764 define void@test_int_x86_avx512_scattersiv8_sf(i8* %x0, i8 %x1, <8 x i32> %x2, <8 x float> %x3) {
765 ; CHECK-LABEL: test_int_x86_avx512_scattersiv8_sf:
766 ; CHECK:       ## BB#0:
767 ; CHECK-NEXT:    kmovb %esi, %k1
768 ; CHECK-NEXT:    vscatterdps %ymm1, (%rdi,%ymm0,2) {%k1}
769 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
770 ; CHECK-NEXT:    vscatterdps %ymm1, (%rdi,%ymm0,4) {%k1}
771 ; CHECK-NEXT:    retq
772   call void @llvm.x86.avx512.scattersiv8.sf(i8* %x0, i8 %x1, <8 x i32> %x2, <8 x float> %x3, i32 2)
773   call void @llvm.x86.avx512.scattersiv8.sf(i8* %x0, i8 -1, <8 x i32> %x2, <8 x float> %x3, i32 4)
774   ret void
775 }
776
777 declare void @llvm.x86.avx512.scattersiv8.si(i8*, i8, <8 x i32>, <8 x i32>, i32)
778
779 define void@test_int_x86_avx512_scattersiv8_si(i8* %x0, i8 %x1, <8 x i32> %x2, <8 x i32> %x3) {
780 ; CHECK-LABEL: test_int_x86_avx512_scattersiv8_si:
781 ; CHECK:       ## BB#0:
782 ; CHECK-NEXT:    kmovb %esi, %k1
783 ; CHECK-NEXT:    vpscatterdd %ymm1, (%rdi,%ymm0,2) {%k1}
784 ; CHECK-NEXT:    kxnorw %k1, %k1, %k1
785 ; CHECK-NEXT:    vpscatterdd %ymm1, (%rdi,%ymm0,4) {%k1}
786 ; CHECK-NEXT:    retq
787   call void @llvm.x86.avx512.scattersiv8.si(i8* %x0, i8 %x1, <8 x i32> %x2, <8 x i32> %x3, i32 2)
788   call void @llvm.x86.avx512.scattersiv8.si(i8* %x0, i8 -1, <8 x i32> %x2, <8 x i32> %x3, i32 4)
789   ret void
790 }
791