1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX1
7 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX2
8 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -mcpu=knl -mattr=+avx512bw | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512BW
10 ; Just one 32-bit run to make sure we do reasonable things for i64 shifts.
11 ; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=ALL --check-prefix=X32-SSE --check-prefix=X32-SSE2
17 define <2 x i64> @var_shift_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
18 ; SSE2-LABEL: var_shift_v2i64:
20 ; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
21 ; SSE2-NEXT: movdqa %xmm0, %xmm2
22 ; SSE2-NEXT: psllq %xmm3, %xmm2
23 ; SSE2-NEXT: psllq %xmm1, %xmm0
24 ; SSE2-NEXT: movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
25 ; SSE2-NEXT: movapd %xmm2, %xmm0
28 ; SSE41-LABEL: var_shift_v2i64:
30 ; SSE41-NEXT: movdqa %xmm0, %xmm2
31 ; SSE41-NEXT: psllq %xmm1, %xmm2
32 ; SSE41-NEXT: pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
33 ; SSE41-NEXT: psllq %xmm1, %xmm0
34 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5,6,7]
37 ; AVX1-LABEL: var_shift_v2i64:
39 ; AVX1-NEXT: vpsllq %xmm1, %xmm0, %xmm2
40 ; AVX1-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
41 ; AVX1-NEXT: vpsllq %xmm1, %xmm0, %xmm0
42 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5,6,7]
45 ; AVX2-LABEL: var_shift_v2i64:
47 ; AVX2-NEXT: vpsllvq %xmm1, %xmm0, %xmm0
50 ; XOPAVX1-LABEL: var_shift_v2i64:
52 ; XOPAVX1-NEXT: vpshlq %xmm1, %xmm0, %xmm0
55 ; XOPAVX2-LABEL: var_shift_v2i64:
57 ; XOPAVX2-NEXT: vpsllvq %xmm1, %xmm0, %xmm0
60 ; AVX512-LABEL: var_shift_v2i64:
62 ; AVX512-NEXT: vpsllvq %xmm1, %xmm0, %xmm0
65 ; X32-SSE-LABEL: var_shift_v2i64:
67 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
68 ; X32-SSE-NEXT: movdqa %xmm0, %xmm2
69 ; X32-SSE-NEXT: psllq %xmm3, %xmm2
70 ; X32-SSE-NEXT: movq {{.*#+}} xmm1 = xmm1[0],zero
71 ; X32-SSE-NEXT: psllq %xmm1, %xmm0
72 ; X32-SSE-NEXT: movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
73 ; X32-SSE-NEXT: movapd %xmm2, %xmm0
75 %shift = shl <2 x i64> %a, %b
79 define <4 x i32> @var_shift_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
80 ; SSE2-LABEL: var_shift_v4i32:
82 ; SSE2-NEXT: pslld $23, %xmm1
83 ; SSE2-NEXT: paddd {{.*}}(%rip), %xmm1
84 ; SSE2-NEXT: cvttps2dq %xmm1, %xmm1
85 ; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
86 ; SSE2-NEXT: pmuludq %xmm0, %xmm1
87 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
88 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
89 ; SSE2-NEXT: pmuludq %xmm2, %xmm0
90 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
91 ; SSE2-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
92 ; SSE2-NEXT: movdqa %xmm1, %xmm0
95 ; SSE41-LABEL: var_shift_v4i32:
97 ; SSE41-NEXT: pslld $23, %xmm1
98 ; SSE41-NEXT: paddd {{.*}}(%rip), %xmm1
99 ; SSE41-NEXT: cvttps2dq %xmm1, %xmm1
100 ; SSE41-NEXT: pmulld %xmm1, %xmm0
103 ; AVX1-LABEL: var_shift_v4i32:
105 ; AVX1-NEXT: vpslld $23, %xmm1, %xmm1
106 ; AVX1-NEXT: vpaddd {{.*}}(%rip), %xmm1, %xmm1
107 ; AVX1-NEXT: vcvttps2dq %xmm1, %xmm1
108 ; AVX1-NEXT: vpmulld %xmm0, %xmm1, %xmm0
111 ; AVX2-LABEL: var_shift_v4i32:
113 ; AVX2-NEXT: vpsllvd %xmm1, %xmm0, %xmm0
116 ; XOPAVX1-LABEL: var_shift_v4i32:
118 ; XOPAVX1-NEXT: vpshld %xmm1, %xmm0, %xmm0
121 ; XOPAVX2-LABEL: var_shift_v4i32:
123 ; XOPAVX2-NEXT: vpsllvd %xmm1, %xmm0, %xmm0
126 ; AVX512-LABEL: var_shift_v4i32:
128 ; AVX512-NEXT: vpsllvd %xmm1, %xmm0, %xmm0
131 ; X32-SSE-LABEL: var_shift_v4i32:
133 ; X32-SSE-NEXT: pslld $23, %xmm1
134 ; X32-SSE-NEXT: paddd .LCPI1_0, %xmm1
135 ; X32-SSE-NEXT: cvttps2dq %xmm1, %xmm1
136 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
137 ; X32-SSE-NEXT: pmuludq %xmm0, %xmm1
138 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
139 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm0[1,1,3,3]
140 ; X32-SSE-NEXT: pmuludq %xmm2, %xmm0
141 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
142 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1]
143 ; X32-SSE-NEXT: movdqa %xmm1, %xmm0
145 %shift = shl <4 x i32> %a, %b
149 define <8 x i16> @var_shift_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
150 ; SSE2-LABEL: var_shift_v8i16:
152 ; SSE2-NEXT: psllw $12, %xmm1
153 ; SSE2-NEXT: movdqa %xmm1, %xmm2
154 ; SSE2-NEXT: psraw $15, %xmm2
155 ; SSE2-NEXT: movdqa %xmm2, %xmm3
156 ; SSE2-NEXT: pandn %xmm0, %xmm3
157 ; SSE2-NEXT: psllw $8, %xmm0
158 ; SSE2-NEXT: pand %xmm2, %xmm0
159 ; SSE2-NEXT: por %xmm3, %xmm0
160 ; SSE2-NEXT: paddw %xmm1, %xmm1
161 ; SSE2-NEXT: movdqa %xmm1, %xmm2
162 ; SSE2-NEXT: psraw $15, %xmm2
163 ; SSE2-NEXT: movdqa %xmm2, %xmm3
164 ; SSE2-NEXT: pandn %xmm0, %xmm3
165 ; SSE2-NEXT: psllw $4, %xmm0
166 ; SSE2-NEXT: pand %xmm2, %xmm0
167 ; SSE2-NEXT: por %xmm3, %xmm0
168 ; SSE2-NEXT: paddw %xmm1, %xmm1
169 ; SSE2-NEXT: movdqa %xmm1, %xmm2
170 ; SSE2-NEXT: psraw $15, %xmm2
171 ; SSE2-NEXT: movdqa %xmm2, %xmm3
172 ; SSE2-NEXT: pandn %xmm0, %xmm3
173 ; SSE2-NEXT: psllw $2, %xmm0
174 ; SSE2-NEXT: pand %xmm2, %xmm0
175 ; SSE2-NEXT: por %xmm3, %xmm0
176 ; SSE2-NEXT: paddw %xmm1, %xmm1
177 ; SSE2-NEXT: psraw $15, %xmm1
178 ; SSE2-NEXT: movdqa %xmm1, %xmm2
179 ; SSE2-NEXT: pandn %xmm0, %xmm2
180 ; SSE2-NEXT: psllw $1, %xmm0
181 ; SSE2-NEXT: pand %xmm1, %xmm0
182 ; SSE2-NEXT: por %xmm2, %xmm0
185 ; SSE41-LABEL: var_shift_v8i16:
187 ; SSE41-NEXT: movdqa %xmm0, %xmm2
188 ; SSE41-NEXT: movdqa %xmm1, %xmm0
189 ; SSE41-NEXT: psllw $12, %xmm0
190 ; SSE41-NEXT: psllw $4, %xmm1
191 ; SSE41-NEXT: por %xmm0, %xmm1
192 ; SSE41-NEXT: movdqa %xmm1, %xmm3
193 ; SSE41-NEXT: paddw %xmm3, %xmm3
194 ; SSE41-NEXT: movdqa %xmm2, %xmm4
195 ; SSE41-NEXT: psllw $8, %xmm4
196 ; SSE41-NEXT: movdqa %xmm1, %xmm0
197 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
198 ; SSE41-NEXT: movdqa %xmm2, %xmm1
199 ; SSE41-NEXT: psllw $4, %xmm1
200 ; SSE41-NEXT: movdqa %xmm3, %xmm0
201 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
202 ; SSE41-NEXT: movdqa %xmm2, %xmm1
203 ; SSE41-NEXT: psllw $2, %xmm1
204 ; SSE41-NEXT: paddw %xmm3, %xmm3
205 ; SSE41-NEXT: movdqa %xmm3, %xmm0
206 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
207 ; SSE41-NEXT: movdqa %xmm2, %xmm1
208 ; SSE41-NEXT: psllw $1, %xmm1
209 ; SSE41-NEXT: paddw %xmm3, %xmm3
210 ; SSE41-NEXT: movdqa %xmm3, %xmm0
211 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
212 ; SSE41-NEXT: movdqa %xmm2, %xmm0
215 ; AVX1-LABEL: var_shift_v8i16:
217 ; AVX1-NEXT: vpsllw $12, %xmm1, %xmm2
218 ; AVX1-NEXT: vpsllw $4, %xmm1, %xmm1
219 ; AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1
220 ; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm2
221 ; AVX1-NEXT: vpsllw $8, %xmm0, %xmm3
222 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
223 ; AVX1-NEXT: vpsllw $4, %xmm0, %xmm1
224 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
225 ; AVX1-NEXT: vpsllw $2, %xmm0, %xmm1
226 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
227 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
228 ; AVX1-NEXT: vpsllw $1, %xmm0, %xmm1
229 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
230 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
233 ; AVX2-LABEL: var_shift_v8i16:
235 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
236 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
237 ; AVX2-NEXT: vpsllvd %ymm1, %ymm0, %ymm0
238 ; AVX2-NEXT: vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,20,21,24,25,28,29],zero,zero,zero,zero,zero,zero,zero,zero
239 ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
240 ; AVX2-NEXT: vzeroupper
243 ; XOP-LABEL: var_shift_v8i16:
245 ; XOP-NEXT: vpshlw %xmm1, %xmm0, %xmm0
248 ; AVX512-LABEL: var_shift_v8i16:
250 ; AVX512-NEXT: vpsllvw %zmm1, %zmm0, %zmm0
253 ; X32-SSE-LABEL: var_shift_v8i16:
255 ; X32-SSE-NEXT: psllw $12, %xmm1
256 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
257 ; X32-SSE-NEXT: psraw $15, %xmm2
258 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
259 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
260 ; X32-SSE-NEXT: psllw $8, %xmm0
261 ; X32-SSE-NEXT: pand %xmm2, %xmm0
262 ; X32-SSE-NEXT: por %xmm3, %xmm0
263 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
264 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
265 ; X32-SSE-NEXT: psraw $15, %xmm2
266 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
267 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
268 ; X32-SSE-NEXT: psllw $4, %xmm0
269 ; X32-SSE-NEXT: pand %xmm2, %xmm0
270 ; X32-SSE-NEXT: por %xmm3, %xmm0
271 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
272 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
273 ; X32-SSE-NEXT: psraw $15, %xmm2
274 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
275 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
276 ; X32-SSE-NEXT: psllw $2, %xmm0
277 ; X32-SSE-NEXT: pand %xmm2, %xmm0
278 ; X32-SSE-NEXT: por %xmm3, %xmm0
279 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
280 ; X32-SSE-NEXT: psraw $15, %xmm1
281 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
282 ; X32-SSE-NEXT: pandn %xmm0, %xmm2
283 ; X32-SSE-NEXT: psllw $1, %xmm0
284 ; X32-SSE-NEXT: pand %xmm1, %xmm0
285 ; X32-SSE-NEXT: por %xmm2, %xmm0
287 %shift = shl <8 x i16> %a, %b
291 define <16 x i8> @var_shift_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
292 ; SSE2-LABEL: var_shift_v16i8:
294 ; SSE2-NEXT: psllw $5, %xmm1
295 ; SSE2-NEXT: pxor %xmm2, %xmm2
296 ; SSE2-NEXT: pxor %xmm3, %xmm3
297 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm3
298 ; SSE2-NEXT: movdqa %xmm3, %xmm4
299 ; SSE2-NEXT: pandn %xmm0, %xmm4
300 ; SSE2-NEXT: psllw $4, %xmm0
301 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
302 ; SSE2-NEXT: pand %xmm3, %xmm0
303 ; SSE2-NEXT: por %xmm4, %xmm0
304 ; SSE2-NEXT: paddb %xmm1, %xmm1
305 ; SSE2-NEXT: pxor %xmm3, %xmm3
306 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm3
307 ; SSE2-NEXT: movdqa %xmm3, %xmm4
308 ; SSE2-NEXT: pandn %xmm0, %xmm4
309 ; SSE2-NEXT: psllw $2, %xmm0
310 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
311 ; SSE2-NEXT: pand %xmm3, %xmm0
312 ; SSE2-NEXT: por %xmm4, %xmm0
313 ; SSE2-NEXT: paddb %xmm1, %xmm1
314 ; SSE2-NEXT: pcmpgtb %xmm1, %xmm2
315 ; SSE2-NEXT: movdqa %xmm2, %xmm1
316 ; SSE2-NEXT: pandn %xmm0, %xmm1
317 ; SSE2-NEXT: paddb %xmm0, %xmm0
318 ; SSE2-NEXT: pand %xmm2, %xmm0
319 ; SSE2-NEXT: por %xmm1, %xmm0
322 ; SSE41-LABEL: var_shift_v16i8:
324 ; SSE41-NEXT: movdqa %xmm0, %xmm2
325 ; SSE41-NEXT: psllw $5, %xmm1
326 ; SSE41-NEXT: movdqa %xmm2, %xmm3
327 ; SSE41-NEXT: psllw $4, %xmm3
328 ; SSE41-NEXT: pand {{.*}}(%rip), %xmm3
329 ; SSE41-NEXT: movdqa %xmm1, %xmm0
330 ; SSE41-NEXT: pblendvb %xmm3, %xmm2
331 ; SSE41-NEXT: movdqa %xmm2, %xmm3
332 ; SSE41-NEXT: psllw $2, %xmm3
333 ; SSE41-NEXT: pand {{.*}}(%rip), %xmm3
334 ; SSE41-NEXT: paddb %xmm1, %xmm1
335 ; SSE41-NEXT: movdqa %xmm1, %xmm0
336 ; SSE41-NEXT: pblendvb %xmm3, %xmm2
337 ; SSE41-NEXT: movdqa %xmm2, %xmm3
338 ; SSE41-NEXT: paddb %xmm3, %xmm3
339 ; SSE41-NEXT: paddb %xmm1, %xmm1
340 ; SSE41-NEXT: movdqa %xmm1, %xmm0
341 ; SSE41-NEXT: pblendvb %xmm3, %xmm2
342 ; SSE41-NEXT: movdqa %xmm2, %xmm0
345 ; AVX-LABEL: var_shift_v16i8:
347 ; AVX-NEXT: vpsllw $5, %xmm1, %xmm1
348 ; AVX-NEXT: vpsllw $4, %xmm0, %xmm2
349 ; AVX-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
350 ; AVX-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
351 ; AVX-NEXT: vpsllw $2, %xmm0, %xmm2
352 ; AVX-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
353 ; AVX-NEXT: vpaddb %xmm1, %xmm1, %xmm1
354 ; AVX-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
355 ; AVX-NEXT: vpaddb %xmm0, %xmm0, %xmm2
356 ; AVX-NEXT: vpaddb %xmm1, %xmm1, %xmm1
357 ; AVX-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
360 ; XOP-LABEL: var_shift_v16i8:
362 ; XOP-NEXT: vpshlb %xmm1, %xmm0, %xmm0
365 ; AVX512-LABEL: var_shift_v16i8:
367 ; AVX512-NEXT: vpsllw $5, %xmm1, %xmm1
368 ; AVX512-NEXT: vpsllw $4, %xmm0, %xmm2
369 ; AVX512-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
370 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
371 ; AVX512-NEXT: vpsllw $2, %xmm0, %xmm2
372 ; AVX512-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
373 ; AVX512-NEXT: vpaddb %xmm1, %xmm1, %xmm1
374 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
375 ; AVX512-NEXT: vpaddb %xmm0, %xmm0, %xmm2
376 ; AVX512-NEXT: vpaddb %xmm1, %xmm1, %xmm1
377 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
380 ; X32-SSE-LABEL: var_shift_v16i8:
382 ; X32-SSE-NEXT: psllw $5, %xmm1
383 ; X32-SSE-NEXT: pxor %xmm2, %xmm2
384 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
385 ; X32-SSE-NEXT: pcmpgtb %xmm1, %xmm3
386 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
387 ; X32-SSE-NEXT: pandn %xmm0, %xmm4
388 ; X32-SSE-NEXT: psllw $4, %xmm0
389 ; X32-SSE-NEXT: pand .LCPI3_0, %xmm0
390 ; X32-SSE-NEXT: pand %xmm3, %xmm0
391 ; X32-SSE-NEXT: por %xmm4, %xmm0
392 ; X32-SSE-NEXT: paddb %xmm1, %xmm1
393 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
394 ; X32-SSE-NEXT: pcmpgtb %xmm1, %xmm3
395 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
396 ; X32-SSE-NEXT: pandn %xmm0, %xmm4
397 ; X32-SSE-NEXT: psllw $2, %xmm0
398 ; X32-SSE-NEXT: pand .LCPI3_1, %xmm0
399 ; X32-SSE-NEXT: pand %xmm3, %xmm0
400 ; X32-SSE-NEXT: por %xmm4, %xmm0
401 ; X32-SSE-NEXT: paddb %xmm1, %xmm1
402 ; X32-SSE-NEXT: pcmpgtb %xmm1, %xmm2
403 ; X32-SSE-NEXT: movdqa %xmm2, %xmm1
404 ; X32-SSE-NEXT: pandn %xmm0, %xmm1
405 ; X32-SSE-NEXT: paddb %xmm0, %xmm0
406 ; X32-SSE-NEXT: pand %xmm2, %xmm0
407 ; X32-SSE-NEXT: por %xmm1, %xmm0
409 %shift = shl <16 x i8> %a, %b
414 ; Uniform Variable Shifts
417 define <2 x i64> @splatvar_shift_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
418 ; SSE-LABEL: splatvar_shift_v2i64:
420 ; SSE-NEXT: psllq %xmm1, %xmm0
423 ; AVX-LABEL: splatvar_shift_v2i64:
425 ; AVX-NEXT: vpsllq %xmm1, %xmm0, %xmm0
428 ; XOP-LABEL: splatvar_shift_v2i64:
430 ; XOP-NEXT: vpsllq %xmm1, %xmm0, %xmm0
433 ; AVX512-LABEL: splatvar_shift_v2i64:
435 ; AVX512-NEXT: vpsllq %xmm1, %xmm0, %xmm0
438 ; X32-SSE-LABEL: splatvar_shift_v2i64:
440 ; X32-SSE-NEXT: movq {{.*#+}} xmm1 = xmm1[0],zero
441 ; X32-SSE-NEXT: psllq %xmm1, %xmm0
443 %splat = shufflevector <2 x i64> %b, <2 x i64> undef, <2 x i32> zeroinitializer
444 %shift = shl <2 x i64> %a, %splat
448 define <4 x i32> @splatvar_shift_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
449 ; SSE2-LABEL: splatvar_shift_v4i32:
451 ; SSE2-NEXT: xorps %xmm2, %xmm2
452 ; SSE2-NEXT: movss {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3]
453 ; SSE2-NEXT: pslld %xmm2, %xmm0
456 ; SSE41-LABEL: splatvar_shift_v4i32:
458 ; SSE41-NEXT: pxor %xmm2, %xmm2
459 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3,4,5,6,7]
460 ; SSE41-NEXT: pslld %xmm2, %xmm0
463 ; AVX-LABEL: splatvar_shift_v4i32:
465 ; AVX-NEXT: vpxor %xmm2, %xmm2, %xmm2
466 ; AVX-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
467 ; AVX-NEXT: vpslld %xmm1, %xmm0, %xmm0
470 ; XOP-LABEL: splatvar_shift_v4i32:
472 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
473 ; XOP-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
474 ; XOP-NEXT: vpslld %xmm1, %xmm0, %xmm0
477 ; AVX512-LABEL: splatvar_shift_v4i32:
479 ; AVX512-NEXT: vxorps %xmm2, %xmm2, %xmm2
480 ; AVX512-NEXT: vmovss %xmm1, %xmm2, %xmm1
481 ; AVX512-NEXT: vpslld %xmm1, %xmm0, %xmm0
484 ; X32-SSE-LABEL: splatvar_shift_v4i32:
486 ; X32-SSE-NEXT: xorps %xmm2, %xmm2
487 ; X32-SSE-NEXT: movss {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3]
488 ; X32-SSE-NEXT: pslld %xmm2, %xmm0
490 %splat = shufflevector <4 x i32> %b, <4 x i32> undef, <4 x i32> zeroinitializer
491 %shift = shl <4 x i32> %a, %splat
495 define <8 x i16> @splatvar_shift_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
496 ; SSE2-LABEL: splatvar_shift_v8i16:
498 ; SSE2-NEXT: movd %xmm1, %eax
499 ; SSE2-NEXT: movzwl %ax, %eax
500 ; SSE2-NEXT: movd %eax, %xmm1
501 ; SSE2-NEXT: psllw %xmm1, %xmm0
504 ; SSE41-LABEL: splatvar_shift_v8i16:
506 ; SSE41-NEXT: pxor %xmm2, %xmm2
507 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3,4,5,6,7]
508 ; SSE41-NEXT: psllw %xmm2, %xmm0
511 ; AVX-LABEL: splatvar_shift_v8i16:
513 ; AVX-NEXT: vpxor %xmm2, %xmm2, %xmm2
514 ; AVX-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0],xmm2[1,2,3,4,5,6,7]
515 ; AVX-NEXT: vpsllw %xmm1, %xmm0, %xmm0
518 ; XOP-LABEL: splatvar_shift_v8i16:
520 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
521 ; XOP-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0],xmm2[1,2,3,4,5,6,7]
522 ; XOP-NEXT: vpsllw %xmm1, %xmm0, %xmm0
525 ; AVX512-LABEL: splatvar_shift_v8i16:
527 ; AVX512-NEXT: vpxor %xmm2, %xmm2, %xmm2
528 ; AVX512-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0],xmm2[1,2,3,4,5,6,7]
529 ; AVX512-NEXT: vpsllw %xmm1, %xmm0, %xmm0
532 ; X32-SSE-LABEL: splatvar_shift_v8i16:
534 ; X32-SSE-NEXT: movd %xmm1, %eax
535 ; X32-SSE-NEXT: movzwl %ax, %eax
536 ; X32-SSE-NEXT: movd %eax, %xmm1
537 ; X32-SSE-NEXT: psllw %xmm1, %xmm0
539 %splat = shufflevector <8 x i16> %b, <8 x i16> undef, <8 x i32> zeroinitializer
540 %shift = shl <8 x i16> %a, %splat
544 define <16 x i8> @splatvar_shift_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
545 ; SSE2-LABEL: splatvar_shift_v16i8:
547 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
548 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,1,0,3]
549 ; SSE2-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,0,0,0,4,5,6,7]
550 ; SSE2-NEXT: pshufhw {{.*#+}} xmm2 = xmm1[0,1,2,3,4,4,4,4]
551 ; SSE2-NEXT: psllw $5, %xmm2
552 ; SSE2-NEXT: pxor %xmm1, %xmm1
553 ; SSE2-NEXT: pxor %xmm3, %xmm3
554 ; SSE2-NEXT: pcmpgtb %xmm2, %xmm3
555 ; SSE2-NEXT: movdqa %xmm3, %xmm4
556 ; SSE2-NEXT: pandn %xmm0, %xmm4
557 ; SSE2-NEXT: psllw $4, %xmm0
558 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
559 ; SSE2-NEXT: pand %xmm3, %xmm0
560 ; SSE2-NEXT: por %xmm4, %xmm0
561 ; SSE2-NEXT: paddb %xmm2, %xmm2
562 ; SSE2-NEXT: pxor %xmm3, %xmm3
563 ; SSE2-NEXT: pcmpgtb %xmm2, %xmm3
564 ; SSE2-NEXT: movdqa %xmm3, %xmm4
565 ; SSE2-NEXT: pandn %xmm0, %xmm4
566 ; SSE2-NEXT: psllw $2, %xmm0
567 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
568 ; SSE2-NEXT: pand %xmm3, %xmm0
569 ; SSE2-NEXT: por %xmm4, %xmm0
570 ; SSE2-NEXT: paddb %xmm2, %xmm2
571 ; SSE2-NEXT: pcmpgtb %xmm2, %xmm1
572 ; SSE2-NEXT: movdqa %xmm1, %xmm2
573 ; SSE2-NEXT: pandn %xmm0, %xmm2
574 ; SSE2-NEXT: paddb %xmm0, %xmm0
575 ; SSE2-NEXT: pand %xmm1, %xmm0
576 ; SSE2-NEXT: por %xmm2, %xmm0
579 ; SSE41-LABEL: splatvar_shift_v16i8:
581 ; SSE41-NEXT: movdqa %xmm0, %xmm2
582 ; SSE41-NEXT: pxor %xmm0, %xmm0
583 ; SSE41-NEXT: pshufb %xmm0, %xmm1
584 ; SSE41-NEXT: psllw $5, %xmm1
585 ; SSE41-NEXT: movdqa %xmm1, %xmm3
586 ; SSE41-NEXT: paddb %xmm3, %xmm3
587 ; SSE41-NEXT: movdqa %xmm2, %xmm4
588 ; SSE41-NEXT: psllw $4, %xmm4
589 ; SSE41-NEXT: pand {{.*}}(%rip), %xmm4
590 ; SSE41-NEXT: movdqa %xmm1, %xmm0
591 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
592 ; SSE41-NEXT: movdqa %xmm2, %xmm1
593 ; SSE41-NEXT: psllw $2, %xmm1
594 ; SSE41-NEXT: pand {{.*}}(%rip), %xmm1
595 ; SSE41-NEXT: movdqa %xmm3, %xmm0
596 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
597 ; SSE41-NEXT: movdqa %xmm2, %xmm1
598 ; SSE41-NEXT: paddb %xmm1, %xmm1
599 ; SSE41-NEXT: paddb %xmm3, %xmm3
600 ; SSE41-NEXT: movdqa %xmm3, %xmm0
601 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
602 ; SSE41-NEXT: movdqa %xmm2, %xmm0
605 ; AVX1-LABEL: splatvar_shift_v16i8:
607 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
608 ; AVX1-NEXT: vpshufb %xmm2, %xmm1, %xmm1
609 ; AVX1-NEXT: vpsllw $5, %xmm1, %xmm1
610 ; AVX1-NEXT: vpaddb %xmm1, %xmm1, %xmm2
611 ; AVX1-NEXT: vpsllw $4, %xmm0, %xmm3
612 ; AVX1-NEXT: vpand {{.*}}(%rip), %xmm3, %xmm3
613 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
614 ; AVX1-NEXT: vpsllw $2, %xmm0, %xmm1
615 ; AVX1-NEXT: vpand {{.*}}(%rip), %xmm1, %xmm1
616 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
617 ; AVX1-NEXT: vpaddb %xmm0, %xmm0, %xmm1
618 ; AVX1-NEXT: vpaddb %xmm2, %xmm2, %xmm2
619 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
622 ; AVX2-LABEL: splatvar_shift_v16i8:
624 ; AVX2-NEXT: vpbroadcastb %xmm1, %xmm1
625 ; AVX2-NEXT: vpsllw $5, %xmm1, %xmm1
626 ; AVX2-NEXT: vpsllw $4, %xmm0, %xmm2
627 ; AVX2-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
628 ; AVX2-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
629 ; AVX2-NEXT: vpsllw $2, %xmm0, %xmm2
630 ; AVX2-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
631 ; AVX2-NEXT: vpaddb %xmm1, %xmm1, %xmm1
632 ; AVX2-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
633 ; AVX2-NEXT: vpaddb %xmm0, %xmm0, %xmm2
634 ; AVX2-NEXT: vpaddb %xmm1, %xmm1, %xmm1
635 ; AVX2-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
638 ; XOPAVX1-LABEL: splatvar_shift_v16i8:
640 ; XOPAVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
641 ; XOPAVX1-NEXT: vpshufb %xmm2, %xmm1, %xmm1
642 ; XOPAVX1-NEXT: vpshlb %xmm1, %xmm0, %xmm0
645 ; XOPAVX2-LABEL: splatvar_shift_v16i8:
647 ; XOPAVX2-NEXT: vpbroadcastb %xmm1, %xmm1
648 ; XOPAVX2-NEXT: vpshlb %xmm1, %xmm0, %xmm0
651 ; AVX512-LABEL: splatvar_shift_v16i8:
653 ; AVX512-NEXT: vpbroadcastb %xmm1, %xmm1
654 ; AVX512-NEXT: vpsllw $5, %xmm1, %xmm1
655 ; AVX512-NEXT: vpsllw $4, %xmm0, %xmm2
656 ; AVX512-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
657 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
658 ; AVX512-NEXT: vpsllw $2, %xmm0, %xmm2
659 ; AVX512-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
660 ; AVX512-NEXT: vpaddb %xmm1, %xmm1, %xmm1
661 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
662 ; AVX512-NEXT: vpaddb %xmm0, %xmm0, %xmm2
663 ; AVX512-NEXT: vpaddb %xmm1, %xmm1, %xmm1
664 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
667 ; X32-SSE-LABEL: splatvar_shift_v16i8:
669 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
670 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,1,0,3]
671 ; X32-SSE-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,0,0,0,4,5,6,7]
672 ; X32-SSE-NEXT: pshufhw {{.*#+}} xmm2 = xmm1[0,1,2,3,4,4,4,4]
673 ; X32-SSE-NEXT: psllw $5, %xmm2
674 ; X32-SSE-NEXT: pxor %xmm1, %xmm1
675 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
676 ; X32-SSE-NEXT: pcmpgtb %xmm2, %xmm3
677 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
678 ; X32-SSE-NEXT: pandn %xmm0, %xmm4
679 ; X32-SSE-NEXT: psllw $4, %xmm0
680 ; X32-SSE-NEXT: pand .LCPI7_0, %xmm0
681 ; X32-SSE-NEXT: pand %xmm3, %xmm0
682 ; X32-SSE-NEXT: por %xmm4, %xmm0
683 ; X32-SSE-NEXT: paddb %xmm2, %xmm2
684 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
685 ; X32-SSE-NEXT: pcmpgtb %xmm2, %xmm3
686 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
687 ; X32-SSE-NEXT: pandn %xmm0, %xmm4
688 ; X32-SSE-NEXT: psllw $2, %xmm0
689 ; X32-SSE-NEXT: pand .LCPI7_1, %xmm0
690 ; X32-SSE-NEXT: pand %xmm3, %xmm0
691 ; X32-SSE-NEXT: por %xmm4, %xmm0
692 ; X32-SSE-NEXT: paddb %xmm2, %xmm2
693 ; X32-SSE-NEXT: pcmpgtb %xmm2, %xmm1
694 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
695 ; X32-SSE-NEXT: pandn %xmm0, %xmm2
696 ; X32-SSE-NEXT: paddb %xmm0, %xmm0
697 ; X32-SSE-NEXT: pand %xmm1, %xmm0
698 ; X32-SSE-NEXT: por %xmm2, %xmm0
700 %splat = shufflevector <16 x i8> %b, <16 x i8> undef, <16 x i32> zeroinitializer
701 %shift = shl <16 x i8> %a, %splat
709 define <2 x i64> @constant_shift_v2i64(<2 x i64> %a) nounwind {
710 ; SSE2-LABEL: constant_shift_v2i64:
712 ; SSE2-NEXT: movdqa %xmm0, %xmm1
713 ; SSE2-NEXT: psllq $7, %xmm1
714 ; SSE2-NEXT: psllq $1, %xmm0
715 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
716 ; SSE2-NEXT: movapd %xmm1, %xmm0
719 ; SSE41-LABEL: constant_shift_v2i64:
721 ; SSE41-NEXT: movdqa %xmm0, %xmm1
722 ; SSE41-NEXT: psllq $7, %xmm1
723 ; SSE41-NEXT: psllq $1, %xmm0
724 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
727 ; AVX1-LABEL: constant_shift_v2i64:
729 ; AVX1-NEXT: vpsllq $7, %xmm0, %xmm1
730 ; AVX1-NEXT: vpsllq $1, %xmm0, %xmm0
731 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
734 ; AVX2-LABEL: constant_shift_v2i64:
736 ; AVX2-NEXT: vpsllvq {{.*}}(%rip), %xmm0, %xmm0
739 ; XOPAVX1-LABEL: constant_shift_v2i64:
741 ; XOPAVX1-NEXT: vpshlq {{.*}}(%rip), %xmm0, %xmm0
744 ; XOPAVX2-LABEL: constant_shift_v2i64:
746 ; XOPAVX2-NEXT: vpsllvq {{.*}}(%rip), %xmm0, %xmm0
749 ; AVX512-LABEL: constant_shift_v2i64:
751 ; AVX512-NEXT: vpsllvq {{.*}}(%rip), %xmm0, %xmm0
754 ; X32-SSE-LABEL: constant_shift_v2i64:
756 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
757 ; X32-SSE-NEXT: psllq $7, %xmm1
758 ; X32-SSE-NEXT: psllq $1, %xmm0
759 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
760 ; X32-SSE-NEXT: movapd %xmm1, %xmm0
762 %shift = shl <2 x i64> %a, <i64 1, i64 7>
766 define <4 x i32> @constant_shift_v4i32(<4 x i32> %a) nounwind {
767 ; SSE2-LABEL: constant_shift_v4i32:
769 ; SSE2-NEXT: movdqa {{.*#+}} xmm1 = [16,32,64,128]
770 ; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
771 ; SSE2-NEXT: pmuludq %xmm1, %xmm0
772 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
773 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
774 ; SSE2-NEXT: pmuludq %xmm2, %xmm1
775 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
776 ; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
779 ; SSE41-LABEL: constant_shift_v4i32:
781 ; SSE41-NEXT: pmulld {{.*}}(%rip), %xmm0
784 ; AVX1-LABEL: constant_shift_v4i32:
786 ; AVX1-NEXT: vpmulld {{.*}}(%rip), %xmm0, %xmm0
789 ; AVX2-LABEL: constant_shift_v4i32:
791 ; AVX2-NEXT: vpsllvd {{.*}}(%rip), %xmm0, %xmm0
794 ; XOPAVX1-LABEL: constant_shift_v4i32:
796 ; XOPAVX1-NEXT: vpshld {{.*}}(%rip), %xmm0, %xmm0
799 ; XOPAVX2-LABEL: constant_shift_v4i32:
801 ; XOPAVX2-NEXT: vpsllvd {{.*}}(%rip), %xmm0, %xmm0
804 ; AVX512-LABEL: constant_shift_v4i32:
806 ; AVX512-NEXT: vpsllvd {{.*}}(%rip), %xmm0, %xmm0
809 ; X32-SSE-LABEL: constant_shift_v4i32:
811 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm1 = [16,32,64,128]
812 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
813 ; X32-SSE-NEXT: pmuludq %xmm1, %xmm0
814 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
815 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
816 ; X32-SSE-NEXT: pmuludq %xmm2, %xmm1
817 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
818 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
820 %shift = shl <4 x i32> %a, <i32 4, i32 5, i32 6, i32 7>
824 define <8 x i16> @constant_shift_v8i16(<8 x i16> %a) nounwind {
825 ; SSE-LABEL: constant_shift_v8i16:
827 ; SSE-NEXT: pmullw {{.*}}(%rip), %xmm0
830 ; AVX-LABEL: constant_shift_v8i16:
832 ; AVX-NEXT: vpmullw {{.*}}(%rip), %xmm0, %xmm0
835 ; XOP-LABEL: constant_shift_v8i16:
837 ; XOP-NEXT: vpshlw {{.*}}(%rip), %xmm0, %xmm0
840 ; AVX512-LABEL: constant_shift_v8i16:
842 ; AVX512-NEXT: vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7]
843 ; AVX512-NEXT: vpsllvw %zmm1, %zmm0, %zmm0
846 ; X32-SSE-LABEL: constant_shift_v8i16:
848 ; X32-SSE-NEXT: pmullw .LCPI10_0, %xmm0
850 %shift = shl <8 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
854 define <16 x i8> @constant_shift_v16i8(<16 x i8> %a) nounwind {
855 ; SSE2-LABEL: constant_shift_v16i8:
857 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
858 ; SSE2-NEXT: psllw $5, %xmm2
859 ; SSE2-NEXT: pxor %xmm1, %xmm1
860 ; SSE2-NEXT: pxor %xmm3, %xmm3
861 ; SSE2-NEXT: pcmpgtb %xmm2, %xmm3
862 ; SSE2-NEXT: movdqa %xmm3, %xmm4
863 ; SSE2-NEXT: pandn %xmm0, %xmm4
864 ; SSE2-NEXT: psllw $4, %xmm0
865 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
866 ; SSE2-NEXT: pand %xmm3, %xmm0
867 ; SSE2-NEXT: por %xmm4, %xmm0
868 ; SSE2-NEXT: paddb %xmm2, %xmm2
869 ; SSE2-NEXT: pxor %xmm3, %xmm3
870 ; SSE2-NEXT: pcmpgtb %xmm2, %xmm3
871 ; SSE2-NEXT: movdqa %xmm3, %xmm4
872 ; SSE2-NEXT: pandn %xmm0, %xmm4
873 ; SSE2-NEXT: psllw $2, %xmm0
874 ; SSE2-NEXT: pand {{.*}}(%rip), %xmm0
875 ; SSE2-NEXT: pand %xmm3, %xmm0
876 ; SSE2-NEXT: por %xmm4, %xmm0
877 ; SSE2-NEXT: paddb %xmm2, %xmm2
878 ; SSE2-NEXT: pcmpgtb %xmm2, %xmm1
879 ; SSE2-NEXT: movdqa %xmm1, %xmm2
880 ; SSE2-NEXT: pandn %xmm0, %xmm2
881 ; SSE2-NEXT: paddb %xmm0, %xmm0
882 ; SSE2-NEXT: pand %xmm1, %xmm0
883 ; SSE2-NEXT: por %xmm2, %xmm0
886 ; SSE41-LABEL: constant_shift_v16i8:
888 ; SSE41-NEXT: movdqa %xmm0, %xmm1
889 ; SSE41-NEXT: movdqa {{.*#+}} xmm0 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
890 ; SSE41-NEXT: psllw $5, %xmm0
891 ; SSE41-NEXT: movdqa %xmm1, %xmm2
892 ; SSE41-NEXT: psllw $4, %xmm2
893 ; SSE41-NEXT: pand {{.*}}(%rip), %xmm2
894 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
895 ; SSE41-NEXT: movdqa %xmm1, %xmm2
896 ; SSE41-NEXT: psllw $2, %xmm2
897 ; SSE41-NEXT: pand {{.*}}(%rip), %xmm2
898 ; SSE41-NEXT: paddb %xmm0, %xmm0
899 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
900 ; SSE41-NEXT: movdqa %xmm1, %xmm2
901 ; SSE41-NEXT: paddb %xmm2, %xmm2
902 ; SSE41-NEXT: paddb %xmm0, %xmm0
903 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
904 ; SSE41-NEXT: movdqa %xmm1, %xmm0
907 ; AVX-LABEL: constant_shift_v16i8:
909 ; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
910 ; AVX-NEXT: vpsllw $5, %xmm1, %xmm1
911 ; AVX-NEXT: vpsllw $4, %xmm0, %xmm2
912 ; AVX-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
913 ; AVX-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
914 ; AVX-NEXT: vpsllw $2, %xmm0, %xmm2
915 ; AVX-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
916 ; AVX-NEXT: vpaddb %xmm1, %xmm1, %xmm1
917 ; AVX-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
918 ; AVX-NEXT: vpaddb %xmm0, %xmm0, %xmm2
919 ; AVX-NEXT: vpaddb %xmm1, %xmm1, %xmm1
920 ; AVX-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
923 ; XOP-LABEL: constant_shift_v16i8:
925 ; XOP-NEXT: vpshlb {{.*}}(%rip), %xmm0, %xmm0
928 ; AVX512-LABEL: constant_shift_v16i8:
930 ; AVX512-NEXT: vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
931 ; AVX512-NEXT: vpsllw $5, %xmm1, %xmm1
932 ; AVX512-NEXT: vpsllw $4, %xmm0, %xmm2
933 ; AVX512-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
934 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
935 ; AVX512-NEXT: vpsllw $2, %xmm0, %xmm2
936 ; AVX512-NEXT: vpand {{.*}}(%rip), %xmm2, %xmm2
937 ; AVX512-NEXT: vpaddb %xmm1, %xmm1, %xmm1
938 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
939 ; AVX512-NEXT: vpaddb %xmm0, %xmm0, %xmm2
940 ; AVX512-NEXT: vpaddb %xmm1, %xmm1, %xmm1
941 ; AVX512-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
944 ; X32-SSE-LABEL: constant_shift_v16i8:
946 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm2 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
947 ; X32-SSE-NEXT: psllw $5, %xmm2
948 ; X32-SSE-NEXT: pxor %xmm1, %xmm1
949 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
950 ; X32-SSE-NEXT: pcmpgtb %xmm2, %xmm3
951 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
952 ; X32-SSE-NEXT: pandn %xmm0, %xmm4
953 ; X32-SSE-NEXT: psllw $4, %xmm0
954 ; X32-SSE-NEXT: pand .LCPI11_1, %xmm0
955 ; X32-SSE-NEXT: pand %xmm3, %xmm0
956 ; X32-SSE-NEXT: por %xmm4, %xmm0
957 ; X32-SSE-NEXT: paddb %xmm2, %xmm2
958 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
959 ; X32-SSE-NEXT: pcmpgtb %xmm2, %xmm3
960 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
961 ; X32-SSE-NEXT: pandn %xmm0, %xmm4
962 ; X32-SSE-NEXT: psllw $2, %xmm0
963 ; X32-SSE-NEXT: pand .LCPI11_2, %xmm0
964 ; X32-SSE-NEXT: pand %xmm3, %xmm0
965 ; X32-SSE-NEXT: por %xmm4, %xmm0
966 ; X32-SSE-NEXT: paddb %xmm2, %xmm2
967 ; X32-SSE-NEXT: pcmpgtb %xmm2, %xmm1
968 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
969 ; X32-SSE-NEXT: pandn %xmm0, %xmm2
970 ; X32-SSE-NEXT: paddb %xmm0, %xmm0
971 ; X32-SSE-NEXT: pand %xmm1, %xmm0
972 ; X32-SSE-NEXT: por %xmm2, %xmm0
974 %shift = shl <16 x i8> %a, <i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0>
979 ; Uniform Constant Shifts
982 define <2 x i64> @splatconstant_shift_v2i64(<2 x i64> %a) nounwind {
983 ; SSE-LABEL: splatconstant_shift_v2i64:
985 ; SSE-NEXT: psllq $7, %xmm0
988 ; AVX-LABEL: splatconstant_shift_v2i64:
990 ; AVX-NEXT: vpsllq $7, %xmm0, %xmm0
993 ; XOP-LABEL: splatconstant_shift_v2i64:
995 ; XOP-NEXT: vpsllq $7, %xmm0, %xmm0
998 ; AVX512-LABEL: splatconstant_shift_v2i64:
1000 ; AVX512-NEXT: vpsllq $7, %xmm0, %xmm0
1003 ; X32-SSE-LABEL: splatconstant_shift_v2i64:
1005 ; X32-SSE-NEXT: psllq $7, %xmm0
1006 ; X32-SSE-NEXT: retl
1007 %shift = shl <2 x i64> %a, <i64 7, i64 7>
1008 ret <2 x i64> %shift
1011 define <4 x i32> @splatconstant_shift_v4i32(<4 x i32> %a) nounwind {
1012 ; SSE-LABEL: splatconstant_shift_v4i32:
1014 ; SSE-NEXT: pslld $5, %xmm0
1017 ; AVX-LABEL: splatconstant_shift_v4i32:
1019 ; AVX-NEXT: vpslld $5, %xmm0, %xmm0
1022 ; XOP-LABEL: splatconstant_shift_v4i32:
1024 ; XOP-NEXT: vpslld $5, %xmm0, %xmm0
1027 ; AVX512-LABEL: splatconstant_shift_v4i32:
1029 ; AVX512-NEXT: vpslld $5, %xmm0, %xmm0
1032 ; X32-SSE-LABEL: splatconstant_shift_v4i32:
1034 ; X32-SSE-NEXT: pslld $5, %xmm0
1035 ; X32-SSE-NEXT: retl
1036 %shift = shl <4 x i32> %a, <i32 5, i32 5, i32 5, i32 5>
1037 ret <4 x i32> %shift
1040 define <8 x i16> @splatconstant_shift_v8i16(<8 x i16> %a) nounwind {
1041 ; SSE-LABEL: splatconstant_shift_v8i16:
1043 ; SSE-NEXT: psllw $3, %xmm0
1046 ; AVX-LABEL: splatconstant_shift_v8i16:
1048 ; AVX-NEXT: vpsllw $3, %xmm0, %xmm0
1051 ; XOP-LABEL: splatconstant_shift_v8i16:
1053 ; XOP-NEXT: vpsllw $3, %xmm0, %xmm0
1056 ; AVX512-LABEL: splatconstant_shift_v8i16:
1058 ; AVX512-NEXT: vpsllw $3, %xmm0, %xmm0
1061 ; X32-SSE-LABEL: splatconstant_shift_v8i16:
1063 ; X32-SSE-NEXT: psllw $3, %xmm0
1064 ; X32-SSE-NEXT: retl
1065 %shift = shl <8 x i16> %a, <i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3>
1066 ret <8 x i16> %shift
1069 define <16 x i8> @splatconstant_shift_v16i8(<16 x i8> %a) nounwind {
1070 ; SSE-LABEL: splatconstant_shift_v16i8:
1072 ; SSE-NEXT: psllw $3, %xmm0
1073 ; SSE-NEXT: pand {{.*}}(%rip), %xmm0
1076 ; AVX-LABEL: splatconstant_shift_v16i8:
1078 ; AVX-NEXT: vpsllw $3, %xmm0, %xmm0
1079 ; AVX-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0
1082 ; XOP-LABEL: splatconstant_shift_v16i8:
1084 ; XOP-NEXT: vpshlb {{.*}}(%rip), %xmm0, %xmm0
1087 ; AVX512-LABEL: splatconstant_shift_v16i8:
1089 ; AVX512-NEXT: vpsllw $3, %xmm0, %xmm0
1090 ; AVX512-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0
1093 ; X32-SSE-LABEL: splatconstant_shift_v16i8:
1095 ; X32-SSE-NEXT: psllw $3, %xmm0
1096 ; X32-SSE-NEXT: pand .LCPI15_0, %xmm0
1097 ; X32-SSE-NEXT: retl
1098 %shift = shl <16 x i8> %a, <i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3>
1099 ret <16 x i8> %shift