1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+sse4.1 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX1
6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX2
8 ; Just one 32-bit run to make sure we do reasonable things for i64 shifts.
9 ; RUN: llc < %s -mtriple=i686-unknown-unknown -mattr=+sse2 | FileCheck %s --check-prefix=ALL --check-prefix=X32-SSE --check-prefix=X32-SSE2
15 define <2 x i64> @var_shift_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
16 ; SSE2-LABEL: var_shift_v2i64:
18 ; SSE2-NEXT: pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
19 ; SSE2-NEXT: movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
20 ; SSE2-NEXT: movdqa %xmm2, %xmm4
21 ; SSE2-NEXT: psrlq %xmm3, %xmm4
22 ; SSE2-NEXT: psrlq %xmm1, %xmm2
23 ; SSE2-NEXT: movsd {{.*#+}} xmm4 = xmm2[0],xmm4[1]
24 ; SSE2-NEXT: movdqa %xmm0, %xmm2
25 ; SSE2-NEXT: psrlq %xmm3, %xmm2
26 ; SSE2-NEXT: psrlq %xmm1, %xmm0
27 ; SSE2-NEXT: movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
28 ; SSE2-NEXT: xorpd %xmm4, %xmm2
29 ; SSE2-NEXT: psubq %xmm4, %xmm2
30 ; SSE2-NEXT: movdqa %xmm2, %xmm0
33 ; SSE41-LABEL: var_shift_v2i64:
35 ; SSE41-NEXT: movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
36 ; SSE41-NEXT: movdqa %xmm2, %xmm3
37 ; SSE41-NEXT: psrlq %xmm1, %xmm3
38 ; SSE41-NEXT: pshufd {{.*#+}} xmm4 = xmm1[2,3,0,1]
39 ; SSE41-NEXT: psrlq %xmm4, %xmm2
40 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
41 ; SSE41-NEXT: movdqa %xmm0, %xmm3
42 ; SSE41-NEXT: psrlq %xmm1, %xmm3
43 ; SSE41-NEXT: psrlq %xmm4, %xmm0
44 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm3[0,1,2,3],xmm0[4,5,6,7]
45 ; SSE41-NEXT: pxor %xmm2, %xmm0
46 ; SSE41-NEXT: psubq %xmm2, %xmm0
49 ; AVX1-LABEL: var_shift_v2i64:
51 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
52 ; AVX1-NEXT: vpsrlq %xmm1, %xmm2, %xmm3
53 ; AVX1-NEXT: vpshufd {{.*#+}} xmm4 = xmm1[2,3,0,1]
54 ; AVX1-NEXT: vpsrlq %xmm4, %xmm2, %xmm2
55 ; AVX1-NEXT: vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
56 ; AVX1-NEXT: vpsrlq %xmm1, %xmm0, %xmm1
57 ; AVX1-NEXT: vpsrlq %xmm4, %xmm0, %xmm0
58 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
59 ; AVX1-NEXT: vpxor %xmm2, %xmm0, %xmm0
60 ; AVX1-NEXT: vpsubq %xmm2, %xmm0, %xmm0
63 ; AVX2-LABEL: var_shift_v2i64:
65 ; AVX2-NEXT: vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
66 ; AVX2-NEXT: vpsrlvq %xmm1, %xmm2, %xmm3
67 ; AVX2-NEXT: vpxor %xmm2, %xmm0, %xmm0
68 ; AVX2-NEXT: vpsrlvq %xmm1, %xmm0, %xmm0
69 ; AVX2-NEXT: vpsubq %xmm3, %xmm0, %xmm0
72 ; XOP-LABEL: var_shift_v2i64:
74 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
75 ; XOP-NEXT: vpsubq %xmm1, %xmm2, %xmm1
76 ; XOP-NEXT: vpshaq %xmm1, %xmm0, %xmm0
79 ; X32-SSE-LABEL: var_shift_v2i64:
81 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
82 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm3 = [0,2147483648,0,2147483648]
83 ; X32-SSE-NEXT: movdqa %xmm3, %xmm4
84 ; X32-SSE-NEXT: psrlq %xmm2, %xmm4
85 ; X32-SSE-NEXT: movq {{.*#+}} xmm5 = xmm1[0],zero
86 ; X32-SSE-NEXT: psrlq %xmm5, %xmm3
87 ; X32-SSE-NEXT: movsd {{.*#+}} xmm4 = xmm3[0],xmm4[1]
88 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
89 ; X32-SSE-NEXT: psrlq %xmm2, %xmm1
90 ; X32-SSE-NEXT: psrlq %xmm5, %xmm0
91 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
92 ; X32-SSE-NEXT: xorpd %xmm4, %xmm1
93 ; X32-SSE-NEXT: psubq %xmm4, %xmm1
94 ; X32-SSE-NEXT: movdqa %xmm1, %xmm0
96 %shift = ashr <2 x i64> %a, %b
100 define <4 x i32> @var_shift_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
101 ; SSE2-LABEL: var_shift_v4i32:
103 ; SSE2-NEXT: movdqa %xmm1, %xmm2
104 ; SSE2-NEXT: psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
105 ; SSE2-NEXT: movdqa %xmm0, %xmm3
106 ; SSE2-NEXT: psrad %xmm2, %xmm3
107 ; SSE2-NEXT: movdqa %xmm1, %xmm2
108 ; SSE2-NEXT: psrlq $32, %xmm2
109 ; SSE2-NEXT: movdqa %xmm0, %xmm4
110 ; SSE2-NEXT: psrad %xmm2, %xmm4
111 ; SSE2-NEXT: movsd {{.*#+}} xmm3 = xmm4[0],xmm3[1]
112 ; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
113 ; SSE2-NEXT: pxor %xmm3, %xmm3
114 ; SSE2-NEXT: movdqa %xmm1, %xmm4
115 ; SSE2-NEXT: punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm3[2],xmm4[3],xmm3[3]
116 ; SSE2-NEXT: movdqa %xmm0, %xmm5
117 ; SSE2-NEXT: psrad %xmm4, %xmm5
118 ; SSE2-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
119 ; SSE2-NEXT: psrad %xmm1, %xmm0
120 ; SSE2-NEXT: movsd {{.*#+}} xmm5 = xmm0[0],xmm5[1]
121 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm5[0,2,2,3]
122 ; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
125 ; SSE41-LABEL: var_shift_v4i32:
127 ; SSE41-NEXT: movdqa %xmm1, %xmm2
128 ; SSE41-NEXT: psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
129 ; SSE41-NEXT: movdqa %xmm0, %xmm3
130 ; SSE41-NEXT: psrad %xmm2, %xmm3
131 ; SSE41-NEXT: movdqa %xmm1, %xmm2
132 ; SSE41-NEXT: psrlq $32, %xmm2
133 ; SSE41-NEXT: movdqa %xmm0, %xmm4
134 ; SSE41-NEXT: psrad %xmm2, %xmm4
135 ; SSE41-NEXT: pblendw {{.*#+}} xmm4 = xmm4[0,1,2,3],xmm3[4,5,6,7]
136 ; SSE41-NEXT: pxor %xmm2, %xmm2
137 ; SSE41-NEXT: pmovzxdq {{.*#+}} xmm3 = xmm1[0],zero,xmm1[1],zero
138 ; SSE41-NEXT: punpckhdq {{.*#+}} xmm1 = xmm1[2],xmm2[2],xmm1[3],xmm2[3]
139 ; SSE41-NEXT: movdqa %xmm0, %xmm2
140 ; SSE41-NEXT: psrad %xmm1, %xmm2
141 ; SSE41-NEXT: psrad %xmm3, %xmm0
142 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
143 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm4[2,3],xmm0[4,5],xmm4[6,7]
146 ; AVX1-LABEL: var_shift_v4i32:
148 ; AVX1-NEXT: vpsrldq {{.*#+}} xmm2 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
149 ; AVX1-NEXT: vpsrad %xmm2, %xmm0, %xmm2
150 ; AVX1-NEXT: vpsrlq $32, %xmm1, %xmm3
151 ; AVX1-NEXT: vpsrad %xmm3, %xmm0, %xmm3
152 ; AVX1-NEXT: vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
153 ; AVX1-NEXT: vpxor %xmm3, %xmm3, %xmm3
154 ; AVX1-NEXT: vpunpckhdq {{.*#+}} xmm3 = xmm1[2],xmm3[2],xmm1[3],xmm3[3]
155 ; AVX1-NEXT: vpsrad %xmm3, %xmm0, %xmm3
156 ; AVX1-NEXT: vpmovzxdq {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero
157 ; AVX1-NEXT: vpsrad %xmm1, %xmm0, %xmm0
158 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm3[4,5,6,7]
159 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
162 ; AVX2-LABEL: var_shift_v4i32:
164 ; AVX2-NEXT: vpsravd %xmm1, %xmm0, %xmm0
167 ; XOPAVX1-LABEL: var_shift_v4i32:
169 ; XOPAVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
170 ; XOPAVX1-NEXT: vpsubd %xmm1, %xmm2, %xmm1
171 ; XOPAVX1-NEXT: vpshad %xmm1, %xmm0, %xmm0
174 ; XOPAVX2-LABEL: var_shift_v4i32:
176 ; XOPAVX2-NEXT: vpsravd %xmm1, %xmm0, %xmm0
179 ; X32-SSE-LABEL: var_shift_v4i32:
181 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
182 ; X32-SSE-NEXT: psrldq {{.*#+}} xmm2 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
183 ; X32-SSE-NEXT: movdqa %xmm0, %xmm3
184 ; X32-SSE-NEXT: psrad %xmm2, %xmm3
185 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
186 ; X32-SSE-NEXT: psrlq $32, %xmm2
187 ; X32-SSE-NEXT: movdqa %xmm0, %xmm4
188 ; X32-SSE-NEXT: psrad %xmm2, %xmm4
189 ; X32-SSE-NEXT: movsd {{.*#+}} xmm3 = xmm4[0],xmm3[1]
190 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm3[1,3,2,3]
191 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
192 ; X32-SSE-NEXT: movdqa %xmm1, %xmm4
193 ; X32-SSE-NEXT: punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm3[2],xmm4[3],xmm3[3]
194 ; X32-SSE-NEXT: movdqa %xmm0, %xmm5
195 ; X32-SSE-NEXT: psrad %xmm4, %xmm5
196 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
197 ; X32-SSE-NEXT: psrad %xmm1, %xmm0
198 ; X32-SSE-NEXT: movsd {{.*#+}} xmm5 = xmm0[0],xmm5[1]
199 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm5[0,2,2,3]
200 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
202 %shift = ashr <4 x i32> %a, %b
206 define <8 x i16> @var_shift_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
207 ; SSE2-LABEL: var_shift_v8i16:
209 ; SSE2-NEXT: psllw $12, %xmm1
210 ; SSE2-NEXT: movdqa %xmm1, %xmm2
211 ; SSE2-NEXT: psraw $15, %xmm2
212 ; SSE2-NEXT: movdqa %xmm2, %xmm3
213 ; SSE2-NEXT: pandn %xmm0, %xmm3
214 ; SSE2-NEXT: psraw $8, %xmm0
215 ; SSE2-NEXT: pand %xmm2, %xmm0
216 ; SSE2-NEXT: por %xmm3, %xmm0
217 ; SSE2-NEXT: paddw %xmm1, %xmm1
218 ; SSE2-NEXT: movdqa %xmm1, %xmm2
219 ; SSE2-NEXT: psraw $15, %xmm2
220 ; SSE2-NEXT: movdqa %xmm2, %xmm3
221 ; SSE2-NEXT: pandn %xmm0, %xmm3
222 ; SSE2-NEXT: psraw $4, %xmm0
223 ; SSE2-NEXT: pand %xmm2, %xmm0
224 ; SSE2-NEXT: por %xmm3, %xmm0
225 ; SSE2-NEXT: paddw %xmm1, %xmm1
226 ; SSE2-NEXT: movdqa %xmm1, %xmm2
227 ; SSE2-NEXT: psraw $15, %xmm2
228 ; SSE2-NEXT: movdqa %xmm2, %xmm3
229 ; SSE2-NEXT: pandn %xmm0, %xmm3
230 ; SSE2-NEXT: psraw $2, %xmm0
231 ; SSE2-NEXT: pand %xmm2, %xmm0
232 ; SSE2-NEXT: por %xmm3, %xmm0
233 ; SSE2-NEXT: paddw %xmm1, %xmm1
234 ; SSE2-NEXT: psraw $15, %xmm1
235 ; SSE2-NEXT: movdqa %xmm1, %xmm2
236 ; SSE2-NEXT: pandn %xmm0, %xmm2
237 ; SSE2-NEXT: psraw $1, %xmm0
238 ; SSE2-NEXT: pand %xmm1, %xmm0
239 ; SSE2-NEXT: por %xmm2, %xmm0
242 ; SSE41-LABEL: var_shift_v8i16:
244 ; SSE41-NEXT: movdqa %xmm0, %xmm2
245 ; SSE41-NEXT: movdqa %xmm1, %xmm0
246 ; SSE41-NEXT: psllw $12, %xmm0
247 ; SSE41-NEXT: psllw $4, %xmm1
248 ; SSE41-NEXT: por %xmm0, %xmm1
249 ; SSE41-NEXT: movdqa %xmm1, %xmm3
250 ; SSE41-NEXT: paddw %xmm3, %xmm3
251 ; SSE41-NEXT: movdqa %xmm2, %xmm4
252 ; SSE41-NEXT: psraw $8, %xmm4
253 ; SSE41-NEXT: movdqa %xmm1, %xmm0
254 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
255 ; SSE41-NEXT: movdqa %xmm2, %xmm1
256 ; SSE41-NEXT: psraw $4, %xmm1
257 ; SSE41-NEXT: movdqa %xmm3, %xmm0
258 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
259 ; SSE41-NEXT: movdqa %xmm2, %xmm1
260 ; SSE41-NEXT: psraw $2, %xmm1
261 ; SSE41-NEXT: paddw %xmm3, %xmm3
262 ; SSE41-NEXT: movdqa %xmm3, %xmm0
263 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
264 ; SSE41-NEXT: movdqa %xmm2, %xmm1
265 ; SSE41-NEXT: psraw $1, %xmm1
266 ; SSE41-NEXT: paddw %xmm3, %xmm3
267 ; SSE41-NEXT: movdqa %xmm3, %xmm0
268 ; SSE41-NEXT: pblendvb %xmm1, %xmm2
269 ; SSE41-NEXT: movdqa %xmm2, %xmm0
272 ; AVX1-LABEL: var_shift_v8i16:
274 ; AVX1-NEXT: vpsllw $12, %xmm1, %xmm2
275 ; AVX1-NEXT: vpsllw $4, %xmm1, %xmm1
276 ; AVX1-NEXT: vpor %xmm2, %xmm1, %xmm1
277 ; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm2
278 ; AVX1-NEXT: vpsraw $8, %xmm0, %xmm3
279 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
280 ; AVX1-NEXT: vpsraw $4, %xmm0, %xmm1
281 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
282 ; AVX1-NEXT: vpsraw $2, %xmm0, %xmm1
283 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
284 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
285 ; AVX1-NEXT: vpsraw $1, %xmm0, %xmm1
286 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
287 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
290 ; AVX2-LABEL: var_shift_v8i16:
292 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
293 ; AVX2-NEXT: vpmovsxwd %xmm0, %ymm0
294 ; AVX2-NEXT: vpsravd %ymm1, %ymm0, %ymm0
295 ; AVX2-NEXT: vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,20,21,24,25,28,29],zero,zero,zero,zero,zero,zero,zero,zero
296 ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
297 ; AVX2-NEXT: vzeroupper
300 ; XOP-LABEL: var_shift_v8i16:
302 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
303 ; XOP-NEXT: vpsubw %xmm1, %xmm2, %xmm1
304 ; XOP-NEXT: vpshaw %xmm1, %xmm0, %xmm0
307 ; X32-SSE-LABEL: var_shift_v8i16:
309 ; X32-SSE-NEXT: psllw $12, %xmm1
310 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
311 ; X32-SSE-NEXT: psraw $15, %xmm2
312 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
313 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
314 ; X32-SSE-NEXT: psraw $8, %xmm0
315 ; X32-SSE-NEXT: pand %xmm2, %xmm0
316 ; X32-SSE-NEXT: por %xmm3, %xmm0
317 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
318 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
319 ; X32-SSE-NEXT: psraw $15, %xmm2
320 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
321 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
322 ; X32-SSE-NEXT: psraw $4, %xmm0
323 ; X32-SSE-NEXT: pand %xmm2, %xmm0
324 ; X32-SSE-NEXT: por %xmm3, %xmm0
325 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
326 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
327 ; X32-SSE-NEXT: psraw $15, %xmm2
328 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
329 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
330 ; X32-SSE-NEXT: psraw $2, %xmm0
331 ; X32-SSE-NEXT: pand %xmm2, %xmm0
332 ; X32-SSE-NEXT: por %xmm3, %xmm0
333 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
334 ; X32-SSE-NEXT: psraw $15, %xmm1
335 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
336 ; X32-SSE-NEXT: pandn %xmm0, %xmm2
337 ; X32-SSE-NEXT: psraw $1, %xmm0
338 ; X32-SSE-NEXT: pand %xmm1, %xmm0
339 ; X32-SSE-NEXT: por %xmm2, %xmm0
341 %shift = ashr <8 x i16> %a, %b
345 define <16 x i8> @var_shift_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
346 ; SSE2-LABEL: var_shift_v16i8:
348 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
349 ; SSE2-NEXT: psllw $5, %xmm1
350 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm1[8],xmm4[9],xmm1[9],xmm4[10],xmm1[10],xmm4[11],xmm1[11],xmm4[12],xmm1[12],xmm4[13],xmm1[13],xmm4[14],xmm1[14],xmm4[15],xmm1[15]
351 ; SSE2-NEXT: pxor %xmm3, %xmm3
352 ; SSE2-NEXT: pxor %xmm5, %xmm5
353 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
354 ; SSE2-NEXT: movdqa %xmm5, %xmm6
355 ; SSE2-NEXT: pandn %xmm2, %xmm6
356 ; SSE2-NEXT: psraw $4, %xmm2
357 ; SSE2-NEXT: pand %xmm5, %xmm2
358 ; SSE2-NEXT: por %xmm6, %xmm2
359 ; SSE2-NEXT: paddw %xmm4, %xmm4
360 ; SSE2-NEXT: pxor %xmm5, %xmm5
361 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
362 ; SSE2-NEXT: movdqa %xmm5, %xmm6
363 ; SSE2-NEXT: pandn %xmm2, %xmm6
364 ; SSE2-NEXT: psraw $2, %xmm2
365 ; SSE2-NEXT: pand %xmm5, %xmm2
366 ; SSE2-NEXT: por %xmm6, %xmm2
367 ; SSE2-NEXT: paddw %xmm4, %xmm4
368 ; SSE2-NEXT: pxor %xmm5, %xmm5
369 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
370 ; SSE2-NEXT: movdqa %xmm5, %xmm4
371 ; SSE2-NEXT: pandn %xmm2, %xmm4
372 ; SSE2-NEXT: psraw $1, %xmm2
373 ; SSE2-NEXT: pand %xmm5, %xmm2
374 ; SSE2-NEXT: por %xmm4, %xmm2
375 ; SSE2-NEXT: psrlw $8, %xmm2
376 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
377 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
378 ; SSE2-NEXT: pxor %xmm4, %xmm4
379 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm4
380 ; SSE2-NEXT: movdqa %xmm4, %xmm5
381 ; SSE2-NEXT: pandn %xmm0, %xmm5
382 ; SSE2-NEXT: psraw $4, %xmm0
383 ; SSE2-NEXT: pand %xmm4, %xmm0
384 ; SSE2-NEXT: por %xmm5, %xmm0
385 ; SSE2-NEXT: paddw %xmm1, %xmm1
386 ; SSE2-NEXT: pxor %xmm4, %xmm4
387 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm4
388 ; SSE2-NEXT: movdqa %xmm4, %xmm5
389 ; SSE2-NEXT: pandn %xmm0, %xmm5
390 ; SSE2-NEXT: psraw $2, %xmm0
391 ; SSE2-NEXT: pand %xmm4, %xmm0
392 ; SSE2-NEXT: por %xmm5, %xmm0
393 ; SSE2-NEXT: paddw %xmm1, %xmm1
394 ; SSE2-NEXT: pcmpgtw %xmm1, %xmm3
395 ; SSE2-NEXT: movdqa %xmm3, %xmm1
396 ; SSE2-NEXT: pandn %xmm0, %xmm1
397 ; SSE2-NEXT: psraw $1, %xmm0
398 ; SSE2-NEXT: pand %xmm3, %xmm0
399 ; SSE2-NEXT: por %xmm1, %xmm0
400 ; SSE2-NEXT: psrlw $8, %xmm0
401 ; SSE2-NEXT: packuswb %xmm2, %xmm0
404 ; SSE41-LABEL: var_shift_v16i8:
406 ; SSE41-NEXT: movdqa %xmm0, %xmm2
407 ; SSE41-NEXT: psllw $5, %xmm1
408 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
409 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm3 = xmm3[8],xmm2[8],xmm3[9],xmm2[9],xmm3[10],xmm2[10],xmm3[11],xmm2[11],xmm3[12],xmm2[12],xmm3[13],xmm2[13],xmm3[14],xmm2[14],xmm3[15],xmm2[15]
410 ; SSE41-NEXT: movdqa %xmm3, %xmm4
411 ; SSE41-NEXT: psraw $4, %xmm4
412 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
413 ; SSE41-NEXT: movdqa %xmm3, %xmm4
414 ; SSE41-NEXT: psraw $2, %xmm4
415 ; SSE41-NEXT: paddw %xmm0, %xmm0
416 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
417 ; SSE41-NEXT: movdqa %xmm3, %xmm4
418 ; SSE41-NEXT: psraw $1, %xmm4
419 ; SSE41-NEXT: paddw %xmm0, %xmm0
420 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
421 ; SSE41-NEXT: psrlw $8, %xmm3
422 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
423 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
424 ; SSE41-NEXT: movdqa %xmm1, %xmm2
425 ; SSE41-NEXT: psraw $4, %xmm2
426 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
427 ; SSE41-NEXT: movdqa %xmm1, %xmm2
428 ; SSE41-NEXT: psraw $2, %xmm2
429 ; SSE41-NEXT: paddw %xmm0, %xmm0
430 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
431 ; SSE41-NEXT: movdqa %xmm1, %xmm2
432 ; SSE41-NEXT: psraw $1, %xmm2
433 ; SSE41-NEXT: paddw %xmm0, %xmm0
434 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
435 ; SSE41-NEXT: psrlw $8, %xmm1
436 ; SSE41-NEXT: packuswb %xmm3, %xmm1
437 ; SSE41-NEXT: movdqa %xmm1, %xmm0
440 ; AVX-LABEL: var_shift_v16i8:
442 ; AVX-NEXT: vpsllw $5, %xmm1, %xmm1
443 ; AVX-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
444 ; AVX-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
445 ; AVX-NEXT: vpsraw $4, %xmm3, %xmm4
446 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
447 ; AVX-NEXT: vpsraw $2, %xmm3, %xmm4
448 ; AVX-NEXT: vpaddw %xmm2, %xmm2, %xmm2
449 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
450 ; AVX-NEXT: vpsraw $1, %xmm3, %xmm4
451 ; AVX-NEXT: vpaddw %xmm2, %xmm2, %xmm2
452 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
453 ; AVX-NEXT: vpsrlw $8, %xmm2, %xmm2
454 ; AVX-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
455 ; AVX-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
456 ; AVX-NEXT: vpsraw $4, %xmm0, %xmm3
457 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
458 ; AVX-NEXT: vpsraw $2, %xmm0, %xmm3
459 ; AVX-NEXT: vpaddw %xmm1, %xmm1, %xmm1
460 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
461 ; AVX-NEXT: vpsraw $1, %xmm0, %xmm3
462 ; AVX-NEXT: vpaddw %xmm1, %xmm1, %xmm1
463 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
464 ; AVX-NEXT: vpsrlw $8, %xmm0, %xmm0
465 ; AVX-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
468 ; XOP-LABEL: var_shift_v16i8:
470 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
471 ; XOP-NEXT: vpsubb %xmm1, %xmm2, %xmm1
472 ; XOP-NEXT: vpshab %xmm1, %xmm0, %xmm0
475 ; X32-SSE-LABEL: var_shift_v16i8:
477 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm0[8],xmm2[9],xmm0[9],xmm2[10],xmm0[10],xmm2[11],xmm0[11],xmm2[12],xmm0[12],xmm2[13],xmm0[13],xmm2[14],xmm0[14],xmm2[15],xmm0[15]
478 ; X32-SSE-NEXT: psllw $5, %xmm1
479 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm1[8],xmm4[9],xmm1[9],xmm4[10],xmm1[10],xmm4[11],xmm1[11],xmm4[12],xmm1[12],xmm4[13],xmm1[13],xmm4[14],xmm1[14],xmm4[15],xmm1[15]
480 ; X32-SSE-NEXT: pxor %xmm3, %xmm3
481 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
482 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
483 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
484 ; X32-SSE-NEXT: pandn %xmm2, %xmm6
485 ; X32-SSE-NEXT: psraw $4, %xmm2
486 ; X32-SSE-NEXT: pand %xmm5, %xmm2
487 ; X32-SSE-NEXT: por %xmm6, %xmm2
488 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
489 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
490 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
491 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
492 ; X32-SSE-NEXT: pandn %xmm2, %xmm6
493 ; X32-SSE-NEXT: psraw $2, %xmm2
494 ; X32-SSE-NEXT: pand %xmm5, %xmm2
495 ; X32-SSE-NEXT: por %xmm6, %xmm2
496 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
497 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
498 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
499 ; X32-SSE-NEXT: movdqa %xmm5, %xmm4
500 ; X32-SSE-NEXT: pandn %xmm2, %xmm4
501 ; X32-SSE-NEXT: psraw $1, %xmm2
502 ; X32-SSE-NEXT: pand %xmm5, %xmm2
503 ; X32-SSE-NEXT: por %xmm4, %xmm2
504 ; X32-SSE-NEXT: psrlw $8, %xmm2
505 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
506 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
507 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
508 ; X32-SSE-NEXT: pcmpgtw %xmm1, %xmm4
509 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
510 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
511 ; X32-SSE-NEXT: psraw $4, %xmm0
512 ; X32-SSE-NEXT: pand %xmm4, %xmm0
513 ; X32-SSE-NEXT: por %xmm5, %xmm0
514 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
515 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
516 ; X32-SSE-NEXT: pcmpgtw %xmm1, %xmm4
517 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
518 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
519 ; X32-SSE-NEXT: psraw $2, %xmm0
520 ; X32-SSE-NEXT: pand %xmm4, %xmm0
521 ; X32-SSE-NEXT: por %xmm5, %xmm0
522 ; X32-SSE-NEXT: paddw %xmm1, %xmm1
523 ; X32-SSE-NEXT: pcmpgtw %xmm1, %xmm3
524 ; X32-SSE-NEXT: movdqa %xmm3, %xmm1
525 ; X32-SSE-NEXT: pandn %xmm0, %xmm1
526 ; X32-SSE-NEXT: psraw $1, %xmm0
527 ; X32-SSE-NEXT: pand %xmm3, %xmm0
528 ; X32-SSE-NEXT: por %xmm1, %xmm0
529 ; X32-SSE-NEXT: psrlw $8, %xmm0
530 ; X32-SSE-NEXT: packuswb %xmm2, %xmm0
532 %shift = ashr <16 x i8> %a, %b
537 ; Uniform Variable Shifts
540 define <2 x i64> @splatvar_shift_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
541 ; SSE-LABEL: splatvar_shift_v2i64:
543 ; SSE-NEXT: movdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
544 ; SSE-NEXT: psrlq %xmm1, %xmm2
545 ; SSE-NEXT: psrlq %xmm1, %xmm0
546 ; SSE-NEXT: pxor %xmm2, %xmm0
547 ; SSE-NEXT: psubq %xmm2, %xmm0
550 ; AVX-LABEL: splatvar_shift_v2i64:
552 ; AVX-NEXT: vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
553 ; AVX-NEXT: vpsrlq %xmm1, %xmm2, %xmm2
554 ; AVX-NEXT: vpsrlq %xmm1, %xmm0, %xmm0
555 ; AVX-NEXT: vpxor %xmm2, %xmm0, %xmm0
556 ; AVX-NEXT: vpsubq %xmm2, %xmm0, %xmm0
559 ; XOPAVX1-LABEL: splatvar_shift_v2i64:
561 ; XOPAVX1-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[0,1,0,1]
562 ; XOPAVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
563 ; XOPAVX1-NEXT: vpsubq %xmm1, %xmm2, %xmm1
564 ; XOPAVX1-NEXT: vpshaq %xmm1, %xmm0, %xmm0
567 ; XOPAVX2-LABEL: splatvar_shift_v2i64:
569 ; XOPAVX2-NEXT: vpbroadcastq %xmm1, %xmm1
570 ; XOPAVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
571 ; XOPAVX2-NEXT: vpsubq %xmm1, %xmm2, %xmm1
572 ; XOPAVX2-NEXT: vpshaq %xmm1, %xmm0, %xmm0
575 ; X32-SSE-LABEL: splatvar_shift_v2i64:
577 ; X32-SSE-NEXT: movq {{.*#+}} xmm1 = xmm1[0],zero
578 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm2 = [0,2147483648,0,2147483648]
579 ; X32-SSE-NEXT: psrlq %xmm1, %xmm2
580 ; X32-SSE-NEXT: psrlq %xmm1, %xmm0
581 ; X32-SSE-NEXT: pxor %xmm2, %xmm0
582 ; X32-SSE-NEXT: psubq %xmm2, %xmm0
584 %splat = shufflevector <2 x i64> %b, <2 x i64> undef, <2 x i32> zeroinitializer
585 %shift = ashr <2 x i64> %a, %splat
589 define <4 x i32> @splatvar_shift_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
590 ; SSE2-LABEL: splatvar_shift_v4i32:
592 ; SSE2-NEXT: xorps %xmm2, %xmm2
593 ; SSE2-NEXT: movss {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3]
594 ; SSE2-NEXT: psrad %xmm2, %xmm0
597 ; SSE41-LABEL: splatvar_shift_v4i32:
599 ; SSE41-NEXT: pxor %xmm2, %xmm2
600 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3,4,5,6,7]
601 ; SSE41-NEXT: psrad %xmm2, %xmm0
604 ; AVX-LABEL: splatvar_shift_v4i32:
606 ; AVX-NEXT: vpxor %xmm2, %xmm2, %xmm2
607 ; AVX-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
608 ; AVX-NEXT: vpsrad %xmm1, %xmm0, %xmm0
611 ; XOP-LABEL: splatvar_shift_v4i32:
613 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
614 ; XOP-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
615 ; XOP-NEXT: vpsrad %xmm1, %xmm0, %xmm0
618 ; X32-SSE-LABEL: splatvar_shift_v4i32:
620 ; X32-SSE-NEXT: xorps %xmm2, %xmm2
621 ; X32-SSE-NEXT: movss {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3]
622 ; X32-SSE-NEXT: psrad %xmm2, %xmm0
624 %splat = shufflevector <4 x i32> %b, <4 x i32> undef, <4 x i32> zeroinitializer
625 %shift = ashr <4 x i32> %a, %splat
629 define <8 x i16> @splatvar_shift_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
630 ; SSE2-LABEL: splatvar_shift_v8i16:
632 ; SSE2-NEXT: movd %xmm1, %eax
633 ; SSE2-NEXT: movzwl %ax, %eax
634 ; SSE2-NEXT: movd %eax, %xmm1
635 ; SSE2-NEXT: psraw %xmm1, %xmm0
638 ; SSE41-LABEL: splatvar_shift_v8i16:
640 ; SSE41-NEXT: pxor %xmm2, %xmm2
641 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm1[0],xmm2[1,2,3,4,5,6,7]
642 ; SSE41-NEXT: psraw %xmm2, %xmm0
645 ; AVX-LABEL: splatvar_shift_v8i16:
647 ; AVX-NEXT: vpxor %xmm2, %xmm2, %xmm2
648 ; AVX-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0],xmm2[1,2,3,4,5,6,7]
649 ; AVX-NEXT: vpsraw %xmm1, %xmm0, %xmm0
652 ; XOP-LABEL: splatvar_shift_v8i16:
654 ; XOP-NEXT: vpxor %xmm2, %xmm2, %xmm2
655 ; XOP-NEXT: vpblendw {{.*#+}} xmm1 = xmm1[0],xmm2[1,2,3,4,5,6,7]
656 ; XOP-NEXT: vpsraw %xmm1, %xmm0, %xmm0
659 ; X32-SSE-LABEL: splatvar_shift_v8i16:
661 ; X32-SSE-NEXT: movd %xmm1, %eax
662 ; X32-SSE-NEXT: movzwl %ax, %eax
663 ; X32-SSE-NEXT: movd %eax, %xmm1
664 ; X32-SSE-NEXT: psraw %xmm1, %xmm0
666 %splat = shufflevector <8 x i16> %b, <8 x i16> undef, <8 x i32> zeroinitializer
667 %shift = ashr <8 x i16> %a, %splat
671 define <16 x i8> @splatvar_shift_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
672 ; SSE2-LABEL: splatvar_shift_v16i8:
674 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
675 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,1,0,3]
676 ; SSE2-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,0,0,0,4,5,6,7]
677 ; SSE2-NEXT: pshufhw {{.*#+}} xmm3 = xmm1[0,1,2,3,4,4,4,4]
678 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
679 ; SSE2-NEXT: psllw $5, %xmm3
680 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm3[8],xmm4[9],xmm3[9],xmm4[10],xmm3[10],xmm4[11],xmm3[11],xmm4[12],xmm3[12],xmm4[13],xmm3[13],xmm4[14],xmm3[14],xmm4[15],xmm3[15]
681 ; SSE2-NEXT: pxor %xmm2, %xmm2
682 ; SSE2-NEXT: pxor %xmm5, %xmm5
683 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
684 ; SSE2-NEXT: movdqa %xmm5, %xmm6
685 ; SSE2-NEXT: pandn %xmm1, %xmm6
686 ; SSE2-NEXT: psraw $4, %xmm1
687 ; SSE2-NEXT: pand %xmm5, %xmm1
688 ; SSE2-NEXT: por %xmm6, %xmm1
689 ; SSE2-NEXT: paddw %xmm4, %xmm4
690 ; SSE2-NEXT: pxor %xmm5, %xmm5
691 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
692 ; SSE2-NEXT: movdqa %xmm5, %xmm6
693 ; SSE2-NEXT: pandn %xmm1, %xmm6
694 ; SSE2-NEXT: psraw $2, %xmm1
695 ; SSE2-NEXT: pand %xmm5, %xmm1
696 ; SSE2-NEXT: por %xmm6, %xmm1
697 ; SSE2-NEXT: paddw %xmm4, %xmm4
698 ; SSE2-NEXT: pxor %xmm5, %xmm5
699 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
700 ; SSE2-NEXT: movdqa %xmm5, %xmm4
701 ; SSE2-NEXT: pandn %xmm1, %xmm4
702 ; SSE2-NEXT: psraw $1, %xmm1
703 ; SSE2-NEXT: pand %xmm5, %xmm1
704 ; SSE2-NEXT: por %xmm4, %xmm1
705 ; SSE2-NEXT: psrlw $8, %xmm1
706 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
707 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm3 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
708 ; SSE2-NEXT: pxor %xmm4, %xmm4
709 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm4
710 ; SSE2-NEXT: movdqa %xmm4, %xmm5
711 ; SSE2-NEXT: pandn %xmm0, %xmm5
712 ; SSE2-NEXT: psraw $4, %xmm0
713 ; SSE2-NEXT: pand %xmm4, %xmm0
714 ; SSE2-NEXT: por %xmm5, %xmm0
715 ; SSE2-NEXT: paddw %xmm3, %xmm3
716 ; SSE2-NEXT: pxor %xmm4, %xmm4
717 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm4
718 ; SSE2-NEXT: movdqa %xmm4, %xmm5
719 ; SSE2-NEXT: pandn %xmm0, %xmm5
720 ; SSE2-NEXT: psraw $2, %xmm0
721 ; SSE2-NEXT: pand %xmm4, %xmm0
722 ; SSE2-NEXT: por %xmm5, %xmm0
723 ; SSE2-NEXT: paddw %xmm3, %xmm3
724 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm2
725 ; SSE2-NEXT: movdqa %xmm2, %xmm3
726 ; SSE2-NEXT: pandn %xmm0, %xmm3
727 ; SSE2-NEXT: psraw $1, %xmm0
728 ; SSE2-NEXT: pand %xmm2, %xmm0
729 ; SSE2-NEXT: por %xmm3, %xmm0
730 ; SSE2-NEXT: psrlw $8, %xmm0
731 ; SSE2-NEXT: packuswb %xmm1, %xmm0
734 ; SSE41-LABEL: splatvar_shift_v16i8:
736 ; SSE41-NEXT: movdqa %xmm0, %xmm2
737 ; SSE41-NEXT: pxor %xmm0, %xmm0
738 ; SSE41-NEXT: pshufb %xmm0, %xmm1
739 ; SSE41-NEXT: psllw $5, %xmm1
740 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
741 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm3 = xmm3[8],xmm2[8],xmm3[9],xmm2[9],xmm3[10],xmm2[10],xmm3[11],xmm2[11],xmm3[12],xmm2[12],xmm3[13],xmm2[13],xmm3[14],xmm2[14],xmm3[15],xmm2[15]
742 ; SSE41-NEXT: movdqa %xmm3, %xmm4
743 ; SSE41-NEXT: psraw $4, %xmm4
744 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
745 ; SSE41-NEXT: movdqa %xmm3, %xmm4
746 ; SSE41-NEXT: psraw $2, %xmm4
747 ; SSE41-NEXT: paddw %xmm0, %xmm0
748 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
749 ; SSE41-NEXT: movdqa %xmm3, %xmm4
750 ; SSE41-NEXT: psraw $1, %xmm4
751 ; SSE41-NEXT: paddw %xmm0, %xmm0
752 ; SSE41-NEXT: pblendvb %xmm4, %xmm3
753 ; SSE41-NEXT: psrlw $8, %xmm3
754 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
755 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
756 ; SSE41-NEXT: movdqa %xmm1, %xmm2
757 ; SSE41-NEXT: psraw $4, %xmm2
758 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
759 ; SSE41-NEXT: movdqa %xmm1, %xmm2
760 ; SSE41-NEXT: psraw $2, %xmm2
761 ; SSE41-NEXT: paddw %xmm0, %xmm0
762 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
763 ; SSE41-NEXT: movdqa %xmm1, %xmm2
764 ; SSE41-NEXT: psraw $1, %xmm2
765 ; SSE41-NEXT: paddw %xmm0, %xmm0
766 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
767 ; SSE41-NEXT: psrlw $8, %xmm1
768 ; SSE41-NEXT: packuswb %xmm3, %xmm1
769 ; SSE41-NEXT: movdqa %xmm1, %xmm0
772 ; AVX1-LABEL: splatvar_shift_v16i8:
774 ; AVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
775 ; AVX1-NEXT: vpshufb %xmm2, %xmm1, %xmm1
776 ; AVX1-NEXT: vpsllw $5, %xmm1, %xmm1
777 ; AVX1-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
778 ; AVX1-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
779 ; AVX1-NEXT: vpsraw $4, %xmm3, %xmm4
780 ; AVX1-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
781 ; AVX1-NEXT: vpsraw $2, %xmm3, %xmm4
782 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
783 ; AVX1-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
784 ; AVX1-NEXT: vpsraw $1, %xmm3, %xmm4
785 ; AVX1-NEXT: vpaddw %xmm2, %xmm2, %xmm2
786 ; AVX1-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
787 ; AVX1-NEXT: vpsrlw $8, %xmm2, %xmm2
788 ; AVX1-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
789 ; AVX1-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
790 ; AVX1-NEXT: vpsraw $4, %xmm0, %xmm3
791 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
792 ; AVX1-NEXT: vpsraw $2, %xmm0, %xmm3
793 ; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm1
794 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
795 ; AVX1-NEXT: vpsraw $1, %xmm0, %xmm3
796 ; AVX1-NEXT: vpaddw %xmm1, %xmm1, %xmm1
797 ; AVX1-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
798 ; AVX1-NEXT: vpsrlw $8, %xmm0, %xmm0
799 ; AVX1-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
802 ; AVX2-LABEL: splatvar_shift_v16i8:
804 ; AVX2-NEXT: vpbroadcastb %xmm1, %xmm1
805 ; AVX2-NEXT: vpsllw $5, %xmm1, %xmm1
806 ; AVX2-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
807 ; AVX2-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
808 ; AVX2-NEXT: vpsraw $4, %xmm3, %xmm4
809 ; AVX2-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
810 ; AVX2-NEXT: vpsraw $2, %xmm3, %xmm4
811 ; AVX2-NEXT: vpaddw %xmm2, %xmm2, %xmm2
812 ; AVX2-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
813 ; AVX2-NEXT: vpsraw $1, %xmm3, %xmm4
814 ; AVX2-NEXT: vpaddw %xmm2, %xmm2, %xmm2
815 ; AVX2-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
816 ; AVX2-NEXT: vpsrlw $8, %xmm2, %xmm2
817 ; AVX2-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
818 ; AVX2-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
819 ; AVX2-NEXT: vpsraw $4, %xmm0, %xmm3
820 ; AVX2-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
821 ; AVX2-NEXT: vpsraw $2, %xmm0, %xmm3
822 ; AVX2-NEXT: vpaddw %xmm1, %xmm1, %xmm1
823 ; AVX2-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
824 ; AVX2-NEXT: vpsraw $1, %xmm0, %xmm3
825 ; AVX2-NEXT: vpaddw %xmm1, %xmm1, %xmm1
826 ; AVX2-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
827 ; AVX2-NEXT: vpsrlw $8, %xmm0, %xmm0
828 ; AVX2-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
831 ; XOPAVX1-LABEL: splatvar_shift_v16i8:
833 ; XOPAVX1-NEXT: vpxor %xmm2, %xmm2, %xmm2
834 ; XOPAVX1-NEXT: vpshufb %xmm2, %xmm1, %xmm1
835 ; XOPAVX1-NEXT: vpsubb %xmm1, %xmm2, %xmm1
836 ; XOPAVX1-NEXT: vpshab %xmm1, %xmm0, %xmm0
839 ; XOPAVX2-LABEL: splatvar_shift_v16i8:
841 ; XOPAVX2-NEXT: vpbroadcastb %xmm1, %xmm1
842 ; XOPAVX2-NEXT: vpxor %xmm2, %xmm2, %xmm2
843 ; XOPAVX2-NEXT: vpsubb %xmm1, %xmm2, %xmm1
844 ; XOPAVX2-NEXT: vpshab %xmm1, %xmm0, %xmm0
847 ; X32-SSE-LABEL: splatvar_shift_v16i8:
849 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
850 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[0,1,0,3]
851 ; X32-SSE-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,0,0,0,4,5,6,7]
852 ; X32-SSE-NEXT: pshufhw {{.*#+}} xmm3 = xmm1[0,1,2,3,4,4,4,4]
853 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
854 ; X32-SSE-NEXT: psllw $5, %xmm3
855 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm3[8],xmm4[9],xmm3[9],xmm4[10],xmm3[10],xmm4[11],xmm3[11],xmm4[12],xmm3[12],xmm4[13],xmm3[13],xmm4[14],xmm3[14],xmm4[15],xmm3[15]
856 ; X32-SSE-NEXT: pxor %xmm2, %xmm2
857 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
858 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
859 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
860 ; X32-SSE-NEXT: pandn %xmm1, %xmm6
861 ; X32-SSE-NEXT: psraw $4, %xmm1
862 ; X32-SSE-NEXT: pand %xmm5, %xmm1
863 ; X32-SSE-NEXT: por %xmm6, %xmm1
864 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
865 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
866 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
867 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
868 ; X32-SSE-NEXT: pandn %xmm1, %xmm6
869 ; X32-SSE-NEXT: psraw $2, %xmm1
870 ; X32-SSE-NEXT: pand %xmm5, %xmm1
871 ; X32-SSE-NEXT: por %xmm6, %xmm1
872 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
873 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
874 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
875 ; X32-SSE-NEXT: movdqa %xmm5, %xmm4
876 ; X32-SSE-NEXT: pandn %xmm1, %xmm4
877 ; X32-SSE-NEXT: psraw $1, %xmm1
878 ; X32-SSE-NEXT: pand %xmm5, %xmm1
879 ; X32-SSE-NEXT: por %xmm4, %xmm1
880 ; X32-SSE-NEXT: psrlw $8, %xmm1
881 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
882 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm3 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
883 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
884 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm4
885 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
886 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
887 ; X32-SSE-NEXT: psraw $4, %xmm0
888 ; X32-SSE-NEXT: pand %xmm4, %xmm0
889 ; X32-SSE-NEXT: por %xmm5, %xmm0
890 ; X32-SSE-NEXT: paddw %xmm3, %xmm3
891 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
892 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm4
893 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
894 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
895 ; X32-SSE-NEXT: psraw $2, %xmm0
896 ; X32-SSE-NEXT: pand %xmm4, %xmm0
897 ; X32-SSE-NEXT: por %xmm5, %xmm0
898 ; X32-SSE-NEXT: paddw %xmm3, %xmm3
899 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm2
900 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
901 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
902 ; X32-SSE-NEXT: psraw $1, %xmm0
903 ; X32-SSE-NEXT: pand %xmm2, %xmm0
904 ; X32-SSE-NEXT: por %xmm3, %xmm0
905 ; X32-SSE-NEXT: psrlw $8, %xmm0
906 ; X32-SSE-NEXT: packuswb %xmm1, %xmm0
908 %splat = shufflevector <16 x i8> %b, <16 x i8> undef, <16 x i32> zeroinitializer
909 %shift = ashr <16 x i8> %a, %splat
917 define <2 x i64> @constant_shift_v2i64(<2 x i64> %a) nounwind {
918 ; SSE2-LABEL: constant_shift_v2i64:
920 ; SSE2-NEXT: movdqa %xmm0, %xmm1
921 ; SSE2-NEXT: psrlq $7, %xmm1
922 ; SSE2-NEXT: psrlq $1, %xmm0
923 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
924 ; SSE2-NEXT: movapd {{.*#+}} xmm0 = [4611686018427387904,72057594037927936]
925 ; SSE2-NEXT: xorpd %xmm0, %xmm1
926 ; SSE2-NEXT: psubq %xmm0, %xmm1
927 ; SSE2-NEXT: movdqa %xmm1, %xmm0
930 ; SSE41-LABEL: constant_shift_v2i64:
932 ; SSE41-NEXT: movdqa %xmm0, %xmm1
933 ; SSE41-NEXT: psrlq $7, %xmm1
934 ; SSE41-NEXT: psrlq $1, %xmm0
935 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
936 ; SSE41-NEXT: movdqa {{.*#+}} xmm1 = [4611686018427387904,72057594037927936]
937 ; SSE41-NEXT: pxor %xmm1, %xmm0
938 ; SSE41-NEXT: psubq %xmm1, %xmm0
941 ; AVX1-LABEL: constant_shift_v2i64:
943 ; AVX1-NEXT: vpsrlq $7, %xmm0, %xmm1
944 ; AVX1-NEXT: vpsrlq $1, %xmm0, %xmm0
945 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
946 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm1 = [4611686018427387904,72057594037927936]
947 ; AVX1-NEXT: vpxor %xmm1, %xmm0, %xmm0
948 ; AVX1-NEXT: vpsubq %xmm1, %xmm0, %xmm0
951 ; AVX2-LABEL: constant_shift_v2i64:
953 ; AVX2-NEXT: vpsrlvq {{.*}}(%rip), %xmm0, %xmm0
954 ; AVX2-NEXT: vmovdqa {{.*#+}} xmm1 = [4611686018427387904,72057594037927936]
955 ; AVX2-NEXT: vpxor %xmm1, %xmm0, %xmm0
956 ; AVX2-NEXT: vpsubq %xmm1, %xmm0, %xmm0
959 ; XOP-LABEL: constant_shift_v2i64:
961 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
962 ; XOP-NEXT: vpsubq {{.*}}(%rip), %xmm1, %xmm1
963 ; XOP-NEXT: vpshaq %xmm1, %xmm0, %xmm0
966 ; X32-SSE-LABEL: constant_shift_v2i64:
968 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm1 = [0,2147483648,0,2147483648]
969 ; X32-SSE-NEXT: movdqa %xmm1, %xmm2
970 ; X32-SSE-NEXT: psrlq $7, %xmm2
971 ; X32-SSE-NEXT: psrlq $1, %xmm1
972 ; X32-SSE-NEXT: movsd {{.*#+}} xmm2 = xmm1[0],xmm2[1]
973 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
974 ; X32-SSE-NEXT: psrlq $7, %xmm1
975 ; X32-SSE-NEXT: psrlq $1, %xmm0
976 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
977 ; X32-SSE-NEXT: xorpd %xmm2, %xmm1
978 ; X32-SSE-NEXT: psubq %xmm2, %xmm1
979 ; X32-SSE-NEXT: movdqa %xmm1, %xmm0
981 %shift = ashr <2 x i64> %a, <i64 1, i64 7>
985 define <4 x i32> @constant_shift_v4i32(<4 x i32> %a) nounwind {
986 ; SSE2-LABEL: constant_shift_v4i32:
988 ; SSE2-NEXT: movdqa %xmm0, %xmm1
989 ; SSE2-NEXT: psrad $7, %xmm1
990 ; SSE2-NEXT: movdqa %xmm0, %xmm2
991 ; SSE2-NEXT: psrad $5, %xmm2
992 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = xmm2[0],xmm1[1]
993 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
994 ; SSE2-NEXT: movdqa %xmm0, %xmm2
995 ; SSE2-NEXT: psrad $6, %xmm2
996 ; SSE2-NEXT: psrad $4, %xmm0
997 ; SSE2-NEXT: movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
998 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm2[0,2,2,3]
999 ; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1002 ; SSE41-LABEL: constant_shift_v4i32:
1004 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1005 ; SSE41-NEXT: psrad $7, %xmm1
1006 ; SSE41-NEXT: movdqa %xmm0, %xmm2
1007 ; SSE41-NEXT: psrad $5, %xmm2
1008 ; SSE41-NEXT: pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1009 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1010 ; SSE41-NEXT: psrad $6, %xmm1
1011 ; SSE41-NEXT: psrad $4, %xmm0
1012 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
1013 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
1016 ; AVX1-LABEL: constant_shift_v4i32:
1018 ; AVX1-NEXT: vpsrad $7, %xmm0, %xmm1
1019 ; AVX1-NEXT: vpsrad $5, %xmm0, %xmm2
1020 ; AVX1-NEXT: vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
1021 ; AVX1-NEXT: vpsrad $6, %xmm0, %xmm2
1022 ; AVX1-NEXT: vpsrad $4, %xmm0, %xmm0
1023 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
1024 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1027 ; AVX2-LABEL: constant_shift_v4i32:
1029 ; AVX2-NEXT: vpsravd {{.*}}(%rip), %xmm0, %xmm0
1032 ; XOPAVX1-LABEL: constant_shift_v4i32:
1034 ; XOPAVX1-NEXT: vpshad {{.*}}(%rip), %xmm0, %xmm0
1035 ; XOPAVX1-NEXT: retq
1037 ; XOPAVX2-LABEL: constant_shift_v4i32:
1039 ; XOPAVX2-NEXT: vpsravd {{.*}}(%rip), %xmm0, %xmm0
1040 ; XOPAVX2-NEXT: retq
1042 ; X32-SSE-LABEL: constant_shift_v4i32:
1044 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
1045 ; X32-SSE-NEXT: psrad $7, %xmm1
1046 ; X32-SSE-NEXT: movdqa %xmm0, %xmm2
1047 ; X32-SSE-NEXT: psrad $5, %xmm2
1048 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm2[0],xmm1[1]
1049 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1050 ; X32-SSE-NEXT: movdqa %xmm0, %xmm2
1051 ; X32-SSE-NEXT: psrad $6, %xmm2
1052 ; X32-SSE-NEXT: psrad $4, %xmm0
1053 ; X32-SSE-NEXT: movsd {{.*#+}} xmm2 = xmm0[0],xmm2[1]
1054 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm2[0,2,2,3]
1055 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1056 ; X32-SSE-NEXT: retl
1057 %shift = ashr <4 x i32> %a, <i32 4, i32 5, i32 6, i32 7>
1058 ret <4 x i32> %shift
1061 define <8 x i16> @constant_shift_v8i16(<8 x i16> %a) nounwind {
1062 ; SSE2-LABEL: constant_shift_v8i16:
1064 ; SSE2-NEXT: movdqa %xmm0, %xmm1
1065 ; SSE2-NEXT: psraw $4, %xmm1
1066 ; SSE2-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
1067 ; SSE2-NEXT: pshufd {{.*#+}} xmm2 = xmm1[0,2,2,3]
1068 ; SSE2-NEXT: psraw $2, %xmm1
1069 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm1[1,3,2,3]
1070 ; SSE2-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
1071 ; SSE2-NEXT: movdqa {{.*#+}} xmm0 = [65535,0,65535,0,65535,0,65535,0]
1072 ; SSE2-NEXT: movdqa %xmm2, %xmm1
1073 ; SSE2-NEXT: pand %xmm0, %xmm1
1074 ; SSE2-NEXT: psraw $1, %xmm2
1075 ; SSE2-NEXT: pandn %xmm2, %xmm0
1076 ; SSE2-NEXT: por %xmm1, %xmm0
1079 ; SSE41-LABEL: constant_shift_v8i16:
1081 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1082 ; SSE41-NEXT: movdqa %xmm1, %xmm2
1083 ; SSE41-NEXT: psraw $8, %xmm2
1084 ; SSE41-NEXT: movaps {{.*#+}} xmm0 = [0,4112,8224,12336,16448,20560,24672,28784]
1085 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
1086 ; SSE41-NEXT: movdqa %xmm1, %xmm2
1087 ; SSE41-NEXT: psraw $4, %xmm2
1088 ; SSE41-NEXT: movaps {{.*#+}} xmm0 = [0,8224,16448,24672,32896,41120,49344,57568]
1089 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
1090 ; SSE41-NEXT: movdqa %xmm1, %xmm2
1091 ; SSE41-NEXT: psraw $2, %xmm2
1092 ; SSE41-NEXT: movaps {{.*#+}} xmm0 = [0,16448,32896,49344,256,16704,33152,49600]
1093 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
1094 ; SSE41-NEXT: movdqa %xmm1, %xmm2
1095 ; SSE41-NEXT: psraw $1, %xmm2
1096 ; SSE41-NEXT: movaps {{.*#+}} xmm0 = [0,32896,256,33152,512,33408,768,33664]
1097 ; SSE41-NEXT: pblendvb %xmm2, %xmm1
1098 ; SSE41-NEXT: movdqa %xmm1, %xmm0
1101 ; AVX1-LABEL: constant_shift_v8i16:
1103 ; AVX1-NEXT: vpsraw $8, %xmm0, %xmm1
1104 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [0,4112,8224,12336,16448,20560,24672,28784]
1105 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
1106 ; AVX1-NEXT: vpsraw $4, %xmm0, %xmm1
1107 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [0,8224,16448,24672,32896,41120,49344,57568]
1108 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
1109 ; AVX1-NEXT: vpsraw $2, %xmm0, %xmm1
1110 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [0,16448,32896,49344,256,16704,33152,49600]
1111 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
1112 ; AVX1-NEXT: vpsraw $1, %xmm0, %xmm1
1113 ; AVX1-NEXT: vmovdqa {{.*#+}} xmm2 = [0,32896,256,33152,512,33408,768,33664]
1114 ; AVX1-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
1117 ; AVX2-LABEL: constant_shift_v8i16:
1119 ; AVX2-NEXT: vpmovsxwd %xmm0, %ymm0
1120 ; AVX2-NEXT: vpmovzxwd {{.*#+}} ymm1 = mem[0],zero,mem[1],zero,mem[2],zero,mem[3],zero,mem[4],zero,mem[5],zero,mem[6],zero,mem[7],zero
1121 ; AVX2-NEXT: vpsravd %ymm1, %ymm0, %ymm0
1122 ; AVX2-NEXT: vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,20,21,24,25,28,29],zero,zero,zero,zero,zero,zero,zero,zero
1123 ; AVX2-NEXT: vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
1124 ; AVX2-NEXT: vzeroupper
1127 ; XOP-LABEL: constant_shift_v8i16:
1129 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
1130 ; XOP-NEXT: vpsubw {{.*}}(%rip), %xmm1, %xmm1
1131 ; XOP-NEXT: vpshaw %xmm1, %xmm0, %xmm0
1134 ; X32-SSE-LABEL: constant_shift_v8i16:
1136 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
1137 ; X32-SSE-NEXT: psraw $4, %xmm1
1138 ; X32-SSE-NEXT: movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
1139 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm2 = xmm1[0,2,2,3]
1140 ; X32-SSE-NEXT: psraw $2, %xmm1
1141 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm1[1,3,2,3]
1142 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
1143 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm0 = [65535,0,65535,0,65535,0,65535,0]
1144 ; X32-SSE-NEXT: movdqa %xmm2, %xmm1
1145 ; X32-SSE-NEXT: pand %xmm0, %xmm1
1146 ; X32-SSE-NEXT: psraw $1, %xmm2
1147 ; X32-SSE-NEXT: pandn %xmm2, %xmm0
1148 ; X32-SSE-NEXT: por %xmm1, %xmm0
1149 ; X32-SSE-NEXT: retl
1150 %shift = ashr <8 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
1151 ret <8 x i16> %shift
1154 define <16 x i8> @constant_shift_v16i8(<16 x i8> %a) nounwind {
1155 ; SSE2-LABEL: constant_shift_v16i8:
1157 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
1158 ; SSE2-NEXT: movdqa {{.*#+}} xmm3 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
1159 ; SSE2-NEXT: psllw $5, %xmm3
1160 ; SSE2-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm3[8],xmm4[9],xmm3[9],xmm4[10],xmm3[10],xmm4[11],xmm3[11],xmm4[12],xmm3[12],xmm4[13],xmm3[13],xmm4[14],xmm3[14],xmm4[15],xmm3[15]
1161 ; SSE2-NEXT: pxor %xmm2, %xmm2
1162 ; SSE2-NEXT: pxor %xmm5, %xmm5
1163 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
1164 ; SSE2-NEXT: movdqa %xmm5, %xmm6
1165 ; SSE2-NEXT: pandn %xmm1, %xmm6
1166 ; SSE2-NEXT: psraw $4, %xmm1
1167 ; SSE2-NEXT: pand %xmm5, %xmm1
1168 ; SSE2-NEXT: por %xmm6, %xmm1
1169 ; SSE2-NEXT: paddw %xmm4, %xmm4
1170 ; SSE2-NEXT: pxor %xmm5, %xmm5
1171 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
1172 ; SSE2-NEXT: movdqa %xmm5, %xmm6
1173 ; SSE2-NEXT: pandn %xmm1, %xmm6
1174 ; SSE2-NEXT: psraw $2, %xmm1
1175 ; SSE2-NEXT: pand %xmm5, %xmm1
1176 ; SSE2-NEXT: por %xmm6, %xmm1
1177 ; SSE2-NEXT: paddw %xmm4, %xmm4
1178 ; SSE2-NEXT: pxor %xmm5, %xmm5
1179 ; SSE2-NEXT: pcmpgtw %xmm4, %xmm5
1180 ; SSE2-NEXT: movdqa %xmm5, %xmm4
1181 ; SSE2-NEXT: pandn %xmm1, %xmm4
1182 ; SSE2-NEXT: psraw $1, %xmm1
1183 ; SSE2-NEXT: pand %xmm5, %xmm1
1184 ; SSE2-NEXT: por %xmm4, %xmm1
1185 ; SSE2-NEXT: psrlw $8, %xmm1
1186 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1187 ; SSE2-NEXT: punpcklbw {{.*#+}} xmm3 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1188 ; SSE2-NEXT: pxor %xmm4, %xmm4
1189 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm4
1190 ; SSE2-NEXT: movdqa %xmm4, %xmm5
1191 ; SSE2-NEXT: pandn %xmm0, %xmm5
1192 ; SSE2-NEXT: psraw $4, %xmm0
1193 ; SSE2-NEXT: pand %xmm4, %xmm0
1194 ; SSE2-NEXT: por %xmm5, %xmm0
1195 ; SSE2-NEXT: paddw %xmm3, %xmm3
1196 ; SSE2-NEXT: pxor %xmm4, %xmm4
1197 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm4
1198 ; SSE2-NEXT: movdqa %xmm4, %xmm5
1199 ; SSE2-NEXT: pandn %xmm0, %xmm5
1200 ; SSE2-NEXT: psraw $2, %xmm0
1201 ; SSE2-NEXT: pand %xmm4, %xmm0
1202 ; SSE2-NEXT: por %xmm5, %xmm0
1203 ; SSE2-NEXT: paddw %xmm3, %xmm3
1204 ; SSE2-NEXT: pcmpgtw %xmm3, %xmm2
1205 ; SSE2-NEXT: movdqa %xmm2, %xmm3
1206 ; SSE2-NEXT: pandn %xmm0, %xmm3
1207 ; SSE2-NEXT: psraw $1, %xmm0
1208 ; SSE2-NEXT: pand %xmm2, %xmm0
1209 ; SSE2-NEXT: por %xmm3, %xmm0
1210 ; SSE2-NEXT: psrlw $8, %xmm0
1211 ; SSE2-NEXT: packuswb %xmm1, %xmm0
1214 ; SSE41-LABEL: constant_shift_v16i8:
1216 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1217 ; SSE41-NEXT: movdqa {{.*#+}} xmm3 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
1218 ; SSE41-NEXT: psllw $5, %xmm3
1219 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm3[8],xmm0[9],xmm3[9],xmm0[10],xmm3[10],xmm0[11],xmm3[11],xmm0[12],xmm3[12],xmm0[13],xmm3[13],xmm0[14],xmm3[14],xmm0[15],xmm3[15]
1220 ; SSE41-NEXT: punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm1[8],xmm2[9],xmm1[9],xmm2[10],xmm1[10],xmm2[11],xmm1[11],xmm2[12],xmm1[12],xmm2[13],xmm1[13],xmm2[14],xmm1[14],xmm2[15],xmm1[15]
1221 ; SSE41-NEXT: movdqa %xmm2, %xmm4
1222 ; SSE41-NEXT: psraw $4, %xmm4
1223 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
1224 ; SSE41-NEXT: movdqa %xmm2, %xmm4
1225 ; SSE41-NEXT: psraw $2, %xmm4
1226 ; SSE41-NEXT: paddw %xmm0, %xmm0
1227 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
1228 ; SSE41-NEXT: movdqa %xmm2, %xmm4
1229 ; SSE41-NEXT: psraw $1, %xmm4
1230 ; SSE41-NEXT: paddw %xmm0, %xmm0
1231 ; SSE41-NEXT: pblendvb %xmm4, %xmm2
1232 ; SSE41-NEXT: psrlw $8, %xmm2
1233 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
1234 ; SSE41-NEXT: punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1235 ; SSE41-NEXT: movdqa %xmm1, %xmm3
1236 ; SSE41-NEXT: psraw $4, %xmm3
1237 ; SSE41-NEXT: pblendvb %xmm3, %xmm1
1238 ; SSE41-NEXT: movdqa %xmm1, %xmm3
1239 ; SSE41-NEXT: psraw $2, %xmm3
1240 ; SSE41-NEXT: paddw %xmm0, %xmm0
1241 ; SSE41-NEXT: pblendvb %xmm3, %xmm1
1242 ; SSE41-NEXT: movdqa %xmm1, %xmm3
1243 ; SSE41-NEXT: psraw $1, %xmm3
1244 ; SSE41-NEXT: paddw %xmm0, %xmm0
1245 ; SSE41-NEXT: pblendvb %xmm3, %xmm1
1246 ; SSE41-NEXT: psrlw $8, %xmm1
1247 ; SSE41-NEXT: packuswb %xmm2, %xmm1
1248 ; SSE41-NEXT: movdqa %xmm1, %xmm0
1251 ; AVX-LABEL: constant_shift_v16i8:
1253 ; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
1254 ; AVX-NEXT: vpsllw $5, %xmm1, %xmm1
1255 ; AVX-NEXT: vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
1256 ; AVX-NEXT: vpunpckhbw {{.*#+}} xmm3 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
1257 ; AVX-NEXT: vpsraw $4, %xmm3, %xmm4
1258 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
1259 ; AVX-NEXT: vpsraw $2, %xmm3, %xmm4
1260 ; AVX-NEXT: vpaddw %xmm2, %xmm2, %xmm2
1261 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm3
1262 ; AVX-NEXT: vpsraw $1, %xmm3, %xmm4
1263 ; AVX-NEXT: vpaddw %xmm2, %xmm2, %xmm2
1264 ; AVX-NEXT: vpblendvb %xmm2, %xmm4, %xmm3, %xmm2
1265 ; AVX-NEXT: vpsrlw $8, %xmm2, %xmm2
1266 ; AVX-NEXT: vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
1267 ; AVX-NEXT: vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1268 ; AVX-NEXT: vpsraw $4, %xmm0, %xmm3
1269 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
1270 ; AVX-NEXT: vpsraw $2, %xmm0, %xmm3
1271 ; AVX-NEXT: vpaddw %xmm1, %xmm1, %xmm1
1272 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
1273 ; AVX-NEXT: vpsraw $1, %xmm0, %xmm3
1274 ; AVX-NEXT: vpaddw %xmm1, %xmm1, %xmm1
1275 ; AVX-NEXT: vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
1276 ; AVX-NEXT: vpsrlw $8, %xmm0, %xmm0
1277 ; AVX-NEXT: vpackuswb %xmm2, %xmm0, %xmm0
1280 ; XOP-LABEL: constant_shift_v16i8:
1282 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
1283 ; XOP-NEXT: vpsubb {{.*}}(%rip), %xmm1, %xmm1
1284 ; XOP-NEXT: vpshab %xmm1, %xmm0, %xmm0
1287 ; X32-SSE-LABEL: constant_shift_v16i8:
1289 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm0[8],xmm1[9],xmm0[9],xmm1[10],xmm0[10],xmm1[11],xmm0[11],xmm1[12],xmm0[12],xmm1[13],xmm0[13],xmm1[14],xmm0[14],xmm1[15],xmm0[15]
1290 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm3 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
1291 ; X32-SSE-NEXT: psllw $5, %xmm3
1292 ; X32-SSE-NEXT: punpckhbw {{.*#+}} xmm4 = xmm4[8],xmm3[8],xmm4[9],xmm3[9],xmm4[10],xmm3[10],xmm4[11],xmm3[11],xmm4[12],xmm3[12],xmm4[13],xmm3[13],xmm4[14],xmm3[14],xmm4[15],xmm3[15]
1293 ; X32-SSE-NEXT: pxor %xmm2, %xmm2
1294 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
1295 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
1296 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
1297 ; X32-SSE-NEXT: pandn %xmm1, %xmm6
1298 ; X32-SSE-NEXT: psraw $4, %xmm1
1299 ; X32-SSE-NEXT: pand %xmm5, %xmm1
1300 ; X32-SSE-NEXT: por %xmm6, %xmm1
1301 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
1302 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
1303 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
1304 ; X32-SSE-NEXT: movdqa %xmm5, %xmm6
1305 ; X32-SSE-NEXT: pandn %xmm1, %xmm6
1306 ; X32-SSE-NEXT: psraw $2, %xmm1
1307 ; X32-SSE-NEXT: pand %xmm5, %xmm1
1308 ; X32-SSE-NEXT: por %xmm6, %xmm1
1309 ; X32-SSE-NEXT: paddw %xmm4, %xmm4
1310 ; X32-SSE-NEXT: pxor %xmm5, %xmm5
1311 ; X32-SSE-NEXT: pcmpgtw %xmm4, %xmm5
1312 ; X32-SSE-NEXT: movdqa %xmm5, %xmm4
1313 ; X32-SSE-NEXT: pandn %xmm1, %xmm4
1314 ; X32-SSE-NEXT: psraw $1, %xmm1
1315 ; X32-SSE-NEXT: pand %xmm5, %xmm1
1316 ; X32-SSE-NEXT: por %xmm4, %xmm1
1317 ; X32-SSE-NEXT: psrlw $8, %xmm1
1318 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1319 ; X32-SSE-NEXT: punpcklbw {{.*#+}} xmm3 = xmm3[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
1320 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
1321 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm4
1322 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
1323 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
1324 ; X32-SSE-NEXT: psraw $4, %xmm0
1325 ; X32-SSE-NEXT: pand %xmm4, %xmm0
1326 ; X32-SSE-NEXT: por %xmm5, %xmm0
1327 ; X32-SSE-NEXT: paddw %xmm3, %xmm3
1328 ; X32-SSE-NEXT: pxor %xmm4, %xmm4
1329 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm4
1330 ; X32-SSE-NEXT: movdqa %xmm4, %xmm5
1331 ; X32-SSE-NEXT: pandn %xmm0, %xmm5
1332 ; X32-SSE-NEXT: psraw $2, %xmm0
1333 ; X32-SSE-NEXT: pand %xmm4, %xmm0
1334 ; X32-SSE-NEXT: por %xmm5, %xmm0
1335 ; X32-SSE-NEXT: paddw %xmm3, %xmm3
1336 ; X32-SSE-NEXT: pcmpgtw %xmm3, %xmm2
1337 ; X32-SSE-NEXT: movdqa %xmm2, %xmm3
1338 ; X32-SSE-NEXT: pandn %xmm0, %xmm3
1339 ; X32-SSE-NEXT: psraw $1, %xmm0
1340 ; X32-SSE-NEXT: pand %xmm2, %xmm0
1341 ; X32-SSE-NEXT: por %xmm3, %xmm0
1342 ; X32-SSE-NEXT: psrlw $8, %xmm0
1343 ; X32-SSE-NEXT: packuswb %xmm1, %xmm0
1344 ; X32-SSE-NEXT: retl
1345 %shift = ashr <16 x i8> %a, <i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0>
1346 ret <16 x i8> %shift
1350 ; Uniform Constant Shifts
1353 define <2 x i64> @splatconstant_shift_v2i64(<2 x i64> %a) nounwind {
1354 ; SSE2-LABEL: splatconstant_shift_v2i64:
1356 ; SSE2-NEXT: movdqa %xmm0, %xmm1
1357 ; SSE2-NEXT: psrad $7, %xmm1
1358 ; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1359 ; SSE2-NEXT: psrlq $7, %xmm0
1360 ; SSE2-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1361 ; SSE2-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1364 ; SSE41-LABEL: splatconstant_shift_v2i64:
1366 ; SSE41-NEXT: movdqa %xmm0, %xmm1
1367 ; SSE41-NEXT: psrad $7, %xmm1
1368 ; SSE41-NEXT: psrlq $7, %xmm0
1369 ; SSE41-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1372 ; AVX1-LABEL: splatconstant_shift_v2i64:
1374 ; AVX1-NEXT: vpsrad $7, %xmm0, %xmm1
1375 ; AVX1-NEXT: vpsrlq $7, %xmm0, %xmm0
1376 ; AVX1-NEXT: vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
1379 ; AVX2-LABEL: splatconstant_shift_v2i64:
1381 ; AVX2-NEXT: vpsrad $7, %xmm0, %xmm1
1382 ; AVX2-NEXT: vpsrlq $7, %xmm0, %xmm0
1383 ; AVX2-NEXT: vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
1386 ; XOP-LABEL: splatconstant_shift_v2i64:
1388 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
1389 ; XOP-NEXT: vpsubq {{.*}}(%rip), %xmm1, %xmm1
1390 ; XOP-NEXT: vpshaq %xmm1, %xmm0, %xmm0
1393 ; X32-SSE-LABEL: splatconstant_shift_v2i64:
1395 ; X32-SSE-NEXT: movdqa %xmm0, %xmm1
1396 ; X32-SSE-NEXT: psrad $7, %xmm1
1397 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
1398 ; X32-SSE-NEXT: psrlq $7, %xmm0
1399 ; X32-SSE-NEXT: pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1400 ; X32-SSE-NEXT: punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1401 ; X32-SSE-NEXT: retl
1402 %shift = ashr <2 x i64> %a, <i64 7, i64 7>
1403 ret <2 x i64> %shift
1406 define <4 x i32> @splatconstant_shift_v4i32(<4 x i32> %a) nounwind {
1407 ; SSE-LABEL: splatconstant_shift_v4i32:
1409 ; SSE-NEXT: psrad $5, %xmm0
1412 ; AVX-LABEL: splatconstant_shift_v4i32:
1414 ; AVX-NEXT: vpsrad $5, %xmm0, %xmm0
1417 ; XOP-LABEL: splatconstant_shift_v4i32:
1419 ; XOP-NEXT: vpsrad $5, %xmm0, %xmm0
1422 ; X32-SSE-LABEL: splatconstant_shift_v4i32:
1424 ; X32-SSE-NEXT: psrad $5, %xmm0
1425 ; X32-SSE-NEXT: retl
1426 %shift = ashr <4 x i32> %a, <i32 5, i32 5, i32 5, i32 5>
1427 ret <4 x i32> %shift
1430 define <8 x i16> @splatconstant_shift_v8i16(<8 x i16> %a) nounwind {
1431 ; SSE-LABEL: splatconstant_shift_v8i16:
1433 ; SSE-NEXT: psraw $3, %xmm0
1436 ; AVX-LABEL: splatconstant_shift_v8i16:
1438 ; AVX-NEXT: vpsraw $3, %xmm0, %xmm0
1441 ; XOP-LABEL: splatconstant_shift_v8i16:
1443 ; XOP-NEXT: vpsraw $3, %xmm0, %xmm0
1446 ; X32-SSE-LABEL: splatconstant_shift_v8i16:
1448 ; X32-SSE-NEXT: psraw $3, %xmm0
1449 ; X32-SSE-NEXT: retl
1450 %shift = ashr <8 x i16> %a, <i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3>
1451 ret <8 x i16> %shift
1454 define <16 x i8> @splatconstant_shift_v16i8(<16 x i8> %a) nounwind {
1455 ; SSE-LABEL: splatconstant_shift_v16i8:
1457 ; SSE-NEXT: psrlw $3, %xmm0
1458 ; SSE-NEXT: pand {{.*}}(%rip), %xmm0
1459 ; SSE-NEXT: movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
1460 ; SSE-NEXT: pxor %xmm1, %xmm0
1461 ; SSE-NEXT: psubb %xmm1, %xmm0
1464 ; AVX-LABEL: splatconstant_shift_v16i8:
1466 ; AVX-NEXT: vpsrlw $3, %xmm0, %xmm0
1467 ; AVX-NEXT: vpand {{.*}}(%rip), %xmm0, %xmm0
1468 ; AVX-NEXT: vmovdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
1469 ; AVX-NEXT: vpxor %xmm1, %xmm0, %xmm0
1470 ; AVX-NEXT: vpsubb %xmm1, %xmm0, %xmm0
1473 ; XOP-LABEL: splatconstant_shift_v16i8:
1475 ; XOP-NEXT: vpxor %xmm1, %xmm1, %xmm1
1476 ; XOP-NEXT: vpsubb {{.*}}(%rip), %xmm1, %xmm1
1477 ; XOP-NEXT: vpshab %xmm1, %xmm0, %xmm0
1480 ; X32-SSE-LABEL: splatconstant_shift_v16i8:
1482 ; X32-SSE-NEXT: psrlw $3, %xmm0
1483 ; X32-SSE-NEXT: pand .LCPI15_0, %xmm0
1484 ; X32-SSE-NEXT: movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
1485 ; X32-SSE-NEXT: pxor %xmm1, %xmm0
1486 ; X32-SSE-NEXT: psubb %xmm1, %xmm0
1487 ; X32-SSE-NEXT: retl
1488 %shift = ashr <16 x i8> %a, <i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3>
1489 ret <16 x i8> %shift