test/CodeGen/X86/vector-rotate-128.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+xop,+avx | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX1
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+xop,+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX2
   7 ;
   8 ; Just one 32-bit run to make sure we do reasonable things for i64 rotates.
   9 ; RUN: llc < %s -mtriple=i686-unknown-unknown -mcpu=x86-64 | FileCheck %s --check-prefix=ALL --check-prefix=X32-SSE --check-prefix=X32-SSE2
  10
  11 ;
  12 ; Variable Rotates
  13 ;
  14
  15 define <2 x i64> @var_rotate_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
  16 ; SSE2-LABEL: var_rotate_v2i64:
  17 ; SSE2:       # BB#0:
  18 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [64,64]
  19 ; SSE2-NEXT:    psubq %xmm1, %xmm2
  20 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
  21 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
  22 ; SSE2-NEXT:    psllq %xmm3, %xmm4
  23 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
  24 ; SSE2-NEXT:    psllq %xmm1, %xmm3
  25 ; SSE2-NEXT:    movsd {{.*#+}} xmm4 = xmm3[0],xmm4[1]
  26 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[2,3,0,1]
  27 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
  28 ; SSE2-NEXT:    psrlq %xmm3, %xmm1
  29 ; SSE2-NEXT:    psrlq %xmm2, %xmm0
  30 ; SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
  31 ; SSE2-NEXT:    orpd %xmm4, %xmm1
  32 ; SSE2-NEXT:    movapd %xmm1, %xmm0
  33 ; SSE2-NEXT:    retq
  34 ;
  35 ; SSE41-LABEL: var_rotate_v2i64:
  36 ; SSE41:       # BB#0:
  37 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [64,64]
  38 ; SSE41-NEXT:    psubq %xmm1, %xmm2
  39 ; SSE41-NEXT:    movdqa %xmm0, %xmm3
  40 ; SSE41-NEXT:    psllq %xmm1, %xmm3
  41 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
  42 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
  43 ; SSE41-NEXT:    psllq %xmm1, %xmm4
  44 ; SSE41-NEXT:    pblendw {{.*#+}} xmm4 = xmm3[0,1,2,3],xmm4[4,5,6,7]
  45 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
  46 ; SSE41-NEXT:    psrlq %xmm2, %xmm1
  47 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
  48 ; SSE41-NEXT:    psrlq %xmm2, %xmm0
  49 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
  50 ; SSE41-NEXT:    por %xmm4, %xmm0
  51 ; SSE41-NEXT:    retq
  52 ;
  53 ; AVX1-LABEL: var_rotate_v2i64:
  54 ; AVX1:       # BB#0:
  55 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [64,64]
  56 ; AVX1-NEXT:    vpsubq %xmm1, %xmm2, %xmm2
  57 ; AVX1-NEXT:    vpsllq %xmm1, %xmm0, %xmm3
  58 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
  59 ; AVX1-NEXT:    vpsllq %xmm1, %xmm0, %xmm1
  60 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm3[0,1,2,3],xmm1[4,5,6,7]
  61 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm0, %xmm3
  62 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
  63 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm0, %xmm0
  64 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm3[0,1,2,3],xmm0[4,5,6,7]
  65 ; AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
  66 ; AVX1-NEXT:    retq
  67 ;
  68 ; AVX2-LABEL: var_rotate_v2i64:
  69 ; AVX2:       # BB#0:
  70 ; AVX2-NEXT:    vmovdqa {{.*#+}} xmm2 = [64,64]
  71 ; AVX2-NEXT:    vpsubq %xmm1, %xmm2, %xmm2
  72 ; AVX2-NEXT:    vpsllvq %xmm1, %xmm0, %xmm1
  73 ; AVX2-NEXT:    vpsrlvq %xmm2, %xmm0, %xmm0
  74 ; AVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
  75 ; AVX2-NEXT:    retq
  76 ;
  77 ; XOP-LABEL: var_rotate_v2i64:
  78 ; XOP:       # BB#0:
  79 ; XOP-NEXT:    vprotq %xmm1, %xmm0, %xmm0
  80 ; XOP-NEXT:    retq
  81 ;
  82 ; X32-SSE-LABEL: var_rotate_v2i64:
  83 ; X32-SSE:       # BB#0:
  84 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm2 = [64,0,64,0]
  85 ; X32-SSE-NEXT:    psubq %xmm1, %xmm2
  86 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
  87 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm4
  88 ; X32-SSE-NEXT:    psllq %xmm3, %xmm4
  89 ; X32-SSE-NEXT:    movq {{.*#+}} xmm1 = xmm1[0],zero
  90 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm3
  91 ; X32-SSE-NEXT:    psllq %xmm1, %xmm3
  92 ; X32-SSE-NEXT:    movsd {{.*#+}} xmm4 = xmm3[0],xmm4[1]
  93 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm2[2,3,0,1]
  94 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
  95 ; X32-SSE-NEXT:    psrlq %xmm3, %xmm1
  96 ; X32-SSE-NEXT:    movq {{.*#+}} xmm2 = xmm2[0],zero
  97 ; X32-SSE-NEXT:    psrlq %xmm2, %xmm0
  98 ; X32-SSE-NEXT:    movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
  99 ; X32-SSE-NEXT:    orpd %xmm4, %xmm1
 100 ; X32-SSE-NEXT:    movapd %xmm1, %xmm0
 101 ; X32-SSE-NEXT:    retl
 102   %b64 = sub <2 x i64> <i64 64, i64 64>, %b
 103   %shl = shl <2 x i64> %a, %b
 104   %lshr = lshr <2 x i64> %a, %b64
 105   %or = or <2 x i64> %shl, %lshr
 106   ret <2 x i64> %or
 107 }
 108
 109 define <4 x i32> @var_rotate_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
 110 ; SSE2-LABEL: var_rotate_v4i32:
 111 ; SSE2:       # BB#0:
 112 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [32,32,32,32]
 113 ; SSE2-NEXT:    psubd %xmm1, %xmm2
 114 ; SSE2-NEXT:    pslld $23, %xmm1
 115 ; SSE2-NEXT:    paddd {{.*}}(%rip), %xmm1
 116 ; SSE2-NEXT:    cvttps2dq %xmm1, %xmm1
 117 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 118 ; SSE2-NEXT:    pmuludq %xmm0, %xmm1
 119 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 120 ; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
 121 ; SSE2-NEXT:    pmuludq %xmm3, %xmm4
 122 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
 123 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
 124 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
 125 ; SSE2-NEXT:    psrldq {{.*#+}} xmm3 = xmm3[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
 126 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
 127 ; SSE2-NEXT:    psrld %xmm3, %xmm4
 128 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
 129 ; SSE2-NEXT:    psrlq $32, %xmm3
 130 ; SSE2-NEXT:    movdqa %xmm0, %xmm5
 131 ; SSE2-NEXT:    psrld %xmm3, %xmm5
 132 ; SSE2-NEXT:    movsd {{.*#+}} xmm4 = xmm5[0],xmm4[1]
 133 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,3,2,3]
 134 ; SSE2-NEXT:    pxor %xmm4, %xmm4
 135 ; SSE2-NEXT:    movdqa %xmm2, %xmm5
 136 ; SSE2-NEXT:    punpckhdq {{.*#+}} xmm5 = xmm5[2],xmm4[2],xmm5[3],xmm4[3]
 137 ; SSE2-NEXT:    movdqa %xmm0, %xmm6
 138 ; SSE2-NEXT:    psrld %xmm5, %xmm6
 139 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
 140 ; SSE2-NEXT:    psrld %xmm2, %xmm0
 141 ; SSE2-NEXT:    movsd {{.*#+}} xmm6 = xmm0[0],xmm6[1]
 142 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm6[0,2,2,3]
 143 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
 144 ; SSE2-NEXT:    por %xmm1, %xmm0
 145 ; SSE2-NEXT:    retq
 146 ;
 147 ; SSE41-LABEL: var_rotate_v4i32:
 148 ; SSE41:       # BB#0:
 149 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [32,32,32,32]
 150 ; SSE41-NEXT:    psubd %xmm1, %xmm2
 151 ; SSE41-NEXT:    pslld $23, %xmm1
 152 ; SSE41-NEXT:    paddd {{.*}}(%rip), %xmm1
 153 ; SSE41-NEXT:    cvttps2dq %xmm1, %xmm1
 154 ; SSE41-NEXT:    pmulld %xmm0, %xmm1
 155 ; SSE41-NEXT:    movdqa %xmm2, %xmm3
 156 ; SSE41-NEXT:    psrldq {{.*#+}} xmm3 = xmm3[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
 157 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 158 ; SSE41-NEXT:    psrld %xmm3, %xmm4
 159 ; SSE41-NEXT:    movdqa %xmm2, %xmm3
 160 ; SSE41-NEXT:    psrlq $32, %xmm3
 161 ; SSE41-NEXT:    movdqa %xmm0, %xmm5
 162 ; SSE41-NEXT:    psrld %xmm3, %xmm5
 163 ; SSE41-NEXT:    pblendw {{.*#+}} xmm5 = xmm5[0,1,2,3],xmm4[4,5,6,7]
 164 ; SSE41-NEXT:    pxor %xmm3, %xmm3
 165 ; SSE41-NEXT:    pmovzxdq {{.*#+}} xmm4 = xmm2[0],zero,xmm2[1],zero
 166 ; SSE41-NEXT:    punpckhdq {{.*#+}} xmm2 = xmm2[2],xmm3[2],xmm2[3],xmm3[3]
 167 ; SSE41-NEXT:    movdqa %xmm0, %xmm3
 168 ; SSE41-NEXT:    psrld %xmm2, %xmm3
 169 ; SSE41-NEXT:    psrld %xmm4, %xmm0
 170 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm3[4,5,6,7]
 171 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm5[2,3],xmm0[4,5],xmm5[6,7]
 172 ; SSE41-NEXT:    por %xmm1, %xmm0
 173 ; SSE41-NEXT:    retq
 174 ;
 175 ; AVX1-LABEL: var_rotate_v4i32:
 176 ; AVX1:       # BB#0:
 177 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [32,32,32,32]
 178 ; AVX1-NEXT:    vpsubd %xmm1, %xmm2, %xmm2
 179 ; AVX1-NEXT:    vpslld $23, %xmm1, %xmm1
 180 ; AVX1-NEXT:    vpaddd {{.*}}(%rip), %xmm1, %xmm1
 181 ; AVX1-NEXT:    vcvttps2dq %xmm1, %xmm1
 182 ; AVX1-NEXT:    vpmulld %xmm0, %xmm1, %xmm1
 183 ; AVX1-NEXT:    vpsrldq {{.*#+}} xmm3 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
 184 ; AVX1-NEXT:    vpsrld %xmm3, %xmm0, %xmm3
 185 ; AVX1-NEXT:    vpsrlq $32, %xmm2, %xmm4
 186 ; AVX1-NEXT:    vpsrld %xmm4, %xmm0, %xmm4
 187 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm4[0,1,2,3],xmm3[4,5,6,7]
 188 ; AVX1-NEXT:    vpxor %xmm4, %xmm4, %xmm4
 189 ; AVX1-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm2[2],xmm4[2],xmm2[3],xmm4[3]
 190 ; AVX1-NEXT:    vpsrld %xmm4, %xmm0, %xmm4
 191 ; AVX1-NEXT:    vpmovzxdq {{.*#+}} xmm2 = xmm2[0],zero,xmm2[1],zero
 192 ; AVX1-NEXT:    vpsrld %xmm2, %xmm0, %xmm0
 193 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm4[4,5,6,7]
 194 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,3],xmm0[4,5],xmm3[6,7]
 195 ; AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
 196 ; AVX1-NEXT:    retq
 197 ;
 198 ; AVX2-LABEL: var_rotate_v4i32:
 199 ; AVX2:       # BB#0:
 200 ; AVX2-NEXT:    vpbroadcastd {{.*}}(%rip), %xmm2
 201 ; AVX2-NEXT:    vpsubd %xmm1, %xmm2, %xmm2
 202 ; AVX2-NEXT:    vpsllvd %xmm1, %xmm0, %xmm1
 203 ; AVX2-NEXT:    vpsrlvd %xmm2, %xmm0, %xmm0
 204 ; AVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
 205 ; AVX2-NEXT:    retq
 206 ;
 207 ; XOP-LABEL: var_rotate_v4i32:
 208 ; XOP:       # BB#0:
 209 ; XOP-NEXT:    vprotd %xmm1, %xmm0, %xmm0
 210 ; XOP-NEXT:    retq
 211 ;
 212 ; X32-SSE-LABEL: var_rotate_v4i32:
 213 ; X32-SSE:       # BB#0:
 214 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm2 = [32,32,32,32]
 215 ; X32-SSE-NEXT:    psubd %xmm1, %xmm2
 216 ; X32-SSE-NEXT:    pslld $23, %xmm1
 217 ; X32-SSE-NEXT:    paddd .LCPI1_1, %xmm1
 218 ; X32-SSE-NEXT:    cvttps2dq %xmm1, %xmm1
 219 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,3,3]
 220 ; X32-SSE-NEXT:    pmuludq %xmm0, %xmm1
 221 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 222 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,3,3]
 223 ; X32-SSE-NEXT:    pmuludq %xmm3, %xmm4
 224 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
 225 ; X32-SSE-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
 226 ; X32-SSE-NEXT:    movdqa %xmm2, %xmm3
 227 ; X32-SSE-NEXT:    psrldq {{.*#+}} xmm3 = xmm3[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
 228 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm4
 229 ; X32-SSE-NEXT:    psrld %xmm3, %xmm4
 230 ; X32-SSE-NEXT:    movdqa %xmm2, %xmm3
 231 ; X32-SSE-NEXT:    psrlq $32, %xmm3
 232 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm5
 233 ; X32-SSE-NEXT:    psrld %xmm3, %xmm5
 234 ; X32-SSE-NEXT:    movsd {{.*#+}} xmm4 = xmm5[0],xmm4[1]
 235 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[1,3,2,3]
 236 ; X32-SSE-NEXT:    pxor %xmm4, %xmm4
 237 ; X32-SSE-NEXT:    movdqa %xmm2, %xmm5
 238 ; X32-SSE-NEXT:    punpckhdq {{.*#+}} xmm5 = xmm5[2],xmm4[2],xmm5[3],xmm4[3]
 239 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm6
 240 ; X32-SSE-NEXT:    psrld %xmm5, %xmm6
 241 ; X32-SSE-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
 242 ; X32-SSE-NEXT:    psrld %xmm2, %xmm0
 243 ; X32-SSE-NEXT:    movsd {{.*#+}} xmm6 = xmm0[0],xmm6[1]
 244 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm6[0,2,2,3]
 245 ; X32-SSE-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
 246 ; X32-SSE-NEXT:    por %xmm1, %xmm0
 247 ; X32-SSE-NEXT:    retl
 248   %b32 = sub <4 x i32> <i32 32, i32 32, i32 32, i32 32>, %b
 249   %shl = shl <4 x i32> %a, %b
 250   %lshr = lshr <4 x i32> %a, %b32
 251   %or = or <4 x i32> %shl, %lshr
 252   ret <4 x i32> %or
 253 }
 254
 255 define <8 x i16> @var_rotate_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
 256 ; SSE2-LABEL: var_rotate_v8i16:
 257 ; SSE2:       # BB#0:
 258 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
 259 ; SSE2-NEXT:    psubw %xmm1, %xmm2
 260 ; SSE2-NEXT:    psllw $12, %xmm1
 261 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 262 ; SSE2-NEXT:    psraw $15, %xmm3
 263 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
 264 ; SSE2-NEXT:    psllw $8, %xmm4
 265 ; SSE2-NEXT:    pand %xmm3, %xmm4
 266 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 267 ; SSE2-NEXT:    por %xmm4, %xmm3
 268 ; SSE2-NEXT:    paddw %xmm1, %xmm1
 269 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 270 ; SSE2-NEXT:    psraw $15, %xmm4
 271 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
 272 ; SSE2-NEXT:    pandn %xmm3, %xmm5
 273 ; SSE2-NEXT:    psllw $4, %xmm3
 274 ; SSE2-NEXT:    pand %xmm4, %xmm3
 275 ; SSE2-NEXT:    por %xmm5, %xmm3
 276 ; SSE2-NEXT:    paddw %xmm1, %xmm1
 277 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 278 ; SSE2-NEXT:    psraw $15, %xmm4
 279 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
 280 ; SSE2-NEXT:    pandn %xmm3, %xmm5
 281 ; SSE2-NEXT:    psllw $2, %xmm3
 282 ; SSE2-NEXT:    pand %xmm4, %xmm3
 283 ; SSE2-NEXT:    por %xmm5, %xmm3
 284 ; SSE2-NEXT:    paddw %xmm1, %xmm1
 285 ; SSE2-NEXT:    psraw $15, %xmm1
 286 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 287 ; SSE2-NEXT:    pandn %xmm3, %xmm4
 288 ; SSE2-NEXT:    psllw $1, %xmm3
 289 ; SSE2-NEXT:    pand %xmm1, %xmm3
 290 ; SSE2-NEXT:    por %xmm4, %xmm3
 291 ; SSE2-NEXT:    psllw $12, %xmm2
 292 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 293 ; SSE2-NEXT:    psraw $15, %xmm1
 294 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 295 ; SSE2-NEXT:    pandn %xmm0, %xmm4
 296 ; SSE2-NEXT:    psrlw $8, %xmm0
 297 ; SSE2-NEXT:    pand %xmm1, %xmm0
 298 ; SSE2-NEXT:    por %xmm4, %xmm0
 299 ; SSE2-NEXT:    paddw %xmm2, %xmm2
 300 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 301 ; SSE2-NEXT:    psraw $15, %xmm1
 302 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 303 ; SSE2-NEXT:    pandn %xmm0, %xmm4
 304 ; SSE2-NEXT:    psrlw $4, %xmm0
 305 ; SSE2-NEXT:    pand %xmm1, %xmm0
 306 ; SSE2-NEXT:    por %xmm4, %xmm0
 307 ; SSE2-NEXT:    paddw %xmm2, %xmm2
 308 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 309 ; SSE2-NEXT:    psraw $15, %xmm1
 310 ; SSE2-NEXT:    movdqa %xmm1, %xmm4
 311 ; SSE2-NEXT:    pandn %xmm0, %xmm4
 312 ; SSE2-NEXT:    psrlw $2, %xmm0
 313 ; SSE2-NEXT:    pand %xmm1, %xmm0
 314 ; SSE2-NEXT:    por %xmm4, %xmm0
 315 ; SSE2-NEXT:    paddw %xmm2, %xmm2
 316 ; SSE2-NEXT:    psraw $15, %xmm2
 317 ; SSE2-NEXT:    movdqa %xmm2, %xmm1
 318 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 319 ; SSE2-NEXT:    psrlw $1, %xmm0
 320 ; SSE2-NEXT:    pand %xmm2, %xmm0
 321 ; SSE2-NEXT:    por %xmm1, %xmm0
 322 ; SSE2-NEXT:    por %xmm3, %xmm0
 323 ; SSE2-NEXT:    retq
 324 ;
 325 ; SSE41-LABEL: var_rotate_v8i16:
 326 ; SSE41:       # BB#0:
 327 ; SSE41-NEXT:    movdqa %xmm0, %xmm3
 328 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
 329 ; SSE41-NEXT:    psubw %xmm1, %xmm2
 330 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 331 ; SSE41-NEXT:    psllw $12, %xmm0
 332 ; SSE41-NEXT:    psllw $4, %xmm1
 333 ; SSE41-NEXT:    por %xmm0, %xmm1
 334 ; SSE41-NEXT:    movdqa %xmm1, %xmm4
 335 ; SSE41-NEXT:    paddw %xmm4, %xmm4
 336 ; SSE41-NEXT:    movdqa %xmm3, %xmm6
 337 ; SSE41-NEXT:    psllw $8, %xmm6
 338 ; SSE41-NEXT:    movdqa %xmm3, %xmm5
 339 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 340 ; SSE41-NEXT:    pblendvb %xmm6, %xmm5
 341 ; SSE41-NEXT:    movdqa %xmm5, %xmm1
 342 ; SSE41-NEXT:    psllw $4, %xmm1
 343 ; SSE41-NEXT:    movdqa %xmm4, %xmm0
 344 ; SSE41-NEXT:    pblendvb %xmm1, %xmm5
 345 ; SSE41-NEXT:    movdqa %xmm5, %xmm1
 346 ; SSE41-NEXT:    psllw $2, %xmm1
 347 ; SSE41-NEXT:    paddw %xmm4, %xmm4
 348 ; SSE41-NEXT:    movdqa %xmm4, %xmm0
 349 ; SSE41-NEXT:    pblendvb %xmm1, %xmm5
 350 ; SSE41-NEXT:    movdqa %xmm5, %xmm1
 351 ; SSE41-NEXT:    psllw $1, %xmm1
 352 ; SSE41-NEXT:    paddw %xmm4, %xmm4
 353 ; SSE41-NEXT:    movdqa %xmm4, %xmm0
 354 ; SSE41-NEXT:    pblendvb %xmm1, %xmm5
 355 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 356 ; SSE41-NEXT:    psllw $12, %xmm0
 357 ; SSE41-NEXT:    psllw $4, %xmm2
 358 ; SSE41-NEXT:    por %xmm0, %xmm2
 359 ; SSE41-NEXT:    movdqa %xmm2, %xmm1
 360 ; SSE41-NEXT:    paddw %xmm1, %xmm1
 361 ; SSE41-NEXT:    movdqa %xmm3, %xmm4
 362 ; SSE41-NEXT:    psrlw $8, %xmm4
 363 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 364 ; SSE41-NEXT:    pblendvb %xmm4, %xmm3
 365 ; SSE41-NEXT:    movdqa %xmm3, %xmm2
 366 ; SSE41-NEXT:    psrlw $4, %xmm2
 367 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 368 ; SSE41-NEXT:    pblendvb %xmm2, %xmm3
 369 ; SSE41-NEXT:    movdqa %xmm3, %xmm2
 370 ; SSE41-NEXT:    psrlw $2, %xmm2
 371 ; SSE41-NEXT:    paddw %xmm1, %xmm1
 372 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 373 ; SSE41-NEXT:    pblendvb %xmm2, %xmm3
 374 ; SSE41-NEXT:    movdqa %xmm3, %xmm2
 375 ; SSE41-NEXT:    psrlw $1, %xmm2
 376 ; SSE41-NEXT:    paddw %xmm1, %xmm1
 377 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 378 ; SSE41-NEXT:    pblendvb %xmm2, %xmm3
 379 ; SSE41-NEXT:    por %xmm5, %xmm3
 380 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 381 ; SSE41-NEXT:    retq
 382 ;
 383 ; AVX1-LABEL: var_rotate_v8i16:
 384 ; AVX1:       # BB#0:
 385 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
 386 ; AVX1-NEXT:    vpsubw %xmm1, %xmm2, %xmm2
 387 ; AVX1-NEXT:    vpsllw $12, %xmm1, %xmm3
 388 ; AVX1-NEXT:    vpsllw $4, %xmm1, %xmm1
 389 ; AVX1-NEXT:    vpor %xmm3, %xmm1, %xmm1
 390 ; AVX1-NEXT:    vpaddw %xmm1, %xmm1, %xmm3
 391 ; AVX1-NEXT:    vpsllw $8, %xmm0, %xmm4
 392 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm4, %xmm0, %xmm1
 393 ; AVX1-NEXT:    vpsllw $4, %xmm1, %xmm4
 394 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm4, %xmm1, %xmm1
 395 ; AVX1-NEXT:    vpsllw $2, %xmm1, %xmm4
 396 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 397 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm4, %xmm1, %xmm1
 398 ; AVX1-NEXT:    vpsllw $1, %xmm1, %xmm4
 399 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 400 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm4, %xmm1, %xmm1
 401 ; AVX1-NEXT:    vpsllw $12, %xmm2, %xmm3
 402 ; AVX1-NEXT:    vpsllw $4, %xmm2, %xmm2
 403 ; AVX1-NEXT:    vpor %xmm3, %xmm2, %xmm2
 404 ; AVX1-NEXT:    vpaddw %xmm2, %xmm2, %xmm3
 405 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm4
 406 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm4, %xmm0, %xmm0
 407 ; AVX1-NEXT:    vpsrlw $4, %xmm0, %xmm2
 408 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 409 ; AVX1-NEXT:    vpsrlw $2, %xmm0, %xmm2
 410 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 411 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 412 ; AVX1-NEXT:    vpsrlw $1, %xmm0, %xmm2
 413 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 414 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 415 ; AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
 416 ; AVX1-NEXT:    retq
 417 ;
 418 ; AVX2-LABEL: var_rotate_v8i16:
 419 ; AVX2:       # BB#0:
 420 ; AVX2-NEXT:    vmovdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
 421 ; AVX2-NEXT:    vpsubw %xmm1, %xmm2, %xmm2
 422 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
 423 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
 424 ; AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm1
 425 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm3 = [0,1,4,5,8,9,12,13,128,128,128,128,128,128,128,128,0,1,4,5,8,9,12,13,128,128,128,128,128,128,128,128]
 426 ; AVX2-NEXT:    vpshufb %ymm3, %ymm1, %ymm1
 427 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,2,2,3]
 428 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero
 429 ; AVX2-NEXT:    vpsrlvd %ymm2, %ymm0, %ymm0
 430 ; AVX2-NEXT:    vpshufb %ymm3, %ymm0, %ymm0
 431 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
 432 ; AVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
 433 ; AVX2-NEXT:    vzeroupper
 434 ; AVX2-NEXT:    retq
 435 ;
 436 ; XOP-LABEL: var_rotate_v8i16:
 437 ; XOP:       # BB#0:
 438 ; XOP-NEXT:    vprotw %xmm1, %xmm0, %xmm0
 439 ; XOP-NEXT:    retq
 440 ;
 441 ; X32-SSE-LABEL: var_rotate_v8i16:
 442 ; X32-SSE:       # BB#0:
 443 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
 444 ; X32-SSE-NEXT:    psubw %xmm1, %xmm2
 445 ; X32-SSE-NEXT:    psllw $12, %xmm1
 446 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm3
 447 ; X32-SSE-NEXT:    psraw $15, %xmm3
 448 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm4
 449 ; X32-SSE-NEXT:    psllw $8, %xmm4
 450 ; X32-SSE-NEXT:    pand %xmm3, %xmm4
 451 ; X32-SSE-NEXT:    pandn %xmm0, %xmm3
 452 ; X32-SSE-NEXT:    por %xmm4, %xmm3
 453 ; X32-SSE-NEXT:    paddw %xmm1, %xmm1
 454 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm4
 455 ; X32-SSE-NEXT:    psraw $15, %xmm4
 456 ; X32-SSE-NEXT:    movdqa %xmm4, %xmm5
 457 ; X32-SSE-NEXT:    pandn %xmm3, %xmm5
 458 ; X32-SSE-NEXT:    psllw $4, %xmm3
 459 ; X32-SSE-NEXT:    pand %xmm4, %xmm3
 460 ; X32-SSE-NEXT:    por %xmm5, %xmm3
 461 ; X32-SSE-NEXT:    paddw %xmm1, %xmm1
 462 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm4
 463 ; X32-SSE-NEXT:    psraw $15, %xmm4
 464 ; X32-SSE-NEXT:    movdqa %xmm4, %xmm5
 465 ; X32-SSE-NEXT:    pandn %xmm3, %xmm5
 466 ; X32-SSE-NEXT:    psllw $2, %xmm3
 467 ; X32-SSE-NEXT:    pand %xmm4, %xmm3
 468 ; X32-SSE-NEXT:    por %xmm5, %xmm3
 469 ; X32-SSE-NEXT:    paddw %xmm1, %xmm1
 470 ; X32-SSE-NEXT:    psraw $15, %xmm1
 471 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm4
 472 ; X32-SSE-NEXT:    pandn %xmm3, %xmm4
 473 ; X32-SSE-NEXT:    psllw $1, %xmm3
 474 ; X32-SSE-NEXT:    pand %xmm1, %xmm3
 475 ; X32-SSE-NEXT:    por %xmm4, %xmm3
 476 ; X32-SSE-NEXT:    psllw $12, %xmm2
 477 ; X32-SSE-NEXT:    movdqa %xmm2, %xmm1
 478 ; X32-SSE-NEXT:    psraw $15, %xmm1
 479 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm4
 480 ; X32-SSE-NEXT:    pandn %xmm0, %xmm4
 481 ; X32-SSE-NEXT:    psrlw $8, %xmm0
 482 ; X32-SSE-NEXT:    pand %xmm1, %xmm0
 483 ; X32-SSE-NEXT:    por %xmm4, %xmm0
 484 ; X32-SSE-NEXT:    paddw %xmm2, %xmm2
 485 ; X32-SSE-NEXT:    movdqa %xmm2, %xmm1
 486 ; X32-SSE-NEXT:    psraw $15, %xmm1
 487 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm4
 488 ; X32-SSE-NEXT:    pandn %xmm0, %xmm4
 489 ; X32-SSE-NEXT:    psrlw $4, %xmm0
 490 ; X32-SSE-NEXT:    pand %xmm1, %xmm0
 491 ; X32-SSE-NEXT:    por %xmm4, %xmm0
 492 ; X32-SSE-NEXT:    paddw %xmm2, %xmm2
 493 ; X32-SSE-NEXT:    movdqa %xmm2, %xmm1
 494 ; X32-SSE-NEXT:    psraw $15, %xmm1
 495 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm4
 496 ; X32-SSE-NEXT:    pandn %xmm0, %xmm4
 497 ; X32-SSE-NEXT:    psrlw $2, %xmm0
 498 ; X32-SSE-NEXT:    pand %xmm1, %xmm0
 499 ; X32-SSE-NEXT:    por %xmm4, %xmm0
 500 ; X32-SSE-NEXT:    paddw %xmm2, %xmm2
 501 ; X32-SSE-NEXT:    psraw $15, %xmm2
 502 ; X32-SSE-NEXT:    movdqa %xmm2, %xmm1
 503 ; X32-SSE-NEXT:    pandn %xmm0, %xmm1
 504 ; X32-SSE-NEXT:    psrlw $1, %xmm0
 505 ; X32-SSE-NEXT:    pand %xmm2, %xmm0
 506 ; X32-SSE-NEXT:    por %xmm1, %xmm0
 507 ; X32-SSE-NEXT:    por %xmm3, %xmm0
 508 ; X32-SSE-NEXT:    retl
 509   %b16 = sub <8 x i16> <i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16>, %b
 510   %shl = shl <8 x i16> %a, %b
 511   %lshr = lshr <8 x i16> %a, %b16
 512   %or = or <8 x i16> %shl, %lshr
 513   ret <8 x i16> %or
 514 }
 515
 516 define <16 x i8> @var_rotate_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
 517 ; SSE2-LABEL: var_rotate_v16i8:
 518 ; SSE2:       # BB#0:
 519 ; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
 520 ; SSE2-NEXT:    psubb %xmm1, %xmm4
 521 ; SSE2-NEXT:    psllw $5, %xmm1
 522 ; SSE2-NEXT:    pxor %xmm3, %xmm3
 523 ; SSE2-NEXT:    pxor %xmm2, %xmm2
 524 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm2
 525 ; SSE2-NEXT:    movdqa %xmm0, %xmm5
 526 ; SSE2-NEXT:    psllw $4, %xmm5
 527 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm5
 528 ; SSE2-NEXT:    pand %xmm2, %xmm5
 529 ; SSE2-NEXT:    pandn %xmm0, %xmm2
 530 ; SSE2-NEXT:    por %xmm5, %xmm2
 531 ; SSE2-NEXT:    paddb %xmm1, %xmm1
 532 ; SSE2-NEXT:    pxor %xmm5, %xmm5
 533 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm5
 534 ; SSE2-NEXT:    movdqa %xmm5, %xmm6
 535 ; SSE2-NEXT:    pandn %xmm2, %xmm6
 536 ; SSE2-NEXT:    psllw $2, %xmm2
 537 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm2
 538 ; SSE2-NEXT:    pand %xmm5, %xmm2
 539 ; SSE2-NEXT:    por %xmm6, %xmm2
 540 ; SSE2-NEXT:    paddb %xmm1, %xmm1
 541 ; SSE2-NEXT:    pxor %xmm5, %xmm5
 542 ; SSE2-NEXT:    pcmpgtb %xmm1, %xmm5
 543 ; SSE2-NEXT:    movdqa %xmm5, %xmm1
 544 ; SSE2-NEXT:    pandn %xmm2, %xmm1
 545 ; SSE2-NEXT:    paddb %xmm2, %xmm2
 546 ; SSE2-NEXT:    pand %xmm5, %xmm2
 547 ; SSE2-NEXT:    por %xmm1, %xmm2
 548 ; SSE2-NEXT:    psllw $5, %xmm4
 549 ; SSE2-NEXT:    pxor %xmm1, %xmm1
 550 ; SSE2-NEXT:    pcmpgtb %xmm4, %xmm1
 551 ; SSE2-NEXT:    movdqa %xmm1, %xmm5
 552 ; SSE2-NEXT:    pandn %xmm0, %xmm5
 553 ; SSE2-NEXT:    psrlw $4, %xmm0
 554 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
 555 ; SSE2-NEXT:    pand %xmm1, %xmm0
 556 ; SSE2-NEXT:    por %xmm5, %xmm0
 557 ; SSE2-NEXT:    paddb %xmm4, %xmm4
 558 ; SSE2-NEXT:    pxor %xmm1, %xmm1
 559 ; SSE2-NEXT:    pcmpgtb %xmm4, %xmm1
 560 ; SSE2-NEXT:    movdqa %xmm1, %xmm5
 561 ; SSE2-NEXT:    pandn %xmm0, %xmm5
 562 ; SSE2-NEXT:    psrlw $2, %xmm0
 563 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
 564 ; SSE2-NEXT:    pand %xmm1, %xmm0
 565 ; SSE2-NEXT:    por %xmm5, %xmm0
 566 ; SSE2-NEXT:    paddb %xmm4, %xmm4
 567 ; SSE2-NEXT:    pcmpgtb %xmm4, %xmm3
 568 ; SSE2-NEXT:    movdqa %xmm3, %xmm1
 569 ; SSE2-NEXT:    pandn %xmm0, %xmm1
 570 ; SSE2-NEXT:    psrlw $1, %xmm0
 571 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
 572 ; SSE2-NEXT:    pand %xmm3, %xmm0
 573 ; SSE2-NEXT:    por %xmm1, %xmm0
 574 ; SSE2-NEXT:    por %xmm2, %xmm0
 575 ; SSE2-NEXT:    retq
 576 ;
 577 ; SSE41-LABEL: var_rotate_v16i8:
 578 ; SSE41:       # BB#0:
 579 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 580 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 581 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
 582 ; SSE41-NEXT:    psubb %xmm3, %xmm2
 583 ; SSE41-NEXT:    psllw $5, %xmm3
 584 ; SSE41-NEXT:    movdqa %xmm1, %xmm5
 585 ; SSE41-NEXT:    psllw $4, %xmm5
 586 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm5
 587 ; SSE41-NEXT:    movdqa %xmm1, %xmm4
 588 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 589 ; SSE41-NEXT:    pblendvb %xmm5, %xmm4
 590 ; SSE41-NEXT:    movdqa %xmm4, %xmm5
 591 ; SSE41-NEXT:    psllw $2, %xmm5
 592 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm5
 593 ; SSE41-NEXT:    paddb %xmm3, %xmm3
 594 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 595 ; SSE41-NEXT:    pblendvb %xmm5, %xmm4
 596 ; SSE41-NEXT:    movdqa %xmm4, %xmm5
 597 ; SSE41-NEXT:    paddb %xmm5, %xmm5
 598 ; SSE41-NEXT:    paddb %xmm3, %xmm3
 599 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 600 ; SSE41-NEXT:    pblendvb %xmm5, %xmm4
 601 ; SSE41-NEXT:    psllw $5, %xmm2
 602 ; SSE41-NEXT:    movdqa %xmm2, %xmm3
 603 ; SSE41-NEXT:    paddb %xmm3, %xmm3
 604 ; SSE41-NEXT:    movdqa %xmm1, %xmm5
 605 ; SSE41-NEXT:    psrlw $4, %xmm5
 606 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm5
 607 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 608 ; SSE41-NEXT:    pblendvb %xmm5, %xmm1
 609 ; SSE41-NEXT:    movdqa %xmm1, %xmm2
 610 ; SSE41-NEXT:    psrlw $2, %xmm2
 611 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm2
 612 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 613 ; SSE41-NEXT:    pblendvb %xmm2, %xmm1
 614 ; SSE41-NEXT:    movdqa %xmm1, %xmm2
 615 ; SSE41-NEXT:    psrlw $1, %xmm2
 616 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm2
 617 ; SSE41-NEXT:    paddb %xmm3, %xmm3
 618 ; SSE41-NEXT:    movdqa %xmm3, %xmm0
 619 ; SSE41-NEXT:    pblendvb %xmm2, %xmm1
 620 ; SSE41-NEXT:    por %xmm4, %xmm1
 621 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 622 ; SSE41-NEXT:    retq
 623 ;
 624 ; AVX-LABEL: var_rotate_v16i8:
 625 ; AVX:       # BB#0:
 626 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
 627 ; AVX-NEXT:    vpsubb %xmm1, %xmm2, %xmm2
 628 ; AVX-NEXT:    vpsllw $5, %xmm1, %xmm1
 629 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm3
 630 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm3, %xmm3
 631 ; AVX-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm3
 632 ; AVX-NEXT:    vpsllw $2, %xmm3, %xmm4
 633 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm4, %xmm4
 634 ; AVX-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
 635 ; AVX-NEXT:    vpblendvb %xmm1, %xmm4, %xmm3, %xmm3
 636 ; AVX-NEXT:    vpaddb %xmm3, %xmm3, %xmm4
 637 ; AVX-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
 638 ; AVX-NEXT:    vpblendvb %xmm1, %xmm4, %xmm3, %xmm1
 639 ; AVX-NEXT:    vpsllw $5, %xmm2, %xmm2
 640 ; AVX-NEXT:    vpaddb %xmm2, %xmm2, %xmm3
 641 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm4
 642 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm4, %xmm4
 643 ; AVX-NEXT:    vpblendvb %xmm2, %xmm4, %xmm0, %xmm0
 644 ; AVX-NEXT:    vpsrlw $2, %xmm0, %xmm2
 645 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
 646 ; AVX-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 647 ; AVX-NEXT:    vpsrlw $1, %xmm0, %xmm2
 648 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
 649 ; AVX-NEXT:    vpaddb %xmm3, %xmm3, %xmm3
 650 ; AVX-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 651 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
 652 ; AVX-NEXT:    retq
 653 ;
 654 ; XOP-LABEL: var_rotate_v16i8:
 655 ; XOP:       # BB#0:
 656 ; XOP-NEXT:    vprotb %xmm1, %xmm0, %xmm0
 657 ; XOP-NEXT:    retq
 658 ;
 659 ; X32-SSE-LABEL: var_rotate_v16i8:
 660 ; X32-SSE:       # BB#0:
 661 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm4 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
 662 ; X32-SSE-NEXT:    psubb %xmm1, %xmm4
 663 ; X32-SSE-NEXT:    psllw $5, %xmm1
 664 ; X32-SSE-NEXT:    pxor %xmm3, %xmm3
 665 ; X32-SSE-NEXT:    pxor %xmm2, %xmm2
 666 ; X32-SSE-NEXT:    pcmpgtb %xmm1, %xmm2
 667 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm5
 668 ; X32-SSE-NEXT:    psllw $4, %xmm5
 669 ; X32-SSE-NEXT:    pand .LCPI3_1, %xmm5
 670 ; X32-SSE-NEXT:    pand %xmm2, %xmm5
 671 ; X32-SSE-NEXT:    pandn %xmm0, %xmm2
 672 ; X32-SSE-NEXT:    por %xmm5, %xmm2
 673 ; X32-SSE-NEXT:    paddb %xmm1, %xmm1
 674 ; X32-SSE-NEXT:    pxor %xmm5, %xmm5
 675 ; X32-SSE-NEXT:    pcmpgtb %xmm1, %xmm5
 676 ; X32-SSE-NEXT:    movdqa %xmm5, %xmm6
 677 ; X32-SSE-NEXT:    pandn %xmm2, %xmm6
 678 ; X32-SSE-NEXT:    psllw $2, %xmm2
 679 ; X32-SSE-NEXT:    pand .LCPI3_2, %xmm2
 680 ; X32-SSE-NEXT:    pand %xmm5, %xmm2
 681 ; X32-SSE-NEXT:    por %xmm6, %xmm2
 682 ; X32-SSE-NEXT:    paddb %xmm1, %xmm1
 683 ; X32-SSE-NEXT:    pxor %xmm5, %xmm5
 684 ; X32-SSE-NEXT:    pcmpgtb %xmm1, %xmm5
 685 ; X32-SSE-NEXT:    movdqa %xmm5, %xmm1
 686 ; X32-SSE-NEXT:    pandn %xmm2, %xmm1
 687 ; X32-SSE-NEXT:    paddb %xmm2, %xmm2
 688 ; X32-SSE-NEXT:    pand %xmm5, %xmm2
 689 ; X32-SSE-NEXT:    por %xmm1, %xmm2
 690 ; X32-SSE-NEXT:    psllw $5, %xmm4
 691 ; X32-SSE-NEXT:    pxor %xmm1, %xmm1
 692 ; X32-SSE-NEXT:    pcmpgtb %xmm4, %xmm1
 693 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm5
 694 ; X32-SSE-NEXT:    pandn %xmm0, %xmm5
 695 ; X32-SSE-NEXT:    psrlw $4, %xmm0
 696 ; X32-SSE-NEXT:    pand .LCPI3_3, %xmm0
 697 ; X32-SSE-NEXT:    pand %xmm1, %xmm0
 698 ; X32-SSE-NEXT:    por %xmm5, %xmm0
 699 ; X32-SSE-NEXT:    paddb %xmm4, %xmm4
 700 ; X32-SSE-NEXT:    pxor %xmm1, %xmm1
 701 ; X32-SSE-NEXT:    pcmpgtb %xmm4, %xmm1
 702 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm5
 703 ; X32-SSE-NEXT:    pandn %xmm0, %xmm5
 704 ; X32-SSE-NEXT:    psrlw $2, %xmm0
 705 ; X32-SSE-NEXT:    pand .LCPI3_4, %xmm0
 706 ; X32-SSE-NEXT:    pand %xmm1, %xmm0
 707 ; X32-SSE-NEXT:    por %xmm5, %xmm0
 708 ; X32-SSE-NEXT:    paddb %xmm4, %xmm4
 709 ; X32-SSE-NEXT:    pcmpgtb %xmm4, %xmm3
 710 ; X32-SSE-NEXT:    movdqa %xmm3, %xmm1
 711 ; X32-SSE-NEXT:    pandn %xmm0, %xmm1
 712 ; X32-SSE-NEXT:    psrlw $1, %xmm0
 713 ; X32-SSE-NEXT:    pand .LCPI3_5, %xmm0
 714 ; X32-SSE-NEXT:    pand %xmm3, %xmm0
 715 ; X32-SSE-NEXT:    por %xmm1, %xmm0
 716 ; X32-SSE-NEXT:    por %xmm2, %xmm0
 717 ; X32-SSE-NEXT:    retl
 718   %b8 = sub <16 x i8> <i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8>, %b
 719   %shl = shl <16 x i8> %a, %b
 720   %lshr = lshr <16 x i8> %a, %b8
 721   %or = or <16 x i8> %shl, %lshr
 722   ret <16 x i8> %or
 723 }
 724
 725 ;
 726 ; Constant Rotates
 727 ;
 728
 729 define <2 x i64> @constant_rotate_v2i64(<2 x i64> %a) nounwind {
 730 ; SSE2-LABEL: constant_rotate_v2i64:
 731 ; SSE2:       # BB#0:
 732 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 733 ; SSE2-NEXT:    psllq $14, %xmm2
 734 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 735 ; SSE2-NEXT:    psllq $4, %xmm1
 736 ; SSE2-NEXT:    movsd {{.*#+}} xmm2 = xmm1[0],xmm2[1]
 737 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 738 ; SSE2-NEXT:    psrlq $50, %xmm1
 739 ; SSE2-NEXT:    psrlq $60, %xmm0
 740 ; SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
 741 ; SSE2-NEXT:    orpd %xmm2, %xmm1
 742 ; SSE2-NEXT:    movapd %xmm1, %xmm0
 743 ; SSE2-NEXT:    retq
 744 ;
 745 ; SSE41-LABEL: constant_rotate_v2i64:
 746 ; SSE41:       # BB#0:
 747 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 748 ; SSE41-NEXT:    psllq $14, %xmm1
 749 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 750 ; SSE41-NEXT:    psllq $4, %xmm2
 751 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 752 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 753 ; SSE41-NEXT:    psrlq $50, %xmm1
 754 ; SSE41-NEXT:    psrlq $60, %xmm0
 755 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
 756 ; SSE41-NEXT:    por %xmm2, %xmm0
 757 ; SSE41-NEXT:    retq
 758 ;
 759 ; AVX1-LABEL: constant_rotate_v2i64:
 760 ; AVX1:       # BB#0:
 761 ; AVX1-NEXT:    vpsllq $14, %xmm0, %xmm1
 762 ; AVX1-NEXT:    vpsllq $4, %xmm0, %xmm2
 763 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 764 ; AVX1-NEXT:    vpsrlq $50, %xmm0, %xmm2
 765 ; AVX1-NEXT:    vpsrlq $60, %xmm0, %xmm0
 766 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
 767 ; AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
 768 ; AVX1-NEXT:    retq
 769 ;
 770 ; AVX2-LABEL: constant_rotate_v2i64:
 771 ; AVX2:       # BB#0:
 772 ; AVX2-NEXT:    vpsllvq {{.*}}(%rip), %xmm0, %xmm1
 773 ; AVX2-NEXT:    vpsrlvq {{.*}}(%rip), %xmm0, %xmm0
 774 ; AVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
 775 ; AVX2-NEXT:    retq
 776 ;
 777 ; XOPAVX1-LABEL: constant_rotate_v2i64:
 778 ; XOPAVX1:       # BB#0:
 779 ; XOPAVX1-NEXT:    vpshlq {{.*}}(%rip), %xmm0, %xmm1
 780 ; XOPAVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 781 ; XOPAVX1-NEXT:    vpsubq {{.*}}(%rip), %xmm2, %xmm2
 782 ; XOPAVX1-NEXT:    vpshlq %xmm2, %xmm0, %xmm0
 783 ; XOPAVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
 784 ; XOPAVX1-NEXT:    retq
 785 ;
 786 ; XOPAVX2-LABEL: constant_rotate_v2i64:
 787 ; XOPAVX2:       # BB#0:
 788 ; XOPAVX2-NEXT:    vpsllvq {{.*}}(%rip), %xmm0, %xmm1
 789 ; XOPAVX2-NEXT:    vpsrlvq {{.*}}(%rip), %xmm0, %xmm0
 790 ; XOPAVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
 791 ; XOPAVX2-NEXT:    retq
 792 ;
 793 ; X32-SSE-LABEL: constant_rotate_v2i64:
 794 ; X32-SSE:       # BB#0:
 795 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm2
 796 ; X32-SSE-NEXT:    psllq $14, %xmm2
 797 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
 798 ; X32-SSE-NEXT:    psllq $4, %xmm1
 799 ; X32-SSE-NEXT:    movsd {{.*#+}} xmm2 = xmm1[0],xmm2[1]
 800 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
 801 ; X32-SSE-NEXT:    psrlq $50, %xmm1
 802 ; X32-SSE-NEXT:    psrlq $60, %xmm0
 803 ; X32-SSE-NEXT:    movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
 804 ; X32-SSE-NEXT:    orpd %xmm2, %xmm1
 805 ; X32-SSE-NEXT:    movapd %xmm1, %xmm0
 806 ; X32-SSE-NEXT:    retl
 807   %shl = shl <2 x i64> %a, <i64 4, i64 14>
 808   %lshr = lshr <2 x i64> %a, <i64 60, i64 50>
 809   %or = or <2 x i64> %shl, %lshr
 810   ret <2 x i64> %or
 811 }
 812
 813 define <4 x i32> @constant_rotate_v4i32(<4 x i32> %a) nounwind {
 814 ; SSE2-LABEL: constant_rotate_v4i32:
 815 ; SSE2:       # BB#0:
 816 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [16,32,64,128]
 817 ; SSE2-NEXT:    movdqa %xmm0, %xmm2
 818 ; SSE2-NEXT:    pmuludq %xmm1, %xmm2
 819 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
 820 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 821 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 822 ; SSE2-NEXT:    pmuludq %xmm1, %xmm3
 823 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[0,2,2,3]
 824 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
 825 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 826 ; SSE2-NEXT:    psrld $25, %xmm1
 827 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 828 ; SSE2-NEXT:    psrld $27, %xmm3
 829 ; SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm3[0],xmm1[1]
 830 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 831 ; SSE2-NEXT:    movdqa %xmm0, %xmm3
 832 ; SSE2-NEXT:    psrld $26, %xmm3
 833 ; SSE2-NEXT:    psrld $28, %xmm0
 834 ; SSE2-NEXT:    movsd {{.*#+}} xmm3 = xmm0[0],xmm3[1]
 835 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[0,2,2,3]
 836 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 837 ; SSE2-NEXT:    por %xmm2, %xmm0
 838 ; SSE2-NEXT:    retq
 839 ;
 840 ; SSE41-LABEL: constant_rotate_v4i32:
 841 ; SSE41:       # BB#0:
 842 ; SSE41-NEXT:    movdqa {{.*#+}} xmm1 = [16,32,64,128]
 843 ; SSE41-NEXT:    pmulld %xmm0, %xmm1
 844 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 845 ; SSE41-NEXT:    psrld $25, %xmm2
 846 ; SSE41-NEXT:    movdqa %xmm0, %xmm3
 847 ; SSE41-NEXT:    psrld $27, %xmm3
 848 ; SSE41-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 849 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 850 ; SSE41-NEXT:    psrld $26, %xmm2
 851 ; SSE41-NEXT:    psrld $28, %xmm0
 852 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
 853 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,3],xmm0[4,5],xmm3[6,7]
 854 ; SSE41-NEXT:    por %xmm1, %xmm0
 855 ; SSE41-NEXT:    retq
 856 ;
 857 ; AVX1-LABEL: constant_rotate_v4i32:
 858 ; AVX1:       # BB#0:
 859 ; AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm1
 860 ; AVX1-NEXT:    vpsrld $25, %xmm0, %xmm2
 861 ; AVX1-NEXT:    vpsrld $27, %xmm0, %xmm3
 862 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 863 ; AVX1-NEXT:    vpsrld $26, %xmm0, %xmm3
 864 ; AVX1-NEXT:    vpsrld $28, %xmm0, %xmm0
 865 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm3[4,5,6,7]
 866 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 867 ; AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
 868 ; AVX1-NEXT:    retq
 869 ;
 870 ; AVX2-LABEL: constant_rotate_v4i32:
 871 ; AVX2:       # BB#0:
 872 ; AVX2-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm1
 873 ; AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm0
 874 ; AVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
 875 ; AVX2-NEXT:    retq
 876 ;
 877 ; XOPAVX1-LABEL: constant_rotate_v4i32:
 878 ; XOPAVX1:       # BB#0:
 879 ; XOPAVX1-NEXT:    vpshld {{.*}}(%rip), %xmm0, %xmm1
 880 ; XOPAVX1-NEXT:    vpshld {{.*}}(%rip), %xmm0, %xmm0
 881 ; XOPAVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
 882 ; XOPAVX1-NEXT:    retq
 883 ;
 884 ; XOPAVX2-LABEL: constant_rotate_v4i32:
 885 ; XOPAVX2:       # BB#0:
 886 ; XOPAVX2-NEXT:    vpsllvd {{.*}}(%rip), %xmm0, %xmm1
 887 ; XOPAVX2-NEXT:    vpsrlvd {{.*}}(%rip), %xmm0, %xmm0
 888 ; XOPAVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
 889 ; XOPAVX2-NEXT:    retq
 890 ;
 891 ; X32-SSE-LABEL: constant_rotate_v4i32:
 892 ; X32-SSE:       # BB#0:
 893 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm1 = [16,32,64,128]
 894 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm2
 895 ; X32-SSE-NEXT:    pmuludq %xmm1, %xmm2
 896 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
 897 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
 898 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,3,3]
 899 ; X32-SSE-NEXT:    pmuludq %xmm1, %xmm3
 900 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm3[0,2,2,3]
 901 ; X32-SSE-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
 902 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
 903 ; X32-SSE-NEXT:    psrld $25, %xmm1
 904 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm3
 905 ; X32-SSE-NEXT:    psrld $27, %xmm3
 906 ; X32-SSE-NEXT:    movsd {{.*#+}} xmm1 = xmm3[0],xmm1[1]
 907 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,3,2,3]
 908 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm3
 909 ; X32-SSE-NEXT:    psrld $26, %xmm3
 910 ; X32-SSE-NEXT:    psrld $28, %xmm0
 911 ; X32-SSE-NEXT:    movsd {{.*#+}} xmm3 = xmm0[0],xmm3[1]
 912 ; X32-SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm3[0,2,2,3]
 913 ; X32-SSE-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 914 ; X32-SSE-NEXT:    por %xmm2, %xmm0
 915 ; X32-SSE-NEXT:    retl
 916   %shl = shl <4 x i32> %a, <i32 4, i32 5, i32 6, i32 7>
 917   %lshr = lshr <4 x i32> %a, <i32 28, i32 27, i32 26, i32 25>
 918   %or = or <4 x i32> %shl, %lshr
 919   ret <4 x i32> %or
 920 }
 921
 922 define <8 x i16> @constant_rotate_v8i16(<8 x i16> %a) nounwind {
 923 ; SSE2-LABEL: constant_rotate_v8i16:
 924 ; SSE2:       # BB#0:
 925 ; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [1,2,4,8,16,32,64,128]
 926 ; SSE2-NEXT:    pmullw %xmm0, %xmm2
 927 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [0,65535,65535,65535,65535,65535,65535,65535]
 928 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 929 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 930 ; SSE2-NEXT:    psrlw $8, %xmm0
 931 ; SSE2-NEXT:    pand %xmm1, %xmm0
 932 ; SSE2-NEXT:    por %xmm3, %xmm0
 933 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [0,65535,65535,65535,65535,0,0,0]
 934 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 935 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 936 ; SSE2-NEXT:    psrlw $4, %xmm0
 937 ; SSE2-NEXT:    pand %xmm1, %xmm0
 938 ; SSE2-NEXT:    por %xmm3, %xmm0
 939 ; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [0,65535,65535,0,0,65535,65535,0]
 940 ; SSE2-NEXT:    movdqa %xmm1, %xmm3
 941 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 942 ; SSE2-NEXT:    psrlw $2, %xmm0
 943 ; SSE2-NEXT:    pand %xmm1, %xmm0
 944 ; SSE2-NEXT:    por %xmm3, %xmm0
 945 ; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [65535,0,65535,0,65535,0,65535,0]
 946 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
 947 ; SSE2-NEXT:    pand %xmm3, %xmm1
 948 ; SSE2-NEXT:    psrlw $1, %xmm0
 949 ; SSE2-NEXT:    pandn %xmm0, %xmm3
 950 ; SSE2-NEXT:    por %xmm2, %xmm1
 951 ; SSE2-NEXT:    por %xmm3, %xmm1
 952 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
 953 ; SSE2-NEXT:    retq
 954 ;
 955 ; SSE41-LABEL: constant_rotate_v8i16:
 956 ; SSE41:       # BB#0:
 957 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
 958 ; SSE41-NEXT:    movdqa {{.*#+}} xmm2 = [1,2,4,8,16,32,64,128]
 959 ; SSE41-NEXT:    pmullw %xmm1, %xmm2
 960 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 961 ; SSE41-NEXT:    psrlw $8, %xmm3
 962 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [256,61680,57568,53456,49344,45232,41120,37008]
 963 ; SSE41-NEXT:    pblendvb %xmm3, %xmm1
 964 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 965 ; SSE41-NEXT:    psrlw $4, %xmm3
 966 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [512,57824,49600,41376,33152,24928,16704,8480]
 967 ; SSE41-NEXT:    pblendvb %xmm3, %xmm1
 968 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 969 ; SSE41-NEXT:    psrlw $2, %xmm3
 970 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [1024,50112,33664,17216,768,49856,33408,16960]
 971 ; SSE41-NEXT:    pblendvb %xmm3, %xmm1
 972 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
 973 ; SSE41-NEXT:    psrlw $1, %xmm3
 974 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [2048,34688,1792,34432,1536,34176,1280,33920]
 975 ; SSE41-NEXT:    pblendvb %xmm3, %xmm1
 976 ; SSE41-NEXT:    por %xmm2, %xmm1
 977 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 978 ; SSE41-NEXT:    retq
 979 ;
 980 ; AVX1-LABEL: constant_rotate_v8i16:
 981 ; AVX1:       # BB#0:
 982 ; AVX1-NEXT:    vpmullw {{.*}}(%rip), %xmm0, %xmm1
 983 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm2
 984 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [256,61680,57568,53456,49344,45232,41120,37008]
 985 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 986 ; AVX1-NEXT:    vpsrlw $4, %xmm0, %xmm2
 987 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [512,57824,49600,41376,33152,24928,16704,8480]
 988 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 989 ; AVX1-NEXT:    vpsrlw $2, %xmm0, %xmm2
 990 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [1024,50112,33664,17216,768,49856,33408,16960]
 991 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 992 ; AVX1-NEXT:    vpsrlw $1, %xmm0, %xmm2
 993 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [2048,34688,1792,34432,1536,34176,1280,33920]
 994 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 995 ; AVX1-NEXT:    vpor %xmm0, %xmm1, %xmm0
 996 ; AVX1-NEXT:    retq
 997 ;
 998 ; AVX2-LABEL: constant_rotate_v8i16:
 999 ; AVX2:       # BB#0:
1000 ; AVX2-NEXT:    vpmullw {{.*}}(%rip), %xmm0, %xmm1
1001 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
1002 ; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm2 = mem[0],zero,mem[1],zero,mem[2],zero,mem[3],zero,mem[4],zero,mem[5],zero,mem[6],zero,mem[7],zero
1003 ; AVX2-NEXT:    vpsrlvd %ymm2, %ymm0, %ymm0
1004 ; AVX2-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13],zero,zero,zero,zero,zero,zero,zero,zero,ymm0[16,17,20,21,24,25,28,29],zero,zero,zero,zero,zero,zero,zero,zero
1005 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
1006 ; AVX2-NEXT:    vpor %xmm0, %xmm1, %xmm0
1007 ; AVX2-NEXT:    vzeroupper
1008 ; AVX2-NEXT:    retq
1009 ;
1010 ; XOP-LABEL: constant_rotate_v8i16:
1011 ; XOP:       # BB#0:
1012 ; XOP-NEXT:    vpshlw {{.*}}(%rip), %xmm0, %xmm1
1013 ; XOP-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1014 ; XOP-NEXT:    vpsubw {{.*}}(%rip), %xmm2, %xmm2
1015 ; XOP-NEXT:    vpshlw %xmm2, %xmm0, %xmm0
1016 ; XOP-NEXT:    vpor %xmm0, %xmm1, %xmm0
1017 ; XOP-NEXT:    retq
1018 ;
1019 ; X32-SSE-LABEL: constant_rotate_v8i16:
1020 ; X32-SSE:       # BB#0:
1021 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm2 = [1,2,4,8,16,32,64,128]
1022 ; X32-SSE-NEXT:    pmullw %xmm0, %xmm2
1023 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm1 = [0,65535,65535,65535,65535,65535,65535,65535]
1024 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm3
1025 ; X32-SSE-NEXT:    pandn %xmm0, %xmm3
1026 ; X32-SSE-NEXT:    psrlw $8, %xmm0
1027 ; X32-SSE-NEXT:    pand %xmm1, %xmm0
1028 ; X32-SSE-NEXT:    por %xmm3, %xmm0
1029 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm1 = [0,65535,65535,65535,65535,0,0,0]
1030 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm3
1031 ; X32-SSE-NEXT:    pandn %xmm0, %xmm3
1032 ; X32-SSE-NEXT:    psrlw $4, %xmm0
1033 ; X32-SSE-NEXT:    pand %xmm1, %xmm0
1034 ; X32-SSE-NEXT:    por %xmm3, %xmm0
1035 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm1 = [0,65535,65535,0,0,65535,65535,0]
1036 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm3
1037 ; X32-SSE-NEXT:    pandn %xmm0, %xmm3
1038 ; X32-SSE-NEXT:    psrlw $2, %xmm0
1039 ; X32-SSE-NEXT:    pand %xmm1, %xmm0
1040 ; X32-SSE-NEXT:    por %xmm3, %xmm0
1041 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm3 = [65535,0,65535,0,65535,0,65535,0]
1042 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1043 ; X32-SSE-NEXT:    pand %xmm3, %xmm1
1044 ; X32-SSE-NEXT:    psrlw $1, %xmm0
1045 ; X32-SSE-NEXT:    pandn %xmm0, %xmm3
1046 ; X32-SSE-NEXT:    por %xmm2, %xmm1
1047 ; X32-SSE-NEXT:    por %xmm3, %xmm1
1048 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm0
1049 ; X32-SSE-NEXT:    retl
1050   %shl = shl <8 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7>
1051   %lshr = lshr <8 x i16> %a, <i16 16, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9>
1052   %or = or <8 x i16> %shl, %lshr
1053   ret <8 x i16> %or
1054 }
1055
1056 define <16 x i8> @constant_rotate_v16i8(<16 x i8> %a) nounwind {
1057 ; SSE2-LABEL: constant_rotate_v16i8:
1058 ; SSE2:       # BB#0:
1059 ; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1]
1060 ; SSE2-NEXT:    psllw $5, %xmm3
1061 ; SSE2-NEXT:    pxor %xmm2, %xmm2
1062 ; SSE2-NEXT:    pxor %xmm1, %xmm1
1063 ; SSE2-NEXT:    pcmpgtb %xmm3, %xmm1
1064 ; SSE2-NEXT:    movdqa %xmm0, %xmm4
1065 ; SSE2-NEXT:    psllw $4, %xmm4
1066 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm4
1067 ; SSE2-NEXT:    pand %xmm1, %xmm4
1068 ; SSE2-NEXT:    pandn %xmm0, %xmm1
1069 ; SSE2-NEXT:    por %xmm4, %xmm1
1070 ; SSE2-NEXT:    paddb %xmm3, %xmm3
1071 ; SSE2-NEXT:    pxor %xmm4, %xmm4
1072 ; SSE2-NEXT:    pcmpgtb %xmm3, %xmm4
1073 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
1074 ; SSE2-NEXT:    pandn %xmm1, %xmm5
1075 ; SSE2-NEXT:    psllw $2, %xmm1
1076 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm1
1077 ; SSE2-NEXT:    pand %xmm4, %xmm1
1078 ; SSE2-NEXT:    por %xmm5, %xmm1
1079 ; SSE2-NEXT:    paddb %xmm3, %xmm3
1080 ; SSE2-NEXT:    pxor %xmm4, %xmm4
1081 ; SSE2-NEXT:    pcmpgtb %xmm3, %xmm4
1082 ; SSE2-NEXT:    movdqa %xmm4, %xmm3
1083 ; SSE2-NEXT:    pandn %xmm1, %xmm3
1084 ; SSE2-NEXT:    paddb %xmm1, %xmm1
1085 ; SSE2-NEXT:    pand %xmm4, %xmm1
1086 ; SSE2-NEXT:    por %xmm3, %xmm1
1087 ; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [8,7,6,5,4,3,2,1,0,1,2,3,4,5,6,7]
1088 ; SSE2-NEXT:    psllw $5, %xmm3
1089 ; SSE2-NEXT:    pxor %xmm4, %xmm4
1090 ; SSE2-NEXT:    pcmpgtb %xmm3, %xmm4
1091 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
1092 ; SSE2-NEXT:    pandn %xmm0, %xmm5
1093 ; SSE2-NEXT:    psrlw $4, %xmm0
1094 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
1095 ; SSE2-NEXT:    pand %xmm4, %xmm0
1096 ; SSE2-NEXT:    por %xmm5, %xmm0
1097 ; SSE2-NEXT:    paddb %xmm3, %xmm3
1098 ; SSE2-NEXT:    pxor %xmm4, %xmm4
1099 ; SSE2-NEXT:    pcmpgtb %xmm3, %xmm4
1100 ; SSE2-NEXT:    movdqa %xmm4, %xmm5
1101 ; SSE2-NEXT:    pandn %xmm0, %xmm5
1102 ; SSE2-NEXT:    psrlw $2, %xmm0
1103 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
1104 ; SSE2-NEXT:    pand %xmm4, %xmm0
1105 ; SSE2-NEXT:    por %xmm5, %xmm0
1106 ; SSE2-NEXT:    paddb %xmm3, %xmm3
1107 ; SSE2-NEXT:    pcmpgtb %xmm3, %xmm2
1108 ; SSE2-NEXT:    movdqa %xmm2, %xmm3
1109 ; SSE2-NEXT:    pandn %xmm0, %xmm3
1110 ; SSE2-NEXT:    psrlw $1, %xmm0
1111 ; SSE2-NEXT:    pand {{.*}}(%rip), %xmm0
1112 ; SSE2-NEXT:    pand %xmm2, %xmm0
1113 ; SSE2-NEXT:    por %xmm3, %xmm0
1114 ; SSE2-NEXT:    por %xmm1, %xmm0
1115 ; SSE2-NEXT:    retq
1116 ;
1117 ; SSE41-LABEL: constant_rotate_v16i8:
1118 ; SSE41:       # BB#0:
1119 ; SSE41-NEXT:    movdqa %xmm0, %xmm1
1120 ; SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1]
1121 ; SSE41-NEXT:    psllw $5, %xmm0
1122 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
1123 ; SSE41-NEXT:    psllw $4, %xmm3
1124 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm3
1125 ; SSE41-NEXT:    movdqa %xmm1, %xmm2
1126 ; SSE41-NEXT:    pblendvb %xmm3, %xmm2
1127 ; SSE41-NEXT:    movdqa %xmm2, %xmm3
1128 ; SSE41-NEXT:    psllw $2, %xmm3
1129 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm3
1130 ; SSE41-NEXT:    paddb %xmm0, %xmm0
1131 ; SSE41-NEXT:    pblendvb %xmm3, %xmm2
1132 ; SSE41-NEXT:    movdqa %xmm2, %xmm3
1133 ; SSE41-NEXT:    paddb %xmm3, %xmm3
1134 ; SSE41-NEXT:    paddb %xmm0, %xmm0
1135 ; SSE41-NEXT:    pblendvb %xmm3, %xmm2
1136 ; SSE41-NEXT:    movdqa {{.*#+}} xmm0 = [8,7,6,5,4,3,2,1,0,1,2,3,4,5,6,7]
1137 ; SSE41-NEXT:    psllw $5, %xmm0
1138 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
1139 ; SSE41-NEXT:    psrlw $4, %xmm3
1140 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm3
1141 ; SSE41-NEXT:    pblendvb %xmm3, %xmm1
1142 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
1143 ; SSE41-NEXT:    psrlw $2, %xmm3
1144 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm3
1145 ; SSE41-NEXT:    paddb %xmm0, %xmm0
1146 ; SSE41-NEXT:    pblendvb %xmm3, %xmm1
1147 ; SSE41-NEXT:    movdqa %xmm1, %xmm3
1148 ; SSE41-NEXT:    psrlw $1, %xmm3
1149 ; SSE41-NEXT:    pand {{.*}}(%rip), %xmm3
1150 ; SSE41-NEXT:    paddb %xmm0, %xmm0
1151 ; SSE41-NEXT:    pblendvb %xmm3, %xmm1
1152 ; SSE41-NEXT:    por %xmm2, %xmm1
1153 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1154 ; SSE41-NEXT:    retq
1155 ;
1156 ; AVX-LABEL: constant_rotate_v16i8:
1157 ; AVX:       # BB#0:
1158 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1]
1159 ; AVX-NEXT:    vpsllw $5, %xmm1, %xmm1
1160 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm2
1161 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm2, %xmm2
1162 ; AVX-NEXT:    vpblendvb %xmm1, %xmm2, %xmm0, %xmm2
1163 ; AVX-NEXT:    vpsllw $2, %xmm2, %xmm3
1164 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm3, %xmm3
1165 ; AVX-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
1166 ; AVX-NEXT:    vpblendvb %xmm1, %xmm3, %xmm2, %xmm2
1167 ; AVX-NEXT:    vpaddb %xmm2, %xmm2, %xmm3
1168 ; AVX-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
1169 ; AVX-NEXT:    vpblendvb %xmm1, %xmm3, %xmm2, %xmm1
1170 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [8,7,6,5,4,3,2,1,0,1,2,3,4,5,6,7]
1171 ; AVX-NEXT:    vpsllw $5, %xmm2, %xmm2
1172 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm3
1173 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm3, %xmm3
1174 ; AVX-NEXT:    vpblendvb %xmm2, %xmm3, %xmm0, %xmm0
1175 ; AVX-NEXT:    vpsrlw $2, %xmm0, %xmm3
1176 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm3, %xmm3
1177 ; AVX-NEXT:    vpaddb %xmm2, %xmm2, %xmm2
1178 ; AVX-NEXT:    vpblendvb %xmm2, %xmm3, %xmm0, %xmm0
1179 ; AVX-NEXT:    vpsrlw $1, %xmm0, %xmm3
1180 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm3, %xmm3
1181 ; AVX-NEXT:    vpaddb %xmm2, %xmm2, %xmm2
1182 ; AVX-NEXT:    vpblendvb %xmm2, %xmm3, %xmm0, %xmm0
1183 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1184 ; AVX-NEXT:    retq
1185 ;
1186 ; XOP-LABEL: constant_rotate_v16i8:
1187 ; XOP:       # BB#0:
1188 ; XOP-NEXT:    vpshlb {{.*}}(%rip), %xmm0, %xmm1
1189 ; XOP-NEXT:    vpxor %xmm2, %xmm2, %xmm2
1190 ; XOP-NEXT:    vpsubb {{.*}}(%rip), %xmm2, %xmm2
1191 ; XOP-NEXT:    vpshlb %xmm2, %xmm0, %xmm0
1192 ; XOP-NEXT:    vpor %xmm0, %xmm1, %xmm0
1193 ; XOP-NEXT:    retq
1194 ;
1195 ; X32-SSE-LABEL: constant_rotate_v16i8:
1196 ; X32-SSE:       # BB#0:
1197 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm3 = [0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1]
1198 ; X32-SSE-NEXT:    psllw $5, %xmm3
1199 ; X32-SSE-NEXT:    pxor %xmm2, %xmm2
1200 ; X32-SSE-NEXT:    pxor %xmm1, %xmm1
1201 ; X32-SSE-NEXT:    pcmpgtb %xmm3, %xmm1
1202 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm4
1203 ; X32-SSE-NEXT:    psllw $4, %xmm4
1204 ; X32-SSE-NEXT:    pand .LCPI7_1, %xmm4
1205 ; X32-SSE-NEXT:    pand %xmm1, %xmm4
1206 ; X32-SSE-NEXT:    pandn %xmm0, %xmm1
1207 ; X32-SSE-NEXT:    por %xmm4, %xmm1
1208 ; X32-SSE-NEXT:    paddb %xmm3, %xmm3
1209 ; X32-SSE-NEXT:    pxor %xmm4, %xmm4
1210 ; X32-SSE-NEXT:    pcmpgtb %xmm3, %xmm4
1211 ; X32-SSE-NEXT:    movdqa %xmm4, %xmm5
1212 ; X32-SSE-NEXT:    pandn %xmm1, %xmm5
1213 ; X32-SSE-NEXT:    psllw $2, %xmm1
1214 ; X32-SSE-NEXT:    pand .LCPI7_2, %xmm1
1215 ; X32-SSE-NEXT:    pand %xmm4, %xmm1
1216 ; X32-SSE-NEXT:    por %xmm5, %xmm1
1217 ; X32-SSE-NEXT:    paddb %xmm3, %xmm3
1218 ; X32-SSE-NEXT:    pxor %xmm4, %xmm4
1219 ; X32-SSE-NEXT:    pcmpgtb %xmm3, %xmm4
1220 ; X32-SSE-NEXT:    movdqa %xmm4, %xmm3
1221 ; X32-SSE-NEXT:    pandn %xmm1, %xmm3
1222 ; X32-SSE-NEXT:    paddb %xmm1, %xmm1
1223 ; X32-SSE-NEXT:    pand %xmm4, %xmm1
1224 ; X32-SSE-NEXT:    por %xmm3, %xmm1
1225 ; X32-SSE-NEXT:    movdqa {{.*#+}} xmm3 = [8,7,6,5,4,3,2,1,0,1,2,3,4,5,6,7]
1226 ; X32-SSE-NEXT:    psllw $5, %xmm3
1227 ; X32-SSE-NEXT:    pxor %xmm4, %xmm4
1228 ; X32-SSE-NEXT:    pcmpgtb %xmm3, %xmm4
1229 ; X32-SSE-NEXT:    movdqa %xmm4, %xmm5
1230 ; X32-SSE-NEXT:    pandn %xmm0, %xmm5
1231 ; X32-SSE-NEXT:    psrlw $4, %xmm0
1232 ; X32-SSE-NEXT:    pand .LCPI7_4, %xmm0
1233 ; X32-SSE-NEXT:    pand %xmm4, %xmm0
1234 ; X32-SSE-NEXT:    por %xmm5, %xmm0
1235 ; X32-SSE-NEXT:    paddb %xmm3, %xmm3
1236 ; X32-SSE-NEXT:    pxor %xmm4, %xmm4
1237 ; X32-SSE-NEXT:    pcmpgtb %xmm3, %xmm4
1238 ; X32-SSE-NEXT:    movdqa %xmm4, %xmm5
1239 ; X32-SSE-NEXT:    pandn %xmm0, %xmm5
1240 ; X32-SSE-NEXT:    psrlw $2, %xmm0
1241 ; X32-SSE-NEXT:    pand .LCPI7_5, %xmm0
1242 ; X32-SSE-NEXT:    pand %xmm4, %xmm0
1243 ; X32-SSE-NEXT:    por %xmm5, %xmm0
1244 ; X32-SSE-NEXT:    paddb %xmm3, %xmm3
1245 ; X32-SSE-NEXT:    pcmpgtb %xmm3, %xmm2
1246 ; X32-SSE-NEXT:    movdqa %xmm2, %xmm3
1247 ; X32-SSE-NEXT:    pandn %xmm0, %xmm3
1248 ; X32-SSE-NEXT:    psrlw $1, %xmm0
1249 ; X32-SSE-NEXT:    pand .LCPI7_6, %xmm0
1250 ; X32-SSE-NEXT:    pand %xmm2, %xmm0
1251 ; X32-SSE-NEXT:    por %xmm3, %xmm0
1252 ; X32-SSE-NEXT:    por %xmm1, %xmm0
1253 ; X32-SSE-NEXT:    retl
1254   %shl = shl <16 x i8> %a, <i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1>
1255   %lshr = lshr <16 x i8> %a, <i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7>
1256   %or = or <16 x i8> %shl, %lshr
1257   ret <16 x i8> %or
1258 }
1259
1260 ;
1261 ; Uniform Constant Rotates
1262 ;
1263
1264 define <2 x i64> @splatconstant_rotate_v2i64(<2 x i64> %a) nounwind {
1265 ; SSE-LABEL: splatconstant_rotate_v2i64:
1266 ; SSE:       # BB#0:
1267 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1268 ; SSE-NEXT:    psllq $14, %xmm1
1269 ; SSE-NEXT:    psrlq $50, %xmm0
1270 ; SSE-NEXT:    por %xmm1, %xmm0
1271 ; SSE-NEXT:    retq
1272 ;
1273 ; AVX-LABEL: splatconstant_rotate_v2i64:
1274 ; AVX:       # BB#0:
1275 ; AVX-NEXT:    vpsllq $14, %xmm0, %xmm1
1276 ; AVX-NEXT:    vpsrlq $50, %xmm0, %xmm0
1277 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1278 ; AVX-NEXT:    retq
1279 ;
1280 ; XOP-LABEL: splatconstant_rotate_v2i64:
1281 ; XOP:       # BB#0:
1282 ; XOP-NEXT:    vprotq $14, %xmm0, %xmm0
1283 ; XOP-NEXT:    retq
1284 ;
1285 ; X32-SSE-LABEL: splatconstant_rotate_v2i64:
1286 ; X32-SSE:       # BB#0:
1287 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1288 ; X32-SSE-NEXT:    psllq $14, %xmm1
1289 ; X32-SSE-NEXT:    psrlq $50, %xmm0
1290 ; X32-SSE-NEXT:    por %xmm1, %xmm0
1291 ; X32-SSE-NEXT:    retl
1292   %shl = shl <2 x i64> %a, <i64 14, i64 14>
1293   %lshr = lshr <2 x i64> %a, <i64 50, i64 50>
1294   %or = or <2 x i64> %shl, %lshr
1295   ret <2 x i64> %or
1296 }
1297
1298 define <4 x i32> @splatconstant_rotate_v4i32(<4 x i32> %a) nounwind {
1299 ; SSE-LABEL: splatconstant_rotate_v4i32:
1300 ; SSE:       # BB#0:
1301 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1302 ; SSE-NEXT:    pslld $4, %xmm1
1303 ; SSE-NEXT:    psrld $28, %xmm0
1304 ; SSE-NEXT:    por %xmm1, %xmm0
1305 ; SSE-NEXT:    retq
1306 ;
1307 ; AVX-LABEL: splatconstant_rotate_v4i32:
1308 ; AVX:       # BB#0:
1309 ; AVX-NEXT:    vpslld $4, %xmm0, %xmm1
1310 ; AVX-NEXT:    vpsrld $28, %xmm0, %xmm0
1311 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1312 ; AVX-NEXT:    retq
1313 ;
1314 ; XOP-LABEL: splatconstant_rotate_v4i32:
1315 ; XOP:       # BB#0:
1316 ; XOP-NEXT:    vprotd $4, %xmm0, %xmm0
1317 ; XOP-NEXT:    retq
1318 ;
1319 ; X32-SSE-LABEL: splatconstant_rotate_v4i32:
1320 ; X32-SSE:       # BB#0:
1321 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1322 ; X32-SSE-NEXT:    pslld $4, %xmm1
1323 ; X32-SSE-NEXT:    psrld $28, %xmm0
1324 ; X32-SSE-NEXT:    por %xmm1, %xmm0
1325 ; X32-SSE-NEXT:    retl
1326   %shl = shl <4 x i32> %a, <i32 4, i32 4, i32 4, i32 4>
1327   %lshr = lshr <4 x i32> %a, <i32 28, i32 28, i32 28, i32 28>
1328   %or = or <4 x i32> %shl, %lshr
1329   ret <4 x i32> %or
1330 }
1331
1332 define <8 x i16> @splatconstant_rotate_v8i16(<8 x i16> %a) nounwind {
1333 ; SSE-LABEL: splatconstant_rotate_v8i16:
1334 ; SSE:       # BB#0:
1335 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1336 ; SSE-NEXT:    psllw $7, %xmm1
1337 ; SSE-NEXT:    psrlw $9, %xmm0
1338 ; SSE-NEXT:    por %xmm1, %xmm0
1339 ; SSE-NEXT:    retq
1340 ;
1341 ; AVX-LABEL: splatconstant_rotate_v8i16:
1342 ; AVX:       # BB#0:
1343 ; AVX-NEXT:    vpsllw $7, %xmm0, %xmm1
1344 ; AVX-NEXT:    vpsrlw $9, %xmm0, %xmm0
1345 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1346 ; AVX-NEXT:    retq
1347 ;
1348 ; XOP-LABEL: splatconstant_rotate_v8i16:
1349 ; XOP:       # BB#0:
1350 ; XOP-NEXT:    vprotw $7, %xmm0, %xmm0
1351 ; XOP-NEXT:    retq
1352 ;
1353 ; X32-SSE-LABEL: splatconstant_rotate_v8i16:
1354 ; X32-SSE:       # BB#0:
1355 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1356 ; X32-SSE-NEXT:    psllw $7, %xmm1
1357 ; X32-SSE-NEXT:    psrlw $9, %xmm0
1358 ; X32-SSE-NEXT:    por %xmm1, %xmm0
1359 ; X32-SSE-NEXT:    retl
1360   %shl = shl <8 x i16> %a, <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>
1361   %lshr = lshr <8 x i16> %a, <i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9>
1362   %or = or <8 x i16> %shl, %lshr
1363   ret <8 x i16> %or
1364 }
1365
1366 define <16 x i8> @splatconstant_rotate_v16i8(<16 x i8> %a) nounwind {
1367 ; SSE-LABEL: splatconstant_rotate_v16i8:
1368 ; SSE:       # BB#0:
1369 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1370 ; SSE-NEXT:    psllw $4, %xmm1
1371 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm1
1372 ; SSE-NEXT:    psrlw $4, %xmm0
1373 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
1374 ; SSE-NEXT:    por %xmm1, %xmm0
1375 ; SSE-NEXT:    retq
1376 ;
1377 ; AVX-LABEL: splatconstant_rotate_v16i8:
1378 ; AVX:       # BB#0:
1379 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm1
1380 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
1381 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm0
1382 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1383 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1384 ; AVX-NEXT:    retq
1385 ;
1386 ; XOP-LABEL: splatconstant_rotate_v16i8:
1387 ; XOP:       # BB#0:
1388 ; XOP-NEXT:    vprotb $4, %xmm0, %xmm0
1389 ; XOP-NEXT:    retq
1390 ;
1391 ; X32-SSE-LABEL: splatconstant_rotate_v16i8:
1392 ; X32-SSE:       # BB#0:
1393 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1394 ; X32-SSE-NEXT:    psllw $4, %xmm1
1395 ; X32-SSE-NEXT:    pand .LCPI11_0, %xmm1
1396 ; X32-SSE-NEXT:    psrlw $4, %xmm0
1397 ; X32-SSE-NEXT:    pand .LCPI11_1, %xmm0
1398 ; X32-SSE-NEXT:    por %xmm1, %xmm0
1399 ; X32-SSE-NEXT:    retl
1400   %shl = shl <16 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
1401   %lshr = lshr <16 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
1402   %or = or <16 x i8> %shl, %lshr
1403   ret <16 x i8> %or
1404 }
1405
1406 ;
1407 ; Masked Uniform Constant Rotates
1408 ;
1409
1410 define <2 x i64> @splatconstant_rotate_mask_v2i64(<2 x i64> %a) nounwind {
1411 ; SSE-LABEL: splatconstant_rotate_mask_v2i64:
1412 ; SSE:       # BB#0:
1413 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1414 ; SSE-NEXT:    psllq $15, %xmm1
1415 ; SSE-NEXT:    psrlq $49, %xmm0
1416 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
1417 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm1
1418 ; SSE-NEXT:    por %xmm0, %xmm1
1419 ; SSE-NEXT:    movdqa %xmm1, %xmm0
1420 ; SSE-NEXT:    retq
1421 ;
1422 ; AVX-LABEL: splatconstant_rotate_mask_v2i64:
1423 ; AVX:       # BB#0:
1424 ; AVX-NEXT:    vpsllq $15, %xmm0, %xmm1
1425 ; AVX-NEXT:    vpsrlq $49, %xmm0, %xmm0
1426 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1427 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
1428 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1429 ; AVX-NEXT:    retq
1430 ;
1431 ; XOP-LABEL: splatconstant_rotate_mask_v2i64:
1432 ; XOP:       # BB#0:
1433 ; XOP-NEXT:    vprotq $15, %xmm0, %xmm0
1434 ; XOP-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1435 ; XOP-NEXT:    retq
1436 ;
1437 ; X32-SSE-LABEL: splatconstant_rotate_mask_v2i64:
1438 ; X32-SSE:       # BB#0:
1439 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1440 ; X32-SSE-NEXT:    psllq $15, %xmm1
1441 ; X32-SSE-NEXT:    psrlq $49, %xmm0
1442 ; X32-SSE-NEXT:    pand .LCPI12_0, %xmm0
1443 ; X32-SSE-NEXT:    pand .LCPI12_1, %xmm1
1444 ; X32-SSE-NEXT:    por %xmm0, %xmm1
1445 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm0
1446 ; X32-SSE-NEXT:    retl
1447   %shl = shl <2 x i64> %a, <i64 15, i64 15>
1448   %lshr = lshr <2 x i64> %a, <i64 49, i64 49>
1449   %rmask = and <2 x i64> %lshr, <i64 255, i64 127>
1450   %lmask = and <2 x i64> %shl, <i64 65, i64 33>
1451   %or = or <2 x i64> %lmask, %rmask
1452   ret <2 x i64> %or
1453 }
1454
1455 define <4 x i32> @splatconstant_rotate_mask_v4i32(<4 x i32> %a) nounwind {
1456 ; SSE-LABEL: splatconstant_rotate_mask_v4i32:
1457 ; SSE:       # BB#0:
1458 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1459 ; SSE-NEXT:    pslld $4, %xmm1
1460 ; SSE-NEXT:    psrld $28, %xmm0
1461 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
1462 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm1
1463 ; SSE-NEXT:    por %xmm0, %xmm1
1464 ; SSE-NEXT:    movdqa %xmm1, %xmm0
1465 ; SSE-NEXT:    retq
1466 ;
1467 ; AVX-LABEL: splatconstant_rotate_mask_v4i32:
1468 ; AVX:       # BB#0:
1469 ; AVX-NEXT:    vpslld $4, %xmm0, %xmm1
1470 ; AVX-NEXT:    vpsrld $28, %xmm0, %xmm0
1471 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1472 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
1473 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1474 ; AVX-NEXT:    retq
1475 ;
1476 ; XOP-LABEL: splatconstant_rotate_mask_v4i32:
1477 ; XOP:       # BB#0:
1478 ; XOP-NEXT:    vprotd $4, %xmm0, %xmm0
1479 ; XOP-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1480 ; XOP-NEXT:    retq
1481 ;
1482 ; X32-SSE-LABEL: splatconstant_rotate_mask_v4i32:
1483 ; X32-SSE:       # BB#0:
1484 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1485 ; X32-SSE-NEXT:    pslld $4, %xmm1
1486 ; X32-SSE-NEXT:    psrld $28, %xmm0
1487 ; X32-SSE-NEXT:    pand .LCPI13_0, %xmm0
1488 ; X32-SSE-NEXT:    pand .LCPI13_1, %xmm1
1489 ; X32-SSE-NEXT:    por %xmm0, %xmm1
1490 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm0
1491 ; X32-SSE-NEXT:    retl
1492   %shl = shl <4 x i32> %a, <i32 4, i32 4, i32 4, i32 4>
1493   %lshr = lshr <4 x i32> %a, <i32 28, i32 28, i32 28, i32 28>
1494   %rmask = and <4 x i32> %lshr, <i32 127, i32 255, i32 511, i32 1023>
1495   %lmask = and <4 x i32> %shl, <i32 1023, i32 511, i32 255, i32 127>
1496   %or = or <4 x i32> %lmask, %rmask
1497   ret <4 x i32> %or
1498 }
1499
1500 define <8 x i16> @splatconstant_rotate_mask_v8i16(<8 x i16> %a) nounwind {
1501 ; SSE-LABEL: splatconstant_rotate_mask_v8i16:
1502 ; SSE:       # BB#0:
1503 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1504 ; SSE-NEXT:    psllw $5, %xmm1
1505 ; SSE-NEXT:    psrlw $11, %xmm0
1506 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
1507 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm1
1508 ; SSE-NEXT:    por %xmm0, %xmm1
1509 ; SSE-NEXT:    movdqa %xmm1, %xmm0
1510 ; SSE-NEXT:    retq
1511 ;
1512 ; AVX-LABEL: splatconstant_rotate_mask_v8i16:
1513 ; AVX:       # BB#0:
1514 ; AVX-NEXT:    vpsllw $5, %xmm0, %xmm1
1515 ; AVX-NEXT:    vpsrlw $11, %xmm0, %xmm0
1516 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1517 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
1518 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1519 ; AVX-NEXT:    retq
1520 ;
1521 ; XOP-LABEL: splatconstant_rotate_mask_v8i16:
1522 ; XOP:       # BB#0:
1523 ; XOP-NEXT:    vprotw $5, %xmm0, %xmm0
1524 ; XOP-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1525 ; XOP-NEXT:    retq
1526 ;
1527 ; X32-SSE-LABEL: splatconstant_rotate_mask_v8i16:
1528 ; X32-SSE:       # BB#0:
1529 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1530 ; X32-SSE-NEXT:    psllw $5, %xmm1
1531 ; X32-SSE-NEXT:    psrlw $11, %xmm0
1532 ; X32-SSE-NEXT:    pand .LCPI14_0, %xmm0
1533 ; X32-SSE-NEXT:    pand .LCPI14_1, %xmm1
1534 ; X32-SSE-NEXT:    por %xmm0, %xmm1
1535 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm0
1536 ; X32-SSE-NEXT:    retl
1537   %shl = shl <8 x i16> %a, <i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5>
1538   %lshr = lshr <8 x i16> %a, <i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11>
1539   %rmask = and <8 x i16> %lshr, <i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55>
1540   %lmask = and <8 x i16> %shl, <i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33>
1541   %or = or <8 x i16> %lmask, %rmask
1542   ret <8 x i16> %or
1543 }
1544
1545 define <16 x i8> @splatconstant_rotate_mask_v16i8(<16 x i8> %a) nounwind {
1546 ; SSE-LABEL: splatconstant_rotate_mask_v16i8:
1547 ; SSE:       # BB#0:
1548 ; SSE-NEXT:    movdqa %xmm0, %xmm1
1549 ; SSE-NEXT:    psllw $4, %xmm1
1550 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm1
1551 ; SSE-NEXT:    psrlw $4, %xmm0
1552 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
1553 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm0
1554 ; SSE-NEXT:    pand {{.*}}(%rip), %xmm1
1555 ; SSE-NEXT:    por %xmm0, %xmm1
1556 ; SSE-NEXT:    movdqa %xmm1, %xmm0
1557 ; SSE-NEXT:    retq
1558 ;
1559 ; AVX-LABEL: splatconstant_rotate_mask_v16i8:
1560 ; AVX:       # BB#0:
1561 ; AVX-NEXT:    vpsllw $4, %xmm0, %xmm1
1562 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
1563 ; AVX-NEXT:    vpsrlw $4, %xmm0, %xmm0
1564 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1565 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1566 ; AVX-NEXT:    vpand {{.*}}(%rip), %xmm1, %xmm1
1567 ; AVX-NEXT:    vpor %xmm0, %xmm1, %xmm0
1568 ; AVX-NEXT:    retq
1569 ;
1570 ; XOP-LABEL: splatconstant_rotate_mask_v16i8:
1571 ; XOP:       # BB#0:
1572 ; XOP-NEXT:    vprotb $4, %xmm0, %xmm0
1573 ; XOP-NEXT:    vpand {{.*}}(%rip), %xmm0, %xmm0
1574 ; XOP-NEXT:    retq
1575 ;
1576 ; X32-SSE-LABEL: splatconstant_rotate_mask_v16i8:
1577 ; X32-SSE:       # BB#0:
1578 ; X32-SSE-NEXT:    movdqa %xmm0, %xmm1
1579 ; X32-SSE-NEXT:    psllw $4, %xmm1
1580 ; X32-SSE-NEXT:    pand .LCPI15_0, %xmm1
1581 ; X32-SSE-NEXT:    psrlw $4, %xmm0
1582 ; X32-SSE-NEXT:    pand .LCPI15_1, %xmm0
1583 ; X32-SSE-NEXT:    pand .LCPI15_2, %xmm0
1584 ; X32-SSE-NEXT:    pand .LCPI15_3, %xmm1
1585 ; X32-SSE-NEXT:    por %xmm0, %xmm1
1586 ; X32-SSE-NEXT:    movdqa %xmm1, %xmm0
1587 ; X32-SSE-NEXT:    retl
1588   %shl = shl <16 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
1589   %lshr = lshr <16 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
1590   %rmask = and <16 x i8> %lshr, <i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55>
1591   %lmask = and <16 x i8> %shl, <i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33>
1592   %or = or <16 x i8> %lmask, %rmask
1593   ret <16 x i8> %or
1594 }