test/CodeGen/X86/vector-shift-ashr-256.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX2
   6
   7 ;
   8 ; Variable Shifts
   9 ;
  10
  11 define <4 x i64> @var_shift_v4i64(<4 x i64> %a, <4 x i64> %b) nounwind {
  12 ; AVX1-LABEL: var_shift_v4i64:
  13 ; AVX1:       # BB#0:
  14 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
  15 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [9223372036854775808,9223372036854775808]
  16 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm3, %xmm4
  17 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[2,3,0,1]
  18 ; AVX1-NEXT:    vpsrlq %xmm5, %xmm3, %xmm6
  19 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm4 = xmm4[0,1,2,3],xmm6[4,5,6,7]
  20 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm6
  21 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm6, %xmm2
  22 ; AVX1-NEXT:    vpsrlq %xmm5, %xmm6, %xmm5
  23 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm5[4,5,6,7]
  24 ; AVX1-NEXT:    vpxor %xmm4, %xmm2, %xmm2
  25 ; AVX1-NEXT:    vpsubq %xmm4, %xmm2, %xmm2
  26 ; AVX1-NEXT:    vpsrlq %xmm1, %xmm3, %xmm4
  27 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm5 = xmm1[2,3,0,1]
  28 ; AVX1-NEXT:    vpsrlq %xmm5, %xmm3, %xmm3
  29 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm4[0,1,2,3],xmm3[4,5,6,7]
  30 ; AVX1-NEXT:    vpsrlq %xmm1, %xmm0, %xmm1
  31 ; AVX1-NEXT:    vpsrlq %xmm5, %xmm0, %xmm0
  32 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
  33 ; AVX1-NEXT:    vpxor %xmm3, %xmm0, %xmm0
  34 ; AVX1-NEXT:    vpsubq %xmm3, %xmm0, %xmm0
  35 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
  36 ; AVX1-NEXT:    retq
  37 ;
  38 ; AVX2-LABEL: var_shift_v4i64:
  39 ; AVX2:       # BB#0:
  40 ; AVX2-NEXT:    vpbroadcastq {{.*}}(%rip), %ymm2
  41 ; AVX2-NEXT:    vpsrlvq %ymm1, %ymm2, %ymm3
  42 ; AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
  43 ; AVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
  44 ; AVX2-NEXT:    vpsubq %ymm3, %ymm0, %ymm0
  45 ; AVX2-NEXT:    retq
  46 ;
  47 ; XOPAVX1-LABEL: var_shift_v4i64:
  48 ; XOPAVX1:       # BB#0:
  49 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
  50 ; XOPAVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
  51 ; XOPAVX1-NEXT:    vpsubq %xmm2, %xmm3, %xmm2
  52 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
  53 ; XOPAVX1-NEXT:    vpshaq %xmm2, %xmm4, %xmm2
  54 ; XOPAVX1-NEXT:    vpsubq %xmm1, %xmm3, %xmm1
  55 ; XOPAVX1-NEXT:    vpshaq %xmm1, %xmm0, %xmm0
  56 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
  57 ; XOPAVX1-NEXT:    retq
  58 ;
  59 ; XOPAVX2-LABEL: var_shift_v4i64:
  60 ; XOPAVX2:       # BB#0:
  61 ; XOPAVX2-NEXT:    vpbroadcastq {{.*}}(%rip), %ymm2
  62 ; XOPAVX2-NEXT:    vpsrlvq %ymm1, %ymm2, %ymm3
  63 ; XOPAVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
  64 ; XOPAVX2-NEXT:    vpsrlvq %ymm1, %ymm0, %ymm0
  65 ; XOPAVX2-NEXT:    vpsubq %ymm3, %ymm0, %ymm0
  66 ; XOPAVX2-NEXT:    retq
  67   %shift = ashr <4 x i64> %a, %b
  68   ret <4 x i64> %shift
  69 }
  70
  71 define <8 x i32> @var_shift_v8i32(<8 x i32> %a, <8 x i32> %b) nounwind {
  72 ; AVX1-LABEL: var_shift_v8i32:
  73 ; AVX1:       # BB#0:
  74 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
  75 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm3
  76 ; AVX1-NEXT:    vpsrldq {{.*#+}} xmm4 = xmm3[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
  77 ; AVX1-NEXT:    vpsrad %xmm4, %xmm2, %xmm4
  78 ; AVX1-NEXT:    vpsrlq $32, %xmm3, %xmm5
  79 ; AVX1-NEXT:    vpsrad %xmm5, %xmm2, %xmm5
  80 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm4 = xmm5[0,1,2,3],xmm4[4,5,6,7]
  81 ; AVX1-NEXT:    vpxor %xmm5, %xmm5, %xmm5
  82 ; AVX1-NEXT:    vpunpckhdq {{.*#+}} xmm6 = xmm3[2],xmm5[2],xmm3[3],xmm5[3]
  83 ; AVX1-NEXT:    vpsrad %xmm6, %xmm2, %xmm6
  84 ; AVX1-NEXT:    vpmovzxdq {{.*#+}} xmm3 = xmm3[0],zero,xmm3[1],zero
  85 ; AVX1-NEXT:    vpsrad %xmm3, %xmm2, %xmm2
  86 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm6[4,5,6,7]
  87 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm4[2,3],xmm2[4,5],xmm4[6,7]
  88 ; AVX1-NEXT:    vpsrldq {{.*#+}} xmm3 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
  89 ; AVX1-NEXT:    vpsrad %xmm3, %xmm0, %xmm3
  90 ; AVX1-NEXT:    vpsrlq $32, %xmm1, %xmm4
  91 ; AVX1-NEXT:    vpsrad %xmm4, %xmm0, %xmm4
  92 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm4[0,1,2,3],xmm3[4,5,6,7]
  93 ; AVX1-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm5[2],xmm1[3],xmm5[3]
  94 ; AVX1-NEXT:    vpsrad %xmm4, %xmm0, %xmm4
  95 ; AVX1-NEXT:    vpmovzxdq {{.*#+}} xmm1 = xmm1[0],zero,xmm1[1],zero
  96 ; AVX1-NEXT:    vpsrad %xmm1, %xmm0, %xmm0
  97 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm4[4,5,6,7]
  98 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,3],xmm0[4,5],xmm3[6,7]
  99 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 100 ; AVX1-NEXT:    retq
 101 ;
 102 ; AVX2-LABEL: var_shift_v8i32:
 103 ; AVX2:       # BB#0:
 104 ; AVX2-NEXT:    vpsravd %ymm1, %ymm0, %ymm0
 105 ; AVX2-NEXT:    retq
 106 ;
 107 ; XOPAVX1-LABEL: var_shift_v8i32:
 108 ; XOPAVX1:       # BB#0:
 109 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 110 ; XOPAVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 111 ; XOPAVX1-NEXT:    vpsubd %xmm2, %xmm3, %xmm2
 112 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 113 ; XOPAVX1-NEXT:    vpshad %xmm2, %xmm4, %xmm2
 114 ; XOPAVX1-NEXT:    vpsubd %xmm1, %xmm3, %xmm1
 115 ; XOPAVX1-NEXT:    vpshad %xmm1, %xmm0, %xmm0
 116 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 117 ; XOPAVX1-NEXT:    retq
 118 ;
 119 ; XOPAVX2-LABEL: var_shift_v8i32:
 120 ; XOPAVX2:       # BB#0:
 121 ; XOPAVX2-NEXT:    vpsravd %ymm1, %ymm0, %ymm0
 122 ; XOPAVX2-NEXT:    retq
 123   %shift = ashr <8 x i32> %a, %b
 124   ret <8 x i32> %shift
 125 }
 126
 127 define <16 x i16> @var_shift_v16i16(<16 x i16> %a, <16 x i16> %b) nounwind {
 128 ; AVX1-LABEL: var_shift_v16i16:
 129 ; AVX1:       # BB#0:
 130 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 131 ; AVX1-NEXT:    vpsllw $12, %xmm2, %xmm3
 132 ; AVX1-NEXT:    vpsllw $4, %xmm2, %xmm2
 133 ; AVX1-NEXT:    vpor %xmm3, %xmm2, %xmm2
 134 ; AVX1-NEXT:    vpaddw %xmm2, %xmm2, %xmm3
 135 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 136 ; AVX1-NEXT:    vpsraw $8, %xmm4, %xmm5
 137 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm5, %xmm4, %xmm2
 138 ; AVX1-NEXT:    vpsraw $4, %xmm2, %xmm4
 139 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm4, %xmm2, %xmm2
 140 ; AVX1-NEXT:    vpsraw $2, %xmm2, %xmm4
 141 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 142 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm4, %xmm2, %xmm2
 143 ; AVX1-NEXT:    vpsraw $1, %xmm2, %xmm4
 144 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 145 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm4, %xmm2, %xmm2
 146 ; AVX1-NEXT:    vpsllw $12, %xmm1, %xmm3
 147 ; AVX1-NEXT:    vpsllw $4, %xmm1, %xmm1
 148 ; AVX1-NEXT:    vpor %xmm3, %xmm1, %xmm1
 149 ; AVX1-NEXT:    vpaddw %xmm1, %xmm1, %xmm3
 150 ; AVX1-NEXT:    vpsraw $8, %xmm0, %xmm4
 151 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm4, %xmm0, %xmm0
 152 ; AVX1-NEXT:    vpsraw $4, %xmm0, %xmm1
 153 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
 154 ; AVX1-NEXT:    vpsraw $2, %xmm0, %xmm1
 155 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 156 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
 157 ; AVX1-NEXT:    vpsraw $1, %xmm0, %xmm1
 158 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 159 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
 160 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 161 ; AVX1-NEXT:    retq
 162 ;
 163 ; AVX2-LABEL: var_shift_v16i16:
 164 ; AVX2:       # BB#0:
 165 ; AVX2-NEXT:    vpxor %ymm2, %ymm2, %ymm2
 166 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm1[4],ymm2[4],ymm1[5],ymm2[5],ymm1[6],ymm2[6],ymm1[7],ymm2[7],ymm1[12],ymm2[12],ymm1[13],ymm2[13],ymm1[14],ymm2[14],ymm1[15],ymm2[15]
 167 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm0[4,4,5,5,6,6,7,7,12,12,13,13,14,14,15,15]
 168 ; AVX2-NEXT:    vpsravd %ymm3, %ymm4, %ymm3
 169 ; AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
 170 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm2[0],ymm1[1],ymm2[1],ymm1[2],ymm2[2],ymm1[3],ymm2[3],ymm1[8],ymm2[8],ymm1[9],ymm2[9],ymm1[10],ymm2[10],ymm1[11],ymm2[11]
 171 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,8,8,9,9,10,10,11,11]
 172 ; AVX2-NEXT:    vpsravd %ymm1, %ymm0, %ymm0
 173 ; AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
 174 ; AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
 175 ; AVX2-NEXT:    retq
 176 ;
 177 ; XOPAVX1-LABEL: var_shift_v16i16:
 178 ; XOPAVX1:       # BB#0:
 179 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 180 ; XOPAVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 181 ; XOPAVX1-NEXT:    vpsubw %xmm2, %xmm3, %xmm2
 182 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 183 ; XOPAVX1-NEXT:    vpshaw %xmm2, %xmm4, %xmm2
 184 ; XOPAVX1-NEXT:    vpsubw %xmm1, %xmm3, %xmm1
 185 ; XOPAVX1-NEXT:    vpshaw %xmm1, %xmm0, %xmm0
 186 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 187 ; XOPAVX1-NEXT:    retq
 188 ;
 189 ; XOPAVX2-LABEL: var_shift_v16i16:
 190 ; XOPAVX2:       # BB#0:
 191 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
 192 ; XOPAVX2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 193 ; XOPAVX2-NEXT:    vpsubw %xmm2, %xmm3, %xmm2
 194 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm4
 195 ; XOPAVX2-NEXT:    vpshaw %xmm2, %xmm4, %xmm2
 196 ; XOPAVX2-NEXT:    vpsubw %xmm1, %xmm3, %xmm1
 197 ; XOPAVX2-NEXT:    vpshaw %xmm1, %xmm0, %xmm0
 198 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
 199 ; XOPAVX2-NEXT:    retq
 200   %shift = ashr <16 x i16> %a, %b
 201   ret <16 x i16> %shift
 202 }
 203
 204 define <32 x i8> @var_shift_v32i8(<32 x i8> %a, <32 x i8> %b) nounwind {
 205 ; AVX1-LABEL: var_shift_v32i8:
 206 ; AVX1:       # BB#0:
 207 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 208 ; AVX1-NEXT:    vpsllw $5, %xmm2, %xmm2
 209 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
 210 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 211 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm5 = xmm0[8],xmm4[8],xmm0[9],xmm4[9],xmm0[10],xmm4[10],xmm0[11],xmm4[11],xmm0[12],xmm4[12],xmm0[13],xmm4[13],xmm0[14],xmm4[14],xmm0[15],xmm4[15]
 212 ; AVX1-NEXT:    vpsraw $4, %xmm5, %xmm6
 213 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm6, %xmm5, %xmm5
 214 ; AVX1-NEXT:    vpsraw $2, %xmm5, %xmm6
 215 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 216 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm6, %xmm5, %xmm5
 217 ; AVX1-NEXT:    vpsraw $1, %xmm5, %xmm6
 218 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 219 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm6, %xmm5, %xmm3
 220 ; AVX1-NEXT:    vpsrlw $8, %xmm3, %xmm3
 221 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm2 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
 222 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm4 = xmm0[0],xmm4[0],xmm0[1],xmm4[1],xmm0[2],xmm4[2],xmm0[3],xmm4[3],xmm0[4],xmm4[4],xmm0[5],xmm4[5],xmm0[6],xmm4[6],xmm0[7],xmm4[7]
 223 ; AVX1-NEXT:    vpsraw $4, %xmm4, %xmm5
 224 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm5, %xmm4, %xmm4
 225 ; AVX1-NEXT:    vpsraw $2, %xmm4, %xmm5
 226 ; AVX1-NEXT:    vpaddw %xmm2, %xmm2, %xmm2
 227 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm5, %xmm4, %xmm4
 228 ; AVX1-NEXT:    vpsraw $1, %xmm4, %xmm5
 229 ; AVX1-NEXT:    vpaddw %xmm2, %xmm2, %xmm2
 230 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm5, %xmm4, %xmm2
 231 ; AVX1-NEXT:    vpsrlw $8, %xmm2, %xmm2
 232 ; AVX1-NEXT:    vpackuswb %xmm3, %xmm2, %xmm2
 233 ; AVX1-NEXT:    vpsllw $5, %xmm1, %xmm1
 234 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm3 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
 235 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm4 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 236 ; AVX1-NEXT:    vpsraw $4, %xmm4, %xmm5
 237 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm5, %xmm4, %xmm4
 238 ; AVX1-NEXT:    vpsraw $2, %xmm4, %xmm5
 239 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 240 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm5, %xmm4, %xmm4
 241 ; AVX1-NEXT:    vpsraw $1, %xmm4, %xmm5
 242 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm3
 243 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm5, %xmm4, %xmm3
 244 ; AVX1-NEXT:    vpsrlw $8, %xmm3, %xmm3
 245 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
 246 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 247 ; AVX1-NEXT:    vpsraw $4, %xmm0, %xmm4
 248 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm4, %xmm0, %xmm0
 249 ; AVX1-NEXT:    vpsraw $2, %xmm0, %xmm4
 250 ; AVX1-NEXT:    vpaddw %xmm1, %xmm1, %xmm1
 251 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm4, %xmm0, %xmm0
 252 ; AVX1-NEXT:    vpsraw $1, %xmm0, %xmm4
 253 ; AVX1-NEXT:    vpaddw %xmm1, %xmm1, %xmm1
 254 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm4, %xmm0, %xmm0
 255 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm0
 256 ; AVX1-NEXT:    vpackuswb %xmm3, %xmm0, %xmm0
 257 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 258 ; AVX1-NEXT:    retq
 259 ;
 260 ; AVX2-LABEL: var_shift_v32i8:
 261 ; AVX2:       # BB#0:
 262 ; AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
 263 ; AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm2 = ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm1[13],ymm0[14],ymm1[14],ymm0[15],ymm1[15],ymm0[24],ymm1[24],ymm0[25],ymm1[25],ymm0[26],ymm1[26],ymm0[27],ymm1[27],ymm0[28],ymm1[28],ymm0[29],ymm1[29],ymm0[30],ymm1[30],ymm0[31],ymm1[31]
 264 ; AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
 265 ; AVX2-NEXT:    vpsraw $4, %ymm3, %ymm4
 266 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
 267 ; AVX2-NEXT:    vpsraw $2, %ymm3, %ymm4
 268 ; AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
 269 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
 270 ; AVX2-NEXT:    vpsraw $1, %ymm3, %ymm4
 271 ; AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
 272 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm2
 273 ; AVX2-NEXT:    vpsrlw $8, %ymm2, %ymm2
 274 ; AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm1[5],ymm0[6],ymm1[6],ymm0[7],ymm1[7],ymm0[16],ymm1[16],ymm0[17],ymm1[17],ymm0[18],ymm1[18],ymm0[19],ymm1[19],ymm0[20],ymm1[20],ymm0[21],ymm1[21],ymm0[22],ymm1[22],ymm0[23],ymm1[23]
 275 ; AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
 276 ; AVX2-NEXT:    vpsraw $4, %ymm0, %ymm3
 277 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 278 ; AVX2-NEXT:    vpsraw $2, %ymm0, %ymm3
 279 ; AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
 280 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 281 ; AVX2-NEXT:    vpsraw $1, %ymm0, %ymm3
 282 ; AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
 283 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 284 ; AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
 285 ; AVX2-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
 286 ; AVX2-NEXT:    retq
 287 ;
 288 ; XOPAVX1-LABEL: var_shift_v32i8:
 289 ; XOPAVX1:       # BB#0:
 290 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
 291 ; XOPAVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 292 ; XOPAVX1-NEXT:    vpsubb %xmm2, %xmm3, %xmm2
 293 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
 294 ; XOPAVX1-NEXT:    vpshab %xmm2, %xmm4, %xmm2
 295 ; XOPAVX1-NEXT:    vpsubb %xmm1, %xmm3, %xmm1
 296 ; XOPAVX1-NEXT:    vpshab %xmm1, %xmm0, %xmm0
 297 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 298 ; XOPAVX1-NEXT:    retq
 299 ;
 300 ; XOPAVX2-LABEL: var_shift_v32i8:
 301 ; XOPAVX2:       # BB#0:
 302 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
 303 ; XOPAVX2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 304 ; XOPAVX2-NEXT:    vpsubb %xmm2, %xmm3, %xmm2
 305 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm4
 306 ; XOPAVX2-NEXT:    vpshab %xmm2, %xmm4, %xmm2
 307 ; XOPAVX2-NEXT:    vpsubb %xmm1, %xmm3, %xmm1
 308 ; XOPAVX2-NEXT:    vpshab %xmm1, %xmm0, %xmm0
 309 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
 310 ; XOPAVX2-NEXT:    retq
 311   %shift = ashr <32 x i8> %a, %b
 312   ret <32 x i8> %shift
 313 }
 314
 315 ;
 316 ; Uniform Variable Shifts
 317 ;
 318
 319 define <4 x i64> @splatvar_shift_v4i64(<4 x i64> %a, <4 x i64> %b) nounwind {
 320 ; AVX1-LABEL: splatvar_shift_v4i64:
 321 ; AVX1:       # BB#0:
 322 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [9223372036854775808,9223372036854775808]
 323 ; AVX1-NEXT:    vpsrlq %xmm1, %xmm2, %xmm2
 324 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 325 ; AVX1-NEXT:    vpsrlq %xmm1, %xmm3, %xmm3
 326 ; AVX1-NEXT:    vpxor %xmm2, %xmm3, %xmm3
 327 ; AVX1-NEXT:    vpsubq %xmm2, %xmm3, %xmm3
 328 ; AVX1-NEXT:    vpsrlq %xmm1, %xmm0, %xmm0
 329 ; AVX1-NEXT:    vpxor %xmm2, %xmm0, %xmm0
 330 ; AVX1-NEXT:    vpsubq %xmm2, %xmm0, %xmm0
 331 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm0, %ymm0
 332 ; AVX1-NEXT:    retq
 333 ;
 334 ; AVX2-LABEL: splatvar_shift_v4i64:
 335 ; AVX2:       # BB#0:
 336 ; AVX2-NEXT:    vpbroadcastq {{.*}}(%rip), %ymm2
 337 ; AVX2-NEXT:    vpsrlq %xmm1, %ymm2, %ymm2
 338 ; AVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
 339 ; AVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
 340 ; AVX2-NEXT:    vpsubq %ymm2, %ymm0, %ymm0
 341 ; AVX2-NEXT:    retq
 342 ;
 343 ; XOPAVX1-LABEL: splatvar_shift_v4i64:
 344 ; XOPAVX1:       # BB#0:
 345 ; XOPAVX1-NEXT:    vmovddup {{.*#+}} xmm1 = xmm1[0,0]
 346 ; XOPAVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 347 ; XOPAVX1-NEXT:    vpsubq %xmm1, %xmm2, %xmm1
 348 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 349 ; XOPAVX1-NEXT:    vpshaq %xmm1, %xmm2, %xmm2
 350 ; XOPAVX1-NEXT:    vpshaq %xmm1, %xmm0, %xmm0
 351 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 352 ; XOPAVX1-NEXT:    retq
 353 ;
 354 ; XOPAVX2-LABEL: splatvar_shift_v4i64:
 355 ; XOPAVX2:       # BB#0:
 356 ; XOPAVX2-NEXT:    vpbroadcastq {{.*}}(%rip), %ymm2
 357 ; XOPAVX2-NEXT:    vpsrlq %xmm1, %ymm2, %ymm2
 358 ; XOPAVX2-NEXT:    vpsrlq %xmm1, %ymm0, %ymm0
 359 ; XOPAVX2-NEXT:    vpxor %ymm2, %ymm0, %ymm0
 360 ; XOPAVX2-NEXT:    vpsubq %ymm2, %ymm0, %ymm0
 361 ; XOPAVX2-NEXT:    retq
 362   %splat = shufflevector <4 x i64> %b, <4 x i64> undef, <4 x i32> zeroinitializer
 363   %shift = ashr <4 x i64> %a, %splat
 364   ret <4 x i64> %shift
 365 }
 366
 367 define <8 x i32> @splatvar_shift_v8i32(<8 x i32> %a, <8 x i32> %b) nounwind {
 368 ; AVX1-LABEL: splatvar_shift_v8i32:
 369 ; AVX1:       # BB#0:
 370 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 371 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
 372 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 373 ; AVX1-NEXT:    vpsrad %xmm1, %xmm2, %xmm2
 374 ; AVX1-NEXT:    vpsrad %xmm1, %xmm0, %xmm0
 375 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 376 ; AVX1-NEXT:    retq
 377 ;
 378 ; AVX2-LABEL: splatvar_shift_v8i32:
 379 ; AVX2:       # BB#0:
 380 ; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 381 ; AVX2-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
 382 ; AVX2-NEXT:    vpsrad %xmm1, %ymm0, %ymm0
 383 ; AVX2-NEXT:    retq
 384 ;
 385 ; XOPAVX1-LABEL: splatvar_shift_v8i32:
 386 ; XOPAVX1:       # BB#0:
 387 ; XOPAVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 388 ; XOPAVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
 389 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 390 ; XOPAVX1-NEXT:    vpsrad %xmm1, %xmm2, %xmm2
 391 ; XOPAVX1-NEXT:    vpsrad %xmm1, %xmm0, %xmm0
 392 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 393 ; XOPAVX1-NEXT:    retq
 394 ;
 395 ; XOPAVX2-LABEL: splatvar_shift_v8i32:
 396 ; XOPAVX2:       # BB#0:
 397 ; XOPAVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 398 ; XOPAVX2-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3,4,5,6,7]
 399 ; XOPAVX2-NEXT:    vpsrad %xmm1, %ymm0, %ymm0
 400 ; XOPAVX2-NEXT:    retq
 401   %splat = shufflevector <8 x i32> %b, <8 x i32> undef, <8 x i32> zeroinitializer
 402   %shift = ashr <8 x i32> %a, %splat
 403   ret <8 x i32> %shift
 404 }
 405
 406 define <16 x i16> @splatvar_shift_v16i16(<16 x i16> %a, <16 x i16> %b) nounwind {
 407 ; AVX1-LABEL: splatvar_shift_v16i16:
 408 ; AVX1:       # BB#0:
 409 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 410 ; AVX1-NEXT:    vmovd %xmm1, %eax
 411 ; AVX1-NEXT:    movzwl %ax, %eax
 412 ; AVX1-NEXT:    vmovd %eax, %xmm1
 413 ; AVX1-NEXT:    vpsraw %xmm1, %xmm2, %xmm2
 414 ; AVX1-NEXT:    vpsraw %xmm1, %xmm0, %xmm0
 415 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 416 ; AVX1-NEXT:    retq
 417 ;
 418 ; AVX2-LABEL: splatvar_shift_v16i16:
 419 ; AVX2:       # BB#0:
 420 ; AVX2-NEXT:    vmovd %xmm1, %eax
 421 ; AVX2-NEXT:    movzwl %ax, %eax
 422 ; AVX2-NEXT:    vmovd %eax, %xmm1
 423 ; AVX2-NEXT:    vpsraw %xmm1, %ymm0, %ymm0
 424 ; AVX2-NEXT:    retq
 425 ;
 426 ; XOPAVX1-LABEL: splatvar_shift_v16i16:
 427 ; XOPAVX1:       # BB#0:
 428 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 429 ; XOPAVX1-NEXT:    vmovd %xmm1, %eax
 430 ; XOPAVX1-NEXT:    movzwl %ax, %eax
 431 ; XOPAVX1-NEXT:    vmovd %eax, %xmm1
 432 ; XOPAVX1-NEXT:    vpsraw %xmm1, %xmm2, %xmm2
 433 ; XOPAVX1-NEXT:    vpsraw %xmm1, %xmm0, %xmm0
 434 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 435 ; XOPAVX1-NEXT:    retq
 436 ;
 437 ; XOPAVX2-LABEL: splatvar_shift_v16i16:
 438 ; XOPAVX2:       # BB#0:
 439 ; XOPAVX2-NEXT:    vmovd %xmm1, %eax
 440 ; XOPAVX2-NEXT:    movzwl %ax, %eax
 441 ; XOPAVX2-NEXT:    vmovd %eax, %xmm1
 442 ; XOPAVX2-NEXT:    vpsraw %xmm1, %ymm0, %ymm0
 443 ; XOPAVX2-NEXT:    retq
 444   %splat = shufflevector <16 x i16> %b, <16 x i16> undef, <16 x i32> zeroinitializer
 445   %shift = ashr <16 x i16> %a, %splat
 446   ret <16 x i16> %shift
 447 }
 448
 449 define <32 x i8> @splatvar_shift_v32i8(<32 x i8> %a, <32 x i8> %b) nounwind {
 450 ; AVX1-LABEL: splatvar_shift_v32i8:
 451 ; AVX1:       # BB#0:
 452 ; AVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 453 ; AVX1-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
 454 ; AVX1-NEXT:    vpsllw $5, %xmm1, %xmm1
 455 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
 456 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 457 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm4 = xmm0[8],xmm3[8],xmm0[9],xmm3[9],xmm0[10],xmm3[10],xmm0[11],xmm3[11],xmm0[12],xmm3[12],xmm0[13],xmm3[13],xmm0[14],xmm3[14],xmm0[15],xmm3[15]
 458 ; AVX1-NEXT:    vpsraw $4, %xmm4, %xmm5
 459 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm5, %xmm4, %xmm4
 460 ; AVX1-NEXT:    vpsraw $2, %xmm4, %xmm5
 461 ; AVX1-NEXT:    vpaddw %xmm2, %xmm2, %xmm6
 462 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm5, %xmm4, %xmm4
 463 ; AVX1-NEXT:    vpsraw $1, %xmm4, %xmm5
 464 ; AVX1-NEXT:    vpaddw %xmm6, %xmm6, %xmm9
 465 ; AVX1-NEXT:    vpblendvb %xmm9, %xmm5, %xmm4, %xmm4
 466 ; AVX1-NEXT:    vpsrlw $8, %xmm4, %xmm8
 467 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
 468 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm3 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
 469 ; AVX1-NEXT:    vpsraw $4, %xmm3, %xmm5
 470 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm5, %xmm3, %xmm3
 471 ; AVX1-NEXT:    vpsraw $2, %xmm3, %xmm5
 472 ; AVX1-NEXT:    vpaddw %xmm1, %xmm1, %xmm4
 473 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm5, %xmm3, %xmm3
 474 ; AVX1-NEXT:    vpsraw $1, %xmm3, %xmm5
 475 ; AVX1-NEXT:    vpaddw %xmm4, %xmm4, %xmm7
 476 ; AVX1-NEXT:    vpblendvb %xmm7, %xmm5, %xmm3, %xmm3
 477 ; AVX1-NEXT:    vpsrlw $8, %xmm3, %xmm3
 478 ; AVX1-NEXT:    vpackuswb %xmm8, %xmm3, %xmm8
 479 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm5 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 480 ; AVX1-NEXT:    vpsraw $4, %xmm5, %xmm3
 481 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm3, %xmm5, %xmm2
 482 ; AVX1-NEXT:    vpsraw $2, %xmm2, %xmm3
 483 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm3, %xmm2, %xmm2
 484 ; AVX1-NEXT:    vpsraw $1, %xmm2, %xmm3
 485 ; AVX1-NEXT:    vpblendvb %xmm9, %xmm3, %xmm2, %xmm2
 486 ; AVX1-NEXT:    vpsrlw $8, %xmm2, %xmm2
 487 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 488 ; AVX1-NEXT:    vpsraw $4, %xmm0, %xmm3
 489 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
 490 ; AVX1-NEXT:    vpsraw $2, %xmm0, %xmm1
 491 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm1, %xmm0, %xmm0
 492 ; AVX1-NEXT:    vpsraw $1, %xmm0, %xmm1
 493 ; AVX1-NEXT:    vpblendvb %xmm7, %xmm1, %xmm0, %xmm0
 494 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm0
 495 ; AVX1-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 496 ; AVX1-NEXT:    vinsertf128 $1, %xmm8, %ymm0, %ymm0
 497 ; AVX1-NEXT:    retq
 498 ;
 499 ; AVX2-LABEL: splatvar_shift_v32i8:
 500 ; AVX2:       # BB#0:
 501 ; AVX2-NEXT:    vpbroadcastb %xmm1, %ymm1
 502 ; AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
 503 ; AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm2 = ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm1[13],ymm0[14],ymm1[14],ymm0[15],ymm1[15],ymm0[24],ymm1[24],ymm0[25],ymm1[25],ymm0[26],ymm1[26],ymm0[27],ymm1[27],ymm0[28],ymm1[28],ymm0[29],ymm1[29],ymm0[30],ymm1[30],ymm0[31],ymm1[31]
 504 ; AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
 505 ; AVX2-NEXT:    vpsraw $4, %ymm3, %ymm4
 506 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
 507 ; AVX2-NEXT:    vpsraw $2, %ymm3, %ymm4
 508 ; AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
 509 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
 510 ; AVX2-NEXT:    vpsraw $1, %ymm3, %ymm4
 511 ; AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
 512 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm2
 513 ; AVX2-NEXT:    vpsrlw $8, %ymm2, %ymm2
 514 ; AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm1[5],ymm0[6],ymm1[6],ymm0[7],ymm1[7],ymm0[16],ymm1[16],ymm0[17],ymm1[17],ymm0[18],ymm1[18],ymm0[19],ymm1[19],ymm0[20],ymm1[20],ymm0[21],ymm1[21],ymm0[22],ymm1[22],ymm0[23],ymm1[23]
 515 ; AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
 516 ; AVX2-NEXT:    vpsraw $4, %ymm0, %ymm3
 517 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 518 ; AVX2-NEXT:    vpsraw $2, %ymm0, %ymm3
 519 ; AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
 520 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 521 ; AVX2-NEXT:    vpsraw $1, %ymm0, %ymm3
 522 ; AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
 523 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 524 ; AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
 525 ; AVX2-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
 526 ; AVX2-NEXT:    retq
 527 ;
 528 ; XOPAVX1-LABEL: splatvar_shift_v32i8:
 529 ; XOPAVX1:       # BB#0:
 530 ; XOPAVX1-NEXT:    vpxor %xmm2, %xmm2, %xmm2
 531 ; XOPAVX1-NEXT:    vpshufb %xmm2, %xmm1, %xmm1
 532 ; XOPAVX1-NEXT:    vpsubb %xmm1, %xmm2, %xmm1
 533 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 534 ; XOPAVX1-NEXT:    vpshab %xmm1, %xmm2, %xmm2
 535 ; XOPAVX1-NEXT:    vpshab %xmm1, %xmm0, %xmm0
 536 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 537 ; XOPAVX1-NEXT:    retq
 538 ;
 539 ; XOPAVX2-LABEL: splatvar_shift_v32i8:
 540 ; XOPAVX2:       # BB#0:
 541 ; XOPAVX2-NEXT:    vpbroadcastb %xmm1, %ymm1
 542 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
 543 ; XOPAVX2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
 544 ; XOPAVX2-NEXT:    vpsubb %xmm2, %xmm3, %xmm2
 545 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm4
 546 ; XOPAVX2-NEXT:    vpshab %xmm2, %xmm4, %xmm2
 547 ; XOPAVX2-NEXT:    vpsubb %xmm1, %xmm3, %xmm1
 548 ; XOPAVX2-NEXT:    vpshab %xmm1, %xmm0, %xmm0
 549 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
 550 ; XOPAVX2-NEXT:    retq
 551   %splat = shufflevector <32 x i8> %b, <32 x i8> undef, <32 x i32> zeroinitializer
 552   %shift = ashr <32 x i8> %a, %splat
 553   ret <32 x i8> %shift
 554 }
 555
 556 ;
 557 ; Constant Shifts
 558 ;
 559
 560 define <4 x i64> @constant_shift_v4i64(<4 x i64> %a) nounwind {
 561 ; AVX1-LABEL: constant_shift_v4i64:
 562 ; AVX1:       # BB#0:
 563 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 564 ; AVX1-NEXT:    vpsrlq $62, %xmm1, %xmm2
 565 ; AVX1-NEXT:    vpsrlq $31, %xmm1, %xmm1
 566 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5,6,7]
 567 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [4294967296,2]
 568 ; AVX1-NEXT:    vpxor %xmm2, %xmm1, %xmm1
 569 ; AVX1-NEXT:    vpsubq %xmm2, %xmm1, %xmm1
 570 ; AVX1-NEXT:    vpsrlq $7, %xmm0, %xmm2
 571 ; AVX1-NEXT:    vpsrlq $1, %xmm0, %xmm0
 572 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm2[4,5,6,7]
 573 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [4611686018427387904,72057594037927936]
 574 ; AVX1-NEXT:    vpxor %xmm2, %xmm0, %xmm0
 575 ; AVX1-NEXT:    vpsubq %xmm2, %xmm0, %xmm0
 576 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 577 ; AVX1-NEXT:    retq
 578 ;
 579 ; AVX2-LABEL: constant_shift_v4i64:
 580 ; AVX2:       # BB#0:
 581 ; AVX2-NEXT:    vpsrlvq {{.*}}(%rip), %ymm0, %ymm0
 582 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm1 = [4611686018427387904,72057594037927936,4294967296,2]
 583 ; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
 584 ; AVX2-NEXT:    vpsubq %ymm1, %ymm0, %ymm0
 585 ; AVX2-NEXT:    retq
 586 ;
 587 ; XOPAVX1-LABEL: constant_shift_v4i64:
 588 ; XOPAVX1:       # BB#0:
 589 ; XOPAVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 590 ; XOPAVX1-NEXT:    vpsubq {{.*}}(%rip), %xmm1, %xmm2
 591 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 592 ; XOPAVX1-NEXT:    vpshaq %xmm2, %xmm3, %xmm2
 593 ; XOPAVX1-NEXT:    vpsubq {{.*}}(%rip), %xmm1, %xmm1
 594 ; XOPAVX1-NEXT:    vpshaq %xmm1, %xmm0, %xmm0
 595 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 596 ; XOPAVX1-NEXT:    retq
 597 ;
 598 ; XOPAVX2-LABEL: constant_shift_v4i64:
 599 ; XOPAVX2:       # BB#0:
 600 ; XOPAVX2-NEXT:    vpsrlvq {{.*}}(%rip), %ymm0, %ymm0
 601 ; XOPAVX2-NEXT:    vmovdqa {{.*#+}} ymm1 = [4611686018427387904,72057594037927936,4294967296,2]
 602 ; XOPAVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
 603 ; XOPAVX2-NEXT:    vpsubq %ymm1, %ymm0, %ymm0
 604 ; XOPAVX2-NEXT:    retq
 605   %shift = ashr <4 x i64> %a, <i64 1, i64 7, i64 31, i64 62>
 606   ret <4 x i64> %shift
 607 }
 608
 609 define <8 x i32> @constant_shift_v8i32(<8 x i32> %a) nounwind {
 610 ; AVX1-LABEL: constant_shift_v8i32:
 611 ; AVX1:       # BB#0:
 612 ; AVX1-NEXT:    vpsrad $7, %xmm0, %xmm1
 613 ; AVX1-NEXT:    vpsrad $5, %xmm0, %xmm2
 614 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 615 ; AVX1-NEXT:    vpsrad $6, %xmm0, %xmm2
 616 ; AVX1-NEXT:    vpsrad $4, %xmm0, %xmm3
 617 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 618 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm2[0,1],xmm1[2,3],xmm2[4,5],xmm1[6,7]
 619 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 620 ; AVX1-NEXT:    vpsrad $7, %xmm0, %xmm2
 621 ; AVX1-NEXT:    vpsrad $9, %xmm0, %xmm3
 622 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
 623 ; AVX1-NEXT:    vpsrad $8, %xmm0, %xmm0
 624 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 625 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 626 ; AVX1-NEXT:    retq
 627 ;
 628 ; AVX2-LABEL: constant_shift_v8i32:
 629 ; AVX2:       # BB#0:
 630 ; AVX2-NEXT:    vpsravd {{.*}}(%rip), %ymm0, %ymm0
 631 ; AVX2-NEXT:    retq
 632 ;
 633 ; XOPAVX1-LABEL: constant_shift_v8i32:
 634 ; XOPAVX1:       # BB#0:
 635 ; XOPAVX1-NEXT:    vpshad {{.*}}(%rip), %xmm0, %xmm1
 636 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 637 ; XOPAVX1-NEXT:    vpshad {{.*}}(%rip), %xmm0, %xmm0
 638 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 639 ; XOPAVX1-NEXT:    retq
 640 ;
 641 ; XOPAVX2-LABEL: constant_shift_v8i32:
 642 ; XOPAVX2:       # BB#0:
 643 ; XOPAVX2-NEXT:    vpsravd {{.*}}(%rip), %ymm0, %ymm0
 644 ; XOPAVX2-NEXT:    retq
 645   %shift = ashr <8 x i32> %a, <i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 8, i32 7>
 646   ret <8 x i32> %shift
 647 }
 648
 649 define <16 x i16> @constant_shift_v16i16(<16 x i16> %a) nounwind {
 650 ; AVX1-LABEL: constant_shift_v16i16:
 651 ; AVX1:       # BB#0:
 652 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 653 ; AVX1-NEXT:    vpsraw $8, %xmm1, %xmm2
 654 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [32896,37008,41120,45232,49344,53456,57568,61680]
 655 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm1, %xmm1
 656 ; AVX1-NEXT:    vpsraw $4, %xmm1, %xmm2
 657 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [256,8480,16704,24928,33152,41376,49600,57824]
 658 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm1, %xmm1
 659 ; AVX1-NEXT:    vpsraw $2, %xmm1, %xmm2
 660 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [512,16960,33408,49856,768,17216,33664,50112]
 661 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm1, %xmm1
 662 ; AVX1-NEXT:    vpsraw $1, %xmm1, %xmm2
 663 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [1024,33920,1280,34176,1536,34432,1792,34688]
 664 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm1, %xmm1
 665 ; AVX1-NEXT:    vpsraw $8, %xmm0, %xmm2
 666 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [0,4112,8224,12336,16448,20560,24672,28784]
 667 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 668 ; AVX1-NEXT:    vpsraw $4, %xmm0, %xmm2
 669 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [0,8224,16448,24672,32896,41120,49344,57568]
 670 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 671 ; AVX1-NEXT:    vpsraw $2, %xmm0, %xmm2
 672 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [0,16448,32896,49344,256,16704,33152,49600]
 673 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 674 ; AVX1-NEXT:    vpsraw $1, %xmm0, %xmm2
 675 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [0,32896,256,33152,512,33408,768,33664]
 676 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm2, %xmm0, %xmm0
 677 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 678 ; AVX1-NEXT:    retq
 679 ;
 680 ; AVX2-LABEL: constant_shift_v16i16:
 681 ; AVX2:       # BB#0:
 682 ; AVX2-NEXT:    vpxor %ymm1, %ymm1, %ymm1
 683 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15]
 684 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm3 = ymm2[4],ymm1[4],ymm2[5],ymm1[5],ymm2[6],ymm1[6],ymm2[7],ymm1[7],ymm2[12],ymm1[12],ymm2[13],ymm1[13],ymm2[14],ymm1[14],ymm2[15],ymm1[15]
 685 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm0[4,4,5,5,6,6,7,7,12,12,13,13,14,14,15,15]
 686 ; AVX2-NEXT:    vpsravd %ymm3, %ymm4, %ymm3
 687 ; AVX2-NEXT:    vpsrld $16, %ymm3, %ymm3
 688 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm2[0],ymm1[0],ymm2[1],ymm1[1],ymm2[2],ymm1[2],ymm2[3],ymm1[3],ymm2[8],ymm1[8],ymm2[9],ymm1[9],ymm2[10],ymm1[10],ymm2[11],ymm1[11]
 689 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,8,8,9,9,10,10,11,11]
 690 ; AVX2-NEXT:    vpsravd %ymm1, %ymm0, %ymm0
 691 ; AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
 692 ; AVX2-NEXT:    vpackusdw %ymm3, %ymm0, %ymm0
 693 ; AVX2-NEXT:    retq
 694 ;
 695 ; XOPAVX1-LABEL: constant_shift_v16i16:
 696 ; XOPAVX1:       # BB#0:
 697 ; XOPAVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 698 ; XOPAVX1-NEXT:    vpsubw {{.*}}(%rip), %xmm1, %xmm2
 699 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 700 ; XOPAVX1-NEXT:    vpshaw %xmm2, %xmm3, %xmm2
 701 ; XOPAVX1-NEXT:    vpsubw {{.*}}(%rip), %xmm1, %xmm1
 702 ; XOPAVX1-NEXT:    vpshaw %xmm1, %xmm0, %xmm0
 703 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 704 ; XOPAVX1-NEXT:    retq
 705 ;
 706 ; XOPAVX2-LABEL: constant_shift_v16i16:
 707 ; XOPAVX2:       # BB#0:
 708 ; XOPAVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 709 ; XOPAVX2-NEXT:    vpsubw {{.*}}(%rip), %xmm1, %xmm2
 710 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
 711 ; XOPAVX2-NEXT:    vpshaw %xmm2, %xmm3, %xmm2
 712 ; XOPAVX2-NEXT:    vpsubw {{.*}}(%rip), %xmm1, %xmm1
 713 ; XOPAVX2-NEXT:    vpshaw %xmm1, %xmm0, %xmm0
 714 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
 715 ; XOPAVX2-NEXT:    retq
 716   %shift = ashr <16 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>
 717   ret <16 x i16> %shift
 718 }
 719
 720 define <32 x i8> @constant_shift_v32i8(<32 x i8> %a) nounwind {
 721 ; AVX1-LABEL: constant_shift_v32i8:
 722 ; AVX1:       # BB#0:
 723 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
 724 ; AVX1-NEXT:    vpsllw $5, %xmm1, %xmm1
 725 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm2 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
 726 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
 727 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm4 = xmm0[8],xmm3[8],xmm0[9],xmm3[9],xmm0[10],xmm3[10],xmm0[11],xmm3[11],xmm0[12],xmm3[12],xmm0[13],xmm3[13],xmm0[14],xmm3[14],xmm0[15],xmm3[15]
 728 ; AVX1-NEXT:    vpsraw $4, %xmm4, %xmm5
 729 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm5, %xmm4, %xmm4
 730 ; AVX1-NEXT:    vpsraw $2, %xmm4, %xmm5
 731 ; AVX1-NEXT:    vpaddw %xmm2, %xmm2, %xmm6
 732 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm5, %xmm4, %xmm4
 733 ; AVX1-NEXT:    vpsraw $1, %xmm4, %xmm5
 734 ; AVX1-NEXT:    vpaddw %xmm6, %xmm6, %xmm9
 735 ; AVX1-NEXT:    vpblendvb %xmm9, %xmm5, %xmm4, %xmm4
 736 ; AVX1-NEXT:    vpsrlw $8, %xmm4, %xmm8
 737 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm1 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
 738 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm3 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
 739 ; AVX1-NEXT:    vpsraw $4, %xmm3, %xmm5
 740 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm5, %xmm3, %xmm3
 741 ; AVX1-NEXT:    vpsraw $2, %xmm3, %xmm5
 742 ; AVX1-NEXT:    vpaddw %xmm1, %xmm1, %xmm4
 743 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm5, %xmm3, %xmm3
 744 ; AVX1-NEXT:    vpsraw $1, %xmm3, %xmm5
 745 ; AVX1-NEXT:    vpaddw %xmm4, %xmm4, %xmm7
 746 ; AVX1-NEXT:    vpblendvb %xmm7, %xmm5, %xmm3, %xmm3
 747 ; AVX1-NEXT:    vpsrlw $8, %xmm3, %xmm3
 748 ; AVX1-NEXT:    vpackuswb %xmm8, %xmm3, %xmm8
 749 ; AVX1-NEXT:    vpunpckhbw {{.*#+}} xmm5 = xmm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
 750 ; AVX1-NEXT:    vpsraw $4, %xmm5, %xmm3
 751 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm3, %xmm5, %xmm2
 752 ; AVX1-NEXT:    vpsraw $2, %xmm2, %xmm3
 753 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm3, %xmm2, %xmm2
 754 ; AVX1-NEXT:    vpsraw $1, %xmm2, %xmm3
 755 ; AVX1-NEXT:    vpblendvb %xmm9, %xmm3, %xmm2, %xmm2
 756 ; AVX1-NEXT:    vpsrlw $8, %xmm2, %xmm2
 757 ; AVX1-NEXT:    vpunpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
 758 ; AVX1-NEXT:    vpsraw $4, %xmm0, %xmm3
 759 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm3, %xmm0, %xmm0
 760 ; AVX1-NEXT:    vpsraw $2, %xmm0, %xmm1
 761 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm1, %xmm0, %xmm0
 762 ; AVX1-NEXT:    vpsraw $1, %xmm0, %xmm1
 763 ; AVX1-NEXT:    vpblendvb %xmm7, %xmm1, %xmm0, %xmm0
 764 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm0
 765 ; AVX1-NEXT:    vpackuswb %xmm2, %xmm0, %xmm0
 766 ; AVX1-NEXT:    vinsertf128 $1, %xmm8, %ymm0, %ymm0
 767 ; AVX1-NEXT:    retq
 768 ;
 769 ; AVX2-LABEL: constant_shift_v32i8:
 770 ; AVX2:       # BB#0:
 771 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm1 = [0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0,0,1,2,3,4,5,6,7,7,6,5,4,3,2,1,0]
 772 ; AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
 773 ; AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm2 = ymm0[8],ymm1[8],ymm0[9],ymm1[9],ymm0[10],ymm1[10],ymm0[11],ymm1[11],ymm0[12],ymm1[12],ymm0[13],ymm1[13],ymm0[14],ymm1[14],ymm0[15],ymm1[15],ymm0[24],ymm1[24],ymm0[25],ymm1[25],ymm0[26],ymm1[26],ymm0[27],ymm1[27],ymm0[28],ymm1[28],ymm0[29],ymm1[29],ymm0[30],ymm1[30],ymm0[31],ymm1[31]
 774 ; AVX2-NEXT:    vpunpckhbw {{.*#+}} ymm3 = ymm0[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15,24,24,25,25,26,26,27,27,28,28,29,29,30,30,31,31]
 775 ; AVX2-NEXT:    vpsraw $4, %ymm3, %ymm4
 776 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
 777 ; AVX2-NEXT:    vpsraw $2, %ymm3, %ymm4
 778 ; AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
 779 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm3
 780 ; AVX2-NEXT:    vpsraw $1, %ymm3, %ymm4
 781 ; AVX2-NEXT:    vpaddw %ymm2, %ymm2, %ymm2
 782 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm3, %ymm2
 783 ; AVX2-NEXT:    vpsrlw $8, %ymm2, %ymm2
 784 ; AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm1 = ymm0[0],ymm1[0],ymm0[1],ymm1[1],ymm0[2],ymm1[2],ymm0[3],ymm1[3],ymm0[4],ymm1[4],ymm0[5],ymm1[5],ymm0[6],ymm1[6],ymm0[7],ymm1[7],ymm0[16],ymm1[16],ymm0[17],ymm1[17],ymm0[18],ymm1[18],ymm0[19],ymm1[19],ymm0[20],ymm1[20],ymm0[21],ymm1[21],ymm0[22],ymm1[22],ymm0[23],ymm1[23]
 785 ; AVX2-NEXT:    vpunpcklbw {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7,16,16,17,17,18,18,19,19,20,20,21,21,22,22,23,23]
 786 ; AVX2-NEXT:    vpsraw $4, %ymm0, %ymm3
 787 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 788 ; AVX2-NEXT:    vpsraw $2, %ymm0, %ymm3
 789 ; AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
 790 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 791 ; AVX2-NEXT:    vpsraw $1, %ymm0, %ymm3
 792 ; AVX2-NEXT:    vpaddw %ymm1, %ymm1, %ymm1
 793 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm0
 794 ; AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
 795 ; AVX2-NEXT:    vpackuswb %ymm2, %ymm0, %ymm0
 796 ; AVX2-NEXT:    retq
 797 ;
 798 ; XOPAVX1-LABEL: constant_shift_v32i8:
 799 ; XOPAVX1:       # BB#0:
 800 ; XOPAVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 801 ; XOPAVX1-NEXT:    vpsubb {{.*}}(%rip), %xmm1, %xmm1
 802 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 803 ; XOPAVX1-NEXT:    vpshab %xmm1, %xmm2, %xmm2
 804 ; XOPAVX1-NEXT:    vpshab %xmm1, %xmm0, %xmm0
 805 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 806 ; XOPAVX1-NEXT:    retq
 807 ;
 808 ; XOPAVX2-LABEL: constant_shift_v32i8:
 809 ; XOPAVX2:       # BB#0:
 810 ; XOPAVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 811 ; XOPAVX2-NEXT:    vpsubb {{.*}}(%rip), %xmm1, %xmm1
 812 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
 813 ; XOPAVX2-NEXT:    vpshab %xmm1, %xmm2, %xmm2
 814 ; XOPAVX2-NEXT:    vpshab %xmm1, %xmm0, %xmm0
 815 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
 816 ; XOPAVX2-NEXT:    retq
 817   %shift = ashr <32 x i8> %a, <i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0, i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0>
 818   ret <32 x i8> %shift
 819 }
 820
 821 ;
 822 ; Uniform Constant Shifts
 823 ;
 824
 825 define <4 x i64> @splatconstant_shift_v4i64(<4 x i64> %a) nounwind {
 826 ; AVX1-LABEL: splatconstant_shift_v4i64:
 827 ; AVX1:       # BB#0:
 828 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 829 ; AVX1-NEXT:    vpsrad $7, %xmm1, %xmm2
 830 ; AVX1-NEXT:    vpsrlq $7, %xmm1, %xmm1
 831 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1],xmm2[2,3],xmm1[4,5],xmm2[6,7]
 832 ; AVX1-NEXT:    vpsrad $7, %xmm0, %xmm2
 833 ; AVX1-NEXT:    vpsrlq $7, %xmm0, %xmm0
 834 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm2[2,3],xmm0[4,5],xmm2[6,7]
 835 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 836 ; AVX1-NEXT:    retq
 837 ;
 838 ; AVX2-LABEL: splatconstant_shift_v4i64:
 839 ; AVX2:       # BB#0:
 840 ; AVX2-NEXT:    vpsrad $7, %ymm0, %ymm1
 841 ; AVX2-NEXT:    vpsrlq $7, %ymm0, %ymm0
 842 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2],ymm1[3],ymm0[4],ymm1[5],ymm0[6],ymm1[7]
 843 ; AVX2-NEXT:    retq
 844 ;
 845 ; XOPAVX1-LABEL: splatconstant_shift_v4i64:
 846 ; XOPAVX1:       # BB#0:
 847 ; XOPAVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 848 ; XOPAVX1-NEXT:    vpsubq {{.*}}(%rip), %xmm1, %xmm1
 849 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 850 ; XOPAVX1-NEXT:    vpshaq %xmm1, %xmm2, %xmm2
 851 ; XOPAVX1-NEXT:    vpshaq %xmm1, %xmm0, %xmm0
 852 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 853 ; XOPAVX1-NEXT:    retq
 854 ;
 855 ; XOPAVX2-LABEL: splatconstant_shift_v4i64:
 856 ; XOPAVX2:       # BB#0:
 857 ; XOPAVX2-NEXT:    vpsrlq $7, %ymm0, %ymm0
 858 ; XOPAVX2-NEXT:    vpbroadcastq {{.*}}(%rip), %ymm1
 859 ; XOPAVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
 860 ; XOPAVX2-NEXT:    vpsubq %ymm1, %ymm0, %ymm0
 861 ; XOPAVX2-NEXT:    retq
 862   %shift = ashr <4 x i64> %a, <i64 7, i64 7, i64 7, i64 7>
 863   ret <4 x i64> %shift
 864 }
 865
 866 define <8 x i32> @splatconstant_shift_v8i32(<8 x i32> %a) nounwind {
 867 ; AVX1-LABEL: splatconstant_shift_v8i32:
 868 ; AVX1:       # BB#0:
 869 ; AVX1-NEXT:    vpsrad $5, %xmm0, %xmm1
 870 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 871 ; AVX1-NEXT:    vpsrad $5, %xmm0, %xmm0
 872 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 873 ; AVX1-NEXT:    retq
 874 ;
 875 ; AVX2-LABEL: splatconstant_shift_v8i32:
 876 ; AVX2:       # BB#0:
 877 ; AVX2-NEXT:    vpsrad $5, %ymm0, %ymm0
 878 ; AVX2-NEXT:    retq
 879 ;
 880 ; XOPAVX1-LABEL: splatconstant_shift_v8i32:
 881 ; XOPAVX1:       # BB#0:
 882 ; XOPAVX1-NEXT:    vpsrad $5, %xmm0, %xmm1
 883 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 884 ; XOPAVX1-NEXT:    vpsrad $5, %xmm0, %xmm0
 885 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 886 ; XOPAVX1-NEXT:    retq
 887 ;
 888 ; XOPAVX2-LABEL: splatconstant_shift_v8i32:
 889 ; XOPAVX2:       # BB#0:
 890 ; XOPAVX2-NEXT:    vpsrad $5, %ymm0, %ymm0
 891 ; XOPAVX2-NEXT:    retq
 892   %shift = ashr <8 x i32> %a, <i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5, i32 5>
 893   ret <8 x i32> %shift
 894 }
 895
 896 define <16 x i16> @splatconstant_shift_v16i16(<16 x i16> %a) nounwind {
 897 ; AVX1-LABEL: splatconstant_shift_v16i16:
 898 ; AVX1:       # BB#0:
 899 ; AVX1-NEXT:    vpsraw $3, %xmm0, %xmm1
 900 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 901 ; AVX1-NEXT:    vpsraw $3, %xmm0, %xmm0
 902 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 903 ; AVX1-NEXT:    retq
 904 ;
 905 ; AVX2-LABEL: splatconstant_shift_v16i16:
 906 ; AVX2:       # BB#0:
 907 ; AVX2-NEXT:    vpsraw $3, %ymm0, %ymm0
 908 ; AVX2-NEXT:    retq
 909 ;
 910 ; XOPAVX1-LABEL: splatconstant_shift_v16i16:
 911 ; XOPAVX1:       # BB#0:
 912 ; XOPAVX1-NEXT:    vpsraw $3, %xmm0, %xmm1
 913 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 914 ; XOPAVX1-NEXT:    vpsraw $3, %xmm0, %xmm0
 915 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 916 ; XOPAVX1-NEXT:    retq
 917 ;
 918 ; XOPAVX2-LABEL: splatconstant_shift_v16i16:
 919 ; XOPAVX2:       # BB#0:
 920 ; XOPAVX2-NEXT:    vpsraw $3, %ymm0, %ymm0
 921 ; XOPAVX2-NEXT:    retq
 922   %shift = ashr <16 x i16> %a, <i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3, i16 3>
 923   ret <16 x i16> %shift
 924 }
 925
 926 define <32 x i8> @splatconstant_shift_v32i8(<32 x i8> %a) nounwind {
 927 ; AVX1-LABEL: splatconstant_shift_v32i8:
 928 ; AVX1:       # BB#0:
 929 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 930 ; AVX1-NEXT:    vpsrlw $3, %xmm1, %xmm1
 931 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [31,31,31,31,31,31,31,31,31,31,31,31,31,31,31,31]
 932 ; AVX1-NEXT:    vpand %xmm2, %xmm1, %xmm1
 933 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
 934 ; AVX1-NEXT:    vpxor %xmm3, %xmm1, %xmm1
 935 ; AVX1-NEXT:    vpsubb %xmm3, %xmm1, %xmm1
 936 ; AVX1-NEXT:    vpsrlw $3, %xmm0, %xmm0
 937 ; AVX1-NEXT:    vpand %xmm2, %xmm0, %xmm0
 938 ; AVX1-NEXT:    vpxor %xmm3, %xmm0, %xmm0
 939 ; AVX1-NEXT:    vpsubb %xmm3, %xmm0, %xmm0
 940 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 941 ; AVX1-NEXT:    retq
 942 ;
 943 ; AVX2-LABEL: splatconstant_shift_v32i8:
 944 ; AVX2:       # BB#0:
 945 ; AVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
 946 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
 947 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
 948 ; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
 949 ; AVX2-NEXT:    vpsubb %ymm1, %ymm0, %ymm0
 950 ; AVX2-NEXT:    retq
 951 ;
 952 ; XOPAVX1-LABEL: splatconstant_shift_v32i8:
 953 ; XOPAVX1:       # BB#0:
 954 ; XOPAVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 955 ; XOPAVX1-NEXT:    vpsubb {{.*}}(%rip), %xmm1, %xmm1
 956 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 957 ; XOPAVX1-NEXT:    vpshab %xmm1, %xmm2, %xmm2
 958 ; XOPAVX1-NEXT:    vpshab %xmm1, %xmm0, %xmm0
 959 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 960 ; XOPAVX1-NEXT:    retq
 961 ;
 962 ; XOPAVX2-LABEL: splatconstant_shift_v32i8:
 963 ; XOPAVX2:       # BB#0:
 964 ; XOPAVX2-NEXT:    vpsrlw $3, %ymm0, %ymm0
 965 ; XOPAVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
 966 ; XOPAVX2-NEXT:    vmovdqa {{.*#+}} ymm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
 967 ; XOPAVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
 968 ; XOPAVX2-NEXT:    vpsubb %ymm1, %ymm0, %ymm0
 969 ; XOPAVX2-NEXT:    retq
 970   %shift = ashr <32 x i8> %a, <i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3, i8 3>
 971   ret <32 x i8> %shift
 972 }