test/CodeGen/X86/vector-shuffle-128-v8.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSSE3
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx2 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   6
   7 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   8 target triple = "x86_64-unknown-unknown"
   9
  10 define <8 x i16> @shuffle_v8i16_01012323(<8 x i16> %a, <8 x i16> %b) {
  11 ; SSE-LABEL: shuffle_v8i16_01012323:
  12 ; SSE:       # BB#0:
  13 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
  14 ; SSE-NEXT:    retq
  15 ;
  16 ; AVX-LABEL: shuffle_v8i16_01012323:
  17 ; AVX:       # BB#0:
  18 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
  19 ; AVX-NEXT:    retq
  20   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 0, i32 1, i32 2, i32 3, i32 2, i32 3>
  21   ret <8 x i16> %shuffle
  22 }
  23 define <8 x i16> @shuffle_v8i16_67452301(<8 x i16> %a, <8 x i16> %b) {
  24 ; SSE-LABEL: shuffle_v8i16_67452301:
  25 ; SSE:       # BB#0:
  26 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,2,1,0]
  27 ; SSE-NEXT:    retq
  28 ;
  29 ; AVX-LABEL: shuffle_v8i16_67452301:
  30 ; AVX:       # BB#0:
  31 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,2,1,0]
  32 ; AVX-NEXT:    retq
  33   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 6, i32 7, i32 4, i32 5, i32 2, i32 3, i32 0, i32 1>
  34   ret <8 x i16> %shuffle
  35 }
  36 define <8 x i16> @shuffle_v8i16_456789AB(<8 x i16> %a, <8 x i16> %b) {
  37 ; SSE2-LABEL: shuffle_v8i16_456789AB:
  38 ; SSE2:       # BB#0:
  39 ; SSE2-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1],xmm1[0]
  40 ; SSE2-NEXT:    retq
  41 ;
  42 ; SSSE3-LABEL: shuffle_v8i16_456789AB:
  43 ; SSSE3:       # BB#0:
  44 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
  45 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
  46 ; SSSE3-NEXT:    retq
  47 ;
  48 ; SSE41-LABEL: shuffle_v8i16_456789AB:
  49 ; SSE41:       # BB#0:
  50 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
  51 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
  52 ; SSE41-NEXT:    retq
  53 ;
  54 ; AVX-LABEL: shuffle_v8i16_456789AB:
  55 ; AVX:       # BB#0:
  56 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
  57 ; AVX-NEXT:    retq
  58   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11>
  59   ret <8 x i16> %shuffle
  60 }
  61
  62 define <8 x i16> @shuffle_v8i16_00000000(<8 x i16> %a, <8 x i16> %b) {
  63 ; SSE2-LABEL: shuffle_v8i16_00000000:
  64 ; SSE2:       # BB#0:
  65 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,3]
  66 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,0,0,4,5,6,7]
  67 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
  68 ; SSE2-NEXT:    retq
  69 ;
  70 ; SSSE3-LABEL: shuffle_v8i16_00000000:
  71 ; SSSE3:       # BB#0:
  72 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1]
  73 ; SSSE3-NEXT:    retq
  74 ;
  75 ; SSE41-LABEL: shuffle_v8i16_00000000:
  76 ; SSE41:       # BB#0:
  77 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1]
  78 ; SSE41-NEXT:    retq
  79 ;
  80 ; AVX1-LABEL: shuffle_v8i16_00000000:
  81 ; AVX1:       # BB#0:
  82 ; AVX1-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1]
  83 ; AVX1-NEXT:    retq
  84 ;
  85 ; AVX2-LABEL: shuffle_v8i16_00000000:
  86 ; AVX2:       # BB#0:
  87 ; AVX2-NEXT:    vpbroadcastw %xmm0, %xmm0
  88 ; AVX2-NEXT:    retq
  89   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
  90   ret <8 x i16> %shuffle
  91 }
  92 define <8 x i16> @shuffle_v8i16_00004444(<8 x i16> %a, <8 x i16> %b) {
  93 ; SSE-LABEL: shuffle_v8i16_00004444:
  94 ; SSE:       # BB#0:
  95 ; SSE-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,0,0,4,5,6,7]
  96 ; SSE-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
  97 ; SSE-NEXT:    retq
  98 ;
  99 ; AVX-LABEL: shuffle_v8i16_00004444:
 100 ; AVX:       # BB#0:
 101 ; AVX-NEXT:    vpshuflw {{.*#+}} xmm0 = xmm0[0,0,0,0,4,5,6,7]
 102 ; AVX-NEXT:    vpshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 103 ; AVX-NEXT:    retq
 104   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
 105   ret <8 x i16> %shuffle
 106 }
 107 define <8 x i16> @shuffle_v8i16_u0u1u2u3(<8 x i16> %a, <8 x i16> %b) {
 108 ; SSE-LABEL: shuffle_v8i16_u0u1u2u3:
 109 ; SSE:       # BB#0:
 110 ; SSE-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 111 ; SSE-NEXT:    retq
 112 ;
 113 ; AVX-LABEL: shuffle_v8i16_u0u1u2u3:
 114 ; AVX:       # BB#0:
 115 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
 116 ; AVX-NEXT:    retq
 117   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 0, i32 undef, i32 1, i32 undef, i32 2, i32 undef, i32 3>
 118   ret <8 x i16> %shuffle
 119 }
 120 define <8 x i16> @shuffle_v8i16_u4u5u6u7(<8 x i16> %a, <8 x i16> %b) {
 121 ; SSE-LABEL: shuffle_v8i16_u4u5u6u7:
 122 ; SSE:       # BB#0:
 123 ; SSE-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
 124 ; SSE-NEXT:    retq
 125 ;
 126 ; AVX-LABEL: shuffle_v8i16_u4u5u6u7:
 127 ; AVX:       # BB#0:
 128 ; AVX-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
 129 ; AVX-NEXT:    retq
 130   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 undef, i32 5, i32 undef, i32 6, i32 undef, i32 7>
 131   ret <8 x i16> %shuffle
 132 }
 133 define <8 x i16> @shuffle_v8i16_31206745(<8 x i16> %a, <8 x i16> %b) {
 134 ; SSE-LABEL: shuffle_v8i16_31206745:
 135 ; SSE:       # BB#0:
 136 ; SSE-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,1,2,0,4,5,6,7]
 137 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,3,2]
 138 ; SSE-NEXT:    retq
 139 ;
 140 ; AVX-LABEL: shuffle_v8i16_31206745:
 141 ; AVX:       # BB#0:
 142 ; AVX-NEXT:    vpshuflw {{.*#+}} xmm0 = xmm0[3,1,2,0,4,5,6,7]
 143 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,3,2]
 144 ; AVX-NEXT:    retq
 145   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 1, i32 2, i32 0, i32 6, i32 7, i32 4, i32 5>
 146   ret <8 x i16> %shuffle
 147 }
 148 define <8 x i16> @shuffle_v8i16_44440000(<8 x i16> %a, <8 x i16> %b) {
 149 ; SSE2-LABEL: shuffle_v8i16_44440000:
 150 ; SSE2:       # BB#0:
 151 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,0,3]
 152 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,0,0,4,5,6,7]
 153 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 154 ; SSE2-NEXT:    retq
 155 ;
 156 ; SSSE3-LABEL: shuffle_v8i16_44440000:
 157 ; SSSE3:       # BB#0:
 158 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,8,9,0,1,0,1,0,1,0,1]
 159 ; SSSE3-NEXT:    retq
 160 ;
 161 ; SSE41-LABEL: shuffle_v8i16_44440000:
 162 ; SSE41:       # BB#0:
 163 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,8,9,0,1,0,1,0,1,0,1]
 164 ; SSE41-NEXT:    retq
 165 ;
 166 ; AVX-LABEL: shuffle_v8i16_44440000:
 167 ; AVX:       # BB#0:
 168 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,8,9,0,1,0,1,0,1,0,1]
 169 ; AVX-NEXT:    retq
 170   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0>
 171   ret <8 x i16> %shuffle
 172 }
 173 define <8 x i16> @shuffle_v8i16_23016745(<8 x i16> %a, <8 x i16> %b) {
 174 ; SSE-LABEL: shuffle_v8i16_23016745:
 175 ; SSE:       # BB#0:
 176 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,0,3,2]
 177 ; SSE-NEXT:    retq
 178 ;
 179 ; AVX-LABEL: shuffle_v8i16_23016745:
 180 ; AVX:       # BB#0:
 181 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,0,3,2]
 182 ; AVX-NEXT:    retq
 183   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 3, i32 0, i32 1, i32 6, i32 7, i32 4, i32 5>
 184   ret <8 x i16> %shuffle
 185 }
 186 define <8 x i16> @shuffle_v8i16_23026745(<8 x i16> %a, <8 x i16> %b) {
 187 ; SSE-LABEL: shuffle_v8i16_23026745:
 188 ; SSE:       # BB#0:
 189 ; SSE-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,3,0,2,4,5,6,7]
 190 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,3,2]
 191 ; SSE-NEXT:    retq
 192 ;
 193 ; AVX-LABEL: shuffle_v8i16_23026745:
 194 ; AVX:       # BB#0:
 195 ; AVX-NEXT:    vpshuflw {{.*#+}} xmm0 = xmm0[2,3,0,2,4,5,6,7]
 196 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,3,2]
 197 ; AVX-NEXT:    retq
 198   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 3, i32 0, i32 2, i32 6, i32 7, i32 4, i32 5>
 199   ret <8 x i16> %shuffle
 200 }
 201 define <8 x i16> @shuffle_v8i16_23016747(<8 x i16> %a, <8 x i16> %b) {
 202 ; SSE-LABEL: shuffle_v8i16_23016747:
 203 ; SSE:       # BB#0:
 204 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,0,2,3]
 205 ; SSE-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,7,4,7]
 206 ; SSE-NEXT:    retq
 207 ;
 208 ; AVX-LABEL: shuffle_v8i16_23016747:
 209 ; AVX:       # BB#0:
 210 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,0,2,3]
 211 ; AVX-NEXT:    vpshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,7,4,7]
 212 ; AVX-NEXT:    retq
 213   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 3, i32 0, i32 1, i32 6, i32 7, i32 4, i32 7>
 214   ret <8 x i16> %shuffle
 215 }
 216 define <8 x i16> @shuffle_v8i16_75643120(<8 x i16> %a, <8 x i16> %b) {
 217 ; SSE2-LABEL: shuffle_v8i16_75643120:
 218 ; SSE2:       # BB#0:
 219 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 220 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,1,2,0,4,5,6,7]
 221 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 222 ; SSE2-NEXT:    retq
 223 ;
 224 ; SSSE3-LABEL: shuffle_v8i16_75643120:
 225 ; SSSE3:       # BB#0:
 226 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[14,15,10,11,12,13,8,9,6,7,2,3,4,5,0,1]
 227 ; SSSE3-NEXT:    retq
 228 ;
 229 ; SSE41-LABEL: shuffle_v8i16_75643120:
 230 ; SSE41:       # BB#0:
 231 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[14,15,10,11,12,13,8,9,6,7,2,3,4,5,0,1]
 232 ; SSE41-NEXT:    retq
 233 ;
 234 ; AVX-LABEL: shuffle_v8i16_75643120:
 235 ; AVX:       # BB#0:
 236 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[14,15,10,11,12,13,8,9,6,7,2,3,4,5,0,1]
 237 ; AVX-NEXT:    retq
 238   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 7, i32 5, i32 6, i32 4, i32 3, i32 1, i32 2, i32 0>
 239   ret <8 x i16> %shuffle
 240 }
 241
 242 define <8 x i16> @shuffle_v8i16_10545410(<8 x i16> %a, <8 x i16> %b) {
 243 ; SSE2-LABEL: shuffle_v8i16_10545410:
 244 ; SSE2:       # BB#0:
 245 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 246 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,0,3,2,4,5,6,7]
 247 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,4,7,6]
 248 ; SSE2-NEXT:    retq
 249 ;
 250 ; SSSE3-LABEL: shuffle_v8i16_10545410:
 251 ; SSSE3:       # BB#0:
 252 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[2,3,0,1,10,11,8,9,10,11,8,9,2,3,0,1]
 253 ; SSSE3-NEXT:    retq
 254 ;
 255 ; SSE41-LABEL: shuffle_v8i16_10545410:
 256 ; SSE41:       # BB#0:
 257 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[2,3,0,1,10,11,8,9,10,11,8,9,2,3,0,1]
 258 ; SSE41-NEXT:    retq
 259 ;
 260 ; AVX-LABEL: shuffle_v8i16_10545410:
 261 ; AVX:       # BB#0:
 262 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[2,3,0,1,10,11,8,9,10,11,8,9,2,3,0,1]
 263 ; AVX-NEXT:    retq
 264   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 5, i32 4, i32 5, i32 4, i32 1, i32 0>
 265   ret <8 x i16> %shuffle
 266 }
 267 define <8 x i16> @shuffle_v8i16_54105410(<8 x i16> %a, <8 x i16> %b) {
 268 ; SSE2-LABEL: shuffle_v8i16_54105410:
 269 ; SSE2:       # BB#0:
 270 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 271 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
 272 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,4,7,6]
 273 ; SSE2-NEXT:    retq
 274 ;
 275 ; SSSE3-LABEL: shuffle_v8i16_54105410:
 276 ; SSSE3:       # BB#0:
 277 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,10,11,8,9,2,3,0,1]
 278 ; SSSE3-NEXT:    retq
 279 ;
 280 ; SSE41-LABEL: shuffle_v8i16_54105410:
 281 ; SSE41:       # BB#0:
 282 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,10,11,8,9,2,3,0,1]
 283 ; SSE41-NEXT:    retq
 284 ;
 285 ; AVX-LABEL: shuffle_v8i16_54105410:
 286 ; AVX:       # BB#0:
 287 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,10,11,8,9,2,3,0,1]
 288 ; AVX-NEXT:    retq
 289   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 5, i32 4, i32 1, i32 0>
 290   ret <8 x i16> %shuffle
 291 }
 292 define <8 x i16> @shuffle_v8i16_54101054(<8 x i16> %a, <8 x i16> %b) {
 293 ; SSE2-LABEL: shuffle_v8i16_54101054:
 294 ; SSE2:       # BB#0:
 295 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 296 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
 297 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
 298 ; SSE2-NEXT:    retq
 299 ;
 300 ; SSSE3-LABEL: shuffle_v8i16_54101054:
 301 ; SSSE3:       # BB#0:
 302 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,2,3,0,1,10,11,8,9]
 303 ; SSSE3-NEXT:    retq
 304 ;
 305 ; SSE41-LABEL: shuffle_v8i16_54101054:
 306 ; SSE41:       # BB#0:
 307 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,2,3,0,1,10,11,8,9]
 308 ; SSE41-NEXT:    retq
 309 ;
 310 ; AVX-LABEL: shuffle_v8i16_54101054:
 311 ; AVX:       # BB#0:
 312 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,2,3,0,1,10,11,8,9]
 313 ; AVX-NEXT:    retq
 314   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 1, i32 0, i32 5, i32 4>
 315   ret <8 x i16> %shuffle
 316 }
 317 define <8 x i16> @shuffle_v8i16_04400440(<8 x i16> %a, <8 x i16> %b) {
 318 ; SSE2-LABEL: shuffle_v8i16_04400440:
 319 ; SSE2:       # BB#0:
 320 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 321 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 322 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,4,4,6]
 323 ; SSE2-NEXT:    retq
 324 ;
 325 ; SSSE3-LABEL: shuffle_v8i16_04400440:
 326 ; SSSE3:       # BB#0:
 327 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,8,9,8,9,0,1]
 328 ; SSSE3-NEXT:    retq
 329 ;
 330 ; SSE41-LABEL: shuffle_v8i16_04400440:
 331 ; SSE41:       # BB#0:
 332 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,8,9,8,9,0,1]
 333 ; SSE41-NEXT:    retq
 334 ;
 335 ; AVX-LABEL: shuffle_v8i16_04400440:
 336 ; AVX:       # BB#0:
 337 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,8,9,8,9,0,1]
 338 ; AVX-NEXT:    retq
 339   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 0>
 340   ret <8 x i16> %shuffle
 341 }
 342 define <8 x i16> @shuffle_v8i16_40044004(<8 x i16> %a, <8 x i16> %b) {
 343 ; SSE2-LABEL: shuffle_v8i16_40044004:
 344 ; SSE2:       # BB#0:
 345 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 346 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,0,0,2,4,5,6,7]
 347 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,4]
 348 ; SSE2-NEXT:    retq
 349 ;
 350 ; SSSE3-LABEL: shuffle_v8i16_40044004:
 351 ; SSSE3:       # BB#0:
 352 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,0,1,0,1,8,9,8,9,0,1,0,1,8,9]
 353 ; SSSE3-NEXT:    retq
 354 ;
 355 ; SSE41-LABEL: shuffle_v8i16_40044004:
 356 ; SSE41:       # BB#0:
 357 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,0,1,0,1,8,9,8,9,0,1,0,1,8,9]
 358 ; SSE41-NEXT:    retq
 359 ;
 360 ; AVX-LABEL: shuffle_v8i16_40044004:
 361 ; AVX:       # BB#0:
 362 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[8,9,0,1,0,1,8,9,8,9,0,1,0,1,8,9]
 363 ; AVX-NEXT:    retq
 364   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 0, i32 0, i32 4, i32 4, i32 0, i32 0, i32 4>
 365   ret <8 x i16> %shuffle
 366 }
 367
 368 define <8 x i16> @shuffle_v8i16_26405173(<8 x i16> %a, <8 x i16> %b) {
 369 ; SSE2-LABEL: shuffle_v8i16_26405173:
 370 ; SSE2:       # BB#0:
 371 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
 372 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 373 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,1]
 374 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
 375 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,6,4,7]
 376 ; SSE2-NEXT:    retq
 377 ;
 378 ; SSSE3-LABEL: shuffle_v8i16_26405173:
 379 ; SSSE3:       # BB#0:
 380 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,10,11,2,3,14,15,6,7]
 381 ; SSSE3-NEXT:    retq
 382 ;
 383 ; SSE41-LABEL: shuffle_v8i16_26405173:
 384 ; SSE41:       # BB#0:
 385 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,10,11,2,3,14,15,6,7]
 386 ; SSE41-NEXT:    retq
 387 ;
 388 ; AVX-LABEL: shuffle_v8i16_26405173:
 389 ; AVX:       # BB#0:
 390 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,10,11,2,3,14,15,6,7]
 391 ; AVX-NEXT:    retq
 392   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 5, i32 1, i32 7, i32 3>
 393   ret <8 x i16> %shuffle
 394 }
 395 define <8 x i16> @shuffle_v8i16_20645173(<8 x i16> %a, <8 x i16> %b) {
 396 ; SSE2-LABEL: shuffle_v8i16_20645173:
 397 ; SSE2:       # BB#0:
 398 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
 399 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 400 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,1]
 401 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,0,2,3,4,5,6,7]
 402 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,6,4,7]
 403 ; SSE2-NEXT:    retq
 404 ;
 405 ; SSSE3-LABEL: shuffle_v8i16_20645173:
 406 ; SSSE3:       # BB#0:
 407 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,0,1,12,13,8,9,10,11,2,3,14,15,6,7]
 408 ; SSSE3-NEXT:    retq
 409 ;
 410 ; SSE41-LABEL: shuffle_v8i16_20645173:
 411 ; SSE41:       # BB#0:
 412 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,0,1,12,13,8,9,10,11,2,3,14,15,6,7]
 413 ; SSE41-NEXT:    retq
 414 ;
 415 ; AVX-LABEL: shuffle_v8i16_20645173:
 416 ; AVX:       # BB#0:
 417 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[4,5,0,1,12,13,8,9,10,11,2,3,14,15,6,7]
 418 ; AVX-NEXT:    retq
 419   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 0, i32 6, i32 4, i32 5, i32 1, i32 7, i32 3>
 420   ret <8 x i16> %shuffle
 421 }
 422 define <8 x i16> @shuffle_v8i16_26401375(<8 x i16> %a, <8 x i16> %b) {
 423 ; SSE2-LABEL: shuffle_v8i16_26401375:
 424 ; SSE2:       # BB#0:
 425 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
 426 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 427 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,1,2]
 428 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
 429 ; SSE2-NEXT:    retq
 430 ;
 431 ; SSSE3-LABEL: shuffle_v8i16_26401375:
 432 ; SSSE3:       # BB#0:
 433 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,2,3,6,7,14,15,10,11]
 434 ; SSSE3-NEXT:    retq
 435 ;
 436 ; SSE41-LABEL: shuffle_v8i16_26401375:
 437 ; SSE41:       # BB#0:
 438 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,2,3,6,7,14,15,10,11]
 439 ; SSE41-NEXT:    retq
 440 ;
 441 ; AVX-LABEL: shuffle_v8i16_26401375:
 442 ; AVX:       # BB#0:
 443 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,2,3,6,7,14,15,10,11]
 444 ; AVX-NEXT:    retq
 445   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 1, i32 3, i32 7, i32 5>
 446   ret <8 x i16> %shuffle
 447 }
 448
 449 define <8 x i16> @shuffle_v8i16_66751643(<8 x i16> %a, <8 x i16> %b) {
 450 ; SSE2-LABEL: shuffle_v8i16_66751643:
 451 ; SSE2:       # BB#0:
 452 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,1,2,3,4,5,6,7]
 453 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,5,7]
 454 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,0]
 455 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,1,3,2,4,5,6,7]
 456 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,4,6]
 457 ; SSE2-NEXT:    retq
 458 ;
 459 ; SSSE3-LABEL: shuffle_v8i16_66751643:
 460 ; SSSE3:       # BB#0:
 461 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,12,13,14,15,10,11,2,3,12,13,8,9,6,7]
 462 ; SSSE3-NEXT:    retq
 463 ;
 464 ; SSE41-LABEL: shuffle_v8i16_66751643:
 465 ; SSE41:       # BB#0:
 466 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,12,13,14,15,10,11,2,3,12,13,8,9,6,7]
 467 ; SSE41-NEXT:    retq
 468 ;
 469 ; AVX-LABEL: shuffle_v8i16_66751643:
 470 ; AVX:       # BB#0:
 471 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[12,13,12,13,14,15,10,11,2,3,12,13,8,9,6,7]
 472 ; AVX-NEXT:    retq
 473   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 6, i32 6, i32 7, i32 5, i32 1, i32 6, i32 4, i32 3>
 474   ret <8 x i16> %shuffle
 475 }
 476
 477 define <8 x i16> @shuffle_v8i16_60514754(<8 x i16> %a, <8 x i16> %b) {
 478 ; SSE2-LABEL: shuffle_v8i16_60514754:
 479 ; SSE2:       # BB#0:
 480 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,5,4,7]
 481 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 482 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,0,3,1,4,5,6,7]
 483 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,7,5,6]
 484 ; SSE2-NEXT:    retq
 485 ;
 486 ; SSSE3-LABEL: shuffle_v8i16_60514754:
 487 ; SSSE3:       # BB#0:
 488 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,0,1,10,11,2,3,8,9,14,15,10,11,8,9]
 489 ; SSSE3-NEXT:    retq
 490 ;
 491 ; SSE41-LABEL: shuffle_v8i16_60514754:
 492 ; SSE41:       # BB#0:
 493 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,0,1,10,11,2,3,8,9,14,15,10,11,8,9]
 494 ; SSE41-NEXT:    retq
 495 ;
 496 ; AVX-LABEL: shuffle_v8i16_60514754:
 497 ; AVX:       # BB#0:
 498 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[12,13,0,1,10,11,2,3,8,9,14,15,10,11,8,9]
 499 ; AVX-NEXT:    retq
 500   %shuffle = shufflevector <8 x i16> %a, <8 x i16> undef, <8 x i32> <i32 6, i32 0, i32 5, i32 1, i32 4, i32 7, i32 5, i32 4>
 501   ret <8 x i16> %shuffle
 502 }
 503
 504 define <8 x i16> @shuffle_v8i16_00444444(<8 x i16> %a, <8 x i16> %b) {
 505 ; SSE2-LABEL: shuffle_v8i16_00444444:
 506 ; SSE2:       # BB#0:
 507 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 508 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,2,2,4,5,6,7]
 509 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 510 ; SSE2-NEXT:    retq
 511 ;
 512 ; SSSE3-LABEL: shuffle_v8i16_00444444:
 513 ; SSSE3:       # BB#0:
 514 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,8,9,8,9,8,9,8,9,8,9,8,9]
 515 ; SSSE3-NEXT:    retq
 516 ;
 517 ; SSE41-LABEL: shuffle_v8i16_00444444:
 518 ; SSE41:       # BB#0:
 519 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,8,9,8,9,8,9,8,9,8,9,8,9]
 520 ; SSE41-NEXT:    retq
 521 ;
 522 ; AVX-LABEL: shuffle_v8i16_00444444:
 523 ; AVX:       # BB#0:
 524 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,8,9,8,9,8,9,8,9,8,9,8,9]
 525 ; AVX-NEXT:    retq
 526   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 527   ret <8 x i16> %shuffle
 528 }
 529 define <8 x i16> @shuffle_v8i16_44004444(<8 x i16> %a, <8 x i16> %b) {
 530 ; SSE2-LABEL: shuffle_v8i16_44004444:
 531 ; SSE2:       # BB#0:
 532 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 533 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,2,0,0,4,5,6,7]
 534 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 535 ; SSE2-NEXT:    retq
 536 ;
 537 ; SSSE3-LABEL: shuffle_v8i16_44004444:
 538 ; SSSE3:       # BB#0:
 539 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,0,1,0,1,8,9,8,9,8,9,8,9]
 540 ; SSSE3-NEXT:    retq
 541 ;
 542 ; SSE41-LABEL: shuffle_v8i16_44004444:
 543 ; SSE41:       # BB#0:
 544 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,0,1,0,1,8,9,8,9,8,9,8,9]
 545 ; SSE41-NEXT:    retq
 546 ;
 547 ; AVX-LABEL: shuffle_v8i16_44004444:
 548 ; AVX:       # BB#0:
 549 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,0,1,0,1,8,9,8,9,8,9,8,9]
 550 ; AVX-NEXT:    retq
 551   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
 552   ret <8 x i16> %shuffle
 553 }
 554 define <8 x i16> @shuffle_v8i16_04404444(<8 x i16> %a, <8 x i16> %b) {
 555 ; SSE2-LABEL: shuffle_v8i16_04404444:
 556 ; SSE2:       # BB#0:
 557 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 558 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 559 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 560 ; SSE2-NEXT:    retq
 561 ;
 562 ; SSSE3-LABEL: shuffle_v8i16_04404444:
 563 ; SSSE3:       # BB#0:
 564 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 565 ; SSSE3-NEXT:    retq
 566 ;
 567 ; SSE41-LABEL: shuffle_v8i16_04404444:
 568 ; SSE41:       # BB#0:
 569 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 570 ; SSE41-NEXT:    retq
 571 ;
 572 ; AVX-LABEL: shuffle_v8i16_04404444:
 573 ; AVX:       # BB#0:
 574 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 575 ; AVX-NEXT:    retq
 576   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 577   ret <8 x i16> %shuffle
 578 }
 579 define <8 x i16> @shuffle_v8i16_04400000(<8 x i16> %a, <8 x i16> %b) {
 580 ; SSE2-LABEL: shuffle_v8i16_04400000:
 581 ; SSE2:       # BB#0:
 582 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,0,3]
 583 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 584 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 585 ; SSE2-NEXT:    retq
 586 ;
 587 ; SSSE3-LABEL: shuffle_v8i16_04400000:
 588 ; SSSE3:       # BB#0:
 589 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,0,1,0,1,0,1]
 590 ; SSSE3-NEXT:    retq
 591 ;
 592 ; SSE41-LABEL: shuffle_v8i16_04400000:
 593 ; SSE41:       # BB#0:
 594 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,0,1,0,1,0,1]
 595 ; SSE41-NEXT:    retq
 596 ;
 597 ; AVX-LABEL: shuffle_v8i16_04400000:
 598 ; AVX:       # BB#0:
 599 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,0,1,0,1,0,1]
 600 ; AVX-NEXT:    retq
 601   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0, i32 0>
 602   ret <8 x i16> %shuffle
 603 }
 604 define <8 x i16> @shuffle_v8i16_04404567(<8 x i16> %a, <8 x i16> %b) {
 605 ; SSE-LABEL: shuffle_v8i16_04404567:
 606 ; SSE:       # BB#0:
 607 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 608 ; SSE-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 609 ; SSE-NEXT:    retq
 610 ;
 611 ; AVX-LABEL: shuffle_v8i16_04404567:
 612 ; AVX:       # BB#0:
 613 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 614 ; AVX-NEXT:    vpshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 615 ; AVX-NEXT:    retq
 616   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 5, i32 6, i32 7>
 617   ret <8 x i16> %shuffle
 618 }
 619
 620 define <8 x i16> @shuffle_v8i16_0X444444(<8 x i16> %a, <8 x i16> %b) {
 621 ; SSE2-LABEL: shuffle_v8i16_0X444444:
 622 ; SSE2:       # BB#0:
 623 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 624 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,1,2,2,4,5,6,7]
 625 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 626 ; SSE2-NEXT:    retq
 627 ;
 628 ; SSSE3-LABEL: shuffle_v8i16_0X444444:
 629 ; SSSE3:       # BB#0:
 630 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,8,9,8,9,8,9,8,9,8,9,8,9]
 631 ; SSSE3-NEXT:    retq
 632 ;
 633 ; SSE41-LABEL: shuffle_v8i16_0X444444:
 634 ; SSE41:       # BB#0:
 635 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,8,9,8,9,8,9,8,9,8,9,8,9]
 636 ; SSE41-NEXT:    retq
 637 ;
 638 ; AVX-LABEL: shuffle_v8i16_0X444444:
 639 ; AVX:       # BB#0:
 640 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,8,9,8,9,8,9,8,9,8,9,8,9]
 641 ; AVX-NEXT:    retq
 642   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 undef, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 643   ret <8 x i16> %shuffle
 644 }
 645 define <8 x i16> @shuffle_v8i16_44X04444(<8 x i16> %a, <8 x i16> %b) {
 646 ; SSE2-LABEL: shuffle_v8i16_44X04444:
 647 ; SSE2:       # BB#0:
 648 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 649 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,2,2,0,4,5,6,7]
 650 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 651 ; SSE2-NEXT:    retq
 652 ;
 653 ; SSSE3-LABEL: shuffle_v8i16_44X04444:
 654 ; SSSE3:       # BB#0:
 655 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 656 ; SSSE3-NEXT:    retq
 657 ;
 658 ; SSE41-LABEL: shuffle_v8i16_44X04444:
 659 ; SSE41:       # BB#0:
 660 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 661 ; SSE41-NEXT:    retq
 662 ;
 663 ; AVX-LABEL: shuffle_v8i16_44X04444:
 664 ; AVX:       # BB#0:
 665 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 666 ; AVX-NEXT:    retq
 667   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 undef, i32 0, i32 4, i32 4, i32 4, i32 4>
 668   ret <8 x i16> %shuffle
 669 }
 670 define <8 x i16> @shuffle_v8i16_X4404444(<8 x i16> %a, <8 x i16> %b) {
 671 ; SSE2-LABEL: shuffle_v8i16_X4404444:
 672 ; SSE2:       # BB#0:
 673 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 674 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 675 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 676 ; SSE2-NEXT:    retq
 677 ;
 678 ; SSSE3-LABEL: shuffle_v8i16_X4404444:
 679 ; SSSE3:       # BB#0:
 680 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 681 ; SSSE3-NEXT:    retq
 682 ;
 683 ; SSE41-LABEL: shuffle_v8i16_X4404444:
 684 ; SSE41:       # BB#0:
 685 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 686 ; SSE41-NEXT:    retq
 687 ;
 688 ; AVX-LABEL: shuffle_v8i16_X4404444:
 689 ; AVX:       # BB#0:
 690 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 691 ; AVX-NEXT:    retq
 692   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 693   ret <8 x i16> %shuffle
 694 }
 695
 696 define <8 x i16> @shuffle_v8i16_0127XXXX(<8 x i16> %a, <8 x i16> %b) {
 697 ; SSE2-LABEL: shuffle_v8i16_0127XXXX:
 698 ; SSE2:       # BB#0:
 699 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
 700 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,7,6,7]
 701 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 702 ; SSE2-NEXT:    retq
 703 ;
 704 ; SSSE3-LABEL: shuffle_v8i16_0127XXXX:
 705 ; SSSE3:       # BB#0:
 706 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,4,5,14,15,12,13,14,15]
 707 ; SSSE3-NEXT:    retq
 708 ;
 709 ; SSE41-LABEL: shuffle_v8i16_0127XXXX:
 710 ; SSE41:       # BB#0:
 711 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,4,5,14,15,12,13,14,15]
 712 ; SSE41-NEXT:    retq
 713 ;
 714 ; AVX-LABEL: shuffle_v8i16_0127XXXX:
 715 ; AVX:       # BB#0:
 716 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,4,5,14,15,12,13,14,15]
 717 ; AVX-NEXT:    retq
 718   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 undef, i32 undef, i32 undef, i32 undef>
 719   ret <8 x i16> %shuffle
 720 }
 721
 722 define <8 x i16> @shuffle_v8i16_XXXX4563(<8 x i16> %a, <8 x i16> %b) {
 723 ; SSE2-LABEL: shuffle_v8i16_XXXX4563:
 724 ; SSE2:       # BB#0:
 725 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
 726 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,3,4,5,6,7]
 727 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,2,0]
 728 ; SSE2-NEXT:    retq
 729 ;
 730 ; SSSE3-LABEL: shuffle_v8i16_XXXX4563:
 731 ; SSSE3:       # BB#0:
 732 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,6,7,4,5,6,7,8,9,10,11,12,13,6,7]
 733 ; SSSE3-NEXT:    retq
 734 ;
 735 ; SSE41-LABEL: shuffle_v8i16_XXXX4563:
 736 ; SSE41:       # BB#0:
 737 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,6,7,4,5,6,7,8,9,10,11,12,13,6,7]
 738 ; SSE41-NEXT:    retq
 739 ;
 740 ; AVX-LABEL: shuffle_v8i16_XXXX4563:
 741 ; AVX:       # BB#0:
 742 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[12,13,6,7,4,5,6,7,8,9,10,11,12,13,6,7]
 743 ; AVX-NEXT:    retq
 744   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 4, i32 5, i32 6, i32 3>
 745   ret <8 x i16> %shuffle
 746 }
 747
 748 define <8 x i16> @shuffle_v8i16_4563XXXX(<8 x i16> %a, <8 x i16> %b) {
 749 ; SSE2-LABEL: shuffle_v8i16_4563XXXX:
 750 ; SSE2:       # BB#0:
 751 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
 752 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,3,4,5,6,7]
 753 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,0,2,3]
 754 ; SSE2-NEXT:    retq
 755 ;
 756 ; SSSE3-LABEL: shuffle_v8i16_4563XXXX:
 757 ; SSSE3:       # BB#0:
 758 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,8,9,10,11,0,1,2,3]
 759 ; SSSE3-NEXT:    retq
 760 ;
 761 ; SSE41-LABEL: shuffle_v8i16_4563XXXX:
 762 ; SSE41:       # BB#0:
 763 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,8,9,10,11,0,1,2,3]
 764 ; SSE41-NEXT:    retq
 765 ;
 766 ; AVX-LABEL: shuffle_v8i16_4563XXXX:
 767 ; AVX:       # BB#0:
 768 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,8,9,10,11,0,1,2,3]
 769 ; AVX-NEXT:    retq
 770   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 771   ret <8 x i16> %shuffle
 772 }
 773
 774 define <8 x i16> @shuffle_v8i16_01274563(<8 x i16> %a, <8 x i16> %b) {
 775 ; SSE2-LABEL: shuffle_v8i16_01274563:
 776 ; SSE2:       # BB#0:
 777 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
 778 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,5,4,7]
 779 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,1,2]
 780 ; SSE2-NEXT:    retq
 781 ;
 782 ; SSSE3-LABEL: shuffle_v8i16_01274563:
 783 ; SSSE3:       # BB#0:
 784 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,8,9,10,11,12,13,6,7]
 785 ; SSSE3-NEXT:    retq
 786 ;
 787 ; SSE41-LABEL: shuffle_v8i16_01274563:
 788 ; SSE41:       # BB#0:
 789 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,8,9,10,11,12,13,6,7]
 790 ; SSE41-NEXT:    retq
 791 ;
 792 ; AVX-LABEL: shuffle_v8i16_01274563:
 793 ; AVX:       # BB#0:
 794 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,8,9,10,11,12,13,6,7]
 795 ; AVX-NEXT:    retq
 796   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 4, i32 5, i32 6, i32 3>
 797   ret <8 x i16> %shuffle
 798 }
 799
 800 define <8 x i16> @shuffle_v8i16_45630127(<8 x i16> %a, <8 x i16> %b) {
 801 ; SSE2-LABEL: shuffle_v8i16_45630127:
 802 ; SSE2:       # BB#0:
 803 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
 804 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,1,4,5,6,7]
 805 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,0,3,1]
 806 ; SSE2-NEXT:    retq
 807 ;
 808 ; SSSE3-LABEL: shuffle_v8i16_45630127:
 809 ; SSSE3:       # BB#0:
 810 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,0,1,2,3,4,5,14,15]
 811 ; SSSE3-NEXT:    retq
 812 ;
 813 ; SSE41-LABEL: shuffle_v8i16_45630127:
 814 ; SSE41:       # BB#0:
 815 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,0,1,2,3,4,5,14,15]
 816 ; SSE41-NEXT:    retq
 817 ;
 818 ; AVX-LABEL: shuffle_v8i16_45630127:
 819 ; AVX:       # BB#0:
 820 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,0,1,2,3,4,5,14,15]
 821 ; AVX-NEXT:    retq
 822   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 0, i32 1, i32 2, i32 7>
 823   ret <8 x i16> %shuffle
 824 }
 825
 826 define <8 x i16> @shuffle_v8i16_37102735(<8 x i16> %a, <8 x i16> %b) {
 827 ; SSE2-LABEL: shuffle_v8i16_37102735:
 828 ; SSE2:       # BB#0:
 829 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,5,7]
 830 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
 831 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 832 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 833 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
 834 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,4,5,6]
 835 ; SSE2-NEXT:    retq
 836 ;
 837 ; SSSE3-LABEL: shuffle_v8i16_37102735:
 838 ; SSSE3:       # BB#0:
 839 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[6,7,14,15,2,3,0,1,4,5,14,15,6,7,10,11]
 840 ; SSSE3-NEXT:    retq
 841 ;
 842 ; SSE41-LABEL: shuffle_v8i16_37102735:
 843 ; SSE41:       # BB#0:
 844 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[6,7,14,15,2,3,0,1,4,5,14,15,6,7,10,11]
 845 ; SSE41-NEXT:    retq
 846 ;
 847 ; AVX-LABEL: shuffle_v8i16_37102735:
 848 ; AVX:       # BB#0:
 849 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[6,7,14,15,2,3,0,1,4,5,14,15,6,7,10,11]
 850 ; AVX-NEXT:    retq
 851   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 7, i32 1, i32 0, i32 2, i32 7, i32 3, i32 5>
 852   ret <8 x i16> %shuffle
 853 }
 854
 855 define <8 x i16> @shuffle_v8i16_08192a3b(<8 x i16> %a, <8 x i16> %b) {
 856 ; SSE-LABEL: shuffle_v8i16_08192a3b:
 857 ; SSE:       # BB#0:
 858 ; SSE-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 859 ; SSE-NEXT:    retq
 860 ;
 861 ; AVX-LABEL: shuffle_v8i16_08192a3b:
 862 ; AVX:       # BB#0:
 863 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 864 ; AVX-NEXT:    retq
 865   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 2, i32 10, i32 3, i32 11>
 866   ret <8 x i16> %shuffle
 867 }
 868
 869 define <8 x i16> @shuffle_v8i16_0c1d2e3f(<8 x i16> %a, <8 x i16> %b) {
 870 ; SSE-LABEL: shuffle_v8i16_0c1d2e3f:
 871 ; SSE:       # BB#0:
 872 ; SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 873 ; SSE-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 874 ; SSE-NEXT:    retq
 875 ;
 876 ; AVX-LABEL: shuffle_v8i16_0c1d2e3f:
 877 ; AVX:       # BB#0:
 878 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 879 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 880 ; AVX-NEXT:    retq
 881   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 2, i32 14, i32 3, i32 15>
 882   ret <8 x i16> %shuffle
 883 }
 884
 885 define <8 x i16> @shuffle_v8i16_4c5d6e7f(<8 x i16> %a, <8 x i16> %b) {
 886 ; SSE-LABEL: shuffle_v8i16_4c5d6e7f:
 887 ; SSE:       # BB#0:
 888 ; SSE-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
 889 ; SSE-NEXT:    retq
 890 ;
 891 ; AVX-LABEL: shuffle_v8i16_4c5d6e7f:
 892 ; AVX:       # BB#0:
 893 ; AVX-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
 894 ; AVX-NEXT:    retq
 895   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 12, i32 5, i32 13, i32 6, i32 14, i32 7, i32 15>
 896   ret <8 x i16> %shuffle
 897 }
 898
 899 define <8 x i16> @shuffle_v8i16_48596a7b(<8 x i16> %a, <8 x i16> %b) {
 900 ; SSE-LABEL: shuffle_v8i16_48596a7b:
 901 ; SSE:       # BB#0:
 902 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 903 ; SSE-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 904 ; SSE-NEXT:    retq
 905 ;
 906 ; AVX-LABEL: shuffle_v8i16_48596a7b:
 907 ; AVX:       # BB#0:
 908 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 909 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 910 ; AVX-NEXT:    retq
 911   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 8, i32 5, i32 9, i32 6, i32 10, i32 7, i32 11>
 912   ret <8 x i16> %shuffle
 913 }
 914
 915 define <8 x i16> @shuffle_v8i16_08196e7f(<8 x i16> %a, <8 x i16> %b) {
 916 ; SSE-LABEL: shuffle_v8i16_08196e7f:
 917 ; SSE:       # BB#0:
 918 ; SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,3,2,3]
 919 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,3]
 920 ; SSE-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 921 ; SSE-NEXT:    retq
 922 ;
 923 ; AVX-LABEL: shuffle_v8i16_08196e7f:
 924 ; AVX:       # BB#0:
 925 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,3,2,3]
 926 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,3,2,3]
 927 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 928 ; AVX-NEXT:    retq
 929   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 6, i32 14, i32 7, i32 15>
 930   ret <8 x i16> %shuffle
 931 }
 932
 933 define <8 x i16> @shuffle_v8i16_0c1d6879(<8 x i16> %a, <8 x i16> %b) {
 934 ; SSE-LABEL: shuffle_v8i16_0c1d6879:
 935 ; SSE:       # BB#0:
 936 ; SSE-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,0,2,3]
 937 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,3]
 938 ; SSE-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 939 ; SSE-NEXT:    retq
 940 ;
 941 ; AVX-LABEL: shuffle_v8i16_0c1d6879:
 942 ; AVX:       # BB#0:
 943 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,0,2,3]
 944 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,3,2,3]
 945 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 946 ; AVX-NEXT:    retq
 947   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 6, i32 8, i32 7, i32 9>
 948   ret <8 x i16> %shuffle
 949 }
 950
 951 define <8 x i16> @shuffle_v8i16_109832ba(<8 x i16> %a, <8 x i16> %b) {
 952 ; SSE2-LABEL: shuffle_v8i16_109832ba:
 953 ; SSE2:       # BB#0:
 954 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[1,0,3,2,4,5,6,7]
 955 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,0,3,2,4,5,6,7]
 956 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 957 ; SSE2-NEXT:    retq
 958 ;
 959 ; SSSE3-LABEL: shuffle_v8i16_109832ba:
 960 ; SSSE3:       # BB#0:
 961 ; SSSE3-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[1,0,3,2,4,5,6,7]
 962 ; SSSE3-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,0,3,2,4,5,6,7]
 963 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
 964 ; SSSE3-NEXT:    retq
 965 ;
 966 ; SSE41-LABEL: shuffle_v8i16_109832ba:
 967 ; SSE41:       # BB#0:
 968 ; SSE41-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,2,3,2,3,0,1,8,9,10,11,6,7,4,5]
 969 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[2,3,0,1,4,5,6,7,6,7,4,5,4,5,6,7]
 970 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 971 ; SSE41-NEXT:    retq
 972 ;
 973 ; AVX1-LABEL: shuffle_v8i16_109832ba:
 974 ; AVX1:       # BB#0:
 975 ; AVX1-NEXT:    vpshufb {{.*#+}} xmm1 = xmm1[0,1,2,3,2,3,0,1,8,9,10,11,6,7,4,5]
 976 ; AVX1-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[2,3,0,1,4,5,6,7,6,7,4,5,4,5,6,7]
 977 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 978 ; AVX1-NEXT:    retq
 979 ;
 980 ; AVX2-LABEL: shuffle_v8i16_109832ba:
 981 ; AVX2:       # BB#0:
 982 ; AVX2-NEXT:    vpshufb {{.*#+}} xmm1 = xmm1[0,1,2,3,2,3,0,1,8,9,10,11,6,7,4,5]
 983 ; AVX2-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[2,3,0,1,4,5,6,7,6,7,4,5,4,5,6,7]
 984 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 985 ; AVX2-NEXT:    retq
 986   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 9, i32 8, i32 3, i32 2, i32 11, i32 10>
 987   ret <8 x i16> %shuffle
 988 }
 989
 990 define <8 x i16> @shuffle_v8i16_8091a2b3(<8 x i16> %a, <8 x i16> %b) {
 991 ; SSE-LABEL: shuffle_v8i16_8091a2b3:
 992 ; SSE:       # BB#0:
 993 ; SSE-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3]
 994 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 995 ; SSE-NEXT:    retq
 996 ;
 997 ; AVX-LABEL: shuffle_v8i16_8091a2b3:
 998 ; AVX:       # BB#0:
 999 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3]
1000 ; AVX-NEXT:    retq
1001   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 8, i32 0, i32 9, i32 1, i32 10, i32 2, i32 11, i32 3>
1002   ret <8 x i16> %shuffle
1003 }
1004 define <8 x i16> @shuffle_v8i16_c4d5e6f7(<8 x i16> %a, <8 x i16> %b) {
1005 ; SSE-LABEL: shuffle_v8i16_c4d5e6f7:
1006 ; SSE:       # BB#0:
1007 ; SSE-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1008 ; SSE-NEXT:    movdqa %xmm1, %xmm0
1009 ; SSE-NEXT:    retq
1010 ;
1011 ; AVX-LABEL: shuffle_v8i16_c4d5e6f7:
1012 ; AVX:       # BB#0:
1013 ; AVX-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1014 ; AVX-NEXT:    retq
1015   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 4, i32 13, i32 5, i32 14, i32 6, i32 15, i32 7>
1016   ret <8 x i16> %shuffle
1017 }
1018
1019 define <8 x i16> @shuffle_v8i16_0213cedf(<8 x i16> %a, <8 x i16> %b) {
1020 ; SSE2-LABEL: shuffle_v8i16_0213cedf:
1021 ; SSE2:       # BB#0:
1022 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
1023 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
1024 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,1,3,4,5,6,7]
1025 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1026 ; SSE2-NEXT:    retq
1027 ;
1028 ; SSSE3-LABEL: shuffle_v8i16_0213cedf:
1029 ; SSSE3:       # BB#0:
1030 ; SSSE3-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
1031 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
1032 ; SSSE3-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,1,3,4,5,6,7]
1033 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1034 ; SSSE3-NEXT:    retq
1035 ;
1036 ; SSE41-LABEL: shuffle_v8i16_0213cedf:
1037 ; SSE41:       # BB#0:
1038 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
1039 ; SSE41-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
1040 ; SSE41-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,5,7]
1041 ; SSE41-NEXT:    retq
1042 ;
1043 ; AVX1-LABEL: shuffle_v8i16_0213cedf:
1044 ; AVX1:       # BB#0:
1045 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
1046 ; AVX1-NEXT:    vpshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
1047 ; AVX1-NEXT:    vpshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,5,7]
1048 ; AVX1-NEXT:    retq
1049 ;
1050 ; AVX2-LABEL: shuffle_v8i16_0213cedf:
1051 ; AVX2:       # BB#0:
1052 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3]
1053 ; AVX2-NEXT:    vpshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
1054 ; AVX2-NEXT:    vpshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,5,7]
1055 ; AVX2-NEXT:    retq
1056   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 2, i32 1, i32 3, i32 12, i32 14, i32 13, i32 15>
1057   ret <8 x i16> %shuffle
1058 }
1059
1060 define <8 x i16> @shuffle_v8i16_443aXXXX(<8 x i16> %a, <8 x i16> %b) {
1061 ; SSE2-LABEL: shuffle_v8i16_443aXXXX:
1062 ; SSE2:       # BB#0:
1063 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
1064 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,2,3,4,5,6,7]
1065 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1066 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
1067 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,5,6,7]
1068 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1069 ; SSE2-NEXT:    retq
1070 ;
1071 ; SSSE3-LABEL: shuffle_v8i16_443aXXXX:
1072 ; SSSE3:       # BB#0:
1073 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
1074 ; SSSE3-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,2,3,4,5,6,7]
1075 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1076 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,12,13,10,11,12,13,10,11,12,13,14,15]
1077 ; SSSE3-NEXT:    retq
1078 ;
1079 ; SSE41-LABEL: shuffle_v8i16_443aXXXX:
1080 ; SSE41:       # BB#0:
1081 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
1082 ; SSE41-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,2,3,4,5,6,7]
1083 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1084 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,12,13,10,11,12,13,10,11,12,13,14,15]
1085 ; SSE41-NEXT:    retq
1086 ;
1087 ; AVX-LABEL: shuffle_v8i16_443aXXXX:
1088 ; AVX:       # BB#0:
1089 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
1090 ; AVX-NEXT:    vpshuflw {{.*#+}} xmm0 = xmm0[0,0,2,3,4,5,6,7]
1091 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1092 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,12,13,10,11,12,13,10,11,12,13,14,15]
1093 ; AVX-NEXT:    retq
1094   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 3, i32 10, i32 undef, i32 undef, i32 undef, i32 undef>
1095   ret <8 x i16> %shuffle
1096 }
1097
1098 define <8 x i16> @shuffle_v8i16_032dXXXX(<8 x i16> %a, <8 x i16> %b) {
1099 ; SSE2-LABEL: shuffle_v8i16_032dXXXX:
1100 ; SSE2:       # BB#0:
1101 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1102 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1103 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,3,4,5,6,7]
1104 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
1105 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1106 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,1,4,5,6,7]
1107 ; SSE2-NEXT:    retq
1108 ;
1109 ; SSSE3-LABEL: shuffle_v8i16_032dXXXX:
1110 ; SSSE3:       # BB#0:
1111 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1112 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1113 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,12,13,8,9,6,7,8,9,12,13,12,13,14,15]
1114 ; SSSE3-NEXT:    retq
1115 ;
1116 ; SSE41-LABEL: shuffle_v8i16_032dXXXX:
1117 ; SSE41:       # BB#0:
1118 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1119 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1120 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,12,13,8,9,6,7,8,9,12,13,12,13,14,15]
1121 ; SSE41-NEXT:    retq
1122 ;
1123 ; AVX-LABEL: shuffle_v8i16_032dXXXX:
1124 ; AVX:       # BB#0:
1125 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1126 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1127 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,12,13,8,9,6,7,8,9,12,13,12,13,14,15]
1128 ; AVX-NEXT:    retq
1129   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 3, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
1130   ret <8 x i16> %shuffle
1131 }
1132 define <8 x i16> @shuffle_v8i16_XXXdXXXX(<8 x i16> %a, <8 x i16> %b) {
1133 ; SSE-LABEL: shuffle_v8i16_XXXdXXXX:
1134 ; SSE:       # BB#0:
1135 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,2,3,3]
1136 ; SSE-NEXT:    retq
1137 ;
1138 ; AVX-LABEL: shuffle_v8i16_XXXdXXXX:
1139 ; AVX:       # BB#0:
1140 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm1[2,2,3,3]
1141 ; AVX-NEXT:    retq
1142   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
1143   ret <8 x i16> %shuffle
1144 }
1145
1146 define <8 x i16> @shuffle_v8i16_012dXXXX(<8 x i16> %a, <8 x i16> %b) {
1147 ; SSE2-LABEL: shuffle_v8i16_012dXXXX:
1148 ; SSE2:       # BB#0:
1149 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1150 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1151 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
1152 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
1153 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
1154 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,0,3,4,5,6,7]
1155 ; SSE2-NEXT:    retq
1156 ;
1157 ; SSSE3-LABEL: shuffle_v8i16_012dXXXX:
1158 ; SSSE3:       # BB#0:
1159 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1160 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1161 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,6,7,8,9,0,1,0,1,2,3]
1162 ; SSSE3-NEXT:    retq
1163 ;
1164 ; SSE41-LABEL: shuffle_v8i16_012dXXXX:
1165 ; SSE41:       # BB#0:
1166 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1167 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1168 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,6,7,8,9,0,1,0,1,2,3]
1169 ; SSE41-NEXT:    retq
1170 ;
1171 ; AVX-LABEL: shuffle_v8i16_012dXXXX:
1172 ; AVX:       # BB#0:
1173 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1174 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1175 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,6,7,8,9,0,1,0,1,2,3]
1176 ; AVX-NEXT:    retq
1177   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
1178   ret <8 x i16> %shuffle
1179 }
1180
1181 define <8 x i16> @shuffle_v8i16_XXXXcde3(<8 x i16> %a, <8 x i16> %b) {
1182 ; SSE2-LABEL: shuffle_v8i16_XXXXcde3:
1183 ; SSE2:       # BB#0:
1184 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1185 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1186 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
1187 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,7,6,7]
1188 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,2]
1189 ; SSE2-NEXT:    retq
1190 ;
1191 ; SSSE3-LABEL: shuffle_v8i16_XXXXcde3:
1192 ; SSSE3:       # BB#0:
1193 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1194 ; SSSE3-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1195 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,4,5,6,7,0,1,4,5,8,9,14,15]
1196 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1197 ; SSSE3-NEXT:    retq
1198 ;
1199 ; SSE41-LABEL: shuffle_v8i16_XXXXcde3:
1200 ; SSE41:       # BB#0:
1201 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1202 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1203 ; SSE41-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,4,5,6,7,0,1,4,5,8,9,14,15]
1204 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1205 ; SSE41-NEXT:    retq
1206 ;
1207 ; AVX1-LABEL: shuffle_v8i16_XXXXcde3:
1208 ; AVX1:       # BB#0:
1209 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1210 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1211 ; AVX1-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,4,5,6,7,0,1,4,5,8,9,14,15]
1212 ; AVX1-NEXT:    retq
1213 ;
1214 ; AVX2-LABEL: shuffle_v8i16_XXXXcde3:
1215 ; AVX2:       # BB#0:
1216 ; AVX2-NEXT:    vpbroadcastq %xmm0, %xmm0
1217 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1218 ; AVX2-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,4,5,6,7,0,1,4,5,8,9,14,15]
1219 ; AVX2-NEXT:    retq
1220   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 12, i32 13, i32 14, i32 3>
1221   ret <8 x i16> %shuffle
1222 }
1223
1224 define <8 x i16> @shuffle_v8i16_cde3XXXX(<8 x i16> %a, <8 x i16> %b) {
1225 ; SSE2-LABEL: shuffle_v8i16_cde3XXXX:
1226 ; SSE2:       # BB#0:
1227 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1228 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1229 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
1230 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,7,6,7]
1231 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1232 ; SSE2-NEXT:    retq
1233 ;
1234 ; SSSE3-LABEL: shuffle_v8i16_cde3XXXX:
1235 ; SSSE3:       # BB#0:
1236 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1237 ; SSSE3-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1238 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,8,9,14,15,8,9,14,15,12,13,14,15]
1239 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1240 ; SSSE3-NEXT:    retq
1241 ;
1242 ; SSE41-LABEL: shuffle_v8i16_cde3XXXX:
1243 ; SSE41:       # BB#0:
1244 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1245 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1246 ; SSE41-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,8,9,14,15,8,9,14,15,12,13,14,15]
1247 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1248 ; SSE41-NEXT:    retq
1249 ;
1250 ; AVX1-LABEL: shuffle_v8i16_cde3XXXX:
1251 ; AVX1:       # BB#0:
1252 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1253 ; AVX1-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1254 ; AVX1-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,14,15,8,9,14,15,12,13,14,15]
1255 ; AVX1-NEXT:    retq
1256 ;
1257 ; AVX2-LABEL: shuffle_v8i16_cde3XXXX:
1258 ; AVX2:       # BB#0:
1259 ; AVX2-NEXT:    vpbroadcastq %xmm0, %xmm0
1260 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} xmm0 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1261 ; AVX2-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,14,15,8,9,14,15,12,13,14,15]
1262 ; AVX2-NEXT:    retq
1263   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 13, i32 14, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
1264   ret <8 x i16> %shuffle
1265 }
1266
1267 define <8 x i16> @shuffle_v8i16_012dcde3(<8 x i16> %a, <8 x i16> %b) {
1268 ; SSE2-LABEL: shuffle_v8i16_012dcde3:
1269 ; SSE2:       # BB#0:
1270 ; SSE2-NEXT:    movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
1271 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,3,2,1]
1272 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,1,2,0,4,5,6,7]
1273 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
1274 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,1,4,5,6,7]
1275 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,5,7]
1276 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,1]
1277 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,3,0,2,4,5,6,7]
1278 ; SSE2-NEXT:    retq
1279 ;
1280 ; SSSE3-LABEL: shuffle_v8i16_012dcde3:
1281 ; SSSE3:       # BB#0:
1282 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm1 = zero,zero,zero,zero,zero,zero,xmm1[10,11,8,9,10,11,12,13],zero,zero
1283 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5],zero,zero,zero,zero,zero,zero,zero,zero,xmm0[6,7]
1284 ; SSSE3-NEXT:    por %xmm1, %xmm0
1285 ; SSSE3-NEXT:    retq
1286 ;
1287 ; SSE41-LABEL: shuffle_v8i16_012dcde3:
1288 ; SSE41:       # BB#0:
1289 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
1290 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,10,11,8,9,10,11,12,13,6,7]
1291 ; SSE41-NEXT:    retq
1292 ;
1293 ; AVX1-LABEL: shuffle_v8i16_012dcde3:
1294 ; AVX1:       # BB#0:
1295 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
1296 ; AVX1-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,10,11,8,9,10,11,12,13,6,7]
1297 ; AVX1-NEXT:    retq
1298 ;
1299 ; AVX2-LABEL: shuffle_v8i16_012dcde3:
1300 ; AVX2:       # BB#0:
1301 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3]
1302 ; AVX2-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,10,11,8,9,10,11,12,13,6,7]
1303 ; AVX2-NEXT:    retq
1304   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 12, i32 13, i32 14, i32 3>
1305   ret <8 x i16> %shuffle
1306 }
1307
1308 define <8 x i16> @shuffle_v8i16_0923cde7(<8 x i16> %a, <8 x i16> %b) {
1309 ; SSE2-LABEL: shuffle_v8i16_0923cde7:
1310 ; SSE2:       # BB#0:
1311 ; SSE2-NEXT:    movaps {{.*#+}} xmm2 = [65535,0,65535,65535,0,0,0,65535]
1312 ; SSE2-NEXT:    andps %xmm2, %xmm0
1313 ; SSE2-NEXT:    andnps %xmm1, %xmm2
1314 ; SSE2-NEXT:    orps %xmm2, %xmm0
1315 ; SSE2-NEXT:    retq
1316 ;
1317 ; SSSE3-LABEL: shuffle_v8i16_0923cde7:
1318 ; SSSE3:       # BB#0:
1319 ; SSSE3-NEXT:    movaps {{.*#+}} xmm2 = [65535,0,65535,65535,0,0,0,65535]
1320 ; SSSE3-NEXT:    andps %xmm2, %xmm0
1321 ; SSSE3-NEXT:    andnps %xmm1, %xmm2
1322 ; SSSE3-NEXT:    orps %xmm2, %xmm0
1323 ; SSSE3-NEXT:    retq
1324 ;
1325 ; SSE41-LABEL: shuffle_v8i16_0923cde7:
1326 ; SSE41:       # BB#0:
1327 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3],xmm1[4,5,6],xmm0[7]
1328 ; SSE41-NEXT:    retq
1329 ;
1330 ; AVX-LABEL: shuffle_v8i16_0923cde7:
1331 ; AVX:       # BB#0:
1332 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3],xmm1[4,5,6],xmm0[7]
1333 ; AVX-NEXT:    retq
1334   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 9, i32 2, i32 3, i32 12, i32 13, i32 14, i32 7>
1335   ret <8 x i16> %shuffle
1336 }
1337
1338 define <8 x i16> @shuffle_v8i16_XXX1X579(<8 x i16> %a, <8 x i16> %b) {
1339 ; SSE2-LABEL: shuffle_v8i16_XXX1X579:
1340 ; SSE2:       # BB#0:
1341 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,7]
1342 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1343 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,1,3,2,4,5,6,7]
1344 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1345 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
1346 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,2,1]
1347 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,1,2,2,4,5,6,7]
1348 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,5,7]
1349 ; SSE2-NEXT:    retq
1350 ;
1351 ; SSSE3-LABEL: shuffle_v8i16_XXX1X579:
1352 ; SSSE3:       # BB#0:
1353 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,10,11,14,15,14,15,10,11,12,13,14,15]
1354 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1355 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,4,5,8,9,8,9,12,13,6,7]
1356 ; SSSE3-NEXT:    retq
1357 ;
1358 ; SSE41-LABEL: shuffle_v8i16_XXX1X579:
1359 ; SSE41:       # BB#0:
1360 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,10,11,14,15,14,15,10,11,12,13,14,15]
1361 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1362 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,4,5,8,9,8,9,12,13,6,7]
1363 ; SSE41-NEXT:    retq
1364 ;
1365 ; AVX-LABEL: shuffle_v8i16_XXX1X579:
1366 ; AVX:       # BB#0:
1367 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,10,11,14,15,14,15,10,11,12,13,14,15]
1368 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1369 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,4,5,8,9,8,9,12,13,6,7]
1370 ; AVX-NEXT:    retq
1371   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 1, i32 undef, i32 5, i32 7, i32 9>
1372   ret <8 x i16> %shuffle
1373 }
1374
1375 define <8 x i16> @shuffle_v8i16_XX4X8acX(<8 x i16> %a, <8 x i16> %b) {
1376 ; SSE2-LABEL: shuffle_v8i16_XX4X8acX:
1377 ; SSE2:       # BB#0:
1378 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
1379 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
1380 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1381 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3]
1382 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,1,2,0,4,5,6,7]
1383 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,2,1]
1384 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,1,1,3,4,5,6,7]
1385 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,4,7]
1386 ; SSE2-NEXT:    retq
1387 ;
1388 ; SSSE3-LABEL: shuffle_v8i16_XX4X8acX:
1389 ; SSSE3:       # BB#0:
1390 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
1391 ; SSSE3-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
1392 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1393 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
1394 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,2,3,0,1,0,1,4,5,8,9,0,1]
1395 ; SSSE3-NEXT:    retq
1396 ;
1397 ; SSE41-LABEL: shuffle_v8i16_XX4X8acX:
1398 ; SSE41:       # BB#0:
1399 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
1400 ; SSE41-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
1401 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1402 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
1403 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,2,3,0,1,0,1,4,5,8,9,0,1]
1404 ; SSE41-NEXT:    retq
1405 ;
1406 ; AVX-LABEL: shuffle_v8i16_XX4X8acX:
1407 ; AVX:       # BB#0:
1408 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
1409 ; AVX-NEXT:    vpshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
1410 ; AVX-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1411 ; AVX-NEXT:    vpunpcklwd {{.*#+}} xmm0 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3]
1412 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,2,3,0,1,0,1,4,5,8,9,0,1]
1413 ; AVX-NEXT:    retq
1414   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 4, i32 undef, i32 8, i32 10, i32 12, i32 undef>
1415   ret <8 x i16> %shuffle
1416 }
1417
1418 define <8 x i16> @shuffle_v8i16_8zzzzzzz(i16 %i) {
1419 ; SSE-LABEL: shuffle_v8i16_8zzzzzzz:
1420 ; SSE:       # BB#0:
1421 ; SSE-NEXT:    movzwl %di, %eax
1422 ; SSE-NEXT:    movd %eax, %xmm0
1423 ; SSE-NEXT:    retq
1424 ;
1425 ; AVX-LABEL: shuffle_v8i16_8zzzzzzz:
1426 ; AVX:       # BB#0:
1427 ; AVX-NEXT:    movzwl %di, %eax
1428 ; AVX-NEXT:    vmovd %eax, %xmm0
1429 ; AVX-NEXT:    retq
1430   %a = insertelement <8 x i16> undef, i16 %i, i32 0
1431   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 8, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
1432   ret <8 x i16> %shuffle
1433 }
1434
1435 define <8 x i16> @shuffle_v8i16_z8zzzzzz(i16 %i) {
1436 ; SSE-LABEL: shuffle_v8i16_z8zzzzzz:
1437 ; SSE:       # BB#0:
1438 ; SSE-NEXT:    movzwl %di, %eax
1439 ; SSE-NEXT:    movd %eax, %xmm0
1440 ; SSE-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9,10,11,12,13]
1441 ; SSE-NEXT:    retq
1442 ;
1443 ; AVX-LABEL: shuffle_v8i16_z8zzzzzz:
1444 ; AVX:       # BB#0:
1445 ; AVX-NEXT:    movzwl %di, %eax
1446 ; AVX-NEXT:    vmovd %eax, %xmm0
1447 ; AVX-NEXT:    vpslldq {{.*#+}} xmm0 = zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9,10,11,12,13]
1448 ; AVX-NEXT:    retq
1449   %a = insertelement <8 x i16> undef, i16 %i, i32 0
1450   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 2, i32 8, i32 3, i32 7, i32 6, i32 5, i32 4, i32 3>
1451   ret <8 x i16> %shuffle
1452 }
1453
1454 define <8 x i16> @shuffle_v8i16_zzzzz8zz(i16 %i) {
1455 ; SSE-LABEL: shuffle_v8i16_zzzzz8zz:
1456 ; SSE:       # BB#0:
1457 ; SSE-NEXT:    movzwl %di, %eax
1458 ; SSE-NEXT:    movd %eax, %xmm0
1459 ; SSE-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5]
1460 ; SSE-NEXT:    retq
1461 ;
1462 ; AVX-LABEL: shuffle_v8i16_zzzzz8zz:
1463 ; AVX:       # BB#0:
1464 ; AVX-NEXT:    movzwl %di, %eax
1465 ; AVX-NEXT:    vmovd %eax, %xmm0
1466 ; AVX-NEXT:    vpslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5]
1467 ; AVX-NEXT:    retq
1468   %a = insertelement <8 x i16> undef, i16 %i, i32 0
1469   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 8, i32 0, i32 0>
1470   ret <8 x i16> %shuffle
1471 }
1472
1473 define <8 x i16> @shuffle_v8i16_zuuzuuz8(i16 %i) {
1474 ; SSE-LABEL: shuffle_v8i16_zuuzuuz8:
1475 ; SSE:       # BB#0:
1476 ; SSE-NEXT:    movd %edi, %xmm0
1477 ; SSE-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1]
1478 ; SSE-NEXT:    retq
1479 ;
1480 ; AVX-LABEL: shuffle_v8i16_zuuzuuz8:
1481 ; AVX:       # BB#0:
1482 ; AVX-NEXT:    vmovd %edi, %xmm0
1483 ; AVX-NEXT:    vpslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1]
1484 ; AVX-NEXT:    retq
1485   %a = insertelement <8 x i16> undef, i16 %i, i32 0
1486   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 undef, i32 undef, i32 3, i32 undef, i32 undef, i32 6, i32 8>
1487   ret <8 x i16> %shuffle
1488 }
1489
1490 define <8 x i16> @shuffle_v8i16_zzBzzzzz(i16 %i) {
1491 ; SSE-LABEL: shuffle_v8i16_zzBzzzzz:
1492 ; SSE:       # BB#0:
1493 ; SSE-NEXT:    movzwl %di, %eax
1494 ; SSE-NEXT:    movd %eax, %xmm0
1495 ; SSE-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9,10,11]
1496 ; SSE-NEXT:    retq
1497 ;
1498 ; AVX-LABEL: shuffle_v8i16_zzBzzzzz:
1499 ; AVX:       # BB#0:
1500 ; AVX-NEXT:    movzwl %di, %eax
1501 ; AVX-NEXT:    vmovd %eax, %xmm0
1502 ; AVX-NEXT:    vpslldq {{.*#+}} xmm0 = zero,zero,zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9,10,11]
1503 ; AVX-NEXT:    retq
1504   %a = insertelement <8 x i16> undef, i16 %i, i32 3
1505   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 1, i32 11, i32 3, i32 4, i32 5, i32 6, i32 7>
1506   ret <8 x i16> %shuffle
1507 }
1508
1509 define <8 x i16> @shuffle_v8i16_def01234(<8 x i16> %a, <8 x i16> %b) {
1510 ; SSE2-LABEL: shuffle_v8i16_def01234:
1511 ; SSE2:       # BB#0:
1512 ; SSE2-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
1513 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9]
1514 ; SSE2-NEXT:    por %xmm1, %xmm0
1515 ; SSE2-NEXT:    retq
1516 ;
1517 ; SSSE3-LABEL: shuffle_v8i16_def01234:
1518 ; SSSE3:       # BB#0:
1519 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1520 ; SSSE3-NEXT:    retq
1521 ;
1522 ; SSE41-LABEL: shuffle_v8i16_def01234:
1523 ; SSE41:       # BB#0:
1524 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1525 ; SSE41-NEXT:    retq
1526 ;
1527 ; AVX-LABEL: shuffle_v8i16_def01234:
1528 ; AVX:       # BB#0:
1529 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1530 ; AVX-NEXT:    retq
1531   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 13, i32 14, i32 15, i32 0, i32 1, i32 2, i32 3, i32 4>
1532   ret <8 x i16> %shuffle
1533 }
1534
1535 define <8 x i16> @shuffle_v8i16_ueuu123u(<8 x i16> %a, <8 x i16> %b) {
1536 ; SSE2-LABEL: shuffle_v8i16_ueuu123u:
1537 ; SSE2:       # BB#0:
1538 ; SSE2-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
1539 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9]
1540 ; SSE2-NEXT:    por %xmm1, %xmm0
1541 ; SSE2-NEXT:    retq
1542 ;
1543 ; SSSE3-LABEL: shuffle_v8i16_ueuu123u:
1544 ; SSSE3:       # BB#0:
1545 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1546 ; SSSE3-NEXT:    retq
1547 ;
1548 ; SSE41-LABEL: shuffle_v8i16_ueuu123u:
1549 ; SSE41:       # BB#0:
1550 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1551 ; SSE41-NEXT:    retq
1552 ;
1553 ; AVX-LABEL: shuffle_v8i16_ueuu123u:
1554 ; AVX:       # BB#0:
1555 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1556 ; AVX-NEXT:    retq
1557   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 14, i32 undef, i32 undef, i32 1, i32 2, i32 3, i32 undef>
1558   ret <8 x i16> %shuffle
1559 }
1560
1561 define <8 x i16> @shuffle_v8i16_56701234(<8 x i16> %a, <8 x i16> %b) {
1562 ; SSE2-LABEL: shuffle_v8i16_56701234:
1563 ; SSE2:       # BB#0:
1564 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1565 ; SSE2-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
1566 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9]
1567 ; SSE2-NEXT:    por %xmm1, %xmm0
1568 ; SSE2-NEXT:    retq
1569 ;
1570 ; SSSE3-LABEL: shuffle_v8i16_56701234:
1571 ; SSSE3:       # BB#0:
1572 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1573 ; SSSE3-NEXT:    retq
1574 ;
1575 ; SSE41-LABEL: shuffle_v8i16_56701234:
1576 ; SSE41:       # BB#0:
1577 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1578 ; SSE41-NEXT:    retq
1579 ;
1580 ; AVX-LABEL: shuffle_v8i16_56701234:
1581 ; AVX:       # BB#0:
1582 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1583 ; AVX-NEXT:    retq
1584   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 6, i32 7, i32 0, i32 1, i32 2, i32 3, i32 4>
1585   ret <8 x i16> %shuffle
1586 }
1587
1588 define <8 x i16> @shuffle_v8i16_u6uu123u(<8 x i16> %a, <8 x i16> %b) {
1589 ; SSE2-LABEL: shuffle_v8i16_u6uu123u:
1590 ; SSE2:       # BB#0:
1591 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1592 ; SSE2-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
1593 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9]
1594 ; SSE2-NEXT:    por %xmm1, %xmm0
1595 ; SSE2-NEXT:    retq
1596 ;
1597 ; SSSE3-LABEL: shuffle_v8i16_u6uu123u:
1598 ; SSSE3:       # BB#0:
1599 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1600 ; SSSE3-NEXT:    retq
1601 ;
1602 ; SSE41-LABEL: shuffle_v8i16_u6uu123u:
1603 ; SSE41:       # BB#0:
1604 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1605 ; SSE41-NEXT:    retq
1606 ;
1607 ; AVX-LABEL: shuffle_v8i16_u6uu123u:
1608 ; AVX:       # BB#0:
1609 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1610 ; AVX-NEXT:    retq
1611   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 6, i32 undef, i32 undef, i32 1, i32 2, i32 3, i32 undef>
1612   ret <8 x i16> %shuffle
1613 }
1614
1615 define <8 x i16> @shuffle_v8i16_uuuu123u(<8 x i16> %a, <8 x i16> %b) {
1616 ; SSE-LABEL: shuffle_v8i16_uuuu123u:
1617 ; SSE:       # BB#0:
1618 ; SSE-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9]
1619 ; SSE-NEXT:    retq
1620 ;
1621 ; AVX-LABEL: shuffle_v8i16_uuuu123u:
1622 ; AVX:       # BB#0:
1623 ; AVX-NEXT:    vpslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9]
1624 ; AVX-NEXT:    retq
1625   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 1, i32 2, i32 3, i32 undef>
1626   ret <8 x i16> %shuffle
1627 }
1628
1629 define <8 x i16> @shuffle_v8i16_bcdef012(<8 x i16> %a, <8 x i16> %b) {
1630 ; SSE2-LABEL: shuffle_v8i16_bcdef012:
1631 ; SSE2:       # BB#0:
1632 ; SSE2-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1633 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5]
1634 ; SSE2-NEXT:    por %xmm1, %xmm0
1635 ; SSE2-NEXT:    retq
1636 ;
1637 ; SSSE3-LABEL: shuffle_v8i16_bcdef012:
1638 ; SSSE3:       # BB#0:
1639 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1640 ; SSSE3-NEXT:    retq
1641 ;
1642 ; SSE41-LABEL: shuffle_v8i16_bcdef012:
1643 ; SSE41:       # BB#0:
1644 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1645 ; SSE41-NEXT:    retq
1646 ;
1647 ; AVX-LABEL: shuffle_v8i16_bcdef012:
1648 ; AVX:       # BB#0:
1649 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1650 ; AVX-NEXT:    retq
1651   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 11, i32 12, i32 13, i32 14, i32 15, i32 0, i32 1, i32 2>
1652   ret <8 x i16> %shuffle
1653 }
1654
1655 define <8 x i16> @shuffle_v8i16_ucdeuu1u(<8 x i16> %a, <8 x i16> %b) {
1656 ; SSE2-LABEL: shuffle_v8i16_ucdeuu1u:
1657 ; SSE2:       # BB#0:
1658 ; SSE2-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1659 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5]
1660 ; SSE2-NEXT:    por %xmm1, %xmm0
1661 ; SSE2-NEXT:    retq
1662 ;
1663 ; SSSE3-LABEL: shuffle_v8i16_ucdeuu1u:
1664 ; SSSE3:       # BB#0:
1665 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1666 ; SSSE3-NEXT:    retq
1667 ;
1668 ; SSE41-LABEL: shuffle_v8i16_ucdeuu1u:
1669 ; SSE41:       # BB#0:
1670 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1671 ; SSE41-NEXT:    retq
1672 ;
1673 ; AVX-LABEL: shuffle_v8i16_ucdeuu1u:
1674 ; AVX:       # BB#0:
1675 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1676 ; AVX-NEXT:    retq
1677   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 12, i32 13, i32 14, i32 undef, i32 undef, i32 1, i32 undef>
1678   ret <8 x i16> %shuffle
1679 }
1680
1681 define <8 x i16> @shuffle_v8i16_34567012(<8 x i16> %a, <8 x i16> %b) {
1682 ; SSE2-LABEL: shuffle_v8i16_34567012:
1683 ; SSE2:       # BB#0:
1684 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1685 ; SSE2-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1686 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5]
1687 ; SSE2-NEXT:    por %xmm1, %xmm0
1688 ; SSE2-NEXT:    retq
1689 ;
1690 ; SSSE3-LABEL: shuffle_v8i16_34567012:
1691 ; SSSE3:       # BB#0:
1692 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1693 ; SSSE3-NEXT:    retq
1694 ;
1695 ; SSE41-LABEL: shuffle_v8i16_34567012:
1696 ; SSE41:       # BB#0:
1697 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1698 ; SSE41-NEXT:    retq
1699 ;
1700 ; AVX-LABEL: shuffle_v8i16_34567012:
1701 ; AVX:       # BB#0:
1702 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1703 ; AVX-NEXT:    retq
1704   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 4, i32 5, i32 6, i32 7, i32 0, i32 1, i32 2>
1705   ret <8 x i16> %shuffle
1706 }
1707
1708 define <8 x i16> @shuffle_v8i16_u456uu1u(<8 x i16> %a, <8 x i16> %b) {
1709 ; SSE2-LABEL: shuffle_v8i16_u456uu1u:
1710 ; SSE2:       # BB#0:
1711 ; SSE2-NEXT:    movdqa %xmm0, %xmm1
1712 ; SSE2-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1713 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3,4,5]
1714 ; SSE2-NEXT:    por %xmm1, %xmm0
1715 ; SSE2-NEXT:    retq
1716 ;
1717 ; SSSE3-LABEL: shuffle_v8i16_u456uu1u:
1718 ; SSSE3:       # BB#0:
1719 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1720 ; SSSE3-NEXT:    retq
1721 ;
1722 ; SSE41-LABEL: shuffle_v8i16_u456uu1u:
1723 ; SSE41:       # BB#0:
1724 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1725 ; SSE41-NEXT:    retq
1726 ;
1727 ; AVX-LABEL: shuffle_v8i16_u456uu1u:
1728 ; AVX:       # BB#0:
1729 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1730 ; AVX-NEXT:    retq
1731   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 5, i32 6, i32 undef, i32 undef, i32 1, i32 undef>
1732   ret <8 x i16> %shuffle
1733 }
1734
1735 define <8 x i16> @shuffle_v8i16_u456uuuu(<8 x i16> %a, <8 x i16> %b) {
1736 ; SSE-LABEL: shuffle_v8i16_u456uuuu:
1737 ; SSE:       # BB#0:
1738 ; SSE-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1739 ; SSE-NEXT:    retq
1740 ;
1741 ; AVX-LABEL: shuffle_v8i16_u456uuuu:
1742 ; AVX:       # BB#0:
1743 ; AVX-NEXT:    vpsrldq {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1744 ; AVX-NEXT:    retq
1745   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 5, i32 6, i32 undef, i32 undef, i32 undef, i32 undef>
1746   ret <8 x i16> %shuffle
1747 }
1748
1749 define <8 x i16> @shuffle_v8i16_3456789a(<8 x i16> %a, <8 x i16> %b) {
1750 ; SSE2-LABEL: shuffle_v8i16_3456789a:
1751 ; SSE2:       # BB#0:
1752 ; SSE2-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1753 ; SSE2-NEXT:    pslldq {{.*#+}} xmm1 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm1[0,1,2,3,4,5]
1754 ; SSE2-NEXT:    por %xmm1, %xmm0
1755 ; SSE2-NEXT:    retq
1756 ;
1757 ; SSSE3-LABEL: shuffle_v8i16_3456789a:
1758 ; SSSE3:       # BB#0:
1759 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1760 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1761 ; SSSE3-NEXT:    retq
1762 ;
1763 ; SSE41-LABEL: shuffle_v8i16_3456789a:
1764 ; SSE41:       # BB#0:
1765 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1766 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1767 ; SSE41-NEXT:    retq
1768 ;
1769 ; AVX-LABEL: shuffle_v8i16_3456789a:
1770 ; AVX:       # BB#0:
1771 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1772 ; AVX-NEXT:    retq
1773   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10>
1774   ret <8 x i16> %shuffle
1775 }
1776
1777 define <8 x i16> @shuffle_v8i16_u456uu9u(<8 x i16> %a, <8 x i16> %b) {
1778 ; SSE2-LABEL: shuffle_v8i16_u456uu9u:
1779 ; SSE2:       # BB#0:
1780 ; SSE2-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero
1781 ; SSE2-NEXT:    pslldq {{.*#+}} xmm1 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm1[0,1,2,3,4,5]
1782 ; SSE2-NEXT:    por %xmm1, %xmm0
1783 ; SSE2-NEXT:    retq
1784 ;
1785 ; SSSE3-LABEL: shuffle_v8i16_u456uu9u:
1786 ; SSSE3:       # BB#0:
1787 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1788 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1789 ; SSSE3-NEXT:    retq
1790 ;
1791 ; SSE41-LABEL: shuffle_v8i16_u456uu9u:
1792 ; SSE41:       # BB#0:
1793 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1794 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1795 ; SSE41-NEXT:    retq
1796 ;
1797 ; AVX-LABEL: shuffle_v8i16_u456uu9u:
1798 ; AVX:       # BB#0:
1799 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1800 ; AVX-NEXT:    retq
1801   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 5, i32 6, i32 undef, i32 undef, i32 9, i32 undef>
1802   ret <8 x i16> %shuffle
1803 }
1804
1805 define <8 x i16> @shuffle_v8i16_56789abc(<8 x i16> %a, <8 x i16> %b) {
1806 ; SSE2-LABEL: shuffle_v8i16_56789abc:
1807 ; SSE2:       # BB#0:
1808 ; SSE2-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
1809 ; SSE2-NEXT:    pslldq {{.*#+}} xmm1 = zero,zero,zero,zero,zero,zero,xmm1[0,1,2,3,4,5,6,7,8,9]
1810 ; SSE2-NEXT:    por %xmm1, %xmm0
1811 ; SSE2-NEXT:    retq
1812 ;
1813 ; SSSE3-LABEL: shuffle_v8i16_56789abc:
1814 ; SSSE3:       # BB#0:
1815 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1816 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1817 ; SSSE3-NEXT:    retq
1818 ;
1819 ; SSE41-LABEL: shuffle_v8i16_56789abc:
1820 ; SSE41:       # BB#0:
1821 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1822 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1823 ; SSE41-NEXT:    retq
1824 ;
1825 ; AVX-LABEL: shuffle_v8i16_56789abc:
1826 ; AVX:       # BB#0:
1827 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1828 ; AVX-NEXT:    retq
1829   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12>
1830   ret <8 x i16> %shuffle
1831 }
1832
1833 define <8 x i16> @shuffle_v8i16_u6uu9abu(<8 x i16> %a, <8 x i16> %b) {
1834 ; SSE2-LABEL: shuffle_v8i16_u6uu9abu:
1835 ; SSE2:       # BB#0:
1836 ; SSE2-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
1837 ; SSE2-NEXT:    pslldq {{.*#+}} xmm1 = zero,zero,zero,zero,zero,zero,xmm1[0,1,2,3,4,5,6,7,8,9]
1838 ; SSE2-NEXT:    por %xmm1, %xmm0
1839 ; SSE2-NEXT:    retq
1840 ;
1841 ; SSSE3-LABEL: shuffle_v8i16_u6uu9abu:
1842 ; SSSE3:       # BB#0:
1843 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1844 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1845 ; SSSE3-NEXT:    retq
1846 ;
1847 ; SSE41-LABEL: shuffle_v8i16_u6uu9abu:
1848 ; SSE41:       # BB#0:
1849 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1850 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1851 ; SSE41-NEXT:    retq
1852 ;
1853 ; AVX-LABEL: shuffle_v8i16_u6uu9abu:
1854 ; AVX:       # BB#0:
1855 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1856 ; AVX-NEXT:    retq
1857   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 6, i32 undef, i32 undef, i32 9, i32 10, i32 11, i32 undef>
1858   ret <8 x i16> %shuffle
1859 }
1860
1861 define <8 x i16> @shuffle_v8i16_0uuu1uuu(<8 x i16> %a) {
1862 ; SSE2-LABEL: shuffle_v8i16_0uuu1uuu:
1863 ; SSE2:       # BB#0:
1864 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,3]
1865 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,5,6,7]
1866 ; SSE2-NEXT:    retq
1867 ;
1868 ; SSSE3-LABEL: shuffle_v8i16_0uuu1uuu:
1869 ; SSSE3:       # BB#0:
1870 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,3]
1871 ; SSSE3-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,5,6,7]
1872 ; SSSE3-NEXT:    retq
1873 ;
1874 ; SSE41-LABEL: shuffle_v8i16_0uuu1uuu:
1875 ; SSE41:       # BB#0:
1876 ; SSE41-NEXT:    pmovzxwq {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero
1877 ; SSE41-NEXT:    retq
1878 ;
1879 ; AVX-LABEL: shuffle_v8i16_0uuu1uuu:
1880 ; AVX:       # BB#0:
1881 ; AVX-NEXT:    vpmovzxwq {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero
1882 ; AVX-NEXT:    retq
1883   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 undef, i32 undef, i32 undef, i32 1, i32 undef, i32 undef, i32 undef>
1884   ret <8 x i16> %shuffle
1885 }
1886
1887 define <8 x i16> @shuffle_v8i16_0zzz1zzz(<8 x i16> %a) {
1888 ; SSE2-LABEL: shuffle_v8i16_0zzz1zzz:
1889 ; SSE2:       # BB#0:
1890 ; SSE2-NEXT:    pxor %xmm1, %xmm1
1891 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1892 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1893 ; SSE2-NEXT:    retq
1894 ;
1895 ; SSSE3-LABEL: shuffle_v8i16_0zzz1zzz:
1896 ; SSSE3:       # BB#0:
1897 ; SSSE3-NEXT:    pxor %xmm1, %xmm1
1898 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1899 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1900 ; SSSE3-NEXT:    retq
1901 ;
1902 ; SSE41-LABEL: shuffle_v8i16_0zzz1zzz:
1903 ; SSE41:       # BB#0:
1904 ; SSE41-NEXT:    pmovzxwq {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero
1905 ; SSE41-NEXT:    retq
1906 ;
1907 ; AVX-LABEL: shuffle_v8i16_0zzz1zzz:
1908 ; AVX:       # BB#0:
1909 ; AVX-NEXT:    vpmovzxwq {{.*#+}} xmm0 = xmm0[0],zero,zero,zero,xmm0[1],zero,zero,zero
1910 ; AVX-NEXT:    retq
1911   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 9, i32 10, i32 11, i32 1, i32 13, i32 14, i32 15>
1912   ret <8 x i16> %shuffle
1913 }
1914
1915 define <8 x i16> @shuffle_v8i16_0u1u2u3u(<8 x i16> %a) {
1916 ; SSE2-LABEL: shuffle_v8i16_0u1u2u3u:
1917 ; SSE2:       # BB#0:
1918 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
1919 ; SSE2-NEXT:    retq
1920 ;
1921 ; SSSE3-LABEL: shuffle_v8i16_0u1u2u3u:
1922 ; SSSE3:       # BB#0:
1923 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
1924 ; SSSE3-NEXT:    retq
1925 ;
1926 ; SSE41-LABEL: shuffle_v8i16_0u1u2u3u:
1927 ; SSE41:       # BB#0:
1928 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1929 ; SSE41-NEXT:    retq
1930 ;
1931 ; AVX-LABEL: shuffle_v8i16_0u1u2u3u:
1932 ; AVX:       # BB#0:
1933 ; AVX-NEXT:    vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1934 ; AVX-NEXT:    retq
1935   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 undef, i32 1, i32 undef, i32 2, i32 undef, i32 3, i32 undef>
1936   ret <8 x i16> %shuffle
1937 }
1938
1939 define <8 x i16> @shuffle_v8i16_0z1z2z3z(<8 x i16> %a) {
1940 ; SSE2-LABEL: shuffle_v8i16_0z1z2z3z:
1941 ; SSE2:       # BB#0:
1942 ; SSE2-NEXT:    pxor %xmm1, %xmm1
1943 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1944 ; SSE2-NEXT:    retq
1945 ;
1946 ; SSSE3-LABEL: shuffle_v8i16_0z1z2z3z:
1947 ; SSSE3:       # BB#0:
1948 ; SSSE3-NEXT:    pxor %xmm1, %xmm1
1949 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1950 ; SSSE3-NEXT:    retq
1951 ;
1952 ; SSE41-LABEL: shuffle_v8i16_0z1z2z3z:
1953 ; SSE41:       # BB#0:
1954 ; SSE41-NEXT:    pmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1955 ; SSE41-NEXT:    retq
1956 ;
1957 ; AVX-LABEL: shuffle_v8i16_0z1z2z3z:
1958 ; AVX:       # BB#0:
1959 ; AVX-NEXT:    vpmovzxwd {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
1960 ; AVX-NEXT:    retq
1961   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 9, i32 1, i32 11, i32 2, i32 13, i32 3, i32 15>
1962   ret <8 x i16> %shuffle
1963 }
1964
1965 ;
1966 ; Shuffle to logical bit shifts
1967 ;
1968 define <8 x i16> @shuffle_v8i16_z0z2z4z6(<8 x i16> %a) {
1969 ; SSE-LABEL: shuffle_v8i16_z0z2z4z6:
1970 ; SSE:       # BB#0:
1971 ; SSE-NEXT:    pslld $16, %xmm0
1972 ; SSE-NEXT:    retq
1973 ;
1974 ; AVX-LABEL: shuffle_v8i16_z0z2z4z6:
1975 ; AVX:       # BB#0:
1976 ; AVX-NEXT:    vpslld $16, %xmm0, %xmm0
1977 ; AVX-NEXT:    retq
1978   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32><i32 8, i32 0, i32 8, i32 2, i32 8, i32 4, i32 8, i32 6>
1979   ret <8 x i16> %shuffle
1980 }
1981
1982 define <8 x i16> @shuffle_v8i16_zzz0zzz4(<8 x i16> %a) {
1983 ; SSE-LABEL: shuffle_v8i16_zzz0zzz4:
1984 ; SSE:       # BB#0:
1985 ; SSE-NEXT:    psllq $48, %xmm0
1986 ; SSE-NEXT:    retq
1987 ;
1988 ; AVX-LABEL: shuffle_v8i16_zzz0zzz4:
1989 ; AVX:       # BB#0:
1990 ; AVX-NEXT:    vpsllq $48, %xmm0, %xmm0
1991 ; AVX-NEXT:    retq
1992   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32><i32 8, i32 8, i32 8, i32 0, i32 8, i32 8, i32 8, i32 4>
1993   ret <8 x i16> %shuffle
1994 }
1995
1996 define <8 x i16> @shuffle_v8i16_zz01zX4X(<8 x i16> %a) {
1997 ; SSE-LABEL: shuffle_v8i16_zz01zX4X:
1998 ; SSE:       # BB#0:
1999 ; SSE-NEXT:    psllq $32, %xmm0
2000 ; SSE-NEXT:    retq
2001 ;
2002 ; AVX-LABEL: shuffle_v8i16_zz01zX4X:
2003 ; AVX:       # BB#0:
2004 ; AVX-NEXT:    vpsllq $32, %xmm0, %xmm0
2005 ; AVX-NEXT:    retq
2006   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32><i32 8, i32 8, i32 0, i32 1, i32 8, i32 undef, i32 4, i32 undef>
2007   ret <8 x i16> %shuffle
2008 }
2009
2010 define <8 x i16> @shuffle_v8i16_z0X2z456(<8 x i16> %a) {
2011 ; SSE-LABEL: shuffle_v8i16_z0X2z456:
2012 ; SSE:       # BB#0:
2013 ; SSE-NEXT:    psllq $16, %xmm0
2014 ; SSE-NEXT:    retq
2015 ;
2016 ; AVX-LABEL: shuffle_v8i16_z0X2z456:
2017 ; AVX:       # BB#0:
2018 ; AVX-NEXT:    vpsllq $16, %xmm0, %xmm0
2019 ; AVX-NEXT:    retq
2020   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32><i32 8, i32 0, i32 undef, i32 2, i32 8, i32 4, i32 5, i32 6>
2021   ret <8 x i16> %shuffle
2022 }
2023
2024 define <8 x i16> @shuffle_v8i16_1z3zXz7z(<8 x i16> %a) {
2025 ; SSE-LABEL: shuffle_v8i16_1z3zXz7z:
2026 ; SSE:       # BB#0:
2027 ; SSE-NEXT:    psrld $16, %xmm0
2028 ; SSE-NEXT:    retq
2029 ;
2030 ; AVX-LABEL: shuffle_v8i16_1z3zXz7z:
2031 ; AVX:       # BB#0:
2032 ; AVX-NEXT:    vpsrld $16, %xmm0, %xmm0
2033 ; AVX-NEXT:    retq
2034   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32><i32 1, i32 8, i32 3, i32 8, i32 undef, i32 8, i32 7, i32 8>
2035   ret <8 x i16> %shuffle
2036 }
2037
2038 define <8 x i16> @shuffle_v8i16_1X3z567z(<8 x i16> %a) {
2039 ; SSE-LABEL: shuffle_v8i16_1X3z567z:
2040 ; SSE:       # BB#0:
2041 ; SSE-NEXT:    psrlq $16, %xmm0
2042 ; SSE-NEXT:    retq
2043 ;
2044 ; AVX-LABEL: shuffle_v8i16_1X3z567z:
2045 ; AVX:       # BB#0:
2046 ; AVX-NEXT:    vpsrlq $16, %xmm0, %xmm0
2047 ; AVX-NEXT:    retq
2048   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32><i32 1, i32 undef, i32 3, i32 8, i32 5, i32 6, i32 7, i32 8>
2049   ret <8 x i16> %shuffle
2050 }
2051
2052 define <8 x i16> @shuffle_v8i16_23zz67zz(<8 x i16> %a) {
2053 ; SSE-LABEL: shuffle_v8i16_23zz67zz:
2054 ; SSE:       # BB#0:
2055 ; SSE-NEXT:    psrlq $32, %xmm0
2056 ; SSE-NEXT:    retq
2057 ;
2058 ; AVX-LABEL: shuffle_v8i16_23zz67zz:
2059 ; AVX:       # BB#0:
2060 ; AVX-NEXT:    vpsrlq $32, %xmm0, %xmm0
2061 ; AVX-NEXT:    retq
2062   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32><i32 2, i32 3, i32 8, i32 8, i32 6, i32 7, i32 8, i32 8>
2063   ret <8 x i16> %shuffle
2064 }
2065
2066 define <8 x i16> @shuffle_v8i16_3zXXXzzz(<8 x i16> %a) {
2067 ; SSE-LABEL: shuffle_v8i16_3zXXXzzz:
2068 ; SSE:       # BB#0:
2069 ; SSE-NEXT:    psrlq $48, %xmm0
2070 ; SSE-NEXT:    retq
2071 ;
2072 ; AVX-LABEL: shuffle_v8i16_3zXXXzzz:
2073 ; AVX:       # BB#0:
2074 ; AVX-NEXT:    vpsrlq $48, %xmm0, %xmm0
2075 ; AVX-NEXT:    retq
2076   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32><i32 3, i32 8, i32 undef, i32 undef, i32 undef, i32 8, i32 8, i32 8>
2077   ret <8 x i16> %shuffle
2078 }
2079
2080 define <8 x i16> @shuffle_v8i16_01u3zzuz(<8 x i16> %a) {
2081 ; SSE-LABEL: shuffle_v8i16_01u3zzuz:
2082 ; SSE:       # BB#0:
2083 ; SSE-NEXT:    movq {{.*#+}} xmm0 = xmm0[0],zero
2084 ; SSE-NEXT:    retq
2085 ;
2086 ; AVX-LABEL: shuffle_v8i16_01u3zzuz:
2087 ; AVX:       # BB#0:
2088 ; AVX-NEXT:    vmovq {{.*#+}} xmm0 = xmm0[0],zero
2089 ; AVX-NEXT:    retq
2090   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 1, i32 undef, i32 3, i32 8, i32 8, i32 undef, i32 8>
2091   ret <8 x i16> %shuffle
2092 }
2093
2094 define <8 x i16> @shuffle_v8i16_0z234567(<8 x i16> %a) {
2095 ; SSE2-LABEL: shuffle_v8i16_0z234567:
2096 ; SSE2:       # BB#0:
2097 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
2098 ; SSE2-NEXT:    retq
2099 ;
2100 ; SSSE3-LABEL: shuffle_v8i16_0z234567:
2101 ; SSSE3:       # BB#0:
2102 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
2103 ; SSSE3-NEXT:    retq
2104 ;
2105 ; SSE41-LABEL: shuffle_v8i16_0z234567:
2106 ; SSE41:       # BB#0:
2107 ; SSE41-NEXT:    pxor %xmm1, %xmm1
2108 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3,4,5,6,7]
2109 ; SSE41-NEXT:    retq
2110 ;
2111 ; AVX-LABEL: shuffle_v8i16_0z234567:
2112 ; AVX:       # BB#0:
2113 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2114 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3,4,5,6,7]
2115 ; AVX-NEXT:    retq
2116   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 9, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
2117   ret <8 x i16> %shuffle
2118 }
2119
2120 define <8 x i16> @shuffle_v8i16_0zzzz5z7(<8 x i16> %a) {
2121 ; SSE2-LABEL: shuffle_v8i16_0zzzz5z7:
2122 ; SSE2:       # BB#0:
2123 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
2124 ; SSE2-NEXT:    retq
2125 ;
2126 ; SSSE3-LABEL: shuffle_v8i16_0zzzz5z7:
2127 ; SSSE3:       # BB#0:
2128 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
2129 ; SSSE3-NEXT:    retq
2130 ;
2131 ; SSE41-LABEL: shuffle_v8i16_0zzzz5z7:
2132 ; SSE41:       # BB#0:
2133 ; SSE41-NEXT:    pxor %xmm1, %xmm1
2134 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3,4],xmm0[5],xmm1[6],xmm0[7]
2135 ; SSE41-NEXT:    retq
2136 ;
2137 ; AVX-LABEL: shuffle_v8i16_0zzzz5z7:
2138 ; AVX:       # BB#0:
2139 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2140 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3,4],xmm0[5],xmm1[6],xmm0[7]
2141 ; AVX-NEXT:    retq
2142   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 8, i32 8, i32 8, i32 8, i32 5, i32 8, i32 7>
2143   ret <8 x i16> %shuffle
2144 }
2145
2146 define <8 x i16> @shuffle_v8i16_0123456z(<8 x i16> %a) {
2147 ; SSE2-LABEL: shuffle_v8i16_0123456z:
2148 ; SSE2:       # BB#0:
2149 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
2150 ; SSE2-NEXT:    retq
2151 ;
2152 ; SSSE3-LABEL: shuffle_v8i16_0123456z:
2153 ; SSSE3:       # BB#0:
2154 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
2155 ; SSSE3-NEXT:    retq
2156 ;
2157 ; SSE41-LABEL: shuffle_v8i16_0123456z:
2158 ; SSE41:       # BB#0:
2159 ; SSE41-NEXT:    pxor %xmm1, %xmm1
2160 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3,4,5,6],xmm1[7]
2161 ; SSE41-NEXT:    retq
2162 ;
2163 ; AVX-LABEL: shuffle_v8i16_0123456z:
2164 ; AVX:       # BB#0:
2165 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
2166 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3,4,5,6],xmm1[7]
2167 ; AVX-NEXT:    retq
2168   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 9, i32 2, i32 3, i32 4, i32 5, i32 6, i32 15>
2169   ret <8 x i16> %shuffle
2170 }
2171
2172 define <8 x i16> @shuffle_v8i16_fu3ucc5u(<8 x i16> %a, <8 x i16> %b) {
2173 ; SSE2-LABEL: shuffle_v8i16_fu3ucc5u:
2174 ; SSE2:       # BB#0:
2175 ; SSE2-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9,10,11,12,13]
2176 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,5,4,4]
2177 ; SSE2-NEXT:    punpckhdq {{.*#+}} xmm1 = xmm1[2],xmm0[2],xmm1[3],xmm0[3]
2178 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
2179 ; SSE2-NEXT:    retq
2180 ;
2181 ; SSSE3-LABEL: shuffle_v8i16_fu3ucc5u:
2182 ; SSSE3:       # BB#0:
2183 ; SSSE3-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9,10,11,12,13]
2184 ; SSSE3-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,5,4,4]
2185 ; SSSE3-NEXT:    punpckhdq {{.*#+}} xmm1 = xmm1[2],xmm0[2],xmm1[3],xmm0[3]
2186 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
2187 ; SSSE3-NEXT:    retq
2188 ;
2189 ; SSE41-LABEL: shuffle_v8i16_fu3ucc5u:
2190 ; SSE41:       # BB#0:
2191 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4],xmm0[5,6],xmm1[7]
2192 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[14,15,14,15,6,7,6,7,8,9,8,9,10,11,14,15]
2193 ; SSE41-NEXT:    retq
2194 ;
2195 ; AVX-LABEL: shuffle_v8i16_fu3ucc5u:
2196 ; AVX:       # BB#0:
2197 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4],xmm0[5,6],xmm1[7]
2198 ; AVX-NEXT:    vpshufb {{.*#+}} xmm0 = xmm0[14,15,14,15,6,7,6,7,8,9,8,9,10,11,14,15]
2199 ; AVX-NEXT:    retq
2200   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 15, i32 undef, i32 3, i32 undef, i32 12, i32 12, i32 5, i32 undef>
2201   ret <8 x i16> %shuffle
2202 }
2203
2204 define <8 x i16> @shuffle_v8i16_8012345u(<8 x i16> %a) {
2205 ; SSE-LABEL: shuffle_v8i16_8012345u:
2206 ; SSE:       # BB#0:
2207 ; SSE-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9,10,11,12,13]
2208 ; SSE-NEXT:    retq
2209 ;
2210 ; AVX-LABEL: shuffle_v8i16_8012345u:
2211 ; AVX:       # BB#0:
2212 ; AVX-NEXT:    vpslldq {{.*#+}} xmm0 = zero,zero,xmm0[0,1,2,3,4,5,6,7,8,9,10,11,12,13]
2213 ; AVX-NEXT:    retq
2214   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 8, i32 0, i32 1, i32 2, i32 3, i32 4, i32 5, i32 undef>
2215
2216   ret <8 x i16> %shuffle
2217 }