test/CodeGen/X86/vector-shuffle-128-v8.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSSE3
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE41
   4
   5 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   6 target triple = "x86_64-unknown-unknown"
   7
   8 define <8 x i16> @shuffle_v8i16_01012323(<8 x i16> %a, <8 x i16> %b) {
   9 ; ALL-LABEL: shuffle_v8i16_01012323:
  10 ; ALL:       # BB#0:
  11 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,1,1]
  12 ; ALL-NEXT:    retq
  13   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 0, i32 1, i32 2, i32 3, i32 2, i32 3>
  14   ret <8 x i16> %shuffle
  15 }
  16 define <8 x i16> @shuffle_v8i16_67452301(<8 x i16> %a, <8 x i16> %b) {
  17 ; ALL-LABEL: shuffle_v8i16_67452301:
  18 ; ALL:       # BB#0:
  19 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,2,1,0]
  20 ; ALL-NEXT:    retq
  21   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 6, i32 7, i32 4, i32 5, i32 2, i32 3, i32 0, i32 1>
  22   ret <8 x i16> %shuffle
  23 }
  24 define <8 x i16> @shuffle_v8i16_456789AB(<8 x i16> %a, <8 x i16> %b) {
  25 ; SSE2-LABEL: shuffle_v8i16_456789AB:
  26 ; SSE2:       # BB#0:
  27 ; SSE2-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1],xmm1[0]
  28 ; SSE2-NEXT:    retq
  29 ;
  30 ; SSSE3-LABEL: shuffle_v8i16_456789AB:
  31 ; SSSE3:       # BB#0:
  32 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
  33 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
  34 ; SSSE3-NEXT:    retq
  35 ;
  36 ; SSE41-LABEL: shuffle_v8i16_456789AB:
  37 ; SSE41:       # BB#0:
  38 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
  39 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
  40 ; SSE41-NEXT:    retq
  41   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11>
  42   ret <8 x i16> %shuffle
  43 }
  44
  45 define <8 x i16> @shuffle_v8i16_00000000(<8 x i16> %a, <8 x i16> %b) {
  46 ; SSE2-LABEL: shuffle_v8i16_00000000:
  47 ; SSE2:       # BB#0:
  48 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,3]
  49 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,0,0,4,5,6,7]
  50 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
  51 ; SSE2-NEXT:    retq
  52 ;
  53 ; SSSE3-LABEL: shuffle_v8i16_00000000:
  54 ; SSSE3:       # BB#0:
  55 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1]
  56 ; SSSE3-NEXT:    retq
  57 ;
  58 ; SSE41-LABEL: shuffle_v8i16_00000000:
  59 ; SSE41:       # BB#0:
  60 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1]
  61 ; SSE41-NEXT:    retq
  62   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
  63   ret <8 x i16> %shuffle
  64 }
  65 define <8 x i16> @shuffle_v8i16_00004444(<8 x i16> %a, <8 x i16> %b) {
  66 ; ALL-LABEL: shuffle_v8i16_00004444:
  67 ; ALL:       # BB#0:
  68 ; ALL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,0,0,4,5,6,7]
  69 ; ALL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
  70 ; ALL-NEXT:    retq
  71   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
  72   ret <8 x i16> %shuffle
  73 }
  74 define <8 x i16> @shuffle_v8i16_u0u1u2u3(<8 x i16> %a, <8 x i16> %b) {
  75 ; ALL-LABEL: shuffle_v8i16_u0u1u2u3:
  76 ; ALL:       # BB#0:
  77 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
  78 ; ALL-NEXT:    retq
  79   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 0, i32 undef, i32 1, i32 undef, i32 2, i32 undef, i32 3>
  80   ret <8 x i16> %shuffle
  81 }
  82 define <8 x i16> @shuffle_v8i16_u4u5u6u7(<8 x i16> %a, <8 x i16> %b) {
  83 ; ALL-LABEL: shuffle_v8i16_u4u5u6u7:
  84 ; ALL:       # BB#0:
  85 ; ALL-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4,4,5,5,6,6,7,7]
  86 ; ALL-NEXT:    retq
  87   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 undef, i32 5, i32 undef, i32 6, i32 undef, i32 7>
  88   ret <8 x i16> %shuffle
  89 }
  90 define <8 x i16> @shuffle_v8i16_31206745(<8 x i16> %a, <8 x i16> %b) {
  91 ; ALL-LABEL: shuffle_v8i16_31206745:
  92 ; ALL:       # BB#0:
  93 ; ALL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,1,2,0,4,5,6,7]
  94 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,3,2]
  95 ; ALL-NEXT:    retq
  96   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 1, i32 2, i32 0, i32 6, i32 7, i32 4, i32 5>
  97   ret <8 x i16> %shuffle
  98 }
  99 define <8 x i16> @shuffle_v8i16_44440000(<8 x i16> %a, <8 x i16> %b) {
 100 ; SSE2-LABEL: shuffle_v8i16_44440000:
 101 ; SSE2:       # BB#0:
 102 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,0,3]
 103 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,0,0,4,5,6,7]
 104 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 105 ; SSE2-NEXT:    retq
 106 ;
 107 ; SSSE3-LABEL: shuffle_v8i16_44440000:
 108 ; SSSE3:       # BB#0:
 109 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,8,9,0,1,0,1,0,1,0,1]
 110 ; SSSE3-NEXT:    retq
 111 ;
 112 ; SSE41-LABEL: shuffle_v8i16_44440000:
 113 ; SSE41:       # BB#0:
 114 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,8,9,0,1,0,1,0,1,0,1]
 115 ; SSE41-NEXT:    retq
 116   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0>
 117   ret <8 x i16> %shuffle
 118 }
 119 define <8 x i16> @shuffle_v8i16_23016745(<8 x i16> %a, <8 x i16> %b) {
 120 ; ALL-LABEL: shuffle_v8i16_23016745:
 121 ; ALL:       # BB#0:
 122 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,0,3,2]
 123 ; ALL-NEXT:    retq
 124   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 3, i32 0, i32 1, i32 6, i32 7, i32 4, i32 5>
 125   ret <8 x i16> %shuffle
 126 }
 127 define <8 x i16> @shuffle_v8i16_23026745(<8 x i16> %a, <8 x i16> %b) {
 128 ; ALL-LABEL: shuffle_v8i16_23026745:
 129 ; ALL:       # BB#0:
 130 ; ALL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,3,0,2,4,5,6,7]
 131 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,3,2]
 132 ; ALL-NEXT:    retq
 133   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 3, i32 0, i32 2, i32 6, i32 7, i32 4, i32 5>
 134   ret <8 x i16> %shuffle
 135 }
 136 define <8 x i16> @shuffle_v8i16_23016747(<8 x i16> %a, <8 x i16> %b) {
 137 ; ALL-LABEL: shuffle_v8i16_23016747:
 138 ; ALL:       # BB#0:
 139 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,0,2,3]
 140 ; ALL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,7,4,7]
 141 ; ALL-NEXT:    retq
 142   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 3, i32 0, i32 1, i32 6, i32 7, i32 4, i32 7>
 143   ret <8 x i16> %shuffle
 144 }
 145 define <8 x i16> @shuffle_v8i16_75643120(<8 x i16> %a, <8 x i16> %b) {
 146 ; SSE2-LABEL: shuffle_v8i16_75643120:
 147 ; SSE2:       # BB#0:
 148 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 149 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,1,2,0,4,5,6,7]
 150 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 151 ; SSE2-NEXT:    retq
 152 ;
 153 ; SSSE3-LABEL: shuffle_v8i16_75643120:
 154 ; SSSE3:       # BB#0:
 155 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[14,15,10,11,12,13,8,9,6,7,2,3,4,5,0,1]
 156 ; SSSE3-NEXT:    retq
 157 ;
 158 ; SSE41-LABEL: shuffle_v8i16_75643120:
 159 ; SSE41:       # BB#0:
 160 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[14,15,10,11,12,13,8,9,6,7,2,3,4,5,0,1]
 161 ; SSE41-NEXT:    retq
 162   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 7, i32 5, i32 6, i32 4, i32 3, i32 1, i32 2, i32 0>
 163   ret <8 x i16> %shuffle
 164 }
 165
 166 define <8 x i16> @shuffle_v8i16_10545410(<8 x i16> %a, <8 x i16> %b) {
 167 ; SSE2-LABEL: shuffle_v8i16_10545410:
 168 ; SSE2:       # BB#0:
 169 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 170 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,0,3,2,4,5,6,7]
 171 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,4,7,6]
 172 ; SSE2-NEXT:    retq
 173 ;
 174 ; SSSE3-LABEL: shuffle_v8i16_10545410:
 175 ; SSSE3:       # BB#0:
 176 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[2,3,0,1,10,11,8,9,10,11,8,9,2,3,0,1]
 177 ; SSSE3-NEXT:    retq
 178 ;
 179 ; SSE41-LABEL: shuffle_v8i16_10545410:
 180 ; SSE41:       # BB#0:
 181 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[2,3,0,1,10,11,8,9,10,11,8,9,2,3,0,1]
 182 ; SSE41-NEXT:    retq
 183   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 5, i32 4, i32 5, i32 4, i32 1, i32 0>
 184   ret <8 x i16> %shuffle
 185 }
 186 define <8 x i16> @shuffle_v8i16_54105410(<8 x i16> %a, <8 x i16> %b) {
 187 ; SSE2-LABEL: shuffle_v8i16_54105410:
 188 ; SSE2:       # BB#0:
 189 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 190 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
 191 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,4,7,6]
 192 ; SSE2-NEXT:    retq
 193 ;
 194 ; SSSE3-LABEL: shuffle_v8i16_54105410:
 195 ; SSSE3:       # BB#0:
 196 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,10,11,8,9,2,3,0,1]
 197 ; SSSE3-NEXT:    retq
 198 ;
 199 ; SSE41-LABEL: shuffle_v8i16_54105410:
 200 ; SSE41:       # BB#0:
 201 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,10,11,8,9,2,3,0,1]
 202 ; SSE41-NEXT:    retq
 203   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 5, i32 4, i32 1, i32 0>
 204   ret <8 x i16> %shuffle
 205 }
 206 define <8 x i16> @shuffle_v8i16_54101054(<8 x i16> %a, <8 x i16> %b) {
 207 ; SSE2-LABEL: shuffle_v8i16_54101054:
 208 ; SSE2:       # BB#0:
 209 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 210 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
 211 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
 212 ; SSE2-NEXT:    retq
 213 ;
 214 ; SSSE3-LABEL: shuffle_v8i16_54101054:
 215 ; SSSE3:       # BB#0:
 216 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,2,3,0,1,10,11,8,9]
 217 ; SSSE3-NEXT:    retq
 218 ;
 219 ; SSE41-LABEL: shuffle_v8i16_54101054:
 220 ; SSE41:       # BB#0:
 221 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[10,11,8,9,2,3,0,1,2,3,0,1,10,11,8,9]
 222 ; SSE41-NEXT:    retq
 223   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 1, i32 0, i32 5, i32 4>
 224   ret <8 x i16> %shuffle
 225 }
 226 define <8 x i16> @shuffle_v8i16_04400440(<8 x i16> %a, <8 x i16> %b) {
 227 ; SSE2-LABEL: shuffle_v8i16_04400440:
 228 ; SSE2:       # BB#0:
 229 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 230 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 231 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,4,4,6]
 232 ; SSE2-NEXT:    retq
 233 ;
 234 ; SSSE3-LABEL: shuffle_v8i16_04400440:
 235 ; SSSE3:       # BB#0:
 236 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,8,9,8,9,0,1]
 237 ; SSSE3-NEXT:    retq
 238 ;
 239 ; SSE41-LABEL: shuffle_v8i16_04400440:
 240 ; SSE41:       # BB#0:
 241 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,8,9,8,9,0,1]
 242 ; SSE41-NEXT:    retq
 243   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 0>
 244   ret <8 x i16> %shuffle
 245 }
 246 define <8 x i16> @shuffle_v8i16_40044004(<8 x i16> %a, <8 x i16> %b) {
 247 ; SSE2-LABEL: shuffle_v8i16_40044004:
 248 ; SSE2:       # BB#0:
 249 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,0]
 250 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,0,0,2,4,5,6,7]
 251 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,4]
 252 ; SSE2-NEXT:    retq
 253 ;
 254 ; SSSE3-LABEL: shuffle_v8i16_40044004:
 255 ; SSSE3:       # BB#0:
 256 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,0,1,0,1,8,9,8,9,0,1,0,1,8,9]
 257 ; SSSE3-NEXT:    retq
 258 ;
 259 ; SSE41-LABEL: shuffle_v8i16_40044004:
 260 ; SSE41:       # BB#0:
 261 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,0,1,0,1,8,9,8,9,0,1,0,1,8,9]
 262 ; SSE41-NEXT:    retq
 263   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 0, i32 0, i32 4, i32 4, i32 0, i32 0, i32 4>
 264   ret <8 x i16> %shuffle
 265 }
 266
 267 define <8 x i16> @shuffle_v8i16_26405173(<8 x i16> %a, <8 x i16> %b) {
 268 ; SSE2-LABEL: shuffle_v8i16_26405173:
 269 ; SSE2:       # BB#0:
 270 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
 271 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 272 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,1]
 273 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
 274 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,6,4,7]
 275 ; SSE2-NEXT:    retq
 276 ;
 277 ; SSSE3-LABEL: shuffle_v8i16_26405173:
 278 ; SSSE3:       # BB#0:
 279 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,10,11,2,3,14,15,6,7]
 280 ; SSSE3-NEXT:    retq
 281 ;
 282 ; SSE41-LABEL: shuffle_v8i16_26405173:
 283 ; SSE41:       # BB#0:
 284 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,10,11,2,3,14,15,6,7]
 285 ; SSE41-NEXT:    retq
 286   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 5, i32 1, i32 7, i32 3>
 287   ret <8 x i16> %shuffle
 288 }
 289 define <8 x i16> @shuffle_v8i16_20645173(<8 x i16> %a, <8 x i16> %b) {
 290 ; SSE2-LABEL: shuffle_v8i16_20645173:
 291 ; SSE2:       # BB#0:
 292 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
 293 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 294 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,1]
 295 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,0,2,3,4,5,6,7]
 296 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,6,4,7]
 297 ; SSE2-NEXT:    retq
 298 ;
 299 ; SSSE3-LABEL: shuffle_v8i16_20645173:
 300 ; SSSE3:       # BB#0:
 301 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,0,1,12,13,8,9,10,11,2,3,14,15,6,7]
 302 ; SSSE3-NEXT:    retq
 303 ;
 304 ; SSE41-LABEL: shuffle_v8i16_20645173:
 305 ; SSE41:       # BB#0:
 306 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,0,1,12,13,8,9,10,11,2,3,14,15,6,7]
 307 ; SSE41-NEXT:    retq
 308   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 0, i32 6, i32 4, i32 5, i32 1, i32 7, i32 3>
 309   ret <8 x i16> %shuffle
 310 }
 311 define <8 x i16> @shuffle_v8i16_26401375(<8 x i16> %a, <8 x i16> %b) {
 312 ; SSE2-LABEL: shuffle_v8i16_26401375:
 313 ; SSE2:       # BB#0:
 314 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
 315 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 316 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,1,2]
 317 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
 318 ; SSE2-NEXT:    retq
 319 ;
 320 ; SSSE3-LABEL: shuffle_v8i16_26401375:
 321 ; SSSE3:       # BB#0:
 322 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,2,3,6,7,14,15,10,11]
 323 ; SSSE3-NEXT:    retq
 324 ;
 325 ; SSE41-LABEL: shuffle_v8i16_26401375:
 326 ; SSE41:       # BB#0:
 327 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[4,5,12,13,8,9,0,1,2,3,6,7,14,15,10,11]
 328 ; SSE41-NEXT:    retq
 329   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 1, i32 3, i32 7, i32 5>
 330   ret <8 x i16> %shuffle
 331 }
 332
 333 define <8 x i16> @shuffle_v8i16_66751643(<8 x i16> %a, <8 x i16> %b) {
 334 ; SSE2-LABEL: shuffle_v8i16_66751643:
 335 ; SSE2:       # BB#0:
 336 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,1,2,3,4,5,6,7]
 337 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,5,7]
 338 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,0]
 339 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,1,3,2,4,5,6,7]
 340 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,4,6]
 341 ; SSE2-NEXT:    retq
 342 ;
 343 ; SSSE3-LABEL: shuffle_v8i16_66751643:
 344 ; SSSE3:       # BB#0:
 345 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,12,13,14,15,10,11,2,3,12,13,8,9,6,7]
 346 ; SSSE3-NEXT:    retq
 347 ;
 348 ; SSE41-LABEL: shuffle_v8i16_66751643:
 349 ; SSE41:       # BB#0:
 350 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,12,13,14,15,10,11,2,3,12,13,8,9,6,7]
 351 ; SSE41-NEXT:    retq
 352   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 6, i32 6, i32 7, i32 5, i32 1, i32 6, i32 4, i32 3>
 353   ret <8 x i16> %shuffle
 354 }
 355
 356 define <8 x i16> @shuffle_v8i16_60514754(<8 x i16> %a, <8 x i16> %b) {
 357 ; SSE2-LABEL: shuffle_v8i16_60514754:
 358 ; SSE2:       # BB#0:
 359 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,5,4,7]
 360 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 361 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,0,3,1,4,5,6,7]
 362 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,7,5,6]
 363 ; SSE2-NEXT:    retq
 364 ;
 365 ; SSSE3-LABEL: shuffle_v8i16_60514754:
 366 ; SSSE3:       # BB#0:
 367 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,0,1,10,11,2,3,8,9,14,15,10,11,8,9]
 368 ; SSSE3-NEXT:    retq
 369 ;
 370 ; SSE41-LABEL: shuffle_v8i16_60514754:
 371 ; SSE41:       # BB#0:
 372 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,0,1,10,11,2,3,8,9,14,15,10,11,8,9]
 373 ; SSE41-NEXT:    retq
 374   %shuffle = shufflevector <8 x i16> %a, <8 x i16> undef, <8 x i32> <i32 6, i32 0, i32 5, i32 1, i32 4, i32 7, i32 5, i32 4>
 375   ret <8 x i16> %shuffle
 376 }
 377
 378 define <8 x i16> @shuffle_v8i16_00444444(<8 x i16> %a, <8 x i16> %b) {
 379 ; SSE2-LABEL: shuffle_v8i16_00444444:
 380 ; SSE2:       # BB#0:
 381 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 382 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,2,2,4,5,6,7]
 383 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 384 ; SSE2-NEXT:    retq
 385 ;
 386 ; SSSE3-LABEL: shuffle_v8i16_00444444:
 387 ; SSSE3:       # BB#0:
 388 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,8,9,8,9,8,9,8,9,8,9,8,9]
 389 ; SSSE3-NEXT:    retq
 390 ;
 391 ; SSE41-LABEL: shuffle_v8i16_00444444:
 392 ; SSE41:       # BB#0:
 393 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,0,1,8,9,8,9,8,9,8,9,8,9,8,9]
 394 ; SSE41-NEXT:    retq
 395   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 396   ret <8 x i16> %shuffle
 397 }
 398 define <8 x i16> @shuffle_v8i16_44004444(<8 x i16> %a, <8 x i16> %b) {
 399 ; SSE2-LABEL: shuffle_v8i16_44004444:
 400 ; SSE2:       # BB#0:
 401 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 402 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,2,0,0,4,5,6,7]
 403 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 404 ; SSE2-NEXT:    retq
 405 ;
 406 ; SSSE3-LABEL: shuffle_v8i16_44004444:
 407 ; SSSE3:       # BB#0:
 408 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,0,1,0,1,8,9,8,9,8,9,8,9]
 409 ; SSSE3-NEXT:    retq
 410 ;
 411 ; SSE41-LABEL: shuffle_v8i16_44004444:
 412 ; SSE41:       # BB#0:
 413 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,0,1,0,1,8,9,8,9,8,9,8,9]
 414 ; SSE41-NEXT:    retq
 415   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
 416   ret <8 x i16> %shuffle
 417 }
 418 define <8 x i16> @shuffle_v8i16_04404444(<8 x i16> %a, <8 x i16> %b) {
 419 ; SSE2-LABEL: shuffle_v8i16_04404444:
 420 ; SSE2:       # BB#0:
 421 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 422 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 423 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 424 ; SSE2-NEXT:    retq
 425 ;
 426 ; SSSE3-LABEL: shuffle_v8i16_04404444:
 427 ; SSSE3:       # BB#0:
 428 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 429 ; SSSE3-NEXT:    retq
 430 ;
 431 ; SSE41-LABEL: shuffle_v8i16_04404444:
 432 ; SSE41:       # BB#0:
 433 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 434 ; SSE41-NEXT:    retq
 435   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 436   ret <8 x i16> %shuffle
 437 }
 438 define <8 x i16> @shuffle_v8i16_04400000(<8 x i16> %a, <8 x i16> %b) {
 439 ; SSE2-LABEL: shuffle_v8i16_04400000:
 440 ; SSE2:       # BB#0:
 441 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,0,3]
 442 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 443 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 444 ; SSE2-NEXT:    retq
 445 ;
 446 ; SSSE3-LABEL: shuffle_v8i16_04400000:
 447 ; SSSE3:       # BB#0:
 448 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,0,1,0,1,0,1]
 449 ; SSSE3-NEXT:    retq
 450 ;
 451 ; SSE41-LABEL: shuffle_v8i16_04400000:
 452 ; SSE41:       # BB#0:
 453 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,0,1,0,1,0,1]
 454 ; SSE41-NEXT:    retq
 455   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0, i32 0>
 456   ret <8 x i16> %shuffle
 457 }
 458 define <8 x i16> @shuffle_v8i16_04404567(<8 x i16> %a, <8 x i16> %b) {
 459 ; ALL-LABEL: shuffle_v8i16_04404567:
 460 ; ALL:       # BB#0:
 461 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 462 ; ALL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 463 ; ALL-NEXT:    retq
 464   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 5, i32 6, i32 7>
 465   ret <8 x i16> %shuffle
 466 }
 467
 468 define <8 x i16> @shuffle_v8i16_0X444444(<8 x i16> %a, <8 x i16> %b) {
 469 ; SSE2-LABEL: shuffle_v8i16_0X444444:
 470 ; SSE2:       # BB#0:
 471 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 472 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,1,2,2,4,5,6,7]
 473 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 474 ; SSE2-NEXT:    retq
 475 ;
 476 ; SSSE3-LABEL: shuffle_v8i16_0X444444:
 477 ; SSSE3:       # BB#0:
 478 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,8,9,8,9,8,9,8,9,8,9,8,9]
 479 ; SSSE3-NEXT:    retq
 480 ;
 481 ; SSE41-LABEL: shuffle_v8i16_0X444444:
 482 ; SSE41:       # BB#0:
 483 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,8,9,8,9,8,9,8,9,8,9,8,9]
 484 ; SSE41-NEXT:    retq
 485   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 undef, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 486   ret <8 x i16> %shuffle
 487 }
 488 define <8 x i16> @shuffle_v8i16_44X04444(<8 x i16> %a, <8 x i16> %b) {
 489 ; SSE2-LABEL: shuffle_v8i16_44X04444:
 490 ; SSE2:       # BB#0:
 491 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 492 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,2,2,0,4,5,6,7]
 493 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 494 ; SSE2-NEXT:    retq
 495 ;
 496 ; SSSE3-LABEL: shuffle_v8i16_44X04444:
 497 ; SSSE3:       # BB#0:
 498 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 499 ; SSSE3-NEXT:    retq
 500 ;
 501 ; SSE41-LABEL: shuffle_v8i16_44X04444:
 502 ; SSE41:       # BB#0:
 503 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 504 ; SSE41-NEXT:    retq
 505   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 undef, i32 0, i32 4, i32 4, i32 4, i32 4>
 506   ret <8 x i16> %shuffle
 507 }
 508 define <8 x i16> @shuffle_v8i16_X4404444(<8 x i16> %a, <8 x i16> %b) {
 509 ; SSE2-LABEL: shuffle_v8i16_X4404444:
 510 ; SSE2:       # BB#0:
 511 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 512 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,0,4,5,6,7]
 513 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,4,4]
 514 ; SSE2-NEXT:    retq
 515 ;
 516 ; SSSE3-LABEL: shuffle_v8i16_X4404444:
 517 ; SSSE3:       # BB#0:
 518 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 519 ; SSSE3-NEXT:    retq
 520 ;
 521 ; SSE41-LABEL: shuffle_v8i16_X4404444:
 522 ; SSE41:       # BB#0:
 523 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 524 ; SSE41-NEXT:    retq
 525   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 526   ret <8 x i16> %shuffle
 527 }
 528
 529 define <8 x i16> @shuffle_v8i16_0127XXXX(<8 x i16> %a, <8 x i16> %b) {
 530 ; SSE2-LABEL: shuffle_v8i16_0127XXXX:
 531 ; SSE2:       # BB#0:
 532 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
 533 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,7,6,7]
 534 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 535 ; SSE2-NEXT:    retq
 536 ;
 537 ; SSSE3-LABEL: shuffle_v8i16_0127XXXX:
 538 ; SSSE3:       # BB#0:
 539 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,4,5,14,15,12,13,14,15]
 540 ; SSSE3-NEXT:    retq
 541 ;
 542 ; SSE41-LABEL: shuffle_v8i16_0127XXXX:
 543 ; SSE41:       # BB#0:
 544 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,4,5,14,15,12,13,14,15]
 545 ; SSE41-NEXT:    retq
 546   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 undef, i32 undef, i32 undef, i32 undef>
 547   ret <8 x i16> %shuffle
 548 }
 549
 550 define <8 x i16> @shuffle_v8i16_XXXX4563(<8 x i16> %a, <8 x i16> %b) {
 551 ; SSE2-LABEL: shuffle_v8i16_XXXX4563:
 552 ; SSE2:       # BB#0:
 553 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
 554 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,3,4,5,6,7]
 555 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,2,0]
 556 ; SSE2-NEXT:    retq
 557 ;
 558 ; SSSE3-LABEL: shuffle_v8i16_XXXX4563:
 559 ; SSSE3:       # BB#0:
 560 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,6,7,4,5,6,7,8,9,10,11,12,13,6,7]
 561 ; SSSE3-NEXT:    retq
 562 ;
 563 ; SSE41-LABEL: shuffle_v8i16_XXXX4563:
 564 ; SSE41:       # BB#0:
 565 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[12,13,6,7,4,5,6,7,8,9,10,11,12,13,6,7]
 566 ; SSE41-NEXT:    retq
 567   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 4, i32 5, i32 6, i32 3>
 568   ret <8 x i16> %shuffle
 569 }
 570
 571 define <8 x i16> @shuffle_v8i16_4563XXXX(<8 x i16> %a, <8 x i16> %b) {
 572 ; SSE2-LABEL: shuffle_v8i16_4563XXXX:
 573 ; SSE2:       # BB#0:
 574 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
 575 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,3,4,5,6,7]
 576 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,0,2,3]
 577 ; SSE2-NEXT:    retq
 578 ;
 579 ; SSSE3-LABEL: shuffle_v8i16_4563XXXX:
 580 ; SSSE3:       # BB#0:
 581 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,8,9,10,11,0,1,2,3]
 582 ; SSSE3-NEXT:    retq
 583 ;
 584 ; SSE41-LABEL: shuffle_v8i16_4563XXXX:
 585 ; SSE41:       # BB#0:
 586 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,8,9,10,11,0,1,2,3]
 587 ; SSE41-NEXT:    retq
 588   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 589   ret <8 x i16> %shuffle
 590 }
 591
 592 define <8 x i16> @shuffle_v8i16_01274563(<8 x i16> %a, <8 x i16> %b) {
 593 ; SSE2-LABEL: shuffle_v8i16_01274563:
 594 ; SSE2:       # BB#0:
 595 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
 596 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,5,4,7]
 597 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,1,2]
 598 ; SSE2-NEXT:    retq
 599 ;
 600 ; SSSE3-LABEL: shuffle_v8i16_01274563:
 601 ; SSSE3:       # BB#0:
 602 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,8,9,10,11,12,13,6,7]
 603 ; SSSE3-NEXT:    retq
 604 ;
 605 ; SSE41-LABEL: shuffle_v8i16_01274563:
 606 ; SSE41:       # BB#0:
 607 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,14,15,8,9,10,11,12,13,6,7]
 608 ; SSE41-NEXT:    retq
 609   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 4, i32 5, i32 6, i32 3>
 610   ret <8 x i16> %shuffle
 611 }
 612
 613 define <8 x i16> @shuffle_v8i16_45630127(<8 x i16> %a, <8 x i16> %b) {
 614 ; SSE2-LABEL: shuffle_v8i16_45630127:
 615 ; SSE2:       # BB#0:
 616 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
 617 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,1,4,5,6,7]
 618 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,0,3,1]
 619 ; SSE2-NEXT:    retq
 620 ;
 621 ; SSSE3-LABEL: shuffle_v8i16_45630127:
 622 ; SSSE3:       # BB#0:
 623 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,0,1,2,3,4,5,14,15]
 624 ; SSSE3-NEXT:    retq
 625 ;
 626 ; SSE41-LABEL: shuffle_v8i16_45630127:
 627 ; SSE41:       # BB#0:
 628 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,6,7,0,1,2,3,4,5,14,15]
 629 ; SSE41-NEXT:    retq
 630   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 0, i32 1, i32 2, i32 7>
 631   ret <8 x i16> %shuffle
 632 }
 633
 634 define <8 x i16> @shuffle_v8i16_37102735(<8 x i16> %a, <8 x i16> %b) {
 635 ; SSE2-LABEL: shuffle_v8i16_37102735:
 636 ; SSE2:       # BB#0:
 637 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,5,7]
 638 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
 639 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,4]
 640 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 641 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
 642 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,4,5,6]
 643 ; SSE2-NEXT:    retq
 644 ;
 645 ; SSSE3-LABEL: shuffle_v8i16_37102735:
 646 ; SSSE3:       # BB#0:
 647 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[6,7,14,15,2,3,0,1,4,5,14,15,6,7,10,11]
 648 ; SSSE3-NEXT:    retq
 649 ;
 650 ; SSE41-LABEL: shuffle_v8i16_37102735:
 651 ; SSE41:       # BB#0:
 652 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[6,7,14,15,2,3,0,1,4,5,14,15,6,7,10,11]
 653 ; SSE41-NEXT:    retq
 654   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 7, i32 1, i32 0, i32 2, i32 7, i32 3, i32 5>
 655   ret <8 x i16> %shuffle
 656 }
 657
 658 define <8 x i16> @shuffle_v8i16_08192a3b(<8 x i16> %a, <8 x i16> %b) {
 659 ; ALL-LABEL: shuffle_v8i16_08192a3b:
 660 ; ALL:       # BB#0:
 661 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 662 ; ALL-NEXT:    retq
 663   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 2, i32 10, i32 3, i32 11>
 664   ret <8 x i16> %shuffle
 665 }
 666
 667 define <8 x i16> @shuffle_v8i16_0c1d2e3f(<8 x i16> %a, <8 x i16> %b) {
 668 ; ALL-LABEL: shuffle_v8i16_0c1d2e3f:
 669 ; ALL:       # BB#0:
 670 ; ALL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 671 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 672 ; ALL-NEXT:    retq
 673   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 2, i32 14, i32 3, i32 15>
 674   ret <8 x i16> %shuffle
 675 }
 676
 677 define <8 x i16> @shuffle_v8i16_4c5d6e7f(<8 x i16> %a, <8 x i16> %b) {
 678 ; ALL-LABEL: shuffle_v8i16_4c5d6e7f:
 679 ; ALL:       # BB#0:
 680 ; ALL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 681 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 682 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 683 ; ALL-NEXT:    retq
 684   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 12, i32 5, i32 13, i32 6, i32 14, i32 7, i32 15>
 685   ret <8 x i16> %shuffle
 686 }
 687
 688 define <8 x i16> @shuffle_v8i16_48596a7b(<8 x i16> %a, <8 x i16> %b) {
 689 ; ALL-LABEL: shuffle_v8i16_48596a7b:
 690 ; ALL:       # BB#0:
 691 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 692 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 693 ; ALL-NEXT:    retq
 694   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 8, i32 5, i32 9, i32 6, i32 10, i32 7, i32 11>
 695   ret <8 x i16> %shuffle
 696 }
 697
 698 define <8 x i16> @shuffle_v8i16_08196e7f(<8 x i16> %a, <8 x i16> %b) {
 699 ; ALL-LABEL: shuffle_v8i16_08196e7f:
 700 ; ALL:       # BB#0:
 701 ; ALL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,3,2,3]
 702 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,3]
 703 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 704 ; ALL-NEXT:    retq
 705   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 6, i32 14, i32 7, i32 15>
 706   ret <8 x i16> %shuffle
 707 }
 708
 709 define <8 x i16> @shuffle_v8i16_0c1d6879(<8 x i16> %a, <8 x i16> %b) {
 710 ; ALL-LABEL: shuffle_v8i16_0c1d6879:
 711 ; ALL:       # BB#0:
 712 ; ALL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,0,2,3]
 713 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,3]
 714 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 715 ; ALL-NEXT:    retq
 716   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 6, i32 8, i32 7, i32 9>
 717   ret <8 x i16> %shuffle
 718 }
 719
 720 define <8 x i16> @shuffle_v8i16_109832ba(<8 x i16> %a, <8 x i16> %b) {
 721 ; ALL-LABEL: shuffle_v8i16_109832ba:
 722 ; ALL:       # BB#0:
 723 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 724 ; ALL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm0[2,0,3,1,4,5,6,7]
 725 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
 726 ; ALL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,0,3,1,4,5,6,7]
 727 ; ALL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 728 ; ALL-NEXT:    movdqa %xmm1, %xmm0
 729 ; ALL-NEXT:    retq
 730   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 9, i32 8, i32 3, i32 2, i32 11, i32 10>
 731   ret <8 x i16> %shuffle
 732 }
 733
 734 define <8 x i16> @shuffle_v8i16_8091a2b3(<8 x i16> %a, <8 x i16> %b) {
 735 ; ALL-LABEL: shuffle_v8i16_8091a2b3:
 736 ; ALL:       # BB#0:
 737 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3]
 738 ; ALL-NEXT:    movdqa %xmm1, %xmm0
 739 ; ALL-NEXT:    retq
 740   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 8, i32 0, i32 9, i32 1, i32 10, i32 2, i32 11, i32 3>
 741   ret <8 x i16> %shuffle
 742 }
 743 define <8 x i16> @shuffle_v8i16_c4d5e6f7(<8 x i16> %a, <8 x i16> %b) {
 744 ; ALL-LABEL: shuffle_v8i16_c4d5e6f7:
 745 ; ALL:       # BB#0:
 746 ; ALL-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
 747 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
 748 ; ALL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
 749 ; ALL-NEXT:    retq
 750   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 4, i32 13, i32 5, i32 14, i32 6, i32 15, i32 7>
 751   ret <8 x i16> %shuffle
 752 }
 753
 754 define <8 x i16> @shuffle_v8i16_0213cedf(<8 x i16> %a, <8 x i16> %b) {
 755 ; ALL-LABEL: shuffle_v8i16_0213cedf:
 756 ; ALL:       # BB#0:
 757 ; ALL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,1,3,4,5,6,7]
 758 ; ALL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
 759 ; ALL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,1,3,4,5,6,7]
 760 ; ALL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 761 ; ALL-NEXT:    retq
 762   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 2, i32 1, i32 3, i32 12, i32 14, i32 13, i32 15>
 763   ret <8 x i16> %shuffle
 764 }
 765
 766 define <8 x i16> @shuffle_v8i16_443aXXXX(<8 x i16> %a, <8 x i16> %b) {
 767 ; SSE2-LABEL: shuffle_v8i16_443aXXXX:
 768 ; SSE2:       # BB#0:
 769 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
 770 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,2,3,4,5,6,7]
 771 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 772 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
 773 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,5,6,7]
 774 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 775 ; SSE2-NEXT:    retq
 776 ;
 777 ; SSSE3-LABEL: shuffle_v8i16_443aXXXX:
 778 ; SSSE3:       # BB#0:
 779 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
 780 ; SSSE3-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,2,3,4,5,6,7]
 781 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 782 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,12,13,10,11,12,13,10,11,12,13,14,15]
 783 ; SSSE3-NEXT:    retq
 784 ;
 785 ; SSE41-LABEL: shuffle_v8i16_443aXXXX:
 786 ; SSE41:       # BB#0:
 787 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
 788 ; SSE41-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,2,3,4,5,6,7]
 789 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 790 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,12,13,10,11,12,13,10,11,12,13,14,15]
 791 ; SSE41-NEXT:    retq
 792   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 3, i32 10, i32 undef, i32 undef, i32 undef, i32 undef>
 793   ret <8 x i16> %shuffle
 794 }
 795
 796 define <8 x i16> @shuffle_v8i16_032dXXXX(<8 x i16> %a, <8 x i16> %b) {
 797 ; SSE2-LABEL: shuffle_v8i16_032dXXXX:
 798 ; SSE2:       # BB#0:
 799 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 800 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 801 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,3,4,5,6,7]
 802 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
 803 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 804 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,1,4,5,6,7]
 805 ; SSE2-NEXT:    retq
 806 ;
 807 ; SSSE3-LABEL: shuffle_v8i16_032dXXXX:
 808 ; SSSE3:       # BB#0:
 809 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 810 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 811 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,12,13,8,9,6,7,8,9,12,13,12,13,14,15]
 812 ; SSSE3-NEXT:    retq
 813 ;
 814 ; SSE41-LABEL: shuffle_v8i16_032dXXXX:
 815 ; SSE41:       # BB#0:
 816 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 817 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 818 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,12,13,8,9,6,7,8,9,12,13,12,13,14,15]
 819 ; SSE41-NEXT:    retq
 820   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 3, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 821   ret <8 x i16> %shuffle
 822 }
 823 define <8 x i16> @shuffle_v8i16_XXXdXXXX(<8 x i16> %a, <8 x i16> %b) {
 824 ; ALL-LABEL: shuffle_v8i16_XXXdXXXX:
 825 ; ALL:       # BB#0:
 826 ; ALL-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,2,3,3]
 827 ; ALL-NEXT:    retq
 828   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 829   ret <8 x i16> %shuffle
 830 }
 831
 832 define <8 x i16> @shuffle_v8i16_012dXXXX(<8 x i16> %a, <8 x i16> %b) {
 833 ; SSE2-LABEL: shuffle_v8i16_012dXXXX:
 834 ; SSE2:       # BB#0:
 835 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 836 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 837 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
 838 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
 839 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
 840 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,0,3,4,5,6,7]
 841 ; SSE2-NEXT:    retq
 842 ;
 843 ; SSSE3-LABEL: shuffle_v8i16_012dXXXX:
 844 ; SSSE3:       # BB#0:
 845 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 846 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 847 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,6,7,8,9,0,1,0,1,2,3]
 848 ; SSSE3-NEXT:    retq
 849 ;
 850 ; SSE41-LABEL: shuffle_v8i16_012dXXXX:
 851 ; SSE41:       # BB#0:
 852 ; SSE41-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
 853 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 854 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,6,7,8,9,0,1,0,1,2,3]
 855 ; SSE41-NEXT:    retq
 856   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 857   ret <8 x i16> %shuffle
 858 }
 859
 860 define <8 x i16> @shuffle_v8i16_XXXXcde3(<8 x i16> %a, <8 x i16> %b) {
 861 ; SSE2-LABEL: shuffle_v8i16_XXXXcde3:
 862 ; SSE2:       # BB#0:
 863 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
 864 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 865 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
 866 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,7,6,7]
 867 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,2]
 868 ; SSE2-NEXT:    retq
 869 ;
 870 ; SSSE3-LABEL: shuffle_v8i16_XXXXcde3:
 871 ; SSSE3:       # BB#0:
 872 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
 873 ; SSSE3-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 874 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,4,5,6,7,0,1,4,5,8,9,14,15]
 875 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 876 ; SSSE3-NEXT:    retq
 877 ;
 878 ; SSE41-LABEL: shuffle_v8i16_XXXXcde3:
 879 ; SSE41:       # BB#0:
 880 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
 881 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 882 ; SSE41-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,4,5,6,7,0,1,4,5,8,9,14,15]
 883 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 884 ; SSE41-NEXT:    retq
 885   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 12, i32 13, i32 14, i32 3>
 886   ret <8 x i16> %shuffle
 887 }
 888
 889 define <8 x i16> @shuffle_v8i16_cde3XXXX(<8 x i16> %a, <8 x i16> %b) {
 890 ; SSE2-LABEL: shuffle_v8i16_cde3XXXX:
 891 ; SSE2:       # BB#0:
 892 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
 893 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 894 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
 895 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,7,6,7]
 896 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 897 ; SSE2-NEXT:    retq
 898 ;
 899 ; SSSE3-LABEL: shuffle_v8i16_cde3XXXX:
 900 ; SSSE3:       # BB#0:
 901 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
 902 ; SSSE3-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 903 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,8,9,14,15,8,9,14,15,12,13,14,15]
 904 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 905 ; SSSE3-NEXT:    retq
 906 ;
 907 ; SSE41-LABEL: shuffle_v8i16_cde3XXXX:
 908 ; SSE41:       # BB#0:
 909 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
 910 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 911 ; SSE41-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,8,9,14,15,8,9,14,15,12,13,14,15]
 912 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 913 ; SSE41-NEXT:    retq
 914   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 13, i32 14, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 915   ret <8 x i16> %shuffle
 916 }
 917
 918 define <8 x i16> @shuffle_v8i16_012dcde3(<8 x i16> %a, <8 x i16> %b) {
 919 ; SSE2-LABEL: shuffle_v8i16_012dcde3:
 920 ; SSE2:       # BB#0:
 921 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[0,1,0,1]
 922 ; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
 923 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 924 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
 925 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,7,6,7]
 926 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 927 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
 928 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
 929 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
 930 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
 931 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,0,3,4,5,6,7]
 932 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 933 ; SSE2-NEXT:    retq
 934 ;
 935 ; SSSE3-LABEL: shuffle_v8i16_012dcde3:
 936 ; SSSE3:       # BB#0:
 937 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[0,1,0,1]
 938 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
 939 ; SSSE3-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 940 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,8,9,14,15,8,9,14,15,12,13,14,15]
 941 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
 942 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,6,7,8,9,0,1,0,1,2,3]
 943 ; SSSE3-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 944 ; SSSE3-NEXT:    retq
 945 ;
 946 ; SSE41-LABEL: shuffle_v8i16_012dcde3:
 947 ; SSE41:       # BB#0:
 948 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[0,1,0,1]
 949 ; SSE41-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[2,3,0,1]
 950 ; SSE41-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 951 ; SSE41-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[0,1,4,5,8,9,14,15,8,9,14,15,12,13,14,15]
 952 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
 953 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,4,5,8,9,6,7,8,9,0,1,0,1,2,3]
 954 ; SSE41-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 955 ; SSE41-NEXT:    retq
 956   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 12, i32 13, i32 14, i32 3>
 957   ret <8 x i16> %shuffle
 958 }
 959
 960 define <8 x i16> @shuffle_v8i16_XXX1X579(<8 x i16> %a, <8 x i16> %b) {
 961 ; SSE2-LABEL: shuffle_v8i16_XXX1X579:
 962 ; SSE2:       # BB#0:
 963 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,5,6,7]
 964 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
 965 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,1,3,2,4,5,6,7]
 966 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 967 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
 968 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,2,1]
 969 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,1,2,2,4,5,6,7]
 970 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,4,5,7]
 971 ; SSE2-NEXT:    retq
 972 ;
 973 ; SSSE3-LABEL: shuffle_v8i16_XXX1X579:
 974 ; SSSE3:       # BB#0:
 975 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,10,11,14,15,14,15,10,11,12,13,14,15]
 976 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 977 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,4,5,8,9,8,9,12,13,6,7]
 978 ; SSSE3-NEXT:    retq
 979 ;
 980 ; SSE41-LABEL: shuffle_v8i16_XXX1X579:
 981 ; SSE41:       # BB#0:
 982 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,10,11,14,15,14,15,10,11,12,13,14,15]
 983 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 984 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,4,5,8,9,8,9,12,13,6,7]
 985 ; SSE41-NEXT:    retq
 986   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 1, i32 undef, i32 5, i32 7, i32 9>
 987   ret <8 x i16> %shuffle
 988 }
 989
 990 define <8 x i16> @shuffle_v8i16_XX4X8acX(<8 x i16> %a, <8 x i16> %b) {
 991 ; SSE2-LABEL: shuffle_v8i16_XX4X8acX:
 992 ; SSE2:       # BB#0:
 993 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 994 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
 995 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
 996 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3]
 997 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,1,2,0,4,5,6,7]
 998 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,2,1]
 999 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,1,1,3,4,5,6,7]
1000 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,4,7]
1001 ; SSE2-NEXT:    retq
1002 ;
1003 ; SSSE3-LABEL: shuffle_v8i16_XX4X8acX:
1004 ; SSSE3:       # BB#0:
1005 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
1006 ; SSSE3-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
1007 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1008 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
1009 ; SSSE3-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,2,3,0,1,0,1,4,5,8,9,0,1]
1010 ; SSSE3-NEXT:    retq
1011 ;
1012 ; SSE41-LABEL: shuffle_v8i16_XX4X8acX:
1013 ; SSE41:       # BB#0:
1014 ; SSE41-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
1015 ; SSE41-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
1016 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1017 ; SSE41-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
1018 ; SSE41-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,2,3,0,1,0,1,4,5,8,9,0,1]
1019 ; SSE41-NEXT:    retq
1020   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 4, i32 undef, i32 8, i32 10, i32 12, i32 undef>
1021   ret <8 x i16> %shuffle
1022 }
1023
1024 define <8 x i16> @shuffle_v8i16_8zzzzzzz(i16 %i) {
1025 ; ALL-LABEL: shuffle_v8i16_8zzzzzzz:
1026 ; ALL:       # BB#0:
1027 ; ALL-NEXT:    movzwl %di, %eax
1028 ; ALL-NEXT:    movd %eax, %xmm0
1029 ; ALL-NEXT:    retq
1030   %a = insertelement <8 x i16> undef, i16 %i, i32 0
1031   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 8, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
1032   ret <8 x i16> %shuffle
1033 }
1034
1035 define <8 x i16> @shuffle_v8i16_z8zzzzzz(i16 %i) {
1036 ; ALL-LABEL: shuffle_v8i16_z8zzzzzz:
1037 ; ALL:       # BB#0:
1038 ; ALL-NEXT:    movzwl %di, %eax
1039 ; ALL-NEXT:    movd %eax, %xmm0
1040 ; ALL-NEXT:    pslldq $2, %xmm0
1041 ; ALL-NEXT:    retq
1042   %a = insertelement <8 x i16> undef, i16 %i, i32 0
1043   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 2, i32 8, i32 3, i32 7, i32 6, i32 5, i32 4, i32 3>
1044   ret <8 x i16> %shuffle
1045 }
1046
1047 define <8 x i16> @shuffle_v8i16_zzzzz8zz(i16 %i) {
1048 ; ALL-LABEL: shuffle_v8i16_zzzzz8zz:
1049 ; ALL:       # BB#0:
1050 ; ALL-NEXT:    movzwl %di, %eax
1051 ; ALL-NEXT:    movd %eax, %xmm0
1052 ; ALL-NEXT:    pslldq $10, %xmm0
1053 ; ALL-NEXT:    retq
1054   %a = insertelement <8 x i16> undef, i16 %i, i32 0
1055   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 8, i32 0, i32 0>
1056   ret <8 x i16> %shuffle
1057 }
1058
1059 define <8 x i16> @shuffle_v8i16_zuuzuuz8(i16 %i) {
1060 ; ALL-LABEL: shuffle_v8i16_zuuzuuz8:
1061 ; ALL:       # BB#0:
1062 ; ALL-NEXT:    movzwl %di, %eax
1063 ; ALL-NEXT:    movd %eax, %xmm0
1064 ; ALL-NEXT:    pslldq $14, %xmm0
1065 ; ALL-NEXT:    retq
1066   %a = insertelement <8 x i16> undef, i16 %i, i32 0
1067   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 undef, i32 undef, i32 3, i32 undef, i32 undef, i32 6, i32 8>
1068   ret <8 x i16> %shuffle
1069 }
1070
1071 define <8 x i16> @shuffle_v8i16_zzBzzzzz(i16 %i) {
1072 ; ALL-LABEL: shuffle_v8i16_zzBzzzzz:
1073 ; ALL:       # BB#0:
1074 ; ALL-NEXT:    movzwl %di, %eax
1075 ; ALL-NEXT:    movd %eax, %xmm0
1076 ; ALL-NEXT:    pslldq $4, %xmm0
1077 ; ALL-NEXT:    retq
1078   %a = insertelement <8 x i16> undef, i16 %i, i32 3
1079   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 1, i32 11, i32 3, i32 4, i32 5, i32 6, i32 7>
1080   ret <8 x i16> %shuffle
1081 }
1082
1083 define <8 x i16> @shuffle_v8i16_def01234(<8 x i16> %a, <8 x i16> %b) {
1084 ; SSE2-LABEL: shuffle_v8i16_def01234:
1085 ; SSE2:       # BB#0:
1086 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[0,1,0,1]
1087 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
1088 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[2,1,2,3,4,5,6,7]
1089 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,6,6,7]
1090 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1091 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,3,1,4,5,6,7]
1092 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
1093 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,7,6,7]
1094 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,3]
1095 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
1096 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
1097 ; SSE2-NEXT:    movdqa %xmm1, %xmm0
1098 ; SSE2-NEXT:    retq
1099 ;
1100 ; SSSE3-LABEL: shuffle_v8i16_def01234:
1101 ; SSSE3:       # BB#0:
1102 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1103 ; SSSE3-NEXT:    retq
1104 ;
1105 ; SSE41-LABEL: shuffle_v8i16_def01234:
1106 ; SSE41:       # BB#0:
1107 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1108 ; SSE41-NEXT:    retq
1109   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 13, i32 14, i32 15, i32 0, i32 1, i32 2, i32 3, i32 4>
1110   ret <8 x i16> %shuffle
1111 }
1112
1113 define <8 x i16> @shuffle_v8i16_ueuu123u(<8 x i16> %a, <8 x i16> %b) {
1114 ; SSE2-LABEL: shuffle_v8i16_ueuu123u:
1115 ; SSE2:       # BB#0:
1116 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
1117 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1118 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,5,7]
1119 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,1]
1120 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
1121 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,4,5,7]
1122 ; SSE2-NEXT:    retq
1123 ;
1124 ; SSSE3-LABEL: shuffle_v8i16_ueuu123u:
1125 ; SSSE3:       # BB#0:
1126 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1127 ; SSSE3-NEXT:    retq
1128 ;
1129 ; SSE41-LABEL: shuffle_v8i16_ueuu123u:
1130 ; SSE41:       # BB#0:
1131 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9]
1132 ; SSE41-NEXT:    retq
1133   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 14, i32 undef, i32 undef, i32 1, i32 2, i32 3, i32 undef>
1134   ret <8 x i16> %shuffle
1135 }
1136
1137 define <8 x i16> @shuffle_v8i16_56701234(<8 x i16> %a, <8 x i16> %b) {
1138 ; SSE2-LABEL: shuffle_v8i16_56701234:
1139 ; SSE2:       # BB#0:
1140 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
1141 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,1,4,5,6,7]
1142 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,1]
1143 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
1144 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,4,5,6]
1145 ; SSE2-NEXT:    retq
1146 ;
1147 ; SSSE3-LABEL: shuffle_v8i16_56701234:
1148 ; SSSE3:       # BB#0:
1149 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1150 ; SSSE3-NEXT:    retq
1151 ;
1152 ; SSE41-LABEL: shuffle_v8i16_56701234:
1153 ; SSE41:       # BB#0:
1154 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1155 ; SSE41-NEXT:    retq
1156   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 6, i32 7, i32 0, i32 1, i32 2, i32 3, i32 4>
1157   ret <8 x i16> %shuffle
1158 }
1159
1160 define <8 x i16> @shuffle_v8i16_u6uu123u(<8 x i16> %a, <8 x i16> %b) {
1161 ; SSE2-LABEL: shuffle_v8i16_u6uu123u:
1162 ; SSE2:       # BB#0:
1163 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,0,1]
1164 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
1165 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,6,7,7]
1166 ; SSE2-NEXT:    retq
1167 ;
1168 ; SSSE3-LABEL: shuffle_v8i16_u6uu123u:
1169 ; SSSE3:       # BB#0:
1170 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1171 ; SSSE3-NEXT:    retq
1172 ;
1173 ; SSE41-LABEL: shuffle_v8i16_u6uu123u:
1174 ; SSE41:       # BB#0:
1175 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1176 ; SSE41-NEXT:    retq
1177   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 6, i32 undef, i32 undef, i32 1, i32 2, i32 3, i32 undef>
1178   ret <8 x i16> %shuffle
1179 }
1180
1181 define <8 x i16> @shuffle_v8i16_uuuu123u(<8 x i16> %a, <8 x i16> %b) {
1182 ; SSE2-LABEL: shuffle_v8i16_uuuu123u:
1183 ; SSE2:       # BB#0:
1184 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1185 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,6,7,7]
1186 ; SSE2-NEXT:    retq
1187 ;
1188 ; SSSE3-LABEL: shuffle_v8i16_uuuu123u:
1189 ; SSSE3:       # BB#0:
1190 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1191 ; SSSE3-NEXT:    retq
1192 ;
1193 ; SSE41-LABEL: shuffle_v8i16_uuuu123u:
1194 ; SSE41:       # BB#0:
1195 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[10,11,12,13,14,15,0,1,2,3,4,5,6,7,8,9]
1196 ; SSE41-NEXT:    retq
1197   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 1, i32 2, i32 3, i32 undef>
1198   ret <8 x i16> %shuffle
1199 }
1200
1201 define <8 x i16> @shuffle_v8i16_bcdef012(<8 x i16> %a, <8 x i16> %b) {
1202 ; SSE2-LABEL: shuffle_v8i16_bcdef012:
1203 ; SSE2:       # BB#0:
1204 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,0,1]
1205 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3]
1206 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
1207 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,7,6,7]
1208 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1209 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm2 = xmm0[3,0,1,2,4,5,6,7]
1210 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[3,1,2,0]
1211 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,3,4,5,6,7]
1212 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1213 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
1214 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
1215 ; SSE2-NEXT:    retq
1216 ;
1217 ; SSSE3-LABEL: shuffle_v8i16_bcdef012:
1218 ; SSSE3:       # BB#0:
1219 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1220 ; SSSE3-NEXT:    retq
1221 ;
1222 ; SSE41-LABEL: shuffle_v8i16_bcdef012:
1223 ; SSE41:       # BB#0:
1224 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1225 ; SSE41-NEXT:    retq
1226   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 11, i32 12, i32 13, i32 14, i32 15, i32 0, i32 1, i32 2>
1227   ret <8 x i16> %shuffle
1228 }
1229
1230 define <8 x i16> @shuffle_v8i16_ucdeuu1u(<8 x i16> %a, <8 x i16> %b) {
1231 ; SSE2-LABEL: shuffle_v8i16_ucdeuu1u:
1232 ; SSE2:       # BB#0:
1233 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
1234 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
1235 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm1[0,2,2,3,4,5,6,7]
1236 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,1]
1237 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,1,2,4,5,6,7]
1238 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,7,7]
1239 ; SSE2-NEXT:    retq
1240 ;
1241 ; SSSE3-LABEL: shuffle_v8i16_ucdeuu1u:
1242 ; SSSE3:       # BB#0:
1243 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1244 ; SSSE3-NEXT:    retq
1245 ;
1246 ; SSE41-LABEL: shuffle_v8i16_ucdeuu1u:
1247 ; SSE41:       # BB#0:
1248 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5]
1249 ; SSE41-NEXT:    retq
1250   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 12, i32 13, i32 14, i32 undef, i32 undef, i32 1, i32 undef>
1251   ret <8 x i16> %shuffle
1252 }
1253
1254 define <8 x i16> @shuffle_v8i16_34567012(<8 x i16> %a, <8 x i16> %b) {
1255 ; SSE2-LABEL: shuffle_v8i16_34567012:
1256 ; SSE2:       # BB#0:
1257 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
1258 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,1,4,5,6,7]
1259 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
1260 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
1261 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,6,7,4]
1262 ; SSE2-NEXT:    retq
1263 ;
1264 ; SSSE3-LABEL: shuffle_v8i16_34567012:
1265 ; SSSE3:       # BB#0:
1266 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1267 ; SSSE3-NEXT:    retq
1268 ;
1269 ; SSE41-LABEL: shuffle_v8i16_34567012:
1270 ; SSE41:       # BB#0:
1271 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1272 ; SSE41-NEXT:    retq
1273   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 4, i32 5, i32 6, i32 7, i32 0, i32 1, i32 2>
1274   ret <8 x i16> %shuffle
1275 }
1276
1277 define <8 x i16> @shuffle_v8i16_u456uu1u(<8 x i16> %a, <8 x i16> %b) {
1278 ; SSE2-LABEL: shuffle_v8i16_u456uu1u:
1279 ; SSE2:       # BB#0:
1280 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,3]
1281 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,1,2,4,5,6,7]
1282 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,5,7]
1283 ; SSE2-NEXT:    retq
1284 ;
1285 ; SSSE3-LABEL: shuffle_v8i16_u456uu1u:
1286 ; SSSE3:       # BB#0:
1287 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1288 ; SSSE3-NEXT:    retq
1289 ;
1290 ; SSE41-LABEL: shuffle_v8i16_u456uu1u:
1291 ; SSE41:       # BB#0:
1292 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1293 ; SSE41-NEXT:    retq
1294   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 5, i32 6, i32 undef, i32 undef, i32 1, i32 undef>
1295   ret <8 x i16> %shuffle
1296 }
1297
1298 define <8 x i16> @shuffle_v8i16_u456uuuu(<8 x i16> %a, <8 x i16> %b) {
1299 ; SSE2-LABEL: shuffle_v8i16_u456uuuu:
1300 ; SSE2:       # BB#0:
1301 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
1302 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,1,2,4,5,6,7]
1303 ; SSE2-NEXT:    retq
1304 ;
1305 ; SSSE3-LABEL: shuffle_v8i16_u456uuuu:
1306 ; SSSE3:       # BB#0:
1307 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1308 ; SSSE3-NEXT:    retq
1309 ;
1310 ; SSE41-LABEL: shuffle_v8i16_u456uuuu:
1311 ; SSE41:       # BB#0:
1312 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm0[6,7,8,9,10,11,12,13,14,15,0,1,2,3,4,5]
1313 ; SSE41-NEXT:    retq
1314   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 5, i32 6, i32 undef, i32 undef, i32 undef, i32 undef>
1315   ret <8 x i16> %shuffle
1316 }
1317
1318 define <8 x i16> @shuffle_v8i16_3456789a(<8 x i16> %a, <8 x i16> %b) {
1319 ; SSE2-LABEL: shuffle_v8i16_3456789a:
1320 ; SSE2:       # BB#0:
1321 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,0,1]
1322 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3]
1323 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[0,2,2,3,4,5,6,7]
1324 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,7,6,7]
1325 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
1326 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,0,1,2,4,5,6,7]
1327 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,1,2,0]
1328 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,3,2,3,4,5,6,7]
1329 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1330 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[1,2,3,0,4,5,6,7]
1331 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1332 ; SSE2-NEXT:    retq
1333 ;
1334 ; SSSE3-LABEL: shuffle_v8i16_3456789a:
1335 ; SSSE3:       # BB#0:
1336 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1337 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1338 ; SSSE3-NEXT:    retq
1339 ;
1340 ; SSE41-LABEL: shuffle_v8i16_3456789a:
1341 ; SSE41:       # BB#0:
1342 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1343 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1344 ; SSE41-NEXT:    retq
1345   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10>
1346   ret <8 x i16> %shuffle
1347 }
1348
1349 define <8 x i16> @shuffle_v8i16_u456uu9u(<8 x i16> %a, <8 x i16> %b) {
1350 ; SSE2-LABEL: shuffle_v8i16_u456uu9u:
1351 ; SSE2:       # BB#0:
1352 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,1,0,1]
1353 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
1354 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
1355 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,1]
1356 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,0,1,2,4,5,6,7]
1357 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5,7,7]
1358 ; SSE2-NEXT:    retq
1359 ;
1360 ; SSSE3-LABEL: shuffle_v8i16_u456uu9u:
1361 ; SSSE3:       # BB#0:
1362 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1363 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1364 ; SSSE3-NEXT:    retq
1365 ;
1366 ; SSE41-LABEL: shuffle_v8i16_u456uu9u:
1367 ; SSE41:       # BB#0:
1368 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5]
1369 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1370 ; SSE41-NEXT:    retq
1371   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 5, i32 6, i32 undef, i32 undef, i32 9, i32 undef>
1372   ret <8 x i16> %shuffle
1373 }
1374
1375 define <8 x i16> @shuffle_v8i16_56789abc(<8 x i16> %a, <8 x i16> %b) {
1376 ; SSE2-LABEL: shuffle_v8i16_56789abc:
1377 ; SSE2:       # BB#0:
1378 ; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[0,1,0,1]
1379 ; SSE2-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
1380 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[2,1,2,3,4,5,6,7]
1381 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,6,6,7]
1382 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
1383 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,3,1,4,5,6,7]
1384 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[3,1,2,0]
1385 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,4,7,6,7]
1386 ; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,1,2,3]
1387 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[1,2,3,0,4,5,6,7]
1388 ; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1389 ; SSE2-NEXT:    retq
1390 ;
1391 ; SSSE3-LABEL: shuffle_v8i16_56789abc:
1392 ; SSSE3:       # BB#0:
1393 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1394 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1395 ; SSSE3-NEXT:    retq
1396 ;
1397 ; SSE41-LABEL: shuffle_v8i16_56789abc:
1398 ; SSE41:       # BB#0:
1399 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1400 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1401 ; SSE41-NEXT:    retq
1402   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11, i32 12>
1403   ret <8 x i16> %shuffle
1404 }
1405
1406 define <8 x i16> @shuffle_v8i16_u6uu9abu(<8 x i16> %a, <8 x i16> %b) {
1407 ; SSE2-LABEL: shuffle_v8i16_u6uu9abu:
1408 ; SSE2:       # BB#0:
1409 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
1410 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3]
1411 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm1[0,1,2,3,4,6,5,7]
1412 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,2,1]
1413 ; SSE2-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[0,2,2,3,4,5,6,7]
1414 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,6,4,5,7]
1415 ; SSE2-NEXT:    retq
1416 ;
1417 ; SSSE3-LABEL: shuffle_v8i16_u6uu9abu:
1418 ; SSSE3:       # BB#0:
1419 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1420 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1421 ; SSSE3-NEXT:    retq
1422 ;
1423 ; SSE41-LABEL: shuffle_v8i16_u6uu9abu:
1424 ; SSE41:       # BB#0:
1425 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9]
1426 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1427 ; SSE41-NEXT:    retq
1428   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 6, i32 undef, i32 undef, i32 9, i32 10, i32 11, i32 undef>
1429   ret <8 x i16> %shuffle
1430 }
1431
1432 define <8 x i16> @shuffle_v8i16_0uuu1uuu(<8 x i16> %a) {
1433 ; SSE2-LABEL: shuffle_v8i16_0uuu1uuu:
1434 ; SSE2:       # BB#0:
1435 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,3]
1436 ; SSE2-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,5,6,7]
1437 ; SSE2-NEXT:    retq
1438 ;
1439 ; SSSE3-LABEL: shuffle_v8i16_0uuu1uuu:
1440 ; SSSE3:       # BB#0:
1441 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,3]
1442 ; SSSE3-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,5,5,6,7]
1443 ; SSSE3-NEXT:    retq
1444 ;
1445 ; SSE41-LABEL: shuffle_v8i16_0uuu1uuu:
1446 ; SSE41:       # BB#0:
1447 ; SSE41-NEXT:    pmovzxwq %xmm0, %xmm0
1448 ; SSE41-NEXT:    retq
1449   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 undef, i32 undef, i32 undef, i32 1, i32 undef, i32 undef, i32 undef>
1450   ret <8 x i16> %shuffle
1451 }
1452
1453 define <8 x i16> @shuffle_v8i16_0zzz1zzz(<8 x i16> %a) {
1454 ; SSE2-LABEL: shuffle_v8i16_0zzz1zzz:
1455 ; SSE2:       # BB#0:
1456 ; SSE2-NEXT:    pxor %xmm1, %xmm1
1457 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1458 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1459 ; SSE2-NEXT:    retq
1460 ;
1461 ; SSSE3-LABEL: shuffle_v8i16_0zzz1zzz:
1462 ; SSSE3:       # BB#0:
1463 ; SSSE3-NEXT:    pxor %xmm1, %xmm1
1464 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1465 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1466 ; SSSE3-NEXT:    retq
1467 ;
1468 ; SSE41-LABEL: shuffle_v8i16_0zzz1zzz:
1469 ; SSE41:       # BB#0:
1470 ; SSE41-NEXT:    pmovzxwq %xmm0, %xmm0
1471 ; SSE41-NEXT:    retq
1472   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 9, i32 10, i32 11, i32 1, i32 13, i32 14, i32 15>
1473   ret <8 x i16> %shuffle
1474 }
1475
1476 define <8 x i16> @shuffle_v8i16_0u1u2u3u(<8 x i16> %a) {
1477 ; SSE2-LABEL: shuffle_v8i16_0u1u2u3u:
1478 ; SSE2:       # BB#0:
1479 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
1480 ; SSE2-NEXT:    retq
1481 ;
1482 ; SSSE3-LABEL: shuffle_v8i16_0u1u2u3u:
1483 ; SSSE3:       # BB#0:
1484 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3]
1485 ; SSSE3-NEXT:    retq
1486 ;
1487 ; SSE41-LABEL: shuffle_v8i16_0u1u2u3u:
1488 ; SSE41:       # BB#0:
1489 ; SSE41-NEXT:    pmovzxwd %xmm0, %xmm0
1490 ; SSE41-NEXT:    retq
1491   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 undef, i32 1, i32 undef, i32 2, i32 undef, i32 3, i32 undef>
1492   ret <8 x i16> %shuffle
1493 }
1494
1495 define <8 x i16> @shuffle_v8i16_0z1z2z3z(<8 x i16> %a) {
1496 ; SSE2-LABEL: shuffle_v8i16_0z1z2z3z:
1497 ; SSE2:       # BB#0:
1498 ; SSE2-NEXT:    pxor %xmm1, %xmm1
1499 ; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1500 ; SSE2-NEXT:    retq
1501 ;
1502 ; SSSE3-LABEL: shuffle_v8i16_0z1z2z3z:
1503 ; SSSE3:       # BB#0:
1504 ; SSSE3-NEXT:    pxor %xmm1, %xmm1
1505 ; SSSE3-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
1506 ; SSSE3-NEXT:    retq
1507 ;
1508 ; SSE41-LABEL: shuffle_v8i16_0z1z2z3z:
1509 ; SSE41:       # BB#0:
1510 ; SSE41-NEXT:    pmovzxwd %xmm0, %xmm0
1511 ; SSE41-NEXT:    retq
1512   %shuffle = shufflevector <8 x i16> %a, <8 x i16> zeroinitializer, <8 x i32> <i32 0, i32 9, i32 1, i32 11, i32 2, i32 13, i32 3, i32 15>
1513   ret <8 x i16> %shuffle
1514 }