test/CodeGen/X86/vector-shuffle-128-v8.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSSE3
   3
   4 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   5 target triple = "x86_64-unknown-unknown"
   6
   7 define <8 x i16> @shuffle_v8i16_01012323(<8 x i16> %a, <8 x i16> %b) {
   8 ; ALL-LABEL: @shuffle_v8i16_01012323
   9 ; ALL:       # BB#0:
  10 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,0,1,1]
  11 ; ALL-NEXT:    retq
  12   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 0, i32 1, i32 2, i32 3, i32 2, i32 3>
  13   ret <8 x i16> %shuffle
  14 }
  15 define <8 x i16> @shuffle_v8i16_67452301(<8 x i16> %a, <8 x i16> %b) {
  16 ; ALL-LABEL: @shuffle_v8i16_67452301
  17 ; ALL:       # BB#0:
  18 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,2,1,0]
  19 ; ALL-NEXT:    retq
  20   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 6, i32 7, i32 4, i32 5, i32 2, i32 3, i32 0, i32 1>
  21   ret <8 x i16> %shuffle
  22 }
  23 define <8 x i16> @shuffle_v8i16_456789AB(<8 x i16> %a, <8 x i16> %b) {
  24 ; ALL-LABEL: @shuffle_v8i16_456789AB
  25 ; ALL:       # BB#0:
  26 ; ALL:         shufpd {{.*}} # xmm0 = xmm0[1],xmm1[0]
  27 ; ALL-NEXT:    retq
  28   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11>
  29   ret <8 x i16> %shuffle
  30 }
  31
  32 define <8 x i16> @shuffle_v8i16_00000000(<8 x i16> %a, <8 x i16> %b) {
  33 ; SSE2-LABEL: @shuffle_v8i16_00000000
  34 ; SSE2:       # BB#0:
  35 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,0,3]
  36 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  37 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  38 ; SSE2-NEXT:    retq
  39 ;
  40 ; SSSE3-LABEL: @shuffle_v8i16_00000000
  41 ; SSSE3:       # BB#0:
  42 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1]
  43 ; SSSE3-NEXT:    retq
  44   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
  45   ret <8 x i16> %shuffle
  46 }
  47 define <8 x i16> @shuffle_v8i16_00004444(<8 x i16> %a, <8 x i16> %b) {
  48 ; ALL-LABEL: @shuffle_v8i16_00004444
  49 ; ALL:       # BB#0:
  50 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  51 ; ALL-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  52 ; ALL-NEXT:    retq
  53   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
  54   ret <8 x i16> %shuffle
  55 }
  56 define <8 x i16> @shuffle_v8i16_31206745(<8 x i16> %a, <8 x i16> %b) {
  57 ; ALL-LABEL: @shuffle_v8i16_31206745
  58 ; ALL:       # BB#0:
  59 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,1,2,0,4,5,6,7]
  60 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,3,2]
  61 ; ALL-NEXT:    retq
  62   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 1, i32 2, i32 0, i32 6, i32 7, i32 4, i32 5>
  63   ret <8 x i16> %shuffle
  64 }
  65 define <8 x i16> @shuffle_v8i16_44440000(<8 x i16> %a, <8 x i16> %b) {
  66 ; SSE2-LABEL: @shuffle_v8i16_44440000
  67 ; SSE2:       # BB#0:
  68 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,0,3]
  69 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  70 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  71 ; SSE2-NEXT:    retq
  72 ;
  73 ; SSSE3-LABEL: @shuffle_v8i16_44440000
  74 ; SSSE3:       # BB#0:
  75 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,8,9,8,9,8,9,0,1,0,1,0,1,0,1]
  76 ; SSSE3-NEXT:    retq
  77   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0>
  78   ret <8 x i16> %shuffle
  79 }
  80 define <8 x i16> @shuffle_v8i16_75643120(<8 x i16> %a, <8 x i16> %b) {
  81 ; SSE2-LABEL: @shuffle_v8i16_75643120
  82 ; SSE2:       # BB#0:
  83 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,0,1]
  84 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,1,2,0,4,5,6,7]
  85 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,6,4]
  86 ; SSE2-NEXT:    retq
  87 ;
  88 ; SSSE3-LABEL: @shuffle_v8i16_75643120
  89 ; SSSE3:       # BB#0:
  90 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[14,15,10,11,12,13,8,9,6,7,2,3,4,5,0,1]
  91 ; SSSE3-NEXT:    retq
  92   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 7, i32 5, i32 6, i32 4, i32 3, i32 1, i32 2, i32 0>
  93   ret <8 x i16> %shuffle
  94 }
  95
  96 define <8 x i16> @shuffle_v8i16_10545410(<8 x i16> %a, <8 x i16> %b) {
  97 ; SSE2-LABEL: @shuffle_v8i16_10545410
  98 ; SSE2:       # BB#0:
  99 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 100 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,0,3,2,4,5,6,7]
 101 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,4,7,6]
 102 ; SSE2-NEXT:    retq
 103 ;
 104 ; SSSE3-LABEL: @shuffle_v8i16_10545410
 105 ; SSSE3:       # BB#0:
 106 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[2,3,0,1,10,11,8,9,10,11,8,9,2,3,0,1]
 107 ; SSSE3-NEXT:    retq
 108   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 5, i32 4, i32 5, i32 4, i32 1, i32 0>
 109   ret <8 x i16> %shuffle
 110 }
 111 define <8 x i16> @shuffle_v8i16_54105410(<8 x i16> %a, <8 x i16> %b) {
 112 ; SSE2-LABEL: @shuffle_v8i16_54105410
 113 ; SSE2:       # BB#0:
 114 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 115 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,2,1,0,4,5,6,7]
 116 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,4,7,6]
 117 ; SSE2-NEXT:    retq
 118 ;
 119 ; SSSE3-LABEL: @shuffle_v8i16_54105410
 120 ; SSSE3:       # BB#0:
 121 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[10,11,8,9,2,3,0,1,10,11,8,9,2,3,0,1]
 122 ; SSSE3-NEXT:    retq
 123   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 5, i32 4, i32 1, i32 0>
 124   ret <8 x i16> %shuffle
 125 }
 126 define <8 x i16> @shuffle_v8i16_54101054(<8 x i16> %a, <8 x i16> %b) {
 127 ; SSE2-LABEL: @shuffle_v8i16_54101054
 128 ; SSE2:       # BB#0:
 129 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 130 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,2,1,0,4,5,6,7]
 131 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,6,5,4]
 132 ; SSE2-NEXT:    retq
 133 ;
 134 ; SSSE3-LABEL: @shuffle_v8i16_54101054
 135 ; SSSE3:       # BB#0:
 136 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[10,11,8,9,2,3,0,1,2,3,0,1,10,11,8,9]
 137 ; SSSE3-NEXT:    retq
 138   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 1, i32 0, i32 5, i32 4>
 139   ret <8 x i16> %shuffle
 140 }
 141 define <8 x i16> @shuffle_v8i16_04400440(<8 x i16> %a, <8 x i16> %b) {
 142 ; SSE2-LABEL: @shuffle_v8i16_04400440
 143 ; SSE2:       # BB#0:
 144 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 145 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 146 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,4,4,6]
 147 ; SSE2-NEXT:    retq
 148 ;
 149 ; SSSE3-LABEL: @shuffle_v8i16_04400440
 150 ; SSSE3:       # BB#0:
 151 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,8,9,8,9,0,1]
 152 ; SSSE3-NEXT:    retq
 153   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 0>
 154   ret <8 x i16> %shuffle
 155 }
 156 define <8 x i16> @shuffle_v8i16_40044004(<8 x i16> %a, <8 x i16> %b) {
 157 ; SSE2-LABEL: @shuffle_v8i16_40044004
 158 ; SSE2:       # BB#0:
 159 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 160 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,0,0,2,4,5,6,7]
 161 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,4]
 162 ; SSE2-NEXT:    retq
 163 ;
 164 ; SSSE3-LABEL: @shuffle_v8i16_40044004
 165 ; SSSE3:       # BB#0:
 166 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,0,1,0,1,8,9,8,9,0,1,0,1,8,9]
 167 ; SSSE3-NEXT:    retq
 168   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 0, i32 0, i32 4, i32 4, i32 0, i32 0, i32 4>
 169   ret <8 x i16> %shuffle
 170 }
 171
 172 define <8 x i16> @shuffle_v8i16_26405173(<8 x i16> %a, <8 x i16> %b) {
 173 ; SSE2-LABEL: @shuffle_v8i16_26405173
 174 ; SSE2:       # BB#0:
 175 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 176 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,6,4]
 177 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,1]
 178 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,2,3,0,4,5,6,7]
 179 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,6,4,7]
 180 ; SSE2-NEXT:    retq
 181 ;
 182 ; SSSE3-LABEL: @shuffle_v8i16_26405173
 183 ; SSSE3:       # BB#0:
 184 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[4,5,12,13,8,9,0,1,10,11,2,3,14,15,6,7]
 185 ; SSSE3-NEXT:    retq
 186   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 5, i32 1, i32 7, i32 3>
 187   ret <8 x i16> %shuffle
 188 }
 189 define <8 x i16> @shuffle_v8i16_20645173(<8 x i16> %a, <8 x i16> %b) {
 190 ; SSE2-LABEL: @shuffle_v8i16_20645173
 191 ; SSE2:       # BB#0:
 192 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 193 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,6,4]
 194 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,1]
 195 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,0,2,3,4,5,6,7]
 196 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,6,4,7]
 197 ; SSE2-NEXT:    retq
 198 ;
 199 ; SSSE3-LABEL: @shuffle_v8i16_20645173
 200 ; SSSE3:       # BB#0:
 201 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[4,5,0,1,12,13,8,9,10,11,2,3,14,15,6,7]
 202 ; SSSE3-NEXT:    retq
 203   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 0, i32 6, i32 4, i32 5, i32 1, i32 7, i32 3>
 204   ret <8 x i16> %shuffle
 205 }
 206 define <8 x i16> @shuffle_v8i16_26401375(<8 x i16> %a, <8 x i16> %b) {
 207 ; SSE2-LABEL: @shuffle_v8i16_26401375
 208 ; SSE2:       # BB#0:
 209 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 210 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,6,4]
 211 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,1,2]
 212 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,2,3,0,4,5,6,7]
 213 ; SSE2-NEXT:    retq
 214 ;
 215 ; SSSE3-LABEL: @shuffle_v8i16_26401375
 216 ; SSSE3:       # BB#0:
 217 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[4,5,12,13,8,9,0,1,2,3,6,7,14,15,10,11]
 218 ; SSSE3-NEXT:    retq
 219   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 1, i32 3, i32 7, i32 5>
 220   ret <8 x i16> %shuffle
 221 }
 222
 223 define <8 x i16> @shuffle_v8i16_66751643(<8 x i16> %a, <8 x i16> %b) {
 224 ; SSE2-LABEL: @shuffle_v8i16_66751643
 225 ; SSE2:       # BB#0:
 226 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,1,2,3,4,5,6,7]
 227 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,5,7]
 228 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,0]
 229 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,1,3,2,4,5,6,7]
 230 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,4,6]
 231 ; SSE2-NEXT:    retq
 232 ;
 233 ; SSSE3-LABEL: @shuffle_v8i16_66751643
 234 ; SSSE3:       # BB#0:
 235 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[12,13,12,13,14,15,10,11,2,3,12,13,8,9,6,7]
 236 ; SSSE3-NEXT:    retq
 237   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 6, i32 6, i32 7, i32 5, i32 1, i32 6, i32 4, i32 3>
 238   ret <8 x i16> %shuffle
 239 }
 240
 241 define <8 x i16> @shuffle_v8i16_60514754(<8 x i16> %a, <8 x i16> %b) {
 242 ; SSE2-LABEL: @shuffle_v8i16_60514754
 243 ; SSE2:       # BB#0:
 244 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,5,4,7]
 245 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 246 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,0,3,1,4,5,6,7]
 247 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,7,5,6]
 248 ; SSE2-NEXT:    retq
 249 ;
 250 ; SSSE3-LABEL: @shuffle_v8i16_60514754
 251 ; SSSE3:       # BB#0:
 252 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[12,13,0,1,10,11,2,3,8,9,14,15,10,11,8,9]
 253 ; SSSE3-NEXT:    retq
 254   %shuffle = shufflevector <8 x i16> %a, <8 x i16> undef, <8 x i32> <i32 6, i32 0, i32 5, i32 1, i32 4, i32 7, i32 5, i32 4>
 255   ret <8 x i16> %shuffle
 256 }
 257
 258 define <8 x i16> @shuffle_v8i16_00444444(<8 x i16> %a, <8 x i16> %b) {
 259 ; SSE2-LABEL: @shuffle_v8i16_00444444
 260 ; SSE2:       # BB#0:
 261 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 262 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,2,2,4,5,6,7]
 263 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 264 ; SSE2-NEXT:    retq
 265 ;
 266 ; SSSE3-LABEL: @shuffle_v8i16_00444444
 267 ; SSSE3:       # BB#0:
 268 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,0,1,8,9,8,9,8,9,8,9,8,9,8,9]
 269 ; SSSE3-NEXT:    retq
 270   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 271   ret <8 x i16> %shuffle
 272 }
 273 define <8 x i16> @shuffle_v8i16_44004444(<8 x i16> %a, <8 x i16> %b) {
 274 ; SSE2-LABEL: @shuffle_v8i16_44004444
 275 ; SSE2:       # BB#0:
 276 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 277 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,2,0,0,4,5,6,7]
 278 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 279 ; SSE2-NEXT:    retq
 280 ;
 281 ; SSSE3-LABEL: @shuffle_v8i16_44004444
 282 ; SSSE3:       # BB#0:
 283 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,8,9,0,1,0,1,8,9,8,9,8,9,8,9]
 284 ; SSSE3-NEXT:    retq
 285   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
 286   ret <8 x i16> %shuffle
 287 }
 288 define <8 x i16> @shuffle_v8i16_04404444(<8 x i16> %a, <8 x i16> %b) {
 289 ; SSE2-LABEL: @shuffle_v8i16_04404444
 290 ; SSE2:       # BB#0:
 291 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 292 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 293 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 294 ; SSE2-NEXT:    retq
 295 ;
 296 ; SSSE3-LABEL: @shuffle_v8i16_04404444
 297 ; SSSE3:       # BB#0:
 298 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 299 ; SSSE3-NEXT:    retq
 300   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 301   ret <8 x i16> %shuffle
 302 }
 303 define <8 x i16> @shuffle_v8i16_04400000(<8 x i16> %a, <8 x i16> %b) {
 304 ; SSE2-LABEL: @shuffle_v8i16_04400000
 305 ; SSE2:       # BB#0:
 306 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,0,3]
 307 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 308 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 309 ; SSE2-NEXT:    retq
 310 ;
 311 ; SSSE3-LABEL: @shuffle_v8i16_04400000
 312 ; SSSE3:       # BB#0:
 313 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,0,1,0,1,0,1]
 314 ; SSSE3-NEXT:    retq
 315   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0, i32 0>
 316   ret <8 x i16> %shuffle
 317 }
 318 define <8 x i16> @shuffle_v8i16_04404567(<8 x i16> %a, <8 x i16> %b) {
 319 ; ALL-LABEL: @shuffle_v8i16_04404567
 320 ; ALL:       # BB#0:
 321 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 322 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 323 ; ALL-NEXT:    retq
 324   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 5, i32 6, i32 7>
 325   ret <8 x i16> %shuffle
 326 }
 327
 328 define <8 x i16> @shuffle_v8i16_0X444444(<8 x i16> %a, <8 x i16> %b) {
 329 ; SSE2-LABEL: @shuffle_v8i16_0X444444
 330 ; SSE2:       # BB#0:
 331 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 332 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,1,2,2,4,5,6,7]
 333 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 334 ; SSE2-NEXT:    retq
 335 ;
 336 ; SSSE3-LABEL: @shuffle_v8i16_0X444444
 337 ; SSSE3:       # BB#0:
 338 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,{{[0-9]+,[0-9]+}},8,9,8,9,8,9,8,9,8,9,8,9]
 339 ; SSSE3-NEXT:    retq
 340   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 undef, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 341   ret <8 x i16> %shuffle
 342 }
 343 define <8 x i16> @shuffle_v8i16_44X04444(<8 x i16> %a, <8 x i16> %b) {
 344 ; SSE2-LABEL: @shuffle_v8i16_44X04444
 345 ; SSE2:       # BB#0:
 346 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 347 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,2,2,0,4,5,6,7]
 348 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 349 ; SSE2-NEXT:    retq
 350 ;
 351 ; SSSE3-LABEL: @shuffle_v8i16_44X04444
 352 ; SSSE3:       # BB#0:
 353 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,8,9,{{[0-9]+,[0-9]+}},0,1,8,9,8,9,8,9,8,9]
 354 ; SSSE3-NEXT:    retq
 355   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 undef, i32 0, i32 4, i32 4, i32 4, i32 4>
 356   ret <8 x i16> %shuffle
 357 }
 358 define <8 x i16> @shuffle_v8i16_X4404444(<8 x i16> %a, <8 x i16> %b) {
 359 ; SSE2-LABEL: @shuffle_v8i16_X4404444
 360 ; SSE2:       # BB#0:
 361 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 362 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 363 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 364 ; SSE2-NEXT:    retq
 365 ;
 366 ; SSSE3-LABEL: @shuffle_v8i16_X4404444
 367 ; SSSE3:       # BB#0:
 368 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[{{[0-9]+,[0-9]+}},8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 369 ; SSSE3-NEXT:    retq
 370   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 371   ret <8 x i16> %shuffle
 372 }
 373
 374 define <8 x i16> @shuffle_v8i16_0127XXXX(<8 x i16> %a, <8 x i16> %b) {
 375 ; SSE2-LABEL: @shuffle_v8i16_0127XXXX
 376 ; SSE2:       # BB#0:
 377 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,1,3]
 378 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 379 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 380 ; SSE2-NEXT:    retq
 381 ;
 382 ; SSSE3-LABEL: @shuffle_v8i16_0127XXXX
 383 ; SSSE3:       # BB#0:
 384 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,2,3,4,5,14,15,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 385 ; SSSE3-NEXT:    retq
 386   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 undef, i32 undef, i32 undef, i32 undef>
 387   ret <8 x i16> %shuffle
 388 }
 389
 390 define <8 x i16> @shuffle_v8i16_XXXX4563(<8 x i16> %a, <8 x i16> %b) {
 391 ; SSE2-LABEL: @shuffle_v8i16_XXXX4563
 392 ; SSE2:       # BB#0:
 393 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 394 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 395 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,0]
 396 ; SSE2-NEXT:    retq
 397 ;
 398 ; SSSE3-LABEL: @shuffle_v8i16_XXXX4563
 399 ; SSSE3:       # BB#0:
 400 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}},8,9,10,11,12,13,6,7]
 401 ; SSSE3-NEXT:    retq
 402   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 4, i32 5, i32 6, i32 3>
 403   ret <8 x i16> %shuffle
 404 }
 405
 406 define <8 x i16> @shuffle_v8i16_4563XXXX(<8 x i16> %a, <8 x i16> %b) {
 407 ; SSE2-LABEL: @shuffle_v8i16_4563XXXX
 408 ; SSE2:       # BB#0:
 409 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 410 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 411 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,0,2,3]
 412 ; SSE2-NEXT:    retq
 413 ;
 414 ; SSSE3-LABEL: @shuffle_v8i16_4563XXXX
 415 ; SSSE3:       # BB#0:
 416 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,10,11,12,13,6,7,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 417 ; SSSE3-NEXT:    retq
 418   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 419   ret <8 x i16> %shuffle
 420 }
 421
 422 define <8 x i16> @shuffle_v8i16_01274563(<8 x i16> %a, <8 x i16> %b) {
 423 ; SSE2-LABEL: @shuffle_v8i16_01274563
 424 ; SSE2:       # BB#0:
 425 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,1,3]
 426 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,5,4,7]
 427 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,1,2]
 428 ; SSE2-NEXT:    retq
 429 ;
 430 ; SSSE3-LABEL: @shuffle_v8i16_01274563
 431 ; SSSE3:       # BB#0:
 432 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,2,3,4,5,14,15,8,9,10,11,12,13,6,7]
 433 ; SSSE3-NEXT:    retq
 434   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 4, i32 5, i32 6, i32 3>
 435   ret <8 x i16> %shuffle
 436 }
 437
 438 define <8 x i16> @shuffle_v8i16_45630127(<8 x i16> %a, <8 x i16> %b) {
 439 ; SSE2-LABEL: @shuffle_v8i16_45630127
 440 ; SSE2:       # BB#0:
 441 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 442 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,1,4,5,6,7]
 443 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,0,3,1]
 444 ; SSE2-NEXT:    retq
 445 ;
 446 ; SSSE3-LABEL: @shuffle_v8i16_45630127
 447 ; SSSE3:       # BB#0:
 448 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,10,11,12,13,6,7,0,1,2,3,4,5,14,15]
 449 ; SSSE3-NEXT:    retq
 450   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 0, i32 1, i32 2, i32 7>
 451   ret <8 x i16> %shuffle
 452 }
 453
 454 define <8 x i16> @shuffle_v8i16_37102735(<8 x i16> %a, <8 x i16> %b) {
 455 ; SSE2-LABEL: @shuffle_v8i16_37102735
 456 ; SSE2:       # BB#0:
 457 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,5,7]
 458 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,1,3]
 459 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,6,4]
 460 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 461 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,2,1,0,4,5,6,7]
 462 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,4,5,6]
 463 ; SSE2-NEXT:    retq
 464 ;
 465 ; SSSE3-LABEL: @shuffle_v8i16_37102735
 466 ; SSSE3:       # BB#0:
 467 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[6,7,14,15,2,3,0,1,4,5,14,15,6,7,10,11]
 468 ; SSSE3-NEXT:    retq
 469   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 7, i32 1, i32 0, i32 2, i32 7, i32 3, i32 5>
 470   ret <8 x i16> %shuffle
 471 }
 472
 473 define <8 x i16> @shuffle_v8i16_08192a3b(<8 x i16> %a, <8 x i16> %b) {
 474 ; ALL-LABEL: @shuffle_v8i16_08192a3b
 475 ; ALL:       # BB#0:
 476 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 477 ; ALL-NEXT:    retq
 478   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 2, i32 10, i32 3, i32 11>
 479   ret <8 x i16> %shuffle
 480 }
 481
 482 define <8 x i16> @shuffle_v8i16_0c1d2e3f(<8 x i16> %a, <8 x i16> %b) {
 483 ; ALL-LABEL: @shuffle_v8i16_0c1d2e3f
 484 ; ALL:       # BB#0:
 485 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 486 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 487 ; ALL-NEXT:    retq
 488   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 2, i32 14, i32 3, i32 15>
 489   ret <8 x i16> %shuffle
 490 }
 491
 492 define <8 x i16> @shuffle_v8i16_4c5d6e7f(<8 x i16> %a, <8 x i16> %b) {
 493 ; ALL-LABEL: @shuffle_v8i16_4c5d6e7f
 494 ; ALL:       # BB#0:
 495 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 496 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 497 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 498 ; ALL-NEXT:    retq
 499   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 12, i32 5, i32 13, i32 6, i32 14, i32 7, i32 15>
 500   ret <8 x i16> %shuffle
 501 }
 502
 503 define <8 x i16> @shuffle_v8i16_48596a7b(<8 x i16> %a, <8 x i16> %b) {
 504 ; ALL-LABEL: @shuffle_v8i16_48596a7b
 505 ; ALL:       # BB#0:
 506 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 507 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 508 ; ALL-NEXT:    retq
 509   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 8, i32 5, i32 9, i32 6, i32 10, i32 7, i32 11>
 510   ret <8 x i16> %shuffle
 511 }
 512
 513 define <8 x i16> @shuffle_v8i16_08196e7f(<8 x i16> %a, <8 x i16> %b) {
 514 ; ALL-LABEL: @shuffle_v8i16_08196e7f
 515 ; ALL:       # BB#0:
 516 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[0,3,2,3]
 517 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,3]
 518 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 519 ; ALL-NEXT:    retq
 520   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 6, i32 14, i32 7, i32 15>
 521   ret <8 x i16> %shuffle
 522 }
 523
 524 define <8 x i16> @shuffle_v8i16_0c1d6879(<8 x i16> %a, <8 x i16> %b) {
 525 ; ALL-LABEL: @shuffle_v8i16_0c1d6879
 526 ; ALL:       # BB#0:
 527 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,0,2,3]
 528 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,3]
 529 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 530 ; ALL-NEXT:    retq
 531   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 6, i32 8, i32 7, i32 9>
 532   ret <8 x i16> %shuffle
 533 }
 534
 535 define <8 x i16> @shuffle_v8i16_109832ba(<8 x i16> %a, <8 x i16> %b) {
 536 ; ALL-LABEL: @shuffle_v8i16_109832ba
 537 ; ALL:       # BB#0:
 538 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 539 ; ALL-NEXT:    pshuflw {{.*}} # xmm1 = xmm0[2,0,3,1,4,5,6,7]
 540 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 541 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,0,3,1,4,5,6,7]
 542 ; ALL-NEXT:    punpcklqdq %xmm0, %xmm1
 543 ; ALL-NEXT:    movdqa %xmm1, %xmm0
 544 ; ALL-NEXT:    retq
 545   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 9, i32 8, i32 3, i32 2, i32 11, i32 10>
 546   ret <8 x i16> %shuffle
 547 }
 548
 549 define <8 x i16> @shuffle_v8i16_8091a2b3(<8 x i16> %a, <8 x i16> %b) {
 550 ; ALL-LABEL: @shuffle_v8i16_8091a2b3
 551 ; ALL:       # BB#0:
 552 ; ALL-NEXT:    punpcklwd %xmm0, %xmm1
 553 ; ALL-NEXT:    movdqa %xmm1, %xmm0
 554 ; ALL-NEXT:    retq
 555   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 8, i32 0, i32 9, i32 1, i32 10, i32 2, i32 11, i32 3>
 556   ret <8 x i16> %shuffle
 557 }
 558 define <8 x i16> @shuffle_v8i16_c4d5e6f7(<8 x i16> %a, <8 x i16> %b) {
 559 ; ALL-LABEL: @shuffle_v8i16_c4d5e6f7
 560 ; ALL:       # BB#0:
 561 ; ALL-NEXT:    pshufd {{.*}} # xmm2 = xmm0[2,3,2,3]
 562 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm1[2,3,2,3]
 563 ; ALL-NEXT:    punpcklwd %xmm2, %xmm0
 564 ; ALL-NEXT:    retq
 565   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 4, i32 13, i32 5, i32 14, i32 6, i32 15, i32 7>
 566   ret <8 x i16> %shuffle
 567 }
 568
 569 define <8 x i16> @shuffle_v8i16_0213cedf(<8 x i16> %a, <8 x i16> %b) {
 570 ; ALL-LABEL: @shuffle_v8i16_0213cedf
 571 ; ALL:       # BB#0:
 572 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 573 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 574 ; ALL-NEXT:    pshuflw {{.*}} # xmm1 = xmm1[0,2,1,3,4,5,6,7]
 575 ; ALL-NEXT:    punpcklqdq %xmm1, %xmm0
 576 ; ALL-NEXT:    retq
 577   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 2, i32 1, i32 3, i32 12, i32 14, i32 13, i32 15>
 578   ret <8 x i16> %shuffle
 579 }
 580
 581 define <8 x i16> @shuffle_v8i16_443aXXXX(<8 x i16> %a, <8 x i16> %b) {
 582 ; SSE2-LABEL: @shuffle_v8i16_443aXXXX
 583 ; SSE2:       # BB#0:
 584 ; SSE2-NEXT:    pshufd {{.*}}          # xmm0 = xmm0[2,1,2,3]
 585 ; SSE2-NEXT:    pshuflw {{.*}}         # xmm0 = xmm0[0,0,2,3,4,5,6,7]
 586 ; SSE2-NEXT:    punpcklwd %xmm1, %xmm0 # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 587 ; SSE2-NEXT:    pshuflw {{.*}}         # xmm0 = xmm0[0,2,2,3,4,5,6,7]
 588 ; SSE2-NEXT:    pshufhw {{.*}}         # xmm0 = xmm0[0,1,2,3,6,5,6,7]
 589 ; SSE2-NEXT:    pshufd {{.*}}          # xmm0 = xmm0[0,2,2,3]
 590 ; SSE2-NEXT:    retq
 591 ;
 592 ; SSSE3-LABEL: @shuffle_v8i16_443aXXXX
 593 ; SSSE3:       # BB#0:
 594 ; SSSE3-NEXT:    pshufd {{.*}}          # xmm0 = xmm0[2,1,2,3]
 595 ; SSSE3-NEXT:    pshuflw {{.*}}         # xmm0 = xmm0[0,0,2,3,4,5,6,7]
 596 ; SSSE3-NEXT:    punpcklwd %xmm1, %xmm0 # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 597 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,4,5,12,13,10,11,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 598 ; SSSE3-NEXT:    retq
 599   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 3, i32 10, i32 undef, i32 undef, i32 undef, i32 undef>
 600   ret <8 x i16> %shuffle
 601 }
 602
 603 define <8 x i16> @shuffle_v8i16_032dXXXX(<8 x i16> %a, <8 x i16> %b) {
 604 ; SSE2-LABEL: @shuffle_v8i16_032dXXXX
 605 ; SSE2:       # BB#0:
 606 ; SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 607 ; SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 608 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 609 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 610 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 611 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,1,4,5,6,7]
 612 ; SSE2-NEXT:    retq
 613 ;
 614 ; SSSE3-LABEL: @shuffle_v8i16_032dXXXX
 615 ; SSSE3:       # BB#0:
 616 ; SSSE3-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 617 ; SSSE3-NEXT:    punpcklwd %xmm1, %xmm0 # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 618 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,12,13,8,9,6,7,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 619 ; SSSE3-NEXT:    retq
 620   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 3, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 621   ret <8 x i16> %shuffle
 622 }
 623 define <8 x i16> @shuffle_v8i16_XXXcXXXX(<8 x i16> %a, <8 x i16> %b) {
 624 ; ALL-LABEL: @shuffle_v8i16_XXXcXXXX
 625 ; ALL:       # BB#0:
 626 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm1[2,1,2,3]
 627 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,1,2,1,4,5,6,7]
 628 ; ALL-NEXT:    retq
 629   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 630   ret <8 x i16> %shuffle
 631 }
 632
 633 define <8 x i16> @shuffle_v8i16_012dXXXX(<8 x i16> %a, <8 x i16> %b) {
 634 ; SSE2-LABEL: @shuffle_v8i16_012dXXXX
 635 ; SSE2:       # BB#0:
 636 ; SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 637 ; SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 638 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 639 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 640 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,2,3]
 641 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,2,0,3,4,5,6,7]
 642 ; SSE2-NEXT:    retq
 643 ;
 644 ; SSSE3-LABEL: @shuffle_v8i16_012dXXXX
 645 ; SSSE3:       # BB#0:
 646 ; SSSE3-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 647 ; SSSE3-NEXT:    punpcklwd %xmm1, %xmm0 # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 648 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,4,5,8,9,6,7,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 649 ; SSSE3-NEXT:    retq
 650   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 651   ret <8 x i16> %shuffle
 652 }
 653
 654 define <8 x i16> @shuffle_v8i16_XXXXcde3(<8 x i16> %a, <8 x i16> %b) {
 655 ; SSE2-LABEL: @shuffle_v8i16_XXXXcde3
 656 ; SSE2:       # BB#0:
 657 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 658 ; SSE2-NEXT:    punpckhwd %xmm0, %xmm1
 659 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm1[0,2,2,3,4,5,6,7]
 660 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 661 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,0,2]
 662 ; SSE2-NEXT:    retq
 663 ;
 664 ; SSSE3-LABEL: @shuffle_v8i16_XXXXcde3
 665 ; SSSE3:       # BB#0:
 666 ; SSSE3-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 667 ; SSSE3-NEXT:    punpckhwd %xmm0, %xmm1 # xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 668 ; SSSE3-NEXT:    pshufb {{.*}} # xmm1 = xmm1[{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}},0,1,4,5,8,9,14,15]
 669 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 670 ; SSSE3-NEXT:    retq
 671   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 12, i32 13, i32 14, i32 3>
 672   ret <8 x i16> %shuffle
 673 }
 674
 675 define <8 x i16> @shuffle_v8i16_cde3XXXX(<8 x i16> %a, <8 x i16> %b) {
 676 ; SSE2-LABEL: @shuffle_v8i16_cde3XXXX
 677 ; SSE2:       # BB#0:
 678 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 679 ; SSE2-NEXT:    punpckhwd %xmm0, %xmm1
 680 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm1[0,2,2,3,4,5,6,7]
 681 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 682 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 683 ; SSE2-NEXT:    retq
 684 ;
 685 ; SSSE3-LABEL: @shuffle_v8i16_cde3XXXX
 686 ; SSSE3:       # BB#0:
 687 ; SSSE3-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 688 ; SSSE3-NEXT:    punpckhwd %xmm0, %xmm1 # xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 689 ; SSSE3-NEXT:    pshufb {{.*}} # xmm1 = xmm1[0,1,4,5,8,9,14,15,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 690 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 691 ; SSSE3-NEXT:    retq
 692   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 13, i32 14, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 693   ret <8 x i16> %shuffle
 694 }
 695
 696 define <8 x i16> @shuffle_v8i16_012dcde3(<8 x i16> %a, <8 x i16> %b) {
 697 ; SSE2-LABEL: @shuffle_v8i16_012dcde3
 698 ; SSE2:       # BB#0:
 699 ; SSE2-NEXT:    pshufd {{.*}} # xmm2 = xmm0[0,1,2,1]
 700 ; SSE2-NEXT:    pshufd {{.*}} # xmm3 = xmm1[2,1,2,3]
 701 ; SSE2-NEXT:    punpckhwd %xmm2, %xmm1
 702 ; SSE2-NEXT:    pshuflw {{.*}} # xmm1 = xmm1[0,2,2,3,4,5,6,7]
 703 ; SSE2-NEXT:    pshufhw {{.*}} # xmm1 = xmm1[0,1,2,3,4,7,6,7]
 704 ; SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[0,2,2,3]
 705 ; SSE2-NEXT:    punpcklwd %xmm3, %xmm0
 706 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 707 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 708 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,2,3]
 709 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,2,0,3,4,5,6,7]
 710 ; SSE2-NEXT:    punpcklqdq %xmm1, %xmm0
 711 ; SSE2-NEXT:    retq
 712 ;
 713 ; SSSE3-LABEL: @shuffle_v8i16_012dcde3
 714 ; SSSE3:       # BB#0:
 715 ; SSSE3-NEXT:    pshufd {{.*}} # xmm2 = xmm0[0,1,2,1]
 716 ; SSSE3-NEXT:    pshufd {{.*}} # xmm3 = xmm1[2,1,2,3]
 717 ; SSSE3-NEXT:    punpckhwd %xmm2, %xmm1 # xmm1 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 718 ; SSSE3-NEXT:    pshufb {{.*}} # xmm1 = xmm1[0,1,4,5,8,9,14,15,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 719 ; SSSE3-NEXT:    punpcklwd %xmm3, %xmm0 # xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
 720 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,4,5,8,9,6,7,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 721 ; SSSE3-NEXT:    punpcklqdq %xmm1, %xmm0
 722 ; SSSE3-NEXT:    retq
 723   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 12, i32 13, i32 14, i32 3>
 724   ret <8 x i16> %shuffle
 725 }
 726
 727 define <8 x i16> @shuffle_v8i16_XXX1X579(<8 x i16> %a, <8 x i16> %b) {
 728 ; SSE2-LABEL: @shuffle_v8i16_XXX1X579
 729 ; SSE2:       # BB#0:
 730 ; SSE2-NEXT:    pshufhw {{.*}}   # xmm0 = xmm0[0,1,2,3,7,5,6,7]
 731 ; SSE2-NEXT:    pshufd {{.*}}    # xmm0 = xmm0[0,2,2,3]
 732 ; SSE2-NEXT:    pshuflw {{.*}}   # xmm0 = xmm0[0,1,3,2,4,5,6,7]
 733 ; SSE2-NEXT:    punpcklwd {{.*}} # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 734 ; SSE2-NEXT:    pshufhw {{.*}}   # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 735 ; SSE2-NEXT:    pshufd {{.*}}    # xmm0 = xmm0[0,1,2,1]
 736 ; SSE2-NEXT:    pshuflw {{.*}}   # xmm0 = xmm0[0,1,2,2,4,5,6,7]
 737 ; SSE2-NEXT:    pshufhw {{.*}}   # xmm0 = xmm0[0,1,2,3,4,4,5,7]
 738 ; SSE2-NEXT:    retq
 739 ;
 740 ; SSSE3-LABEL: @shuffle_v8i16_XXX1X579
 741 ; SSSE3:       # BB#0:
 742 ; SSSE3-NEXT:    pshufb {{.*}}    # xmm0 = xmm0[{{[0-9]+,[0-9]+}},2,3,10,11,14,15,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 743 ; SSSE3-NEXT:    punpcklwd {{.*}} # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 744 ; SSSE3-NEXT:    pshufb {{.*}}    # xmm0 = xmm0[{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}},4,5,{{[0-9]+,[0-9]+}},8,9,12,13,6,7]
 745 ; SSSE3-NEXT:    retq
 746   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 1, i32 undef, i32 5, i32 7, i32 9>
 747   ret <8 x i16> %shuffle
 748 }
 749
 750 define <8 x i16> @shuffle_v8i16_XX4X8acX(<8 x i16> %a, <8 x i16> %b) {
 751 ; SSE2-LABEL: @shuffle_v8i16_XX4X8acX
 752 ; SSE2:       # BB#0:
 753 ; SSE2-NEXT:    pshufd {{.*}}    # xmm0 = xmm0[2,1,2,3]
 754 ; SSE2-NEXT:    pshuflw {{.*}}   # xmm1 = xmm1[0,2,2,3,4,5,6,7]
 755 ; SSE2-NEXT:    pshufd {{.*}}    # xmm1 = xmm1[0,2,2,3]
 756 ; SSE2-NEXT:    punpcklwd {{.*}} # xmm1 = xmm1[0],xmm0[0],xmm1[1],xmm0[1],xmm1[2],xmm0[2],xmm1[3],xmm0[3]
 757 ; SSE2-NEXT:    pshuflw {{.*}}   # xmm0 = xmm1[0,1,2,0,4,5,6,7]
 758 ; SSE2-NEXT:    pshufd {{.*}}    # xmm0 = xmm0[0,1,2,1]
 759 ; SSE2-NEXT:    pshuflw {{.*}}   # xmm0 = xmm0[0,1,1,3,4,5,6,7]
 760 ; SSE2-NEXT:    pshufhw {{.*}}   # xmm0 = xmm0[0,1,2,3,7,6,4,7]
 761 ; SSE2-NEXT:    retq
 762 ;
 763 ; SSSE3-LABEL: @shuffle_v8i16_XX4X8acX
 764 ; SSSE3:       # BB#0:
 765 ; SSSE3-NEXT:    pshufd {{.*}}    # [[X:xmm[0-9]+]] = xmm0[2,1,2,3]
 766 ; SSSE3-NEXT:    pshuflw {{.*}}   # xmm0 = xmm1[0,2,2,3,4,5,6,7]
 767 ; SSSE3-NEXT:    pshufd {{.*}}    # xmm0 = xmm0[0,2,2,3]
 768 ; SSSE3-NEXT:    punpcklwd {{.*}} # xmm0 = xmm0[0],[[X]][0],xmm0[1],[[X]][1],xmm0[2],[[X]][2],xmm0[3],[[X]][3]
 769 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[{{[0-9]+,[0-9]+,[0-9]+,[0-9]+}},2,3,{{[0-9]+,[0-9]+}},0,1,4,5,8,9,{{[0-9]+,[0-9]+}}]
 770 ; SSSE3-NEXT:    retq
 771   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 4, i32 undef, i32 8, i32 10, i32 12, i32 undef>
 772   ret <8 x i16> %shuffle
 773 }
 774
 775 define <8 x i16> @shuffle_v8i16_8zzzzzzz(i16 %i) {
 776 ; ALL-LABEL: @shuffle_v8i16_8zzzzzzz
 777 ; ALL:       # BB#0:
 778 ; ALL-NEXT:    movzwl {{.*}}, %[[R:.*]]
 779 ; ALL-NEXT:    movd %[[R]], %xmm0
 780 ; ALL-NEXT:    retq
 781   %a = insertelement <8 x i16> undef, i16 %i, i32 0
 782   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 8, i32 1, i32 2, i32 3, i32 4, i32 5, i32 6, i32 7>
 783   ret <8 x i16> %shuffle
 784 }
 785
 786 define <8 x i16> @shuffle_v8i16_z8zzzzzz(i16 %i) {
 787 ; ALL-LABEL: @shuffle_v8i16_z8zzzzzz
 788 ; ALL:       # BB#0:
 789 ; ALL-NEXT:    movzwl {{.*}}, %[[R:.*]]
 790 ; ALL-NEXT:    movd %[[R]], %xmm0
 791 ; ALL-NEXT:    pslldq $2, %xmm0
 792 ; ALL-NEXT:    retq
 793   %a = insertelement <8 x i16> undef, i16 %i, i32 0
 794   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 2, i32 8, i32 3, i32 7, i32 6, i32 5, i32 4, i32 3>
 795   ret <8 x i16> %shuffle
 796 }
 797
 798 define <8 x i16> @shuffle_v8i16_zzzzz8zz(i16 %i) {
 799 ; ALL-LABEL: @shuffle_v8i16_zzzzz8zz
 800 ; ALL:       # BB#0:
 801 ; ALL-NEXT:    movzwl {{.*}}, %[[R:.*]]
 802 ; ALL-NEXT:    movd %[[R]], %xmm0
 803 ; ALL-NEXT:    pslldq $10, %xmm0
 804 ; ALL-NEXT:    retq
 805   %a = insertelement <8 x i16> undef, i16 %i, i32 0
 806   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 8, i32 0, i32 0>
 807   ret <8 x i16> %shuffle
 808 }
 809
 810 define <8 x i16> @shuffle_v8i16_zuuzuuz8(i16 %i) {
 811 ; ALL-LABEL: @shuffle_v8i16_zuuzuuz8
 812 ; ALL:       # BB#0:
 813 ; ALL-NEXT:    movzwl {{.*}}, %[[R:.*]]
 814 ; ALL-NEXT:    movd %[[R]], %xmm0
 815 ; ALL-NEXT:    pslldq $14, %xmm0
 816 ; ALL-NEXT:    retq
 817   %a = insertelement <8 x i16> undef, i16 %i, i32 0
 818   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 undef, i32 undef, i32 3, i32 undef, i32 undef, i32 6, i32 8>
 819   ret <8 x i16> %shuffle
 820 }
 821
 822 define <8 x i16> @shuffle_v8i16_zzBzzzzz(i16 %i) {
 823 ; ALL-LABEL: @shuffle_v8i16_zzBzzzzz
 824 ; ALL:       # BB#0:
 825 ; ALL-NEXT:    movzwl {{.*}}, %[[R:.*]]
 826 ; ALL-NEXT:    movd %[[R]], %xmm0
 827 ; ALL-NEXT:    pslldq $4, %xmm0
 828 ; ALL-NEXT:    retq
 829   %a = insertelement <8 x i16> undef, i16 %i, i32 3
 830   %shuffle = shufflevector <8 x i16> zeroinitializer, <8 x i16> %a, <8 x i32> <i32 0, i32 1, i32 11, i32 3, i32 4, i32 5, i32 6, i32 7>
 831   ret <8 x i16> %shuffle
 832 }