test/CodeGen/X86/vector-shuffle-128-v8.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSSE3
   3
   4 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   5 target triple = "x86_64-unknown-unknown"
   6
   7 define <8 x i16> @shuffle_v8i16_01012323(<8 x i16> %a, <8 x i16> %b) {
   8 ; ALL-LABEL: @shuffle_v8i16_01012323
   9 ; ALL:       # BB#0:
  10 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,0,1,1]
  11 ; ALL-NEXT:    retq
  12   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 0, i32 1, i32 2, i32 3, i32 2, i32 3>
  13   ret <8 x i16> %shuffle
  14 }
  15 define <8 x i16> @shuffle_v8i16_67452301(<8 x i16> %a, <8 x i16> %b) {
  16 ; ALL-LABEL: @shuffle_v8i16_67452301
  17 ; ALL:       # BB#0:
  18 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,2,1,0]
  19 ; ALL-NEXT:    retq
  20   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 6, i32 7, i32 4, i32 5, i32 2, i32 3, i32 0, i32 1>
  21   ret <8 x i16> %shuffle
  22 }
  23 define <8 x i16> @shuffle_v8i16_456789AB(<8 x i16> %a, <8 x i16> %b) {
  24 ; ALL-LABEL: @shuffle_v8i16_456789AB
  25 ; ALL:       # BB#0:
  26 ; ALL:         shufpd {{.*}} # xmm0 = xmm0[1],xmm1[0]
  27 ; ALL-NEXT:    retq
  28   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11>
  29   ret <8 x i16> %shuffle
  30 }
  31
  32 define <8 x i16> @shuffle_v8i16_00000000(<8 x i16> %a, <8 x i16> %b) {
  33 ; SSE2-LABEL: @shuffle_v8i16_00000000
  34 ; SSE2:       # BB#0:
  35 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,0,3]
  36 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  37 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  38 ; SSE2-NEXT:    retq
  39 ;
  40 ; SSSE3-LABEL: @shuffle_v8i16_00000000
  41 ; SSSE3:       # BB#0:
  42 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,0,1,0,1,0,1,0,1,0,1,0,1,0,1]
  43 ; SSSE3-NEXT:    retq
  44   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
  45   ret <8 x i16> %shuffle
  46 }
  47 define <8 x i16> @shuffle_v8i16_00004444(<8 x i16> %a, <8 x i16> %b) {
  48 ; ALL-LABEL: @shuffle_v8i16_00004444
  49 ; ALL:       # BB#0:
  50 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  51 ; ALL-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  52 ; ALL-NEXT:    retq
  53   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
  54   ret <8 x i16> %shuffle
  55 }
  56 define <8 x i16> @shuffle_v8i16_31206745(<8 x i16> %a, <8 x i16> %b) {
  57 ; ALL-LABEL: @shuffle_v8i16_31206745
  58 ; ALL:       # BB#0:
  59 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,1,2,0,4,5,6,7]
  60 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,3,2]
  61 ; ALL-NEXT:    retq
  62   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 1, i32 2, i32 0, i32 6, i32 7, i32 4, i32 5>
  63   ret <8 x i16> %shuffle
  64 }
  65 define <8 x i16> @shuffle_v8i16_44440000(<8 x i16> %a, <8 x i16> %b) {
  66 ; SSE2-LABEL: @shuffle_v8i16_44440000
  67 ; SSE2:       # BB#0:
  68 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,0,3]
  69 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  70 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  71 ; SSE2-NEXT:    retq
  72 ;
  73 ; SSSE3-LABEL: @shuffle_v8i16_44440000
  74 ; SSSE3:       # BB#0:
  75 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,8,9,8,9,8,9,0,1,0,1,0,1,0,1]
  76 ; SSSE3-NEXT:    retq
  77   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0>
  78   ret <8 x i16> %shuffle
  79 }
  80 define <8 x i16> @shuffle_v8i16_75643120(<8 x i16> %a, <8 x i16> %b) {
  81 ; SSE2-LABEL: @shuffle_v8i16_75643120
  82 ; SSE2:       # BB#0:
  83 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,0,1]
  84 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,1,2,0,4,5,6,7]
  85 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,6,4]
  86 ; SSE2-NEXT:    retq
  87 ;
  88 ; SSSE3-LABEL: @shuffle_v8i16_75643120
  89 ; SSSE3:       # BB#0:
  90 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[14,15,10,11,12,13,8,9,6,7,2,3,4,5,0,1]
  91 ; SSSE3-NEXT:    retq
  92   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 7, i32 5, i32 6, i32 4, i32 3, i32 1, i32 2, i32 0>
  93   ret <8 x i16> %shuffle
  94 }
  95
  96 define <8 x i16> @shuffle_v8i16_10545410(<8 x i16> %a, <8 x i16> %b) {
  97 ; SSE2-LABEL: @shuffle_v8i16_10545410
  98 ; SSE2:       # BB#0:
  99 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 100 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,0,3,2,4,5,6,7]
 101 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,4,7,6]
 102 ; SSE2-NEXT:    retq
 103 ;
 104 ; SSSE3-LABEL: @shuffle_v8i16_10545410
 105 ; SSSE3:       # BB#0:
 106 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[2,3,0,1,10,11,8,9,10,11,8,9,2,3,0,1]
 107 ; SSSE3-NEXT:    retq
 108   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 5, i32 4, i32 5, i32 4, i32 1, i32 0>
 109   ret <8 x i16> %shuffle
 110 }
 111 define <8 x i16> @shuffle_v8i16_54105410(<8 x i16> %a, <8 x i16> %b) {
 112 ; SSE2-LABEL: @shuffle_v8i16_54105410
 113 ; SSE2:       # BB#0:
 114 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 115 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,2,1,0,4,5,6,7]
 116 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,4,7,6]
 117 ; SSE2-NEXT:    retq
 118 ;
 119 ; SSSE3-LABEL: @shuffle_v8i16_54105410
 120 ; SSSE3:       # BB#0:
 121 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[10,11,8,9,2,3,0,1,10,11,8,9,2,3,0,1]
 122 ; SSSE3-NEXT:    retq
 123   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 5, i32 4, i32 1, i32 0>
 124   ret <8 x i16> %shuffle
 125 }
 126 define <8 x i16> @shuffle_v8i16_54101054(<8 x i16> %a, <8 x i16> %b) {
 127 ; SSE2-LABEL: @shuffle_v8i16_54101054
 128 ; SSE2:       # BB#0:
 129 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 130 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,2,1,0,4,5,6,7]
 131 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,6,5,4]
 132 ; SSE2-NEXT:    retq
 133 ;
 134 ; SSSE3-LABEL: @shuffle_v8i16_54101054
 135 ; SSSE3:       # BB#0:
 136 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[10,11,8,9,2,3,0,1,2,3,0,1,10,11,8,9]
 137 ; SSSE3-NEXT:    retq
 138   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 1, i32 0, i32 5, i32 4>
 139   ret <8 x i16> %shuffle
 140 }
 141 define <8 x i16> @shuffle_v8i16_04400440(<8 x i16> %a, <8 x i16> %b) {
 142 ; SSE2-LABEL: @shuffle_v8i16_04400440
 143 ; SSE2:       # BB#0:
 144 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 145 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 146 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,4,4,6]
 147 ; SSE2-NEXT:    retq
 148 ;
 149 ; SSSE3-LABEL: @shuffle_v8i16_04400440
 150 ; SSSE3:       # BB#0:
 151 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,8,9,8,9,0,1]
 152 ; SSSE3-NEXT:    retq
 153   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 0>
 154   ret <8 x i16> %shuffle
 155 }
 156 define <8 x i16> @shuffle_v8i16_40044004(<8 x i16> %a, <8 x i16> %b) {
 157 ; SSE2-LABEL: @shuffle_v8i16_40044004
 158 ; SSE2:       # BB#0:
 159 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 160 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,0,0,2,4,5,6,7]
 161 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,4]
 162 ; SSE2-NEXT:    retq
 163 ;
 164 ; SSSE3-LABEL: @shuffle_v8i16_40044004
 165 ; SSSE3:       # BB#0:
 166 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,0,1,0,1,8,9,8,9,0,1,0,1,8,9]
 167 ; SSSE3-NEXT:    retq
 168   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 0, i32 0, i32 4, i32 4, i32 0, i32 0, i32 4>
 169   ret <8 x i16> %shuffle
 170 }
 171
 172 define <8 x i16> @shuffle_v8i16_26405173(<8 x i16> %a, <8 x i16> %b) {
 173 ; SSE2-LABEL: @shuffle_v8i16_26405173
 174 ; SSE2:       # BB#0:
 175 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 176 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,4,6]
 177 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,1]
 178 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,3,2,0,4,5,6,7]
 179 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,6,4,7]
 180 ; SSE2-NEXT:    retq
 181 ;
 182 ; SSSE3-LABEL: @shuffle_v8i16_26405173
 183 ; SSSE3:       # BB#0:
 184 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[4,5,12,13,8,9,0,1,10,11,2,3,14,15,6,7]
 185 ; SSSE3-NEXT:    retq
 186   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 5, i32 1, i32 7, i32 3>
 187   ret <8 x i16> %shuffle
 188 }
 189 define <8 x i16> @shuffle_v8i16_20645173(<8 x i16> %a, <8 x i16> %b) {
 190 ; SSE2-LABEL: @shuffle_v8i16_20645173
 191 ; SSE2:       # BB#0:
 192 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 193 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,4,6]
 194 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,1]
 195 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,0,3,2,4,5,6,7]
 196 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,6,4,7]
 197 ; SSE2-NEXT:    retq
 198 ;
 199 ; SSSE3-LABEL: @shuffle_v8i16_20645173
 200 ; SSSE3:       # BB#0:
 201 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[4,5,0,1,12,13,8,9,10,11,2,3,14,15,6,7]
 202 ; SSSE3-NEXT:    retq
 203   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 0, i32 6, i32 4, i32 5, i32 1, i32 7, i32 3>
 204   ret <8 x i16> %shuffle
 205 }
 206 define <8 x i16> @shuffle_v8i16_26401375(<8 x i16> %a, <8 x i16> %b) {
 207 ; SSE2-LABEL: @shuffle_v8i16_26401375
 208 ; SSE2:       # BB#0:
 209 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 210 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,4,6]
 211 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,1,2]
 212 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,3,2,0,4,5,6,7]
 213 ; SSE2-NEXT:    retq
 214 ;
 215 ; SSSE3-LABEL: @shuffle_v8i16_26401375
 216 ; SSSE3:       # BB#0:
 217 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[4,5,12,13,8,9,0,1,2,3,6,7,14,15,10,11]
 218 ; SSSE3-NEXT:    retq
 219   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 1, i32 3, i32 7, i32 5>
 220   ret <8 x i16> %shuffle
 221 }
 222
 223 define <8 x i16> @shuffle_v8i16_00444444(<8 x i16> %a, <8 x i16> %b) {
 224 ; SSE2-LABEL: @shuffle_v8i16_00444444
 225 ; SSE2:       # BB#0:
 226 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 227 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,2,2,4,5,6,7]
 228 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 229 ; SSE2-NEXT:    retq
 230 ;
 231 ; SSSE3-LABEL: @shuffle_v8i16_00444444
 232 ; SSSE3:       # BB#0:
 233 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,0,1,8,9,8,9,8,9,8,9,8,9,8,9]
 234 ; SSSE3-NEXT:    retq
 235   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 236   ret <8 x i16> %shuffle
 237 }
 238 define <8 x i16> @shuffle_v8i16_44004444(<8 x i16> %a, <8 x i16> %b) {
 239 ; SSE2-LABEL: @shuffle_v8i16_44004444
 240 ; SSE2:       # BB#0:
 241 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 242 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,2,0,0,4,5,6,7]
 243 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 244 ; SSE2-NEXT:    retq
 245 ;
 246 ; SSSE3-LABEL: @shuffle_v8i16_44004444
 247 ; SSSE3:       # BB#0:
 248 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,8,9,0,1,0,1,8,9,8,9,8,9,8,9]
 249 ; SSSE3-NEXT:    retq
 250   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
 251   ret <8 x i16> %shuffle
 252 }
 253 define <8 x i16> @shuffle_v8i16_04404444(<8 x i16> %a, <8 x i16> %b) {
 254 ; SSE2-LABEL: @shuffle_v8i16_04404444
 255 ; SSE2:       # BB#0:
 256 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 257 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 258 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 259 ; SSE2-NEXT:    retq
 260 ;
 261 ; SSSE3-LABEL: @shuffle_v8i16_04404444
 262 ; SSSE3:       # BB#0:
 263 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 264 ; SSSE3-NEXT:    retq
 265   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 266   ret <8 x i16> %shuffle
 267 }
 268 define <8 x i16> @shuffle_v8i16_04400000(<8 x i16> %a, <8 x i16> %b) {
 269 ; SSE2-LABEL: @shuffle_v8i16_04400000
 270 ; SSE2:       # BB#0:
 271 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,0,3]
 272 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 273 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 274 ; SSE2-NEXT:    retq
 275 ;
 276 ; SSSE3-LABEL: @shuffle_v8i16_04400000
 277 ; SSSE3:       # BB#0:
 278 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,8,9,8,9,0,1,0,1,0,1,0,1,0,1]
 279 ; SSSE3-NEXT:    retq
 280   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0, i32 0>
 281   ret <8 x i16> %shuffle
 282 }
 283 define <8 x i16> @shuffle_v8i16_04404567(<8 x i16> %a, <8 x i16> %b) {
 284 ; ALL-LABEL: @shuffle_v8i16_04404567
 285 ; ALL:       # BB#0:
 286 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 287 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 288 ; ALL-NEXT:    retq
 289   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 5, i32 6, i32 7>
 290   ret <8 x i16> %shuffle
 291 }
 292
 293 define <8 x i16> @shuffle_v8i16_0X444444(<8 x i16> %a, <8 x i16> %b) {
 294 ; SSE2-LABEL: @shuffle_v8i16_0X444444
 295 ; SSE2:       # BB#0:
 296 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 297 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,1,2,2,4,5,6,7]
 298 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 299 ; SSE2-NEXT:    retq
 300 ;
 301 ; SSSE3-LABEL: @shuffle_v8i16_0X444444
 302 ; SSSE3:       # BB#0:
 303 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,{{[0-9]+,[0-9]+}},8,9,8,9,8,9,8,9,8,9,8,9]
 304 ; SSSE3-NEXT:    retq
 305   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 undef, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 306   ret <8 x i16> %shuffle
 307 }
 308 define <8 x i16> @shuffle_v8i16_44X04444(<8 x i16> %a, <8 x i16> %b) {
 309 ; SSE2-LABEL: @shuffle_v8i16_44X04444
 310 ; SSE2:       # BB#0:
 311 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 312 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,2,2,0,4,5,6,7]
 313 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 314 ; SSE2-NEXT:    retq
 315 ;
 316 ; SSSE3-LABEL: @shuffle_v8i16_44X04444
 317 ; SSSE3:       # BB#0:
 318 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,8,9,{{[0-9]+,[0-9]+}},0,1,8,9,8,9,8,9,8,9]
 319 ; SSSE3-NEXT:    retq
 320   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 undef, i32 0, i32 4, i32 4, i32 4, i32 4>
 321   ret <8 x i16> %shuffle
 322 }
 323 define <8 x i16> @shuffle_v8i16_X4404444(<8 x i16> %a, <8 x i16> %b) {
 324 ; SSE2-LABEL: @shuffle_v8i16_X4404444
 325 ; SSE2:       # BB#0:
 326 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 327 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 328 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 329 ; SSE2-NEXT:    retq
 330 ;
 331 ; SSSE3-LABEL: @shuffle_v8i16_X4404444
 332 ; SSSE3:       # BB#0:
 333 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[{{[0-9]+,[0-9]+}},8,9,8,9,0,1,8,9,8,9,8,9,8,9]
 334 ; SSSE3-NEXT:    retq
 335   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 336   ret <8 x i16> %shuffle
 337 }
 338
 339 define <8 x i16> @shuffle_v8i16_0127XXXX(<8 x i16> %a, <8 x i16> %b) {
 340 ; SSE2-LABEL: @shuffle_v8i16_0127XXXX
 341 ; SSE2:       # BB#0:
 342 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,1,3]
 343 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 344 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 345 ; SSE2-NEXT:    retq
 346 ;
 347 ; SSSE3-LABEL: @shuffle_v8i16_0127XXXX
 348 ; SSSE3:       # BB#0:
 349 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,2,3,4,5,14,15,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 350 ; SSSE3-NEXT:    retq
 351   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 undef, i32 undef, i32 undef, i32 undef>
 352   ret <8 x i16> %shuffle
 353 }
 354
 355 define <8 x i16> @shuffle_v8i16_XXXX4563(<8 x i16> %a, <8 x i16> %b) {
 356 ; SSE2-LABEL: @shuffle_v8i16_XXXX4563
 357 ; SSE2:       # BB#0:
 358 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 359 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 360 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,0]
 361 ; SSE2-NEXT:    retq
 362 ;
 363 ; SSSE3-LABEL: @shuffle_v8i16_XXXX4563
 364 ; SSSE3:       # BB#0:
 365 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}},8,9,10,11,12,13,6,7]
 366 ; SSSE3-NEXT:    retq
 367   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 4, i32 5, i32 6, i32 3>
 368   ret <8 x i16> %shuffle
 369 }
 370
 371 define <8 x i16> @shuffle_v8i16_4563XXXX(<8 x i16> %a, <8 x i16> %b) {
 372 ; SSE2-LABEL: @shuffle_v8i16_4563XXXX
 373 ; SSE2:       # BB#0:
 374 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 375 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 376 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,0,2,3]
 377 ; SSE2-NEXT:    retq
 378 ;
 379 ; SSSE3-LABEL: @shuffle_v8i16_4563XXXX
 380 ; SSSE3:       # BB#0:
 381 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,10,11,12,13,6,7,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 382 ; SSSE3-NEXT:    retq
 383   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 384   ret <8 x i16> %shuffle
 385 }
 386
 387 define <8 x i16> @shuffle_v8i16_01274563(<8 x i16> %a, <8 x i16> %b) {
 388 ; SSE2-LABEL: @shuffle_v8i16_01274563
 389 ; SSE2:       # BB#0:
 390 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,1,3]
 391 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,5,4,7]
 392 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,1,2]
 393 ; SSE2-NEXT:    retq
 394 ;
 395 ; SSSE3-LABEL: @shuffle_v8i16_01274563
 396 ; SSSE3:       # BB#0:
 397 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,2,3,4,5,14,15,8,9,10,11,12,13,6,7]
 398 ; SSSE3-NEXT:    retq
 399   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 4, i32 5, i32 6, i32 3>
 400   ret <8 x i16> %shuffle
 401 }
 402
 403 define <8 x i16> @shuffle_v8i16_45630127(<8 x i16> %a, <8 x i16> %b) {
 404 ; SSE2-LABEL: @shuffle_v8i16_45630127
 405 ; SSE2:       # BB#0:
 406 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 407 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,1,2,4,5,6,7]
 408 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,0,1,3]
 409 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,7,5,4]
 410 ; SSE2-NEXT:    retq
 411 ;
 412 ; SSSE3-LABEL: @shuffle_v8i16_45630127
 413 ; SSSE3:       # BB#0:
 414 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[8,9,10,11,12,13,6,7,0,1,2,3,4,5,14,15]
 415 ; SSSE3-NEXT:    retq
 416   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 0, i32 1, i32 2, i32 7>
 417   ret <8 x i16> %shuffle
 418 }
 419
 420 define <8 x i16> @shuffle_v8i16_08192a3b(<8 x i16> %a, <8 x i16> %b) {
 421 ; ALL-LABEL: @shuffle_v8i16_08192a3b
 422 ; ALL:       # BB#0:
 423 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 424 ; ALL-NEXT:    retq
 425   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 2, i32 10, i32 3, i32 11>
 426   ret <8 x i16> %shuffle
 427 }
 428
 429 define <8 x i16> @shuffle_v8i16_0c1d2e3f(<8 x i16> %a, <8 x i16> %b) {
 430 ; ALL-LABEL: @shuffle_v8i16_0c1d2e3f
 431 ; ALL:       # BB#0:
 432 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 433 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 434 ; ALL-NEXT:    retq
 435   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 2, i32 14, i32 3, i32 15>
 436   ret <8 x i16> %shuffle
 437 }
 438
 439 define <8 x i16> @shuffle_v8i16_4c5d6e7f(<8 x i16> %a, <8 x i16> %b) {
 440 ; ALL-LABEL: @shuffle_v8i16_4c5d6e7f
 441 ; ALL:       # BB#0:
 442 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 443 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 444 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 445 ; ALL-NEXT:    retq
 446   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 12, i32 5, i32 13, i32 6, i32 14, i32 7, i32 15>
 447   ret <8 x i16> %shuffle
 448 }
 449
 450 define <8 x i16> @shuffle_v8i16_48596a7b(<8 x i16> %a, <8 x i16> %b) {
 451 ; ALL-LABEL: @shuffle_v8i16_48596a7b
 452 ; ALL:       # BB#0:
 453 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 454 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 455 ; ALL-NEXT:    retq
 456   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 8, i32 5, i32 9, i32 6, i32 10, i32 7, i32 11>
 457   ret <8 x i16> %shuffle
 458 }
 459
 460 define <8 x i16> @shuffle_v8i16_08196e7f(<8 x i16> %a, <8 x i16> %b) {
 461 ; ALL-LABEL: @shuffle_v8i16_08196e7f
 462 ; ALL:       # BB#0:
 463 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[0,3,2,3]
 464 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,3]
 465 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 466 ; ALL-NEXT:    retq
 467   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 6, i32 14, i32 7, i32 15>
 468   ret <8 x i16> %shuffle
 469 }
 470
 471 define <8 x i16> @shuffle_v8i16_0c1d6879(<8 x i16> %a, <8 x i16> %b) {
 472 ; ALL-LABEL: @shuffle_v8i16_0c1d6879
 473 ; ALL:       # BB#0:
 474 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,0,2,3]
 475 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,3]
 476 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 477 ; ALL-NEXT:    retq
 478   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 6, i32 8, i32 7, i32 9>
 479   ret <8 x i16> %shuffle
 480 }
 481
 482 define <8 x i16> @shuffle_v8i16_109832ba(<8 x i16> %a, <8 x i16> %b) {
 483 ; ALL-LABEL: @shuffle_v8i16_109832ba
 484 ; ALL:       # BB#0:
 485 ; ALL-NEXT:    punpcklwd %xmm1, %xmm0
 486 ; ALL-NEXT:    pshuflw {{.*}} # xmm1 = xmm0[2,0,3,1,4,5,6,7]
 487 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 488 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,0,3,1,4,5,6,7]
 489 ; ALL-NEXT:    punpcklqdq %xmm0, %xmm1
 490 ; ALL-NEXT:    movdqa %xmm1, %xmm0
 491 ; ALL-NEXT:    retq
 492   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 9, i32 8, i32 3, i32 2, i32 11, i32 10>
 493   ret <8 x i16> %shuffle
 494 }
 495
 496 define <8 x i16> @shuffle_v8i16_8091a2b3(<8 x i16> %a, <8 x i16> %b) {
 497 ; ALL-LABEL: @shuffle_v8i16_8091a2b3
 498 ; ALL:       # BB#0:
 499 ; ALL-NEXT:    punpcklwd %xmm0, %xmm1
 500 ; ALL-NEXT:    movdqa %xmm1, %xmm0
 501 ; ALL-NEXT:    retq
 502   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 8, i32 0, i32 9, i32 1, i32 10, i32 2, i32 11, i32 3>
 503   ret <8 x i16> %shuffle
 504 }
 505 define <8 x i16> @shuffle_v8i16_c4d5e6f7(<8 x i16> %a, <8 x i16> %b) {
 506 ; ALL-LABEL: @shuffle_v8i16_c4d5e6f7
 507 ; ALL:       # BB#0:
 508 ; ALL-NEXT:    pshufd {{.*}} # xmm2 = xmm0[2,3,2,3]
 509 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm1[2,3,2,3]
 510 ; ALL-NEXT:    punpcklwd %xmm2, %xmm0
 511 ; ALL-NEXT:    retq
 512   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 4, i32 13, i32 5, i32 14, i32 6, i32 15, i32 7>
 513   ret <8 x i16> %shuffle
 514 }
 515
 516 define <8 x i16> @shuffle_v8i16_0213cedf(<8 x i16> %a, <8 x i16> %b) {
 517 ; ALL-LABEL: @shuffle_v8i16_0213cedf
 518 ; ALL:       # BB#0:
 519 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 520 ; ALL-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 521 ; ALL-NEXT:    pshuflw {{.*}} # xmm1 = xmm1[0,2,1,3,4,5,6,7]
 522 ; ALL-NEXT:    punpcklqdq %xmm1, %xmm0
 523 ; ALL-NEXT:    retq
 524   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 2, i32 1, i32 3, i32 12, i32 14, i32 13, i32 15>
 525   ret <8 x i16> %shuffle
 526 }
 527
 528 define <8 x i16> @shuffle_v8i16_032dXXXX(<8 x i16> %a, <8 x i16> %b) {
 529 ; SSE2-LABEL: @shuffle_v8i16_032dXXXX
 530 ; SSE2:       # BB#0:
 531 ; SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 532 ; SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 533 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 534 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 535 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 536 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,1,4,5,6,7]
 537 ; SSE2-NEXT:    retq
 538 ;
 539 ; SSSE3-LABEL: @shuffle_v8i16_032dXXXX
 540 ; SSSE3:       # BB#0:
 541 ; SSSE3-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 542 ; SSSE3-NEXT:    punpcklwd %xmm1, %xmm0 # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 543 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,12,13,8,9,6,7,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 544 ; SSSE3-NEXT:    retq
 545   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 3, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 546   ret <8 x i16> %shuffle
 547 }
 548 define <8 x i16> @shuffle_v8i16_XXXcXXXX(<8 x i16> %a, <8 x i16> %b) {
 549 ; ALL-LABEL: @shuffle_v8i16_XXXcXXXX
 550 ; ALL:       # BB#0:
 551 ; ALL-NEXT:    pshufd {{.*}} # xmm0 = xmm1[2,1,2,3]
 552 ; ALL-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,1,2,1,4,5,6,7]
 553 ; ALL-NEXT:    retq
 554   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 555   ret <8 x i16> %shuffle
 556 }
 557
 558 define <8 x i16> @shuffle_v8i16_012dXXXX(<8 x i16> %a, <8 x i16> %b) {
 559 ; SSE2-LABEL: @shuffle_v8i16_012dXXXX
 560 ; SSE2:       # BB#0:
 561 ; SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 562 ; SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 563 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 564 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 565 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,2,3]
 566 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,2,0,3,4,5,6,7]
 567 ; SSE2-NEXT:    retq
 568 ;
 569 ; SSSE3-LABEL: @shuffle_v8i16_012dXXXX
 570 ; SSSE3:       # BB#0:
 571 ; SSSE3-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 572 ; SSSE3-NEXT:    punpcklwd %xmm1, %xmm0 # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 573 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,4,5,8,9,6,7,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 574 ; SSSE3-NEXT:    retq
 575   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 576   ret <8 x i16> %shuffle
 577 }
 578
 579 define <8 x i16> @shuffle_v8i16_XXXXcde3(<8 x i16> %a, <8 x i16> %b) {
 580 ; SSE2-LABEL: @shuffle_v8i16_XXXXcde3
 581 ; SSE2:       # BB#0:
 582 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 583 ; SSE2-NEXT:    punpckhwd %xmm0, %xmm1
 584 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm1[0,2,2,3,4,5,6,7]
 585 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 586 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,0,2]
 587 ; SSE2-NEXT:    retq
 588 ;
 589 ; SSSE3-LABEL: @shuffle_v8i16_XXXXcde3
 590 ; SSSE3:       # BB#0:
 591 ; SSSE3-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 592 ; SSSE3-NEXT:    punpckhwd %xmm0, %xmm1 # xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 593 ; SSSE3-NEXT:    pshufb {{.*}} # xmm1 = xmm1[{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}},0,1,4,5,8,9,14,15]
 594 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 595 ; SSSE3-NEXT:    retq
 596   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 12, i32 13, i32 14, i32 3>
 597   ret <8 x i16> %shuffle
 598 }
 599
 600 define <8 x i16> @shuffle_v8i16_cde3XXXX(<8 x i16> %a, <8 x i16> %b) {
 601 ; SSE2-LABEL: @shuffle_v8i16_cde3XXXX
 602 ; SSE2:       # BB#0:
 603 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 604 ; SSE2-NEXT:    punpckhwd %xmm0, %xmm1
 605 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm1[0,2,2,3,4,5,6,7]
 606 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 607 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 608 ; SSE2-NEXT:    retq
 609 ;
 610 ; SSSE3-LABEL: @shuffle_v8i16_cde3XXXX
 611 ; SSSE3:       # BB#0:
 612 ; SSSE3-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 613 ; SSSE3-NEXT:    punpckhwd %xmm0, %xmm1 # xmm1 = xmm1[4],xmm0[4],xmm1[5],xmm0[5],xmm1[6],xmm0[6],xmm1[7],xmm0[7]
 614 ; SSSE3-NEXT:    pshufb {{.*}} # xmm1 = xmm1[0,1,4,5,8,9,14,15,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 615 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 616 ; SSSE3-NEXT:    retq
 617   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 13, i32 14, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 618   ret <8 x i16> %shuffle
 619 }
 620
 621 define <8 x i16> @shuffle_v8i16_012dcde3(<8 x i16> %a, <8 x i16> %b) {
 622 ; SSE2-LABEL: @shuffle_v8i16_012dcde3
 623 ; SSE2:       # BB#0:
 624 ; SSE2-NEXT:    pshufd {{.*}} # xmm2 = xmm0[0,1,2,1]
 625 ; SSE2-NEXT:    pshufd {{.*}} # xmm3 = xmm1[2,1,2,3]
 626 ; SSE2-NEXT:    punpckhwd %xmm2, %xmm1
 627 ; SSE2-NEXT:    pshuflw {{.*}} # xmm1 = xmm1[0,2,2,3,4,5,6,7]
 628 ; SSE2-NEXT:    pshufhw {{.*}} # xmm1 = xmm1[0,1,2,3,4,7,6,7]
 629 ; SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[0,2,2,3]
 630 ; SSE2-NEXT:    punpcklwd %xmm3, %xmm0
 631 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 632 ; SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 633 ; SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,2,3]
 634 ; SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,2,0,3,4,5,6,7]
 635 ; SSE2-NEXT:    punpcklqdq %xmm1, %xmm0
 636 ; SSE2-NEXT:    retq
 637 ;
 638 ; SSSE3-LABEL: @shuffle_v8i16_012dcde3
 639 ; SSSE3:       # BB#0:
 640 ; SSSE3-NEXT:    pshufd {{.*}} # xmm2 = xmm0[0,1,2,1]
 641 ; SSSE3-NEXT:    pshufd {{.*}} # xmm3 = xmm1[2,1,2,3]
 642 ; SSSE3-NEXT:    punpckhwd %xmm2, %xmm1 # xmm1 = xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
 643 ; SSSE3-NEXT:    pshufb {{.*}} # xmm1 = xmm1[0,1,4,5,8,9,14,15,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 644 ; SSSE3-NEXT:    punpcklwd %xmm3, %xmm0 # xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
 645 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[0,1,4,5,8,9,6,7,{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}}]
 646 ; SSSE3-NEXT:    punpcklqdq %xmm1, %xmm0
 647 ; SSSE3-NEXT:    retq
 648   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 12, i32 13, i32 14, i32 3>
 649   ret <8 x i16> %shuffle
 650 }
 651
 652 define <8 x i16> @shuffle_v8i16_XXX1X579(<8 x i16> %a, <8 x i16> %b) {
 653 ; SSE2-LABEL: @shuffle_v8i16_XXX1X579
 654 ; SSE2:       # BB#0:
 655 ; SSE2-NEXT:    pshufhw {{.*}}   # xmm0 = xmm0[0,1,2,3,5,7,6,7]
 656 ; SSE2-NEXT:    pshufd {{.*}}    # xmm0 = xmm0[0,2,2,3]
 657 ; SSE2-NEXT:    punpcklwd {{.*}} # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 658 ; SSE2-NEXT:    pshufhw {{.*}}   # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 659 ; SSE2-NEXT:    pshufd {{.*}}    # xmm0 = xmm0[0,1,2,1]
 660 ; SSE2-NEXT:    pshuflw {{.*}}   # xmm0 = xmm0[0,1,2,2,4,5,6,7]
 661 ; SSE2-NEXT:    pshufhw {{.*}}   # xmm0 = xmm0[0,1,2,3,4,4,5,7]
 662 ; SSE2-NEXT:    retq
 663 ;
 664 ; SSSE3-LABEL: @shuffle_v8i16_XXX1X579
 665 ; SSSE3:       # BB#0:
 666 ; SSSE3-NEXT:    pshufhw {{.*}}   # xmm0 = xmm0[0,1,2,3,5,7,6,7]
 667 ; SSSE3-NEXT:    pshufd {{.*}}    # xmm0 = xmm0[0,2,2,3]
 668 ; SSSE3-NEXT:    punpcklwd {{.*}} # xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
 669 ; SSSE3-NEXT:    pshufb {{.*}} # xmm0 = xmm0[{{[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+,[0-9]+}},4,5,{{[0-9]+,[0-9]+}},8,9,12,13,6,7]
 670 ; SSSE3-NEXT:    retq
 671   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 1, i32 undef, i32 5, i32 7, i32 9>
 672   ret <8 x i16> %shuffle
 673 }