test/CodeGen/X86/vector-shuffle-128-v8.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=CHECK-SSE2
   2
   3 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   4 target triple = "x86_64-unknown-unknown"
   5
   6 define <8 x i16> @shuffle_v8i16_01012323(<8 x i16> %a, <8 x i16> %b) {
   7 ; CHECK-SSE2-LABEL: @shuffle_v8i16_01012323
   8 ; CHECK-SSE2:       # BB#0:
   9 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,0,1,1]
  10 ; CHECK-SSE2-NEXT:    retq
  11   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 0, i32 1, i32 2, i32 3, i32 2, i32 3>
  12   ret <8 x i16> %shuffle
  13 }
  14 define <8 x i16> @shuffle_v8i16_67452301(<8 x i16> %a, <8 x i16> %b) {
  15 ; CHECK-SSE2-LABEL: @shuffle_v8i16_67452301
  16 ; CHECK-SSE2:       # BB#0:
  17 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,2,1,0]
  18 ; CHECK-SSE2-NEXT:    retq
  19   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 6, i32 7, i32 4, i32 5, i32 2, i32 3, i32 0, i32 1>
  20   ret <8 x i16> %shuffle
  21 }
  22 define <8 x i16> @shuffle_v8i16_456789AB(<8 x i16> %a, <8 x i16> %b) {
  23 ; CHECK-SSE2-LABEL: @shuffle_v8i16_456789AB
  24 ; CHECK-SSE2:       # BB#0:
  25 ; CHECK-SSE2:         shufpd {{.*}} # xmm0 = xmm0[1],xmm1[0]
  26 ; CHECK-SSE2-NEXT:    retq
  27   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11>
  28   ret <8 x i16> %shuffle
  29 }
  30
  31 define <8 x i16> @shuffle_v8i16_00000000(<8 x i16> %a, <8 x i16> %b) {
  32 ; CHECK-SSE2-LABEL: @shuffle_v8i16_00000000
  33 ; CHECK-SSE2:       # BB#0:
  34 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,0,3]
  35 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  36 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  37 ; CHECK-SSE2-NEXT:    retq
  38   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0, i32 0>
  39   ret <8 x i16> %shuffle
  40 }
  41 define <8 x i16> @shuffle_v8i16_00004444(<8 x i16> %a, <8 x i16> %b) {
  42 ; CHECK-SSE2-LABEL: @shuffle_v8i16_00004444
  43 ; CHECK-SSE2:       # BB#0:
  44 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  45 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  46 ; CHECK-SSE2-NEXT:    retq
  47   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
  48   ret <8 x i16> %shuffle
  49 }
  50 define <8 x i16> @shuffle_v8i16_31206745(<8 x i16> %a, <8 x i16> %b) {
  51 ; CHECK-SSE2-LABEL: @shuffle_v8i16_31206745
  52 ; CHECK-SSE2:       # BB#0:
  53 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,1,2,0,4,5,6,7]
  54 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,7,4,5]
  55 ; CHECK-SSE2-NEXT:    retq
  56   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 3, i32 1, i32 2, i32 0, i32 6, i32 7, i32 4, i32 5>
  57   ret <8 x i16> %shuffle
  58 }
  59 define <8 x i16> @shuffle_v8i16_44440000(<8 x i16> %a, <8 x i16> %b) {
  60 ; CHECK-SSE2-LABEL: @shuffle_v8i16_44440000
  61 ; CHECK-SSE2:       # BB#0:
  62 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,0,3]
  63 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,0,0,4,5,6,7]
  64 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
  65 ; CHECK-SSE2-NEXT:    retq
  66   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0>
  67   ret <8 x i16> %shuffle
  68 }
  69 define <8 x i16> @shuffle_v8i16_75643120(<8 x i16> %a, <8 x i16> %b) {
  70 ; CHECK-SSE2-LABEL: @shuffle_v8i16_75643120
  71 ; CHECK-SSE2:       # BB#0:
  72 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,0,1]
  73 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,1,2,0,4,5,6,7]
  74 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,6,4]
  75 ; CHECK-SSE2-NEXT:    retq
  76   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 7, i32 5, i32 6, i32 4, i32 3, i32 1, i32 2, i32 0>
  77   ret <8 x i16> %shuffle
  78 }
  79
  80 define <8 x i16> @shuffle_v8i16_10545410(<8 x i16> %a, <8 x i16> %b) {
  81 ; CHECK-SSE2-LABEL: @shuffle_v8i16_10545410
  82 ; CHECK-SSE2:       # BB#0:
  83 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
  84 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,0,3,2,4,5,6,7]
  85 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,4,7,6]
  86 ; CHECK-SSE2-NEXT:    retq
  87   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 5, i32 4, i32 5, i32 4, i32 1, i32 0>
  88   ret <8 x i16> %shuffle
  89 }
  90 define <8 x i16> @shuffle_v8i16_54105410(<8 x i16> %a, <8 x i16> %b) {
  91 ; CHECK-SSE2-LABEL: @shuffle_v8i16_54105410
  92 ; CHECK-SSE2:       # BB#0:
  93 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
  94 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,2,1,0,4,5,6,7]
  95 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,4,7,6]
  96 ; CHECK-SSE2-NEXT:    retq
  97   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 5, i32 4, i32 1, i32 0>
  98   ret <8 x i16> %shuffle
  99 }
 100 define <8 x i16> @shuffle_v8i16_54101054(<8 x i16> %a, <8 x i16> %b) {
 101 ; CHECK-SSE2-LABEL: @shuffle_v8i16_54101054
 102 ; CHECK-SSE2:       # BB#0:
 103 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 104 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[3,2,1,0,4,5,6,7]
 105 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,6,5,4]
 106 ; CHECK-SSE2-NEXT:    retq
 107   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 5, i32 4, i32 1, i32 0, i32 1, i32 0, i32 5, i32 4>
 108   ret <8 x i16> %shuffle
 109 }
 110 define <8 x i16> @shuffle_v8i16_04400440(<8 x i16> %a, <8 x i16> %b) {
 111 ; CHECK-SSE2-LABEL: @shuffle_v8i16_04400440
 112 ; CHECK-SSE2:       # BB#0:
 113 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 114 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 115 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,4,4,6]
 116 ; CHECK-SSE2-NEXT:    retq
 117   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 0>
 118   ret <8 x i16> %shuffle
 119 }
 120 define <8 x i16> @shuffle_v8i16_40044004(<8 x i16> %a, <8 x i16> %b) {
 121 ; CHECK-SSE2-LABEL: @shuffle_v8i16_40044004
 122 ; CHECK-SSE2:       # BB#0:
 123 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,0]
 124 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,0,0,2,4,5,6,7]
 125 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,4]
 126 ; CHECK-SSE2-NEXT:    retq
 127   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 0, i32 0, i32 4, i32 4, i32 0, i32 0, i32 4>
 128   ret <8 x i16> %shuffle
 129 }
 130
 131 define <8 x i16> @shuffle_v8i16_26405173(<8 x i16> %a, <8 x i16> %b) {
 132 ; CHECK-SSE2-LABEL: @shuffle_v8i16_26405173
 133 ; CHECK-SSE2:       # BB#0:
 134 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 135 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,4,6]
 136 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,1]
 137 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,3,2,0,4,5,6,7]
 138 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,6,4,7]
 139 ; CHECK-SSE2-NEXT:    retq
 140   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 5, i32 1, i32 7, i32 3>
 141   ret <8 x i16> %shuffle
 142 }
 143 define <8 x i16> @shuffle_v8i16_20645173(<8 x i16> %a, <8 x i16> %b) {
 144 ; CHECK-SSE2-LABEL: @shuffle_v8i16_20645173
 145 ; CHECK-SSE2:       # BB#0:
 146 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 147 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,4,6]
 148 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,1]
 149 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,0,3,2,4,5,6,7]
 150 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,5,6,4,7]
 151 ; CHECK-SSE2-NEXT:    retq
 152   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 0, i32 6, i32 4, i32 5, i32 1, i32 7, i32 3>
 153   ret <8 x i16> %shuffle
 154 }
 155 define <8 x i16> @shuffle_v8i16_26401375(<8 x i16> %a, <8 x i16> %b) {
 156 ; CHECK-SSE2-LABEL: @shuffle_v8i16_26401375
 157 ; CHECK-SSE2:       # BB#0:
 158 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 159 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,7,5,4,6]
 160 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,1]
 161 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,3,2,0,4,5,6,7]
 162 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,7,4,5]
 163 ; CHECK-SSE2-NEXT:    retq
 164   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 2, i32 6, i32 4, i32 0, i32 1, i32 3, i32 7, i32 5>
 165   ret <8 x i16> %shuffle
 166 }
 167
 168 define <8 x i16> @shuffle_v8i16_00444444(<8 x i16> %a, <8 x i16> %b) {
 169 ; CHECK-SSE2-LABEL: @shuffle_v8i16_00444444
 170 ; CHECK-SSE2:       # BB#0:
 171 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 172 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,0,2,2,4,5,6,7]
 173 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 174 ; CHECK-SSE2-NEXT:    retq
 175   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 0, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 176   ret <8 x i16> %shuffle
 177 }
 178 define <8 x i16> @shuffle_v8i16_44004444(<8 x i16> %a, <8 x i16> %b) {
 179 ; CHECK-SSE2-LABEL: @shuffle_v8i16_44004444
 180 ; CHECK-SSE2:       # BB#0:
 181 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 182 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,2,0,0,4,5,6,7]
 183 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 184 ; CHECK-SSE2-NEXT:    retq
 185   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 0, i32 0, i32 4, i32 4, i32 4, i32 4>
 186   ret <8 x i16> %shuffle
 187 }
 188 define <8 x i16> @shuffle_v8i16_04404444(<8 x i16> %a, <8 x i16> %b) {
 189 ; CHECK-SSE2-LABEL: @shuffle_v8i16_04404444
 190 ; CHECK-SSE2:       # BB#0:
 191 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 192 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 193 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 194 ; CHECK-SSE2-NEXT:    retq
 195   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 196   ret <8 x i16> %shuffle
 197 }
 198 define <8 x i16> @shuffle_v8i16_04400000(<8 x i16> %a, <8 x i16> %b) {
 199 ; CHECK-SSE2-LABEL: @shuffle_v8i16_04400000
 200 ; CHECK-SSE2:       # BB#0:
 201 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,0,3]
 202 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 203 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 204 ; CHECK-SSE2-NEXT:    retq
 205   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 0, i32 0, i32 0, i32 0>
 206   ret <8 x i16> %shuffle
 207 }
 208 define <8 x i16> @shuffle_v8i16_04404567(<8 x i16> %a, <8 x i16> %b) {
 209 ; CHECK-SSE2-LABEL: @shuffle_v8i16_04404567
 210 ; CHECK-SSE2:       # BB#0:
 211 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 212 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 213 ; CHECK-SSE2-NEXT:    retq
 214   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 4, i32 4, i32 0, i32 4, i32 5, i32 6, i32 7>
 215   ret <8 x i16> %shuffle
 216 }
 217
 218 define <8 x i16> @shuffle_v8i16_0X444444(<8 x i16> %a, <8 x i16> %b) {
 219 ; CHECK-SSE2-LABEL: @shuffle_v8i16_0X444444
 220 ; CHECK-SSE2:       # BB#0:
 221 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 222 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,1,2,2,4,5,6,7]
 223 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 224 ; CHECK-SSE2-NEXT:    retq
 225   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 undef, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
 226   ret <8 x i16> %shuffle
 227 }
 228 define <8 x i16> @shuffle_v8i16_44X04444(<8 x i16> %a, <8 x i16> %b) {
 229 ; CHECK-SSE2-LABEL: @shuffle_v8i16_44X04444
 230 ; CHECK-SSE2:       # BB#0:
 231 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 232 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,2,2,0,4,5,6,7]
 233 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 234 ; CHECK-SSE2-NEXT:    retq
 235   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 4, i32 undef, i32 0, i32 4, i32 4, i32 4, i32 4>
 236   ret <8 x i16> %shuffle
 237 }
 238 define <8 x i16> @shuffle_v8i16_X4404444(<8 x i16> %a, <8 x i16> %b) {
 239 ; CHECK-SSE2-LABEL: @shuffle_v8i16_X4404444
 240 ; CHECK-SSE2:       # BB#0:
 241 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 242 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,2,0,4,5,6,7]
 243 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,4,4,4]
 244 ; CHECK-SSE2-NEXT:    retq
 245   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 4, i32 4, i32 0, i32 4, i32 4, i32 4, i32 4>
 246   ret <8 x i16> %shuffle
 247 }
 248
 249 define <8 x i16> @shuffle_v8i16_0127XXXX(<8 x i16> %a, <8 x i16> %b) {
 250 ; CHECK-SSE2-LABEL: @shuffle_v8i16_0127XXXX
 251 ; CHECK-SSE2:       # BB#0:
 252 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,1,3]
 253 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 254 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 255 ; CHECK-SSE2-NEXT:    retq
 256   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 undef, i32 undef, i32 undef, i32 undef>
 257   ret <8 x i16> %shuffle
 258 }
 259
 260 define <8 x i16> @shuffle_v8i16_XXXX4563(<8 x i16> %a, <8 x i16> %b) {
 261 ; CHECK-SSE2-LABEL: @shuffle_v8i16_XXXX4563
 262 ; CHECK-SSE2:       # BB#0:
 263 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 264 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 265 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,0]
 266 ; CHECK-SSE2-NEXT:    retq
 267   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 4, i32 5, i32 6, i32 3>
 268   ret <8 x i16> %shuffle
 269 }
 270
 271 define <8 x i16> @shuffle_v8i16_4563XXXX(<8 x i16> %a, <8 x i16> %b) {
 272 ; CHECK-SSE2-LABEL: @shuffle_v8i16_4563XXXX
 273 ; CHECK-SSE2:       # BB#0:
 274 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 275 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 276 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 277 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,3,0,1,4,5,6,7]
 278 ; CHECK-SSE2-NEXT:    retq
 279   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 280   ret <8 x i16> %shuffle
 281 }
 282
 283 define <8 x i16> @shuffle_v8i16_01274563(<8 x i16> %a, <8 x i16> %b) {
 284 ; CHECK-SSE2-LABEL: @shuffle_v8i16_01274563
 285 ; CHECK-SSE2:       # BB#0:
 286 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,1,3]
 287 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,5,4,7]
 288 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,1]
 289 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,7,4,5]
 290 ; CHECK-SSE2-NEXT:    retq
 291   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 7, i32 4, i32 5, i32 6, i32 3>
 292   ret <8 x i16> %shuffle
 293 }
 294
 295 define <8 x i16> @shuffle_v8i16_45630127(<8 x i16> %a, <8 x i16> %b) {
 296 ; CHECK-SSE2-LABEL: @shuffle_v8i16_45630127
 297 ; CHECK-SSE2:       # BB#0:
 298 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 299 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,1,2,4,5,6,7]
 300 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,1,3]
 301 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,3,0,1,4,5,6,7]
 302 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,7,5,4]
 303 ; CHECK-SSE2-NEXT:    retq
 304   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 5, i32 6, i32 3, i32 0, i32 1, i32 2, i32 7>
 305   ret <8 x i16> %shuffle
 306 }
 307
 308 define <8 x i16> @shuffle_v8i16_08192a3b(<8 x i16> %a, <8 x i16> %b) {
 309 ; CHECK-SSE2-LABEL: @shuffle_v8i16_08192a3b
 310 ; CHECK-SSE2:       # BB#0:
 311 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 312 ; CHECK-SSE2-NEXT:    retq
 313   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 2, i32 10, i32 3, i32 11>
 314   ret <8 x i16> %shuffle
 315 }
 316
 317 define <8 x i16> @shuffle_v8i16_0c1d2e3f(<8 x i16> %a, <8 x i16> %b) {
 318 ; CHECK-SSE2-LABEL: @shuffle_v8i16_0c1d2e3f
 319 ; CHECK-SSE2:       # BB#0:
 320 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 321 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 322 ; CHECK-SSE2-NEXT:    retq
 323   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 2, i32 14, i32 3, i32 15>
 324   ret <8 x i16> %shuffle
 325 }
 326
 327 define <8 x i16> @shuffle_v8i16_4c5d6e7f(<8 x i16> %a, <8 x i16> %b) {
 328 ; CHECK-SSE2-LABEL: @shuffle_v8i16_4c5d6e7f
 329 ; CHECK-SSE2:       # BB#0:
 330 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 331 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 332 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 333 ; CHECK-SSE2-NEXT:    retq
 334   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 12, i32 5, i32 13, i32 6, i32 14, i32 7, i32 15>
 335   ret <8 x i16> %shuffle
 336 }
 337
 338 define <8 x i16> @shuffle_v8i16_48596a7b(<8 x i16> %a, <8 x i16> %b) {
 339 ; CHECK-SSE2-LABEL: @shuffle_v8i16_48596a7b
 340 ; CHECK-SSE2:       # BB#0:
 341 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 342 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 343 ; CHECK-SSE2-NEXT:    retq
 344   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 4, i32 8, i32 5, i32 9, i32 6, i32 10, i32 7, i32 11>
 345   ret <8 x i16> %shuffle
 346 }
 347
 348 define <8 x i16> @shuffle_v8i16_08196e7f(<8 x i16> %a, <8 x i16> %b) {
 349 ; CHECK-SSE2-LABEL: @shuffle_v8i16_08196e7f
 350 ; CHECK-SSE2:       # BB#0:
 351 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[0,3,2,3]
 352 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,3]
 353 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 354 ; CHECK-SSE2-NEXT:    retq
 355   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 8, i32 1, i32 9, i32 6, i32 14, i32 7, i32 15>
 356   ret <8 x i16> %shuffle
 357 }
 358
 359 define <8 x i16> @shuffle_v8i16_0c1d6879(<8 x i16> %a, <8 x i16> %b) {
 360 ; CHECK-SSE2-LABEL: @shuffle_v8i16_0c1d6879
 361 ; CHECK-SSE2:       # BB#0:
 362 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,3,2,3]
 363 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[0,2,2,3]
 364 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm1 = xmm1[2,3,0,1,4,5,6,7]
 365 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 366 ; CHECK-SSE2-NEXT:    retq
 367   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 12, i32 1, i32 13, i32 6, i32 8, i32 7, i32 9>
 368   ret <8 x i16> %shuffle
 369 }
 370
 371 define <8 x i16> @shuffle_v8i16_109832ba(<8 x i16> %a, <8 x i16> %b) {
 372 ; CHECK-SSE2-LABEL: @shuffle_v8i16_109832ba
 373 ; CHECK-SSE2:       # BB#0:
 374 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 375 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm1 = xmm0[2,0,3,1,4,5,6,7]
 376 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,3,2,3]
 377 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[2,0,3,1,4,5,6,7]
 378 ; CHECK-SSE2-NEXT:    punpcklqdq %xmm0, %xmm1
 379 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm0
 380 ; CHECK-SSE2-NEXT:    retq
 381   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 1, i32 0, i32 9, i32 8, i32 3, i32 2, i32 11, i32 10>
 382   ret <8 x i16> %shuffle
 383 }
 384
 385 define <8 x i16> @shuffle_v8i16_8091a2b3(<8 x i16> %a, <8 x i16> %b) {
 386 ; CHECK-SSE2-LABEL: @shuffle_v8i16_8091a2b3
 387 ; CHECK-SSE2:       # BB#0:
 388 ; CHECK-SSE2-NEXT:    punpcklwd %xmm0, %xmm1
 389 ; CHECK-SSE2-NEXT:    movdqa %xmm1, %xmm0
 390 ; CHECK-SSE2-NEXT:    retq
 391   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 8, i32 0, i32 9, i32 1, i32 10, i32 2, i32 11, i32 3>
 392   ret <8 x i16> %shuffle
 393 }
 394 define <8 x i16> @shuffle_v8i16_c4d5e6f7(<8 x i16> %a, <8 x i16> %b) {
 395 ; CHECK-SSE2-LABEL: @shuffle_v8i16_c4d5e6f7
 396 ; CHECK-SSE2:       # BB#0:
 397 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm2 = xmm0[2,3,2,3]
 398 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm1[2,3,2,3]
 399 ; CHECK-SSE2-NEXT:    punpcklwd %xmm2, %xmm0
 400 ; CHECK-SSE2-NEXT:    retq
 401   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 4, i32 13, i32 5, i32 14, i32 6, i32 15, i32 7>
 402   ret <8 x i16> %shuffle
 403 }
 404
 405 define <8 x i16> @shuffle_v8i16_0213cedf(<8 x i16> %a, <8 x i16> %b) {
 406 ; CHECK-SSE2-LABEL: @shuffle_v8i16_0213cedf
 407 ; CHECK-SSE2:       # BB#0:
 408 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,2,1,3,4,5,6,7]
 409 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,3,2,3]
 410 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm1 = xmm1[0,2,1,3,4,5,6,7]
 411 ; CHECK-SSE2-NEXT:    punpcklqdq %xmm1, %xmm0
 412 ; CHECK-SSE2-NEXT:    retq
 413   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 2, i32 1, i32 3, i32 12, i32 14, i32 13, i32 15>
 414   ret <8 x i16> %shuffle
 415 }
 416
 417 define <8 x i16> @shuffle_v8i16_032dXXXX(<8 x i16> %a, <8 x i16> %b) {
 418 ; CHECK-SSE2-LABEL: @shuffle_v8i16_032dXXXX
 419 ; CHECK-SSE2:       # BB#0:
 420 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 421 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 422 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,3,4,5,6,7]
 423 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 424 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 425 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,3,2,1,4,5,6,7]
 426 ; CHECK-SSE2-NEXT:    retq
 427   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 3, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 428   ret <8 x i16> %shuffle
 429 }
 430 define <8 x i16> @shuffle_v8i16_XXXcXXXX(<8 x i16> %a, <8 x i16> %b) {
 431 ; CHECK-SSE2-LABEL: @shuffle_v8i16_XXXcXXXX
 432 ; CHECK-SSE2:       # BB#0:
 433 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm1[2,1,2,3]
 434 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[0,1,2,1,4,5,6,7]
 435 ; CHECK-SSE2-NEXT:    retq
 436   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 437   ret <8 x i16> %shuffle
 438 }
 439
 440 define <8 x i16> @shuffle_v8i16_012dXXXX(<8 x i16> %a, <8 x i16> %b) {
 441 ; CHECK-SSE2-LABEL: @shuffle_v8i16_012dXXXX
 442 ; CHECK-SSE2:       # BB#0:
 443 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[2,1,2,3]
 444 ; CHECK-SSE2-NEXT:    punpcklwd %xmm1, %xmm0
 445 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 446 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 447 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,2,3]
 448 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,2,0,3,4,5,6,7]
 449 ; CHECK-SSE2-NEXT:    retq
 450   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 undef, i32 undef, i32 undef, i32 undef>
 451   ret <8 x i16> %shuffle
 452 }
 453
 454 define <8 x i16> @shuffle_v8i16_XXXXcde3(<8 x i16> %a, <8 x i16> %b) {
 455 ; CHECK-SSE2-LABEL: @shuffle_v8i16_XXXXcde3
 456 ; CHECK-SSE2:       # BB#0:
 457 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 458 ; CHECK-SSE2-NEXT:    punpckhwd %xmm0, %xmm1
 459 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm1[0,2,2,3,4,5,6,7]
 460 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 461 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,0]
 462 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,6,7,4,5]
 463 ; CHECK-SSE2-NEXT:    retq
 464   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 undef, i32 undef, i32 undef, i32 undef, i32 12, i32 13, i32 14, i32 3>
 465   ret <8 x i16> %shuffle
 466 }
 467
 468 define <8 x i16> @shuffle_v8i16_cde3XXXX(<8 x i16> %a, <8 x i16> %b) {
 469 ; CHECK-SSE2-LABEL: @shuffle_v8i16_cde3XXXX
 470 ; CHECK-SSE2:       # BB#0:
 471 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,1,2,1]
 472 ; CHECK-SSE2-NEXT:    punpckhwd %xmm0, %xmm1
 473 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm1[0,2,2,3,4,5,6,7]
 474 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,7,6,7]
 475 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[0,2,2,3]
 476 ; CHECK-SSE2-NEXT:    retq
 477   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 12, i32 13, i32 14, i32 3, i32 undef, i32 undef, i32 undef, i32 undef>
 478   ret <8 x i16> %shuffle
 479 }
 480
 481 define <8 x i16> @shuffle_v8i16_012dcde3(<8 x i16> %a, <8 x i16> %b) {
 482 ; CHECK-SSE2-LABEL: @shuffle_v8i16_012dcde3
 483 ; CHECK-SSE2:       # BB#0:
 484 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm2 = xmm0[0,1,2,1]
 485 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm3 = xmm1[2,1,2,3]
 486 ; CHECK-SSE2-NEXT:    punpckhwd %xmm2, %xmm1
 487 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm1 = xmm1[0,2,2,3,4,5,6,7]
 488 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm1 = xmm1[0,1,2,3,4,7,6,7]
 489 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm1 = xmm1[0,2,2,3]
 490 ; CHECK-SSE2-NEXT:    punpcklwd %xmm3, %xmm0
 491 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[3,1,2,0]
 492 ; CHECK-SSE2-NEXT:    pshufhw {{.*}} # xmm0 = xmm0[0,1,2,3,4,6,6,7]
 493 ; CHECK-SSE2-NEXT:    pshufd {{.*}} # xmm0 = xmm0[2,1,2,3]
 494 ; CHECK-SSE2-NEXT:    pshuflw {{.*}} # xmm0 = xmm0[1,2,0,3,4,5,6,7]
 495 ; CHECK-SSE2-NEXT:    punpcklqdq %xmm1, %xmm0
 496 ; CHECK-SSE2-NEXT:    retq
 497   %shuffle = shufflevector <8 x i16> %a, <8 x i16> %b, <8 x i32> <i32 0, i32 1, i32 2, i32 13, i32 12, i32 13, i32 14, i32 3>
 498   ret <8 x i16> %shuffle
 499 }