test/CodeGen/X86/vector-shuffle-128-v4.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse3 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE3
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSSE3
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx2 -x86-experimental-vector-shuffle-legality | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   7
   8 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   9 target triple = "x86_64-unknown-unknown"
  10
  11 define <4 x i32> @shuffle_v4i32_0001(<4 x i32> %a, <4 x i32> %b) {
  12 ; SSE-LABEL: shuffle_v4i32_0001:
  13 ; SSE:       # BB#0:
  14 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,0,1]
  15 ; SSE-NEXT:    retq
  16 ;
  17 ; AVX-LABEL: shuffle_v4i32_0001:
  18 ; AVX:       # BB#0:
  19 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,0,0,1]
  20 ; AVX-NEXT:    retq
  21   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 1>
  22   ret <4 x i32> %shuffle
  23 }
  24 define <4 x i32> @shuffle_v4i32_0020(<4 x i32> %a, <4 x i32> %b) {
  25 ; SSE-LABEL: shuffle_v4i32_0020:
  26 ; SSE:       # BB#0:
  27 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,2,0]
  28 ; SSE-NEXT:    retq
  29 ;
  30 ; AVX-LABEL: shuffle_v4i32_0020:
  31 ; AVX:       # BB#0:
  32 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,0,2,0]
  33 ; AVX-NEXT:    retq
  34   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 0>
  35   ret <4 x i32> %shuffle
  36 }
  37 define <4 x i32> @shuffle_v4i32_0112(<4 x i32> %a, <4 x i32> %b) {
  38 ; SSE-LABEL: shuffle_v4i32_0112:
  39 ; SSE:       # BB#0:
  40 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,1,2]
  41 ; SSE-NEXT:    retq
  42 ;
  43 ; AVX-LABEL: shuffle_v4i32_0112:
  44 ; AVX:       # BB#0:
  45 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,1,2]
  46 ; AVX-NEXT:    retq
  47   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 1, i32 2>
  48   ret <4 x i32> %shuffle
  49 }
  50 define <4 x i32> @shuffle_v4i32_0300(<4 x i32> %a, <4 x i32> %b) {
  51 ; SSE-LABEL: shuffle_v4i32_0300:
  52 ; SSE:       # BB#0:
  53 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,0,0]
  54 ; SSE-NEXT:    retq
  55 ;
  56 ; AVX-LABEL: shuffle_v4i32_0300:
  57 ; AVX:       # BB#0:
  58 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,3,0,0]
  59 ; AVX-NEXT:    retq
  60   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 3, i32 0, i32 0>
  61   ret <4 x i32> %shuffle
  62 }
  63 define <4 x i32> @shuffle_v4i32_1000(<4 x i32> %a, <4 x i32> %b) {
  64 ; SSE-LABEL: shuffle_v4i32_1000:
  65 ; SSE:       # BB#0:
  66 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,0,0,0]
  67 ; SSE-NEXT:    retq
  68 ;
  69 ; AVX-LABEL: shuffle_v4i32_1000:
  70 ; AVX:       # BB#0:
  71 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,0,0,0]
  72 ; AVX-NEXT:    retq
  73   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 1, i32 0, i32 0, i32 0>
  74   ret <4 x i32> %shuffle
  75 }
  76 define <4 x i32> @shuffle_v4i32_2200(<4 x i32> %a, <4 x i32> %b) {
  77 ; SSE-LABEL: shuffle_v4i32_2200:
  78 ; SSE:       # BB#0:
  79 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,2,0,0]
  80 ; SSE-NEXT:    retq
  81 ;
  82 ; AVX-LABEL: shuffle_v4i32_2200:
  83 ; AVX:       # BB#0:
  84 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,2,0,0]
  85 ; AVX-NEXT:    retq
  86   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 2, i32 2, i32 0, i32 0>
  87   ret <4 x i32> %shuffle
  88 }
  89 define <4 x i32> @shuffle_v4i32_3330(<4 x i32> %a, <4 x i32> %b) {
  90 ; SSE-LABEL: shuffle_v4i32_3330:
  91 ; SSE:       # BB#0:
  92 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,3,3,0]
  93 ; SSE-NEXT:    retq
  94 ;
  95 ; AVX-LABEL: shuffle_v4i32_3330:
  96 ; AVX:       # BB#0:
  97 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,0]
  98 ; AVX-NEXT:    retq
  99   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 0>
 100   ret <4 x i32> %shuffle
 101 }
 102 define <4 x i32> @shuffle_v4i32_3210(<4 x i32> %a, <4 x i32> %b) {
 103 ; SSE-LABEL: shuffle_v4i32_3210:
 104 ; SSE:       # BB#0:
 105 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,2,1,0]
 106 ; SSE-NEXT:    retq
 107 ;
 108 ; AVX-LABEL: shuffle_v4i32_3210:
 109 ; AVX:       # BB#0:
 110 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,2,1,0]
 111 ; AVX-NEXT:    retq
 112   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 113   ret <4 x i32> %shuffle
 114 }
 115
 116 define <4 x i32> @shuffle_v4i32_2121(<4 x i32> %a, <4 x i32> %b) {
 117 ; SSE-LABEL: shuffle_v4i32_2121:
 118 ; SSE:       # BB#0:
 119 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,1]
 120 ; SSE-NEXT:    retq
 121 ;
 122 ; AVX-LABEL: shuffle_v4i32_2121:
 123 ; AVX:       # BB#0:
 124 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,1,2,1]
 125 ; AVX-NEXT:    retq
 126   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 2, i32 1, i32 2, i32 1>
 127   ret <4 x i32> %shuffle
 128 }
 129
 130 define <4 x float> @shuffle_v4f32_0001(<4 x float> %a, <4 x float> %b) {
 131 ; SSE-LABEL: shuffle_v4f32_0001:
 132 ; SSE:       # BB#0:
 133 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0,0,1]
 134 ; SSE-NEXT:    retq
 135 ;
 136 ; AVX-LABEL: shuffle_v4f32_0001:
 137 ; AVX:       # BB#0:
 138 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,0,0,1]
 139 ; AVX-NEXT:    retq
 140   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 1>
 141   ret <4 x float> %shuffle
 142 }
 143 define <4 x float> @shuffle_v4f32_0020(<4 x float> %a, <4 x float> %b) {
 144 ; SSE-LABEL: shuffle_v4f32_0020:
 145 ; SSE:       # BB#0:
 146 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0,2,0]
 147 ; SSE-NEXT:    retq
 148 ;
 149 ; AVX-LABEL: shuffle_v4f32_0020:
 150 ; AVX:       # BB#0:
 151 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,0,2,0]
 152 ; AVX-NEXT:    retq
 153   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 0>
 154   ret <4 x float> %shuffle
 155 }
 156 define <4 x float> @shuffle_v4f32_0300(<4 x float> %a, <4 x float> %b) {
 157 ; SSE-LABEL: shuffle_v4f32_0300:
 158 ; SSE:       # BB#0:
 159 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,3,0,0]
 160 ; SSE-NEXT:    retq
 161 ;
 162 ; AVX-LABEL: shuffle_v4f32_0300:
 163 ; AVX:       # BB#0:
 164 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,3,0,0]
 165 ; AVX-NEXT:    retq
 166   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 3, i32 0, i32 0>
 167   ret <4 x float> %shuffle
 168 }
 169 define <4 x float> @shuffle_v4f32_1000(<4 x float> %a, <4 x float> %b) {
 170 ; SSE-LABEL: shuffle_v4f32_1000:
 171 ; SSE:       # BB#0:
 172 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,0,0,0]
 173 ; SSE-NEXT:    retq
 174 ;
 175 ; AVX-LABEL: shuffle_v4f32_1000:
 176 ; AVX:       # BB#0:
 177 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[1,0,0,0]
 178 ; AVX-NEXT:    retq
 179   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 1, i32 0, i32 0, i32 0>
 180   ret <4 x float> %shuffle
 181 }
 182 define <4 x float> @shuffle_v4f32_2200(<4 x float> %a, <4 x float> %b) {
 183 ; SSE-LABEL: shuffle_v4f32_2200:
 184 ; SSE:       # BB#0:
 185 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,2,0,0]
 186 ; SSE-NEXT:    retq
 187 ;
 188 ; AVX-LABEL: shuffle_v4f32_2200:
 189 ; AVX:       # BB#0:
 190 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[2,2,0,0]
 191 ; AVX-NEXT:    retq
 192   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 2, i32 2, i32 0, i32 0>
 193   ret <4 x float> %shuffle
 194 }
 195 define <4 x float> @shuffle_v4f32_3330(<4 x float> %a, <4 x float> %b) {
 196 ; SSE-LABEL: shuffle_v4f32_3330:
 197 ; SSE:       # BB#0:
 198 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,3,3,0]
 199 ; SSE-NEXT:    retq
 200 ;
 201 ; AVX-LABEL: shuffle_v4f32_3330:
 202 ; AVX:       # BB#0:
 203 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[3,3,3,0]
 204 ; AVX-NEXT:    retq
 205   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 0>
 206   ret <4 x float> %shuffle
 207 }
 208 define <4 x float> @shuffle_v4f32_3210(<4 x float> %a, <4 x float> %b) {
 209 ; SSE-LABEL: shuffle_v4f32_3210:
 210 ; SSE:       # BB#0:
 211 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,2,1,0]
 212 ; SSE-NEXT:    retq
 213 ;
 214 ; AVX-LABEL: shuffle_v4f32_3210:
 215 ; AVX:       # BB#0:
 216 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[3,2,1,0]
 217 ; AVX-NEXT:    retq
 218   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 219   ret <4 x float> %shuffle
 220 }
 221 define <4 x float> @shuffle_v4f32_0011(<4 x float> %a, <4 x float> %b) {
 222 ; SSE-LABEL: shuffle_v4f32_0011:
 223 ; SSE:       # BB#0:
 224 ; SSE-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0,0,1,1]
 225 ; SSE-NEXT:    retq
 226 ;
 227 ; AVX-LABEL: shuffle_v4f32_0011:
 228 ; AVX:       # BB#0:
 229 ; AVX-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0,0,1,1]
 230 ; AVX-NEXT:    retq
 231   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 0, i32 1, i32 1>
 232   ret <4 x float> %shuffle
 233 }
 234 define <4 x float> @shuffle_v4f32_2233(<4 x float> %a, <4 x float> %b) {
 235 ; SSE-LABEL: shuffle_v4f32_2233:
 236 ; SSE:       # BB#0:
 237 ; SSE-NEXT:    unpckhps {{.*#+}} xmm0 = xmm0[2,2,3,3]
 238 ; SSE-NEXT:    retq
 239 ;
 240 ; AVX-LABEL: shuffle_v4f32_2233:
 241 ; AVX:       # BB#0:
 242 ; AVX-NEXT:    vunpckhps {{.*#+}} xmm0 = xmm0[2,2,3,3]
 243 ; AVX-NEXT:    retq
 244   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 2, i32 2, i32 3, i32 3>
 245   ret <4 x float> %shuffle
 246 }
 247 define <4 x float> @shuffle_v4f32_0022(<4 x float> %a, <4 x float> %b) {
 248 ; SSE2-LABEL: shuffle_v4f32_0022:
 249 ; SSE2:       # BB#0:
 250 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0,2,2]
 251 ; SSE2-NEXT:    retq
 252 ;
 253 ; SSE3-LABEL: shuffle_v4f32_0022:
 254 ; SSE3:       # BB#0:
 255 ; SSE3-NEXT:    movsldup {{.*#+}} xmm0 = xmm0[0,0,2,2]
 256 ; SSE3-NEXT:    retq
 257 ;
 258 ; SSSE3-LABEL: shuffle_v4f32_0022:
 259 ; SSSE3:       # BB#0:
 260 ; SSSE3-NEXT:    movsldup {{.*#+}} xmm0 = xmm0[0,0,2,2]
 261 ; SSSE3-NEXT:    retq
 262 ;
 263 ; SSE41-LABEL: shuffle_v4f32_0022:
 264 ; SSE41:       # BB#0:
 265 ; SSE41-NEXT:    movsldup {{.*#+}} xmm0 = xmm0[0,0,2,2]
 266 ; SSE41-NEXT:    retq
 267 ;
 268 ; AVX-LABEL: shuffle_v4f32_0022:
 269 ; AVX:       # BB#0:
 270 ; AVX-NEXT:    vmovsldup {{.*#+}} xmm0 = xmm0[0,0,2,2]
 271 ; AVX-NEXT:    retq
 272   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 2>
 273   ret <4 x float> %shuffle
 274 }
 275 define <4 x float> @shuffle_v4f32_1133(<4 x float> %a, <4 x float> %b) {
 276 ; SSE2-LABEL: shuffle_v4f32_1133:
 277 ; SSE2:       # BB#0:
 278 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,1,3,3]
 279 ; SSE2-NEXT:    retq
 280 ;
 281 ; SSE3-LABEL: shuffle_v4f32_1133:
 282 ; SSE3:       # BB#0:
 283 ; SSE3-NEXT:    movshdup {{.*#+}} xmm0 = xmm0[1,1,3,3]
 284 ; SSE3-NEXT:    retq
 285 ;
 286 ; SSSE3-LABEL: shuffle_v4f32_1133:
 287 ; SSSE3:       # BB#0:
 288 ; SSSE3-NEXT:    movshdup {{.*#+}} xmm0 = xmm0[1,1,3,3]
 289 ; SSSE3-NEXT:    retq
 290 ;
 291 ; SSE41-LABEL: shuffle_v4f32_1133:
 292 ; SSE41:       # BB#0:
 293 ; SSE41-NEXT:    movshdup {{.*#+}} xmm0 = xmm0[1,1,3,3]
 294 ; SSE41-NEXT:    retq
 295 ;
 296 ; AVX-LABEL: shuffle_v4f32_1133:
 297 ; AVX:       # BB#0:
 298 ; AVX-NEXT:    vmovshdup {{.*#+}} xmm0 = xmm0[1,1,3,3]
 299 ; AVX-NEXT:    retq
 300   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 1, i32 1, i32 3, i32 3>
 301   ret <4 x float> %shuffle
 302 }
 303
 304 define <4 x i32> @shuffle_v4i32_0124(<4 x i32> %a, <4 x i32> %b) {
 305 ; SSE2-LABEL: shuffle_v4i32_0124:
 306 ; SSE2:       # BB#0:
 307 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 308 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 309 ; SSE2-NEXT:    retq
 310 ;
 311 ; SSE3-LABEL: shuffle_v4i32_0124:
 312 ; SSE3:       # BB#0:
 313 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 314 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 315 ; SSE3-NEXT:    retq
 316 ;
 317 ; SSSE3-LABEL: shuffle_v4i32_0124:
 318 ; SSSE3:       # BB#0:
 319 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 320 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 321 ; SSSE3-NEXT:    retq
 322 ;
 323 ; SSE41-LABEL: shuffle_v4i32_0124:
 324 ; SSE41:       # BB#0:
 325 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[0]
 326 ; SSE41-NEXT:    retq
 327 ;
 328 ; AVX-LABEL: shuffle_v4i32_0124:
 329 ; AVX:       # BB#0:
 330 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[0]
 331 ; AVX-NEXT:    retq
 332   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 2, i32 4>
 333   ret <4 x i32> %shuffle
 334 }
 335 define <4 x i32> @shuffle_v4i32_0142(<4 x i32> %a, <4 x i32> %b) {
 336 ; SSE-LABEL: shuffle_v4i32_0142:
 337 ; SSE:       # BB#0:
 338 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 339 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
 340 ; SSE-NEXT:    retq
 341 ;
 342 ; AVX-LABEL: shuffle_v4i32_0142:
 343 ; AVX:       # BB#0:
 344 ; AVX-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 345 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
 346 ; AVX-NEXT:    retq
 347   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 2>
 348   ret <4 x i32> %shuffle
 349 }
 350 define <4 x i32> @shuffle_v4i32_0412(<4 x i32> %a, <4 x i32> %b) {
 351 ; SSE-LABEL: shuffle_v4i32_0412:
 352 ; SSE:       # BB#0:
 353 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 354 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[1,2]
 355 ; SSE-NEXT:    movaps %xmm1, %xmm0
 356 ; SSE-NEXT:    retq
 357 ;
 358 ; AVX-LABEL: shuffle_v4i32_0412:
 359 ; AVX:       # BB#0:
 360 ; AVX-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 361 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm1[2,0],xmm0[1,2]
 362 ; AVX-NEXT:    retq
 363   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 4, i32 1, i32 2>
 364   ret <4 x i32> %shuffle
 365 }
 366 define <4 x i32> @shuffle_v4i32_4012(<4 x i32> %a, <4 x i32> %b) {
 367 ; SSE-LABEL: shuffle_v4i32_4012:
 368 ; SSE:       # BB#0:
 369 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 370 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm0[1,2]
 371 ; SSE-NEXT:    movaps %xmm1, %xmm0
 372 ; SSE-NEXT:    retq
 373 ;
 374 ; AVX-LABEL: shuffle_v4i32_4012:
 375 ; AVX:       # BB#0:
 376 ; AVX-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 377 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm1[0,2],xmm0[1,2]
 378 ; AVX-NEXT:    retq
 379   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 4, i32 0, i32 1, i32 2>
 380   ret <4 x i32> %shuffle
 381 }
 382 define <4 x i32> @shuffle_v4i32_0145(<4 x i32> %a, <4 x i32> %b) {
 383 ; SSE-LABEL: shuffle_v4i32_0145:
 384 ; SSE:       # BB#0:
 385 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 386 ; SSE-NEXT:    retq
 387 ;
 388 ; AVX-LABEL: shuffle_v4i32_0145:
 389 ; AVX:       # BB#0:
 390 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 391 ; AVX-NEXT:    retq
 392   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 5>
 393   ret <4 x i32> %shuffle
 394 }
 395 define <4 x i32> @shuffle_v4i32_0451(<4 x i32> %a, <4 x i32> %b) {
 396 ; SSE-LABEL: shuffle_v4i32_0451:
 397 ; SSE:       # BB#0:
 398 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,1]
 399 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,3,1]
 400 ; SSE-NEXT:    retq
 401 ;
 402 ; AVX-LABEL: shuffle_v4i32_0451:
 403 ; AVX:       # BB#0:
 404 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,1]
 405 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,2,3,1]
 406 ; AVX-NEXT:    retq
 407   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 4, i32 5, i32 1>
 408   ret <4 x i32> %shuffle
 409 }
 410 define <4 x i32> @shuffle_v4i32_4501(<4 x i32> %a, <4 x i32> %b) {
 411 ; SSE-LABEL: shuffle_v4i32_4501:
 412 ; SSE:       # BB#0:
 413 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 414 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 415 ; SSE-NEXT:    retq
 416 ;
 417 ; AVX-LABEL: shuffle_v4i32_4501:
 418 ; AVX:       # BB#0:
 419 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
 420 ; AVX-NEXT:    retq
 421   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
 422   ret <4 x i32> %shuffle
 423 }
 424 define <4 x i32> @shuffle_v4i32_4015(<4 x i32> %a, <4 x i32> %b) {
 425 ; SSE-LABEL: shuffle_v4i32_4015:
 426 ; SSE:       # BB#0:
 427 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,1]
 428 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0,1,3]
 429 ; SSE-NEXT:    retq
 430 ;
 431 ; AVX-LABEL: shuffle_v4i32_4015:
 432 ; AVX:       # BB#0:
 433 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,1]
 434 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[2,0,1,3]
 435 ; AVX-NEXT:    retq
 436   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 4, i32 0, i32 1, i32 5>
 437   ret <4 x i32> %shuffle
 438 }
 439
 440 define <4 x float> @shuffle_v4f32_4zzz(<4 x float> %a) {
 441 ; SSE2-LABEL: shuffle_v4f32_4zzz:
 442 ; SSE2:       # BB#0:
 443 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 444 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 445 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 446 ; SSE2-NEXT:    retq
 447 ;
 448 ; SSE3-LABEL: shuffle_v4f32_4zzz:
 449 ; SSE3:       # BB#0:
 450 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 451 ; SSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 452 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 453 ; SSE3-NEXT:    retq
 454 ;
 455 ; SSSE3-LABEL: shuffle_v4f32_4zzz:
 456 ; SSSE3:       # BB#0:
 457 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 458 ; SSSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 459 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 460 ; SSSE3-NEXT:    retq
 461 ;
 462 ; SSE41-LABEL: shuffle_v4f32_4zzz:
 463 ; SSE41:       # BB#0:
 464 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 465 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 466 ; SSE41-NEXT:    retq
 467 ;
 468 ; AVX-LABEL: shuffle_v4f32_4zzz:
 469 ; AVX:       # BB#0:
 470 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 471 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 472 ; AVX-NEXT:    retq
 473   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 4, i32 1, i32 2, i32 3>
 474   ret <4 x float> %shuffle
 475 }
 476
 477 define <4 x float> @shuffle_v4f32_z4zz(<4 x float> %a) {
 478 ; SSE2-LABEL: shuffle_v4f32_z4zz:
 479 ; SSE2:       # BB#0:
 480 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 481 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,0]
 482 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 483 ; SSE2-NEXT:    retq
 484 ;
 485 ; SSE3-LABEL: shuffle_v4f32_z4zz:
 486 ; SSE3:       # BB#0:
 487 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 488 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,0]
 489 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 490 ; SSE3-NEXT:    retq
 491 ;
 492 ; SSSE3-LABEL: shuffle_v4f32_z4zz:
 493 ; SSSE3:       # BB#0:
 494 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 495 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,0]
 496 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 497 ; SSSE3-NEXT:    retq
 498 ;
 499 ; SSE41-LABEL: shuffle_v4f32_z4zz:
 500 ; SSE41:       # BB#0:
 501 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,xmm0[0],zero,zero
 502 ; SSE41-NEXT:    retq
 503 ;
 504 ; AVX-LABEL: shuffle_v4f32_z4zz:
 505 ; AVX:       # BB#0:
 506 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,xmm0[0],zero,zero
 507 ; AVX-NEXT:    retq
 508   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 2, i32 4, i32 3, i32 0>
 509   ret <4 x float> %shuffle
 510 }
 511
 512 define <4 x float> @shuffle_v4f32_zz4z(<4 x float> %a) {
 513 ; SSE2-LABEL: shuffle_v4f32_zz4z:
 514 ; SSE2:       # BB#0:
 515 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 516 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[3,0]
 517 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[0,2]
 518 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 519 ; SSE2-NEXT:    retq
 520 ;
 521 ; SSE3-LABEL: shuffle_v4f32_zz4z:
 522 ; SSE3:       # BB#0:
 523 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 524 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[3,0]
 525 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[0,2]
 526 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 527 ; SSE3-NEXT:    retq
 528 ;
 529 ; SSSE3-LABEL: shuffle_v4f32_zz4z:
 530 ; SSSE3:       # BB#0:
 531 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 532 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[3,0]
 533 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[0,2]
 534 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 535 ; SSSE3-NEXT:    retq
 536 ;
 537 ; SSE41-LABEL: shuffle_v4f32_zz4z:
 538 ; SSE41:       # BB#0:
 539 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,zero,xmm0[0],zero
 540 ; SSE41-NEXT:    retq
 541 ;
 542 ; AVX-LABEL: shuffle_v4f32_zz4z:
 543 ; AVX:       # BB#0:
 544 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,zero,xmm0[0],zero
 545 ; AVX-NEXT:    retq
 546   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 0, i32 0, i32 4, i32 0>
 547   ret <4 x float> %shuffle
 548 }
 549
 550 define <4 x float> @shuffle_v4f32_zuu4(<4 x float> %a) {
 551 ; SSE2-LABEL: shuffle_v4f32_zuu4:
 552 ; SSE2:       # BB#0:
 553 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 554 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 555 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 556 ; SSE2-NEXT:    retq
 557 ;
 558 ; SSE3-LABEL: shuffle_v4f32_zuu4:
 559 ; SSE3:       # BB#0:
 560 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 561 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 562 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 563 ; SSE3-NEXT:    retq
 564 ;
 565 ; SSSE3-LABEL: shuffle_v4f32_zuu4:
 566 ; SSSE3:       # BB#0:
 567 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 568 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 569 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 570 ; SSSE3-NEXT:    retq
 571 ;
 572 ; SSE41-LABEL: shuffle_v4f32_zuu4:
 573 ; SSE41:       # BB#0:
 574 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,zero,zero,xmm0[0]
 575 ; SSE41-NEXT:    retq
 576 ;
 577 ; AVX-LABEL: shuffle_v4f32_zuu4:
 578 ; AVX:       # BB#0:
 579 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,zero,zero,xmm0[0]
 580 ; AVX-NEXT:    retq
 581   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 0, i32 undef, i32 undef, i32 4>
 582   ret <4 x float> %shuffle
 583 }
 584
 585 define <4 x float> @shuffle_v4f32_zzz7(<4 x float> %a) {
 586 ; SSE2-LABEL: shuffle_v4f32_zzz7:
 587 ; SSE2:       # BB#0:
 588 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 589 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[2,0]
 590 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 591 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 592 ; SSE2-NEXT:    retq
 593 ;
 594 ; SSE3-LABEL: shuffle_v4f32_zzz7:
 595 ; SSE3:       # BB#0:
 596 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 597 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[2,0]
 598 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 599 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 600 ; SSE3-NEXT:    retq
 601 ;
 602 ; SSSE3-LABEL: shuffle_v4f32_zzz7:
 603 ; SSSE3:       # BB#0:
 604 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 605 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[2,0]
 606 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 607 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 608 ; SSSE3-NEXT:    retq
 609 ;
 610 ; SSE41-LABEL: shuffle_v4f32_zzz7:
 611 ; SSE41:       # BB#0:
 612 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 613 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm1[0,1,2],xmm0[3]
 614 ; SSE41-NEXT:    retq
 615 ;
 616 ; AVX-LABEL: shuffle_v4f32_zzz7:
 617 ; AVX:       # BB#0:
 618 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 619 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm1[0,1,2],xmm0[3]
 620 ; AVX-NEXT:    retq
 621   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 0, i32 1, i32 2, i32 7>
 622   ret <4 x float> %shuffle
 623 }
 624
 625 define <4 x float> @shuffle_v4f32_z6zz(<4 x float> %a) {
 626 ; SSE2-LABEL: shuffle_v4f32_z6zz:
 627 ; SSE2:       # BB#0:
 628 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 629 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 630 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 631 ; SSE2-NEXT:    retq
 632 ;
 633 ; SSE3-LABEL: shuffle_v4f32_z6zz:
 634 ; SSE3:       # BB#0:
 635 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 636 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 637 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 638 ; SSE3-NEXT:    retq
 639 ;
 640 ; SSSE3-LABEL: shuffle_v4f32_z6zz:
 641 ; SSSE3:       # BB#0:
 642 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 643 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 644 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 645 ; SSSE3-NEXT:    retq
 646 ;
 647 ; SSE41-LABEL: shuffle_v4f32_z6zz:
 648 ; SSE41:       # BB#0:
 649 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,xmm0[2],zero,zero
 650 ; SSE41-NEXT:    retq
 651 ;
 652 ; AVX-LABEL: shuffle_v4f32_z6zz:
 653 ; AVX:       # BB#0:
 654 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,xmm0[2],zero,zero
 655 ; AVX-NEXT:    retq
 656   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 0, i32 6, i32 2, i32 3>
 657   ret <4 x float> %shuffle
 658 }
 659
 660 define <4 x float> @shuffle_v4f32_0z23(<4 x float> %a) {
 661 ; SSE2-LABEL: shuffle_v4f32_0z23:
 662 ; SSE2:       # BB#0:
 663 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 664 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[0,0]
 665 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
 666 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 667 ; SSE2-NEXT:    retq
 668 ;
 669 ; SSE3-LABEL: shuffle_v4f32_0z23:
 670 ; SSE3:       # BB#0:
 671 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 672 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[0,0]
 673 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
 674 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 675 ; SSE3-NEXT:    retq
 676 ;
 677 ; SSSE3-LABEL: shuffle_v4f32_0z23:
 678 ; SSSE3:       # BB#0:
 679 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 680 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[0,0]
 681 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[2,3]
 682 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 683 ; SSSE3-NEXT:    retq
 684 ;
 685 ; SSE41-LABEL: shuffle_v4f32_0z23:
 686 ; SSE41:       # BB#0:
 687 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 688 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3]
 689 ; SSE41-NEXT:    retq
 690 ;
 691 ; AVX-LABEL: shuffle_v4f32_0z23:
 692 ; AVX:       # BB#0:
 693 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 694 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3]
 695 ; AVX-NEXT:    retq
 696   %shuffle = shufflevector <4 x float> %a, <4 x float> zeroinitializer, <4 x i32> <i32 0, i32 4, i32 2, i32 3>
 697   ret <4 x float> %shuffle
 698 }
 699
 700 define <4 x float> @shuffle_v4f32_01z3(<4 x float> %a) {
 701 ; SSE2-LABEL: shuffle_v4f32_01z3:
 702 ; SSE2:       # BB#0:
 703 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 704 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[3,0]
 705 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
 706 ; SSE2-NEXT:    retq
 707 ;
 708 ; SSE3-LABEL: shuffle_v4f32_01z3:
 709 ; SSE3:       # BB#0:
 710 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 711 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[3,0]
 712 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
 713 ; SSE3-NEXT:    retq
 714 ;
 715 ; SSSE3-LABEL: shuffle_v4f32_01z3:
 716 ; SSSE3:       # BB#0:
 717 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 718 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[3,0]
 719 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
 720 ; SSSE3-NEXT:    retq
 721 ;
 722 ; SSE41-LABEL: shuffle_v4f32_01z3:
 723 ; SSE41:       # BB#0:
 724 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 725 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
 726 ; SSE41-NEXT:    retq
 727 ;
 728 ; AVX-LABEL: shuffle_v4f32_01z3:
 729 ; AVX:       # BB#0:
 730 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 731 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
 732 ; AVX-NEXT:    retq
 733   %shuffle = shufflevector <4 x float> %a, <4 x float> zeroinitializer, <4 x i32> <i32 0, i32 1, i32 4, i32 3>
 734   ret <4 x float> %shuffle
 735 }
 736
 737 define <4 x float> @shuffle_v4f32_012z(<4 x float> %a) {
 738 ; SSE2-LABEL: shuffle_v4f32_012z:
 739 ; SSE2:       # BB#0:
 740 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 741 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[3,0],xmm0[2,0]
 742 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 743 ; SSE2-NEXT:    retq
 744 ;
 745 ; SSE3-LABEL: shuffle_v4f32_012z:
 746 ; SSE3:       # BB#0:
 747 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 748 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[3,0],xmm0[2,0]
 749 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 750 ; SSE3-NEXT:    retq
 751 ;
 752 ; SSSE3-LABEL: shuffle_v4f32_012z:
 753 ; SSSE3:       # BB#0:
 754 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 755 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[3,0],xmm0[2,0]
 756 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 757 ; SSSE3-NEXT:    retq
 758 ;
 759 ; SSE41-LABEL: shuffle_v4f32_012z:
 760 ; SSE41:       # BB#0:
 761 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 762 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
 763 ; SSE41-NEXT:    retq
 764 ;
 765 ; AVX-LABEL: shuffle_v4f32_012z:
 766 ; AVX:       # BB#0:
 767 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 768 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
 769 ; AVX-NEXT:    retq
 770   %shuffle = shufflevector <4 x float> %a, <4 x float> zeroinitializer, <4 x i32> <i32 0, i32 1, i32 2, i32 7>
 771   ret <4 x float> %shuffle
 772 }
 773
 774 define <4 x float> @shuffle_v4f32_0zz3(<4 x float> %a) {
 775 ; SSE2-LABEL: shuffle_v4f32_0zz3:
 776 ; SSE2:       # BB#0:
 777 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 778 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,3],xmm1[1,2]
 779 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,3,1]
 780 ; SSE2-NEXT:    retq
 781 ;
 782 ; SSE3-LABEL: shuffle_v4f32_0zz3:
 783 ; SSE3:       # BB#0:
 784 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 785 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,3],xmm1[1,2]
 786 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,3,1]
 787 ; SSE3-NEXT:    retq
 788 ;
 789 ; SSSE3-LABEL: shuffle_v4f32_0zz3:
 790 ; SSSE3:       # BB#0:
 791 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 792 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,3],xmm1[1,2]
 793 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,3,1]
 794 ; SSSE3-NEXT:    retq
 795 ;
 796 ; SSE41-LABEL: shuffle_v4f32_0zz3:
 797 ; SSE41:       # BB#0:
 798 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 799 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2],xmm0[3]
 800 ; SSE41-NEXT:    retq
 801 ;
 802 ; AVX-LABEL: shuffle_v4f32_0zz3:
 803 ; AVX:       # BB#0:
 804 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 805 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2],xmm0[3]
 806 ; AVX-NEXT:    retq
 807   %shuffle = shufflevector <4 x float> %a, <4 x float> zeroinitializer, <4 x i32> <i32 0, i32 4, i32 4, i32 3>
 808   ret <4 x float> %shuffle
 809 }
 810
 811 define <4 x float> @shuffle_v4f32_u051(<4 x float> %a, <4 x float> %b) {
 812 ; SSE-LABEL: shuffle_v4f32_u051:
 813 ; SSE:       # BB#0:
 814 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[1,0]
 815 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,2]
 816 ; SSE-NEXT:    retq
 817 ;
 818 ; AVX-LABEL: shuffle_v4f32_u051:
 819 ; AVX:       # BB#0:
 820 ; AVX-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[1,0],xmm0[1,0]
 821 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,2]
 822 ; AVX-NEXT:    retq
 823   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 undef, i32 0, i32 5, i32 1>
 824   ret <4 x float> %shuffle
 825 }
 826
 827 define <4 x i32> @shuffle_v4i32_4zzz(<4 x i32> %a) {
 828 ; SSE2-LABEL: shuffle_v4i32_4zzz:
 829 ; SSE2:       # BB#0:
 830 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 831 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 832 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 833 ; SSE2-NEXT:    retq
 834 ;
 835 ; SSE3-LABEL: shuffle_v4i32_4zzz:
 836 ; SSE3:       # BB#0:
 837 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 838 ; SSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 839 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 840 ; SSE3-NEXT:    retq
 841 ;
 842 ; SSSE3-LABEL: shuffle_v4i32_4zzz:
 843 ; SSSE3:       # BB#0:
 844 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 845 ; SSSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 846 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 847 ; SSSE3-NEXT:    retq
 848 ;
 849 ; SSE41-LABEL: shuffle_v4i32_4zzz:
 850 ; SSE41:       # BB#0:
 851 ; SSE41-NEXT:    pxor %xmm1, %xmm1
 852 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3,4,5,6,7]
 853 ; SSE41-NEXT:    retq
 854 ;
 855 ; AVX-LABEL: shuffle_v4i32_4zzz:
 856 ; AVX:       # BB#0:
 857 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 858 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3,4,5,6,7]
 859 ; AVX-NEXT:    retq
 860   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 4, i32 1, i32 2, i32 3>
 861   ret <4 x i32> %shuffle
 862 }
 863
 864 define <4 x i32> @shuffle_v4i32_z4zz(<4 x i32> %a) {
 865 ; SSE2-LABEL: shuffle_v4i32_z4zz:
 866 ; SSE2:       # BB#0:
 867 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 868 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 869 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,1,1]
 870 ; SSE2-NEXT:    retq
 871 ;
 872 ; SSE3-LABEL: shuffle_v4i32_z4zz:
 873 ; SSE3:       # BB#0:
 874 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 875 ; SSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 876 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,1,1]
 877 ; SSE3-NEXT:    retq
 878 ;
 879 ; SSSE3-LABEL: shuffle_v4i32_z4zz:
 880 ; SSSE3:       # BB#0:
 881 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 882 ; SSSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 883 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,1,1]
 884 ; SSSE3-NEXT:    retq
 885 ;
 886 ; SSE41-LABEL: shuffle_v4i32_z4zz:
 887 ; SSE41:       # BB#0:
 888 ; SSE41-NEXT:    pxor %xmm1, %xmm1
 889 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3,4,5,6,7]
 890 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,1,1]
 891 ; SSE41-NEXT:    retq
 892 ;
 893 ; AVX-LABEL: shuffle_v4i32_z4zz:
 894 ; AVX:       # BB#0:
 895 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 896 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3,4,5,6,7]
 897 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,0,1,1]
 898 ; AVX-NEXT:    retq
 899   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 2, i32 4, i32 3, i32 0>
 900   ret <4 x i32> %shuffle
 901 }
 902
 903 define <4 x i32> @shuffle_v4i32_zz4z(<4 x i32> %a) {
 904 ; SSE2-LABEL: shuffle_v4i32_zz4z:
 905 ; SSE2:       # BB#0:
 906 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 907 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 908 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,0,1]
 909 ; SSE2-NEXT:    retq
 910 ;
 911 ; SSE3-LABEL: shuffle_v4i32_zz4z:
 912 ; SSE3:       # BB#0:
 913 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 914 ; SSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 915 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,0,1]
 916 ; SSE3-NEXT:    retq
 917 ;
 918 ; SSSE3-LABEL: shuffle_v4i32_zz4z:
 919 ; SSSE3:       # BB#0:
 920 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 921 ; SSSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 922 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,0,1]
 923 ; SSSE3-NEXT:    retq
 924 ;
 925 ; SSE41-LABEL: shuffle_v4i32_zz4z:
 926 ; SSE41:       # BB#0:
 927 ; SSE41-NEXT:    pxor %xmm1, %xmm1
 928 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0,1],xmm1[2,3,4,5,6,7]
 929 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,0,1]
 930 ; SSE41-NEXT:    retq
 931 ;
 932 ; AVX-LABEL: shuffle_v4i32_zz4z:
 933 ; AVX:       # BB#0:
 934 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 935 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3,4,5,6,7]
 936 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,1,0,1]
 937 ; AVX-NEXT:    retq
 938   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 0, i32 0, i32 4, i32 0>
 939   ret <4 x i32> %shuffle
 940 }
 941
 942 define <4 x i32> @shuffle_v4i32_zuu4(<4 x i32> %a) {
 943 ; SSE-LABEL: shuffle_v4i32_zuu4:
 944 ; SSE:       # BB#0:
 945 ; SSE-NEXT:    pslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3]
 946 ; SSE-NEXT:    retq
 947 ;
 948 ; AVX-LABEL: shuffle_v4i32_zuu4:
 949 ; AVX:       # BB#0:
 950 ; AVX-NEXT:    vpslldq {{.*#+}} xmm0 = zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,xmm0[0,1,2,3]
 951 ; AVX-NEXT:    retq
 952   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 0, i32 undef, i32 undef, i32 4>
 953   ret <4 x i32> %shuffle
 954 }
 955
 956 define <4 x i32> @shuffle_v4i32_z6zz(<4 x i32> %a) {
 957 ; SSE2-LABEL: shuffle_v4i32_z6zz:
 958 ; SSE2:       # BB#0:
 959 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 960 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 961 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 962 ; SSE2-NEXT:    retq
 963 ;
 964 ; SSE3-LABEL: shuffle_v4i32_z6zz:
 965 ; SSE3:       # BB#0:
 966 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 967 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 968 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 969 ; SSE3-NEXT:    retq
 970 ;
 971 ; SSSE3-LABEL: shuffle_v4i32_z6zz:
 972 ; SSSE3:       # BB#0:
 973 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 974 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 975 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 976 ; SSSE3-NEXT:    retq
 977 ;
 978 ; SSE41-LABEL: shuffle_v4i32_z6zz:
 979 ; SSE41:       # BB#0:
 980 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,xmm0[2],zero,zero
 981 ; SSE41-NEXT:    retq
 982 ;
 983 ; AVX-LABEL: shuffle_v4i32_z6zz:
 984 ; AVX:       # BB#0:
 985 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,xmm0[2],zero,zero
 986 ; AVX-NEXT:    retq
 987   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 0, i32 6, i32 2, i32 3>
 988   ret <4 x i32> %shuffle
 989 }
 990
 991 define <4 x i32> @shuffle_v4i32_7012(<4 x i32> %a, <4 x i32> %b) {
 992 ; SSE2-LABEL: shuffle_v4i32_7012:
 993 ; SSE2:       # BB#0:
 994 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[3,0],xmm0[0,0]
 995 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm0[1,2]
 996 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 997 ; SSE2-NEXT:    retq
 998 ;
 999 ; SSE3-LABEL: shuffle_v4i32_7012:
1000 ; SSE3:       # BB#0:
1001 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[3,0],xmm0[0,0]
1002 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm0[1,2]
1003 ; SSE3-NEXT:    movaps %xmm1, %xmm0
1004 ; SSE3-NEXT:    retq
1005 ;
1006 ; SSSE3-LABEL: shuffle_v4i32_7012:
1007 ; SSSE3:       # BB#0:
1008 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9,10,11]
1009 ; SSSE3-NEXT:    retq
1010 ;
1011 ; SSE41-LABEL: shuffle_v4i32_7012:
1012 ; SSE41:       # BB#0:
1013 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9,10,11]
1014 ; SSE41-NEXT:    retq
1015 ;
1016 ; AVX-LABEL: shuffle_v4i32_7012:
1017 ; AVX:       # BB#0:
1018 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9,10,11]
1019 ; AVX-NEXT:    retq
1020   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 7, i32 0, i32 1, i32 2>
1021   ret <4 x i32> %shuffle
1022 }
1023
1024 define <4 x i32> @shuffle_v4i32_6701(<4 x i32> %a, <4 x i32> %b) {
1025 ; SSE2-LABEL: shuffle_v4i32_6701:
1026 ; SSE2:       # BB#0:
1027 ; SSE2-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1],xmm0[0]
1028 ; SSE2-NEXT:    movapd %xmm1, %xmm0
1029 ; SSE2-NEXT:    retq
1030 ;
1031 ; SSE3-LABEL: shuffle_v4i32_6701:
1032 ; SSE3:       # BB#0:
1033 ; SSE3-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1],xmm0[0]
1034 ; SSE3-NEXT:    movapd %xmm1, %xmm0
1035 ; SSE3-NEXT:    retq
1036 ;
1037 ; SSSE3-LABEL: shuffle_v4i32_6701:
1038 ; SSSE3:       # BB#0:
1039 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
1040 ; SSSE3-NEXT:    retq
1041 ;
1042 ; SSE41-LABEL: shuffle_v4i32_6701:
1043 ; SSE41:       # BB#0:
1044 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
1045 ; SSE41-NEXT:    retq
1046 ;
1047 ; AVX-LABEL: shuffle_v4i32_6701:
1048 ; AVX:       # BB#0:
1049 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
1050 ; AVX-NEXT:    retq
1051   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 6, i32 7, i32 0, i32 1>
1052   ret <4 x i32> %shuffle
1053 }
1054
1055 define <4 x i32> @shuffle_v4i32_5670(<4 x i32> %a, <4 x i32> %b) {
1056 ; SSE2-LABEL: shuffle_v4i32_5670:
1057 ; SSE2:       # BB#0:
1058 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[3,0]
1059 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,2],xmm0[2,0]
1060 ; SSE2-NEXT:    movaps %xmm1, %xmm0
1061 ; SSE2-NEXT:    retq
1062 ;
1063 ; SSE3-LABEL: shuffle_v4i32_5670:
1064 ; SSE3:       # BB#0:
1065 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[3,0]
1066 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,2],xmm0[2,0]
1067 ; SSE3-NEXT:    movaps %xmm1, %xmm0
1068 ; SSE3-NEXT:    retq
1069 ;
1070 ; SSSE3-LABEL: shuffle_v4i32_5670:
1071 ; SSSE3:       # BB#0:
1072 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[4,5,6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3]
1073 ; SSSE3-NEXT:    retq
1074 ;
1075 ; SSE41-LABEL: shuffle_v4i32_5670:
1076 ; SSE41:       # BB#0:
1077 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[4,5,6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3]
1078 ; SSE41-NEXT:    retq
1079 ;
1080 ; AVX-LABEL: shuffle_v4i32_5670:
1081 ; AVX:       # BB#0:
1082 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[4,5,6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3]
1083 ; AVX-NEXT:    retq
1084   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 5, i32 6, i32 7, i32 0>
1085   ret <4 x i32> %shuffle
1086 }
1087
1088 define <4 x i32> @shuffle_v4i32_1234(<4 x i32> %a, <4 x i32> %b) {
1089 ; SSE2-LABEL: shuffle_v4i32_1234:
1090 ; SSE2:       # BB#0:
1091 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[3,0]
1092 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,2],xmm1[2,0]
1093 ; SSE2-NEXT:    retq
1094 ;
1095 ; SSE3-LABEL: shuffle_v4i32_1234:
1096 ; SSE3:       # BB#0:
1097 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[3,0]
1098 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,2],xmm1[2,0]
1099 ; SSE3-NEXT:    retq
1100 ;
1101 ; SSSE3-LABEL: shuffle_v4i32_1234:
1102 ; SSSE3:       # BB#0:
1103 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[4,5,6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3]
1104 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1105 ; SSSE3-NEXT:    retq
1106 ;
1107 ; SSE41-LABEL: shuffle_v4i32_1234:
1108 ; SSE41:       # BB#0:
1109 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[4,5,6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3]
1110 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1111 ; SSE41-NEXT:    retq
1112 ;
1113 ; AVX-LABEL: shuffle_v4i32_1234:
1114 ; AVX:       # BB#0:
1115 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[4,5,6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3]
1116 ; AVX-NEXT:    retq
1117   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 1, i32 2, i32 3, i32 4>
1118   ret <4 x i32> %shuffle
1119 }
1120
1121 define <4 x i32> @shuffle_v4i32_2345(<4 x i32> %a, <4 x i32> %b) {
1122 ; SSE2-LABEL: shuffle_v4i32_2345:
1123 ; SSE2:       # BB#0:
1124 ; SSE2-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1],xmm1[0]
1125 ; SSE2-NEXT:    retq
1126 ;
1127 ; SSE3-LABEL: shuffle_v4i32_2345:
1128 ; SSE3:       # BB#0:
1129 ; SSE3-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1],xmm1[0]
1130 ; SSE3-NEXT:    retq
1131 ;
1132 ; SSSE3-LABEL: shuffle_v4i32_2345:
1133 ; SSSE3:       # BB#0:
1134 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
1135 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1136 ; SSSE3-NEXT:    retq
1137 ;
1138 ; SSE41-LABEL: shuffle_v4i32_2345:
1139 ; SSE41:       # BB#0:
1140 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
1141 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1142 ; SSE41-NEXT:    retq
1143 ;
1144 ; AVX-LABEL: shuffle_v4i32_2345:
1145 ; AVX:       # BB#0:
1146 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
1147 ; AVX-NEXT:    retq
1148   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 2, i32 3, i32 4, i32 5>
1149   ret <4 x i32> %shuffle
1150 }
1151
1152 define <4 x i32> @shuffle_v4i32_40u1(<4 x i32> %a, <4 x i32> %b) {
1153 ; SSE-LABEL: shuffle_v4i32_40u1:
1154 ; SSE:       # BB#0:
1155 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
1156 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm0[2,1]
1157 ; SSE-NEXT:    movaps %xmm1, %xmm0
1158 ; SSE-NEXT:    retq
1159 ;
1160 ; AVX-LABEL: shuffle_v4i32_40u1:
1161 ; AVX:       # BB#0:
1162 ; AVX-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
1163 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm1[0,2],xmm0[2,1]
1164 ; AVX-NEXT:    retq
1165   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 4, i32 0, i32 undef, i32 1>
1166   ret <4 x i32> %shuffle
1167 }
1168
1169 define <4 x i32> @shuffle_v4i32_3456(<4 x i32> %a, <4 x i32> %b) {
1170 ; SSE2-LABEL: shuffle_v4i32_3456:
1171 ; SSE2:       # BB#0:
1172 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[0,0]
1173 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,2]
1174 ; SSE2-NEXT:    retq
1175 ;
1176 ; SSE3-LABEL: shuffle_v4i32_3456:
1177 ; SSE3:       # BB#0:
1178 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[0,0]
1179 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,2]
1180 ; SSE3-NEXT:    retq
1181 ;
1182 ; SSSE3-LABEL: shuffle_v4i32_3456:
1183 ; SSSE3:       # BB#0:
1184 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9,10,11]
1185 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1186 ; SSSE3-NEXT:    retq
1187 ;
1188 ; SSE41-LABEL: shuffle_v4i32_3456:
1189 ; SSE41:       # BB#0:
1190 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9,10,11]
1191 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1192 ; SSE41-NEXT:    retq
1193 ;
1194 ; AVX-LABEL: shuffle_v4i32_3456:
1195 ; AVX:       # BB#0:
1196 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9,10,11]
1197 ; AVX-NEXT:    retq
1198   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 3, i32 4, i32 5, i32 6>
1199   ret <4 x i32> %shuffle
1200 }
1201
1202 define <4 x i32> @shuffle_v4i32_0u1u(<4 x i32> %a, <4 x i32> %b) {
1203 ; SSE2-LABEL: shuffle_v4i32_0u1u:
1204 ; SSE2:       # BB#0:
1205 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,1,3]
1206 ; SSE2-NEXT:    retq
1207 ;
1208 ; SSE3-LABEL: shuffle_v4i32_0u1u:
1209 ; SSE3:       # BB#0:
1210 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,1,3]
1211 ; SSE3-NEXT:    retq
1212 ;
1213 ; SSSE3-LABEL: shuffle_v4i32_0u1u:
1214 ; SSSE3:       # BB#0:
1215 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,1,3]
1216 ; SSSE3-NEXT:    retq
1217 ;
1218 ; SSE41-LABEL: shuffle_v4i32_0u1u:
1219 ; SSE41:       # BB#0:
1220 ; SSE41-NEXT:    pmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
1221 ; SSE41-NEXT:    retq
1222 ;
1223 ; AVX-LABEL: shuffle_v4i32_0u1u:
1224 ; AVX:       # BB#0:
1225 ; AVX-NEXT:    vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
1226 ; AVX-NEXT:    retq
1227   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 undef, i32 1, i32 undef>
1228   ret <4 x i32> %shuffle
1229 }
1230
1231 define <4 x i32> @shuffle_v4i32_0z1z(<4 x i32> %a) {
1232 ; SSE2-LABEL: shuffle_v4i32_0z1z:
1233 ; SSE2:       # BB#0:
1234 ; SSE2-NEXT:    pxor %xmm1, %xmm1
1235 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1236 ; SSE2-NEXT:    retq
1237 ;
1238 ; SSE3-LABEL: shuffle_v4i32_0z1z:
1239 ; SSE3:       # BB#0:
1240 ; SSE3-NEXT:    pxor %xmm1, %xmm1
1241 ; SSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1242 ; SSE3-NEXT:    retq
1243 ;
1244 ; SSSE3-LABEL: shuffle_v4i32_0z1z:
1245 ; SSSE3:       # BB#0:
1246 ; SSSE3-NEXT:    pxor %xmm1, %xmm1
1247 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1248 ; SSSE3-NEXT:    retq
1249 ;
1250 ; SSE41-LABEL: shuffle_v4i32_0z1z:
1251 ; SSE41:       # BB#0:
1252 ; SSE41-NEXT:    pmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
1253 ; SSE41-NEXT:    retq
1254 ;
1255 ; AVX-LABEL: shuffle_v4i32_0z1z:
1256 ; AVX:       # BB#0:
1257 ; AVX-NEXT:    vpmovzxdq {{.*#+}} xmm0 = xmm0[0],zero,xmm0[1],zero
1258 ; AVX-NEXT:    retq
1259   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 1, i32 7>
1260   ret <4 x i32> %shuffle
1261 }
1262
1263 define <4 x i32> @shuffle_v4i32_01zu(<4 x i32> %a) {
1264 ; SSE-LABEL: shuffle_v4i32_01zu:
1265 ; SSE:       # BB#0:
1266 ; SSE-NEXT:    movq {{.*#+}} xmm0 = xmm0[0],zero
1267 ; SSE-NEXT:    retq
1268 ;
1269 ; AVX-LABEL: shuffle_v4i32_01zu:
1270 ; AVX:       # BB#0:
1271 ; AVX-NEXT:    vmovq {{.*#+}} xmm0 = xmm0[0],zero
1272 ; AVX-NEXT:    retq
1273   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 1, i32 7, i32 undef>
1274   ret <4 x i32> %shuffle
1275 }
1276
1277 define <4 x i32> @shuffle_v4i32_0z23(<4 x i32> %a) {
1278 ; SSE2-LABEL: shuffle_v4i32_0z23:
1279 ; SSE2:       # BB#0:
1280 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
1281 ; SSE2-NEXT:    retq
1282 ;
1283 ; SSE3-LABEL: shuffle_v4i32_0z23:
1284 ; SSE3:       # BB#0:
1285 ; SSE3-NEXT:    andps {{.*}}(%rip), %xmm0
1286 ; SSE3-NEXT:    retq
1287 ;
1288 ; SSSE3-LABEL: shuffle_v4i32_0z23:
1289 ; SSSE3:       # BB#0:
1290 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
1291 ; SSSE3-NEXT:    retq
1292 ;
1293 ; SSE41-LABEL: shuffle_v4i32_0z23:
1294 ; SSE41:       # BB#0:
1295 ; SSE41-NEXT:    pxor %xmm1, %xmm1
1296 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
1297 ; SSE41-NEXT:    retq
1298 ;
1299 ; AVX1-LABEL: shuffle_v4i32_0z23:
1300 ; AVX1:       # BB#0:
1301 ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1302 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
1303 ; AVX1-NEXT:    retq
1304 ;
1305 ; AVX2-LABEL: shuffle_v4i32_0z23:
1306 ; AVX2:       # BB#0:
1307 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1308 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3]
1309 ; AVX2-NEXT:    retq
1310   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 4, i32 2, i32 3>
1311   ret <4 x i32> %shuffle
1312 }
1313
1314 define <4 x i32> @shuffle_v4i32_01z3(<4 x i32> %a) {
1315 ; SSE2-LABEL: shuffle_v4i32_01z3:
1316 ; SSE2:       # BB#0:
1317 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
1318 ; SSE2-NEXT:    retq
1319 ;
1320 ; SSE3-LABEL: shuffle_v4i32_01z3:
1321 ; SSE3:       # BB#0:
1322 ; SSE3-NEXT:    andps {{.*}}(%rip), %xmm0
1323 ; SSE3-NEXT:    retq
1324 ;
1325 ; SSSE3-LABEL: shuffle_v4i32_01z3:
1326 ; SSSE3:       # BB#0:
1327 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
1328 ; SSSE3-NEXT:    retq
1329 ;
1330 ; SSE41-LABEL: shuffle_v4i32_01z3:
1331 ; SSE41:       # BB#0:
1332 ; SSE41-NEXT:    pxor %xmm1, %xmm1
1333 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5],xmm0[6,7]
1334 ; SSE41-NEXT:    retq
1335 ;
1336 ; AVX1-LABEL: shuffle_v4i32_01z3:
1337 ; AVX1:       # BB#0:
1338 ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1339 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5],xmm0[6,7]
1340 ; AVX1-NEXT:    retq
1341 ;
1342 ; AVX2-LABEL: shuffle_v4i32_01z3:
1343 ; AVX2:       # BB#0:
1344 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1345 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
1346 ; AVX2-NEXT:    retq
1347   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 1, i32 4, i32 3>
1348   ret <4 x i32> %shuffle
1349 }
1350
1351 define <4 x i32> @shuffle_v4i32_012z(<4 x i32> %a) {
1352 ; SSE2-LABEL: shuffle_v4i32_012z:
1353 ; SSE2:       # BB#0:
1354 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
1355 ; SSE2-NEXT:    retq
1356 ;
1357 ; SSE3-LABEL: shuffle_v4i32_012z:
1358 ; SSE3:       # BB#0:
1359 ; SSE3-NEXT:    andps {{.*}}(%rip), %xmm0
1360 ; SSE3-NEXT:    retq
1361 ;
1362 ; SSSE3-LABEL: shuffle_v4i32_012z:
1363 ; SSSE3:       # BB#0:
1364 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
1365 ; SSSE3-NEXT:    retq
1366 ;
1367 ; SSE41-LABEL: shuffle_v4i32_012z:
1368 ; SSE41:       # BB#0:
1369 ; SSE41-NEXT:    pxor %xmm1, %xmm1
1370 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5],xmm1[6,7]
1371 ; SSE41-NEXT:    retq
1372 ;
1373 ; AVX1-LABEL: shuffle_v4i32_012z:
1374 ; AVX1:       # BB#0:
1375 ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1376 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3,4,5],xmm1[6,7]
1377 ; AVX1-NEXT:    retq
1378 ;
1379 ; AVX2-LABEL: shuffle_v4i32_012z:
1380 ; AVX2:       # BB#0:
1381 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1382 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[3]
1383 ; AVX2-NEXT:    retq
1384   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 1, i32 2, i32 7>
1385   ret <4 x i32> %shuffle
1386 }
1387
1388 define <4 x i32> @shuffle_v4i32_0zz3(<4 x i32> %a) {
1389 ; SSE2-LABEL: shuffle_v4i32_0zz3:
1390 ; SSE2:       # BB#0:
1391 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
1392 ; SSE2-NEXT:    retq
1393 ;
1394 ; SSE3-LABEL: shuffle_v4i32_0zz3:
1395 ; SSE3:       # BB#0:
1396 ; SSE3-NEXT:    andps {{.*}}(%rip), %xmm0
1397 ; SSE3-NEXT:    retq
1398 ;
1399 ; SSSE3-LABEL: shuffle_v4i32_0zz3:
1400 ; SSSE3:       # BB#0:
1401 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
1402 ; SSSE3-NEXT:    retq
1403 ;
1404 ; SSE41-LABEL: shuffle_v4i32_0zz3:
1405 ; SSE41:       # BB#0:
1406 ; SSE41-NEXT:    pxor %xmm1, %xmm1
1407 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3,4,5],xmm0[6,7]
1408 ; SSE41-NEXT:    retq
1409 ;
1410 ; AVX1-LABEL: shuffle_v4i32_0zz3:
1411 ; AVX1:       # BB#0:
1412 ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1413 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3,4,5],xmm0[6,7]
1414 ; AVX1-NEXT:    retq
1415 ;
1416 ; AVX2-LABEL: shuffle_v4i32_0zz3:
1417 ; AVX2:       # BB#0:
1418 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
1419 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1,2],xmm0[3]
1420 ; AVX2-NEXT:    retq
1421   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 4, i32 4, i32 3>
1422   ret <4 x i32> %shuffle
1423 }
1424
1425 define <4 x i32> @insert_reg_and_zero_v4i32(i32 %a) {
1426 ; SSE-LABEL: insert_reg_and_zero_v4i32:
1427 ; SSE:       # BB#0:
1428 ; SSE-NEXT:    movd %edi, %xmm0
1429 ; SSE-NEXT:    retq
1430 ;
1431 ; AVX-LABEL: insert_reg_and_zero_v4i32:
1432 ; AVX:       # BB#0:
1433 ; AVX-NEXT:    vmovd %edi, %xmm0
1434 ; AVX-NEXT:    retq
1435   %v = insertelement <4 x i32> undef, i32 %a, i32 0
1436   %shuffle = shufflevector <4 x i32> %v, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1437   ret <4 x i32> %shuffle
1438 }
1439
1440 define <4 x i32> @insert_mem_and_zero_v4i32(i32* %ptr) {
1441 ; SSE-LABEL: insert_mem_and_zero_v4i32:
1442 ; SSE:       # BB#0:
1443 ; SSE-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
1444 ; SSE-NEXT:    retq
1445 ;
1446 ; AVX-LABEL: insert_mem_and_zero_v4i32:
1447 ; AVX:       # BB#0:
1448 ; AVX-NEXT:    vmovd {{.*#+}} xmm0 = mem[0],zero,zero,zero
1449 ; AVX-NEXT:    retq
1450   %a = load i32* %ptr
1451   %v = insertelement <4 x i32> undef, i32 %a, i32 0
1452   %shuffle = shufflevector <4 x i32> %v, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1453   ret <4 x i32> %shuffle
1454 }
1455
1456 define <4 x float> @insert_reg_and_zero_v4f32(float %a) {
1457 ; SSE2-LABEL: insert_reg_and_zero_v4f32:
1458 ; SSE2:       # BB#0:
1459 ; SSE2-NEXT:    xorps %xmm1, %xmm1
1460 ; SSE2-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
1461 ; SSE2-NEXT:    movaps %xmm1, %xmm0
1462 ; SSE2-NEXT:    retq
1463 ;
1464 ; SSE3-LABEL: insert_reg_and_zero_v4f32:
1465 ; SSE3:       # BB#0:
1466 ; SSE3-NEXT:    xorps %xmm1, %xmm1
1467 ; SSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
1468 ; SSE3-NEXT:    movaps %xmm1, %xmm0
1469 ; SSE3-NEXT:    retq
1470 ;
1471 ; SSSE3-LABEL: insert_reg_and_zero_v4f32:
1472 ; SSSE3:       # BB#0:
1473 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
1474 ; SSSE3-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
1475 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
1476 ; SSSE3-NEXT:    retq
1477 ;
1478 ; SSE41-LABEL: insert_reg_and_zero_v4f32:
1479 ; SSE41:       # BB#0:
1480 ; SSE41-NEXT:    xorps %xmm1, %xmm1
1481 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
1482 ; SSE41-NEXT:    retq
1483 ;
1484 ; AVX-LABEL: insert_reg_and_zero_v4f32:
1485 ; AVX:       # BB#0:
1486 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1487 ; AVX-NEXT:    vmovss {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
1488 ; AVX-NEXT:    retq
1489   %v = insertelement <4 x float> undef, float %a, i32 0
1490   %shuffle = shufflevector <4 x float> %v, <4 x float> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1491   ret <4 x float> %shuffle
1492 }
1493
1494 define <4 x float> @insert_mem_and_zero_v4f32(float* %ptr) {
1495 ; SSE-LABEL: insert_mem_and_zero_v4f32:
1496 ; SSE:       # BB#0:
1497 ; SSE-NEXT:    movss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1498 ; SSE-NEXT:    retq
1499 ;
1500 ; AVX-LABEL: insert_mem_and_zero_v4f32:
1501 ; AVX:       # BB#0:
1502 ; AVX-NEXT:    vmovss {{.*#+}} xmm0 = mem[0],zero,zero,zero
1503 ; AVX-NEXT:    retq
1504   %a = load float* %ptr
1505   %v = insertelement <4 x float> undef, float %a, i32 0
1506   %shuffle = shufflevector <4 x float> %v, <4 x float> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1507   ret <4 x float> %shuffle
1508 }
1509
1510 define <4 x i32> @insert_reg_lo_v4i32(i64 %a, <4 x i32> %b) {
1511 ; SSE2-LABEL: insert_reg_lo_v4i32:
1512 ; SSE2:       # BB#0:
1513 ; SSE2-NEXT:    movd %rdi, %xmm1
1514 ; SSE2-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
1515 ; SSE2-NEXT:    retq
1516 ;
1517 ; SSE3-LABEL: insert_reg_lo_v4i32:
1518 ; SSE3:       # BB#0:
1519 ; SSE3-NEXT:    movd %rdi, %xmm1
1520 ; SSE3-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
1521 ; SSE3-NEXT:    retq
1522 ;
1523 ; SSSE3-LABEL: insert_reg_lo_v4i32:
1524 ; SSSE3:       # BB#0:
1525 ; SSSE3-NEXT:    movd %rdi, %xmm1
1526 ; SSSE3-NEXT:    movsd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
1527 ; SSSE3-NEXT:    retq
1528 ;
1529 ; SSE41-LABEL: insert_reg_lo_v4i32:
1530 ; SSE41:       # BB#0:
1531 ; SSE41-NEXT:    movd %rdi, %xmm1
1532 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
1533 ; SSE41-NEXT:    retq
1534 ;
1535 ; AVX1-LABEL: insert_reg_lo_v4i32:
1536 ; AVX1:       # BB#0:
1537 ; AVX1-NEXT:    vmovq %rdi, %xmm1
1538 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
1539 ; AVX1-NEXT:    retq
1540 ;
1541 ; AVX2-LABEL: insert_reg_lo_v4i32:
1542 ; AVX2:       # BB#0:
1543 ; AVX2-NEXT:    vmovq %rdi, %xmm1
1544 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
1545 ; AVX2-NEXT:    retq
1546   %a.cast = bitcast i64 %a to <2 x i32>
1547   %v = shufflevector <2 x i32> %a.cast, <2 x i32> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1548   %shuffle = shufflevector <4 x i32> %v, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
1549   ret <4 x i32> %shuffle
1550 }
1551
1552 define <4 x i32> @insert_mem_lo_v4i32(<2 x i32>* %ptr, <4 x i32> %b) {
1553 ; SSE2-LABEL: insert_mem_lo_v4i32:
1554 ; SSE2:       # BB#0:
1555 ; SSE2-NEXT:    movlpd (%rdi), %xmm0
1556 ; SSE2-NEXT:    retq
1557 ;
1558 ; SSE3-LABEL: insert_mem_lo_v4i32:
1559 ; SSE3:       # BB#0:
1560 ; SSE3-NEXT:    movlpd (%rdi), %xmm0
1561 ; SSE3-NEXT:    retq
1562 ;
1563 ; SSSE3-LABEL: insert_mem_lo_v4i32:
1564 ; SSSE3:       # BB#0:
1565 ; SSSE3-NEXT:    movlpd (%rdi), %xmm0
1566 ; SSSE3-NEXT:    retq
1567 ;
1568 ; SSE41-LABEL: insert_mem_lo_v4i32:
1569 ; SSE41:       # BB#0:
1570 ; SSE41-NEXT:    movq {{.*#+}} xmm1 = mem[0],zero
1571 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
1572 ; SSE41-NEXT:    retq
1573 ;
1574 ; AVX1-LABEL: insert_mem_lo_v4i32:
1575 ; AVX1:       # BB#0:
1576 ; AVX1-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
1577 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
1578 ; AVX1-NEXT:    retq
1579 ;
1580 ; AVX2-LABEL: insert_mem_lo_v4i32:
1581 ; AVX2:       # BB#0:
1582 ; AVX2-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
1583 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
1584 ; AVX2-NEXT:    retq
1585   %a = load <2 x i32>* %ptr
1586   %v = shufflevector <2 x i32> %a, <2 x i32> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1587   %shuffle = shufflevector <4 x i32> %v, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
1588   ret <4 x i32> %shuffle
1589 }
1590
1591 define <4 x i32> @insert_reg_hi_v4i32(i64 %a, <4 x i32> %b) {
1592 ; SSE-LABEL: insert_reg_hi_v4i32:
1593 ; SSE:       # BB#0:
1594 ; SSE-NEXT:    movd %rdi, %xmm1
1595 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1596 ; SSE-NEXT:    retq
1597 ;
1598 ; AVX-LABEL: insert_reg_hi_v4i32:
1599 ; AVX:       # BB#0:
1600 ; AVX-NEXT:    vmovq %rdi, %xmm1
1601 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1602 ; AVX-NEXT:    retq
1603   %a.cast = bitcast i64 %a to <2 x i32>
1604   %v = shufflevector <2 x i32> %a.cast, <2 x i32> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1605   %shuffle = shufflevector <4 x i32> %v, <4 x i32> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1606   ret <4 x i32> %shuffle
1607 }
1608
1609 define <4 x i32> @insert_mem_hi_v4i32(<2 x i32>* %ptr, <4 x i32> %b) {
1610 ; SSE-LABEL: insert_mem_hi_v4i32:
1611 ; SSE:       # BB#0:
1612 ; SSE-NEXT:    movq {{.*#+}} xmm1 = mem[0],zero
1613 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1614 ; SSE-NEXT:    retq
1615 ;
1616 ; AVX-LABEL: insert_mem_hi_v4i32:
1617 ; AVX:       # BB#0:
1618 ; AVX-NEXT:    vmovq {{.*#+}} xmm1 = mem[0],zero
1619 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1620 ; AVX-NEXT:    retq
1621   %a = load <2 x i32>* %ptr
1622   %v = shufflevector <2 x i32> %a, <2 x i32> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1623   %shuffle = shufflevector <4 x i32> %v, <4 x i32> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1624   ret <4 x i32> %shuffle
1625 }
1626
1627 define <4 x float> @insert_reg_lo_v4f32(double %a, <4 x float> %b) {
1628 ; SSE-LABEL: insert_reg_lo_v4f32:
1629 ; SSE:       # BB#0:
1630 ; SSE-NEXT:    movsd {{.*#+}} xmm1 = xmm0[0],xmm1[1]
1631 ; SSE-NEXT:    movapd %xmm1, %xmm0
1632 ; SSE-NEXT:    retq
1633 ;
1634 ; AVX-LABEL: insert_reg_lo_v4f32:
1635 ; AVX:       # BB#0:
1636 ; AVX-NEXT:    vmovsd {{.*#+}} xmm0 = xmm0[0],xmm1[1]
1637 ; AVX-NEXT:    retq
1638   %a.cast = bitcast double %a to <2 x float>
1639   %v = shufflevector <2 x float> %a.cast, <2 x float> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1640   %shuffle = shufflevector <4 x float> %v, <4 x float> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
1641   ret <4 x float> %shuffle
1642 }
1643
1644 define <4 x float> @insert_mem_lo_v4f32(<2 x float>* %ptr, <4 x float> %b) {
1645 ; SSE-LABEL: insert_mem_lo_v4f32:
1646 ; SSE:       # BB#0:
1647 ; SSE-NEXT:    movlpd (%rdi), %xmm0
1648 ; SSE-NEXT:    retq
1649 ;
1650 ; AVX-LABEL: insert_mem_lo_v4f32:
1651 ; AVX:       # BB#0:
1652 ; AVX-NEXT:    vmovlpd (%rdi), %xmm0, %xmm0
1653 ; AVX-NEXT:    retq
1654   %a = load <2 x float>* %ptr
1655   %v = shufflevector <2 x float> %a, <2 x float> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1656   %shuffle = shufflevector <4 x float> %v, <4 x float> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
1657   ret <4 x float> %shuffle
1658 }
1659
1660 define <4 x float> @insert_reg_hi_v4f32(double %a, <4 x float> %b) {
1661 ; SSE-LABEL: insert_reg_hi_v4f32:
1662 ; SSE:       # BB#0:
1663 ; SSE-NEXT:    unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
1664 ; SSE-NEXT:    movapd %xmm1, %xmm0
1665 ; SSE-NEXT:    retq
1666 ;
1667 ; AVX-LABEL: insert_reg_hi_v4f32:
1668 ; AVX:       # BB#0:
1669 ; AVX-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm1[0],xmm0[0]
1670 ; AVX-NEXT:    retq
1671   %a.cast = bitcast double %a to <2 x float>
1672   %v = shufflevector <2 x float> %a.cast, <2 x float> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1673   %shuffle = shufflevector <4 x float> %v, <4 x float> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1674   ret <4 x float> %shuffle
1675 }
1676
1677 define <4 x float> @insert_mem_hi_v4f32(<2 x float>* %ptr, <4 x float> %b) {
1678 ; SSE-LABEL: insert_mem_hi_v4f32:
1679 ; SSE:       # BB#0:
1680 ; SSE-NEXT:    movhpd (%rdi), %xmm0
1681 ; SSE-NEXT:    retq
1682 ;
1683 ; AVX-LABEL: insert_mem_hi_v4f32:
1684 ; AVX:       # BB#0:
1685 ; AVX-NEXT:    vmovhpd (%rdi), %xmm0, %xmm0
1686 ; AVX-NEXT:    retq
1687   %a = load <2 x float>* %ptr
1688   %v = shufflevector <2 x float> %a, <2 x float> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1689   %shuffle = shufflevector <4 x float> %v, <4 x float> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1690   ret <4 x float> %shuffle
1691 }
1692
1693 define <4 x float> @shuffle_mem_v4f32_3210(<4 x float>* %ptr) {
1694 ; SSE-LABEL: shuffle_mem_v4f32_3210:
1695 ; SSE:       # BB#0:
1696 ; SSE-NEXT:    movaps (%rdi), %xmm0
1697 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,2,1,0]
1698 ; SSE-NEXT:    retq
1699 ;
1700 ; AVX-LABEL: shuffle_mem_v4f32_3210:
1701 ; AVX:       # BB#0:
1702 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = mem[3,2,1,0]
1703 ; AVX-NEXT:    retq
1704   %a = load <4 x float>* %ptr
1705   %shuffle = shufflevector <4 x float> %a, <4 x float> undef, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
1706   ret <4 x float> %shuffle
1707 }
1708
1709 ;
1710 ; Shuffle to logical bit shifts
1711 ;
1712
1713 define <4 x i32> @shuffle_v4i32_z0zX(<4 x i32> %a) {
1714 ; SSE-LABEL: shuffle_v4i32_z0zX:
1715 ; SSE:       # BB#0:
1716 ; SSE-NEXT:    psllq $32, %xmm0
1717 ; SSE-NEXT:    retq
1718 ;
1719 ; AVX-LABEL: shuffle_v4i32_z0zX:
1720 ; AVX:       # BB#0:
1721 ; AVX-NEXT:    vpsllq $32, %xmm0, %xmm0
1722 ; AVX-NEXT:    retq
1723   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 4, i32 0, i32 4, i32 undef>
1724   ret <4 x i32> %shuffle
1725 }
1726
1727 define <4 x i32> @shuffle_v4i32_1z3z(<4 x i32> %a) {
1728 ; SSE-LABEL: shuffle_v4i32_1z3z:
1729 ; SSE:       # BB#0:
1730 ; SSE-NEXT:    psrlq $32, %xmm0
1731 ; SSE-NEXT:    retq
1732 ;
1733 ; AVX-LABEL: shuffle_v4i32_1z3z:
1734 ; AVX:       # BB#0:
1735 ; AVX-NEXT:    vpsrlq $32, %xmm0, %xmm0
1736 ; AVX-NEXT:    retq
1737   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 1, i32 4, i32 3, i32 4>
1738   ret <4 x i32> %shuffle
1739 }