test/CodeGen/X86/vector-shuffle-128-v4.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse3 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE3
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSSE3
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx2 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   7
   8 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   9 target triple = "x86_64-unknown-unknown"
  10
  11 define <4 x i32> @shuffle_v4i32_0001(<4 x i32> %a, <4 x i32> %b) {
  12 ; SSE-LABEL: shuffle_v4i32_0001:
  13 ; SSE:       # BB#0:
  14 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,0,1]
  15 ; SSE-NEXT:    retq
  16 ;
  17 ; AVX-LABEL: shuffle_v4i32_0001:
  18 ; AVX:       # BB#0:
  19 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,0,0,1]
  20 ; AVX-NEXT:    retq
  21   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 1>
  22   ret <4 x i32> %shuffle
  23 }
  24 define <4 x i32> @shuffle_v4i32_0020(<4 x i32> %a, <4 x i32> %b) {
  25 ; SSE-LABEL: shuffle_v4i32_0020:
  26 ; SSE:       # BB#0:
  27 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,2,0]
  28 ; SSE-NEXT:    retq
  29 ;
  30 ; AVX-LABEL: shuffle_v4i32_0020:
  31 ; AVX:       # BB#0:
  32 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,0,2,0]
  33 ; AVX-NEXT:    retq
  34   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 0>
  35   ret <4 x i32> %shuffle
  36 }
  37 define <4 x i32> @shuffle_v4i32_0112(<4 x i32> %a, <4 x i32> %b) {
  38 ; SSE-LABEL: shuffle_v4i32_0112:
  39 ; SSE:       # BB#0:
  40 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,1,2]
  41 ; SSE-NEXT:    retq
  42 ;
  43 ; AVX-LABEL: shuffle_v4i32_0112:
  44 ; AVX:       # BB#0:
  45 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,1,2]
  46 ; AVX-NEXT:    retq
  47   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 1, i32 2>
  48   ret <4 x i32> %shuffle
  49 }
  50 define <4 x i32> @shuffle_v4i32_0300(<4 x i32> %a, <4 x i32> %b) {
  51 ; SSE-LABEL: shuffle_v4i32_0300:
  52 ; SSE:       # BB#0:
  53 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,3,0,0]
  54 ; SSE-NEXT:    retq
  55 ;
  56 ; AVX-LABEL: shuffle_v4i32_0300:
  57 ; AVX:       # BB#0:
  58 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,3,0,0]
  59 ; AVX-NEXT:    retq
  60   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 3, i32 0, i32 0>
  61   ret <4 x i32> %shuffle
  62 }
  63 define <4 x i32> @shuffle_v4i32_1000(<4 x i32> %a, <4 x i32> %b) {
  64 ; SSE-LABEL: shuffle_v4i32_1000:
  65 ; SSE:       # BB#0:
  66 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,0,0,0]
  67 ; SSE-NEXT:    retq
  68 ;
  69 ; AVX-LABEL: shuffle_v4i32_1000:
  70 ; AVX:       # BB#0:
  71 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,0,0,0]
  72 ; AVX-NEXT:    retq
  73   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 1, i32 0, i32 0, i32 0>
  74   ret <4 x i32> %shuffle
  75 }
  76 define <4 x i32> @shuffle_v4i32_2200(<4 x i32> %a, <4 x i32> %b) {
  77 ; SSE-LABEL: shuffle_v4i32_2200:
  78 ; SSE:       # BB#0:
  79 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,2,0,0]
  80 ; SSE-NEXT:    retq
  81 ;
  82 ; AVX-LABEL: shuffle_v4i32_2200:
  83 ; AVX:       # BB#0:
  84 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,2,0,0]
  85 ; AVX-NEXT:    retq
  86   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 2, i32 2, i32 0, i32 0>
  87   ret <4 x i32> %shuffle
  88 }
  89 define <4 x i32> @shuffle_v4i32_3330(<4 x i32> %a, <4 x i32> %b) {
  90 ; SSE-LABEL: shuffle_v4i32_3330:
  91 ; SSE:       # BB#0:
  92 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,3,3,0]
  93 ; SSE-NEXT:    retq
  94 ;
  95 ; AVX-LABEL: shuffle_v4i32_3330:
  96 ; AVX:       # BB#0:
  97 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,0]
  98 ; AVX-NEXT:    retq
  99   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 0>
 100   ret <4 x i32> %shuffle
 101 }
 102 define <4 x i32> @shuffle_v4i32_3210(<4 x i32> %a, <4 x i32> %b) {
 103 ; SSE-LABEL: shuffle_v4i32_3210:
 104 ; SSE:       # BB#0:
 105 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[3,2,1,0]
 106 ; SSE-NEXT:    retq
 107 ;
 108 ; AVX-LABEL: shuffle_v4i32_3210:
 109 ; AVX:       # BB#0:
 110 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,2,1,0]
 111 ; AVX-NEXT:    retq
 112   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 113   ret <4 x i32> %shuffle
 114 }
 115
 116 define <4 x i32> @shuffle_v4i32_2121(<4 x i32> %a, <4 x i32> %b) {
 117 ; SSE-LABEL: shuffle_v4i32_2121:
 118 ; SSE:       # BB#0:
 119 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,1,2,1]
 120 ; SSE-NEXT:    retq
 121 ;
 122 ; AVX-LABEL: shuffle_v4i32_2121:
 123 ; AVX:       # BB#0:
 124 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,1,2,1]
 125 ; AVX-NEXT:    retq
 126   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 2, i32 1, i32 2, i32 1>
 127   ret <4 x i32> %shuffle
 128 }
 129
 130 define <4 x float> @shuffle_v4f32_0001(<4 x float> %a, <4 x float> %b) {
 131 ; SSE-LABEL: shuffle_v4f32_0001:
 132 ; SSE:       # BB#0:
 133 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0,0,1]
 134 ; SSE-NEXT:    retq
 135 ;
 136 ; AVX-LABEL: shuffle_v4f32_0001:
 137 ; AVX:       # BB#0:
 138 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,0,0,1]
 139 ; AVX-NEXT:    retq
 140   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 1>
 141   ret <4 x float> %shuffle
 142 }
 143 define <4 x float> @shuffle_v4f32_0020(<4 x float> %a, <4 x float> %b) {
 144 ; SSE-LABEL: shuffle_v4f32_0020:
 145 ; SSE:       # BB#0:
 146 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0,2,0]
 147 ; SSE-NEXT:    retq
 148 ;
 149 ; AVX-LABEL: shuffle_v4f32_0020:
 150 ; AVX:       # BB#0:
 151 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,0,2,0]
 152 ; AVX-NEXT:    retq
 153   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 0>
 154   ret <4 x float> %shuffle
 155 }
 156 define <4 x float> @shuffle_v4f32_0300(<4 x float> %a, <4 x float> %b) {
 157 ; SSE-LABEL: shuffle_v4f32_0300:
 158 ; SSE:       # BB#0:
 159 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,3,0,0]
 160 ; SSE-NEXT:    retq
 161 ;
 162 ; AVX-LABEL: shuffle_v4f32_0300:
 163 ; AVX:       # BB#0:
 164 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[0,3,0,0]
 165 ; AVX-NEXT:    retq
 166   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 3, i32 0, i32 0>
 167   ret <4 x float> %shuffle
 168 }
 169 define <4 x float> @shuffle_v4f32_1000(<4 x float> %a, <4 x float> %b) {
 170 ; SSE-LABEL: shuffle_v4f32_1000:
 171 ; SSE:       # BB#0:
 172 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,0,0,0]
 173 ; SSE-NEXT:    retq
 174 ;
 175 ; AVX-LABEL: shuffle_v4f32_1000:
 176 ; AVX:       # BB#0:
 177 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[1,0,0,0]
 178 ; AVX-NEXT:    retq
 179   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 1, i32 0, i32 0, i32 0>
 180   ret <4 x float> %shuffle
 181 }
 182 define <4 x float> @shuffle_v4f32_2200(<4 x float> %a, <4 x float> %b) {
 183 ; SSE-LABEL: shuffle_v4f32_2200:
 184 ; SSE:       # BB#0:
 185 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,2,0,0]
 186 ; SSE-NEXT:    retq
 187 ;
 188 ; AVX-LABEL: shuffle_v4f32_2200:
 189 ; AVX:       # BB#0:
 190 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[2,2,0,0]
 191 ; AVX-NEXT:    retq
 192   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 2, i32 2, i32 0, i32 0>
 193   ret <4 x float> %shuffle
 194 }
 195 define <4 x float> @shuffle_v4f32_3330(<4 x float> %a, <4 x float> %b) {
 196 ; SSE-LABEL: shuffle_v4f32_3330:
 197 ; SSE:       # BB#0:
 198 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,3,3,0]
 199 ; SSE-NEXT:    retq
 200 ;
 201 ; AVX-LABEL: shuffle_v4f32_3330:
 202 ; AVX:       # BB#0:
 203 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[3,3,3,0]
 204 ; AVX-NEXT:    retq
 205   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 0>
 206   ret <4 x float> %shuffle
 207 }
 208 define <4 x float> @shuffle_v4f32_3210(<4 x float> %a, <4 x float> %b) {
 209 ; SSE-LABEL: shuffle_v4f32_3210:
 210 ; SSE:       # BB#0:
 211 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,2,1,0]
 212 ; SSE-NEXT:    retq
 213 ;
 214 ; AVX-LABEL: shuffle_v4f32_3210:
 215 ; AVX:       # BB#0:
 216 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = xmm0[3,2,1,0]
 217 ; AVX-NEXT:    retq
 218   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 219   ret <4 x float> %shuffle
 220 }
 221 define <4 x float> @shuffle_v4f32_0011(<4 x float> %a, <4 x float> %b) {
 222 ; SSE-LABEL: shuffle_v4f32_0011:
 223 ; SSE:       # BB#0:
 224 ; SSE-NEXT:    unpcklps {{.*#+}} xmm0 = xmm0[0,0,1,1]
 225 ; SSE-NEXT:    retq
 226 ;
 227 ; AVX-LABEL: shuffle_v4f32_0011:
 228 ; AVX:       # BB#0:
 229 ; AVX-NEXT:    vunpcklps {{.*#+}} xmm0 = xmm0[0,0,1,1]
 230 ; AVX-NEXT:    retq
 231   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 0, i32 1, i32 1>
 232   ret <4 x float> %shuffle
 233 }
 234 define <4 x float> @shuffle_v4f32_2233(<4 x float> %a, <4 x float> %b) {
 235 ; SSE-LABEL: shuffle_v4f32_2233:
 236 ; SSE:       # BB#0:
 237 ; SSE-NEXT:    unpckhps {{.*#+}} xmm0 = xmm0[2,2,3,3]
 238 ; SSE-NEXT:    retq
 239 ;
 240 ; AVX-LABEL: shuffle_v4f32_2233:
 241 ; AVX:       # BB#0:
 242 ; AVX-NEXT:    vunpckhps {{.*#+}} xmm0 = xmm0[2,2,3,3]
 243 ; AVX-NEXT:    retq
 244   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 2, i32 2, i32 3, i32 3>
 245   ret <4 x float> %shuffle
 246 }
 247 define <4 x float> @shuffle_v4f32_0022(<4 x float> %a, <4 x float> %b) {
 248 ; SSE2-LABEL: shuffle_v4f32_0022:
 249 ; SSE2:       # BB#0:
 250 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0,2,2]
 251 ; SSE2-NEXT:    retq
 252 ;
 253 ; SSE3-LABEL: shuffle_v4f32_0022:
 254 ; SSE3:       # BB#0:
 255 ; SSE3-NEXT:    movsldup {{.*#+}} xmm0 = xmm0[0,0,2,2]
 256 ; SSE3-NEXT:    retq
 257 ;
 258 ; SSSE3-LABEL: shuffle_v4f32_0022:
 259 ; SSSE3:       # BB#0:
 260 ; SSSE3-NEXT:    movsldup {{.*#+}} xmm0 = xmm0[0,0,2,2]
 261 ; SSSE3-NEXT:    retq
 262 ;
 263 ; SSE41-LABEL: shuffle_v4f32_0022:
 264 ; SSE41:       # BB#0:
 265 ; SSE41-NEXT:    movsldup {{.*#+}} xmm0 = xmm0[0,0,2,2]
 266 ; SSE41-NEXT:    retq
 267 ;
 268 ; AVX-LABEL: shuffle_v4f32_0022:
 269 ; AVX:       # BB#0:
 270 ; AVX-NEXT:    vmovsldup {{.*#+}} xmm0 = xmm0[0,0,2,2]
 271 ; AVX-NEXT:    retq
 272   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 2>
 273   ret <4 x float> %shuffle
 274 }
 275 define <4 x float> @shuffle_v4f32_1133(<4 x float> %a, <4 x float> %b) {
 276 ; SSE2-LABEL: shuffle_v4f32_1133:
 277 ; SSE2:       # BB#0:
 278 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,1,3,3]
 279 ; SSE2-NEXT:    retq
 280 ;
 281 ; SSE3-LABEL: shuffle_v4f32_1133:
 282 ; SSE3:       # BB#0:
 283 ; SSE3-NEXT:    movshdup {{.*#+}} xmm0 = xmm0[1,1,3,3]
 284 ; SSE3-NEXT:    retq
 285 ;
 286 ; SSSE3-LABEL: shuffle_v4f32_1133:
 287 ; SSSE3:       # BB#0:
 288 ; SSSE3-NEXT:    movshdup {{.*#+}} xmm0 = xmm0[1,1,3,3]
 289 ; SSSE3-NEXT:    retq
 290 ;
 291 ; SSE41-LABEL: shuffle_v4f32_1133:
 292 ; SSE41:       # BB#0:
 293 ; SSE41-NEXT:    movshdup {{.*#+}} xmm0 = xmm0[1,1,3,3]
 294 ; SSE41-NEXT:    retq
 295 ;
 296 ; AVX-LABEL: shuffle_v4f32_1133:
 297 ; AVX:       # BB#0:
 298 ; AVX-NEXT:    vmovshdup {{.*#+}} xmm0 = xmm0[1,1,3,3]
 299 ; AVX-NEXT:    retq
 300   %shuffle = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 1, i32 1, i32 3, i32 3>
 301   ret <4 x float> %shuffle
 302 }
 303
 304 define <4 x i32> @shuffle_v4i32_0124(<4 x i32> %a, <4 x i32> %b) {
 305 ; SSE2-LABEL: shuffle_v4i32_0124:
 306 ; SSE2:       # BB#0:
 307 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 308 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 309 ; SSE2-NEXT:    retq
 310 ;
 311 ; SSE3-LABEL: shuffle_v4i32_0124:
 312 ; SSE3:       # BB#0:
 313 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 314 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 315 ; SSE3-NEXT:    retq
 316 ;
 317 ; SSSE3-LABEL: shuffle_v4i32_0124:
 318 ; SSSE3:       # BB#0:
 319 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 320 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,0]
 321 ; SSSE3-NEXT:    retq
 322 ;
 323 ; SSE41-LABEL: shuffle_v4i32_0124:
 324 ; SSE41:       # BB#0:
 325 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[0]
 326 ; SSE41-NEXT:    retq
 327 ;
 328 ; AVX-LABEL: shuffle_v4i32_0124:
 329 ; AVX:       # BB#0:
 330 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = xmm0[0,1,2],xmm1[0]
 331 ; AVX-NEXT:    retq
 332   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 2, i32 4>
 333   ret <4 x i32> %shuffle
 334 }
 335 define <4 x i32> @shuffle_v4i32_0142(<4 x i32> %a, <4 x i32> %b) {
 336 ; SSE-LABEL: shuffle_v4i32_0142:
 337 ; SSE:       # BB#0:
 338 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 339 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
 340 ; SSE-NEXT:    retq
 341 ;
 342 ; AVX-LABEL: shuffle_v4i32_0142:
 343 ; AVX:       # BB#0:
 344 ; AVX-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[2,0]
 345 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,2]
 346 ; AVX-NEXT:    retq
 347   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 2>
 348   ret <4 x i32> %shuffle
 349 }
 350 define <4 x i32> @shuffle_v4i32_0412(<4 x i32> %a, <4 x i32> %b) {
 351 ; SSE-LABEL: shuffle_v4i32_0412:
 352 ; SSE:       # BB#0:
 353 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 354 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm0[1,2]
 355 ; SSE-NEXT:    movaps %xmm1, %xmm0
 356 ; SSE-NEXT:    retq
 357 ;
 358 ; AVX-LABEL: shuffle_v4i32_0412:
 359 ; AVX:       # BB#0:
 360 ; AVX-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 361 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm1[2,0],xmm0[1,2]
 362 ; AVX-NEXT:    retq
 363   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 4, i32 1, i32 2>
 364   ret <4 x i32> %shuffle
 365 }
 366 define <4 x i32> @shuffle_v4i32_4012(<4 x i32> %a, <4 x i32> %b) {
 367 ; SSE-LABEL: shuffle_v4i32_4012:
 368 ; SSE:       # BB#0:
 369 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 370 ; SSE-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm0[1,2]
 371 ; SSE-NEXT:    movaps %xmm1, %xmm0
 372 ; SSE-NEXT:    retq
 373 ;
 374 ; AVX-LABEL: shuffle_v4i32_4012:
 375 ; AVX:       # BB#0:
 376 ; AVX-NEXT:    vshufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,0]
 377 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm1[0,2],xmm0[1,2]
 378 ; AVX-NEXT:    retq
 379   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 4, i32 0, i32 1, i32 2>
 380   ret <4 x i32> %shuffle
 381 }
 382 define <4 x i32> @shuffle_v4i32_0145(<4 x i32> %a, <4 x i32> %b) {
 383 ; SSE-LABEL: shuffle_v4i32_0145:
 384 ; SSE:       # BB#0:
 385 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 386 ; SSE-NEXT:    retq
 387 ;
 388 ; AVX-LABEL: shuffle_v4i32_0145:
 389 ; AVX:       # BB#0:
 390 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 391 ; AVX-NEXT:    retq
 392   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 5>
 393   ret <4 x i32> %shuffle
 394 }
 395 define <4 x i32> @shuffle_v4i32_0451(<4 x i32> %a, <4 x i32> %b) {
 396 ; SSE-LABEL: shuffle_v4i32_0451:
 397 ; SSE:       # BB#0:
 398 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,1]
 399 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,3,1]
 400 ; SSE-NEXT:    retq
 401 ;
 402 ; AVX-LABEL: shuffle_v4i32_0451:
 403 ; AVX:       # BB#0:
 404 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,1]
 405 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,2,3,1]
 406 ; AVX-NEXT:    retq
 407   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 4, i32 5, i32 1>
 408   ret <4 x i32> %shuffle
 409 }
 410 define <4 x i32> @shuffle_v4i32_4501(<4 x i32> %a, <4 x i32> %b) {
 411 ; SSE-LABEL: shuffle_v4i32_4501:
 412 ; SSE:       # BB#0:
 413 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 414 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 415 ; SSE-NEXT:    retq
 416 ;
 417 ; AVX-LABEL: shuffle_v4i32_4501:
 418 ; AVX:       # BB#0:
 419 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
 420 ; AVX-NEXT:    retq
 421   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
 422   ret <4 x i32> %shuffle
 423 }
 424 define <4 x i32> @shuffle_v4i32_4015(<4 x i32> %a, <4 x i32> %b) {
 425 ; SSE-LABEL: shuffle_v4i32_4015:
 426 ; SSE:       # BB#0:
 427 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,1]
 428 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0,1,3]
 429 ; SSE-NEXT:    retq
 430 ;
 431 ; AVX-LABEL: shuffle_v4i32_4015:
 432 ; AVX:       # BB#0:
 433 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[0,1]
 434 ; AVX-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[2,0,1,3]
 435 ; AVX-NEXT:    retq
 436   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 4, i32 0, i32 1, i32 5>
 437   ret <4 x i32> %shuffle
 438 }
 439
 440 define <4 x float> @shuffle_v4f32_4zzz(<4 x float> %a) {
 441 ; SSE2-LABEL: shuffle_v4f32_4zzz:
 442 ; SSE2:       # BB#0:
 443 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 444 ; SSE2-NEXT:    movss %xmm0, %xmm1
 445 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 446 ; SSE2-NEXT:    retq
 447 ;
 448 ; SSE3-LABEL: shuffle_v4f32_4zzz:
 449 ; SSE3:       # BB#0:
 450 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 451 ; SSE3-NEXT:    movss %xmm0, %xmm1
 452 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 453 ; SSE3-NEXT:    retq
 454 ;
 455 ; SSSE3-LABEL: shuffle_v4f32_4zzz:
 456 ; SSSE3:       # BB#0:
 457 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 458 ; SSSE3-NEXT:    movss %xmm0, %xmm1
 459 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 460 ; SSSE3-NEXT:    retq
 461 ;
 462 ; SSE41-LABEL: shuffle_v4f32_4zzz:
 463 ; SSE41:       # BB#0:
 464 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 465 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 466 ; SSE41-NEXT:    movaps %xmm1, %xmm0
 467 ; SSE41-NEXT:    retq
 468 ;
 469 ; AVX-LABEL: shuffle_v4f32_4zzz:
 470 ; AVX:       # BB#0:
 471 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 472 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 473 ; AVX-NEXT:    retq
 474   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 4, i32 1, i32 2, i32 3>
 475   ret <4 x float> %shuffle
 476 }
 477
 478 define <4 x float> @shuffle_v4f32_z4zz(<4 x float> %a) {
 479 ; SSE2-LABEL: shuffle_v4f32_z4zz:
 480 ; SSE2:       # BB#0:
 481 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 482 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
 483 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[3,0]
 484 ; SSE2-NEXT:    retq
 485 ;
 486 ; SSE3-LABEL: shuffle_v4f32_z4zz:
 487 ; SSE3:       # BB#0:
 488 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 489 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
 490 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[3,0]
 491 ; SSE3-NEXT:    retq
 492 ;
 493 ; SSSE3-LABEL: shuffle_v4f32_z4zz:
 494 ; SSSE3:       # BB#0:
 495 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 496 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[2,0]
 497 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[3,0]
 498 ; SSSE3-NEXT:    retq
 499 ;
 500 ; SSE41-LABEL: shuffle_v4f32_z4zz:
 501 ; SSE41:       # BB#0:
 502 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,xmm0[0],zero,zero
 503 ; SSE41-NEXT:    retq
 504 ;
 505 ; AVX-LABEL: shuffle_v4f32_z4zz:
 506 ; AVX:       # BB#0:
 507 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,xmm0[0],zero,zero
 508 ; AVX-NEXT:    retq
 509   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 2, i32 4, i32 3, i32 0>
 510   ret <4 x float> %shuffle
 511 }
 512
 513 define <4 x float> @shuffle_v4f32_zz4z(<4 x float> %a) {
 514 ; SSE2-LABEL: shuffle_v4f32_zz4z:
 515 ; SSE2:       # BB#0:
 516 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 517 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,0]
 518 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,2]
 519 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 520 ; SSE2-NEXT:    retq
 521 ;
 522 ; SSE3-LABEL: shuffle_v4f32_zz4z:
 523 ; SSE3:       # BB#0:
 524 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 525 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,0]
 526 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,2]
 527 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 528 ; SSE3-NEXT:    retq
 529 ;
 530 ; SSSE3-LABEL: shuffle_v4f32_zz4z:
 531 ; SSSE3:       # BB#0:
 532 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 533 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[0,0]
 534 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[0,2]
 535 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 536 ; SSSE3-NEXT:    retq
 537 ;
 538 ; SSE41-LABEL: shuffle_v4f32_zz4z:
 539 ; SSE41:       # BB#0:
 540 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,zero,xmm0[0],zero
 541 ; SSE41-NEXT:    retq
 542 ;
 543 ; AVX-LABEL: shuffle_v4f32_zz4z:
 544 ; AVX:       # BB#0:
 545 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,zero,xmm0[0],zero
 546 ; AVX-NEXT:    retq
 547   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 0, i32 0, i32 4, i32 0>
 548   ret <4 x float> %shuffle
 549 }
 550
 551 define <4 x float> @shuffle_v4f32_zuu4(<4 x float> %a) {
 552 ; SSE2-LABEL: shuffle_v4f32_zuu4:
 553 ; SSE2:       # BB#0:
 554 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 555 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 556 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 557 ; SSE2-NEXT:    retq
 558 ;
 559 ; SSE3-LABEL: shuffle_v4f32_zuu4:
 560 ; SSE3:       # BB#0:
 561 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 562 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 563 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 564 ; SSE3-NEXT:    retq
 565 ;
 566 ; SSSE3-LABEL: shuffle_v4f32_zuu4:
 567 ; SSSE3:       # BB#0:
 568 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 569 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 570 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 571 ; SSSE3-NEXT:    retq
 572 ;
 573 ; SSE41-LABEL: shuffle_v4f32_zuu4:
 574 ; SSE41:       # BB#0:
 575 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,zero,zero,xmm0[0]
 576 ; SSE41-NEXT:    retq
 577 ;
 578 ; AVX-LABEL: shuffle_v4f32_zuu4:
 579 ; AVX:       # BB#0:
 580 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,zero,zero,xmm0[0]
 581 ; AVX-NEXT:    retq
 582   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 0, i32 undef, i32 undef, i32 4>
 583   ret <4 x float> %shuffle
 584 }
 585
 586 define <4 x float> @shuffle_v4f32_zzz7(<4 x float> %a) {
 587 ; SSE2-LABEL: shuffle_v4f32_zzz7:
 588 ; SSE2:       # BB#0:
 589 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 590 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[2,0]
 591 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 592 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 593 ; SSE2-NEXT:    retq
 594 ;
 595 ; SSE3-LABEL: shuffle_v4f32_zzz7:
 596 ; SSE3:       # BB#0:
 597 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 598 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[2,0]
 599 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 600 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 601 ; SSE3-NEXT:    retq
 602 ;
 603 ; SSSE3-LABEL: shuffle_v4f32_zzz7:
 604 ; SSSE3:       # BB#0:
 605 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 606 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[2,0]
 607 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,1],xmm0[2,0]
 608 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 609 ; SSSE3-NEXT:    retq
 610 ;
 611 ; SSE41-LABEL: shuffle_v4f32_zzz7:
 612 ; SSE41:       # BB#0:
 613 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 614 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm1[0,1,2],xmm0[3]
 615 ; SSE41-NEXT:    movaps %xmm1, %xmm0
 616 ; SSE41-NEXT:    retq
 617 ;
 618 ; AVX-LABEL: shuffle_v4f32_zzz7:
 619 ; AVX:       # BB#0:
 620 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 621 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm1[0,1,2],xmm0[3]
 622 ; AVX-NEXT:    retq
 623   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 0, i32 1, i32 2, i32 7>
 624   ret <4 x float> %shuffle
 625 }
 626
 627 define <4 x float> @shuffle_v4f32_z6zz(<4 x float> %a) {
 628 ; SSE2-LABEL: shuffle_v4f32_z6zz:
 629 ; SSE2:       # BB#0:
 630 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 631 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 632 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 633 ; SSE2-NEXT:    retq
 634 ;
 635 ; SSE3-LABEL: shuffle_v4f32_z6zz:
 636 ; SSE3:       # BB#0:
 637 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 638 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 639 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 640 ; SSE3-NEXT:    retq
 641 ;
 642 ; SSSE3-LABEL: shuffle_v4f32_z6zz:
 643 ; SSSE3:       # BB#0:
 644 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 645 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 646 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 647 ; SSSE3-NEXT:    retq
 648 ;
 649 ; SSE41-LABEL: shuffle_v4f32_z6zz:
 650 ; SSE41:       # BB#0:
 651 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,xmm0[2],zero,zero
 652 ; SSE41-NEXT:    retq
 653 ;
 654 ; AVX-LABEL: shuffle_v4f32_z6zz:
 655 ; AVX:       # BB#0:
 656 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,xmm0[2],zero,zero
 657 ; AVX-NEXT:    retq
 658   %shuffle = shufflevector <4 x float> zeroinitializer, <4 x float> %a, <4 x i32> <i32 0, i32 6, i32 2, i32 3>
 659   ret <4 x float> %shuffle
 660 }
 661
 662 define <4 x i32> @shuffle_v4i32_4zzz(<4 x i32> %a) {
 663 ; SSE2-LABEL: shuffle_v4i32_4zzz:
 664 ; SSE2:       # BB#0:
 665 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 666 ; SSE2-NEXT:    movss %xmm0, %xmm1
 667 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 668 ; SSE2-NEXT:    retq
 669 ;
 670 ; SSE3-LABEL: shuffle_v4i32_4zzz:
 671 ; SSE3:       # BB#0:
 672 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 673 ; SSE3-NEXT:    movss %xmm0, %xmm1
 674 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 675 ; SSE3-NEXT:    retq
 676 ;
 677 ; SSSE3-LABEL: shuffle_v4i32_4zzz:
 678 ; SSSE3:       # BB#0:
 679 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 680 ; SSSE3-NEXT:    movss %xmm0, %xmm1
 681 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 682 ; SSSE3-NEXT:    retq
 683 ;
 684 ; SSE41-LABEL: shuffle_v4i32_4zzz:
 685 ; SSE41:       # BB#0:
 686 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 687 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 688 ; SSE41-NEXT:    movaps %xmm1, %xmm0
 689 ; SSE41-NEXT:    retq
 690 ;
 691 ; AVX-LABEL: shuffle_v4i32_4zzz:
 692 ; AVX:       # BB#0:
 693 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 694 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 695 ; AVX-NEXT:    retq
 696   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 4, i32 1, i32 2, i32 3>
 697   ret <4 x i32> %shuffle
 698 }
 699
 700 define <4 x i32> @shuffle_v4i32_z4zz(<4 x i32> %a) {
 701 ; SSE2-LABEL: shuffle_v4i32_z4zz:
 702 ; SSE2:       # BB#0:
 703 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 704 ; SSE2-NEXT:    movss %xmm0, %xmm1
 705 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,1,1]
 706 ; SSE2-NEXT:    retq
 707 ;
 708 ; SSE3-LABEL: shuffle_v4i32_z4zz:
 709 ; SSE3:       # BB#0:
 710 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 711 ; SSE3-NEXT:    movss %xmm0, %xmm1
 712 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,1,1]
 713 ; SSE3-NEXT:    retq
 714 ;
 715 ; SSSE3-LABEL: shuffle_v4i32_z4zz:
 716 ; SSSE3:       # BB#0:
 717 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 718 ; SSSE3-NEXT:    movss %xmm0, %xmm1
 719 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,1,1]
 720 ; SSSE3-NEXT:    retq
 721 ;
 722 ; SSE41-LABEL: shuffle_v4i32_z4zz:
 723 ; SSE41:       # BB#0:
 724 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 725 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 726 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,0,1,1]
 727 ; SSE41-NEXT:    retq
 728 ;
 729 ; AVX-LABEL: shuffle_v4i32_z4zz:
 730 ; AVX:       # BB#0:
 731 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 732 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 733 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,0,1,1]
 734 ; AVX-NEXT:    retq
 735   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 2, i32 4, i32 3, i32 0>
 736   ret <4 x i32> %shuffle
 737 }
 738
 739 define <4 x i32> @shuffle_v4i32_zz4z(<4 x i32> %a) {
 740 ; SSE2-LABEL: shuffle_v4i32_zz4z:
 741 ; SSE2:       # BB#0:
 742 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 743 ; SSE2-NEXT:    movss %xmm0, %xmm1
 744 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,0,1]
 745 ; SSE2-NEXT:    retq
 746 ;
 747 ; SSE3-LABEL: shuffle_v4i32_zz4z:
 748 ; SSE3:       # BB#0:
 749 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 750 ; SSE3-NEXT:    movss %xmm0, %xmm1
 751 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,0,1]
 752 ; SSE3-NEXT:    retq
 753 ;
 754 ; SSSE3-LABEL: shuffle_v4i32_zz4z:
 755 ; SSSE3:       # BB#0:
 756 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 757 ; SSSE3-NEXT:    movss %xmm0, %xmm1
 758 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,0,1]
 759 ; SSSE3-NEXT:    retq
 760 ;
 761 ; SSE41-LABEL: shuffle_v4i32_zz4z:
 762 ; SSE41:       # BB#0:
 763 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 764 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 765 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,0,1]
 766 ; SSE41-NEXT:    retq
 767 ;
 768 ; AVX-LABEL: shuffle_v4i32_zz4z:
 769 ; AVX:       # BB#0:
 770 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 771 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 772 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,1,0,1]
 773 ; AVX-NEXT:    retq
 774   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 0, i32 0, i32 4, i32 0>
 775   ret <4 x i32> %shuffle
 776 }
 777
 778 define <4 x i32> @shuffle_v4i32_zuu4(<4 x i32> %a) {
 779 ; SSE2-LABEL: shuffle_v4i32_zuu4:
 780 ; SSE2:       # BB#0:
 781 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 782 ; SSE2-NEXT:    movss %xmm0, %xmm1
 783 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,1,0]
 784 ; SSE2-NEXT:    retq
 785 ;
 786 ; SSE3-LABEL: shuffle_v4i32_zuu4:
 787 ; SSE3:       # BB#0:
 788 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 789 ; SSE3-NEXT:    movss %xmm0, %xmm1
 790 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,1,0]
 791 ; SSE3-NEXT:    retq
 792 ;
 793 ; SSSE3-LABEL: shuffle_v4i32_zuu4:
 794 ; SSSE3:       # BB#0:
 795 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 796 ; SSSE3-NEXT:    movss %xmm0, %xmm1
 797 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,1,0]
 798 ; SSSE3-NEXT:    retq
 799 ;
 800 ; SSE41-LABEL: shuffle_v4i32_zuu4:
 801 ; SSE41:       # BB#0:
 802 ; SSE41-NEXT:    xorps %xmm1, %xmm1
 803 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
 804 ; SSE41-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[1,1,1,0]
 805 ; SSE41-NEXT:    retq
 806 ;
 807 ; AVX-LABEL: shuffle_v4i32_zuu4:
 808 ; AVX:       # BB#0:
 809 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
 810 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3]
 811 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[1,1,1,0]
 812 ; AVX-NEXT:    retq
 813   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 0, i32 undef, i32 undef, i32 4>
 814   ret <4 x i32> %shuffle
 815 }
 816
 817 define <4 x i32> @shuffle_v4i32_z6zz(<4 x i32> %a) {
 818 ; SSE2-LABEL: shuffle_v4i32_z6zz:
 819 ; SSE2:       # BB#0:
 820 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 821 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 822 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 823 ; SSE2-NEXT:    retq
 824 ;
 825 ; SSE3-LABEL: shuffle_v4i32_z6zz:
 826 ; SSE3:       # BB#0:
 827 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 828 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 829 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 830 ; SSE3-NEXT:    retq
 831 ;
 832 ; SSSE3-LABEL: shuffle_v4i32_z6zz:
 833 ; SSSE3:       # BB#0:
 834 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 835 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[0,0]
 836 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[2,0],xmm1[2,3]
 837 ; SSSE3-NEXT:    retq
 838 ;
 839 ; SSE41-LABEL: shuffle_v4i32_z6zz:
 840 ; SSE41:       # BB#0:
 841 ; SSE41-NEXT:    insertps {{.*#+}} xmm0 = zero,xmm0[2],zero,zero
 842 ; SSE41-NEXT:    retq
 843 ;
 844 ; AVX-LABEL: shuffle_v4i32_z6zz:
 845 ; AVX:       # BB#0:
 846 ; AVX-NEXT:    vinsertps {{.*#+}} xmm0 = zero,xmm0[2],zero,zero
 847 ; AVX-NEXT:    retq
 848   %shuffle = shufflevector <4 x i32> zeroinitializer, <4 x i32> %a, <4 x i32> <i32 0, i32 6, i32 2, i32 3>
 849   ret <4 x i32> %shuffle
 850 }
 851
 852 define <4 x i32> @shuffle_v4i32_7012(<4 x i32> %a, <4 x i32> %b) {
 853 ; SSE2-LABEL: shuffle_v4i32_7012:
 854 ; SSE2:       # BB#0:
 855 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[3,0],xmm0[0,0]
 856 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm0[1,2]
 857 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 858 ; SSE2-NEXT:    retq
 859 ;
 860 ; SSE3-LABEL: shuffle_v4i32_7012:
 861 ; SSE3:       # BB#0:
 862 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[3,0],xmm0[0,0]
 863 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm0[1,2]
 864 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 865 ; SSE3-NEXT:    retq
 866 ;
 867 ; SSSE3-LABEL: shuffle_v4i32_7012:
 868 ; SSSE3:       # BB#0:
 869 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9,10,11]
 870 ; SSSE3-NEXT:    retq
 871 ;
 872 ; SSE41-LABEL: shuffle_v4i32_7012:
 873 ; SSE41:       # BB#0:
 874 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9,10,11]
 875 ; SSE41-NEXT:    retq
 876 ;
 877 ; AVX-LABEL: shuffle_v4i32_7012:
 878 ; AVX:       # BB#0:
 879 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[12,13,14,15],xmm0[0,1,2,3,4,5,6,7,8,9,10,11]
 880 ; AVX-NEXT:    retq
 881   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 7, i32 0, i32 1, i32 2>
 882   ret <4 x i32> %shuffle
 883 }
 884
 885 define <4 x i32> @shuffle_v4i32_6701(<4 x i32> %a, <4 x i32> %b) {
 886 ; SSE2-LABEL: shuffle_v4i32_6701:
 887 ; SSE2:       # BB#0:
 888 ; SSE2-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1],xmm0[0]
 889 ; SSE2-NEXT:    movapd %xmm1, %xmm0
 890 ; SSE2-NEXT:    retq
 891 ;
 892 ; SSE3-LABEL: shuffle_v4i32_6701:
 893 ; SSE3:       # BB#0:
 894 ; SSE3-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1],xmm0[0]
 895 ; SSE3-NEXT:    movapd %xmm1, %xmm0
 896 ; SSE3-NEXT:    retq
 897 ;
 898 ; SSSE3-LABEL: shuffle_v4i32_6701:
 899 ; SSSE3:       # BB#0:
 900 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
 901 ; SSSE3-NEXT:    retq
 902 ;
 903 ; SSE41-LABEL: shuffle_v4i32_6701:
 904 ; SSE41:       # BB#0:
 905 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
 906 ; SSE41-NEXT:    retq
 907 ;
 908 ; AVX-LABEL: shuffle_v4i32_6701:
 909 ; AVX:       # BB#0:
 910 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
 911 ; AVX-NEXT:    retq
 912   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 6, i32 7, i32 0, i32 1>
 913   ret <4 x i32> %shuffle
 914 }
 915
 916 define <4 x i32> @shuffle_v4i32_5670(<4 x i32> %a, <4 x i32> %b) {
 917 ; SSE2-LABEL: shuffle_v4i32_5670:
 918 ; SSE2:       # BB#0:
 919 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[3,0]
 920 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,2],xmm0[2,0]
 921 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 922 ; SSE2-NEXT:    retq
 923 ;
 924 ; SSE3-LABEL: shuffle_v4i32_5670:
 925 ; SSE3:       # BB#0:
 926 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,0],xmm1[3,0]
 927 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,2],xmm0[2,0]
 928 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 929 ; SSE3-NEXT:    retq
 930 ;
 931 ; SSSE3-LABEL: shuffle_v4i32_5670:
 932 ; SSSE3:       # BB#0:
 933 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[4,5,6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3]
 934 ; SSSE3-NEXT:    retq
 935 ;
 936 ; SSE41-LABEL: shuffle_v4i32_5670:
 937 ; SSE41:       # BB#0:
 938 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[4,5,6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3]
 939 ; SSE41-NEXT:    retq
 940 ;
 941 ; AVX-LABEL: shuffle_v4i32_5670:
 942 ; AVX:       # BB#0:
 943 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[4,5,6,7,8,9,10,11,12,13,14,15],xmm0[0,1,2,3]
 944 ; AVX-NEXT:    retq
 945   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 5, i32 6, i32 7, i32 0>
 946   ret <4 x i32> %shuffle
 947 }
 948
 949 define <4 x i32> @shuffle_v4i32_1234(<4 x i32> %a, <4 x i32> %b) {
 950 ; SSE2-LABEL: shuffle_v4i32_1234:
 951 ; SSE2:       # BB#0:
 952 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[3,0]
 953 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,2],xmm1[2,0]
 954 ; SSE2-NEXT:    retq
 955 ;
 956 ; SSE3-LABEL: shuffle_v4i32_1234:
 957 ; SSE3:       # BB#0:
 958 ; SSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,0],xmm0[3,0]
 959 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,2],xmm1[2,0]
 960 ; SSE3-NEXT:    retq
 961 ;
 962 ; SSSE3-LABEL: shuffle_v4i32_1234:
 963 ; SSSE3:       # BB#0:
 964 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[4,5,6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3]
 965 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 966 ; SSSE3-NEXT:    retq
 967 ;
 968 ; SSE41-LABEL: shuffle_v4i32_1234:
 969 ; SSE41:       # BB#0:
 970 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[4,5,6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3]
 971 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 972 ; SSE41-NEXT:    retq
 973 ;
 974 ; AVX-LABEL: shuffle_v4i32_1234:
 975 ; AVX:       # BB#0:
 976 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[4,5,6,7,8,9,10,11,12,13,14,15],xmm1[0,1,2,3]
 977 ; AVX-NEXT:    retq
 978   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 1, i32 2, i32 3, i32 4>
 979   ret <4 x i32> %shuffle
 980 }
 981
 982 define <4 x i32> @shuffle_v4i32_2345(<4 x i32> %a, <4 x i32> %b) {
 983 ; SSE2-LABEL: shuffle_v4i32_2345:
 984 ; SSE2:       # BB#0:
 985 ; SSE2-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1],xmm1[0]
 986 ; SSE2-NEXT:    retq
 987 ;
 988 ; SSE3-LABEL: shuffle_v4i32_2345:
 989 ; SSE3:       # BB#0:
 990 ; SSE3-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1],xmm1[0]
 991 ; SSE3-NEXT:    retq
 992 ;
 993 ; SSSE3-LABEL: shuffle_v4i32_2345:
 994 ; SSSE3:       # BB#0:
 995 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
 996 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 997 ; SSSE3-NEXT:    retq
 998 ;
 999 ; SSE41-LABEL: shuffle_v4i32_2345:
1000 ; SSE41:       # BB#0:
1001 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
1002 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1003 ; SSE41-NEXT:    retq
1004 ;
1005 ; AVX-LABEL: shuffle_v4i32_2345:
1006 ; AVX:       # BB#0:
1007 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
1008 ; AVX-NEXT:    retq
1009   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 2, i32 3, i32 4, i32 5>
1010   ret <4 x i32> %shuffle
1011 }
1012
1013 define <4 x i32> @shuffle_v4i32_3456(<4 x i32> %a, <4 x i32> %b) {
1014 ; SSE2-LABEL: shuffle_v4i32_3456:
1015 ; SSE2:       # BB#0:
1016 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[0,0]
1017 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,2]
1018 ; SSE2-NEXT:    retq
1019 ;
1020 ; SSE3-LABEL: shuffle_v4i32_3456:
1021 ; SSE3:       # BB#0:
1022 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,0],xmm1[0,0]
1023 ; SSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,2]
1024 ; SSE3-NEXT:    retq
1025 ;
1026 ; SSSE3-LABEL: shuffle_v4i32_3456:
1027 ; SSSE3:       # BB#0:
1028 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9,10,11]
1029 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
1030 ; SSSE3-NEXT:    retq
1031 ;
1032 ; SSE41-LABEL: shuffle_v4i32_3456:
1033 ; SSE41:       # BB#0:
1034 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9,10,11]
1035 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1036 ; SSE41-NEXT:    retq
1037 ;
1038 ; AVX-LABEL: shuffle_v4i32_3456:
1039 ; AVX:       # BB#0:
1040 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[12,13,14,15],xmm1[0,1,2,3,4,5,6,7,8,9,10,11]
1041 ; AVX-NEXT:    retq
1042   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 3, i32 4, i32 5, i32 6>
1043   ret <4 x i32> %shuffle
1044 }
1045
1046 define <4 x i32> @shuffle_v4i32_0u1u(<4 x i32> %a, <4 x i32> %b) {
1047 ; SSE2-LABEL: shuffle_v4i32_0u1u:
1048 ; SSE2:       # BB#0:
1049 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,1,3]
1050 ; SSE2-NEXT:    retq
1051 ;
1052 ; SSE3-LABEL: shuffle_v4i32_0u1u:
1053 ; SSE3:       # BB#0:
1054 ; SSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,1,3]
1055 ; SSE3-NEXT:    retq
1056 ;
1057 ; SSSE3-LABEL: shuffle_v4i32_0u1u:
1058 ; SSSE3:       # BB#0:
1059 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,1,3]
1060 ; SSSE3-NEXT:    retq
1061 ;
1062 ; SSE41-LABEL: shuffle_v4i32_0u1u:
1063 ; SSE41:       # BB#0:
1064 ; SSE41-NEXT:    pmovzxdq %xmm0, %xmm0
1065 ; SSE41-NEXT:    retq
1066 ;
1067 ; AVX-LABEL: shuffle_v4i32_0u1u:
1068 ; AVX:       # BB#0:
1069 ; AVX-NEXT:    vpmovzxdq %xmm0, %xmm0
1070 ; AVX-NEXT:    retq
1071   %shuffle = shufflevector <4 x i32> %a, <4 x i32> %b, <4 x i32> <i32 0, i32 undef, i32 1, i32 undef>
1072   ret <4 x i32> %shuffle
1073 }
1074
1075 define <4 x i32> @shuffle_v4i32_0z1z(<4 x i32> %a) {
1076 ; SSE2-LABEL: shuffle_v4i32_0z1z:
1077 ; SSE2:       # BB#0:
1078 ; SSE2-NEXT:    pxor %xmm1, %xmm1
1079 ; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1080 ; SSE2-NEXT:    retq
1081 ;
1082 ; SSE3-LABEL: shuffle_v4i32_0z1z:
1083 ; SSE3:       # BB#0:
1084 ; SSE3-NEXT:    pxor %xmm1, %xmm1
1085 ; SSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1086 ; SSE3-NEXT:    retq
1087 ;
1088 ; SSSE3-LABEL: shuffle_v4i32_0z1z:
1089 ; SSSE3:       # BB#0:
1090 ; SSSE3-NEXT:    pxor %xmm1, %xmm1
1091 ; SSSE3-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
1092 ; SSSE3-NEXT:    retq
1093 ;
1094 ; SSE41-LABEL: shuffle_v4i32_0z1z:
1095 ; SSE41:       # BB#0:
1096 ; SSE41-NEXT:    pmovzxdq %xmm0, %xmm0
1097 ; SSE41-NEXT:    retq
1098 ;
1099 ; AVX-LABEL: shuffle_v4i32_0z1z:
1100 ; AVX:       # BB#0:
1101 ; AVX-NEXT:    vpmovzxdq %xmm0, %xmm0
1102 ; AVX-NEXT:    retq
1103   %shuffle = shufflevector <4 x i32> %a, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 1, i32 7>
1104   ret <4 x i32> %shuffle
1105 }
1106
1107 define <4 x i32> @insert_reg_and_zero_v4i32(i32 %a) {
1108 ; SSE-LABEL: insert_reg_and_zero_v4i32:
1109 ; SSE:       # BB#0:
1110 ; SSE-NEXT:    movd %edi, %xmm0
1111 ; SSE-NEXT:    retq
1112 ;
1113 ; AVX-LABEL: insert_reg_and_zero_v4i32:
1114 ; AVX:       # BB#0:
1115 ; AVX-NEXT:    vmovd %edi, %xmm0
1116 ; AVX-NEXT:    retq
1117   %v = insertelement <4 x i32> undef, i32 %a, i32 0
1118   %shuffle = shufflevector <4 x i32> %v, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1119   ret <4 x i32> %shuffle
1120 }
1121
1122 define <4 x i32> @insert_mem_and_zero_v4i32(i32* %ptr) {
1123 ; SSE-LABEL: insert_mem_and_zero_v4i32:
1124 ; SSE:       # BB#0:
1125 ; SSE-NEXT:    movd (%rdi), %xmm0
1126 ; SSE-NEXT:    retq
1127 ;
1128 ; AVX-LABEL: insert_mem_and_zero_v4i32:
1129 ; AVX:       # BB#0:
1130 ; AVX-NEXT:    vmovd (%rdi), %xmm0
1131 ; AVX-NEXT:    retq
1132   %a = load i32* %ptr
1133   %v = insertelement <4 x i32> undef, i32 %a, i32 0
1134   %shuffle = shufflevector <4 x i32> %v, <4 x i32> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1135   ret <4 x i32> %shuffle
1136 }
1137
1138 define <4 x float> @insert_reg_and_zero_v4f32(float %a) {
1139 ; SSE2-LABEL: insert_reg_and_zero_v4f32:
1140 ; SSE2:       # BB#0:
1141 ; SSE2-NEXT:    xorps %xmm1, %xmm1
1142 ; SSE2-NEXT:    movss %xmm0, %xmm1
1143 ; SSE2-NEXT:    movaps %xmm1, %xmm0
1144 ; SSE2-NEXT:    retq
1145 ;
1146 ; SSE3-LABEL: insert_reg_and_zero_v4f32:
1147 ; SSE3:       # BB#0:
1148 ; SSE3-NEXT:    xorps %xmm1, %xmm1
1149 ; SSE3-NEXT:    movss %xmm0, %xmm1
1150 ; SSE3-NEXT:    movaps %xmm1, %xmm0
1151 ; SSE3-NEXT:    retq
1152 ;
1153 ; SSSE3-LABEL: insert_reg_and_zero_v4f32:
1154 ; SSSE3:       # BB#0:
1155 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
1156 ; SSSE3-NEXT:    movss %xmm0, %xmm1
1157 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
1158 ; SSSE3-NEXT:    retq
1159 ;
1160 ; SSE41-LABEL: insert_reg_and_zero_v4f32:
1161 ; SSE41:       # BB#0:
1162 ; SSE41-NEXT:    xorps %xmm1, %xmm1
1163 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
1164 ; SSE41-NEXT:    movaps %xmm1, %xmm0
1165 ; SSE41-NEXT:    retq
1166 ;
1167 ; AVX-LABEL: insert_reg_and_zero_v4f32:
1168 ; AVX:       # BB#0:
1169 ; AVX-NEXT:    vxorps %xmm1, %xmm1, %xmm1
1170 ; AVX-NEXT:    vmovss %xmm0, %xmm1, %xmm0
1171 ; AVX-NEXT:    retq
1172   %v = insertelement <4 x float> undef, float %a, i32 0
1173   %shuffle = shufflevector <4 x float> %v, <4 x float> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1174   ret <4 x float> %shuffle
1175 }
1176
1177 define <4 x float> @insert_mem_and_zero_v4f32(float* %ptr) {
1178 ; SSE-LABEL: insert_mem_and_zero_v4f32:
1179 ; SSE:       # BB#0:
1180 ; SSE-NEXT:    movss (%rdi), %xmm0
1181 ; SSE-NEXT:    retq
1182 ;
1183 ; AVX-LABEL: insert_mem_and_zero_v4f32:
1184 ; AVX:       # BB#0:
1185 ; AVX-NEXT:    vmovss (%rdi), %xmm0
1186 ; AVX-NEXT:    retq
1187   %a = load float* %ptr
1188   %v = insertelement <4 x float> undef, float %a, i32 0
1189   %shuffle = shufflevector <4 x float> %v, <4 x float> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
1190   ret <4 x float> %shuffle
1191 }
1192
1193 define <4 x i32> @insert_reg_lo_v4i32(i64 %a, <4 x i32> %b) {
1194 ; SSE2-LABEL: insert_reg_lo_v4i32:
1195 ; SSE2:       # BB#0:
1196 ; SSE2-NEXT:    movd %rdi, %xmm1
1197 ; SSE2-NEXT:    movsd %xmm1, %xmm0
1198 ; SSE2-NEXT:    retq
1199 ;
1200 ; SSE3-LABEL: insert_reg_lo_v4i32:
1201 ; SSE3:       # BB#0:
1202 ; SSE3-NEXT:    movd %rdi, %xmm1
1203 ; SSE3-NEXT:    movsd %xmm1, %xmm0
1204 ; SSE3-NEXT:    retq
1205 ;
1206 ; SSSE3-LABEL: insert_reg_lo_v4i32:
1207 ; SSSE3:       # BB#0:
1208 ; SSSE3-NEXT:    movd %rdi, %xmm1
1209 ; SSSE3-NEXT:    movsd %xmm1, %xmm0
1210 ; SSSE3-NEXT:    retq
1211 ;
1212 ; SSE41-LABEL: insert_reg_lo_v4i32:
1213 ; SSE41:       # BB#0:
1214 ; SSE41-NEXT:    movd %rdi, %xmm1
1215 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5,6,7]
1216 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1217 ; SSE41-NEXT:    retq
1218 ;
1219 ; AVX1-LABEL: insert_reg_lo_v4i32:
1220 ; AVX1:       # BB#0:
1221 ; AVX1-NEXT:    vmovq %rdi, %xmm1
1222 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
1223 ; AVX1-NEXT:    retq
1224 ;
1225 ; AVX2-LABEL: insert_reg_lo_v4i32:
1226 ; AVX2:       # BB#0:
1227 ; AVX2-NEXT:    vmovq %rdi, %xmm1
1228 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
1229 ; AVX2-NEXT:    retq
1230   %a.cast = bitcast i64 %a to <2 x i32>
1231   %v = shufflevector <2 x i32> %a.cast, <2 x i32> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1232   %shuffle = shufflevector <4 x i32> %v, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
1233   ret <4 x i32> %shuffle
1234 }
1235
1236 define <4 x i32> @insert_mem_lo_v4i32(<2 x i32>* %ptr, <4 x i32> %b) {
1237 ; SSE2-LABEL: insert_mem_lo_v4i32:
1238 ; SSE2:       # BB#0:
1239 ; SSE2-NEXT:    movlpd (%rdi), %xmm0
1240 ; SSE2-NEXT:    retq
1241 ;
1242 ; SSE3-LABEL: insert_mem_lo_v4i32:
1243 ; SSE3:       # BB#0:
1244 ; SSE3-NEXT:    movlpd (%rdi), %xmm0
1245 ; SSE3-NEXT:    retq
1246 ;
1247 ; SSSE3-LABEL: insert_mem_lo_v4i32:
1248 ; SSSE3:       # BB#0:
1249 ; SSSE3-NEXT:    movlpd (%rdi), %xmm0
1250 ; SSSE3-NEXT:    retq
1251 ;
1252 ; SSE41-LABEL: insert_mem_lo_v4i32:
1253 ; SSE41:       # BB#0:
1254 ; SSE41-NEXT:    movq (%rdi), %xmm1
1255 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5,6,7]
1256 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
1257 ; SSE41-NEXT:    retq
1258 ;
1259 ; AVX1-LABEL: insert_mem_lo_v4i32:
1260 ; AVX1:       # BB#0:
1261 ; AVX1-NEXT:    vmovq (%rdi), %xmm1
1262 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
1263 ; AVX1-NEXT:    retq
1264 ;
1265 ; AVX2-LABEL: insert_mem_lo_v4i32:
1266 ; AVX2:       # BB#0:
1267 ; AVX2-NEXT:    vmovq (%rdi), %xmm1
1268 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
1269 ; AVX2-NEXT:    retq
1270   %a = load <2 x i32>* %ptr
1271   %v = shufflevector <2 x i32> %a, <2 x i32> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1272   %shuffle = shufflevector <4 x i32> %v, <4 x i32> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
1273   ret <4 x i32> %shuffle
1274 }
1275
1276 define <4 x i32> @insert_reg_hi_v4i32(i64 %a, <4 x i32> %b) {
1277 ; SSE-LABEL: insert_reg_hi_v4i32:
1278 ; SSE:       # BB#0:
1279 ; SSE-NEXT:    movd %rdi, %xmm1
1280 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1281 ; SSE-NEXT:    retq
1282 ;
1283 ; AVX-LABEL: insert_reg_hi_v4i32:
1284 ; AVX:       # BB#0:
1285 ; AVX-NEXT:    vmovq %rdi, %xmm1
1286 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1287 ; AVX-NEXT:    retq
1288   %a.cast = bitcast i64 %a to <2 x i32>
1289   %v = shufflevector <2 x i32> %a.cast, <2 x i32> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1290   %shuffle = shufflevector <4 x i32> %v, <4 x i32> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1291   ret <4 x i32> %shuffle
1292 }
1293
1294 define <4 x i32> @insert_mem_hi_v4i32(<2 x i32>* %ptr, <4 x i32> %b) {
1295 ; SSE-LABEL: insert_mem_hi_v4i32:
1296 ; SSE:       # BB#0:
1297 ; SSE-NEXT:    movq (%rdi), %xmm1
1298 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1299 ; SSE-NEXT:    retq
1300 ;
1301 ; AVX-LABEL: insert_mem_hi_v4i32:
1302 ; AVX:       # BB#0:
1303 ; AVX-NEXT:    vmovq (%rdi), %xmm1
1304 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
1305 ; AVX-NEXT:    retq
1306   %a = load <2 x i32>* %ptr
1307   %v = shufflevector <2 x i32> %a, <2 x i32> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1308   %shuffle = shufflevector <4 x i32> %v, <4 x i32> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1309   ret <4 x i32> %shuffle
1310 }
1311
1312 define <4 x float> @insert_reg_lo_v4f32(double %a, <4 x float> %b) {
1313 ; SSE-LABEL: insert_reg_lo_v4f32:
1314 ; SSE:       # BB#0:
1315 ; SSE-NEXT:    movsd %xmm0, %xmm1
1316 ; SSE-NEXT:    movaps %xmm1, %xmm0
1317 ; SSE-NEXT:    retq
1318 ;
1319 ; AVX-LABEL: insert_reg_lo_v4f32:
1320 ; AVX:       # BB#0:
1321 ; AVX-NEXT:    vmovsd %xmm0, %xmm1, %xmm0
1322 ; AVX-NEXT:    retq
1323   %a.cast = bitcast double %a to <2 x float>
1324   %v = shufflevector <2 x float> %a.cast, <2 x float> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1325   %shuffle = shufflevector <4 x float> %v, <4 x float> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
1326   ret <4 x float> %shuffle
1327 }
1328
1329 define <4 x float> @insert_mem_lo_v4f32(<2 x float>* %ptr, <4 x float> %b) {
1330 ; SSE-LABEL: insert_mem_lo_v4f32:
1331 ; SSE:       # BB#0:
1332 ; SSE-NEXT:    movlpd (%rdi), %xmm0
1333 ; SSE-NEXT:    retq
1334 ;
1335 ; AVX-LABEL: insert_mem_lo_v4f32:
1336 ; AVX:       # BB#0:
1337 ; AVX-NEXT:    vmovlpd (%rdi), %xmm0, %xmm0
1338 ; AVX-NEXT:    retq
1339   %a = load <2 x float>* %ptr
1340   %v = shufflevector <2 x float> %a, <2 x float> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1341   %shuffle = shufflevector <4 x float> %v, <4 x float> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
1342   ret <4 x float> %shuffle
1343 }
1344
1345 define <4 x float> @insert_reg_hi_v4f32(double %a, <4 x float> %b) {
1346 ; SSE-LABEL: insert_reg_hi_v4f32:
1347 ; SSE:       # BB#0:
1348 ; SSE-NEXT:    unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
1349 ; SSE-NEXT:    movapd %xmm1, %xmm0
1350 ; SSE-NEXT:    retq
1351 ;
1352 ; AVX-LABEL: insert_reg_hi_v4f32:
1353 ; AVX:       # BB#0:
1354 ; AVX-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm1[0],xmm0[0]
1355 ; AVX-NEXT:    retq
1356   %a.cast = bitcast double %a to <2 x float>
1357   %v = shufflevector <2 x float> %a.cast, <2 x float> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1358   %shuffle = shufflevector <4 x float> %v, <4 x float> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1359   ret <4 x float> %shuffle
1360 }
1361
1362 define <4 x float> @insert_mem_hi_v4f32(<2 x float>* %ptr, <4 x float> %b) {
1363 ; SSE-LABEL: insert_mem_hi_v4f32:
1364 ; SSE:       # BB#0:
1365 ; SSE-NEXT:    movhpd (%rdi), %xmm0
1366 ; SSE-NEXT:    retq
1367 ;
1368 ; AVX-LABEL: insert_mem_hi_v4f32:
1369 ; AVX:       # BB#0:
1370 ; AVX-NEXT:    vmovhpd (%rdi), %xmm0, %xmm0
1371 ; AVX-NEXT:    retq
1372   %a = load <2 x float>* %ptr
1373   %v = shufflevector <2 x float> %a, <2 x float> undef, <4 x i32> <i32 0, i32 1, i32 undef, i32 undef>
1374   %shuffle = shufflevector <4 x float> %v, <4 x float> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
1375   ret <4 x float> %shuffle
1376 }
1377
1378 define <4 x float> @shuffle_mem_v4f32_3210(<4 x float>* %ptr) {
1379 ; SSE-LABEL: shuffle_mem_v4f32_3210:
1380 ; SSE:       # BB#0:
1381 ; SSE-NEXT:    movaps (%rdi), %xmm0
1382 ; SSE-NEXT:    shufps {{.*#+}} xmm0 = xmm0[3,2,1,0]
1383 ; SSE-NEXT:    retq
1384 ;
1385 ; AVX-LABEL: shuffle_mem_v4f32_3210:
1386 ; AVX:       # BB#0:
1387 ; AVX-NEXT:    vpermilps {{.*#+}} xmm0 = mem[3,2,1,0]
1388 ; AVX-NEXT:    retq
1389   %a = load <4 x float>* %ptr
1390   %shuffle = shufflevector <4 x float> %a, <4 x float> undef, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
1391   ret <4 x float> %shuffle
1392 }