test/CodeGen/X86/vector-shuffle-128-v2.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse3 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE3
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSSE3
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   6 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx2 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   7
   8 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
   9 target triple = "x86_64-unknown-unknown"
  10
  11 define <2 x i64> @shuffle_v2i64_00(<2 x i64> %a, <2 x i64> %b) {
  12 ; SSE-LABEL: shuffle_v2i64_00:
  13 ; SSE:       # BB#0:
  14 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
  15 ; SSE-NEXT:    retq
  16 ;
  17 ; AVX1-LABEL: shuffle_v2i64_00:
  18 ; AVX1:       # BB#0:
  19 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[0,1,0,1]
  20 ; AVX1-NEXT:    retq
  21 ;
  22 ; AVX2-LABEL: shuffle_v2i64_00:
  23 ; AVX2:       # BB#0:
  24 ; AVX2-NEXT:    vpbroadcastq %xmm0, %xmm0
  25 ; AVX2-NEXT:    retq
  26   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 0, i32 0>
  27   ret <2 x i64> %shuffle
  28 }
  29 define <2 x i64> @shuffle_v2i64_10(<2 x i64> %a, <2 x i64> %b) {
  30 ; SSE-LABEL: shuffle_v2i64_10:
  31 ; SSE:       # BB#0:
  32 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
  33 ; SSE-NEXT:    retq
  34 ;
  35 ; AVX-LABEL: shuffle_v2i64_10:
  36 ; AVX:       # BB#0:
  37 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
  38 ; AVX-NEXT:    retq
  39   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 1, i32 0>
  40   ret <2 x i64> %shuffle
  41 }
  42 define <2 x i64> @shuffle_v2i64_11(<2 x i64> %a, <2 x i64> %b) {
  43 ; SSE-LABEL: shuffle_v2i64_11:
  44 ; SSE:       # BB#0:
  45 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
  46 ; SSE-NEXT:    retq
  47 ;
  48 ; AVX-LABEL: shuffle_v2i64_11:
  49 ; AVX:       # BB#0:
  50 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
  51 ; AVX-NEXT:    retq
  52   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 1, i32 1>
  53   ret <2 x i64> %shuffle
  54 }
  55 define <2 x i64> @shuffle_v2i64_22(<2 x i64> %a, <2 x i64> %b) {
  56 ; SSE-LABEL: shuffle_v2i64_22:
  57 ; SSE:       # BB#0:
  58 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[0,1,0,1]
  59 ; SSE-NEXT:    retq
  60 ;
  61 ; AVX1-LABEL: shuffle_v2i64_22:
  62 ; AVX1:       # BB#0:
  63 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm0 = xmm1[0,1,0,1]
  64 ; AVX1-NEXT:    retq
  65 ;
  66 ; AVX2-LABEL: shuffle_v2i64_22:
  67 ; AVX2:       # BB#0:
  68 ; AVX2-NEXT:    vpbroadcastq %xmm1, %xmm0
  69 ; AVX2-NEXT:    retq
  70   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 2, i32 2>
  71   ret <2 x i64> %shuffle
  72 }
  73 define <2 x i64> @shuffle_v2i64_32(<2 x i64> %a, <2 x i64> %b) {
  74 ; SSE-LABEL: shuffle_v2i64_32:
  75 ; SSE:       # BB#0:
  76 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
  77 ; SSE-NEXT:    retq
  78 ;
  79 ; AVX-LABEL: shuffle_v2i64_32:
  80 ; AVX:       # BB#0:
  81 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
  82 ; AVX-NEXT:    retq
  83   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 3, i32 2>
  84   ret <2 x i64> %shuffle
  85 }
  86 define <2 x i64> @shuffle_v2i64_33(<2 x i64> %a, <2 x i64> %b) {
  87 ; SSE-LABEL: shuffle_v2i64_33:
  88 ; SSE:       # BB#0:
  89 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,2,3]
  90 ; SSE-NEXT:    retq
  91 ;
  92 ; AVX-LABEL: shuffle_v2i64_33:
  93 ; AVX:       # BB#0:
  94 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm1[2,3,2,3]
  95 ; AVX-NEXT:    retq
  96   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 3, i32 3>
  97   ret <2 x i64> %shuffle
  98 }
  99
 100 define <2 x double> @shuffle_v2f64_00(<2 x double> %a, <2 x double> %b) {
 101 ; SSE2-LABEL: shuffle_v2f64_00:
 102 ; SSE2:       # BB#0:
 103 ; SSE2-NEXT:    movlhps {{.*#+}} xmm0 = xmm0[0,0]
 104 ; SSE2-NEXT:    retq
 105 ;
 106 ; SSE3-LABEL: shuffle_v2f64_00:
 107 ; SSE3:       # BB#0:
 108 ; SSE3-NEXT:    unpcklpd {{.*#+}} xmm0 = xmm0[0,0]
 109 ; SSE3-NEXT:    retq
 110 ;
 111 ; SSSE3-LABEL: shuffle_v2f64_00:
 112 ; SSSE3:       # BB#0:
 113 ; SSSE3-NEXT:    unpcklpd {{.*#+}} xmm0 = xmm0[0,0]
 114 ; SSSE3-NEXT:    retq
 115 ;
 116 ; SSE41-LABEL: shuffle_v2f64_00:
 117 ; SSE41:       # BB#0:
 118 ; SSE41-NEXT:    unpcklpd {{.*#+}} xmm0 = xmm0[0,0]
 119 ; SSE41-NEXT:    retq
 120 ;
 121 ; AVX-LABEL: shuffle_v2f64_00:
 122 ; AVX:       # BB#0:
 123 ; AVX-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
 124 ; AVX-NEXT:    retq
 125   %shuffle = shufflevector <2 x double> %a, <2 x double> %b, <2 x i32> <i32 0, i32 0>
 126   ret <2 x double> %shuffle
 127 }
 128 define <2 x double> @shuffle_v2f64_10(<2 x double> %a, <2 x double> %b) {
 129 ; SSE-LABEL: shuffle_v2f64_10:
 130 ; SSE:       # BB#0:
 131 ; SSE-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1,0]
 132 ; SSE-NEXT:    retq
 133 ;
 134 ; AVX-LABEL: shuffle_v2f64_10:
 135 ; AVX:       # BB#0:
 136 ; AVX-NEXT:    vpermilpd {{.*#+}} xmm0 = xmm0[1,0]
 137 ; AVX-NEXT:    retq
 138   %shuffle = shufflevector <2 x double> %a, <2 x double> %b, <2 x i32> <i32 1, i32 0>
 139   ret <2 x double> %shuffle
 140 }
 141 define <2 x double> @shuffle_v2f64_11(<2 x double> %a, <2 x double> %b) {
 142 ; SSE-LABEL: shuffle_v2f64_11:
 143 ; SSE:       # BB#0:
 144 ; SSE-NEXT:    movhlps {{.*#+}} xmm0 = xmm0[1,1]
 145 ; SSE-NEXT:    retq
 146 ;
 147 ; AVX-LABEL: shuffle_v2f64_11:
 148 ; AVX:       # BB#0:
 149 ; AVX-NEXT:    vmovhlps {{.*#+}} xmm0 = xmm0[1,1]
 150 ; AVX-NEXT:    retq
 151   %shuffle = shufflevector <2 x double> %a, <2 x double> %b, <2 x i32> <i32 1, i32 1>
 152   ret <2 x double> %shuffle
 153 }
 154 define <2 x double> @shuffle_v2f64_22(<2 x double> %a, <2 x double> %b) {
 155 ; SSE2-LABEL: shuffle_v2f64_22:
 156 ; SSE2:       # BB#0:
 157 ; SSE2-NEXT:    movlhps {{.*#+}} xmm1 = xmm1[0,0]
 158 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 159 ; SSE2-NEXT:    retq
 160 ;
 161 ; SSE3-LABEL: shuffle_v2f64_22:
 162 ; SSE3:       # BB#0:
 163 ; SSE3-NEXT:    unpcklpd {{.*#+}} xmm1 = xmm1[0,0]
 164 ; SSE3-NEXT:    movapd %xmm1, %xmm0
 165 ; SSE3-NEXT:    retq
 166 ;
 167 ; SSSE3-LABEL: shuffle_v2f64_22:
 168 ; SSSE3:       # BB#0:
 169 ; SSSE3-NEXT:    unpcklpd {{.*#+}} xmm1 = xmm1[0,0]
 170 ; SSSE3-NEXT:    movapd %xmm1, %xmm0
 171 ; SSSE3-NEXT:    retq
 172 ;
 173 ; SSE41-LABEL: shuffle_v2f64_22:
 174 ; SSE41:       # BB#0:
 175 ; SSE41-NEXT:    unpcklpd {{.*#+}} xmm1 = xmm1[0,0]
 176 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 177 ; SSE41-NEXT:    retq
 178 ;
 179 ; AVX-LABEL: shuffle_v2f64_22:
 180 ; AVX:       # BB#0:
 181 ; AVX-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm1[0,0]
 182 ; AVX-NEXT:    retq
 183   %shuffle = shufflevector <2 x double> %a, <2 x double> %b, <2 x i32> <i32 2, i32 2>
 184   ret <2 x double> %shuffle
 185 }
 186 define <2 x double> @shuffle_v2f64_32(<2 x double> %a, <2 x double> %b) {
 187 ; SSE-LABEL: shuffle_v2f64_32:
 188 ; SSE:       # BB#0:
 189 ; SSE-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1,0]
 190 ; SSE-NEXT:    movapd %xmm1, %xmm0
 191 ; SSE-NEXT:    retq
 192 ;
 193 ; AVX-LABEL: shuffle_v2f64_32:
 194 ; AVX:       # BB#0:
 195 ; AVX-NEXT:    vpermilpd {{.*#+}} xmm0 = xmm1[1,0]
 196 ; AVX-NEXT:    retq
 197   %shuffle = shufflevector <2 x double> %a, <2 x double> %b, <2 x i32> <i32 3, i32 2>
 198   ret <2 x double> %shuffle
 199 }
 200 define <2 x double> @shuffle_v2f64_33(<2 x double> %a, <2 x double> %b) {
 201 ; SSE-LABEL: shuffle_v2f64_33:
 202 ; SSE:       # BB#0:
 203 ; SSE-NEXT:    movhlps {{.*#+}} xmm1 = xmm1[1,1]
 204 ; SSE-NEXT:    movaps %xmm1, %xmm0
 205 ; SSE-NEXT:    retq
 206 ;
 207 ; AVX-LABEL: shuffle_v2f64_33:
 208 ; AVX:       # BB#0:
 209 ; AVX-NEXT:    vmovhlps {{.*#+}} xmm0 = xmm1[1,1]
 210 ; AVX-NEXT:    retq
 211   %shuffle = shufflevector <2 x double> %a, <2 x double> %b, <2 x i32> <i32 3, i32 3>
 212   ret <2 x double> %shuffle
 213 }
 214 define <2 x double> @shuffle_v2f64_03(<2 x double> %a, <2 x double> %b) {
 215 ; SSE2-LABEL: shuffle_v2f64_03:
 216 ; SSE2:       # BB#0:
 217 ; SSE2-NEXT:    movsd %xmm0, %xmm1
 218 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 219 ; SSE2-NEXT:    retq
 220 ;
 221 ; SSE3-LABEL: shuffle_v2f64_03:
 222 ; SSE3:       # BB#0:
 223 ; SSE3-NEXT:    movsd %xmm0, %xmm1
 224 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 225 ; SSE3-NEXT:    retq
 226 ;
 227 ; SSSE3-LABEL: shuffle_v2f64_03:
 228 ; SSSE3:       # BB#0:
 229 ; SSSE3-NEXT:    movsd %xmm0, %xmm1
 230 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 231 ; SSSE3-NEXT:    retq
 232 ;
 233 ; SSE41-LABEL: shuffle_v2f64_03:
 234 ; SSE41:       # BB#0:
 235 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm1[1]
 236 ; SSE41-NEXT:    retq
 237 ;
 238 ; AVX-LABEL: shuffle_v2f64_03:
 239 ; AVX:       # BB#0:
 240 ; AVX-NEXT:    vblendpd {{.*#+}} xmm0 = xmm0[0],xmm1[1]
 241 ; AVX-NEXT:    retq
 242   %shuffle = shufflevector <2 x double> %a, <2 x double> %b, <2 x i32> <i32 0, i32 3>
 243   ret <2 x double> %shuffle
 244 }
 245 define <2 x double> @shuffle_v2f64_21(<2 x double> %a, <2 x double> %b) {
 246 ; SSE2-LABEL: shuffle_v2f64_21:
 247 ; SSE2:       # BB#0:
 248 ; SSE2-NEXT:    movsd %xmm1, %xmm0
 249 ; SSE2-NEXT:    retq
 250 ;
 251 ; SSE3-LABEL: shuffle_v2f64_21:
 252 ; SSE3:       # BB#0:
 253 ; SSE3-NEXT:    movsd %xmm1, %xmm0
 254 ; SSE3-NEXT:    retq
 255 ;
 256 ; SSSE3-LABEL: shuffle_v2f64_21:
 257 ; SSSE3:       # BB#0:
 258 ; SSSE3-NEXT:    movsd %xmm1, %xmm0
 259 ; SSSE3-NEXT:    retq
 260 ;
 261 ; SSE41-LABEL: shuffle_v2f64_21:
 262 ; SSE41:       # BB#0:
 263 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
 264 ; SSE41-NEXT:    retq
 265 ;
 266 ; AVX-LABEL: shuffle_v2f64_21:
 267 ; AVX:       # BB#0:
 268 ; AVX-NEXT:    vblendpd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
 269 ; AVX-NEXT:    retq
 270   %shuffle = shufflevector <2 x double> %a, <2 x double> %b, <2 x i32> <i32 2, i32 1>
 271   ret <2 x double> %shuffle
 272 }
 273
 274
 275 define <2 x i64> @shuffle_v2i64_02(<2 x i64> %a, <2 x i64> %b) {
 276 ; SSE-LABEL: shuffle_v2i64_02:
 277 ; SSE:       # BB#0:
 278 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 279 ; SSE-NEXT:    retq
 280 ;
 281 ; AVX-LABEL: shuffle_v2i64_02:
 282 ; AVX:       # BB#0:
 283 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 284 ; AVX-NEXT:    retq
 285   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 0, i32 2>
 286   ret <2 x i64> %shuffle
 287 }
 288 define <2 x i64> @shuffle_v2i64_02_copy(<2 x i64> %nonce, <2 x i64> %a, <2 x i64> %b) {
 289 ; SSE-LABEL: shuffle_v2i64_02_copy:
 290 ; SSE:       # BB#0:
 291 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]
 292 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 293 ; SSE-NEXT:    retq
 294 ;
 295 ; AVX-LABEL: shuffle_v2i64_02_copy:
 296 ; AVX:       # BB#0:
 297 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm2[0]
 298 ; AVX-NEXT:    retq
 299   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 0, i32 2>
 300   ret <2 x i64> %shuffle
 301 }
 302 define <2 x i64> @shuffle_v2i64_03(<2 x i64> %a, <2 x i64> %b) {
 303 ; SSE2-LABEL: shuffle_v2i64_03:
 304 ; SSE2:       # BB#0:
 305 ; SSE2-NEXT:    movsd %xmm0, %xmm1
 306 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 307 ; SSE2-NEXT:    retq
 308 ;
 309 ; SSE3-LABEL: shuffle_v2i64_03:
 310 ; SSE3:       # BB#0:
 311 ; SSE3-NEXT:    movsd %xmm0, %xmm1
 312 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 313 ; SSE3-NEXT:    retq
 314 ;
 315 ; SSSE3-LABEL: shuffle_v2i64_03:
 316 ; SSSE3:       # BB#0:
 317 ; SSSE3-NEXT:    movsd %xmm0, %xmm1
 318 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 319 ; SSSE3-NEXT:    retq
 320 ;
 321 ; SSE41-LABEL: shuffle_v2i64_03:
 322 ; SSE41:       # BB#0:
 323 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
 324 ; SSE41-NEXT:    retq
 325 ;
 326 ; AVX1-LABEL: shuffle_v2i64_03:
 327 ; AVX1:       # BB#0:
 328 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5,6,7]
 329 ; AVX1-NEXT:    retq
 330 ;
 331 ; AVX2-LABEL: shuffle_v2i64_03:
 332 ; AVX2:       # BB#0:
 333 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3]
 334 ; AVX2-NEXT:    retq
 335   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 0, i32 3>
 336   ret <2 x i64> %shuffle
 337 }
 338 define <2 x i64> @shuffle_v2i64_03_copy(<2 x i64> %nonce, <2 x i64> %a, <2 x i64> %b) {
 339 ; SSE2-LABEL: shuffle_v2i64_03_copy:
 340 ; SSE2:       # BB#0:
 341 ; SSE2-NEXT:    movsd %xmm1, %xmm2
 342 ; SSE2-NEXT:    movaps %xmm2, %xmm0
 343 ; SSE2-NEXT:    retq
 344 ;
 345 ; SSE3-LABEL: shuffle_v2i64_03_copy:
 346 ; SSE3:       # BB#0:
 347 ; SSE3-NEXT:    movsd %xmm1, %xmm2
 348 ; SSE3-NEXT:    movaps %xmm2, %xmm0
 349 ; SSE3-NEXT:    retq
 350 ;
 351 ; SSSE3-LABEL: shuffle_v2i64_03_copy:
 352 ; SSSE3:       # BB#0:
 353 ; SSSE3-NEXT:    movsd %xmm1, %xmm2
 354 ; SSSE3-NEXT:    movaps %xmm2, %xmm0
 355 ; SSSE3-NEXT:    retq
 356 ;
 357 ; SSE41-LABEL: shuffle_v2i64_03_copy:
 358 ; SSE41:       # BB#0:
 359 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm2[4,5,6,7]
 360 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 361 ; SSE41-NEXT:    retq
 362 ;
 363 ; AVX1-LABEL: shuffle_v2i64_03_copy:
 364 ; AVX1:       # BB#0:
 365 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm2[4,5,6,7]
 366 ; AVX1-NEXT:    retq
 367 ;
 368 ; AVX2-LABEL: shuffle_v2i64_03_copy:
 369 ; AVX2:       # BB#0:
 370 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm2[2,3]
 371 ; AVX2-NEXT:    retq
 372   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 0, i32 3>
 373   ret <2 x i64> %shuffle
 374 }
 375 define <2 x i64> @shuffle_v2i64_12(<2 x i64> %a, <2 x i64> %b) {
 376 ; SSE2-LABEL: shuffle_v2i64_12:
 377 ; SSE2:       # BB#0:
 378 ; SSE2-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1],xmm1[0]
 379 ; SSE2-NEXT:    retq
 380 ;
 381 ; SSE3-LABEL: shuffle_v2i64_12:
 382 ; SSE3:       # BB#0:
 383 ; SSE3-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1],xmm1[0]
 384 ; SSE3-NEXT:    retq
 385 ;
 386 ; SSSE3-LABEL: shuffle_v2i64_12:
 387 ; SSSE3:       # BB#0:
 388 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
 389 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 390 ; SSSE3-NEXT:    retq
 391 ;
 392 ; SSE41-LABEL: shuffle_v2i64_12:
 393 ; SSE41:       # BB#0:
 394 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
 395 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 396 ; SSE41-NEXT:    retq
 397 ;
 398 ; AVX-LABEL: shuffle_v2i64_12:
 399 ; AVX:       # BB#0:
 400 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm0[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
 401 ; AVX-NEXT:    retq
 402   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 1, i32 2>
 403   ret <2 x i64> %shuffle
 404 }
 405 define <2 x i64> @shuffle_v2i64_12_copy(<2 x i64> %nonce, <2 x i64> %a, <2 x i64> %b) {
 406 ; SSE2-LABEL: shuffle_v2i64_12_copy:
 407 ; SSE2:       # BB#0:
 408 ; SSE2-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1],xmm2[0]
 409 ; SSE2-NEXT:    movapd %xmm1, %xmm0
 410 ; SSE2-NEXT:    retq
 411 ;
 412 ; SSE3-LABEL: shuffle_v2i64_12_copy:
 413 ; SSE3:       # BB#0:
 414 ; SSE3-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1],xmm2[0]
 415 ; SSE3-NEXT:    movapd %xmm1, %xmm0
 416 ; SSE3-NEXT:    retq
 417 ;
 418 ; SSSE3-LABEL: shuffle_v2i64_12_copy:
 419 ; SSSE3:       # BB#0:
 420 ; SSSE3-NEXT:    palignr {{.*#+}} xmm2 = xmm1[8,9,10,11,12,13,14,15],xmm2[0,1,2,3,4,5,6,7]
 421 ; SSSE3-NEXT:    movdqa %xmm2, %xmm0
 422 ; SSSE3-NEXT:    retq
 423 ;
 424 ; SSE41-LABEL: shuffle_v2i64_12_copy:
 425 ; SSE41:       # BB#0:
 426 ; SSE41-NEXT:    palignr {{.*#+}} xmm2 = xmm1[8,9,10,11,12,13,14,15],xmm2[0,1,2,3,4,5,6,7]
 427 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 428 ; SSE41-NEXT:    retq
 429 ;
 430 ; AVX-LABEL: shuffle_v2i64_12_copy:
 431 ; AVX:       # BB#0:
 432 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm2[0,1,2,3,4,5,6,7]
 433 ; AVX-NEXT:    retq
 434   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 1, i32 2>
 435   ret <2 x i64> %shuffle
 436 }
 437 define <2 x i64> @shuffle_v2i64_13(<2 x i64> %a, <2 x i64> %b) {
 438 ; SSE-LABEL: shuffle_v2i64_13:
 439 ; SSE:       # BB#0:
 440 ; SSE-NEXT:    punpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1]
 441 ; SSE-NEXT:    retq
 442 ;
 443 ; AVX-LABEL: shuffle_v2i64_13:
 444 ; AVX:       # BB#0:
 445 ; AVX-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1]
 446 ; AVX-NEXT:    retq
 447   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 1, i32 3>
 448   ret <2 x i64> %shuffle
 449 }
 450 define <2 x i64> @shuffle_v2i64_13_copy(<2 x i64> %nonce, <2 x i64> %a, <2 x i64> %b) {
 451 ; SSE-LABEL: shuffle_v2i64_13_copy:
 452 ; SSE:       # BB#0:
 453 ; SSE-NEXT:    punpckhqdq {{.*#+}} xmm1 = xmm1[1],xmm2[1]
 454 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 455 ; SSE-NEXT:    retq
 456 ;
 457 ; AVX-LABEL: shuffle_v2i64_13_copy:
 458 ; AVX:       # BB#0:
 459 ; AVX-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm1[1],xmm2[1]
 460 ; AVX-NEXT:    retq
 461   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 1, i32 3>
 462   ret <2 x i64> %shuffle
 463 }
 464 define <2 x i64> @shuffle_v2i64_20(<2 x i64> %a, <2 x i64> %b) {
 465 ; SSE-LABEL: shuffle_v2i64_20:
 466 ; SSE:       # BB#0:
 467 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 468 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 469 ; SSE-NEXT:    retq
 470 ;
 471 ; AVX-LABEL: shuffle_v2i64_20:
 472 ; AVX:       # BB#0:
 473 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
 474 ; AVX-NEXT:    retq
 475   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 2, i32 0>
 476   ret <2 x i64> %shuffle
 477 }
 478 define <2 x i64> @shuffle_v2i64_20_copy(<2 x i64> %nonce, <2 x i64> %a, <2 x i64> %b) {
 479 ; SSE-LABEL: shuffle_v2i64_20_copy:
 480 ; SSE:       # BB#0:
 481 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm1[0]
 482 ; SSE-NEXT:    movdqa %xmm2, %xmm0
 483 ; SSE-NEXT:    retq
 484 ;
 485 ; AVX-LABEL: shuffle_v2i64_20_copy:
 486 ; AVX:       # BB#0:
 487 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm2[0],xmm1[0]
 488 ; AVX-NEXT:    retq
 489   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 2, i32 0>
 490   ret <2 x i64> %shuffle
 491 }
 492 define <2 x i64> @shuffle_v2i64_21(<2 x i64> %a, <2 x i64> %b) {
 493 ; SSE2-LABEL: shuffle_v2i64_21:
 494 ; SSE2:       # BB#0:
 495 ; SSE2-NEXT:    movsd %xmm1, %xmm0
 496 ; SSE2-NEXT:    retq
 497 ;
 498 ; SSE3-LABEL: shuffle_v2i64_21:
 499 ; SSE3:       # BB#0:
 500 ; SSE3-NEXT:    movsd %xmm1, %xmm0
 501 ; SSE3-NEXT:    retq
 502 ;
 503 ; SSSE3-LABEL: shuffle_v2i64_21:
 504 ; SSSE3:       # BB#0:
 505 ; SSSE3-NEXT:    movsd %xmm1, %xmm0
 506 ; SSSE3-NEXT:    retq
 507 ;
 508 ; SSE41-LABEL: shuffle_v2i64_21:
 509 ; SSE41:       # BB#0:
 510 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 511 ; SSE41-NEXT:    retq
 512 ;
 513 ; AVX1-LABEL: shuffle_v2i64_21:
 514 ; AVX1:       # BB#0:
 515 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 516 ; AVX1-NEXT:    retq
 517 ;
 518 ; AVX2-LABEL: shuffle_v2i64_21:
 519 ; AVX2:       # BB#0:
 520 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
 521 ; AVX2-NEXT:    retq
 522   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 2, i32 1>
 523   ret <2 x i64> %shuffle
 524 }
 525 define <2 x i64> @shuffle_v2i64_21_copy(<2 x i64> %nonce, <2 x i64> %a, <2 x i64> %b) {
 526 ; SSE2-LABEL: shuffle_v2i64_21_copy:
 527 ; SSE2:       # BB#0:
 528 ; SSE2-NEXT:    movsd %xmm2, %xmm1
 529 ; SSE2-NEXT:    movaps %xmm1, %xmm0
 530 ; SSE2-NEXT:    retq
 531 ;
 532 ; SSE3-LABEL: shuffle_v2i64_21_copy:
 533 ; SSE3:       # BB#0:
 534 ; SSE3-NEXT:    movsd %xmm2, %xmm1
 535 ; SSE3-NEXT:    movaps %xmm1, %xmm0
 536 ; SSE3-NEXT:    retq
 537 ;
 538 ; SSSE3-LABEL: shuffle_v2i64_21_copy:
 539 ; SSSE3:       # BB#0:
 540 ; SSSE3-NEXT:    movsd %xmm2, %xmm1
 541 ; SSSE3-NEXT:    movaps %xmm1, %xmm0
 542 ; SSSE3-NEXT:    retq
 543 ;
 544 ; SSE41-LABEL: shuffle_v2i64_21_copy:
 545 ; SSE41:       # BB#0:
 546 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 547 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 548 ; SSE41-NEXT:    retq
 549 ;
 550 ; AVX1-LABEL: shuffle_v2i64_21_copy:
 551 ; AVX1:       # BB#0:
 552 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm1[4,5,6,7]
 553 ; AVX1-NEXT:    retq
 554 ;
 555 ; AVX2-LABEL: shuffle_v2i64_21_copy:
 556 ; AVX2:       # BB#0:
 557 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm2[0,1],xmm1[2,3]
 558 ; AVX2-NEXT:    retq
 559   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 2, i32 1>
 560   ret <2 x i64> %shuffle
 561 }
 562 define <2 x i64> @shuffle_v2i64_30(<2 x i64> %a, <2 x i64> %b) {
 563 ; SSE2-LABEL: shuffle_v2i64_30:
 564 ; SSE2:       # BB#0:
 565 ; SSE2-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1],xmm0[0]
 566 ; SSE2-NEXT:    movapd %xmm1, %xmm0
 567 ; SSE2-NEXT:    retq
 568 ;
 569 ; SSE3-LABEL: shuffle_v2i64_30:
 570 ; SSE3:       # BB#0:
 571 ; SSE3-NEXT:    shufpd {{.*#+}} xmm1 = xmm1[1],xmm0[0]
 572 ; SSE3-NEXT:    movapd %xmm1, %xmm0
 573 ; SSE3-NEXT:    retq
 574 ;
 575 ; SSSE3-LABEL: shuffle_v2i64_30:
 576 ; SSSE3:       # BB#0:
 577 ; SSSE3-NEXT:    palignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
 578 ; SSSE3-NEXT:    retq
 579 ;
 580 ; SSE41-LABEL: shuffle_v2i64_30:
 581 ; SSE41:       # BB#0:
 582 ; SSE41-NEXT:    palignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
 583 ; SSE41-NEXT:    retq
 584 ;
 585 ; AVX-LABEL: shuffle_v2i64_30:
 586 ; AVX:       # BB#0:
 587 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm1[8,9,10,11,12,13,14,15],xmm0[0,1,2,3,4,5,6,7]
 588 ; AVX-NEXT:    retq
 589   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 3, i32 0>
 590   ret <2 x i64> %shuffle
 591 }
 592 define <2 x i64> @shuffle_v2i64_30_copy(<2 x i64> %nonce, <2 x i64> %a, <2 x i64> %b) {
 593 ; SSE2-LABEL: shuffle_v2i64_30_copy:
 594 ; SSE2:       # BB#0:
 595 ; SSE2-NEXT:    shufpd {{.*#+}} xmm2 = xmm2[1],xmm1[0]
 596 ; SSE2-NEXT:    movapd %xmm2, %xmm0
 597 ; SSE2-NEXT:    retq
 598 ;
 599 ; SSE3-LABEL: shuffle_v2i64_30_copy:
 600 ; SSE3:       # BB#0:
 601 ; SSE3-NEXT:    shufpd {{.*#+}} xmm2 = xmm2[1],xmm1[0]
 602 ; SSE3-NEXT:    movapd %xmm2, %xmm0
 603 ; SSE3-NEXT:    retq
 604 ;
 605 ; SSSE3-LABEL: shuffle_v2i64_30_copy:
 606 ; SSSE3:       # BB#0:
 607 ; SSSE3-NEXT:    palignr {{.*#+}} xmm1 = xmm2[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
 608 ; SSSE3-NEXT:    movdqa %xmm1, %xmm0
 609 ; SSSE3-NEXT:    retq
 610 ;
 611 ; SSE41-LABEL: shuffle_v2i64_30_copy:
 612 ; SSE41:       # BB#0:
 613 ; SSE41-NEXT:    palignr {{.*#+}} xmm1 = xmm2[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
 614 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 615 ; SSE41-NEXT:    retq
 616 ;
 617 ; AVX-LABEL: shuffle_v2i64_30_copy:
 618 ; AVX:       # BB#0:
 619 ; AVX-NEXT:    vpalignr {{.*#+}} xmm0 = xmm2[8,9,10,11,12,13,14,15],xmm1[0,1,2,3,4,5,6,7]
 620 ; AVX-NEXT:    retq
 621   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 3, i32 0>
 622   ret <2 x i64> %shuffle
 623 }
 624 define <2 x i64> @shuffle_v2i64_31(<2 x i64> %a, <2 x i64> %b) {
 625 ; SSE-LABEL: shuffle_v2i64_31:
 626 ; SSE:       # BB#0:
 627 ; SSE-NEXT:    punpckhqdq {{.*#+}} xmm1 = xmm1[1],xmm0[1]
 628 ; SSE-NEXT:    movdqa %xmm1, %xmm0
 629 ; SSE-NEXT:    retq
 630 ;
 631 ; AVX-LABEL: shuffle_v2i64_31:
 632 ; AVX:       # BB#0:
 633 ; AVX-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm1[1],xmm0[1]
 634 ; AVX-NEXT:    retq
 635   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 3, i32 1>
 636   ret <2 x i64> %shuffle
 637 }
 638 define <2 x i64> @shuffle_v2i64_31_copy(<2 x i64> %nonce, <2 x i64> %a, <2 x i64> %b) {
 639 ; SSE-LABEL: shuffle_v2i64_31_copy:
 640 ; SSE:       # BB#0:
 641 ; SSE-NEXT:    punpckhqdq {{.*#+}} xmm2 = xmm2[1],xmm1[1]
 642 ; SSE-NEXT:    movdqa %xmm2, %xmm0
 643 ; SSE-NEXT:    retq
 644 ;
 645 ; AVX-LABEL: shuffle_v2i64_31_copy:
 646 ; AVX:       # BB#0:
 647 ; AVX-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm2[1],xmm1[1]
 648 ; AVX-NEXT:    retq
 649   %shuffle = shufflevector <2 x i64> %a, <2 x i64> %b, <2 x i32> <i32 3, i32 1>
 650   ret <2 x i64> %shuffle
 651 }
 652
 653 define <2 x i64> @shuffle_v2i64_0z(<2 x i64> %a) {
 654 ; SSE-LABEL: shuffle_v2i64_0z:
 655 ; SSE:       # BB#0:
 656 ; SSE-NEXT:    movq %xmm0, %xmm0
 657 ; SSE-NEXT:    retq
 658 ;
 659 ; AVX-LABEL: shuffle_v2i64_0z:
 660 ; AVX:       # BB#0:
 661 ; AVX-NEXT:    vmovq %xmm0, %xmm0
 662 ; AVX-NEXT:    retq
 663   %shuffle = shufflevector <2 x i64> %a, <2 x i64> zeroinitializer, <2 x i32> <i32 0, i32 3>
 664   ret <2 x i64> %shuffle
 665 }
 666
 667 define <2 x i64> @shuffle_v2i64_1z(<2 x i64> %a) {
 668 ; SSE-LABEL: shuffle_v2i64_1z:
 669 ; SSE:       # BB#0:
 670 ; SSE-NEXT:    pxor %xmm1, %xmm1
 671 ; SSE-NEXT:    punpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1]
 672 ; SSE-NEXT:    retq
 673 ;
 674 ; AVX-LABEL: shuffle_v2i64_1z:
 675 ; AVX:       # BB#0:
 676 ; AVX-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 677 ; AVX-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm1[1]
 678 ; AVX-NEXT:    retq
 679   %shuffle = shufflevector <2 x i64> %a, <2 x i64> zeroinitializer, <2 x i32> <i32 1, i32 3>
 680   ret <2 x i64> %shuffle
 681 }
 682
 683 define <2 x i64> @shuffle_v2i64_z0(<2 x i64> %a) {
 684 ; SSE-LABEL: shuffle_v2i64_z0:
 685 ; SSE:       # BB#0:
 686 ; SSE-NEXT:    movq %xmm0, %xmm0
 687 ; SSE-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 688 ; SSE-NEXT:    retq
 689 ;
 690 ; AVX-LABEL: shuffle_v2i64_z0:
 691 ; AVX:       # BB#0:
 692 ; AVX-NEXT:    vmovq %xmm0, %xmm0
 693 ; AVX-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
 694 ; AVX-NEXT:    retq
 695   %shuffle = shufflevector <2 x i64> %a, <2 x i64> zeroinitializer, <2 x i32> <i32 2, i32 0>
 696   ret <2 x i64> %shuffle
 697 }
 698
 699 define <2 x i64> @shuffle_v2i64_z1(<2 x i64> %a) {
 700 ; SSE2-LABEL: shuffle_v2i64_z1:
 701 ; SSE2:       # BB#0:
 702 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 703 ; SSE2-NEXT:    movsd %xmm1, %xmm0
 704 ; SSE2-NEXT:    retq
 705 ;
 706 ; SSE3-LABEL: shuffle_v2i64_z1:
 707 ; SSE3:       # BB#0:
 708 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 709 ; SSE3-NEXT:    movsd %xmm1, %xmm0
 710 ; SSE3-NEXT:    retq
 711 ;
 712 ; SSSE3-LABEL: shuffle_v2i64_z1:
 713 ; SSSE3:       # BB#0:
 714 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 715 ; SSSE3-NEXT:    movsd %xmm1, %xmm0
 716 ; SSSE3-NEXT:    retq
 717 ;
 718 ; SSE41-LABEL: shuffle_v2i64_z1:
 719 ; SSE41:       # BB#0:
 720 ; SSE41-NEXT:    pxor %xmm1, %xmm1
 721 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 722 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 723 ; SSE41-NEXT:    retq
 724 ;
 725 ; AVX1-LABEL: shuffle_v2i64_z1:
 726 ; AVX1:       # BB#0:
 727 ; AVX1-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 728 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 729 ; AVX1-NEXT:    retq
 730 ;
 731 ; AVX2-LABEL: shuffle_v2i64_z1:
 732 ; AVX2:       # BB#0:
 733 ; AVX2-NEXT:    vpxor %xmm1, %xmm1, %xmm1
 734 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
 735 ; AVX2-NEXT:    retq
 736   %shuffle = shufflevector <2 x i64> %a, <2 x i64> zeroinitializer, <2 x i32> <i32 2, i32 1>
 737   ret <2 x i64> %shuffle
 738 }
 739
 740 define <2 x double> @shuffle_v2f64_0z(<2 x double> %a) {
 741 ; SSE-LABEL: shuffle_v2f64_0z:
 742 ; SSE:       # BB#0:
 743 ; SSE-NEXT:    movq %xmm0, %xmm0
 744 ; SSE-NEXT:    retq
 745 ;
 746 ; AVX-LABEL: shuffle_v2f64_0z:
 747 ; AVX:       # BB#0:
 748 ; AVX-NEXT:    vmovq %xmm0, %xmm0
 749 ; AVX-NEXT:    retq
 750   %shuffle = shufflevector <2 x double> %a, <2 x double> zeroinitializer, <2 x i32> <i32 0, i32 3>
 751   ret <2 x double> %shuffle
 752 }
 753
 754 define <2 x double> @shuffle_v2f64_1z(<2 x double> %a) {
 755 ; SSE-LABEL: shuffle_v2f64_1z:
 756 ; SSE:       # BB#0:
 757 ; SSE-NEXT:    xorpd %xmm1, %xmm1
 758 ; SSE-NEXT:    unpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
 759 ; SSE-NEXT:    retq
 760 ;
 761 ; AVX-LABEL: shuffle_v2f64_1z:
 762 ; AVX:       # BB#0:
 763 ; AVX-NEXT:    vxorpd %xmm1, %xmm1, %xmm1
 764 ; AVX-NEXT:    vunpckhpd {{.*#+}} xmm0 = xmm0[1],xmm1[1]
 765 ; AVX-NEXT:    retq
 766   %shuffle = shufflevector <2 x double> %a, <2 x double> zeroinitializer, <2 x i32> <i32 1, i32 3>
 767   ret <2 x double> %shuffle
 768 }
 769
 770 define <2 x double> @shuffle_v2f64_z0(<2 x double> %a) {
 771 ; SSE-LABEL: shuffle_v2f64_z0:
 772 ; SSE:       # BB#0:
 773 ; SSE-NEXT:    xorpd %xmm1, %xmm1
 774 ; SSE-NEXT:    unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 775 ; SSE-NEXT:    movapd %xmm1, %xmm0
 776 ; SSE-NEXT:    retq
 777 ;
 778 ; AVX-LABEL: shuffle_v2f64_z0:
 779 ; AVX:       # BB#0:
 780 ; AVX-NEXT:    vxorpd %xmm1, %xmm1, %xmm1
 781 ; AVX-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm1[0],xmm0[0]
 782 ; AVX-NEXT:    retq
 783   %shuffle = shufflevector <2 x double> %a, <2 x double> zeroinitializer, <2 x i32> <i32 2, i32 0>
 784   ret <2 x double> %shuffle
 785 }
 786
 787 define <2 x double> @shuffle_v2f64_z1(<2 x double> %a) {
 788 ; SSE2-LABEL: shuffle_v2f64_z1:
 789 ; SSE2:       # BB#0:
 790 ; SSE2-NEXT:    xorps %xmm1, %xmm1
 791 ; SSE2-NEXT:    movsd %xmm1, %xmm0
 792 ; SSE2-NEXT:    retq
 793 ;
 794 ; SSE3-LABEL: shuffle_v2f64_z1:
 795 ; SSE3:       # BB#0:
 796 ; SSE3-NEXT:    xorps %xmm1, %xmm1
 797 ; SSE3-NEXT:    movsd %xmm1, %xmm0
 798 ; SSE3-NEXT:    retq
 799 ;
 800 ; SSSE3-LABEL: shuffle_v2f64_z1:
 801 ; SSSE3:       # BB#0:
 802 ; SSSE3-NEXT:    xorps %xmm1, %xmm1
 803 ; SSSE3-NEXT:    movsd %xmm1, %xmm0
 804 ; SSSE3-NEXT:    retq
 805 ;
 806 ; SSE41-LABEL: shuffle_v2f64_z1:
 807 ; SSE41:       # BB#0:
 808 ; SSE41-NEXT:    xorpd %xmm1, %xmm1
 809 ; SSE41-NEXT:    blendpd {{.*#+}} xmm1 = xmm1[0],xmm0[1]
 810 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 811 ; SSE41-NEXT:    retq
 812 ;
 813 ; AVX-LABEL: shuffle_v2f64_z1:
 814 ; AVX:       # BB#0:
 815 ; AVX-NEXT:    vxorpd %xmm1, %xmm1, %xmm1
 816 ; AVX-NEXT:    vblendpd {{.*#+}} xmm0 = xmm1[0],xmm0[1]
 817 ; AVX-NEXT:    retq
 818   %shuffle = shufflevector <2 x double> %a, <2 x double> zeroinitializer, <2 x i32> <i32 2, i32 1>
 819   ret <2 x double> %shuffle
 820 }
 821
 822 define <2 x i64> @insert_reg_and_zero_v2i64(i64 %a) {
 823 ; SSE-LABEL: insert_reg_and_zero_v2i64:
 824 ; SSE:       # BB#0:
 825 ; SSE-NEXT:    movd %rdi, %xmm0
 826 ; SSE-NEXT:    retq
 827 ;
 828 ; AVX-LABEL: insert_reg_and_zero_v2i64:
 829 ; AVX:       # BB#0:
 830 ; AVX-NEXT:    vmovq %rdi, %xmm0
 831 ; AVX-NEXT:    retq
 832   %v = insertelement <2 x i64> undef, i64 %a, i32 0
 833   %shuffle = shufflevector <2 x i64> %v, <2 x i64> zeroinitializer, <2 x i32> <i32 0, i32 3>
 834   ret <2 x i64> %shuffle
 835 }
 836
 837 define <2 x i64> @insert_mem_and_zero_v2i64(i64* %ptr) {
 838 ; SSE-LABEL: insert_mem_and_zero_v2i64:
 839 ; SSE:       # BB#0:
 840 ; SSE-NEXT:    movq (%rdi), %xmm0
 841 ; SSE-NEXT:    retq
 842 ;
 843 ; AVX-LABEL: insert_mem_and_zero_v2i64:
 844 ; AVX:       # BB#0:
 845 ; AVX-NEXT:    vmovq (%rdi), %xmm0
 846 ; AVX-NEXT:    retq
 847   %a = load i64* %ptr
 848   %v = insertelement <2 x i64> undef, i64 %a, i32 0
 849   %shuffle = shufflevector <2 x i64> %v, <2 x i64> zeroinitializer, <2 x i32> <i32 0, i32 3>
 850   ret <2 x i64> %shuffle
 851 }
 852
 853 define <2 x double> @insert_reg_and_zero_v2f64(double %a) {
 854 ; SSE-LABEL: insert_reg_and_zero_v2f64:
 855 ; SSE:       # BB#0:
 856 ; SSE-NEXT:    movq %xmm0, %xmm0
 857 ; SSE-NEXT:    retq
 858 ;
 859 ; AVX-LABEL: insert_reg_and_zero_v2f64:
 860 ; AVX:       # BB#0:
 861 ; AVX-NEXT:    vmovq %xmm0, %xmm0
 862 ; AVX-NEXT:    retq
 863   %v = insertelement <2 x double> undef, double %a, i32 0
 864   %shuffle = shufflevector <2 x double> %v, <2 x double> zeroinitializer, <2 x i32> <i32 0, i32 3>
 865   ret <2 x double> %shuffle
 866 }
 867
 868 define <2 x double> @insert_mem_and_zero_v2f64(double* %ptr) {
 869 ; SSE-LABEL: insert_mem_and_zero_v2f64:
 870 ; SSE:       # BB#0:
 871 ; SSE-NEXT:    movsd (%rdi), %xmm0
 872 ; SSE-NEXT:    retq
 873 ;
 874 ; AVX-LABEL: insert_mem_and_zero_v2f64:
 875 ; AVX:       # BB#0:
 876 ; AVX-NEXT:    vmovsd (%rdi), %xmm0
 877 ; AVX-NEXT:    retq
 878   %a = load double* %ptr
 879   %v = insertelement <2 x double> undef, double %a, i32 0
 880   %shuffle = shufflevector <2 x double> %v, <2 x double> zeroinitializer, <2 x i32> <i32 0, i32 3>
 881   ret <2 x double> %shuffle
 882 }
 883
 884 define <2 x i64> @insert_reg_lo_v2i64(i64 %a, <2 x i64> %b) {
 885 ; SSE2-LABEL: insert_reg_lo_v2i64:
 886 ; SSE2:       # BB#0:
 887 ; SSE2-NEXT:    movd %rdi, %xmm1
 888 ; SSE2-NEXT:    movsd %xmm1, %xmm0
 889 ; SSE2-NEXT:    retq
 890 ;
 891 ; SSE3-LABEL: insert_reg_lo_v2i64:
 892 ; SSE3:       # BB#0:
 893 ; SSE3-NEXT:    movd %rdi, %xmm1
 894 ; SSE3-NEXT:    movsd %xmm1, %xmm0
 895 ; SSE3-NEXT:    retq
 896 ;
 897 ; SSSE3-LABEL: insert_reg_lo_v2i64:
 898 ; SSSE3:       # BB#0:
 899 ; SSSE3-NEXT:    movd %rdi, %xmm1
 900 ; SSSE3-NEXT:    movsd %xmm1, %xmm0
 901 ; SSSE3-NEXT:    retq
 902 ;
 903 ; SSE41-LABEL: insert_reg_lo_v2i64:
 904 ; SSE41:       # BB#0:
 905 ; SSE41-NEXT:    movd %rdi, %xmm1
 906 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 907 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 908 ; SSE41-NEXT:    retq
 909 ;
 910 ; AVX1-LABEL: insert_reg_lo_v2i64:
 911 ; AVX1:       # BB#0:
 912 ; AVX1-NEXT:    vmovq %rdi, %xmm1
 913 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 914 ; AVX1-NEXT:    retq
 915 ;
 916 ; AVX2-LABEL: insert_reg_lo_v2i64:
 917 ; AVX2:       # BB#0:
 918 ; AVX2-NEXT:    vmovq %rdi, %xmm1
 919 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
 920 ; AVX2-NEXT:    retq
 921   %v = insertelement <2 x i64> undef, i64 %a, i32 0
 922   %shuffle = shufflevector <2 x i64> %v, <2 x i64> %b, <2 x i32> <i32 0, i32 3>
 923   ret <2 x i64> %shuffle
 924 }
 925
 926 define <2 x i64> @insert_mem_lo_v2i64(i64* %ptr, <2 x i64> %b) {
 927 ; SSE2-LABEL: insert_mem_lo_v2i64:
 928 ; SSE2:       # BB#0:
 929 ; SSE2-NEXT:    movlpd (%rdi), %xmm0
 930 ; SSE2-NEXT:    retq
 931 ;
 932 ; SSE3-LABEL: insert_mem_lo_v2i64:
 933 ; SSE3:       # BB#0:
 934 ; SSE3-NEXT:    movlpd (%rdi), %xmm0
 935 ; SSE3-NEXT:    retq
 936 ;
 937 ; SSSE3-LABEL: insert_mem_lo_v2i64:
 938 ; SSSE3:       # BB#0:
 939 ; SSSE3-NEXT:    movlpd (%rdi), %xmm0
 940 ; SSSE3-NEXT:    retq
 941 ;
 942 ; SSE41-LABEL: insert_mem_lo_v2i64:
 943 ; SSE41:       # BB#0:
 944 ; SSE41-NEXT:    movq (%rdi), %xmm1
 945 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 946 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 947 ; SSE41-NEXT:    retq
 948 ;
 949 ; AVX1-LABEL: insert_mem_lo_v2i64:
 950 ; AVX1:       # BB#0:
 951 ; AVX1-NEXT:    vmovq (%rdi), %xmm1
 952 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm1[0,1,2,3],xmm0[4,5,6,7]
 953 ; AVX1-NEXT:    retq
 954 ;
 955 ; AVX2-LABEL: insert_mem_lo_v2i64:
 956 ; AVX2:       # BB#0:
 957 ; AVX2-NEXT:    vmovq (%rdi), %xmm1
 958 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm1[0,1],xmm0[2,3]
 959 ; AVX2-NEXT:    retq
 960   %a = load i64* %ptr
 961   %v = insertelement <2 x i64> undef, i64 %a, i32 0
 962   %shuffle = shufflevector <2 x i64> %v, <2 x i64> %b, <2 x i32> <i32 0, i32 3>
 963   ret <2 x i64> %shuffle
 964 }
 965
 966 define <2 x i64> @insert_reg_hi_v2i64(i64 %a, <2 x i64> %b) {
 967 ; SSE-LABEL: insert_reg_hi_v2i64:
 968 ; SSE:       # BB#0:
 969 ; SSE-NEXT:    movd %rdi, %xmm1
 970 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 971 ; SSE-NEXT:    retq
 972 ;
 973 ; AVX-LABEL: insert_reg_hi_v2i64:
 974 ; AVX:       # BB#0:
 975 ; AVX-NEXT:    vmovq %rdi, %xmm1
 976 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 977 ; AVX-NEXT:    retq
 978   %v = insertelement <2 x i64> undef, i64 %a, i32 0
 979   %shuffle = shufflevector <2 x i64> %v, <2 x i64> %b, <2 x i32> <i32 2, i32 0>
 980   ret <2 x i64> %shuffle
 981 }
 982
 983 define <2 x i64> @insert_mem_hi_v2i64(i64* %ptr, <2 x i64> %b) {
 984 ; SSE-LABEL: insert_mem_hi_v2i64:
 985 ; SSE:       # BB#0:
 986 ; SSE-NEXT:    movq (%rdi), %xmm1
 987 ; SSE-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 988 ; SSE-NEXT:    retq
 989 ;
 990 ; AVX-LABEL: insert_mem_hi_v2i64:
 991 ; AVX:       # BB#0:
 992 ; AVX-NEXT:    vmovq (%rdi), %xmm1
 993 ; AVX-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
 994 ; AVX-NEXT:    retq
 995   %a = load i64* %ptr
 996   %v = insertelement <2 x i64> undef, i64 %a, i32 0
 997   %shuffle = shufflevector <2 x i64> %v, <2 x i64> %b, <2 x i32> <i32 2, i32 0>
 998   ret <2 x i64> %shuffle
 999 }
1000
1001 define <2 x double> @insert_reg_lo_v2f64(double %a, <2 x double> %b) {
1002 ; SSE-LABEL: insert_reg_lo_v2f64:
1003 ; SSE:       # BB#0:
1004 ; SSE-NEXT:    movsd %xmm0, %xmm1
1005 ; SSE-NEXT:    movaps %xmm1, %xmm0
1006 ; SSE-NEXT:    retq
1007 ;
1008 ; AVX-LABEL: insert_reg_lo_v2f64:
1009 ; AVX:       # BB#0:
1010 ; AVX-NEXT:    vmovsd %xmm0, %xmm1, %xmm0
1011 ; AVX-NEXT:    retq
1012   %v = insertelement <2 x double> undef, double %a, i32 0
1013   %shuffle = shufflevector <2 x double> %v, <2 x double> %b, <2 x i32> <i32 0, i32 3>
1014   ret <2 x double> %shuffle
1015 }
1016
1017 define <2 x double> @insert_mem_lo_v2f64(double* %ptr, <2 x double> %b) {
1018 ; SSE-LABEL: insert_mem_lo_v2f64:
1019 ; SSE:       # BB#0:
1020 ; SSE-NEXT:    movlpd (%rdi), %xmm0
1021 ; SSE-NEXT:    retq
1022 ;
1023 ; AVX-LABEL: insert_mem_lo_v2f64:
1024 ; AVX:       # BB#0:
1025 ; AVX-NEXT:    vmovlpd (%rdi), %xmm0, %xmm0
1026 ; AVX-NEXT:    retq
1027   %a = load double* %ptr
1028   %v = insertelement <2 x double> undef, double %a, i32 0
1029   %shuffle = shufflevector <2 x double> %v, <2 x double> %b, <2 x i32> <i32 0, i32 3>
1030   ret <2 x double> %shuffle
1031 }
1032
1033 define <2 x double> @insert_reg_hi_v2f64(double %a, <2 x double> %b) {
1034 ; SSE-LABEL: insert_reg_hi_v2f64:
1035 ; SSE:       # BB#0:
1036 ; SSE-NEXT:    unpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
1037 ; SSE-NEXT:    movapd %xmm1, %xmm0
1038 ; SSE-NEXT:    retq
1039 ;
1040 ; AVX-LABEL: insert_reg_hi_v2f64:
1041 ; AVX:       # BB#0:
1042 ; AVX-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm1[0],xmm0[0]
1043 ; AVX-NEXT:    retq
1044   %v = insertelement <2 x double> undef, double %a, i32 0
1045   %shuffle = shufflevector <2 x double> %v, <2 x double> %b, <2 x i32> <i32 2, i32 0>
1046   ret <2 x double> %shuffle
1047 }
1048
1049 define <2 x double> @insert_mem_hi_v2f64(double* %ptr, <2 x double> %b) {
1050 ; SSE-LABEL: insert_mem_hi_v2f64:
1051 ; SSE:       # BB#0:
1052 ; SSE-NEXT:    movhpd (%rdi), %xmm0
1053 ; SSE-NEXT:    retq
1054 ;
1055 ; AVX-LABEL: insert_mem_hi_v2f64:
1056 ; AVX:       # BB#0:
1057 ; AVX-NEXT:    vmovhpd (%rdi), %xmm0, %xmm0
1058 ; AVX-NEXT:    retq
1059   %a = load double* %ptr
1060   %v = insertelement <2 x double> undef, double %a, i32 0
1061   %shuffle = shufflevector <2 x double> %v, <2 x double> %b, <2 x i32> <i32 2, i32 0>
1062   ret <2 x double> %shuffle
1063 }
1064
1065 define <2 x double> @insert_dup_reg_v2f64(double %a) {
1066 ; FIXME: We should match movddup for SSE3 and higher here.
1067 ;
1068 ; SSE2-LABEL: insert_dup_reg_v2f64:
1069 ; SSE2:       # BB#0:
1070 ; SSE2-NEXT:    movlhps {{.*#+}} xmm0 = xmm0[0,0]
1071 ; SSE2-NEXT:    retq
1072 ;
1073 ; SSE3-LABEL: insert_dup_reg_v2f64:
1074 ; SSE3:       # BB#0:
1075 ; SSE3-NEXT:    unpcklpd {{.*#+}} xmm0 = xmm0[0,0]
1076 ; SSE3-NEXT:    retq
1077 ;
1078 ; SSSE3-LABEL: insert_dup_reg_v2f64:
1079 ; SSSE3:       # BB#0:
1080 ; SSSE3-NEXT:    unpcklpd {{.*#+}} xmm0 = xmm0[0,0]
1081 ; SSSE3-NEXT:    retq
1082 ;
1083 ; SSE41-LABEL: insert_dup_reg_v2f64:
1084 ; SSE41:       # BB#0:
1085 ; SSE41-NEXT:    unpcklpd {{.*#+}} xmm0 = xmm0[0,0]
1086 ; SSE41-NEXT:    retq
1087 ;
1088 ; AVX-LABEL: insert_dup_reg_v2f64:
1089 ; AVX:       # BB#0:
1090 ; AVX-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
1091 ; AVX-NEXT:    retq
1092   %v = insertelement <2 x double> undef, double %a, i32 0
1093   %shuffle = shufflevector <2 x double> %v, <2 x double> undef, <2 x i32> <i32 0, i32 0>
1094   ret <2 x double> %shuffle
1095 }
1096 define <2 x double> @insert_dup_mem_v2f64(double* %ptr) {
1097 ; SSE2-LABEL: insert_dup_mem_v2f64:
1098 ; SSE2:       # BB#0:
1099 ; SSE2-NEXT:    movsd (%rdi), %xmm0
1100 ; SSE2-NEXT:    movlhps {{.*#+}} xmm0 = xmm0[0,0]
1101 ; SSE2-NEXT:    retq
1102 ;
1103 ; SSE3-LABEL: insert_dup_mem_v2f64:
1104 ; SSE3:       # BB#0:
1105 ; SSE3-NEXT:    movddup (%rdi), %xmm0
1106 ; SSE3-NEXT:    retq
1107 ;
1108 ; SSSE3-LABEL: insert_dup_mem_v2f64:
1109 ; SSSE3:       # BB#0:
1110 ; SSSE3-NEXT:    movddup (%rdi), %xmm0
1111 ; SSSE3-NEXT:    retq
1112 ;
1113 ; SSE41-LABEL: insert_dup_mem_v2f64:
1114 ; SSE41:       # BB#0:
1115 ; SSE41-NEXT:    movddup (%rdi), %xmm0
1116 ; SSE41-NEXT:    retq
1117 ;
1118 ; AVX-LABEL: insert_dup_mem_v2f64:
1119 ; AVX:       # BB#0:
1120 ; AVX-NEXT:    vmovddup (%rdi), %xmm0
1121 ; AVX-NEXT:    retq
1122   %a = load double* %ptr
1123   %v = insertelement <2 x double> undef, double %a, i32 0
1124   %shuffle = shufflevector <2 x double> %v, <2 x double> undef, <2 x i32> <i32 0, i32 0>
1125   ret <2 x double> %shuffle
1126 }
1127
1128 define <2 x double> @shuffle_mem_v2f64_10(<2 x double>* %ptr) {
1129 ; SSE-LABEL: shuffle_mem_v2f64_10:
1130 ; SSE:       # BB#0:
1131 ; SSE-NEXT:    movapd (%rdi), %xmm0
1132 ; SSE-NEXT:    shufpd {{.*#+}} xmm0 = xmm0[1,0]
1133 ; SSE-NEXT:    retq
1134 ;
1135 ; AVX-LABEL: shuffle_mem_v2f64_10:
1136 ; AVX:       # BB#0:
1137 ; AVX-NEXT:    vpermilpd {{.*#+}} xmm0 = mem[1,0]
1138 ; AVX-NEXT:    retq
1139   %a = load <2 x double>* %ptr
1140   %shuffle = shufflevector <2 x double> %a, <2 x double> undef, <2 x i32> <i32 1, i32 0>
1141   ret <2 x double> %shuffle
1142 }