test/CodeGen/X86/vector-shuffle-256-v4.ll

   1 ; RUN: llc < %s -mcpu=x86-64 -mattr=+avx -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
   2 ; RUN: llc < %s -mcpu=x86-64 -mattr=+avx2 -x86-experimental-vector-shuffle-lowering | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
   3
   4 target triple = "x86_64-unknown-unknown"
   5
   6 define <4 x double> @shuffle_v4f64_0000(<4 x double> %a, <4 x double> %b) {
   7 ; AVX1-LABEL: shuffle_v4f64_0000:
   8 ; AVX1:       # BB#0:
   9 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
  10 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
  11 ; AVX1-NEXT:    retq
  12 ;
  13 ; AVX2-LABEL: shuffle_v4f64_0000:
  14 ; AVX2:       # BB#0:
  15 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,0,0]
  16 ; AVX2-NEXT:    retq
  17   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
  18   ret <4 x double> %shuffle
  19 }
  20
  21 define <4 x double> @shuffle_v4f64_0001(<4 x double> %a, <4 x double> %b) {
  22 ; AVX1-LABEL: shuffle_v4f64_0001:
  23 ; AVX1:       # BB#0:
  24 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm1 = xmm0[0,0]
  25 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
  26 ; AVX1-NEXT:    retq
  27 ;
  28 ; AVX2-LABEL: shuffle_v4f64_0001:
  29 ; AVX2:       # BB#0:
  30 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,0,1]
  31 ; AVX2-NEXT:    retq
  32   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 1>
  33   ret <4 x double> %shuffle
  34 }
  35
  36 define <4 x double> @shuffle_v4f64_0020(<4 x double> %a, <4 x double> %b) {
  37 ; AVX1-LABEL: shuffle_v4f64_0020:
  38 ; AVX1:       # BB#0:
  39 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
  40 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
  41 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
  42 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
  43 ; AVX1-NEXT:    retq
  44 ;
  45 ; AVX2-LABEL: shuffle_v4f64_0020:
  46 ; AVX2:       # BB#0:
  47 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,0,2,0]
  48 ; AVX2-NEXT:    retq
  49   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 0>
  50   ret <4 x double> %shuffle
  51 }
  52
  53 define <4 x double> @shuffle_v4f64_0300(<4 x double> %a, <4 x double> %b) {
  54 ; AVX1-LABEL: shuffle_v4f64_0300:
  55 ; AVX1:       # BB#0:
  56 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
  57 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,1,2,2]
  58 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
  59 ; AVX1-NEXT:    retq
  60 ;
  61 ; AVX2-LABEL: shuffle_v4f64_0300:
  62 ; AVX2:       # BB#0:
  63 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,3,0,0]
  64 ; AVX2-NEXT:    retq
  65   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 3, i32 0, i32 0>
  66   ret <4 x double> %shuffle
  67 }
  68
  69 define <4 x double> @shuffle_v4f64_1000(<4 x double> %a, <4 x double> %b) {
  70 ; AVX1-LABEL: shuffle_v4f64_1000:
  71 ; AVX1:       # BB#0:
  72 ; AVX1-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
  73 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
  74 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
  75 ; AVX1-NEXT:    retq
  76 ;
  77 ; AVX2-LABEL: shuffle_v4f64_1000:
  78 ; AVX2:       # BB#0:
  79 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[1,0,0,0]
  80 ; AVX2-NEXT:    retq
  81   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 0, i32 0>
  82   ret <4 x double> %shuffle
  83 }
  84
  85 define <4 x double> @shuffle_v4f64_2200(<4 x double> %a, <4 x double> %b) {
  86 ; AVX1-LABEL: shuffle_v4f64_2200:
  87 ; AVX1:       # BB#0:
  88 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,0,1]
  89 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,2,2]
  90 ; AVX1-NEXT:    retq
  91 ;
  92 ; AVX2-LABEL: shuffle_v4f64_2200:
  93 ; AVX2:       # BB#0:
  94 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[2,2,0,0]
  95 ; AVX2-NEXT:    retq
  96   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 2, i32 2, i32 0, i32 0>
  97   ret <4 x double> %shuffle
  98 }
  99
 100 define <4 x double> @shuffle_v4f64_3330(<4 x double> %a, <4 x double> %b) {
 101 ; AVX1-LABEL: shuffle_v4f64_3330:
 102 ; AVX1:       # BB#0:
 103 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
 104 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[1,1,2,2]
 105 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,3,2]
 106 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2],ymm1[3]
 107 ; AVX1-NEXT:    retq
 108 ;
 109 ; AVX2-LABEL: shuffle_v4f64_3330:
 110 ; AVX2:       # BB#0:
 111 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,3,3,0]
 112 ; AVX2-NEXT:    retq
 113   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 0>
 114   ret <4 x double> %shuffle
 115 }
 116
 117 define <4 x double> @shuffle_v4f64_3210(<4 x double> %a, <4 x double> %b) {
 118 ; AVX1-LABEL: shuffle_v4f64_3210:
 119 ; AVX1:       # BB#0:
 120 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,0,1]
 121 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 122 ; AVX1-NEXT:    retq
 123 ;
 124 ; AVX2-LABEL: shuffle_v4f64_3210:
 125 ; AVX2:       # BB#0:
 126 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[3,2,1,0]
 127 ; AVX2-NEXT:    retq
 128   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 129   ret <4 x double> %shuffle
 130 }
 131
 132 define <4 x double> @shuffle_v4f64_0023(<4 x double> %a, <4 x double> %b) {
 133 ; ALL-LABEL: shuffle_v4f64_0023:
 134 ; ALL:       # BB#0:
 135 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,2,3]
 136 ; ALL-NEXT:    retq
 137   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 3>
 138   ret <4 x double> %shuffle
 139 }
 140
 141 define <4 x double> @shuffle_v4f64_0022(<4 x double> %a, <4 x double> %b) {
 142 ; ALL-LABEL: shuffle_v4f64_0022:
 143 ; ALL:       # BB#0:
 144 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,2,2]
 145 ; ALL-NEXT:    retq
 146   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 2>
 147   ret <4 x double> %shuffle
 148 }
 149
 150 define <4 x double> @shuffle_v4f64_1032(<4 x double> %a, <4 x double> %b) {
 151 ; ALL-LABEL: shuffle_v4f64_1032:
 152 ; ALL:       # BB#0:
 153 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 154 ; ALL-NEXT:    retq
 155   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 3, i32 2>
 156   ret <4 x double> %shuffle
 157 }
 158
 159 define <4 x double> @shuffle_v4f64_1133(<4 x double> %a, <4 x double> %b) {
 160 ; ALL-LABEL: shuffle_v4f64_1133:
 161 ; ALL:       # BB#0:
 162 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,1,3,3]
 163 ; ALL-NEXT:    retq
 164   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 1, i32 3, i32 3>
 165   ret <4 x double> %shuffle
 166 }
 167
 168 define <4 x double> @shuffle_v4f64_1023(<4 x double> %a, <4 x double> %b) {
 169 ; ALL-LABEL: shuffle_v4f64_1023:
 170 ; ALL:       # BB#0:
 171 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,2,3]
 172 ; ALL-NEXT:    retq
 173   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 2, i32 3>
 174   ret <4 x double> %shuffle
 175 }
 176
 177 define <4 x double> @shuffle_v4f64_1022(<4 x double> %a, <4 x double> %b) {
 178 ; ALL-LABEL: shuffle_v4f64_1022:
 179 ; ALL:       # BB#0:
 180 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,2,2]
 181 ; ALL-NEXT:    retq
 182   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 0, i32 2, i32 2>
 183   ret <4 x double> %shuffle
 184 }
 185
 186 define <4 x double> @shuffle_v4f64_0423(<4 x double> %a, <4 x double> %b) {
 187 ; ALL-LABEL: shuffle_v4f64_0423:
 188 ; ALL:       # BB#0:
 189 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,0,2,2]
 190 ; ALL-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2,3]
 191 ; ALL-NEXT:    retq
 192   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 4, i32 2, i32 3>
 193   ret <4 x double> %shuffle
 194 }
 195
 196 define <4 x double> @shuffle_v4f64_0462(<4 x double> %a, <4 x double> %b) {
 197 ; ALL-LABEL: shuffle_v4f64_0462:
 198 ; ALL:       # BB#0:
 199 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,0,2,2]
 200 ; ALL-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,2,2]
 201 ; ALL-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2],ymm0[3]
 202 ; ALL-NEXT:    retq
 203   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 4, i32 6, i32 2>
 204   ret <4 x double> %shuffle
 205 }
 206
 207 define <4 x double> @shuffle_v4f64_0426(<4 x double> %a, <4 x double> %b) {
 208 ; ALL-LABEL: shuffle_v4f64_0426:
 209 ; ALL:       # BB#0:
 210 ; ALL-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm0[0],ymm1[0],ymm0[2],ymm1[2]
 211 ; ALL-NEXT:    retq
 212   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 4, i32 2, i32 6>
 213   ret <4 x double> %shuffle
 214 }
 215
 216 define <4 x double> @shuffle_v4f64_1537(<4 x double> %a, <4 x double> %b) {
 217 ; ALL-LABEL: shuffle_v4f64_1537:
 218 ; ALL:       # BB#0:
 219 ; ALL-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm0[1],ymm1[1],ymm0[3],ymm1[3]
 220 ; ALL-NEXT:    retq
 221   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 1, i32 5, i32 3, i32 7>
 222   ret <4 x double> %shuffle
 223 }
 224
 225 define <4 x double> @shuffle_v4f64_4062(<4 x double> %a, <4 x double> %b) {
 226 ; ALL-LABEL: shuffle_v4f64_4062:
 227 ; ALL:       # BB#0:
 228 ; ALL-NEXT:    vunpcklpd {{.*#+}} ymm0 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
 229 ; ALL-NEXT:    retq
 230   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 4, i32 0, i32 6, i32 2>
 231   ret <4 x double> %shuffle
 232 }
 233
 234 define <4 x double> @shuffle_v4f64_5173(<4 x double> %a, <4 x double> %b) {
 235 ; ALL-LABEL: shuffle_v4f64_5173:
 236 ; ALL:       # BB#0:
 237 ; ALL-NEXT:    vunpckhpd {{.*#+}} ymm0 = ymm1[1],ymm0[1],ymm1[3],ymm0[3]
 238 ; ALL-NEXT:    retq
 239   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 5, i32 1, i32 7, i32 3>
 240   ret <4 x double> %shuffle
 241 }
 242
 243 define <4 x double> @shuffle_v4f64_5163(<4 x double> %a, <4 x double> %b) {
 244 ; ALL-LABEL: shuffle_v4f64_5163:
 245 ; ALL:       # BB#0:
 246 ; ALL-NEXT:    vshufpd {{.*#+}} ymm0 = ymm1[1],ymm0[1],ymm1[2],ymm0[3]
 247 ; ALL-NEXT:    retq
 248   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 5, i32 1, i32 6, i32 3>
 249   ret <4 x double> %shuffle
 250 }
 251
 252 define <4 x double> @shuffle_v4f64_0527(<4 x double> %a, <4 x double> %b) {
 253 ; ALL-LABEL: shuffle_v4f64_0527:
 254 ; ALL:       # BB#0:
 255 ; ALL-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2],ymm1[3]
 256 ; ALL-NEXT:    retq
 257   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 5, i32 2, i32 7>
 258   ret <4 x double> %shuffle
 259 }
 260
 261 define <4 x double> @shuffle_v4f64_4163(<4 x double> %a, <4 x double> %b) {
 262 ; ALL-LABEL: shuffle_v4f64_4163:
 263 ; ALL:       # BB#0:
 264 ; ALL-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0],ymm0[1],ymm1[2],ymm0[3]
 265 ; ALL-NEXT:    retq
 266   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 4, i32 1, i32 6, i32 3>
 267   ret <4 x double> %shuffle
 268 }
 269
 270 define <4 x double> @shuffle_v4f64_0145(<4 x double> %a, <4 x double> %b) {
 271 ; AVX1-LABEL: shuffle_v4f64_0145:
 272 ; AVX1:       # BB#0:
 273 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 274 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3]
 275 ; AVX1-NEXT:    retq
 276 ;
 277 ; AVX2-LABEL: shuffle_v4f64_0145:
 278 ; AVX2:       # BB#0:
 279 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm1 = ymm1[0,1,0,1]
 280 ; AVX2-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3]
 281 ; AVX2-NEXT:    retq
 282   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 5>
 283   ret <4 x double> %shuffle
 284 }
 285
 286 define <4 x double> @shuffle_v4f64_4501(<4 x double> %a, <4 x double> %b) {
 287 ; AVX1-LABEL: shuffle_v4f64_4501:
 288 ; AVX1:       # BB#0:
 289 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 290 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3]
 291 ; AVX1-NEXT:    retq
 292 ;
 293 ; AVX2-LABEL: shuffle_v4f64_4501:
 294 ; AVX2:       # BB#0:
 295 ; AVX2-NEXT:    vpermpd {{.*#+}} ymm0 = ymm0[0,1,0,1]
 296 ; AVX2-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3]
 297 ; AVX2-NEXT:    retq
 298   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
 299   ret <4 x double> %shuffle
 300 }
 301
 302 define <4 x double> @shuffle_v4f64_0167(<4 x double> %a, <4 x double> %b) {
 303 ; ALL-LABEL: shuffle_v4f64_0167:
 304 ; ALL:       # BB#0:
 305 ; ALL-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3]
 306 ; ALL-NEXT:    retq
 307   %shuffle = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 1, i32 6, i32 7>
 308   ret <4 x double> %shuffle
 309 }
 310
 311 define <4 x i64> @shuffle_v4i64_0000(<4 x i64> %a, <4 x i64> %b) {
 312 ; AVX1-LABEL: shuffle_v4i64_0000:
 313 ; AVX1:       # BB#0:
 314 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
 315 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 316 ; AVX1-NEXT:    retq
 317 ;
 318 ; AVX2-LABEL: shuffle_v4i64_0000:
 319 ; AVX2:       # BB#0:
 320 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,0,0,0]
 321 ; AVX2-NEXT:    retq
 322   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 0>
 323   ret <4 x i64> %shuffle
 324 }
 325
 326 define <4 x i64> @shuffle_v4i64_0001(<4 x i64> %a, <4 x i64> %b) {
 327 ; AVX1-LABEL: shuffle_v4i64_0001:
 328 ; AVX1:       # BB#0:
 329 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm1 = xmm0[0,0]
 330 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 331 ; AVX1-NEXT:    retq
 332 ;
 333 ; AVX2-LABEL: shuffle_v4i64_0001:
 334 ; AVX2:       # BB#0:
 335 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,0,0,1]
 336 ; AVX2-NEXT:    retq
 337   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 0, i32 0, i32 1>
 338   ret <4 x i64> %shuffle
 339 }
 340
 341 define <4 x i64> @shuffle_v4i64_0020(<4 x i64> %a, <4 x i64> %b) {
 342 ; AVX1-LABEL: shuffle_v4i64_0020:
 343 ; AVX1:       # BB#0:
 344 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 345 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm1 = xmm1[0],xmm0[0]
 346 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
 347 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 348 ; AVX1-NEXT:    retq
 349 ;
 350 ; AVX2-LABEL: shuffle_v4i64_0020:
 351 ; AVX2:       # BB#0:
 352 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,0,2,0]
 353 ; AVX2-NEXT:    retq
 354   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 0, i32 2, i32 0>
 355   ret <4 x i64> %shuffle
 356 }
 357
 358 define <4 x i64> @shuffle_v4i64_0112(<4 x i64> %a, <4 x i64> %b) {
 359 ; AVX1-LABEL: shuffle_v4i64_0112:
 360 ; AVX1:       # BB#0:
 361 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
 362 ; AVX1-NEXT:    vshufpd {{.*#+}} xmm1 = xmm0[1],xmm1[0]
 363 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
 364 ; AVX1-NEXT:    retq
 365 ;
 366 ; AVX2-LABEL: shuffle_v4i64_0112:
 367 ; AVX2:       # BB#0:
 368 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,1,1,2]
 369 ; AVX2-NEXT:    retq
 370   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 1, i32 1, i32 2>
 371   ret <4 x i64> %shuffle
 372 }
 373
 374 define <4 x i64> @shuffle_v4i64_0300(<4 x i64> %a, <4 x i64> %b) {
 375 ; AVX1-LABEL: shuffle_v4i64_0300:
 376 ; AVX1:       # BB#0:
 377 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
 378 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,1,2,2]
 379 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
 380 ; AVX1-NEXT:    retq
 381 ;
 382 ; AVX2-LABEL: shuffle_v4i64_0300:
 383 ; AVX2:       # BB#0:
 384 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,3,0,0]
 385 ; AVX2-NEXT:    retq
 386   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 3, i32 0, i32 0>
 387   ret <4 x i64> %shuffle
 388 }
 389
 390 define <4 x i64> @shuffle_v4i64_1000(<4 x i64> %a, <4 x i64> %b) {
 391 ; AVX1-LABEL: shuffle_v4i64_1000:
 392 ; AVX1:       # BB#0:
 393 ; AVX1-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm0[1,0]
 394 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
 395 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
 396 ; AVX1-NEXT:    retq
 397 ;
 398 ; AVX2-LABEL: shuffle_v4i64_1000:
 399 ; AVX2:       # BB#0:
 400 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[1,0,0,0]
 401 ; AVX2-NEXT:    retq
 402   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 0, i32 0, i32 0>
 403   ret <4 x i64> %shuffle
 404 }
 405
 406 define <4 x i64> @shuffle_v4i64_2200(<4 x i64> %a, <4 x i64> %b) {
 407 ; AVX1-LABEL: shuffle_v4i64_2200:
 408 ; AVX1:       # BB#0:
 409 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,0,1]
 410 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,2,2]
 411 ; AVX1-NEXT:    retq
 412 ;
 413 ; AVX2-LABEL: shuffle_v4i64_2200:
 414 ; AVX2:       # BB#0:
 415 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[2,2,0,0]
 416 ; AVX2-NEXT:    retq
 417   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 2, i32 2, i32 0, i32 0>
 418   ret <4 x i64> %shuffle
 419 }
 420
 421 define <4 x i64> @shuffle_v4i64_3330(<4 x i64> %a, <4 x i64> %b) {
 422 ; AVX1-LABEL: shuffle_v4i64_3330:
 423 ; AVX1:       # BB#0:
 424 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm1 = ymm0[2,3,0,1]
 425 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[1,1,2,2]
 426 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,0,3,2]
 427 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2],ymm1[3]
 428 ; AVX1-NEXT:    retq
 429 ;
 430 ; AVX2-LABEL: shuffle_v4i64_3330:
 431 ; AVX2:       # BB#0:
 432 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[3,3,3,0]
 433 ; AVX2-NEXT:    retq
 434   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 3, i32 3, i32 3, i32 0>
 435   ret <4 x i64> %shuffle
 436 }
 437
 438 define <4 x i64> @shuffle_v4i64_3210(<4 x i64> %a, <4 x i64> %b) {
 439 ; AVX1-LABEL: shuffle_v4i64_3210:
 440 ; AVX1:       # BB#0:
 441 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm0[2,3,0,1]
 442 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,3,2]
 443 ; AVX1-NEXT:    retq
 444 ;
 445 ; AVX2-LABEL: shuffle_v4i64_3210:
 446 ; AVX2:       # BB#0:
 447 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[3,2,1,0]
 448 ; AVX2-NEXT:    retq
 449   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 3, i32 2, i32 1, i32 0>
 450   ret <4 x i64> %shuffle
 451 }
 452
 453 define <4 x i64> @shuffle_v4i64_0124(<4 x i64> %a, <4 x i64> %b) {
 454 ; AVX1-LABEL: shuffle_v4i64_0124:
 455 ; AVX1:       # BB#0:
 456 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm1 = xmm1[0,0]
 457 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 458 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1,2],ymm1[3]
 459 ; AVX1-NEXT:    retq
 460 ;
 461 ; AVX2-LABEL: shuffle_v4i64_0124:
 462 ; AVX2:       # BB#0:
 463 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,1,2,0]
 464 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5],ymm1[6,7]
 465 ; AVX2-NEXT:    retq
 466   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 1, i32 2, i32 4>
 467   ret <4 x i64> %shuffle
 468 }
 469
 470 define <4 x i64> @shuffle_v4i64_0142(<4 x i64> %a, <4 x i64> %b) {
 471 ; AVX1-LABEL: shuffle_v4i64_0142:
 472 ; AVX1:       # BB#0:
 473 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 474 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[0,1,2,2]
 475 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2],ymm0[3]
 476 ; AVX1-NEXT:    retq
 477 ;
 478 ; AVX2-LABEL: shuffle_v4i64_0142:
 479 ; AVX2:       # BB#0:
 480 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,1,0,3]
 481 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,1,2,2]
 482 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5],ymm0[6,7]
 483 ; AVX2-NEXT:    retq
 484   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 2>
 485   ret <4 x i64> %shuffle
 486 }
 487
 488 define <4 x i64> @shuffle_v4i64_0412(<4 x i64> %a, <4 x i64> %b) {
 489 ; AVX1-LABEL: shuffle_v4i64_0412:
 490 ; AVX1:       # BB#0:
 491 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 492 ; AVX1-NEXT:    vshufpd {{.*#+}} xmm2 = xmm0[1],xmm2[0]
 493 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 494 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm1 = ymm1[0,0,2,2]
 495 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2,3]
 496 ; AVX1-NEXT:    retq
 497 ;
 498 ; AVX2-LABEL: shuffle_v4i64_0412:
 499 ; AVX2:       # BB#0:
 500 ; AVX2-NEXT:    vpshufd {{.*#+}} ymm1 = ymm1[0,1,0,1,4,5,4,5]
 501 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,1,1,2]
 502 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3],ymm0[4,5,6,7]
 503 ; AVX2-NEXT:    retq
 504   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 4, i32 1, i32 2>
 505   ret <4 x i64> %shuffle
 506 }
 507
 508 define <4 x i64> @shuffle_v4i64_4012(<4 x i64> %a, <4 x i64> %b) {
 509 ; AVX1-LABEL: shuffle_v4i64_4012:
 510 ; AVX1:       # BB#0:
 511 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
 512 ; AVX1-NEXT:    vshufpd {{.*#+}} xmm2 = xmm0[1],xmm2[0]
 513 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm0 = xmm0[0,0]
 514 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 515 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0],ymm0[1,2,3]
 516 ; AVX1-NEXT:    retq
 517 ;
 518 ; AVX2-LABEL: shuffle_v4i64_4012:
 519 ; AVX2:       # BB#0:
 520 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,0,1,2]
 521 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5,6,7]
 522 ; AVX2-NEXT:    retq
 523   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 0, i32 1, i32 2>
 524   ret <4 x i64> %shuffle
 525 }
 526
 527 define <4 x i64> @shuffle_v4i64_0145(<4 x i64> %a, <4 x i64> %b) {
 528 ; AVX1-LABEL: shuffle_v4i64_0145:
 529 ; AVX1:       # BB#0:
 530 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 531 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3]
 532 ; AVX1-NEXT:    retq
 533 ;
 534 ; AVX2-LABEL: shuffle_v4i64_0145:
 535 ; AVX2:       # BB#0:
 536 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,1,0,1]
 537 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5,6,7]
 538 ; AVX2-NEXT:    retq
 539   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 1, i32 4, i32 5>
 540   ret <4 x i64> %shuffle
 541 }
 542
 543 define <4 x i64> @shuffle_v4i64_0451(<4 x i64> %a, <4 x i64> %b) {
 544 ; AVX1-LABEL: shuffle_v4i64_0451:
 545 ; AVX1:       # BB#0:
 546 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 547 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm2 = xmm1[0,0]
 548 ; AVX1-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm1[1,0]
 549 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm2, %ymm1
 550 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2],ymm0[3]
 551 ; AVX1-NEXT:    retq
 552 ;
 553 ; AVX2-LABEL: shuffle_v4i64_0451:
 554 ; AVX2:       # BB#0:
 555 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,0,1,3]
 556 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,1,2,1]
 557 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3,4,5],ymm0[6,7]
 558 ; AVX2-NEXT:    retq
 559   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 0, i32 4, i32 5, i32 1>
 560   ret <4 x i64> %shuffle
 561 }
 562
 563 define <4 x i64> @shuffle_v4i64_4501(<4 x i64> %a, <4 x i64> %b) {
 564 ; AVX1-LABEL: shuffle_v4i64_4501:
 565 ; AVX1:       # BB#0:
 566 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm0, %ymm0
 567 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3]
 568 ; AVX1-NEXT:    retq
 569 ;
 570 ; AVX2-LABEL: shuffle_v4i64_4501:
 571 ; AVX2:       # BB#0:
 572 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,1,0,1]
 573 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm1[0,1,2,3],ymm0[4,5,6,7]
 574 ; AVX2-NEXT:    retq
 575   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 5, i32 0, i32 1>
 576   ret <4 x i64> %shuffle
 577 }
 578
 579 define <4 x i64> @shuffle_v4i64_4015(<4 x i64> %a, <4 x i64> %b) {
 580 ; AVX1-LABEL: shuffle_v4i64_4015:
 581 ; AVX1:       # BB#0:
 582 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm1, %ymm1
 583 ; AVX1-NEXT:    vunpcklpd {{.*#+}} xmm2 = xmm0[0,0]
 584 ; AVX1-NEXT:    vpermilpd {{.*#+}} xmm0 = xmm0[1,0]
 585 ; AVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm2, %ymm0
 586 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0],ymm0[1,2],ymm1[3]
 587 ; AVX1-NEXT:    retq
 588 ;
 589 ; AVX2-LABEL: shuffle_v4i64_4015:
 590 ; AVX2:       # BB#0:
 591 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,1,2,1]
 592 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,0,1,3]
 593 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5],ymm1[6,7]
 594 ; AVX2-NEXT:    retq
 595   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 0, i32 1, i32 5>
 596   ret <4 x i64> %shuffle
 597 }
 598
 599 define <4 x i64> @shuffle_v4i64_2u35(<4 x i64> %a, <4 x i64> %b) {
 600 ; AVX1-LABEL: shuffle_v4i64_2u35:
 601 ; AVX1:       # BB#0:
 602 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 603 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
 604 ; AVX1-NEXT:    vpermilpd {{.*#+}} xmm2 = xmm0[1,0]
 605 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
 606 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1,2],ymm1[3]
 607 ; AVX1-NEXT:    retq
 608 ;
 609 ; AVX2-LABEL: shuffle_v4i64_2u35:
 610 ; AVX2:       # BB#0:
 611 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,1,2,1]
 612 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[2,1,3,3]
 613 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3,4,5],ymm1[6,7]
 614 ; AVX2-NEXT:    retq
 615   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 2, i32 undef, i32 3, i32 5>
 616   ret <4 x i64> %shuffle
 617 }
 618
 619 define <4 x i64> @shuffle_v4i64_1251(<4 x i64> %a, <4 x i64> %b) {
 620 ; AVX1-LABEL: shuffle_v4i64_1251:
 621 ; AVX1:       # BB#0:
 622 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm2 = ymm0[2,3,0,1]
 623 ; AVX1-NEXT:    vshufpd {{.*#+}} ymm0 = ymm0[1],ymm2[0],ymm0[2],ymm2[3]
 624 ; AVX1-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm1[1,0]
 625 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm1
 626 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2],ymm0[3]
 627 ; AVX1-NEXT:    retq
 628 ;
 629 ; AVX2-LABEL: shuffle_v4i64_1251:
 630 ; AVX2:       # BB#0:
 631 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[0,1,1,3]
 632 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[1,2,2,1]
 633 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1,2,3],ymm1[4,5],ymm0[6,7]
 634 ; AVX2-NEXT:    retq
 635   %shuffle = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 1, i32 2, i32 5, i32 1>
 636   ret <4 x i64> %shuffle
 637 }
 638
 639 define <4 x i64> @stress_test1(<4 x i64> %a, <4 x i64> %b) {
 640 ; AVX1-LABEL: stress_test1:
 641 ; AVX1:       # BB#0:
 642 ; AVX1-NEXT:    vperm2f128 {{.*#+}} ymm0 = ymm1[2,3,0,1]
 643 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm2 = ymm0[1,0,3,2]
 644 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm1 = ymm2[0],ymm1[1],ymm2[2,3]
 645 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm1
 646 ; AVX1-NEXT:    vpermilpd {{.*#+}} xmm1 = xmm1[1,0]
 647 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,1,3,2]
 648 ; AVX1-NEXT:    vpermilpd {{.*#+}} xmm2 = xmm1[1,0]
 649 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
 650 ; AVX1-NEXT:    vpermilpd {{.*#+}} ymm0 = ymm0[1,0,2,2]
 651 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
 652 ; AVX1-NEXT:    retq
 653 ;
 654 ; AVX2-LABEL: stress_test1:
 655 ; AVX2:       # BB#0:
 656 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm1[3,1,1,0]
 657 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[3,1,2,3]
 658 ; AVX2-NEXT:    vpermq {{.*#+}} ymm1 = ymm1[3,3,1,3]
 659 ; AVX2-NEXT:    vpshufd {{.*#+}} ymm1 = ymm1[2,3,2,3,6,7,6,7]
 660 ; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,1,1,0]
 661 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3,4,5,6,7]
 662 ; AVX2-NEXT:    retq
 663   %c = shufflevector <4 x i64> %b, <4 x i64> undef, <4 x i32> <i32 3, i32 1, i32 1, i32 0>
 664   %d = shufflevector <4 x i64> %c, <4 x i64> undef, <4 x i32> <i32 3, i32 undef, i32 2, i32 undef>
 665   %e = shufflevector <4 x i64> %b, <4 x i64> undef, <4 x i32> <i32 3, i32 3, i32 1, i32 undef>
 666   %f = shufflevector <4 x i64> %d, <4 x i64> %e, <4 x i32> <i32 5, i32 1, i32 1, i32 0>
 667
 668   ret <4 x i64> %f
 669 }
 670
 671 define <4 x i64> @insert_reg_and_zero_v4i64(i64 %a) {
 672 ; AVX1-LABEL: insert_reg_and_zero_v4i64:
 673 ; AVX1:       # BB#0:
 674 ; AVX1-NEXT:    vmovq %rdi, %xmm0
 675 ; AVX1-NEXT:    vxorpd %ymm1, %ymm1, %ymm1
 676 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
 677 ; AVX1-NEXT:    retq
 678 ;
 679 ; AVX2-LABEL: insert_reg_and_zero_v4i64:
 680 ; AVX2:       # BB#0:
 681 ; AVX2-NEXT:    vmovq %rdi, %xmm0
 682 ; AVX2-NEXT:    vpxor %ymm1, %ymm1, %ymm1
 683 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3,4,5,6,7]
 684 ; AVX2-NEXT:    retq
 685   %v = insertelement <4 x i64> undef, i64 %a, i64 0
 686   %shuffle = shufflevector <4 x i64> %v, <4 x i64> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
 687   ret <4 x i64> %shuffle
 688 }
 689
 690 define <4 x i64> @insert_mem_and_zero_v4i64(i64* %ptr) {
 691 ; AVX1-LABEL: insert_mem_and_zero_v4i64:
 692 ; AVX1:       # BB#0:
 693 ; AVX1-NEXT:    vmovq (%rdi), %xmm0
 694 ; AVX1-NEXT:    vxorpd %ymm1, %ymm1, %ymm1
 695 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
 696 ; AVX1-NEXT:    retq
 697 ;
 698 ; AVX2-LABEL: insert_mem_and_zero_v4i64:
 699 ; AVX2:       # BB#0:
 700 ; AVX2-NEXT:    vmovq (%rdi), %xmm0
 701 ; AVX2-NEXT:    vpxor %ymm1, %ymm1, %ymm1
 702 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1],ymm1[2,3,4,5,6,7]
 703 ; AVX2-NEXT:    retq
 704   %a = load i64* %ptr
 705   %v = insertelement <4 x i64> undef, i64 %a, i64 0
 706   %shuffle = shufflevector <4 x i64> %v, <4 x i64> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
 707   ret <4 x i64> %shuffle
 708 }
 709
 710 define <4 x double> @insert_reg_and_zero_v4f64(double %a) {
 711 ; ALL-LABEL: insert_reg_and_zero_v4f64:
 712 ; ALL:       # BB#0:
 713 ; ALL-NEXT:   # kill: XMM0<def> XMM0<kill> YMM0<def>
 714 ; ALL-NEXT:    vxorpd %ymm1, %ymm1, %ymm1
 715 ; ALL-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
 716 ; ALL-NEXT:    retq
 717   %v = insertelement <4 x double> undef, double %a, i32 0
 718   %shuffle = shufflevector <4 x double> %v, <4 x double> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
 719   ret <4 x double> %shuffle
 720 }
 721
 722 define <4 x double> @insert_mem_and_zero_v4f64(double* %ptr) {
 723 ; ALL-LABEL: insert_mem_and_zero_v4f64:
 724 ; ALL:       # BB#0:
 725 ; ALL-NEXT:    vmovsd (%rdi), %xmm0
 726 ; ALL-NEXT:    vxorpd %ymm1, %ymm1, %ymm1
 727 ; ALL-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3]
 728 ; ALL-NEXT:    retq
 729   %a = load double* %ptr
 730   %v = insertelement <4 x double> undef, double %a, i32 0
 731   %shuffle = shufflevector <4 x double> %v, <4 x double> zeroinitializer, <4 x i32> <i32 0, i32 5, i32 6, i32 7>
 732   ret <4 x double> %shuffle
 733 }