test/CodeGen/X86/vector-blend.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse2 | FileCheck %s --check-prefix=SSE --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 | FileCheck %s --check-prefix=SSE --check-prefix=SSSE3
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 | FileCheck %s --check-prefix=SSE --check-prefix=SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx | FileCheck %s --check-prefix=AVX --check-prefix=AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx2 | FileCheck %s --check-prefix=AVX --check-prefix=AVX2
   6
   7 ; AVX128 tests:
   8
   9 define <4 x float> @vsel_float(<4 x float> %v1, <4 x float> %v2) {
  10 ; SSE2-LABEL: vsel_float:
  11 ; SSE2:       # BB#0: # %entry
  12 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
  13 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
  14 ; SSE2-NEXT:    orps %xmm1, %xmm0
  15 ; SSE2-NEXT:    retq
  16 ;
  17 ; SSSE3-LABEL: vsel_float:
  18 ; SSSE3:       # BB#0: # %entry
  19 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
  20 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
  21 ; SSSE3-NEXT:    orps %xmm1, %xmm0
  22 ; SSSE3-NEXT:    retq
  23 ;
  24 ; SSE41-LABEL: vsel_float:
  25 ; SSE41:       # BB#0: # %entry
  26 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
  27 ; SSE41-NEXT:    retq
  28 ;
  29 ; AVX-LABEL: vsel_float:
  30 ; AVX:       # BB#0: # %entry
  31 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
  32 ; AVX-NEXT:    retq
  33 entry:
  34   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %v1, <4 x float> %v2
  35   ret <4 x float> %vsel
  36 }
  37
  38 define <4 x float> @vsel_float2(<4 x float> %v1, <4 x float> %v2) {
  39 ; SSE-LABEL: vsel_float2:
  40 ; SSE:       # BB#0: # %entry
  41 ; SSE-NEXT:    movss %xmm0, %xmm1
  42 ; SSE-NEXT:    movaps %xmm1, %xmm0
  43 ; SSE-NEXT:    retq
  44 ;
  45 ; AVX-LABEL: vsel_float2:
  46 ; AVX:       # BB#0: # %entry
  47 ; AVX-NEXT:    vmovss %xmm0, %xmm1, %xmm0
  48 ; AVX-NEXT:    retq
  49 entry:
  50   %vsel = select <4 x i1> <i1 true, i1 false, i1 false, i1 false>, <4 x float> %v1, <4 x float> %v2
  51   ret <4 x float> %vsel
  52 }
  53
  54 define <4 x i8> @vsel_4xi8(<4 x i8> %v1, <4 x i8> %v2) {
  55 ; SSE2-LABEL: vsel_4xi8:
  56 ; SSE2:       # BB#0: # %entry
  57 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
  58 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
  59 ; SSE2-NEXT:    orps %xmm1, %xmm0
  60 ; SSE2-NEXT:    retq
  61 ;
  62 ; SSSE3-LABEL: vsel_4xi8:
  63 ; SSSE3:       # BB#0: # %entry
  64 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
  65 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
  66 ; SSSE3-NEXT:    orps %xmm1, %xmm0
  67 ; SSSE3-NEXT:    retq
  68 ;
  69 ; SSE41-LABEL: vsel_4xi8:
  70 ; SSE41:       # BB#0: # %entry
  71 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5],xmm0[6,7]
  72 ; SSE41-NEXT:    retq
  73 ;
  74 ; AVX1-LABEL: vsel_4xi8:
  75 ; AVX1:       # BB#0: # %entry
  76 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5],xmm0[6,7]
  77 ; AVX1-NEXT:    retq
  78 ;
  79 ; AVX2-LABEL: vsel_4xi8:
  80 ; AVX2:       # BB#0: # %entry
  81 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
  82 ; AVX2-NEXT:    retq
  83 entry:
  84   %vsel = select <4 x i1> <i1 true, i1 true, i1 false, i1 true>, <4 x i8> %v1, <4 x i8> %v2
  85   ret <4 x i8> %vsel
  86 }
  87
  88 define <4 x i16> @vsel_4xi16(<4 x i16> %v1, <4 x i16> %v2) {
  89 ; SSE2-LABEL: vsel_4xi16:
  90 ; SSE2:       # BB#0: # %entry
  91 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
  92 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
  93 ; SSE2-NEXT:    orps %xmm1, %xmm0
  94 ; SSE2-NEXT:    retq
  95 ;
  96 ; SSSE3-LABEL: vsel_4xi16:
  97 ; SSSE3:       # BB#0: # %entry
  98 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
  99 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
 100 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 101 ; SSSE3-NEXT:    retq
 102 ;
 103 ; SSE41-LABEL: vsel_4xi16:
 104 ; SSE41:       # BB#0: # %entry
 105 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
 106 ; SSE41-NEXT:    retq
 107 ;
 108 ; AVX1-LABEL: vsel_4xi16:
 109 ; AVX1:       # BB#0: # %entry
 110 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
 111 ; AVX1-NEXT:    retq
 112 ;
 113 ; AVX2-LABEL: vsel_4xi16:
 114 ; AVX2:       # BB#0: # %entry
 115 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3]
 116 ; AVX2-NEXT:    retq
 117 entry:
 118   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 true>, <4 x i16> %v1, <4 x i16> %v2
 119   ret <4 x i16> %vsel
 120 }
 121
 122 define <4 x i32> @vsel_i32(<4 x i32> %v1, <4 x i32> %v2) {
 123 ; SSE2-LABEL: vsel_i32:
 124 ; SSE2:       # BB#0: # %entry
 125 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
 126 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
 127 ; SSE2-NEXT:    orps %xmm1, %xmm0
 128 ; SSE2-NEXT:    retq
 129 ;
 130 ; SSSE3-LABEL: vsel_i32:
 131 ; SSSE3:       # BB#0: # %entry
 132 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
 133 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
 134 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 135 ; SSSE3-NEXT:    retq
 136 ;
 137 ; SSE41-LABEL: vsel_i32:
 138 ; SSE41:       # BB#0: # %entry
 139 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 140 ; SSE41-NEXT:    retq
 141 ;
 142 ; AVX1-LABEL: vsel_i32:
 143 ; AVX1:       # BB#0: # %entry
 144 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 145 ; AVX1-NEXT:    retq
 146 ;
 147 ; AVX2-LABEL: vsel_i32:
 148 ; AVX2:       # BB#0: # %entry
 149 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 150 ; AVX2-NEXT:    retq
 151 entry:
 152   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x i32> %v1, <4 x i32> %v2
 153   ret <4 x i32> %vsel
 154 }
 155
 156 define <2 x double> @vsel_double(<2 x double> %v1, <2 x double> %v2) {
 157 ; SSE-LABEL: vsel_double:
 158 ; SSE:       # BB#0: # %entry
 159 ; SSE-NEXT:    movsd %xmm0, %xmm1
 160 ; SSE-NEXT:    movaps %xmm1, %xmm0
 161 ; SSE-NEXT:    retq
 162 ;
 163 ; AVX-LABEL: vsel_double:
 164 ; AVX:       # BB#0: # %entry
 165 ; AVX-NEXT:    vmovsd %xmm0, %xmm1, %xmm0
 166 ; AVX-NEXT:    retq
 167 entry:
 168   %vsel = select <2 x i1> <i1 true, i1 false>, <2 x double> %v1, <2 x double> %v2
 169   ret <2 x double> %vsel
 170 }
 171
 172 define <2 x i64> @vsel_i64(<2 x i64> %v1, <2 x i64> %v2) {
 173 ; SSE-LABEL: vsel_i64:
 174 ; SSE:       # BB#0: # %entry
 175 ; SSE-NEXT:    movsd %xmm0, %xmm1
 176 ; SSE-NEXT:    movaps %xmm1, %xmm0
 177 ; SSE-NEXT:    retq
 178 ;
 179 ; AVX-LABEL: vsel_i64:
 180 ; AVX:       # BB#0: # %entry
 181 ; AVX-NEXT:    vmovsd %xmm0, %xmm1, %xmm0
 182 ; AVX-NEXT:    retq
 183 entry:
 184   %vsel = select <2 x i1> <i1 true, i1 false>, <2 x i64> %v1, <2 x i64> %v2
 185   ret <2 x i64> %vsel
 186 }
 187
 188 define <8 x i16> @vsel_8xi16(<8 x i16> %v1, <8 x i16> %v2) {
 189 ; SSE2-LABEL: vsel_8xi16:
 190 ; SSE2:       # BB#0: # %entry
 191 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
 192 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
 193 ; SSE2-NEXT:    orps %xmm1, %xmm0
 194 ; SSE2-NEXT:    retq
 195 ;
 196 ; SSSE3-LABEL: vsel_8xi16:
 197 ; SSSE3:       # BB#0: # %entry
 198 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
 199 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
 200 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 201 ; SSSE3-NEXT:    retq
 202 ;
 203 ; SSE41-LABEL: vsel_8xi16:
 204 ; SSE41:       # BB#0: # %entry
 205 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3],xmm0[4],xmm1[5,6,7]
 206 ; SSE41-NEXT:    retq
 207 ;
 208 ; AVX-LABEL: vsel_8xi16:
 209 ; AVX:       # BB#0: # %entry
 210 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3],xmm0[4],xmm1[5,6,7]
 211 ; AVX-NEXT:    retq
 212 entry:
 213   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i16> %v1, <8 x i16> %v2
 214   ret <8 x i16> %vsel
 215 }
 216
 217 define <16 x i8> @vsel_i8(<16 x i8> %v1, <16 x i8> %v2) {
 218 ; SSE2-LABEL: vsel_i8:
 219 ; SSE2:       # BB#0: # %entry
 220 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
 221 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
 222 ; SSE2-NEXT:    orps %xmm1, %xmm0
 223 ; SSE2-NEXT:    retq
 224 ;
 225 ; SSSE3-LABEL: vsel_i8:
 226 ; SSSE3:       # BB#0: # %entry
 227 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
 228 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
 229 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 230 ; SSSE3-NEXT:    retq
 231 ;
 232 ; SSE41-LABEL: vsel_i8:
 233 ; SSE41:       # BB#0: # %entry
 234 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 235 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
 236 ; SSE41-NEXT:    pblendvb %xmm2, %xmm1
 237 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 238 ; SSE41-NEXT:    retq
 239 ;
 240 ; AVX-LABEL: vsel_i8:
 241 ; AVX:       # BB#0: # %entry
 242 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
 243 ; AVX-NEXT:    vpblendvb %xmm2, %xmm0, %xmm1, %xmm0
 244 ; AVX-NEXT:    retq
 245 entry:
 246   %vsel = select <16 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <16 x i8> %v1, <16 x i8> %v2
 247   ret <16 x i8> %vsel
 248 }
 249
 250
 251 ; AVX256 tests:
 252
 253 define <8 x float> @vsel_float8(<8 x float> %v1, <8 x float> %v2) {
 254 ; SSE-LABEL: vsel_float8:
 255 ; SSE:       # BB#0: # %entry
 256 ; SSE-NEXT:    movss %xmm0, %xmm2
 257 ; SSE-NEXT:    movss %xmm1, %xmm3
 258 ; SSE-NEXT:    movaps %xmm2, %xmm0
 259 ; SSE-NEXT:    movaps %xmm3, %xmm1
 260 ; SSE-NEXT:    retq
 261 ;
 262 ; AVX-LABEL: vsel_float8:
 263 ; AVX:       # BB#0: # %entry
 264 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 265 ; AVX-NEXT:    retq
 266 entry:
 267   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x float> %v1, <8 x float> %v2
 268   ret <8 x float> %vsel
 269 }
 270
 271 define <8 x i32> @vsel_i328(<8 x i32> %v1, <8 x i32> %v2) {
 272 ; SSE-LABEL: vsel_i328:
 273 ; SSE:       # BB#0: # %entry
 274 ; SSE-NEXT:    movss %xmm0, %xmm2
 275 ; SSE-NEXT:    movss %xmm1, %xmm3
 276 ; SSE-NEXT:    movaps %xmm2, %xmm0
 277 ; SSE-NEXT:    movaps %xmm3, %xmm1
 278 ; SSE-NEXT:    retq
 279 ;
 280 ; AVX1-LABEL: vsel_i328:
 281 ; AVX1:       # BB#0: # %entry
 282 ; AVX1-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 283 ; AVX1-NEXT:    retq
 284 ;
 285 ; AVX2-LABEL: vsel_i328:
 286 ; AVX2:       # BB#0: # %entry
 287 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 288 ; AVX2-NEXT:    retq
 289 entry:
 290   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i32> %v1, <8 x i32> %v2
 291   ret <8 x i32> %vsel
 292 }
 293
 294 define <8 x double> @vsel_double8(<8 x double> %v1, <8 x double> %v2) {
 295 ; SSE2-LABEL: vsel_double8:
 296 ; SSE2:       # BB#0: # %entry
 297 ; SSE2-NEXT:    movsd %xmm0, %xmm4
 298 ; SSE2-NEXT:    movsd %xmm2, %xmm6
 299 ; SSE2-NEXT:    movaps %xmm4, %xmm0
 300 ; SSE2-NEXT:    movaps %xmm5, %xmm1
 301 ; SSE2-NEXT:    movaps %xmm6, %xmm2
 302 ; SSE2-NEXT:    movaps %xmm7, %xmm3
 303 ; SSE2-NEXT:    retq
 304 ;
 305 ; SSSE3-LABEL: vsel_double8:
 306 ; SSSE3:       # BB#0: # %entry
 307 ; SSSE3-NEXT:    movsd %xmm0, %xmm4
 308 ; SSSE3-NEXT:    movsd %xmm2, %xmm6
 309 ; SSSE3-NEXT:    movaps %xmm4, %xmm0
 310 ; SSSE3-NEXT:    movaps %xmm5, %xmm1
 311 ; SSSE3-NEXT:    movaps %xmm6, %xmm2
 312 ; SSSE3-NEXT:    movaps %xmm7, %xmm3
 313 ; SSSE3-NEXT:    retq
 314 ;
 315 ; SSE41-LABEL: vsel_double8:
 316 ; SSE41:       # BB#0: # %entry
 317 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm4[1]
 318 ; SSE41-NEXT:    blendpd {{.*#+}} xmm1 = xmm5[0,1]
 319 ; SSE41-NEXT:    blendpd {{.*#+}} xmm2 = xmm2[0],xmm6[1]
 320 ; SSE41-NEXT:    blendpd {{.*#+}} xmm3 = xmm7[0,1]
 321 ; SSE41-NEXT:    retq
 322 ;
 323 ; AVX-LABEL: vsel_double8:
 324 ; AVX:       # BB#0: # %entry
 325 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm2[1,2,3]
 326 ; AVX-NEXT:    vblendpd {{.*#+}} ymm1 = ymm1[0],ymm3[1,2,3]
 327 ; AVX-NEXT:    retq
 328 entry:
 329   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x double> %v1, <8 x double> %v2
 330   ret <8 x double> %vsel
 331 }
 332
 333 define <8 x i64> @vsel_i648(<8 x i64> %v1, <8 x i64> %v2) {
 334 ; SSE2-LABEL: vsel_i648:
 335 ; SSE2:       # BB#0: # %entry
 336 ; SSE2-NEXT:    movsd %xmm0, %xmm4
 337 ; SSE2-NEXT:    movsd %xmm2, %xmm6
 338 ; SSE2-NEXT:    movaps %xmm4, %xmm0
 339 ; SSE2-NEXT:    movaps %xmm5, %xmm1
 340 ; SSE2-NEXT:    movaps %xmm6, %xmm2
 341 ; SSE2-NEXT:    movaps %xmm7, %xmm3
 342 ; SSE2-NEXT:    retq
 343 ;
 344 ; SSSE3-LABEL: vsel_i648:
 345 ; SSSE3:       # BB#0: # %entry
 346 ; SSSE3-NEXT:    movsd %xmm0, %xmm4
 347 ; SSSE3-NEXT:    movsd %xmm2, %xmm6
 348 ; SSSE3-NEXT:    movaps %xmm4, %xmm0
 349 ; SSSE3-NEXT:    movaps %xmm5, %xmm1
 350 ; SSSE3-NEXT:    movaps %xmm6, %xmm2
 351 ; SSSE3-NEXT:    movaps %xmm7, %xmm3
 352 ; SSSE3-NEXT:    retq
 353 ;
 354 ; SSE41-LABEL: vsel_i648:
 355 ; SSE41:       # BB#0: # %entry
 356 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm4[1]
 357 ; SSE41-NEXT:    blendpd {{.*#+}} xmm1 = xmm5[0,1]
 358 ; SSE41-NEXT:    blendpd {{.*#+}} xmm2 = xmm2[0],xmm6[1]
 359 ; SSE41-NEXT:    blendpd {{.*#+}} xmm3 = xmm7[0,1]
 360 ; SSE41-NEXT:    retq
 361 ;
 362 ; AVX1-LABEL: vsel_i648:
 363 ; AVX1:       # BB#0: # %entry
 364 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm2[1,2,3]
 365 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm1 = ymm1[0],ymm3[1,2,3]
 366 ; AVX1-NEXT:    retq
 367 ;
 368 ; AVX2-LABEL: vsel_i648:
 369 ; AVX2:       # BB#0: # %entry
 370 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1],ymm2[2,3,4,5,6,7]
 371 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm1[0,1],ymm3[2,3,4,5,6,7]
 372 ; AVX2-NEXT:    retq
 373 entry:
 374   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i64> %v1, <8 x i64> %v2
 375   ret <8 x i64> %vsel
 376 }
 377
 378 define <4 x double> @vsel_double4(<4 x double> %v1, <4 x double> %v2) {
 379 ; SSE-LABEL: vsel_double4:
 380 ; SSE:       # BB#0: # %entry
 381 ; SSE-NEXT:    movsd %xmm0, %xmm2
 382 ; SSE-NEXT:    movsd %xmm1, %xmm3
 383 ; SSE-NEXT:    movaps %xmm2, %xmm0
 384 ; SSE-NEXT:    movaps %xmm3, %xmm1
 385 ; SSE-NEXT:    retq
 386 ;
 387 ; AVX-LABEL: vsel_double4:
 388 ; AVX:       # BB#0: # %entry
 389 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2],ymm1[3]
 390 ; AVX-NEXT:    retq
 391 entry:
 392   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %v1, <4 x double> %v2
 393   ret <4 x double> %vsel
 394 }
 395
 396 define <2 x double> @testa(<2 x double> %x, <2 x double> %y) {
 397 ; SSE2-LABEL: testa:
 398 ; SSE2:       # BB#0: # %entry
 399 ; SSE2-NEXT:    movapd %xmm1, %xmm2
 400 ; SSE2-NEXT:    cmplepd %xmm0, %xmm2
 401 ; SSE2-NEXT:    andpd %xmm2, %xmm0
 402 ; SSE2-NEXT:    andnpd %xmm1, %xmm2
 403 ; SSE2-NEXT:    orpd %xmm2, %xmm0
 404 ; SSE2-NEXT:    retq
 405 ;
 406 ; SSSE3-LABEL: testa:
 407 ; SSSE3:       # BB#0: # %entry
 408 ; SSSE3-NEXT:    movapd %xmm1, %xmm2
 409 ; SSSE3-NEXT:    cmplepd %xmm0, %xmm2
 410 ; SSSE3-NEXT:    andpd %xmm2, %xmm0
 411 ; SSSE3-NEXT:    andnpd %xmm1, %xmm2
 412 ; SSSE3-NEXT:    orpd %xmm2, %xmm0
 413 ; SSSE3-NEXT:    retq
 414 ;
 415 ; SSE41-LABEL: testa:
 416 ; SSE41:       # BB#0: # %entry
 417 ; SSE41-NEXT:    movapd %xmm0, %xmm2
 418 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 419 ; SSE41-NEXT:    cmplepd %xmm2, %xmm0
 420 ; SSE41-NEXT:    blendvpd %xmm2, %xmm1
 421 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 422 ; SSE41-NEXT:    retq
 423 ;
 424 ; AVX-LABEL: testa:
 425 ; AVX:       # BB#0: # %entry
 426 ; AVX-NEXT:    vcmplepd %xmm0, %xmm1, %xmm2
 427 ; AVX-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 428 ; AVX-NEXT:    retq
 429 entry:
 430   %max_is_x = fcmp oge <2 x double> %x, %y
 431   %max = select <2 x i1> %max_is_x, <2 x double> %x, <2 x double> %y
 432   ret <2 x double> %max
 433 }
 434
 435 define <2 x double> @testb(<2 x double> %x, <2 x double> %y) {
 436 ; SSE2-LABEL: testb:
 437 ; SSE2:       # BB#0: # %entry
 438 ; SSE2-NEXT:    movapd %xmm1, %xmm2
 439 ; SSE2-NEXT:    cmpnlepd %xmm0, %xmm2
 440 ; SSE2-NEXT:    andpd %xmm2, %xmm0
 441 ; SSE2-NEXT:    andnpd %xmm1, %xmm2
 442 ; SSE2-NEXT:    orpd %xmm2, %xmm0
 443 ; SSE2-NEXT:    retq
 444 ;
 445 ; SSSE3-LABEL: testb:
 446 ; SSSE3:       # BB#0: # %entry
 447 ; SSSE3-NEXT:    movapd %xmm1, %xmm2
 448 ; SSSE3-NEXT:    cmpnlepd %xmm0, %xmm2
 449 ; SSSE3-NEXT:    andpd %xmm2, %xmm0
 450 ; SSSE3-NEXT:    andnpd %xmm1, %xmm2
 451 ; SSSE3-NEXT:    orpd %xmm2, %xmm0
 452 ; SSSE3-NEXT:    retq
 453 ;
 454 ; SSE41-LABEL: testb:
 455 ; SSE41:       # BB#0: # %entry
 456 ; SSE41-NEXT:    movapd %xmm0, %xmm2
 457 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 458 ; SSE41-NEXT:    cmpnlepd %xmm2, %xmm0
 459 ; SSE41-NEXT:    blendvpd %xmm2, %xmm1
 460 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 461 ; SSE41-NEXT:    retq
 462 ;
 463 ; AVX-LABEL: testb:
 464 ; AVX:       # BB#0: # %entry
 465 ; AVX-NEXT:    vcmpnlepd %xmm0, %xmm1, %xmm2
 466 ; AVX-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 467 ; AVX-NEXT:    retq
 468 entry:
 469   %min_is_x = fcmp ult <2 x double> %x, %y
 470   %min = select <2 x i1> %min_is_x, <2 x double> %x, <2 x double> %y
 471   ret <2 x double> %min
 472 }
 473
 474 ; If we can figure out a blend has a constant mask, we should emit the
 475 ; blend instruction with an immediate mask
 476 define <4 x double> @constant_blendvpd_avx(<4 x double> %xy, <4 x double> %ab) {
 477 ; SSE-LABEL: constant_blendvpd_avx:
 478 ; SSE:       # BB#0: # %entry
 479 ; SSE-NEXT:    movsd %xmm1, %xmm3
 480 ; SSE-NEXT:    movaps %xmm2, %xmm0
 481 ; SSE-NEXT:    movaps %xmm3, %xmm1
 482 ; SSE-NEXT:    retq
 483 ;
 484 ; AVX-LABEL: constant_blendvpd_avx:
 485 ; AVX:       # BB#0: # %entry
 486 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2],ymm1[3]
 487 ; AVX-NEXT:    retq
 488 entry:
 489   %select = select <4 x i1> <i1 false, i1 false, i1 true, i1 false>, <4 x double> %xy, <4 x double> %ab
 490   ret <4 x double> %select
 491 }
 492
 493 define <8 x float> @constant_blendvps_avx(<8 x float> %xyzw, <8 x float> %abcd) {
 494 ; SSE2-LABEL: constant_blendvps_avx:
 495 ; SSE2:       # BB#0: # %entry
 496 ; SSE2-NEXT:    movaps {{.*#+}} xmm4 = [4294967295,4294967295,4294967295,0]
 497 ; SSE2-NEXT:    andps %xmm4, %xmm2
 498 ; SSE2-NEXT:    movaps {{.*#+}} xmm5 = [0,0,0,4294967295]
 499 ; SSE2-NEXT:    andps %xmm5, %xmm0
 500 ; SSE2-NEXT:    orps %xmm2, %xmm0
 501 ; SSE2-NEXT:    andps %xmm4, %xmm3
 502 ; SSE2-NEXT:    andps %xmm5, %xmm1
 503 ; SSE2-NEXT:    orps %xmm3, %xmm1
 504 ; SSE2-NEXT:    retq
 505 ;
 506 ; SSSE3-LABEL: constant_blendvps_avx:
 507 ; SSSE3:       # BB#0: # %entry
 508 ; SSSE3-NEXT:    movaps {{.*#+}} xmm4 = [4294967295,4294967295,4294967295,0]
 509 ; SSSE3-NEXT:    andps %xmm4, %xmm2
 510 ; SSSE3-NEXT:    movaps {{.*#+}} xmm5 = [0,0,0,4294967295]
 511 ; SSSE3-NEXT:    andps %xmm5, %xmm0
 512 ; SSSE3-NEXT:    orps %xmm2, %xmm0
 513 ; SSSE3-NEXT:    andps %xmm4, %xmm3
 514 ; SSSE3-NEXT:    andps %xmm5, %xmm1
 515 ; SSSE3-NEXT:    orps %xmm3, %xmm1
 516 ; SSSE3-NEXT:    retq
 517 ;
 518 ; SSE41-LABEL: constant_blendvps_avx:
 519 ; SSE41:       # BB#0: # %entry
 520 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm2[0,1,2],xmm0[3]
 521 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm3[0,1,2],xmm1[3]
 522 ; SSE41-NEXT:    retq
 523 ;
 524 ; AVX-LABEL: constant_blendvps_avx:
 525 ; AVX:       # BB#0: # %entry
 526 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3],ymm1[4,5,6],ymm0[7]
 527 ; AVX-NEXT:    retq
 528 entry:
 529   %select = select <8 x i1> <i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true>, <8 x float> %xyzw, <8 x float> %abcd
 530   ret <8 x float> %select
 531 }
 532
 533 define <32 x i8> @constant_pblendvb_avx2(<32 x i8> %xyzw, <32 x i8> %abcd) {
 534 ; SSE2-LABEL: constant_pblendvb_avx2:
 535 ; SSE2:       # BB#0: # %entry
 536 ; SSE2-NEXT:    movaps {{.*#+}} xmm4 = [255,255,0,255,0,0,0,255,255,255,0,255,0,0,0,255]
 537 ; SSE2-NEXT:    andps %xmm4, %xmm2
 538 ; SSE2-NEXT:    movaps {{.*#+}} xmm5 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 539 ; SSE2-NEXT:    andps %xmm5, %xmm0
 540 ; SSE2-NEXT:    orps %xmm2, %xmm0
 541 ; SSE2-NEXT:    andps %xmm4, %xmm3
 542 ; SSE2-NEXT:    andps %xmm5, %xmm1
 543 ; SSE2-NEXT:    orps %xmm3, %xmm1
 544 ; SSE2-NEXT:    retq
 545 ;
 546 ; SSSE3-LABEL: constant_pblendvb_avx2:
 547 ; SSSE3:       # BB#0: # %entry
 548 ; SSSE3-NEXT:    movaps {{.*#+}} xmm4 = [255,255,0,255,0,0,0,255,255,255,0,255,0,0,0,255]
 549 ; SSSE3-NEXT:    andps %xmm4, %xmm2
 550 ; SSSE3-NEXT:    movaps {{.*#+}} xmm5 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 551 ; SSSE3-NEXT:    andps %xmm5, %xmm0
 552 ; SSSE3-NEXT:    orps %xmm2, %xmm0
 553 ; SSSE3-NEXT:    andps %xmm4, %xmm3
 554 ; SSSE3-NEXT:    andps %xmm5, %xmm1
 555 ; SSSE3-NEXT:    orps %xmm3, %xmm1
 556 ; SSSE3-NEXT:    retq
 557 ;
 558 ; SSE41-LABEL: constant_pblendvb_avx2:
 559 ; SSE41:       # BB#0: # %entry
 560 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 561 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 562 ; SSE41-NEXT:    pblendvb %xmm4, %xmm2
 563 ; SSE41-NEXT:    pblendvb %xmm1, %xmm3
 564 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 565 ; SSE41-NEXT:    movdqa %xmm3, %xmm1
 566 ; SSE41-NEXT:    retq
 567 ;
 568 ; AVX1-LABEL: constant_pblendvb_avx2:
 569 ; AVX1:       # BB#0: # %entry
 570 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm1, %ymm1
 571 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
 572 ; AVX1-NEXT:    vorps %ymm1, %ymm0, %ymm0
 573 ; AVX1-NEXT:    retq
 574 ;
 575 ; AVX2-LABEL: constant_pblendvb_avx2:
 576 ; AVX2:       # BB#0: # %entry
 577 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 578 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm0, %ymm1, %ymm0
 579 ; AVX2-NEXT:    retq
 580 entry:
 581   %select = select <32 x i1> <i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false>, <32 x i8> %xyzw, <32 x i8> %abcd
 582   ret <32 x i8> %select
 583 }
 584
 585 declare <8 x float> @llvm.x86.avx.blendv.ps.256(<8 x float>, <8 x float>, <8 x float>)
 586 declare <4 x double> @llvm.x86.avx.blendv.pd.256(<4 x double>, <4 x double>, <4 x double>)
 587
 588 ;; 4 tests for shufflevectors that optimize to blend + immediate
 589 define <4 x float> @blend_shufflevector_4xfloat(<4 x float> %a, <4 x float> %b) {
 590 ; SSE2-LABEL: blend_shufflevector_4xfloat:
 591 ; SSE2:       # BB#0: # %entry
 592 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,3]
 593 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,1,3]
 594 ; SSE2-NEXT:    retq
 595 ;
 596 ; SSSE3-LABEL: blend_shufflevector_4xfloat:
 597 ; SSSE3:       # BB#0: # %entry
 598 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,3]
 599 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,1,3]
 600 ; SSSE3-NEXT:    retq
 601 ;
 602 ; SSE41-LABEL: blend_shufflevector_4xfloat:
 603 ; SSE41:       # BB#0: # %entry
 604 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 605 ; SSE41-NEXT:    retq
 606 ;
 607 ; AVX-LABEL: blend_shufflevector_4xfloat:
 608 ; AVX:       # BB#0: # %entry
 609 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 610 ; AVX-NEXT:    retq
 611 entry:
 612   %select = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 5, i32 2, i32 7>
 613   ret <4 x float> %select
 614 }
 615
 616 define <8 x float> @blend_shufflevector_8xfloat(<8 x float> %a, <8 x float> %b) {
 617 ; SSE2-LABEL: blend_shufflevector_8xfloat:
 618 ; SSE2:       # BB#0: # %entry
 619 ; SSE2-NEXT:    movss %xmm0, %xmm2
 620 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm3[3,0]
 621 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,1],xmm1[0,2]
 622 ; SSE2-NEXT:    movaps %xmm2, %xmm0
 623 ; SSE2-NEXT:    movaps %xmm3, %xmm1
 624 ; SSE2-NEXT:    retq
 625 ;
 626 ; SSSE3-LABEL: blend_shufflevector_8xfloat:
 627 ; SSSE3:       # BB#0: # %entry
 628 ; SSSE3-NEXT:    movss %xmm0, %xmm2
 629 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm3[3,0]
 630 ; SSSE3-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,1],xmm1[0,2]
 631 ; SSSE3-NEXT:    movaps %xmm2, %xmm0
 632 ; SSSE3-NEXT:    movaps %xmm3, %xmm1
 633 ; SSSE3-NEXT:    retq
 634 ;
 635 ; SSE41-LABEL: blend_shufflevector_8xfloat:
 636 ; SSE41:       # BB#0: # %entry
 637 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm2[1,2,3]
 638 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm3[0,1],xmm1[2],xmm3[3]
 639 ; SSE41-NEXT:    retq
 640 ;
 641 ; AVX-LABEL: blend_shufflevector_8xfloat:
 642 ; AVX:       # BB#0: # %entry
 643 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3,4,5],ymm0[6],ymm1[7]
 644 ; AVX-NEXT:    retq
 645 entry:
 646   %select = shufflevector <8 x float> %a, <8 x float> %b, <8 x i32> <i32 0, i32 9, i32 10, i32 11, i32 12, i32 13, i32 6, i32 15>
 647   ret <8 x float> %select
 648 }
 649
 650 define <4 x double> @blend_shufflevector_4xdouble(<4 x double> %a, <4 x double> %b) {
 651 ; SSE2-LABEL: blend_shufflevector_4xdouble:
 652 ; SSE2:       # BB#0: # %entry
 653 ; SSE2-NEXT:    movsd %xmm0, %xmm2
 654 ; SSE2-NEXT:    movaps %xmm2, %xmm0
 655 ; SSE2-NEXT:    retq
 656 ;
 657 ; SSSE3-LABEL: blend_shufflevector_4xdouble:
 658 ; SSSE3:       # BB#0: # %entry
 659 ; SSSE3-NEXT:    movsd %xmm0, %xmm2
 660 ; SSSE3-NEXT:    movaps %xmm2, %xmm0
 661 ; SSSE3-NEXT:    retq
 662 ;
 663 ; SSE41-LABEL: blend_shufflevector_4xdouble:
 664 ; SSE41:       # BB#0: # %entry
 665 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm2[1]
 666 ; SSE41-NEXT:    retq
 667 ;
 668 ; AVX-LABEL: blend_shufflevector_4xdouble:
 669 ; AVX:       # BB#0: # %entry
 670 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2,3]
 671 ; AVX-NEXT:    retq
 672 entry:
 673   %select = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 5, i32 2, i32 3>
 674   ret <4 x double> %select
 675 }
 676
 677 define <4 x i64> @blend_shufflevector_4xi64(<4 x i64> %a, <4 x i64> %b) {
 678 ; SSE2-LABEL: blend_shufflevector_4xi64:
 679 ; SSE2:       # BB#0: # %entry
 680 ; SSE2-NEXT:    movsd %xmm2, %xmm0
 681 ; SSE2-NEXT:    movaps %xmm3, %xmm1
 682 ; SSE2-NEXT:    retq
 683 ;
 684 ; SSSE3-LABEL: blend_shufflevector_4xi64:
 685 ; SSSE3:       # BB#0: # %entry
 686 ; SSSE3-NEXT:    movsd %xmm2, %xmm0
 687 ; SSSE3-NEXT:    movaps %xmm3, %xmm1
 688 ; SSSE3-NEXT:    retq
 689 ;
 690 ; SSE41-LABEL: blend_shufflevector_4xi64:
 691 ; SSE41:       # BB#0: # %entry
 692 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm2[0,1,2,3],xmm0[4,5,6,7]
 693 ; SSE41-NEXT:    movaps %xmm3, %xmm1
 694 ; SSE41-NEXT:    retq
 695 ;
 696 ; AVX1-LABEL: blend_shufflevector_4xi64:
 697 ; AVX1:       # BB#0: # %entry
 698 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0],ymm0[1],ymm1[2,3]
 699 ; AVX1-NEXT:    retq
 700 ;
 701 ; AVX2-LABEL: blend_shufflevector_4xi64:
 702 ; AVX2:       # BB#0: # %entry
 703 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3],ymm1[4,5,6,7]
 704 ; AVX2-NEXT:    retq
 705 entry:
 706   %select = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 1, i32 6, i32 7>
 707   ret <4 x i64> %select
 708 }