test/CodeGen/X86/vector-blend.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse2 | FileCheck %s --check-prefix=SSE --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 | FileCheck %s --check-prefix=SSE --check-prefix=SSSE3
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 | FileCheck %s --check-prefix=SSE --check-prefix=SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx | FileCheck %s --check-prefix=AVX --check-prefix=AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx2 | FileCheck %s --check-prefix=AVX --check-prefix=AVX2
   6
   7 ; AVX128 tests:
   8
   9 define <4 x float> @vsel_float(<4 x float> %v1, <4 x float> %v2) {
  10 ; SSE2-LABEL: vsel_float:
  11 ; SSE2:       # BB#0: # %entry
  12 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
  13 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
  14 ; SSE2-NEXT:    orps %xmm1, %xmm0
  15 ; SSE2-NEXT:    retq
  16 ;
  17 ; SSSE3-LABEL: vsel_float:
  18 ; SSSE3:       # BB#0: # %entry
  19 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
  20 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
  21 ; SSSE3-NEXT:    orps %xmm1, %xmm0
  22 ; SSSE3-NEXT:    retq
  23 ;
  24 ; SSE41-LABEL: vsel_float:
  25 ; SSE41:       # BB#0: # %entry
  26 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
  27 ; SSE41-NEXT:    retq
  28 ;
  29 ; AVX-LABEL: vsel_float:
  30 ; AVX:       # BB#0: # %entry
  31 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
  32 ; AVX-NEXT:    retq
  33 entry:
  34   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %v1, <4 x float> %v2
  35   ret <4 x float> %vsel
  36 }
  37
  38 define <4 x float> @vsel_float2(<4 x float> %v1, <4 x float> %v2) {
  39 ; SSE-LABEL: vsel_float2:
  40 ; SSE:       # BB#0: # %entry
  41 ; SSE-NEXT:    movss %xmm0, %xmm1
  42 ; SSE-NEXT:    movaps %xmm1, %xmm0
  43 ; SSE-NEXT:    retq
  44 ;
  45 ; AVX-LABEL: vsel_float2:
  46 ; AVX:       # BB#0: # %entry
  47 ; AVX-NEXT:    vmovss %xmm0, %xmm1, %xmm0
  48 ; AVX-NEXT:    retq
  49 entry:
  50   %vsel = select <4 x i1> <i1 true, i1 false, i1 false, i1 false>, <4 x float> %v1, <4 x float> %v2
  51   ret <4 x float> %vsel
  52 }
  53
  54 define <4 x i8> @vsel_4xi8(<4 x i8> %v1, <4 x i8> %v2) {
  55 ; SSE2-LABEL: vsel_4xi8:
  56 ; SSE2:       # BB#0: # %entry
  57 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
  58 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
  59 ; SSE2-NEXT:    orps %xmm1, %xmm0
  60 ; SSE2-NEXT:    retq
  61 ;
  62 ; SSSE3-LABEL: vsel_4xi8:
  63 ; SSSE3:       # BB#0: # %entry
  64 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
  65 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
  66 ; SSSE3-NEXT:    orps %xmm1, %xmm0
  67 ; SSSE3-NEXT:    retq
  68 ;
  69 ; SSE41-LABEL: vsel_4xi8:
  70 ; SSE41:       # BB#0: # %entry
  71 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5],xmm0[6,7]
  72 ; SSE41-NEXT:    retq
  73 ;
  74 ; AVX1-LABEL: vsel_4xi8:
  75 ; AVX1:       # BB#0: # %entry
  76 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm1[4,5],xmm0[6,7]
  77 ; AVX1-NEXT:    retq
  78 ;
  79 ; AVX2-LABEL: vsel_4xi8:
  80 ; AVX2:       # BB#0: # %entry
  81 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
  82 ; AVX2-NEXT:    retq
  83 entry:
  84   %vsel = select <4 x i1> <i1 true, i1 true, i1 false, i1 true>, <4 x i8> %v1, <4 x i8> %v2
  85   ret <4 x i8> %vsel
  86 }
  87
  88 define <4 x i16> @vsel_4xi16(<4 x i16> %v1, <4 x i16> %v2) {
  89 ; SSE2-LABEL: vsel_4xi16:
  90 ; SSE2:       # BB#0: # %entry
  91 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
  92 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
  93 ; SSE2-NEXT:    orps %xmm1, %xmm0
  94 ; SSE2-NEXT:    retq
  95 ;
  96 ; SSSE3-LABEL: vsel_4xi16:
  97 ; SSSE3:       # BB#0: # %entry
  98 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
  99 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
 100 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 101 ; SSSE3-NEXT:    retq
 102 ;
 103 ; SSE41-LABEL: vsel_4xi16:
 104 ; SSE41:       # BB#0: # %entry
 105 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
 106 ; SSE41-NEXT:    retq
 107 ;
 108 ; AVX1-LABEL: vsel_4xi16:
 109 ; AVX1:       # BB#0: # %entry
 110 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5,6,7]
 111 ; AVX1-NEXT:    retq
 112 ;
 113 ; AVX2-LABEL: vsel_4xi16:
 114 ; AVX2:       # BB#0: # %entry
 115 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3]
 116 ; AVX2-NEXT:    retq
 117 entry:
 118   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 true>, <4 x i16> %v1, <4 x i16> %v2
 119   ret <4 x i16> %vsel
 120 }
 121
 122 define <4 x i32> @vsel_i32(<4 x i32> %v1, <4 x i32> %v2) {
 123 ; SSE2-LABEL: vsel_i32:
 124 ; SSE2:       # BB#0: # %entry
 125 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
 126 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
 127 ; SSE2-NEXT:    orps %xmm1, %xmm0
 128 ; SSE2-NEXT:    retq
 129 ;
 130 ; SSSE3-LABEL: vsel_i32:
 131 ; SSSE3:       # BB#0: # %entry
 132 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
 133 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
 134 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 135 ; SSSE3-NEXT:    retq
 136 ;
 137 ; SSE41-LABEL: vsel_i32:
 138 ; SSE41:       # BB#0: # %entry
 139 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 140 ; SSE41-NEXT:    retq
 141 ;
 142 ; AVX1-LABEL: vsel_i32:
 143 ; AVX1:       # BB#0: # %entry
 144 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3],xmm0[4,5],xmm1[6,7]
 145 ; AVX1-NEXT:    retq
 146 ;
 147 ; AVX2-LABEL: vsel_i32:
 148 ; AVX2:       # BB#0: # %entry
 149 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 150 ; AVX2-NEXT:    retq
 151 entry:
 152   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x i32> %v1, <4 x i32> %v2
 153   ret <4 x i32> %vsel
 154 }
 155
 156 define <2 x double> @vsel_double(<2 x double> %v1, <2 x double> %v2) {
 157 ; SSE-LABEL: vsel_double:
 158 ; SSE:       # BB#0: # %entry
 159 ; SSE-NEXT:    movsd %xmm0, %xmm1
 160 ; SSE-NEXT:    movaps %xmm1, %xmm0
 161 ; SSE-NEXT:    retq
 162 ;
 163 ; AVX-LABEL: vsel_double:
 164 ; AVX:       # BB#0: # %entry
 165 ; AVX-NEXT:    vmovsd %xmm0, %xmm1, %xmm0
 166 ; AVX-NEXT:    retq
 167 entry:
 168   %vsel = select <2 x i1> <i1 true, i1 false>, <2 x double> %v1, <2 x double> %v2
 169   ret <2 x double> %vsel
 170 }
 171
 172 define <2 x i64> @vsel_i64(<2 x i64> %v1, <2 x i64> %v2) {
 173 ; SSE-LABEL: vsel_i64:
 174 ; SSE:       # BB#0: # %entry
 175 ; SSE-NEXT:    movsd %xmm0, %xmm1
 176 ; SSE-NEXT:    movaps %xmm1, %xmm0
 177 ; SSE-NEXT:    retq
 178 ;
 179 ; AVX-LABEL: vsel_i64:
 180 ; AVX:       # BB#0: # %entry
 181 ; AVX-NEXT:    vmovsd %xmm0, %xmm1, %xmm0
 182 ; AVX-NEXT:    retq
 183 entry:
 184   %vsel = select <2 x i1> <i1 true, i1 false>, <2 x i64> %v1, <2 x i64> %v2
 185   ret <2 x i64> %vsel
 186 }
 187
 188 define <8 x i16> @vsel_8xi16(<8 x i16> %v1, <8 x i16> %v2) {
 189 ; SSE2-LABEL: vsel_8xi16:
 190 ; SSE2:       # BB#0: # %entry
 191 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
 192 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
 193 ; SSE2-NEXT:    orps %xmm1, %xmm0
 194 ; SSE2-NEXT:    retq
 195 ;
 196 ; SSSE3-LABEL: vsel_8xi16:
 197 ; SSSE3:       # BB#0: # %entry
 198 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
 199 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
 200 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 201 ; SSSE3-NEXT:    retq
 202 ;
 203 ; SSE41-LABEL: vsel_8xi16:
 204 ; SSE41:       # BB#0: # %entry
 205 ; SSE41-NEXT:    pblendw {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3],xmm0[4],xmm1[5,6,7]
 206 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 207 ; SSE41-NEXT:    retq
 208 ;
 209 ; AVX-LABEL: vsel_8xi16:
 210 ; AVX:       # BB#0: # %entry
 211 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3],xmm0[4],xmm1[5,6,7]
 212 ; AVX-NEXT:    retq
 213 entry:
 214   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i16> %v1, <8 x i16> %v2
 215   ret <8 x i16> %vsel
 216 }
 217
 218 define <16 x i8> @vsel_i8(<16 x i8> %v1, <16 x i8> %v2) {
 219 ; SSE2-LABEL: vsel_i8:
 220 ; SSE2:       # BB#0: # %entry
 221 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm1
 222 ; SSE2-NEXT:    andps {{.*}}(%rip), %xmm0
 223 ; SSE2-NEXT:    orps %xmm1, %xmm0
 224 ; SSE2-NEXT:    retq
 225 ;
 226 ; SSSE3-LABEL: vsel_i8:
 227 ; SSSE3:       # BB#0: # %entry
 228 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm1
 229 ; SSSE3-NEXT:    andps {{.*}}(%rip), %xmm0
 230 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 231 ; SSSE3-NEXT:    retq
 232 ;
 233 ; SSE41-LABEL: vsel_i8:
 234 ; SSE41:       # BB#0: # %entry
 235 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 236 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
 237 ; SSE41-NEXT:    pblendvb %xmm2, %xmm1
 238 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 239 ; SSE41-NEXT:    retq
 240 ;
 241 ; AVX-LABEL: vsel_i8:
 242 ; AVX:       # BB#0: # %entry
 243 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
 244 ; AVX-NEXT:    vpblendvb %xmm2, %xmm0, %xmm1, %xmm0
 245 ; AVX-NEXT:    retq
 246 entry:
 247   %vsel = select <16 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <16 x i8> %v1, <16 x i8> %v2
 248   ret <16 x i8> %vsel
 249 }
 250
 251
 252 ; AVX256 tests:
 253
 254 define <8 x float> @vsel_float8(<8 x float> %v1, <8 x float> %v2) {
 255 ; SSE-LABEL: vsel_float8:
 256 ; SSE:       # BB#0: # %entry
 257 ; SSE-NEXT:    movss %xmm0, %xmm2
 258 ; SSE-NEXT:    movss %xmm1, %xmm3
 259 ; SSE-NEXT:    movaps %xmm2, %xmm0
 260 ; SSE-NEXT:    movaps %xmm3, %xmm1
 261 ; SSE-NEXT:    retq
 262 ;
 263 ; AVX-LABEL: vsel_float8:
 264 ; AVX:       # BB#0: # %entry
 265 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 266 ; AVX-NEXT:    retq
 267 entry:
 268   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x float> %v1, <8 x float> %v2
 269   ret <8 x float> %vsel
 270 }
 271
 272 define <8 x i32> @vsel_i328(<8 x i32> %v1, <8 x i32> %v2) {
 273 ; SSE-LABEL: vsel_i328:
 274 ; SSE:       # BB#0: # %entry
 275 ; SSE-NEXT:    movss %xmm0, %xmm2
 276 ; SSE-NEXT:    movss %xmm1, %xmm3
 277 ; SSE-NEXT:    movaps %xmm2, %xmm0
 278 ; SSE-NEXT:    movaps %xmm3, %xmm1
 279 ; SSE-NEXT:    retq
 280 ;
 281 ; AVX1-LABEL: vsel_i328:
 282 ; AVX1:       # BB#0: # %entry
 283 ; AVX1-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 284 ; AVX1-NEXT:    retq
 285 ;
 286 ; AVX2-LABEL: vsel_i328:
 287 ; AVX2:       # BB#0: # %entry
 288 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 289 ; AVX2-NEXT:    retq
 290 entry:
 291   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i32> %v1, <8 x i32> %v2
 292   ret <8 x i32> %vsel
 293 }
 294
 295 define <8 x double> @vsel_double8(<8 x double> %v1, <8 x double> %v2) {
 296 ; SSE2-LABEL: vsel_double8:
 297 ; SSE2:       # BB#0: # %entry
 298 ; SSE2-NEXT:    movsd %xmm0, %xmm4
 299 ; SSE2-NEXT:    movsd %xmm2, %xmm6
 300 ; SSE2-NEXT:    movaps %xmm4, %xmm0
 301 ; SSE2-NEXT:    movaps %xmm5, %xmm1
 302 ; SSE2-NEXT:    movaps %xmm6, %xmm2
 303 ; SSE2-NEXT:    movaps %xmm7, %xmm3
 304 ; SSE2-NEXT:    retq
 305 ;
 306 ; SSSE3-LABEL: vsel_double8:
 307 ; SSSE3:       # BB#0: # %entry
 308 ; SSSE3-NEXT:    movsd %xmm0, %xmm4
 309 ; SSSE3-NEXT:    movsd %xmm2, %xmm6
 310 ; SSSE3-NEXT:    movaps %xmm4, %xmm0
 311 ; SSSE3-NEXT:    movaps %xmm5, %xmm1
 312 ; SSSE3-NEXT:    movaps %xmm6, %xmm2
 313 ; SSSE3-NEXT:    movaps %xmm7, %xmm3
 314 ; SSSE3-NEXT:    retq
 315 ;
 316 ; SSE41-LABEL: vsel_double8:
 317 ; SSE41:       # BB#0: # %entry
 318 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm4[1]
 319 ; SSE41-NEXT:    blendpd {{.*#+}} xmm1 = xmm5[0,1]
 320 ; SSE41-NEXT:    blendpd {{.*#+}} xmm2 = xmm2[0],xmm6[1]
 321 ; SSE41-NEXT:    blendpd {{.*#+}} xmm3 = xmm7[0,1]
 322 ; SSE41-NEXT:    retq
 323 ;
 324 ; AVX-LABEL: vsel_double8:
 325 ; AVX:       # BB#0: # %entry
 326 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm2[1,2,3]
 327 ; AVX-NEXT:    vblendpd {{.*#+}} ymm1 = ymm1[0],ymm3[1,2,3]
 328 ; AVX-NEXT:    retq
 329 entry:
 330   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x double> %v1, <8 x double> %v2
 331   ret <8 x double> %vsel
 332 }
 333
 334 define <8 x i64> @vsel_i648(<8 x i64> %v1, <8 x i64> %v2) {
 335 ; SSE2-LABEL: vsel_i648:
 336 ; SSE2:       # BB#0: # %entry
 337 ; SSE2-NEXT:    movsd %xmm0, %xmm4
 338 ; SSE2-NEXT:    movsd %xmm2, %xmm6
 339 ; SSE2-NEXT:    movaps %xmm4, %xmm0
 340 ; SSE2-NEXT:    movaps %xmm5, %xmm1
 341 ; SSE2-NEXT:    movaps %xmm6, %xmm2
 342 ; SSE2-NEXT:    movaps %xmm7, %xmm3
 343 ; SSE2-NEXT:    retq
 344 ;
 345 ; SSSE3-LABEL: vsel_i648:
 346 ; SSSE3:       # BB#0: # %entry
 347 ; SSSE3-NEXT:    movsd %xmm0, %xmm4
 348 ; SSSE3-NEXT:    movsd %xmm2, %xmm6
 349 ; SSSE3-NEXT:    movaps %xmm4, %xmm0
 350 ; SSSE3-NEXT:    movaps %xmm5, %xmm1
 351 ; SSSE3-NEXT:    movaps %xmm6, %xmm2
 352 ; SSSE3-NEXT:    movaps %xmm7, %xmm3
 353 ; SSSE3-NEXT:    retq
 354 ;
 355 ; SSE41-LABEL: vsel_i648:
 356 ; SSE41:       # BB#0: # %entry
 357 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm4[1]
 358 ; SSE41-NEXT:    blendpd {{.*#+}} xmm1 = xmm5[0,1]
 359 ; SSE41-NEXT:    blendpd {{.*#+}} xmm2 = xmm2[0],xmm6[1]
 360 ; SSE41-NEXT:    blendpd {{.*#+}} xmm3 = xmm7[0,1]
 361 ; SSE41-NEXT:    retq
 362 ;
 363 ; AVX1-LABEL: vsel_i648:
 364 ; AVX1:       # BB#0: # %entry
 365 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm2[1,2,3]
 366 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm1 = ymm1[0],ymm3[1,2,3]
 367 ; AVX1-NEXT:    retq
 368 ;
 369 ; AVX2-LABEL: vsel_i648:
 370 ; AVX2:       # BB#0: # %entry
 371 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0,1],ymm2[2,3,4,5,6,7]
 372 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm1 = ymm1[0,1],ymm3[2,3,4,5,6,7]
 373 ; AVX2-NEXT:    retq
 374 entry:
 375   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i64> %v1, <8 x i64> %v2
 376   ret <8 x i64> %vsel
 377 }
 378
 379 define <4 x double> @vsel_double4(<4 x double> %v1, <4 x double> %v2) {
 380 ; SSE-LABEL: vsel_double4:
 381 ; SSE:       # BB#0: # %entry
 382 ; SSE-NEXT:    movsd %xmm0, %xmm2
 383 ; SSE-NEXT:    movsd %xmm1, %xmm3
 384 ; SSE-NEXT:    movaps %xmm2, %xmm0
 385 ; SSE-NEXT:    movaps %xmm3, %xmm1
 386 ; SSE-NEXT:    retq
 387 ;
 388 ; AVX-LABEL: vsel_double4:
 389 ; AVX:       # BB#0: # %entry
 390 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2],ymm1[3]
 391 ; AVX-NEXT:    retq
 392 entry:
 393   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %v1, <4 x double> %v2
 394   ret <4 x double> %vsel
 395 }
 396
 397 define <2 x double> @testa(<2 x double> %x, <2 x double> %y) {
 398 ; SSE2-LABEL: testa:
 399 ; SSE2:       # BB#0: # %entry
 400 ; SSE2-NEXT:    movapd %xmm1, %xmm2
 401 ; SSE2-NEXT:    cmplepd %xmm0, %xmm2
 402 ; SSE2-NEXT:    andpd %xmm2, %xmm0
 403 ; SSE2-NEXT:    andnpd %xmm1, %xmm2
 404 ; SSE2-NEXT:    orpd %xmm2, %xmm0
 405 ; SSE2-NEXT:    retq
 406 ;
 407 ; SSSE3-LABEL: testa:
 408 ; SSSE3:       # BB#0: # %entry
 409 ; SSSE3-NEXT:    movapd %xmm1, %xmm2
 410 ; SSSE3-NEXT:    cmplepd %xmm0, %xmm2
 411 ; SSSE3-NEXT:    andpd %xmm2, %xmm0
 412 ; SSSE3-NEXT:    andnpd %xmm1, %xmm2
 413 ; SSSE3-NEXT:    orpd %xmm2, %xmm0
 414 ; SSSE3-NEXT:    retq
 415 ;
 416 ; SSE41-LABEL: testa:
 417 ; SSE41:       # BB#0: # %entry
 418 ; SSE41-NEXT:    movapd %xmm0, %xmm2
 419 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 420 ; SSE41-NEXT:    cmplepd %xmm2, %xmm0
 421 ; SSE41-NEXT:    blendvpd %xmm2, %xmm1
 422 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 423 ; SSE41-NEXT:    retq
 424 ;
 425 ; AVX-LABEL: testa:
 426 ; AVX:       # BB#0: # %entry
 427 ; AVX-NEXT:    vcmplepd %xmm0, %xmm1, %xmm2
 428 ; AVX-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 429 ; AVX-NEXT:    retq
 430 entry:
 431   %max_is_x = fcmp oge <2 x double> %x, %y
 432   %max = select <2 x i1> %max_is_x, <2 x double> %x, <2 x double> %y
 433   ret <2 x double> %max
 434 }
 435
 436 define <2 x double> @testb(<2 x double> %x, <2 x double> %y) {
 437 ; SSE2-LABEL: testb:
 438 ; SSE2:       # BB#0: # %entry
 439 ; SSE2-NEXT:    movapd %xmm1, %xmm2
 440 ; SSE2-NEXT:    cmpnlepd %xmm0, %xmm2
 441 ; SSE2-NEXT:    andpd %xmm2, %xmm0
 442 ; SSE2-NEXT:    andnpd %xmm1, %xmm2
 443 ; SSE2-NEXT:    orpd %xmm2, %xmm0
 444 ; SSE2-NEXT:    retq
 445 ;
 446 ; SSSE3-LABEL: testb:
 447 ; SSSE3:       # BB#0: # %entry
 448 ; SSSE3-NEXT:    movapd %xmm1, %xmm2
 449 ; SSSE3-NEXT:    cmpnlepd %xmm0, %xmm2
 450 ; SSSE3-NEXT:    andpd %xmm2, %xmm0
 451 ; SSSE3-NEXT:    andnpd %xmm1, %xmm2
 452 ; SSSE3-NEXT:    orpd %xmm2, %xmm0
 453 ; SSSE3-NEXT:    retq
 454 ;
 455 ; SSE41-LABEL: testb:
 456 ; SSE41:       # BB#0: # %entry
 457 ; SSE41-NEXT:    movapd %xmm0, %xmm2
 458 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 459 ; SSE41-NEXT:    cmpnlepd %xmm2, %xmm0
 460 ; SSE41-NEXT:    blendvpd %xmm2, %xmm1
 461 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 462 ; SSE41-NEXT:    retq
 463 ;
 464 ; AVX-LABEL: testb:
 465 ; AVX:       # BB#0: # %entry
 466 ; AVX-NEXT:    vcmpnlepd %xmm0, %xmm1, %xmm2
 467 ; AVX-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 468 ; AVX-NEXT:    retq
 469 entry:
 470   %min_is_x = fcmp ult <2 x double> %x, %y
 471   %min = select <2 x i1> %min_is_x, <2 x double> %x, <2 x double> %y
 472   ret <2 x double> %min
 473 }
 474
 475 ; If we can figure out a blend has a constant mask, we should emit the
 476 ; blend instruction with an immediate mask
 477 define <4 x double> @constant_blendvpd_avx(<4 x double> %xy, <4 x double> %ab) {
 478 ; SSE-LABEL: constant_blendvpd_avx:
 479 ; SSE:       # BB#0: # %entry
 480 ; SSE-NEXT:    movsd %xmm1, %xmm3
 481 ; SSE-NEXT:    movaps %xmm2, %xmm0
 482 ; SSE-NEXT:    movaps %xmm3, %xmm1
 483 ; SSE-NEXT:    retq
 484 ;
 485 ; AVX-LABEL: constant_blendvpd_avx:
 486 ; AVX:       # BB#0: # %entry
 487 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2],ymm1[3]
 488 ; AVX-NEXT:    retq
 489 entry:
 490   %select = select <4 x i1> <i1 false, i1 false, i1 true, i1 false>, <4 x double> %xy, <4 x double> %ab
 491   ret <4 x double> %select
 492 }
 493
 494 define <8 x float> @constant_blendvps_avx(<8 x float> %xyzw, <8 x float> %abcd) {
 495 ; SSE2-LABEL: constant_blendvps_avx:
 496 ; SSE2:       # BB#0: # %entry
 497 ; SSE2-NEXT:    movaps {{.*#+}} xmm4 = [4294967295,4294967295,4294967295,0]
 498 ; SSE2-NEXT:    andps %xmm4, %xmm2
 499 ; SSE2-NEXT:    movaps {{.*#+}} xmm5 = [0,0,0,4294967295]
 500 ; SSE2-NEXT:    andps %xmm5, %xmm0
 501 ; SSE2-NEXT:    orps %xmm2, %xmm0
 502 ; SSE2-NEXT:    andps %xmm4, %xmm3
 503 ; SSE2-NEXT:    andps %xmm5, %xmm1
 504 ; SSE2-NEXT:    orps %xmm3, %xmm1
 505 ; SSE2-NEXT:    retq
 506 ;
 507 ; SSSE3-LABEL: constant_blendvps_avx:
 508 ; SSSE3:       # BB#0: # %entry
 509 ; SSSE3-NEXT:    movaps {{.*#+}} xmm4 = [4294967295,4294967295,4294967295,0]
 510 ; SSSE3-NEXT:    andps %xmm4, %xmm2
 511 ; SSSE3-NEXT:    movaps {{.*#+}} xmm5 = [0,0,0,4294967295]
 512 ; SSSE3-NEXT:    andps %xmm5, %xmm0
 513 ; SSSE3-NEXT:    orps %xmm2, %xmm0
 514 ; SSSE3-NEXT:    andps %xmm4, %xmm3
 515 ; SSSE3-NEXT:    andps %xmm5, %xmm1
 516 ; SSSE3-NEXT:    orps %xmm3, %xmm1
 517 ; SSSE3-NEXT:    retq
 518 ;
 519 ; SSE41-LABEL: constant_blendvps_avx:
 520 ; SSE41:       # BB#0: # %entry
 521 ; SSE41-NEXT:    blendps {{.*#+}} xmm2 = xmm2[0,1,2],xmm0[3]
 522 ; SSE41-NEXT:    blendps {{.*#+}} xmm3 = xmm3[0,1,2],xmm1[3]
 523 ; SSE41-NEXT:    movaps %xmm2, %xmm0
 524 ; SSE41-NEXT:    movaps %xmm3, %xmm1
 525 ; SSE41-NEXT:    retq
 526 ;
 527 ; AVX-LABEL: constant_blendvps_avx:
 528 ; AVX:       # BB#0: # %entry
 529 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3],ymm1[4,5,6],ymm0[7]
 530 ; AVX-NEXT:    retq
 531 entry:
 532   %select = select <8 x i1> <i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true>, <8 x float> %xyzw, <8 x float> %abcd
 533   ret <8 x float> %select
 534 }
 535
 536 define <32 x i8> @constant_pblendvb_avx2(<32 x i8> %xyzw, <32 x i8> %abcd) {
 537 ; SSE2-LABEL: constant_pblendvb_avx2:
 538 ; SSE2:       # BB#0: # %entry
 539 ; SSE2-NEXT:    movaps {{.*#+}} xmm4 = [255,255,0,255,0,0,0,255,255,255,0,255,0,0,0,255]
 540 ; SSE2-NEXT:    andps %xmm4, %xmm2
 541 ; SSE2-NEXT:    movaps {{.*#+}} xmm5 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 542 ; SSE2-NEXT:    andps %xmm5, %xmm0
 543 ; SSE2-NEXT:    orps %xmm2, %xmm0
 544 ; SSE2-NEXT:    andps %xmm4, %xmm3
 545 ; SSE2-NEXT:    andps %xmm5, %xmm1
 546 ; SSE2-NEXT:    orps %xmm3, %xmm1
 547 ; SSE2-NEXT:    retq
 548 ;
 549 ; SSSE3-LABEL: constant_pblendvb_avx2:
 550 ; SSSE3:       # BB#0: # %entry
 551 ; SSSE3-NEXT:    movaps {{.*#+}} xmm4 = [255,255,0,255,0,0,0,255,255,255,0,255,0,0,0,255]
 552 ; SSSE3-NEXT:    andps %xmm4, %xmm2
 553 ; SSSE3-NEXT:    movaps {{.*#+}} xmm5 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 554 ; SSSE3-NEXT:    andps %xmm5, %xmm0
 555 ; SSSE3-NEXT:    orps %xmm2, %xmm0
 556 ; SSSE3-NEXT:    andps %xmm4, %xmm3
 557 ; SSSE3-NEXT:    andps %xmm5, %xmm1
 558 ; SSSE3-NEXT:    orps %xmm3, %xmm1
 559 ; SSSE3-NEXT:    retq
 560 ;
 561 ; SSE41-LABEL: constant_pblendvb_avx2:
 562 ; SSE41:       # BB#0: # %entry
 563 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 564 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 565 ; SSE41-NEXT:    pblendvb %xmm4, %xmm2
 566 ; SSE41-NEXT:    pblendvb %xmm1, %xmm3
 567 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 568 ; SSE41-NEXT:    movdqa %xmm3, %xmm1
 569 ; SSE41-NEXT:    retq
 570 ;
 571 ; AVX1-LABEL: constant_pblendvb_avx2:
 572 ; AVX1:       # BB#0: # %entry
 573 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm1, %ymm1
 574 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
 575 ; AVX1-NEXT:    vorps %ymm1, %ymm0, %ymm0
 576 ; AVX1-NEXT:    retq
 577 ;
 578 ; AVX2-LABEL: constant_pblendvb_avx2:
 579 ; AVX2:       # BB#0: # %entry
 580 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 581 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm0, %ymm1, %ymm0
 582 ; AVX2-NEXT:    retq
 583 entry:
 584   %select = select <32 x i1> <i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false>, <32 x i8> %xyzw, <32 x i8> %abcd
 585   ret <32 x i8> %select
 586 }
 587
 588 declare <8 x float> @llvm.x86.avx.blendv.ps.256(<8 x float>, <8 x float>, <8 x float>)
 589 declare <4 x double> @llvm.x86.avx.blendv.pd.256(<4 x double>, <4 x double>, <4 x double>)
 590
 591 ;; 4 tests for shufflevectors that optimize to blend + immediate
 592 define <4 x float> @blend_shufflevector_4xfloat(<4 x float> %a, <4 x float> %b) {
 593 ; SSE2-LABEL: blend_shufflevector_4xfloat:
 594 ; SSE2:       # BB#0: # %entry
 595 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,3]
 596 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,1,3]
 597 ; SSE2-NEXT:    retq
 598 ;
 599 ; SSSE3-LABEL: blend_shufflevector_4xfloat:
 600 ; SSSE3:       # BB#0: # %entry
 601 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,3]
 602 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2,1,3]
 603 ; SSSE3-NEXT:    retq
 604 ;
 605 ; SSE41-LABEL: blend_shufflevector_4xfloat:
 606 ; SSE41:       # BB#0: # %entry
 607 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 608 ; SSE41-NEXT:    retq
 609 ;
 610 ; AVX-LABEL: blend_shufflevector_4xfloat:
 611 ; AVX:       # BB#0: # %entry
 612 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 613 ; AVX-NEXT:    retq
 614 entry:
 615   %select = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 5, i32 2, i32 7>
 616   ret <4 x float> %select
 617 }
 618
 619 define <8 x float> @blend_shufflevector_8xfloat(<8 x float> %a, <8 x float> %b) {
 620 ; SSE2-LABEL: blend_shufflevector_8xfloat:
 621 ; SSE2:       # BB#0: # %entry
 622 ; SSE2-NEXT:    movss %xmm0, %xmm2
 623 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm3[3,0]
 624 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,1],xmm1[0,2]
 625 ; SSE2-NEXT:    movaps %xmm2, %xmm0
 626 ; SSE2-NEXT:    movaps %xmm3, %xmm1
 627 ; SSE2-NEXT:    retq
 628 ;
 629 ; SSSE3-LABEL: blend_shufflevector_8xfloat:
 630 ; SSSE3:       # BB#0: # %entry
 631 ; SSSE3-NEXT:    movss %xmm0, %xmm2
 632 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm3[3,0]
 633 ; SSSE3-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,1],xmm1[0,2]
 634 ; SSSE3-NEXT:    movaps %xmm2, %xmm0
 635 ; SSSE3-NEXT:    movaps %xmm3, %xmm1
 636 ; SSSE3-NEXT:    retq
 637 ;
 638 ; SSE41-LABEL: blend_shufflevector_8xfloat:
 639 ; SSE41:       # BB#0: # %entry
 640 ; SSE41-NEXT:    blendps {{.*#+}} xmm2 = xmm0[0],xmm2[1,2,3]
 641 ; SSE41-NEXT:    blendps {{.*#+}} xmm3 = xmm3[0,1],xmm1[2],xmm3[3]
 642 ; SSE41-NEXT:    movaps %xmm2, %xmm0
 643 ; SSE41-NEXT:    movaps %xmm3, %xmm1
 644 ; SSE41-NEXT:    retq
 645 ;
 646 ; AVX-LABEL: blend_shufflevector_8xfloat:
 647 ; AVX:       # BB#0: # %entry
 648 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3,4,5],ymm0[6],ymm1[7]
 649 ; AVX-NEXT:    retq
 650 entry:
 651   %select = shufflevector <8 x float> %a, <8 x float> %b, <8 x i32> <i32 0, i32 9, i32 10, i32 11, i32 12, i32 13, i32 6, i32 15>
 652   ret <8 x float> %select
 653 }
 654
 655 define <4 x double> @blend_shufflevector_4xdouble(<4 x double> %a, <4 x double> %b) {
 656 ; SSE2-LABEL: blend_shufflevector_4xdouble:
 657 ; SSE2:       # BB#0: # %entry
 658 ; SSE2-NEXT:    movsd %xmm0, %xmm2
 659 ; SSE2-NEXT:    movaps %xmm2, %xmm0
 660 ; SSE2-NEXT:    retq
 661 ;
 662 ; SSSE3-LABEL: blend_shufflevector_4xdouble:
 663 ; SSSE3:       # BB#0: # %entry
 664 ; SSSE3-NEXT:    movsd %xmm0, %xmm2
 665 ; SSSE3-NEXT:    movaps %xmm2, %xmm0
 666 ; SSSE3-NEXT:    retq
 667 ;
 668 ; SSE41-LABEL: blend_shufflevector_4xdouble:
 669 ; SSE41:       # BB#0: # %entry
 670 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm2[1]
 671 ; SSE41-NEXT:    retq
 672 ;
 673 ; AVX-LABEL: blend_shufflevector_4xdouble:
 674 ; AVX:       # BB#0: # %entry
 675 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2,3]
 676 ; AVX-NEXT:    retq
 677 entry:
 678   %select = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 5, i32 2, i32 3>
 679   ret <4 x double> %select
 680 }
 681
 682 define <4 x i64> @blend_shufflevector_4xi64(<4 x i64> %a, <4 x i64> %b) {
 683 ; SSE2-LABEL: blend_shufflevector_4xi64:
 684 ; SSE2:       # BB#0: # %entry
 685 ; SSE2-NEXT:    movsd %xmm2, %xmm0
 686 ; SSE2-NEXT:    movaps %xmm3, %xmm1
 687 ; SSE2-NEXT:    retq
 688 ;
 689 ; SSSE3-LABEL: blend_shufflevector_4xi64:
 690 ; SSSE3:       # BB#0: # %entry
 691 ; SSSE3-NEXT:    movsd %xmm2, %xmm0
 692 ; SSSE3-NEXT:    movaps %xmm3, %xmm1
 693 ; SSSE3-NEXT:    retq
 694 ;
 695 ; SSE41-LABEL: blend_shufflevector_4xi64:
 696 ; SSE41:       # BB#0: # %entry
 697 ; SSE41-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm0[4,5,6,7]
 698 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 699 ; SSE41-NEXT:    movaps %xmm3, %xmm1
 700 ; SSE41-NEXT:    retq
 701 ;
 702 ; AVX1-LABEL: blend_shufflevector_4xi64:
 703 ; AVX1:       # BB#0: # %entry
 704 ; AVX1-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0],ymm0[1],ymm1[2,3]
 705 ; AVX1-NEXT:    retq
 706 ;
 707 ; AVX2-LABEL: blend_shufflevector_4xi64:
 708 ; AVX2:       # BB#0: # %entry
 709 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2,3],ymm1[4,5,6,7]
 710 ; AVX2-NEXT:    retq
 711 entry:
 712   %select = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 1, i32 6, i32 7>
 713   ret <4 x i64> %select
 714 }