test/CodeGen/X86/vector-blend.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse2 | FileCheck %s --check-prefix=SSE --check-prefix=SSE2
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+ssse3 | FileCheck %s --check-prefix=SSE --check-prefix=SSSE3
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+sse4.1 | FileCheck %s --check-prefix=SSE --check-prefix=SSE41
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx | FileCheck %s --check-prefix=AVX --check-prefix=AVX1
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=x86-64 -mattr=+avx2 | FileCheck %s --check-prefix=AVX --check-prefix=AVX2
   6
   7 ; AVX128 tests:
   8
   9 define <4 x float> @vsel_float(<4 x float> %v1, <4 x float> %v2) {
  10 ; SSE2-LABEL: vsel_float:
  11 ; SSE2:       # BB#0: # %entry
  12 ; SSE2-NEXT:    andps {{.*}}, %xmm1
  13 ; SSE2-NEXT:    andps {{.*}}, %xmm0
  14 ; SSE2-NEXT:    orps %xmm1, %xmm0
  15 ; SSE2-NEXT:    retq
  16 ;
  17 ; SSSE3-LABEL: vsel_float:
  18 ; SSSE3:       # BB#0: # %entry
  19 ; SSSE3-NEXT:    andps {{.*}}, %xmm1
  20 ; SSSE3-NEXT:    andps {{.*}}, %xmm0
  21 ; SSSE3-NEXT:    orps %xmm1, %xmm0
  22 ; SSSE3-NEXT:    retq
  23 ;
  24 ; SSE41-LABEL: vsel_float:
  25 ; SSE41:       # BB#0: # %entry
  26 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
  27 ; SSE41-NEXT:    retq
  28 ;
  29 ; AVX-LABEL: vsel_float:
  30 ; AVX:       # BB#0: # %entry
  31 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
  32 ; AVX-NEXT:    retq
  33 entry:
  34   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %v1, <4 x float> %v2
  35   ret <4 x float> %vsel
  36 }
  37
  38 define <4 x float> @vsel_float2(<4 x float> %v1, <4 x float> %v2) {
  39 ; SSE-LABEL: vsel_float2:
  40 ; SSE:       # BB#0: # %entry
  41 ; SSE-NEXT:    movss %xmm0, %xmm1
  42 ; SSE-NEXT:    movaps %xmm1, %xmm0
  43 ; SSE-NEXT:    retq
  44 ;
  45 ; AVX-LABEL: vsel_float2:
  46 ; AVX:       # BB#0: # %entry
  47 ; AVX-NEXT:    vmovss %xmm0, %xmm1, %xmm0
  48 ; AVX-NEXT:    retq
  49 entry:
  50   %vsel = select <4 x i1> <i1 true, i1 false, i1 false, i1 false>, <4 x float> %v1, <4 x float> %v2
  51   ret <4 x float> %vsel
  52 }
  53
  54 define <4 x i8> @vsel_4xi8(<4 x i8> %v1, <4 x i8> %v2) {
  55 ; SSE2-LABEL: vsel_4xi8:
  56 ; SSE2:       # BB#0: # %entry
  57 ; SSE2-NEXT:    andps {{.*}}, %xmm1
  58 ; SSE2-NEXT:    andps {{.*}}, %xmm0
  59 ; SSE2-NEXT:    orps %xmm1, %xmm0
  60 ; SSE2-NEXT:    retq
  61 ;
  62 ; SSSE3-LABEL: vsel_4xi8:
  63 ; SSSE3:       # BB#0: # %entry
  64 ; SSSE3-NEXT:    andps {{.*}}, %xmm1
  65 ; SSSE3-NEXT:    andps {{.*}}, %xmm0
  66 ; SSSE3-NEXT:    orps %xmm1, %xmm0
  67 ; SSSE3-NEXT:    retq
  68 ;
  69 ; SSE41-LABEL: vsel_4xi8:
  70 ; SSE41:       # BB#0: # %entry
  71 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
  72 ; SSE41-NEXT:    retq
  73 ;
  74 ; AVX1-LABEL: vsel_4xi8:
  75 ; AVX1:       # BB#0: # %entry
  76 ; AVX1-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
  77 ; AVX1-NEXT:    retq
  78 ;
  79 ; AVX2-LABEL: vsel_4xi8:
  80 ; AVX2:       # BB#0: # %entry
  81 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0,1],xmm1[2],xmm0[3]
  82 ; AVX2-NEXT:    retq
  83 entry:
  84   %vsel = select <4 x i1> <i1 true, i1 true, i1 false, i1 true>, <4 x i8> %v1, <4 x i8> %v2
  85   ret <4 x i8> %vsel
  86 }
  87
  88 define <4 x i16> @vsel_4xi16(<4 x i16> %v1, <4 x i16> %v2) {
  89 ; SSE2-LABEL: vsel_4xi16:
  90 ; SSE2:       # BB#0: # %entry
  91 ; SSE2-NEXT:    andps {{.*}}, %xmm1
  92 ; SSE2-NEXT:    andps {{.*}}, %xmm0
  93 ; SSE2-NEXT:    orps %xmm1, %xmm0
  94 ; SSE2-NEXT:    retq
  95 ;
  96 ; SSSE3-LABEL: vsel_4xi16:
  97 ; SSSE3:       # BB#0: # %entry
  98 ; SSSE3-NEXT:    andps {{.*}}, %xmm1
  99 ; SSSE3-NEXT:    andps {{.*}}, %xmm0
 100 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 101 ; SSSE3-NEXT:    retq
 102 ;
 103 ; SSE41-LABEL: vsel_4xi16:
 104 ; SSE41:       # BB#0: # %entry
 105 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3]
 106 ; SSE41-NEXT:    retq
 107 ;
 108 ; AVX1-LABEL: vsel_4xi16:
 109 ; AVX1:       # BB#0: # %entry
 110 ; AVX1-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3]
 111 ; AVX1-NEXT:    retq
 112 ;
 113 ; AVX2-LABEL: vsel_4xi16:
 114 ; AVX2:       # BB#0: # %entry
 115 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2,3]
 116 ; AVX2-NEXT:    retq
 117 entry:
 118   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 true>, <4 x i16> %v1, <4 x i16> %v2
 119   ret <4 x i16> %vsel
 120 }
 121
 122 define <4 x i32> @vsel_i32(<4 x i32> %v1, <4 x i32> %v2) {
 123 ; SSE2-LABEL: vsel_i32:
 124 ; SSE2:       # BB#0: # %entry
 125 ; SSE2-NEXT:    andps {{.*}}, %xmm1
 126 ; SSE2-NEXT:    andps {{.*}}, %xmm0
 127 ; SSE2-NEXT:    orps %xmm1, %xmm0
 128 ; SSE2-NEXT:    retq
 129 ;
 130 ; SSSE3-LABEL: vsel_i32:
 131 ; SSSE3:       # BB#0: # %entry
 132 ; SSSE3-NEXT:    andps {{.*}}, %xmm1
 133 ; SSSE3-NEXT:    andps {{.*}}, %xmm0
 134 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 135 ; SSSE3-NEXT:    retq
 136 ;
 137 ; SSE41-LABEL: vsel_i32:
 138 ; SSE41:       # BB#0: # %entry
 139 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 140 ; SSE41-NEXT:    retq
 141 ;
 142 ; AVX1-LABEL: vsel_i32:
 143 ; AVX1:       # BB#0: # %entry
 144 ; AVX1-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 145 ; AVX1-NEXT:    retq
 146 ;
 147 ; AVX2-LABEL: vsel_i32:
 148 ; AVX2:       # BB#0: # %entry
 149 ; AVX2-NEXT:    vpblendd {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 150 ; AVX2-NEXT:    retq
 151 entry:
 152   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x i32> %v1, <4 x i32> %v2
 153   ret <4 x i32> %vsel
 154 }
 155
 156 define <2 x double> @vsel_double(<2 x double> %v1, <2 x double> %v2) {
 157 ; SSE-LABEL: vsel_double:
 158 ; SSE:       # BB#0: # %entry
 159 ; SSE-NEXT:    movsd %xmm0, %xmm1
 160 ; SSE-NEXT:    movaps %xmm1, %xmm0
 161 ; SSE-NEXT:    retq
 162 ;
 163 ; AVX-LABEL: vsel_double:
 164 ; AVX:       # BB#0: # %entry
 165 ; AVX-NEXT:    vmovsd %xmm0, %xmm1, %xmm0
 166 ; AVX-NEXT:    retq
 167 entry:
 168   %vsel = select <2 x i1> <i1 true, i1 false>, <2 x double> %v1, <2 x double> %v2
 169   ret <2 x double> %vsel
 170 }
 171
 172 define <2 x i64> @vsel_i64(<2 x i64> %v1, <2 x i64> %v2) {
 173 ; SSE-LABEL: vsel_i64:
 174 ; SSE:       # BB#0: # %entry
 175 ; SSE-NEXT:    movsd %xmm0, %xmm1
 176 ; SSE-NEXT:    movaps %xmm1, %xmm0
 177 ; SSE-NEXT:    retq
 178 ;
 179 ; AVX-LABEL: vsel_i64:
 180 ; AVX:       # BB#0: # %entry
 181 ; AVX-NEXT:    vmovsd %xmm0, %xmm1, %xmm0
 182 ; AVX-NEXT:    retq
 183 entry:
 184   %vsel = select <2 x i1> <i1 true, i1 false>, <2 x i64> %v1, <2 x i64> %v2
 185   ret <2 x i64> %vsel
 186 }
 187
 188 define <8 x i16> @vsel_8xi16(<8 x i16> %v1, <8 x i16> %v2) {
 189 ; SSE2-LABEL: vsel_8xi16:
 190 ; SSE2:       # BB#0: # %entry
 191 ; SSE2-NEXT:    andps {{.*}}, %xmm1
 192 ; SSE2-NEXT:    andps {{.*}}, %xmm0
 193 ; SSE2-NEXT:    orps %xmm1, %xmm0
 194 ; SSE2-NEXT:    retq
 195 ;
 196 ; SSSE3-LABEL: vsel_8xi16:
 197 ; SSSE3:       # BB#0: # %entry
 198 ; SSSE3-NEXT:    andps {{.*}}, %xmm1
 199 ; SSSE3-NEXT:    andps {{.*}}, %xmm0
 200 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 201 ; SSSE3-NEXT:    retq
 202 ;
 203 ; SSE41-LABEL: vsel_8xi16:
 204 ; SSE41:       # BB#0: # %entry
 205 ; SSE41-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3],xmm0[4],xmm1[5,6,7]
 206 ; SSE41-NEXT:    retq
 207 ;
 208 ; AVX-LABEL: vsel_8xi16:
 209 ; AVX:       # BB#0: # %entry
 210 ; AVX-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1,2,3],xmm0[4],xmm1[5,6,7]
 211 ; AVX-NEXT:    retq
 212 entry:
 213   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i16> %v1, <8 x i16> %v2
 214   ret <8 x i16> %vsel
 215 }
 216
 217 define <16 x i8> @vsel_i8(<16 x i8> %v1, <16 x i8> %v2) {
 218 ; SSE2-LABEL: vsel_i8:
 219 ; SSE2:       # BB#0: # %entry
 220 ; SSE2-NEXT:    andps {{.*}}, %xmm1
 221 ; SSE2-NEXT:    andps {{.*}}, %xmm0
 222 ; SSE2-NEXT:    orps %xmm1, %xmm0
 223 ; SSE2-NEXT:    retq
 224 ;
 225 ; SSSE3-LABEL: vsel_i8:
 226 ; SSSE3:       # BB#0: # %entry
 227 ; SSSE3-NEXT:    andps {{.*}}, %xmm1
 228 ; SSSE3-NEXT:    andps {{.*}}, %xmm0
 229 ; SSSE3-NEXT:    orps %xmm1, %xmm0
 230 ; SSSE3-NEXT:    retq
 231 ;
 232 ; SSE41-LABEL: vsel_i8:
 233 ; SSE41:       # BB#0: # %entry
 234 ; SSE41-NEXT:    movdqa %xmm0, %xmm2
 235 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
 236 ; SSE41-NEXT:    pblendvb %xmm2, %xmm1
 237 ; SSE41-NEXT:    movdqa %xmm1, %xmm0
 238 ; SSE41-NEXT:    retq
 239 ;
 240 ; AVX-LABEL: vsel_i8:
 241 ; AVX:       # BB#0: # %entry
 242 ; AVX-NEXT:    vmovdqa {{.*#+}} xmm2 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
 243 ; AVX-NEXT:    vpblendvb %xmm2, %xmm0, %xmm1, %xmm0
 244 ; AVX-NEXT:    retq
 245 entry:
 246   %vsel = select <16 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <16 x i8> %v1, <16 x i8> %v2
 247   ret <16 x i8> %vsel
 248 }
 249
 250
 251 ; AVX256 tests:
 252
 253 define <8 x float> @vsel_float8(<8 x float> %v1, <8 x float> %v2) {
 254 ; SSE-LABEL: vsel_float8:
 255 ; SSE:       # BB#0: # %entry
 256 ; SSE-NEXT:    movss %xmm0, %xmm2
 257 ; SSE-NEXT:    movss %xmm1, %xmm3
 258 ; SSE-NEXT:    movaps %xmm2, %xmm0
 259 ; SSE-NEXT:    movaps %xmm3, %xmm1
 260 ; SSE-NEXT:    retq
 261 ;
 262 ; AVX-LABEL: vsel_float8:
 263 ; AVX:       # BB#0: # %entry
 264 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 265 ; AVX-NEXT:    retq
 266 entry:
 267   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x float> %v1, <8 x float> %v2
 268   ret <8 x float> %vsel
 269 }
 270
 271 define <8 x i32> @vsel_i328(<8 x i32> %v1, <8 x i32> %v2) {
 272 ; SSE-LABEL: vsel_i328:
 273 ; SSE:       # BB#0: # %entry
 274 ; SSE-NEXT:    movss %xmm0, %xmm2
 275 ; SSE-NEXT:    movss %xmm1, %xmm3
 276 ; SSE-NEXT:    movaps %xmm2, %xmm0
 277 ; SSE-NEXT:    movaps %xmm3, %xmm1
 278 ; SSE-NEXT:    retq
 279 ;
 280 ; AVX1-LABEL: vsel_i328:
 281 ; AVX1:       # BB#0: # %entry
 282 ; AVX1-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 283 ; AVX1-NEXT:    retq
 284 ;
 285 ; AVX2-LABEL: vsel_i328:
 286 ; AVX2:       # BB#0: # %entry
 287 ; AVX2-NEXT:    vpblendd {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3],ymm0[4],ymm1[5,6,7]
 288 ; AVX2-NEXT:    retq
 289 entry:
 290   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i32> %v1, <8 x i32> %v2
 291   ret <8 x i32> %vsel
 292 }
 293
 294 define <8 x double> @vsel_double8(<8 x double> %v1, <8 x double> %v2) {
 295 ; SSE2-LABEL: vsel_double8:
 296 ; SSE2:       # BB#0: # %entry
 297 ; SSE2-NEXT:    movsd %xmm0, %xmm4
 298 ; SSE2-NEXT:    movsd %xmm2, %xmm6
 299 ; SSE2-NEXT:    movaps %xmm4, %xmm0
 300 ; SSE2-NEXT:    movaps %xmm5, %xmm1
 301 ; SSE2-NEXT:    movaps %xmm6, %xmm2
 302 ; SSE2-NEXT:    movaps %xmm7, %xmm3
 303 ; SSE2-NEXT:    retq
 304 ;
 305 ; SSSE3-LABEL: vsel_double8:
 306 ; SSSE3:       # BB#0: # %entry
 307 ; SSSE3-NEXT:    movsd %xmm0, %xmm4
 308 ; SSSE3-NEXT:    movsd %xmm2, %xmm6
 309 ; SSSE3-NEXT:    movaps %xmm4, %xmm0
 310 ; SSSE3-NEXT:    movaps %xmm5, %xmm1
 311 ; SSSE3-NEXT:    movaps %xmm6, %xmm2
 312 ; SSSE3-NEXT:    movaps %xmm7, %xmm3
 313 ; SSSE3-NEXT:    retq
 314 ;
 315 ; SSE41-LABEL: vsel_double8:
 316 ; SSE41:       # BB#0: # %entry
 317 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm4[1]
 318 ; SSE41-NEXT:    blendpd {{.*#+}} xmm1 = xmm5[0,1]
 319 ; SSE41-NEXT:    blendpd {{.*#+}} xmm2 = xmm2[0],xmm6[1]
 320 ; SSE41-NEXT:    blendpd {{.*#+}} xmm3 = xmm7[0,1]
 321 ; SSE41-NEXT:    retq
 322 ;
 323 ; AVX-LABEL: vsel_double8:
 324 ; AVX:       # BB#0: # %entry
 325 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm2[1,2,3]
 326 ; AVX-NEXT:    vblendpd {{.*#+}} ymm1 = ymm1[0],ymm3[1,2,3]
 327 ; AVX-NEXT:    retq
 328 entry:
 329   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x double> %v1, <8 x double> %v2
 330   ret <8 x double> %vsel
 331 }
 332
 333 define <8 x i64> @vsel_i648(<8 x i64> %v1, <8 x i64> %v2) {
 334 ; SSE2-LABEL: vsel_i648:
 335 ; SSE2:       # BB#0: # %entry
 336 ; SSE2-NEXT:    movsd %xmm0, %xmm4
 337 ; SSE2-NEXT:    movsd %xmm2, %xmm6
 338 ; SSE2-NEXT:    movaps %xmm4, %xmm0
 339 ; SSE2-NEXT:    movaps %xmm5, %xmm1
 340 ; SSE2-NEXT:    movaps %xmm6, %xmm2
 341 ; SSE2-NEXT:    movaps %xmm7, %xmm3
 342 ; SSE2-NEXT:    retq
 343 ;
 344 ; SSSE3-LABEL: vsel_i648:
 345 ; SSSE3:       # BB#0: # %entry
 346 ; SSSE3-NEXT:    movsd %xmm0, %xmm4
 347 ; SSSE3-NEXT:    movsd %xmm2, %xmm6
 348 ; SSSE3-NEXT:    movaps %xmm4, %xmm0
 349 ; SSSE3-NEXT:    movaps %xmm5, %xmm1
 350 ; SSSE3-NEXT:    movaps %xmm6, %xmm2
 351 ; SSSE3-NEXT:    movaps %xmm7, %xmm3
 352 ; SSSE3-NEXT:    retq
 353 ;
 354 ; SSE41-LABEL: vsel_i648:
 355 ; SSE41:       # BB#0: # %entry
 356 ; SSE41-NEXT:    blendpd {{.*#+}} xmm0 = xmm0[0],xmm4[1]
 357 ; SSE41-NEXT:    blendpd {{.*#+}} xmm1 = xmm5[0,1]
 358 ; SSE41-NEXT:    blendpd {{.*#+}} xmm2 = xmm2[0],xmm6[1]
 359 ; SSE41-NEXT:    blendpd {{.*#+}} xmm3 = xmm7[0,1]
 360 ; SSE41-NEXT:    retq
 361 ;
 362 ; AVX-LABEL: vsel_i648:
 363 ; AVX:       # BB#0: # %entry
 364 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm2[1,2,3]
 365 ; AVX-NEXT:    vblendpd {{.*#+}} ymm1 = ymm1[0],ymm3[1,2,3]
 366 ; AVX-NEXT:    retq
 367 entry:
 368   %vsel = select <8 x i1> <i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false>, <8 x i64> %v1, <8 x i64> %v2
 369   ret <8 x i64> %vsel
 370 }
 371
 372 define <4 x double> @vsel_double4(<4 x double> %v1, <4 x double> %v2) {
 373 ; SSE-LABEL: vsel_double4:
 374 ; SSE:       # BB#0: # %entry
 375 ; SSE-NEXT:    movsd %xmm0, %xmm2
 376 ; SSE-NEXT:    movsd %xmm1, %xmm3
 377 ; SSE-NEXT:    movaps %xmm2, %xmm0
 378 ; SSE-NEXT:    movaps %xmm3, %xmm1
 379 ; SSE-NEXT:    retq
 380 ;
 381 ; AVX-LABEL: vsel_double4:
 382 ; AVX:       # BB#0: # %entry
 383 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2],ymm1[3]
 384 ; AVX-NEXT:    retq
 385 entry:
 386   %vsel = select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %v1, <4 x double> %v2
 387   ret <4 x double> %vsel
 388 }
 389
 390 define <2 x double> @testa(<2 x double> %x, <2 x double> %y) {
 391 ; SSE2-LABEL: testa:
 392 ; SSE2:       # BB#0: # %entry
 393 ; SSE2-NEXT:    movapd %xmm1, %xmm2
 394 ; SSE2-NEXT:    cmplepd %xmm0, %xmm2
 395 ; SSE2-NEXT:    andpd %xmm2, %xmm0
 396 ; SSE2-NEXT:    andnpd %xmm1, %xmm2
 397 ; SSE2-NEXT:    orpd %xmm2, %xmm0
 398 ; SSE2-NEXT:    retq
 399 ;
 400 ; SSSE3-LABEL: testa:
 401 ; SSSE3:       # BB#0: # %entry
 402 ; SSSE3-NEXT:    movapd %xmm1, %xmm2
 403 ; SSSE3-NEXT:    cmplepd %xmm0, %xmm2
 404 ; SSSE3-NEXT:    andpd %xmm2, %xmm0
 405 ; SSSE3-NEXT:    andnpd %xmm1, %xmm2
 406 ; SSSE3-NEXT:    orpd %xmm2, %xmm0
 407 ; SSSE3-NEXT:    retq
 408 ;
 409 ; SSE41-LABEL: testa:
 410 ; SSE41:       # BB#0: # %entry
 411 ; SSE41-NEXT:    movapd %xmm0, %xmm2
 412 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 413 ; SSE41-NEXT:    cmplepd %xmm2, %xmm0
 414 ; SSE41-NEXT:    blendvpd %xmm2, %xmm1
 415 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 416 ; SSE41-NEXT:    retq
 417 ;
 418 ; AVX-LABEL: testa:
 419 ; AVX:       # BB#0: # %entry
 420 ; AVX-NEXT:    vcmplepd %xmm0, %xmm1, %xmm2
 421 ; AVX-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 422 ; AVX-NEXT:    retq
 423 entry:
 424   %max_is_x = fcmp oge <2 x double> %x, %y
 425   %max = select <2 x i1> %max_is_x, <2 x double> %x, <2 x double> %y
 426   ret <2 x double> %max
 427 }
 428
 429 define <2 x double> @testb(<2 x double> %x, <2 x double> %y) {
 430 ; SSE2-LABEL: testb:
 431 ; SSE2:       # BB#0: # %entry
 432 ; SSE2-NEXT:    movapd %xmm1, %xmm2
 433 ; SSE2-NEXT:    cmpnlepd %xmm0, %xmm2
 434 ; SSE2-NEXT:    andpd %xmm2, %xmm0
 435 ; SSE2-NEXT:    andnpd %xmm1, %xmm2
 436 ; SSE2-NEXT:    orpd %xmm2, %xmm0
 437 ; SSE2-NEXT:    retq
 438 ;
 439 ; SSSE3-LABEL: testb:
 440 ; SSSE3:       # BB#0: # %entry
 441 ; SSSE3-NEXT:    movapd %xmm1, %xmm2
 442 ; SSSE3-NEXT:    cmpnlepd %xmm0, %xmm2
 443 ; SSSE3-NEXT:    andpd %xmm2, %xmm0
 444 ; SSSE3-NEXT:    andnpd %xmm1, %xmm2
 445 ; SSSE3-NEXT:    orpd %xmm2, %xmm0
 446 ; SSSE3-NEXT:    retq
 447 ;
 448 ; SSE41-LABEL: testb:
 449 ; SSE41:       # BB#0: # %entry
 450 ; SSE41-NEXT:    movapd %xmm0, %xmm2
 451 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 452 ; SSE41-NEXT:    cmpnlepd %xmm2, %xmm0
 453 ; SSE41-NEXT:    blendvpd %xmm2, %xmm1
 454 ; SSE41-NEXT:    movapd %xmm1, %xmm0
 455 ; SSE41-NEXT:    retq
 456 ;
 457 ; AVX-LABEL: testb:
 458 ; AVX:       # BB#0: # %entry
 459 ; AVX-NEXT:    vcmpnlepd %xmm0, %xmm1, %xmm2
 460 ; AVX-NEXT:    vblendvpd %xmm2, %xmm0, %xmm1, %xmm0
 461 ; AVX-NEXT:    retq
 462 entry:
 463   %min_is_x = fcmp ult <2 x double> %x, %y
 464   %min = select <2 x i1> %min_is_x, <2 x double> %x, <2 x double> %y
 465   ret <2 x double> %min
 466 }
 467
 468 ; If we can figure out a blend has a constant mask, we should emit the
 469 ; blend instruction with an immediate mask
 470 define <4 x double> @constant_blendvpd_avx(<4 x double> %xy, <4 x double> %ab) {
 471 ; SSE-LABEL: constant_blendvpd_avx:
 472 ; SSE:       # BB#0: # %entry
 473 ; SSE-NEXT:    movsd %xmm1, %xmm3
 474 ; SSE-NEXT:    movaps %xmm2, %xmm0
 475 ; SSE-NEXT:    movaps %xmm3, %xmm1
 476 ; SSE-NEXT:    retq
 477 ;
 478 ; AVX-LABEL: constant_blendvpd_avx:
 479 ; AVX:       # BB#0: # %entry
 480 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0,1],ymm0[2],ymm1[3]
 481 ; AVX-NEXT:    retq
 482 entry:
 483   %select = select <4 x i1> <i1 false, i1 false, i1 true, i1 false>, <4 x double> %xy, <4 x double> %ab
 484   ret <4 x double> %select
 485 }
 486
 487 define <8 x float> @constant_blendvps_avx(<8 x float> %xyzw, <8 x float> %abcd) {
 488 ; SSE2-LABEL: constant_blendvps_avx:
 489 ; SSE2:       # BB#0: # %entry
 490 ; SSE2-NEXT:    movaps {{.*#+}} xmm4 = [4294967295,4294967295,4294967295,0]
 491 ; SSE2-NEXT:    andps %xmm4, %xmm2
 492 ; SSE2-NEXT:    movaps {{.*#+}} xmm5 = [0,0,0,4294967295]
 493 ; SSE2-NEXT:    andps %xmm5, %xmm0
 494 ; SSE2-NEXT:    orps %xmm2, %xmm0
 495 ; SSE2-NEXT:    andps %xmm4, %xmm3
 496 ; SSE2-NEXT:    andps %xmm5, %xmm1
 497 ; SSE2-NEXT:    orps %xmm3, %xmm1
 498 ; SSE2-NEXT:    retq
 499 ;
 500 ; SSSE3-LABEL: constant_blendvps_avx:
 501 ; SSSE3:       # BB#0: # %entry
 502 ; SSSE3-NEXT:    movaps {{.*#+}} xmm4 = [4294967295,4294967295,4294967295,0]
 503 ; SSSE3-NEXT:    andps %xmm4, %xmm2
 504 ; SSSE3-NEXT:    movaps {{.*#+}} xmm5 = [0,0,0,4294967295]
 505 ; SSSE3-NEXT:    andps %xmm5, %xmm0
 506 ; SSSE3-NEXT:    orps %xmm2, %xmm0
 507 ; SSSE3-NEXT:    andps %xmm4, %xmm3
 508 ; SSSE3-NEXT:    andps %xmm5, %xmm1
 509 ; SSSE3-NEXT:    orps %xmm3, %xmm1
 510 ; SSSE3-NEXT:    retq
 511 ;
 512 ; SSE41-LABEL: constant_blendvps_avx:
 513 ; SSE41:       # BB#0: # %entry
 514 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm2[0,1,2],xmm0[3]
 515 ; SSE41-NEXT:    blendps {{.*#+}} xmm1 = xmm3[0,1,2],xmm1[3]
 516 ; SSE41-NEXT:    retq
 517 ;
 518 ; AVX-LABEL: constant_blendvps_avx:
 519 ; AVX:       # BB#0: # %entry
 520 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm1[0,1,2],ymm0[3],ymm1[4,5,6],ymm0[7]
 521 ; AVX-NEXT:    retq
 522 entry:
 523   %select = select <8 x i1> <i1 false, i1 false, i1 false, i1 true, i1 false, i1 false, i1 false, i1 true>, <8 x float> %xyzw, <8 x float> %abcd
 524   ret <8 x float> %select
 525 }
 526
 527 define <32 x i8> @constant_pblendvb_avx2(<32 x i8> %xyzw, <32 x i8> %abcd) {
 528 ; SSE2-LABEL: constant_pblendvb_avx2:
 529 ; SSE2:       # BB#0: # %entry
 530 ; SSE2-NEXT:    movaps {{.*#+}} xmm4 = [255,255,0,255,0,0,0,255,255,255,0,255,0,0,0,255]
 531 ; SSE2-NEXT:    andps %xmm4, %xmm2
 532 ; SSE2-NEXT:    movaps {{.*#+}} xmm5 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 533 ; SSE2-NEXT:    andps %xmm5, %xmm0
 534 ; SSE2-NEXT:    orps %xmm2, %xmm0
 535 ; SSE2-NEXT:    andps %xmm4, %xmm3
 536 ; SSE2-NEXT:    andps %xmm5, %xmm1
 537 ; SSE2-NEXT:    orps %xmm3, %xmm1
 538 ; SSE2-NEXT:    retq
 539 ;
 540 ; SSSE3-LABEL: constant_pblendvb_avx2:
 541 ; SSSE3:       # BB#0: # %entry
 542 ; SSSE3-NEXT:    movaps {{.*#+}} xmm4 = [255,255,0,255,0,0,0,255,255,255,0,255,0,0,0,255]
 543 ; SSSE3-NEXT:    andps %xmm4, %xmm2
 544 ; SSSE3-NEXT:    movaps {{.*#+}} xmm5 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 545 ; SSSE3-NEXT:    andps %xmm5, %xmm0
 546 ; SSSE3-NEXT:    orps %xmm2, %xmm0
 547 ; SSSE3-NEXT:    andps %xmm4, %xmm3
 548 ; SSSE3-NEXT:    andps %xmm5, %xmm1
 549 ; SSSE3-NEXT:    orps %xmm3, %xmm1
 550 ; SSSE3-NEXT:    retq
 551 ;
 552 ; SSE41-LABEL: constant_pblendvb_avx2:
 553 ; SSE41:       # BB#0: # %entry
 554 ; SSE41-NEXT:    movdqa %xmm0, %xmm4
 555 ; SSE41-NEXT:    movaps {{.*#+}} xmm0 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 556 ; SSE41-NEXT:    pblendvb %xmm4, %xmm2
 557 ; SSE41-NEXT:    pblendvb %xmm1, %xmm3
 558 ; SSE41-NEXT:    movdqa %xmm2, %xmm0
 559 ; SSE41-NEXT:    movdqa %xmm3, %xmm1
 560 ; SSE41-NEXT:    retq
 561 ;
 562 ; AVX1-LABEL: constant_pblendvb_avx2:
 563 ; AVX1:       # BB#0: # %entry
 564 ; AVX1-NEXT:    vandps {{.*}}, %ymm1, %ymm1
 565 ; AVX1-NEXT:    vandps {{.*}}, %ymm0, %ymm0
 566 ; AVX1-NEXT:    vorps %ymm1, %ymm0, %ymm0
 567 ; AVX1-NEXT:    retq
 568 ;
 569 ; AVX2-LABEL: constant_pblendvb_avx2:
 570 ; AVX2:       # BB#0: # %entry
 571 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0,0,0,255,0,255,255,255,0]
 572 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm0, %ymm1, %ymm0
 573 ; AVX2-NEXT:    retq
 574 entry:
 575   %select = select <32 x i1> <i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false, i1 false, i1 false, i1 true, i1 false, i1 true, i1 true, i1 true, i1 false>, <32 x i8> %xyzw, <32 x i8> %abcd
 576   ret <32 x i8> %select
 577 }
 578
 579 declare <8 x float> @llvm.x86.avx.blendv.ps.256(<8 x float>, <8 x float>, <8 x float>)
 580 declare <4 x double> @llvm.x86.avx.blendv.pd.256(<4 x double>, <4 x double>, <4 x double>)
 581
 582 ;; 4 tests for shufflevectors that optimize to blend + immediate
 583 define <4 x float> @blend_shufflevector_4xfloat(<4 x float> %a, <4 x float> %b) {
 584 ; SSE2-LABEL: blend_shufflevector_4xfloat:
 585 ; SSE2:       # BB#0: # %entry
 586 ; SSE2-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,3]
 587 ; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
 588 ; SSE2-NEXT:    retq
 589 ;
 590 ; SSSE3-LABEL: blend_shufflevector_4xfloat:
 591 ; SSSE3:       # BB#0: # %entry
 592 ; SSSE3-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[1,3]
 593 ; SSSE3-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,1,3]
 594 ; SSSE3-NEXT:    retq
 595 ;
 596 ; SSE41-LABEL: blend_shufflevector_4xfloat:
 597 ; SSE41:       # BB#0: # %entry
 598 ; SSE41-NEXT:    blendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 599 ; SSE41-NEXT:    retq
 600 ;
 601 ; AVX-LABEL: blend_shufflevector_4xfloat:
 602 ; AVX:       # BB#0: # %entry
 603 ; AVX-NEXT:    vblendps {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3]
 604 ; AVX-NEXT:    retq
 605 entry:
 606   %select = shufflevector <4 x float> %a, <4 x float> %b, <4 x i32> <i32 0, i32 5, i32 2, i32 7>
 607   ret <4 x float> %select
 608 }
 609
 610 define <8 x float> @blend_shufflevector_8xfloat(<8 x float> %a, <8 x float> %b) {
 611 ; SSE2-LABEL: blend_shufflevector_8xfloat:
 612 ; SSE2:       # BB#0: # %entry
 613 ; SSE2-NEXT:    movss %xmm0, %xmm2
 614 ; SSE2-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm3[3,0]
 615 ; SSE2-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,1],xmm1[0,2]
 616 ; SSE2-NEXT:    movaps %xmm2, %xmm0
 617 ; SSE2-NEXT:    movaps %xmm3, %xmm1
 618 ; SSE2-NEXT:    retq
 619 ;
 620 ; SSSE3-LABEL: blend_shufflevector_8xfloat:
 621 ; SSSE3:       # BB#0: # %entry
 622 ; SSSE3-NEXT:    movss %xmm0, %xmm2
 623 ; SSSE3-NEXT:    shufps {{.*#+}} xmm1 = xmm1[2,0],xmm3[3,0]
 624 ; SSSE3-NEXT:    shufps {{.*#+}} xmm3 = xmm3[0,1],xmm1[0,2]
 625 ; SSSE3-NEXT:    movaps %xmm2, %xmm0
 626 ; SSSE3-NEXT:    movaps %xmm3, %xmm1
 627 ; SSSE3-NEXT:    retq
 628 ;
 629 ; SSE41-LABEL: blend_shufflevector_8xfloat:
 630 ; SSE41:       # BB#0: # %entry
 631 ; SSE41-NEXT:    blendps {{.*#+}} xmm3 = xmm3[0,1],xmm1[2],xmm3[3]
 632 ; SSE41-NEXT:    movss %xmm0, %xmm2
 633 ; SSE41-NEXT:    movaps %xmm2, %xmm0
 634 ; SSE41-NEXT:    movaps %xmm3, %xmm1
 635 ; SSE41-NEXT:    retq
 636 ;
 637 ; AVX-LABEL: blend_shufflevector_8xfloat:
 638 ; AVX:       # BB#0: # %entry
 639 ; AVX-NEXT:    vblendps {{.*#+}} ymm0 = ymm0[0],ymm1[1,2,3,4,5],ymm0[6],ymm1[7]
 640 ; AVX-NEXT:    retq
 641 entry:
 642   %select = shufflevector <8 x float> %a, <8 x float> %b, <8 x i32> <i32 0, i32 9, i32 10, i32 11, i32 12, i32 13, i32 6, i32 15>
 643   ret <8 x float> %select
 644 }
 645
 646 define <4 x double> @blend_shufflevector_4xdouble(<4 x double> %a, <4 x double> %b) {
 647 ; SSE-LABEL: blend_shufflevector_4xdouble:
 648 ; SSE:       # BB#0: # %entry
 649 ; SSE-NEXT:    movsd %xmm0, %xmm2
 650 ; SSE-NEXT:    movaps %xmm2, %xmm0
 651 ; SSE-NEXT:    retq
 652 ;
 653 ; AVX-LABEL: blend_shufflevector_4xdouble:
 654 ; AVX:       # BB#0: # %entry
 655 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm0[0],ymm1[1],ymm0[2,3]
 656 ; AVX-NEXT:    retq
 657 entry:
 658   %select = shufflevector <4 x double> %a, <4 x double> %b, <4 x i32> <i32 0, i32 5, i32 2, i32 3>
 659   ret <4 x double> %select
 660 }
 661
 662 define <4 x i64> @blend_shufflevector_4xi64(<4 x i64> %a, <4 x i64> %b) {
 663 ; SSE-LABEL: blend_shufflevector_4xi64:
 664 ; SSE:       # BB#0: # %entry
 665 ; SSE-NEXT:    movsd %xmm2, %xmm0
 666 ; SSE-NEXT:    movaps %xmm3, %xmm1
 667 ; SSE-NEXT:    retq
 668 ;
 669 ; AVX-LABEL: blend_shufflevector_4xi64:
 670 ; AVX:       # BB#0: # %entry
 671 ; AVX-NEXT:    vblendpd {{.*#+}} ymm0 = ymm1[0],ymm0[1],ymm1[2,3]
 672 ; AVX-NEXT:    retq
 673 entry:
 674   %select = shufflevector <4 x i64> %a, <4 x i64> %b, <4 x i32> <i32 4, i32 1, i32 6, i32 7>
 675   ret <4 x i64> %select
 676 }