test/CodeGen/X86/fma-intrinsics-x86.ll

   1 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -march=x86-64 -mcpu=corei7-avx -mattr=+fma | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-FMA
   2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -march=x86-64 -mcpu=core-avx2 -mattr=+fma,+avx2 | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-FMA
   3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -march=x86-64 -mcpu=corei7-avx -mattr=+fma4 | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-FMA4
   4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=bdver2 -mattr=+avx,-fma | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-FMA4
   5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mcpu=bdver2 -mattr=-fma4 | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-FMA
   6
   7 ; VFMADD
   8 define <4 x float> @test_x86_fma_vfmadd_ss(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
   9 ; CHECK-FMA-LABEL: test_x86_fma_vfmadd_ss:
  10 ; CHECK-FMA:       # BB#0:
  11 ; CHECK-FMA-NEXT:    vfmadd213ss %xmm2, %xmm1, %xmm0
  12 ; CHECK-FMA-NEXT:    retq
  13 ;
  14 ; CHECK-FMA4-LABEL: test_x86_fma_vfmadd_ss:
  15 ; CHECK-FMA4:       # BB#0:
  16 ; CHECK-FMA4-NEXT:    vfmaddss %xmm2, %xmm1, %xmm0, %xmm0
  17 ; CHECK-FMA4-NEXT:    retq
  18   %res = call <4 x float> @llvm.x86.fma.vfmadd.ss(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
  19   ret <4 x float> %res
  20 }
  21 declare <4 x float> @llvm.x86.fma.vfmadd.ss(<4 x float>, <4 x float>, <4 x float>)
  22
  23 define <2 x double> @test_x86_fma_vfmadd_sd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
  24 ; CHECK-FMA-LABEL: test_x86_fma_vfmadd_sd:
  25 ; CHECK-FMA:       # BB#0:
  26 ; CHECK-FMA-NEXT:    vfmadd213sd %xmm2, %xmm1, %xmm0
  27 ; CHECK-FMA-NEXT:    retq
  28 ;
  29 ; CHECK-FMA4-LABEL: test_x86_fma_vfmadd_sd:
  30 ; CHECK-FMA4:       # BB#0:
  31 ; CHECK-FMA4-NEXT:    vfmaddsd %xmm2, %xmm1, %xmm0, %xmm0
  32 ; CHECK-FMA4-NEXT:    retq
  33   %res = call <2 x double> @llvm.x86.fma.vfmadd.sd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
  34   ret <2 x double> %res
  35 }
  36 declare <2 x double> @llvm.x86.fma.vfmadd.sd(<2 x double>, <2 x double>, <2 x double>)
  37
  38 define <4 x float> @test_x86_fma_vfmadd_ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
  39 ; CHECK-FMA-LABEL: test_x86_fma_vfmadd_ps:
  40 ; CHECK-FMA:       # BB#0:
  41 ; CHECK-FMA-NEXT:    vfmadd213ps %xmm2, %xmm1, %xmm0
  42 ; CHECK-FMA-NEXT:    retq
  43 ;
  44 ; CHECK-FMA4-LABEL: test_x86_fma_vfmadd_ps:
  45 ; CHECK-FMA4:       # BB#0:
  46 ; CHECK-FMA4-NEXT:    vfmaddps %xmm2, %xmm1, %xmm0, %xmm0
  47 ; CHECK-FMA4-NEXT:    retq
  48   %res = call <4 x float> @llvm.x86.fma.vfmadd.ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
  49   ret <4 x float> %res
  50 }
  51 declare <4 x float> @llvm.x86.fma.vfmadd.ps(<4 x float>, <4 x float>, <4 x float>)
  52
  53 define <2 x double> @test_x86_fma_vfmadd_pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
  54 ; CHECK-FMA-LABEL: test_x86_fma_vfmadd_pd:
  55 ; CHECK-FMA:       # BB#0:
  56 ; CHECK-FMA-NEXT:    vfmadd213pd %xmm2, %xmm1, %xmm0
  57 ; CHECK-FMA-NEXT:    retq
  58 ;
  59 ; CHECK-FMA4-LABEL: test_x86_fma_vfmadd_pd:
  60 ; CHECK-FMA4:       # BB#0:
  61 ; CHECK-FMA4-NEXT:    vfmaddpd %xmm2, %xmm1, %xmm0, %xmm0
  62 ; CHECK-FMA4-NEXT:    retq
  63   %res = call <2 x double> @llvm.x86.fma.vfmadd.pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
  64   ret <2 x double> %res
  65 }
  66 declare <2 x double> @llvm.x86.fma.vfmadd.pd(<2 x double>, <2 x double>, <2 x double>)
  67
  68 define <8 x float> @test_x86_fma_vfmadd_ps_256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2) #0 {
  69 ; CHECK-FMA-LABEL: test_x86_fma_vfmadd_ps_256:
  70 ; CHECK-FMA:       # BB#0:
  71 ; CHECK-FMA-NEXT:    vfmadd213ps %ymm2, %ymm1, %ymm0
  72 ; CHECK-FMA-NEXT:    retq
  73 ;
  74 ; CHECK-FMA4-LABEL: test_x86_fma_vfmadd_ps_256:
  75 ; CHECK-FMA4:       # BB#0:
  76 ; CHECK-FMA4-NEXT:    vfmaddps %ymm2, %ymm1, %ymm0, %ymm0
  77 ; CHECK-FMA4-NEXT:    retq
  78   %res = call <8 x float> @llvm.x86.fma.vfmadd.ps.256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2)
  79   ret <8 x float> %res
  80 }
  81 declare <8 x float> @llvm.x86.fma.vfmadd.ps.256(<8 x float>, <8 x float>, <8 x float>)
  82
  83 define <4 x double> @test_x86_fma_vfmadd_pd_256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2) #0 {
  84 ; CHECK-FMA-LABEL: test_x86_fma_vfmadd_pd_256:
  85 ; CHECK-FMA:       # BB#0:
  86 ; CHECK-FMA-NEXT:    vfmadd213pd %ymm2, %ymm1, %ymm0
  87 ; CHECK-FMA-NEXT:    retq
  88 ;
  89 ; CHECK-FMA4-LABEL: test_x86_fma_vfmadd_pd_256:
  90 ; CHECK-FMA4:       # BB#0:
  91 ; CHECK-FMA4-NEXT:    vfmaddpd %ymm2, %ymm1, %ymm0, %ymm0
  92 ; CHECK-FMA4-NEXT:    retq
  93   %res = call <4 x double> @llvm.x86.fma.vfmadd.pd.256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2)
  94   ret <4 x double> %res
  95 }
  96 declare <4 x double> @llvm.x86.fma.vfmadd.pd.256(<4 x double>, <4 x double>, <4 x double>)
  97
  98 ; VFMSUB
  99 define <4 x float> @test_x86_fma_vfmsub_ss(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
 100 ; CHECK-FMA-LABEL: test_x86_fma_vfmsub_ss:
 101 ; CHECK-FMA:       # BB#0:
 102 ; CHECK-FMA-NEXT:    vfmsub213ss %xmm2, %xmm1, %xmm0
 103 ; CHECK-FMA-NEXT:    retq
 104 ;
 105 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsub_ss:
 106 ; CHECK-FMA4:       # BB#0:
 107 ; CHECK-FMA4-NEXT:    vfmsubss %xmm2, %xmm1, %xmm0, %xmm0
 108 ; CHECK-FMA4-NEXT:    retq
 109   %res = call <4 x float> @llvm.x86.fma.vfmsub.ss(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
 110   ret <4 x float> %res
 111 }
 112 declare <4 x float> @llvm.x86.fma.vfmsub.ss(<4 x float>, <4 x float>, <4 x float>)
 113
 114 define <2 x double> @test_x86_fma_vfmsub_sd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
 115 ; CHECK-FMA-LABEL: test_x86_fma_vfmsub_sd:
 116 ; CHECK-FMA:       # BB#0:
 117 ; CHECK-FMA-NEXT:    vfmsub213sd %xmm2, %xmm1, %xmm0
 118 ; CHECK-FMA-NEXT:    retq
 119 ;
 120 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsub_sd:
 121 ; CHECK-FMA4:       # BB#0:
 122 ; CHECK-FMA4-NEXT:    vfmsubsd %xmm2, %xmm1, %xmm0, %xmm0
 123 ; CHECK-FMA4-NEXT:    retq
 124   %res = call <2 x double> @llvm.x86.fma.vfmsub.sd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
 125   ret <2 x double> %res
 126 }
 127 declare <2 x double> @llvm.x86.fma.vfmsub.sd(<2 x double>, <2 x double>, <2 x double>)
 128
 129 define <4 x float> @test_x86_fma_vfmsub_ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
 130 ; CHECK-FMA-LABEL: test_x86_fma_vfmsub_ps:
 131 ; CHECK-FMA:       # BB#0:
 132 ; CHECK-FMA-NEXT:    vfmsub213ps %xmm2, %xmm1, %xmm0
 133 ; CHECK-FMA-NEXT:    retq
 134 ;
 135 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsub_ps:
 136 ; CHECK-FMA4:       # BB#0:
 137 ; CHECK-FMA4-NEXT:    vfmsubps %xmm2, %xmm1, %xmm0, %xmm0
 138 ; CHECK-FMA4-NEXT:    retq
 139   %res = call <4 x float> @llvm.x86.fma.vfmsub.ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
 140   ret <4 x float> %res
 141 }
 142 declare <4 x float> @llvm.x86.fma.vfmsub.ps(<4 x float>, <4 x float>, <4 x float>)
 143
 144 define <2 x double> @test_x86_fma_vfmsub_pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
 145 ; CHECK-FMA-LABEL: test_x86_fma_vfmsub_pd:
 146 ; CHECK-FMA:       # BB#0:
 147 ; CHECK-FMA-NEXT:    vfmsub213pd %xmm2, %xmm1, %xmm0
 148 ; CHECK-FMA-NEXT:    retq
 149 ;
 150 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsub_pd:
 151 ; CHECK-FMA4:       # BB#0:
 152 ; CHECK-FMA4-NEXT:    vfmsubpd %xmm2, %xmm1, %xmm0, %xmm0
 153 ; CHECK-FMA4-NEXT:    retq
 154   %res = call <2 x double> @llvm.x86.fma.vfmsub.pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
 155   ret <2 x double> %res
 156 }
 157 declare <2 x double> @llvm.x86.fma.vfmsub.pd(<2 x double>, <2 x double>, <2 x double>)
 158
 159 define <8 x float> @test_x86_fma_vfmsub_ps_256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2) #0 {
 160 ; CHECK-FMA-LABEL: test_x86_fma_vfmsub_ps_256:
 161 ; CHECK-FMA:       # BB#0:
 162 ; CHECK-FMA-NEXT:    vfmsub213ps %ymm2, %ymm1, %ymm0
 163 ; CHECK-FMA-NEXT:    retq
 164 ;
 165 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsub_ps_256:
 166 ; CHECK-FMA4:       # BB#0:
 167 ; CHECK-FMA4-NEXT:    vfmsubps %ymm2, %ymm1, %ymm0, %ymm0
 168 ; CHECK-FMA4-NEXT:    retq
 169   %res = call <8 x float> @llvm.x86.fma.vfmsub.ps.256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2)
 170   ret <8 x float> %res
 171 }
 172 declare <8 x float> @llvm.x86.fma.vfmsub.ps.256(<8 x float>, <8 x float>, <8 x float>)
 173
 174 define <4 x double> @test_x86_fma_vfmsub_pd_256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2) #0 {
 175 ; CHECK-FMA-LABEL: test_x86_fma_vfmsub_pd_256:
 176 ; CHECK-FMA:       # BB#0:
 177 ; CHECK-FMA-NEXT:    vfmsub213pd %ymm2, %ymm1, %ymm0
 178 ; CHECK-FMA-NEXT:    retq
 179 ;
 180 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsub_pd_256:
 181 ; CHECK-FMA4:       # BB#0:
 182 ; CHECK-FMA4-NEXT:    vfmsubpd %ymm2, %ymm1, %ymm0, %ymm0
 183 ; CHECK-FMA4-NEXT:    retq
 184   %res = call <4 x double> @llvm.x86.fma.vfmsub.pd.256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2)
 185   ret <4 x double> %res
 186 }
 187 declare <4 x double> @llvm.x86.fma.vfmsub.pd.256(<4 x double>, <4 x double>, <4 x double>)
 188
 189 ; VFNMADD
 190 define <4 x float> @test_x86_fma_vfnmadd_ss(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
 191 ; CHECK-FMA-LABEL: test_x86_fma_vfnmadd_ss:
 192 ; CHECK-FMA:       # BB#0:
 193 ; CHECK-FMA-NEXT:    vfnmadd213ss %xmm2, %xmm1, %xmm0
 194 ; CHECK-FMA-NEXT:    retq
 195 ;
 196 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmadd_ss:
 197 ; CHECK-FMA4:       # BB#0:
 198 ; CHECK-FMA4-NEXT:    vfnmaddss %xmm2, %xmm1, %xmm0, %xmm0
 199 ; CHECK-FMA4-NEXT:    retq
 200   %res = call <4 x float> @llvm.x86.fma.vfnmadd.ss(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
 201   ret <4 x float> %res
 202 }
 203 declare <4 x float> @llvm.x86.fma.vfnmadd.ss(<4 x float>, <4 x float>, <4 x float>)
 204
 205 define <2 x double> @test_x86_fma_vfnmadd_sd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
 206 ; CHECK-FMA-LABEL: test_x86_fma_vfnmadd_sd:
 207 ; CHECK-FMA:       # BB#0:
 208 ; CHECK-FMA-NEXT:    vfnmadd213sd %xmm2, %xmm1, %xmm0
 209 ; CHECK-FMA-NEXT:    retq
 210 ;
 211 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmadd_sd:
 212 ; CHECK-FMA4:       # BB#0:
 213 ; CHECK-FMA4-NEXT:    vfnmaddsd %xmm2, %xmm1, %xmm0, %xmm0
 214 ; CHECK-FMA4-NEXT:    retq
 215   %res = call <2 x double> @llvm.x86.fma.vfnmadd.sd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
 216   ret <2 x double> %res
 217 }
 218 declare <2 x double> @llvm.x86.fma.vfnmadd.sd(<2 x double>, <2 x double>, <2 x double>)
 219
 220 define <4 x float> @test_x86_fma_vfnmadd_ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
 221 ; CHECK-FMA-LABEL: test_x86_fma_vfnmadd_ps:
 222 ; CHECK-FMA:       # BB#0:
 223 ; CHECK-FMA-NEXT:    vfnmadd213ps %xmm2, %xmm1, %xmm0
 224 ; CHECK-FMA-NEXT:    retq
 225 ;
 226 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmadd_ps:
 227 ; CHECK-FMA4:       # BB#0:
 228 ; CHECK-FMA4-NEXT:    vfnmaddps %xmm2, %xmm1, %xmm0, %xmm0
 229 ; CHECK-FMA4-NEXT:    retq
 230   %res = call <4 x float> @llvm.x86.fma.vfnmadd.ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
 231   ret <4 x float> %res
 232 }
 233 declare <4 x float> @llvm.x86.fma.vfnmadd.ps(<4 x float>, <4 x float>, <4 x float>)
 234
 235 define <2 x double> @test_x86_fma_vfnmadd_pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
 236 ; CHECK-FMA-LABEL: test_x86_fma_vfnmadd_pd:
 237 ; CHECK-FMA:       # BB#0:
 238 ; CHECK-FMA-NEXT:    vfnmadd213pd %xmm2, %xmm1, %xmm0
 239 ; CHECK-FMA-NEXT:    retq
 240 ;
 241 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmadd_pd:
 242 ; CHECK-FMA4:       # BB#0:
 243 ; CHECK-FMA4-NEXT:    vfnmaddpd %xmm2, %xmm1, %xmm0, %xmm0
 244 ; CHECK-FMA4-NEXT:    retq
 245   %res = call <2 x double> @llvm.x86.fma.vfnmadd.pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
 246   ret <2 x double> %res
 247 }
 248 declare <2 x double> @llvm.x86.fma.vfnmadd.pd(<2 x double>, <2 x double>, <2 x double>)
 249
 250 define <8 x float> @test_x86_fma_vfnmadd_ps_256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2) #0 {
 251 ; CHECK-FMA-LABEL: test_x86_fma_vfnmadd_ps_256:
 252 ; CHECK-FMA:       # BB#0:
 253 ; CHECK-FMA-NEXT:    vfnmadd213ps %ymm2, %ymm1, %ymm0
 254 ; CHECK-FMA-NEXT:    retq
 255 ;
 256 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmadd_ps_256:
 257 ; CHECK-FMA4:       # BB#0:
 258 ; CHECK-FMA4-NEXT:    vfnmaddps %ymm2, %ymm1, %ymm0, %ymm0
 259 ; CHECK-FMA4-NEXT:    retq
 260   %res = call <8 x float> @llvm.x86.fma.vfnmadd.ps.256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2)
 261   ret <8 x float> %res
 262 }
 263 declare <8 x float> @llvm.x86.fma.vfnmadd.ps.256(<8 x float>, <8 x float>, <8 x float>)
 264
 265 define <4 x double> @test_x86_fma_vfnmadd_pd_256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2) #0 {
 266 ; CHECK-FMA-LABEL: test_x86_fma_vfnmadd_pd_256:
 267 ; CHECK-FMA:       # BB#0:
 268 ; CHECK-FMA-NEXT:    vfnmadd213pd %ymm2, %ymm1, %ymm0
 269 ; CHECK-FMA-NEXT:    retq
 270 ;
 271 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmadd_pd_256:
 272 ; CHECK-FMA4:       # BB#0:
 273 ; CHECK-FMA4-NEXT:    vfnmaddpd %ymm2, %ymm1, %ymm0, %ymm0
 274 ; CHECK-FMA4-NEXT:    retq
 275   %res = call <4 x double> @llvm.x86.fma.vfnmadd.pd.256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2)
 276   ret <4 x double> %res
 277 }
 278 declare <4 x double> @llvm.x86.fma.vfnmadd.pd.256(<4 x double>, <4 x double>, <4 x double>)
 279
 280 ; VFNMSUB
 281 define <4 x float> @test_x86_fma_vfnmsub_ss(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
 282 ; CHECK-FMA-LABEL: test_x86_fma_vfnmsub_ss:
 283 ; CHECK-FMA:       # BB#0:
 284 ; CHECK-FMA-NEXT:    vfnmsub213ss %xmm2, %xmm1, %xmm0
 285 ; CHECK-FMA-NEXT:    retq
 286 ;
 287 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmsub_ss:
 288 ; CHECK-FMA4:       # BB#0:
 289 ; CHECK-FMA4-NEXT:    vfnmsubss %xmm2, %xmm1, %xmm0, %xmm0
 290 ; CHECK-FMA4-NEXT:    retq
 291   %res = call <4 x float> @llvm.x86.fma.vfnmsub.ss(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
 292   ret <4 x float> %res
 293 }
 294 declare <4 x float> @llvm.x86.fma.vfnmsub.ss(<4 x float>, <4 x float>, <4 x float>)
 295
 296 define <2 x double> @test_x86_fma_vfnmsub_sd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
 297 ; CHECK-FMA-LABEL: test_x86_fma_vfnmsub_sd:
 298 ; CHECK-FMA:       # BB#0:
 299 ; CHECK-FMA-NEXT:    vfnmsub213sd %xmm2, %xmm1, %xmm0
 300 ; CHECK-FMA-NEXT:    retq
 301 ;
 302 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmsub_sd:
 303 ; CHECK-FMA4:       # BB#0:
 304 ; CHECK-FMA4-NEXT:    vfnmsubsd %xmm2, %xmm1, %xmm0, %xmm0
 305 ; CHECK-FMA4-NEXT:    retq
 306   %res = call <2 x double> @llvm.x86.fma.vfnmsub.sd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
 307   ret <2 x double> %res
 308 }
 309 declare <2 x double> @llvm.x86.fma.vfnmsub.sd(<2 x double>, <2 x double>, <2 x double>)
 310
 311 define <4 x float> @test_x86_fma_vfnmsub_ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
 312 ; CHECK-FMA-LABEL: test_x86_fma_vfnmsub_ps:
 313 ; CHECK-FMA:       # BB#0:
 314 ; CHECK-FMA-NEXT:    vfnmsub213ps %xmm2, %xmm1, %xmm0
 315 ; CHECK-FMA-NEXT:    retq
 316 ;
 317 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmsub_ps:
 318 ; CHECK-FMA4:       # BB#0:
 319 ; CHECK-FMA4-NEXT:    vfnmsubps %xmm2, %xmm1, %xmm0, %xmm0
 320 ; CHECK-FMA4-NEXT:    retq
 321   %res = call <4 x float> @llvm.x86.fma.vfnmsub.ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
 322   ret <4 x float> %res
 323 }
 324 declare <4 x float> @llvm.x86.fma.vfnmsub.ps(<4 x float>, <4 x float>, <4 x float>)
 325
 326 define <2 x double> @test_x86_fma_vfnmsub_pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
 327 ; CHECK-FMA-LABEL: test_x86_fma_vfnmsub_pd:
 328 ; CHECK-FMA:       # BB#0:
 329 ; CHECK-FMA-NEXT:    vfnmsub213pd %xmm2, %xmm1, %xmm0
 330 ; CHECK-FMA-NEXT:    retq
 331 ;
 332 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmsub_pd:
 333 ; CHECK-FMA4:       # BB#0:
 334 ; CHECK-FMA4-NEXT:    vfnmsubpd %xmm2, %xmm1, %xmm0, %xmm0
 335 ; CHECK-FMA4-NEXT:    retq
 336   %res = call <2 x double> @llvm.x86.fma.vfnmsub.pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
 337   ret <2 x double> %res
 338 }
 339 declare <2 x double> @llvm.x86.fma.vfnmsub.pd(<2 x double>, <2 x double>, <2 x double>)
 340
 341 define <8 x float> @test_x86_fma_vfnmsub_ps_256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2) #0 {
 342 ; CHECK-FMA-LABEL: test_x86_fma_vfnmsub_ps_256:
 343 ; CHECK-FMA:       # BB#0:
 344 ; CHECK-FMA-NEXT:    vfnmsub213ps %ymm2, %ymm1, %ymm0
 345 ; CHECK-FMA-NEXT:    retq
 346 ;
 347 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmsub_ps_256:
 348 ; CHECK-FMA4:       # BB#0:
 349 ; CHECK-FMA4-NEXT:    vfnmsubps %ymm2, %ymm1, %ymm0, %ymm0
 350 ; CHECK-FMA4-NEXT:    retq
 351   %res = call <8 x float> @llvm.x86.fma.vfnmsub.ps.256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2)
 352   ret <8 x float> %res
 353 }
 354 declare <8 x float> @llvm.x86.fma.vfnmsub.ps.256(<8 x float>, <8 x float>, <8 x float>)
 355
 356 define <4 x double> @test_x86_fma_vfnmsub_pd_256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2) #0 {
 357 ; CHECK-FMA-LABEL: test_x86_fma_vfnmsub_pd_256:
 358 ; CHECK-FMA:       # BB#0:
 359 ; CHECK-FMA-NEXT:    vfnmsub213pd %ymm2, %ymm1, %ymm0
 360 ; CHECK-FMA-NEXT:    retq
 361 ;
 362 ; CHECK-FMA4-LABEL: test_x86_fma_vfnmsub_pd_256:
 363 ; CHECK-FMA4:       # BB#0:
 364 ; CHECK-FMA4-NEXT:    vfnmsubpd %ymm2, %ymm1, %ymm0, %ymm0
 365 ; CHECK-FMA4-NEXT:    retq
 366   %res = call <4 x double> @llvm.x86.fma.vfnmsub.pd.256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2)
 367   ret <4 x double> %res
 368 }
 369 declare <4 x double> @llvm.x86.fma.vfnmsub.pd.256(<4 x double>, <4 x double>, <4 x double>)
 370
 371 ; VFMADDSUB
 372 define <4 x float> @test_x86_fma_vfmaddsub_ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
 373 ; CHECK-FMA-LABEL: test_x86_fma_vfmaddsub_ps:
 374 ; CHECK-FMA:       # BB#0:
 375 ; CHECK-FMA-NEXT:    vfmaddsub213ps %xmm2, %xmm1, %xmm0
 376 ; CHECK-FMA-NEXT:    retq
 377 ;
 378 ; CHECK-FMA4-LABEL: test_x86_fma_vfmaddsub_ps:
 379 ; CHECK-FMA4:       # BB#0:
 380 ; CHECK-FMA4-NEXT:    vfmaddsubps %xmm2, %xmm1, %xmm0, %xmm0
 381 ; CHECK-FMA4-NEXT:    retq
 382   %res = call <4 x float> @llvm.x86.fma.vfmaddsub.ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
 383   ret <4 x float> %res
 384 }
 385 declare <4 x float> @llvm.x86.fma.vfmaddsub.ps(<4 x float>, <4 x float>, <4 x float>)
 386
 387 define <2 x double> @test_x86_fma_vfmaddsub_pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
 388 ; CHECK-FMA-LABEL: test_x86_fma_vfmaddsub_pd:
 389 ; CHECK-FMA:       # BB#0:
 390 ; CHECK-FMA-NEXT:    vfmaddsub213pd %xmm2, %xmm1, %xmm0
 391 ; CHECK-FMA-NEXT:    retq
 392 ;
 393 ; CHECK-FMA4-LABEL: test_x86_fma_vfmaddsub_pd:
 394 ; CHECK-FMA4:       # BB#0:
 395 ; CHECK-FMA4-NEXT:    vfmaddsubpd %xmm2, %xmm1, %xmm0, %xmm0
 396 ; CHECK-FMA4-NEXT:    retq
 397   %res = call <2 x double> @llvm.x86.fma.vfmaddsub.pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
 398   ret <2 x double> %res
 399 }
 400 declare <2 x double> @llvm.x86.fma.vfmaddsub.pd(<2 x double>, <2 x double>, <2 x double>)
 401
 402 define <8 x float> @test_x86_fma_vfmaddsub_ps_256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2) #0 {
 403 ; CHECK-FMA-LABEL: test_x86_fma_vfmaddsub_ps_256:
 404 ; CHECK-FMA:       # BB#0:
 405 ; CHECK-FMA-NEXT:    vfmaddsub213ps %ymm2, %ymm1, %ymm0
 406 ; CHECK-FMA-NEXT:    retq
 407 ;
 408 ; CHECK-FMA4-LABEL: test_x86_fma_vfmaddsub_ps_256:
 409 ; CHECK-FMA4:       # BB#0:
 410 ; CHECK-FMA4-NEXT:    vfmaddsubps %ymm2, %ymm1, %ymm0, %ymm0
 411 ; CHECK-FMA4-NEXT:    retq
 412   %res = call <8 x float> @llvm.x86.fma.vfmaddsub.ps.256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2)
 413   ret <8 x float> %res
 414 }
 415 declare <8 x float> @llvm.x86.fma.vfmaddsub.ps.256(<8 x float>, <8 x float>, <8 x float>)
 416
 417 define <4 x double> @test_x86_fma_vfmaddsub_pd_256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2) #0 {
 418 ; CHECK-FMA-LABEL: test_x86_fma_vfmaddsub_pd_256:
 419 ; CHECK-FMA:       # BB#0:
 420 ; CHECK-FMA-NEXT:    vfmaddsub213pd %ymm2, %ymm1, %ymm0
 421 ; CHECK-FMA-NEXT:    retq
 422 ;
 423 ; CHECK-FMA4-LABEL: test_x86_fma_vfmaddsub_pd_256:
 424 ; CHECK-FMA4:       # BB#0:
 425 ; CHECK-FMA4-NEXT:    vfmaddsubpd %ymm2, %ymm1, %ymm0, %ymm0
 426 ; CHECK-FMA4-NEXT:    retq
 427   %res = call <4 x double> @llvm.x86.fma.vfmaddsub.pd.256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2)
 428   ret <4 x double> %res
 429 }
 430 declare <4 x double> @llvm.x86.fma.vfmaddsub.pd.256(<4 x double>, <4 x double>, <4 x double>)
 431
 432 ; VFMSUBADD
 433 define <4 x float> @test_x86_fma_vfmsubadd_ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2) #0 {
 434 ; CHECK-FMA-LABEL: test_x86_fma_vfmsubadd_ps:
 435 ; CHECK-FMA:       # BB#0:
 436 ; CHECK-FMA-NEXT:    vfmsubadd213ps %xmm2, %xmm1, %xmm0
 437 ; CHECK-FMA-NEXT:    retq
 438 ;
 439 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsubadd_ps:
 440 ; CHECK-FMA4:       # BB#0:
 441 ; CHECK-FMA4-NEXT:    vfmsubaddps %xmm2, %xmm1, %xmm0, %xmm0
 442 ; CHECK-FMA4-NEXT:    retq
 443   %res = call <4 x float> @llvm.x86.fma.vfmsubadd.ps(<4 x float> %a0, <4 x float> %a1, <4 x float> %a2)
 444   ret <4 x float> %res
 445 }
 446 declare <4 x float> @llvm.x86.fma.vfmsubadd.ps(<4 x float>, <4 x float>, <4 x float>)
 447
 448 define <2 x double> @test_x86_fma_vfmsubadd_pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2) #0 {
 449 ; CHECK-FMA-LABEL: test_x86_fma_vfmsubadd_pd:
 450 ; CHECK-FMA:       # BB#0:
 451 ; CHECK-FMA-NEXT:    vfmsubadd213pd %xmm2, %xmm1, %xmm0
 452 ; CHECK-FMA-NEXT:    retq
 453 ;
 454 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsubadd_pd:
 455 ; CHECK-FMA4:       # BB#0:
 456 ; CHECK-FMA4-NEXT:    vfmsubaddpd %xmm2, %xmm1, %xmm0, %xmm0
 457 ; CHECK-FMA4-NEXT:    retq
 458   %res = call <2 x double> @llvm.x86.fma.vfmsubadd.pd(<2 x double> %a0, <2 x double> %a1, <2 x double> %a2)
 459   ret <2 x double> %res
 460 }
 461 declare <2 x double> @llvm.x86.fma.vfmsubadd.pd(<2 x double>, <2 x double>, <2 x double>)
 462
 463 define <8 x float> @test_x86_fma_vfmsubadd_ps_256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2) #0 {
 464 ; CHECK-FMA-LABEL: test_x86_fma_vfmsubadd_ps_256:
 465 ; CHECK-FMA:       # BB#0:
 466 ; CHECK-FMA-NEXT:    vfmsubadd213ps %ymm2, %ymm1, %ymm0
 467 ; CHECK-FMA-NEXT:    retq
 468 ;
 469 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsubadd_ps_256:
 470 ; CHECK-FMA4:       # BB#0:
 471 ; CHECK-FMA4-NEXT:    vfmsubaddps %ymm2, %ymm1, %ymm0, %ymm0
 472 ; CHECK-FMA4-NEXT:    retq
 473   %res = call <8 x float> @llvm.x86.fma.vfmsubadd.ps.256(<8 x float> %a0, <8 x float> %a1, <8 x float> %a2)
 474   ret <8 x float> %res
 475 }
 476 declare <8 x float> @llvm.x86.fma.vfmsubadd.ps.256(<8 x float>, <8 x float>, <8 x float>)
 477
 478 define <4 x double> @test_x86_fma_vfmsubadd_pd_256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2) #0 {
 479 ; CHECK-FMA-LABEL: test_x86_fma_vfmsubadd_pd_256:
 480 ; CHECK-FMA:       # BB#0:
 481 ; CHECK-FMA-NEXT:    vfmsubadd213pd %ymm2, %ymm1, %ymm0
 482 ; CHECK-FMA-NEXT:    retq
 483 ;
 484 ; CHECK-FMA4-LABEL: test_x86_fma_vfmsubadd_pd_256:
 485 ; CHECK-FMA4:       # BB#0:
 486 ; CHECK-FMA4-NEXT:    vfmsubaddpd %ymm2, %ymm1, %ymm0, %ymm0
 487 ; CHECK-FMA4-NEXT:    retq
 488   %res = call <4 x double> @llvm.x86.fma.vfmsubadd.pd.256(<4 x double> %a0, <4 x double> %a1, <4 x double> %a2)
 489   ret <4 x double> %res
 490 }
 491 declare <4 x double> @llvm.x86.fma.vfmsubadd.pd.256(<4 x double>, <4 x double>, <4 x double>)
 492
 493 attributes #0 = { nounwind }