test/CodeGen/X86/avx2-intrinsics-x86.ll

   1 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -march=x86 -mcpu=core-avx2 -mattr=avx2 | FileCheck %s
   2
   3 define <16 x i16> @test_x86_avx2_packssdw(<8 x i32> %a0, <8 x i32> %a1) {
   4   ; CHECK: vpackssdw
   5   %res = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
   6   ret <16 x i16> %res
   7 }
   8 declare <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32>, <8 x i32>) nounwind readnone
   9
  10
  11 define <32 x i8> @test_x86_avx2_packsswb(<16 x i16> %a0, <16 x i16> %a1) {
  12   ; CHECK: vpacksswb
  13   %res = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
  14   ret <32 x i8> %res
  15 }
  16 declare <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16>, <16 x i16>) nounwind readnone
  17
  18
  19 define <32 x i8> @test_x86_avx2_packuswb(<16 x i16> %a0, <16 x i16> %a1) {
  20   ; CHECK: vpackuswb
  21   %res = call <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
  22   ret <32 x i8> %res
  23 }
  24 declare <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16>, <16 x i16>) nounwind readnone
  25
  26
  27 define <32 x i8> @test_x86_avx2_padds_b(<32 x i8> %a0, <32 x i8> %a1) {
  28   ; CHECK: vpaddsb
  29   %res = call <32 x i8> @llvm.x86.avx2.padds.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  30   ret <32 x i8> %res
  31 }
  32 declare <32 x i8> @llvm.x86.avx2.padds.b(<32 x i8>, <32 x i8>) nounwind readnone
  33
  34
  35 define <16 x i16> @test_x86_avx2_padds_w(<16 x i16> %a0, <16 x i16> %a1) {
  36   ; CHECK: vpaddsw
  37   %res = call <16 x i16> @llvm.x86.avx2.padds.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  38   ret <16 x i16> %res
  39 }
  40 declare <16 x i16> @llvm.x86.avx2.padds.w(<16 x i16>, <16 x i16>) nounwind readnone
  41
  42
  43 define <32 x i8> @test_x86_avx2_paddus_b(<32 x i8> %a0, <32 x i8> %a1) {
  44   ; CHECK: vpaddusb
  45   %res = call <32 x i8> @llvm.x86.avx2.paddus.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  46   ret <32 x i8> %res
  47 }
  48 declare <32 x i8> @llvm.x86.avx2.paddus.b(<32 x i8>, <32 x i8>) nounwind readnone
  49
  50
  51 define <16 x i16> @test_x86_avx2_paddus_w(<16 x i16> %a0, <16 x i16> %a1) {
  52   ; CHECK: vpaddusw
  53   %res = call <16 x i16> @llvm.x86.avx2.paddus.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  54   ret <16 x i16> %res
  55 }
  56 declare <16 x i16> @llvm.x86.avx2.paddus.w(<16 x i16>, <16 x i16>) nounwind readnone
  57
  58
  59 define <32 x i8> @test_x86_avx2_pavg_b(<32 x i8> %a0, <32 x i8> %a1) {
  60   ; CHECK: vpavgb
  61   %res = call <32 x i8> @llvm.x86.avx2.pavg.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  62   ret <32 x i8> %res
  63 }
  64 declare <32 x i8> @llvm.x86.avx2.pavg.b(<32 x i8>, <32 x i8>) nounwind readnone
  65
  66
  67 define <16 x i16> @test_x86_avx2_pavg_w(<16 x i16> %a0, <16 x i16> %a1) {
  68   ; CHECK: vpavgw
  69   %res = call <16 x i16> @llvm.x86.avx2.pavg.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  70   ret <16 x i16> %res
  71 }
  72 declare <16 x i16> @llvm.x86.avx2.pavg.w(<16 x i16>, <16 x i16>) nounwind readnone
  73
  74
  75 define <8 x i32> @test_x86_avx2_pmadd_wd(<16 x i16> %a0, <16 x i16> %a1) {
  76   ; CHECK: vpmaddwd
  77   %res = call <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16> %a0, <16 x i16> %a1) ; <<8 x i32>> [#uses=1]
  78   ret <8 x i32> %res
  79 }
  80 declare <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16>, <16 x i16>) nounwind readnone
  81
  82
  83 define <16 x i16> @test_x86_avx2_pmaxs_w(<16 x i16> %a0, <16 x i16> %a1) {
  84   ; CHECK: vpmaxsw
  85   %res = call <16 x i16> @llvm.x86.avx2.pmaxs.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  86   ret <16 x i16> %res
  87 }
  88 declare <16 x i16> @llvm.x86.avx2.pmaxs.w(<16 x i16>, <16 x i16>) nounwind readnone
  89
  90
  91 define <32 x i8> @test_x86_avx2_pmaxu_b(<32 x i8> %a0, <32 x i8> %a1) {
  92   ; CHECK: vpmaxub
  93   %res = call <32 x i8> @llvm.x86.avx2.pmaxu.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  94   ret <32 x i8> %res
  95 }
  96 declare <32 x i8> @llvm.x86.avx2.pmaxu.b(<32 x i8>, <32 x i8>) nounwind readnone
  97
  98
  99 define <16 x i16> @test_x86_avx2_pmins_w(<16 x i16> %a0, <16 x i16> %a1) {
 100   ; CHECK: vpminsw
 101   %res = call <16 x i16> @llvm.x86.avx2.pmins.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 102   ret <16 x i16> %res
 103 }
 104 declare <16 x i16> @llvm.x86.avx2.pmins.w(<16 x i16>, <16 x i16>) nounwind readnone
 105
 106
 107 define <32 x i8> @test_x86_avx2_pminu_b(<32 x i8> %a0, <32 x i8> %a1) {
 108   ; CHECK: vpminub
 109   %res = call <32 x i8> @llvm.x86.avx2.pminu.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 110   ret <32 x i8> %res
 111 }
 112 declare <32 x i8> @llvm.x86.avx2.pminu.b(<32 x i8>, <32 x i8>) nounwind readnone
 113
 114
 115 define i32 @test_x86_avx2_pmovmskb(<32 x i8> %a0) {
 116   ; CHECK: vpmovmskb
 117   %res = call i32 @llvm.x86.avx2.pmovmskb(<32 x i8> %a0) ; <i32> [#uses=1]
 118   ret i32 %res
 119 }
 120 declare i32 @llvm.x86.avx2.pmovmskb(<32 x i8>) nounwind readnone
 121
 122
 123 define <16 x i16> @test_x86_avx2_pmulh_w(<16 x i16> %a0, <16 x i16> %a1) {
 124   ; CHECK: vpmulhw
 125   %res = call <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 126   ret <16 x i16> %res
 127 }
 128 declare <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16>, <16 x i16>) nounwind readnone
 129
 130
 131 define <16 x i16> @test_x86_avx2_pmulhu_w(<16 x i16> %a0, <16 x i16> %a1) {
 132   ; CHECK: vpmulhuw
 133   %res = call <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 134   ret <16 x i16> %res
 135 }
 136 declare <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16>, <16 x i16>) nounwind readnone
 137
 138
 139 define <4 x i64> @test_x86_avx2_pmulu_dq(<8 x i32> %a0, <8 x i32> %a1) {
 140   ; CHECK: vpmuludq
 141   %res = call <4 x i64> @llvm.x86.avx2.pmulu.dq(<8 x i32> %a0, <8 x i32> %a1) ; <<4 x i64>> [#uses=1]
 142   ret <4 x i64> %res
 143 }
 144 declare <4 x i64> @llvm.x86.avx2.pmulu.dq(<8 x i32>, <8 x i32>) nounwind readnone
 145
 146
 147 define <4 x i64> @test_x86_avx2_psad_bw(<32 x i8> %a0, <32 x i8> %a1) {
 148   ; CHECK: vpsadbw
 149   %res = call <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8> %a0, <32 x i8> %a1) ; <<4 x i64>> [#uses=1]
 150   ret <4 x i64> %res
 151 }
 152 declare <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8>, <32 x i8>) nounwind readnone
 153
 154
 155 define <8 x i32> @test_x86_avx2_psll_d(<8 x i32> %a0, <4 x i32> %a1) {
 156   ; CHECK: vpslld
 157   %res = call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 158   ret <8 x i32> %res
 159 }
 160 declare <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32>, <4 x i32>) nounwind readnone
 161
 162
 163 define <4 x i64> @test_x86_avx2_psll_q(<4 x i64> %a0, <2 x i64> %a1) {
 164   ; CHECK: vpsllq
 165   %res = call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 166   ret <4 x i64> %res
 167 }
 168 declare <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64>, <2 x i64>) nounwind readnone
 169
 170
 171 define <16 x i16> @test_x86_avx2_psll_w(<16 x i16> %a0, <8 x i16> %a1) {
 172   ; CHECK: vpsllw
 173   %res = call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 174   ret <16 x i16> %res
 175 }
 176 declare <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16>, <8 x i16>) nounwind readnone
 177
 178
 179 define <8 x i32> @test_x86_avx2_pslli_d(<8 x i32> %a0) {
 180   ; CHECK: vpslld
 181   %res = call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 182   ret <8 x i32> %res
 183 }
 184 declare <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32>, i32) nounwind readnone
 185
 186
 187 define <4 x i64> @test_x86_avx2_pslli_q(<4 x i64> %a0) {
 188   ; CHECK: vpsllq
 189   %res = call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 190   ret <4 x i64> %res
 191 }
 192 declare <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64>, i32) nounwind readnone
 193
 194
 195 define <16 x i16> @test_x86_avx2_pslli_w(<16 x i16> %a0) {
 196   ; CHECK: vpsllw
 197   %res = call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 198   ret <16 x i16> %res
 199 }
 200 declare <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16>, i32) nounwind readnone
 201
 202
 203 define <8 x i32> @test_x86_avx2_psra_d(<8 x i32> %a0, <4 x i32> %a1) {
 204   ; CHECK: vpsrad
 205   %res = call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 206   ret <8 x i32> %res
 207 }
 208 declare <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32>, <4 x i32>) nounwind readnone
 209
 210
 211 define <16 x i16> @test_x86_avx2_psra_w(<16 x i16> %a0, <8 x i16> %a1) {
 212   ; CHECK: vpsraw
 213   %res = call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 214   ret <16 x i16> %res
 215 }
 216 declare <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16>, <8 x i16>) nounwind readnone
 217
 218
 219 define <8 x i32> @test_x86_avx2_psrai_d(<8 x i32> %a0) {
 220   ; CHECK: vpsrad
 221   %res = call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 222   ret <8 x i32> %res
 223 }
 224 declare <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32>, i32) nounwind readnone
 225
 226
 227 define <16 x i16> @test_x86_avx2_psrai_w(<16 x i16> %a0) {
 228   ; CHECK: vpsraw
 229   %res = call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 230   ret <16 x i16> %res
 231 }
 232 declare <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16>, i32) nounwind readnone
 233
 234
 235 define <8 x i32> @test_x86_avx2_psrl_d(<8 x i32> %a0, <4 x i32> %a1) {
 236   ; CHECK: vpsrld
 237   %res = call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 238   ret <8 x i32> %res
 239 }
 240 declare <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32>, <4 x i32>) nounwind readnone
 241
 242
 243 define <4 x i64> @test_x86_avx2_psrl_q(<4 x i64> %a0, <2 x i64> %a1) {
 244   ; CHECK: vpsrlq
 245   %res = call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 246   ret <4 x i64> %res
 247 }
 248 declare <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64>, <2 x i64>) nounwind readnone
 249
 250
 251 define <16 x i16> @test_x86_avx2_psrl_w(<16 x i16> %a0, <8 x i16> %a1) {
 252   ; CHECK: vpsrlw
 253   %res = call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 254   ret <16 x i16> %res
 255 }
 256 declare <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16>, <8 x i16>) nounwind readnone
 257
 258
 259 define <8 x i32> @test_x86_avx2_psrli_d(<8 x i32> %a0) {
 260   ; CHECK: vpsrld
 261   %res = call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 262   ret <8 x i32> %res
 263 }
 264 declare <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32>, i32) nounwind readnone
 265
 266
 267 define <4 x i64> @test_x86_avx2_psrli_q(<4 x i64> %a0) {
 268   ; CHECK: vpsrlq
 269   %res = call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 270   ret <4 x i64> %res
 271 }
 272 declare <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64>, i32) nounwind readnone
 273
 274
 275 define <16 x i16> @test_x86_avx2_psrli_w(<16 x i16> %a0) {
 276   ; CHECK: vpsrlw
 277   %res = call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 278   ret <16 x i16> %res
 279 }
 280 declare <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16>, i32) nounwind readnone
 281
 282
 283 define <32 x i8> @test_x86_avx2_psubs_b(<32 x i8> %a0, <32 x i8> %a1) {
 284   ; CHECK: vpsubsb
 285   %res = call <32 x i8> @llvm.x86.avx2.psubs.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 286   ret <32 x i8> %res
 287 }
 288 declare <32 x i8> @llvm.x86.avx2.psubs.b(<32 x i8>, <32 x i8>) nounwind readnone
 289
 290
 291 define <16 x i16> @test_x86_avx2_psubs_w(<16 x i16> %a0, <16 x i16> %a1) {
 292   ; CHECK: vpsubsw
 293   %res = call <16 x i16> @llvm.x86.avx2.psubs.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 294   ret <16 x i16> %res
 295 }
 296 declare <16 x i16> @llvm.x86.avx2.psubs.w(<16 x i16>, <16 x i16>) nounwind readnone
 297
 298
 299 define <32 x i8> @test_x86_avx2_psubus_b(<32 x i8> %a0, <32 x i8> %a1) {
 300   ; CHECK: vpsubusb
 301   %res = call <32 x i8> @llvm.x86.avx2.psubus.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 302   ret <32 x i8> %res
 303 }
 304 declare <32 x i8> @llvm.x86.avx2.psubus.b(<32 x i8>, <32 x i8>) nounwind readnone
 305
 306
 307 define <16 x i16> @test_x86_avx2_psubus_w(<16 x i16> %a0, <16 x i16> %a1) {
 308   ; CHECK: vpsubusw
 309   %res = call <16 x i16> @llvm.x86.avx2.psubus.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 310   ret <16 x i16> %res
 311 }
 312 declare <16 x i16> @llvm.x86.avx2.psubus.w(<16 x i16>, <16 x i16>) nounwind readnone
 313
 314
 315 define <32 x i8> @test_x86_avx2_pabs_b(<32 x i8> %a0) {
 316   ; CHECK: vpabsb
 317   %res = call <32 x i8> @llvm.x86.avx2.pabs.b(<32 x i8> %a0) ; <<32 x i8>> [#uses=1]
 318   ret <32 x i8> %res
 319 }
 320 declare <32 x i8> @llvm.x86.avx2.pabs.b(<32 x i8>) nounwind readnone
 321
 322
 323 define <8 x i32> @test_x86_avx2_pabs_d(<8 x i32> %a0) {
 324   ; CHECK: vpabsd
 325   %res = call <8 x i32> @llvm.x86.avx2.pabs.d(<8 x i32> %a0) ; <<8 x i32>> [#uses=1]
 326   ret <8 x i32> %res
 327 }
 328 declare <8 x i32> @llvm.x86.avx2.pabs.d(<8 x i32>) nounwind readnone
 329
 330
 331 define <16 x i16> @test_x86_avx2_pabs_w(<16 x i16> %a0) {
 332   ; CHECK: vpabsw
 333   %res = call <16 x i16> @llvm.x86.avx2.pabs.w(<16 x i16> %a0) ; <<16 x i16>> [#uses=1]
 334   ret <16 x i16> %res
 335 }
 336 declare <16 x i16> @llvm.x86.avx2.pabs.w(<16 x i16>) nounwind readnone
 337
 338
 339 define <8 x i32> @test_x86_avx2_phadd_d(<8 x i32> %a0, <8 x i32> %a1) {
 340   ; CHECK: vphaddd
 341   %res = call <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 342   ret <8 x i32> %res
 343 }
 344 declare <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32>, <8 x i32>) nounwind readnone
 345
 346
 347 define <16 x i16> @test_x86_avx2_phadd_sw(<16 x i16> %a0, <16 x i16> %a1) {
 348   ; CHECK: vphaddsw
 349   %res = call <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 350   ret <16 x i16> %res
 351 }
 352 declare <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16>, <16 x i16>) nounwind readnone
 353
 354
 355 define <16 x i16> @test_x86_avx2_phadd_w(<16 x i16> %a0, <16 x i16> %a1) {
 356   ; CHECK: vphaddw
 357   %res = call <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 358   ret <16 x i16> %res
 359 }
 360 declare <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16>, <16 x i16>) nounwind readnone
 361
 362
 363 define <8 x i32> @test_x86_avx2_phsub_d(<8 x i32> %a0, <8 x i32> %a1) {
 364   ; CHECK: vphsubd
 365   %res = call <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 366   ret <8 x i32> %res
 367 }
 368 declare <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32>, <8 x i32>) nounwind readnone
 369
 370
 371 define <16 x i16> @test_x86_avx2_phsub_sw(<16 x i16> %a0, <16 x i16> %a1) {
 372   ; CHECK: vphsubsw
 373   %res = call <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 374   ret <16 x i16> %res
 375 }
 376 declare <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16>, <16 x i16>) nounwind readnone
 377
 378
 379 define <16 x i16> @test_x86_avx2_phsub_w(<16 x i16> %a0, <16 x i16> %a1) {
 380   ; CHECK: vphsubw
 381   %res = call <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 382   ret <16 x i16> %res
 383 }
 384 declare <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16>, <16 x i16>) nounwind readnone
 385
 386
 387 define <16 x i16> @test_x86_avx2_pmadd_ub_sw(<32 x i8> %a0, <32 x i8> %a1) {
 388   ; CHECK: vpmaddubsw
 389   %res = call <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i16>> [#uses=1]
 390   ret <16 x i16> %res
 391 }
 392 declare <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8>, <32 x i8>) nounwind readnone
 393
 394
 395 define <16 x i16> @test_x86_avx2_pmul_hr_sw(<16 x i16> %a0, <16 x i16> %a1) {
 396   ; CHECK: vpmulhrsw
 397   %res = call <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 398   ret <16 x i16> %res
 399 }
 400 declare <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16>, <16 x i16>) nounwind readnone
 401
 402
 403 define <32 x i8> @test_x86_avx2_pshuf_b(<32 x i8> %a0, <32 x i8> %a1) {
 404   ; CHECK: vpshufb
 405   %res = call <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i8>> [#uses=1]
 406   ret <32 x i8> %res
 407 }
 408 declare <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8>, <32 x i8>) nounwind readnone
 409
 410
 411 define <32 x i8> @test_x86_avx2_psign_b(<32 x i8> %a0, <32 x i8> %a1) {
 412   ; CHECK: vpsignb
 413   %res = call <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 414   ret <32 x i8> %res
 415 }
 416 declare <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8>, <32 x i8>) nounwind readnone
 417
 418
 419 define <8 x i32> @test_x86_avx2_psign_d(<8 x i32> %a0, <8 x i32> %a1) {
 420   ; CHECK: vpsignd
 421   %res = call <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32> %a0, <8 x i32> %a1) ; <<4 x i32>> [#uses=1]
 422   ret <8 x i32> %res
 423 }
 424 declare <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32>, <8 x i32>) nounwind readnone
 425
 426
 427 define <16 x i16> @test_x86_avx2_psign_w(<16 x i16> %a0, <16 x i16> %a1) {
 428   ; CHECK: vpsignw
 429   %res = call <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 430   ret <16 x i16> %res
 431 }
 432 declare <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16>, <16 x i16>) nounwind readnone
 433
 434
 435 define <4 x i64> @test_x86_avx2_movntdqa(i8* %a0) {
 436   ; CHECK: movl
 437   ; CHECK: vmovntdqa
 438   %res = call <4 x i64> @llvm.x86.avx2.movntdqa(i8* %a0) ; <<4 x i64>> [#uses=1]
 439   ret <4 x i64> %res
 440 }
 441 declare <4 x i64> @llvm.x86.avx2.movntdqa(i8*) nounwind readonly
 442
 443
 444 define <16 x i16> @test_x86_avx2_mpsadbw(<32 x i8> %a0, <32 x i8> %a1) {
 445   ; CHECK: vmpsadbw
 446   %res = call <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8> %a0, <32 x i8> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 447   ret <16 x i16> %res
 448 }
 449 declare <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8>, <32 x i8>, i8) nounwind readnone
 450
 451
 452 define <16 x i16> @test_x86_avx2_packusdw(<8 x i32> %a0, <8 x i32> %a1) {
 453   ; CHECK: vpackusdw
 454   %res = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
 455   ret <16 x i16> %res
 456 }
 457 declare <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32>, <8 x i32>) nounwind readnone
 458
 459
 460 define <32 x i8> @test_x86_avx2_pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) {
 461   ; CHECK: vpblendvb
 462   %res = call <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) ; <<32 x i8>> [#uses=1]
 463   ret <32 x i8> %res
 464 }
 465 declare <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8>, <32 x i8>, <32 x i8>) nounwind readnone
 466
 467
 468 define <16 x i16> @test_x86_avx2_pblendw(<16 x i16> %a0, <16 x i16> %a1) {
 469   ; CHECK: vpblendw
 470   %res = call <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16> %a0, <16 x i16> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 471   ret <16 x i16> %res
 472 }
 473 declare <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16>, <16 x i16>, i8) nounwind readnone
 474
 475
 476 define <32 x i8> @test_x86_avx2_pmaxsb(<32 x i8> %a0, <32 x i8> %a1) {
 477   ; CHECK: vpmaxsb
 478   %res = call <32 x i8> @llvm.x86.avx2.pmaxs.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 479   ret <32 x i8> %res
 480 }
 481 declare <32 x i8> @llvm.x86.avx2.pmaxs.b(<32 x i8>, <32 x i8>) nounwind readnone
 482
 483
 484 define <8 x i32> @test_x86_avx2_pmaxsd(<8 x i32> %a0, <8 x i32> %a1) {
 485   ; CHECK: vpmaxsd
 486   %res = call <8 x i32> @llvm.x86.avx2.pmaxs.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 487   ret <8 x i32> %res
 488 }
 489 declare <8 x i32> @llvm.x86.avx2.pmaxs.d(<8 x i32>, <8 x i32>) nounwind readnone
 490
 491
 492 define <8 x i32> @test_x86_avx2_pmaxud(<8 x i32> %a0, <8 x i32> %a1) {
 493   ; CHECK: vpmaxud
 494   %res = call <8 x i32> @llvm.x86.avx2.pmaxu.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 495   ret <8 x i32> %res
 496 }
 497 declare <8 x i32> @llvm.x86.avx2.pmaxu.d(<8 x i32>, <8 x i32>) nounwind readnone
 498
 499
 500 define <16 x i16> @test_x86_avx2_pmaxuw(<16 x i16> %a0, <16 x i16> %a1) {
 501   ; CHECK: vpmaxuw
 502   %res = call <16 x i16> @llvm.x86.avx2.pmaxu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 503   ret <16 x i16> %res
 504 }
 505 declare <16 x i16> @llvm.x86.avx2.pmaxu.w(<16 x i16>, <16 x i16>) nounwind readnone
 506
 507
 508 define <32 x i8> @test_x86_avx2_pminsb(<32 x i8> %a0, <32 x i8> %a1) {
 509   ; CHECK: vpminsb
 510   %res = call <32 x i8> @llvm.x86.avx2.pmins.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 511   ret <32 x i8> %res
 512 }
 513 declare <32 x i8> @llvm.x86.avx2.pmins.b(<32 x i8>, <32 x i8>) nounwind readnone
 514
 515
 516 define <8 x i32> @test_x86_avx2_pminsd(<8 x i32> %a0, <8 x i32> %a1) {
 517   ; CHECK: vpminsd
 518   %res = call <8 x i32> @llvm.x86.avx2.pmins.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 519   ret <8 x i32> %res
 520 }
 521 declare <8 x i32> @llvm.x86.avx2.pmins.d(<8 x i32>, <8 x i32>) nounwind readnone
 522
 523
 524 define <8 x i32> @test_x86_avx2_pminud(<8 x i32> %a0, <8 x i32> %a1) {
 525   ; CHECK: vpminud
 526   %res = call <8 x i32> @llvm.x86.avx2.pminu.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 527   ret <8 x i32> %res
 528 }
 529 declare <8 x i32> @llvm.x86.avx2.pminu.d(<8 x i32>, <8 x i32>) nounwind readnone
 530
 531
 532 define <16 x i16> @test_x86_avx2_pminuw(<16 x i16> %a0, <16 x i16> %a1) {
 533   ; CHECK: vpminuw
 534   %res = call <16 x i16> @llvm.x86.avx2.pminu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 535   ret <16 x i16> %res
 536 }
 537 declare <16 x i16> @llvm.x86.avx2.pminu.w(<16 x i16>, <16 x i16>) nounwind readnone
 538
 539
 540 define <8 x i32> @test_x86_avx2_pmovsxbd(<16 x i8> %a0) {
 541   ; CHECK: vpmovsxbd
 542   %res = call <8 x i32> @llvm.x86.avx2.pmovsxbd(<16 x i8> %a0) ; <<8 x i32>> [#uses=1]
 543   ret <8 x i32> %res
 544 }
 545 declare <8 x i32> @llvm.x86.avx2.pmovsxbd(<16 x i8>) nounwind readnone
 546
 547
 548 define <4 x i64> @test_x86_avx2_pmovsxbq(<16 x i8> %a0) {
 549   ; CHECK: vpmovsxbq
 550   %res = call <4 x i64> @llvm.x86.avx2.pmovsxbq(<16 x i8> %a0) ; <<4 x i64>> [#uses=1]
 551   ret <4 x i64> %res
 552 }
 553 declare <4 x i64> @llvm.x86.avx2.pmovsxbq(<16 x i8>) nounwind readnone
 554
 555
 556 define <16 x i16> @test_x86_avx2_pmovsxbw(<16 x i8> %a0) {
 557   ; CHECK: vpmovsxbw
 558   %res = call <16 x i16> @llvm.x86.avx2.pmovsxbw(<16 x i8> %a0) ; <<8 x i16>> [#uses=1]
 559   ret <16 x i16> %res
 560 }
 561 declare <16 x i16> @llvm.x86.avx2.pmovsxbw(<16 x i8>) nounwind readnone
 562
 563
 564 define <4 x i64> @test_x86_avx2_pmovsxdq(<4 x i32> %a0) {
 565   ; CHECK: vpmovsxdq
 566   %res = call <4 x i64> @llvm.x86.avx2.pmovsxdq(<4 x i32> %a0) ; <<4 x i64>> [#uses=1]
 567   ret <4 x i64> %res
 568 }
 569 declare <4 x i64> @llvm.x86.avx2.pmovsxdq(<4 x i32>) nounwind readnone
 570
 571
 572 define <8 x i32> @test_x86_avx2_pmovsxwd(<8 x i16> %a0) {
 573   ; CHECK: vpmovsxwd
 574   %res = call <8 x i32> @llvm.x86.avx2.pmovsxwd(<8 x i16> %a0) ; <<8 x i32>> [#uses=1]
 575   ret <8 x i32> %res
 576 }
 577 declare <8 x i32> @llvm.x86.avx2.pmovsxwd(<8 x i16>) nounwind readnone
 578
 579
 580 define <4 x i64> @test_x86_avx2_pmovsxwq(<8 x i16> %a0) {
 581   ; CHECK: vpmovsxwq
 582   %res = call <4 x i64> @llvm.x86.avx2.pmovsxwq(<8 x i16> %a0) ; <<4 x i64>> [#uses=1]
 583   ret <4 x i64> %res
 584 }
 585 declare <4 x i64> @llvm.x86.avx2.pmovsxwq(<8 x i16>) nounwind readnone
 586
 587
 588 define <8 x i32> @test_x86_avx2_pmovzxbd(<16 x i8> %a0) {
 589   ; CHECK: vpmovzxbd
 590   %res = call <8 x i32> @llvm.x86.avx2.pmovzxbd(<16 x i8> %a0) ; <<8 x i32>> [#uses=1]
 591   ret <8 x i32> %res
 592 }
 593 declare <8 x i32> @llvm.x86.avx2.pmovzxbd(<16 x i8>) nounwind readnone
 594
 595
 596 define <4 x i64> @test_x86_avx2_pmovzxbq(<16 x i8> %a0) {
 597   ; CHECK: vpmovzxbq
 598   %res = call <4 x i64> @llvm.x86.avx2.pmovzxbq(<16 x i8> %a0) ; <<4 x i64>> [#uses=1]
 599   ret <4 x i64> %res
 600 }
 601 declare <4 x i64> @llvm.x86.avx2.pmovzxbq(<16 x i8>) nounwind readnone
 602
 603
 604 define <16 x i16> @test_x86_avx2_pmovzxbw(<16 x i8> %a0) {
 605   ; CHECK: vpmovzxbw
 606   %res = call <16 x i16> @llvm.x86.avx2.pmovzxbw(<16 x i8> %a0) ; <<16 x i16>> [#uses=1]
 607   ret <16 x i16> %res
 608 }
 609 declare <16 x i16> @llvm.x86.avx2.pmovzxbw(<16 x i8>) nounwind readnone
 610
 611
 612 define <4 x i64> @test_x86_avx2_pmovzxdq(<4 x i32> %a0) {
 613   ; CHECK: vpmovzxdq
 614   %res = call <4 x i64> @llvm.x86.avx2.pmovzxdq(<4 x i32> %a0) ; <<4 x i64>> [#uses=1]
 615   ret <4 x i64> %res
 616 }
 617 declare <4 x i64> @llvm.x86.avx2.pmovzxdq(<4 x i32>) nounwind readnone
 618
 619
 620 define <8 x i32> @test_x86_avx2_pmovzxwd(<8 x i16> %a0) {
 621   ; CHECK: vpmovzxwd
 622   %res = call <8 x i32> @llvm.x86.avx2.pmovzxwd(<8 x i16> %a0) ; <<8 x i32>> [#uses=1]
 623   ret <8 x i32> %res
 624 }
 625 declare <8 x i32> @llvm.x86.avx2.pmovzxwd(<8 x i16>) nounwind readnone
 626
 627
 628 define <4 x i64> @test_x86_avx2_pmovzxwq(<8 x i16> %a0) {
 629   ; CHECK: vpmovzxwq
 630   %res = call <4 x i64> @llvm.x86.avx2.pmovzxwq(<8 x i16> %a0) ; <<4 x i64>> [#uses=1]
 631   ret <4 x i64> %res
 632 }
 633 declare <4 x i64> @llvm.x86.avx2.pmovzxwq(<8 x i16>) nounwind readnone
 634
 635
 636 define <4 x i64> @test_x86_avx2_pmul.dq(<8 x i32> %a0, <8 x i32> %a1) {
 637   ; CHECK: vpmuldq
 638   %res = call <4 x i64> @llvm.x86.avx2.pmul.dq(<8 x i32> %a0, <8 x i32> %a1) ; <<2 x i64>> [#uses=1]
 639   ret <4 x i64> %res
 640 }
 641 declare <4 x i64> @llvm.x86.avx2.pmul.dq(<8 x i32>, <8 x i32>) nounwind readnone
 642
 643
 644 define <4 x i64> @test_x86_avx2_vbroadcasti128(i8* %a0) {
 645   ; CHECK: vbroadcasti128
 646   %res = call <4 x i64> @llvm.x86.avx2.vbroadcasti128(i8* %a0) ; <<4 x i64>> [#uses=1]
 647   ret <4 x i64> %res
 648 }
 649 declare <4 x i64> @llvm.x86.avx2.vbroadcasti128(i8*) nounwind readonly
 650
 651 define <4 x double> @test_x86_avx2_vbroadcast_sd_pd_256(<2 x double> %a0) {
 652   ; CHECK: vbroadcastsd
 653   %res = call <4 x double> @llvm.x86.avx2.vbroadcast.sd.pd.256(<2 x double> %a0) ; <<4 x double>> [#uses=1]
 654   ret <4 x double> %res
 655 }
 656 declare <4 x double> @llvm.x86.avx2.vbroadcast.sd.pd.256(<2 x double>) nounwind readonly
 657
 658
 659 define <4 x float> @test_x86_avx2_vbroadcast_ss_ps(<4 x float> %a0) {
 660   ; CHECK: vbroadcastss
 661   %res = call <4 x float> @llvm.x86.avx2.vbroadcast.ss.ps(<4 x float> %a0) ; <<4 x float>> [#uses=1]
 662   ret <4 x float> %res
 663 }
 664 declare <4 x float> @llvm.x86.avx2.vbroadcast.ss.ps(<4 x float>) nounwind readonly
 665
 666
 667 define <8 x float> @test_x86_avx2_vbroadcast_ss_ps_256(<4 x float> %a0) {
 668   ; CHECK: vbroadcastss
 669   %res = call <8 x float> @llvm.x86.avx2.vbroadcast.ss.ps.256(<4 x float> %a0) ; <<8 x float>> [#uses=1]
 670   ret <8 x float> %res
 671 }
 672 declare <8 x float> @llvm.x86.avx2.vbroadcast.ss.ps.256(<4 x float>) nounwind readonly
 673
 674
 675 define <4 x i32> @test_x86_avx2_pblendd_128(<4 x i32> %a0, <4 x i32> %a1) {
 676   ; CHECK: vpblendd
 677   %res = call <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32> %a0, <4 x i32> %a1, i8 7) ; <<4 x i32>> [#uses=1]
 678   ret <4 x i32> %res
 679 }
 680 declare <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32>, <4 x i32>, i8) nounwind readnone
 681
 682
 683 define <8 x i32> @test_x86_avx2_pblendd_256(<8 x i32> %a0, <8 x i32> %a1) {
 684   ; CHECK: vpblendd
 685   %res = call <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32> %a0, <8 x i32> %a1, i8 7) ; <<8 x i32>> [#uses=1]
 686   ret <8 x i32> %res
 687 }
 688 declare <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32>, <8 x i32>, i8) nounwind readnone
 689
 690
 691 define <16 x i8> @test_x86_avx2_pbroadcastb_128(<16 x i8> %a0) {
 692   ; CHECK: vpbroadcastb
 693   %res = call <16 x i8> @llvm.x86.avx2.pbroadcastb.128(<16 x i8> %a0) ; <<16 x i8>> [#uses=1]
 694   ret <16 x i8> %res
 695 }
 696 declare <16 x i8> @llvm.x86.avx2.pbroadcastb.128(<16 x i8>) nounwind readonly
 697
 698
 699 define <32 x i8> @test_x86_avx2_pbroadcastb_256(<16 x i8> %a0) {
 700   ; CHECK: vpbroadcastb
 701   %res = call <32 x i8> @llvm.x86.avx2.pbroadcastb.256(<16 x i8> %a0) ; <<32 x i8>> [#uses=1]
 702   ret <32 x i8> %res
 703 }
 704 declare <32 x i8> @llvm.x86.avx2.pbroadcastb.256(<16 x i8>) nounwind readonly
 705
 706
 707 define <8 x i16> @test_x86_avx2_pbroadcastw_128(<8 x i16> %a0) {
 708   ; CHECK: vpbroadcastw
 709   %res = call <8 x i16> @llvm.x86.avx2.pbroadcastw.128(<8 x i16> %a0) ; <<8 x i16>> [#uses=1]
 710   ret <8 x i16> %res
 711 }
 712 declare <8 x i16> @llvm.x86.avx2.pbroadcastw.128(<8 x i16>) nounwind readonly
 713
 714
 715 define <16 x i16> @test_x86_avx2_pbroadcastw_256(<8 x i16> %a0) {
 716   ; CHECK: vpbroadcastw
 717   %res = call <16 x i16> @llvm.x86.avx2.pbroadcastw.256(<8 x i16> %a0) ; <<16 x i16>> [#uses=1]
 718   ret <16 x i16> %res
 719 }
 720 declare <16 x i16> @llvm.x86.avx2.pbroadcastw.256(<8 x i16>) nounwind readonly
 721
 722
 723 define <4 x i32> @test_x86_avx2_pbroadcastd_128(<4 x i32> %a0) {
 724   ; CHECK: vbroadcastss
 725   %res = call <4 x i32> @llvm.x86.avx2.pbroadcastd.128(<4 x i32> %a0) ; <<4 x i32>> [#uses=1]
 726   ret <4 x i32> %res
 727 }
 728 declare <4 x i32> @llvm.x86.avx2.pbroadcastd.128(<4 x i32>) nounwind readonly
 729
 730
 731 define <8 x i32> @test_x86_avx2_pbroadcastd_256(<4 x i32> %a0) {
 732   ; CHECK: vbroadcastss {{[^,]+}}, %ymm{{[0-9]+}}
 733   %res = call <8 x i32> @llvm.x86.avx2.pbroadcastd.256(<4 x i32> %a0) ; <<8 x i32>> [#uses=1]
 734   ret <8 x i32> %res
 735 }
 736 declare <8 x i32> @llvm.x86.avx2.pbroadcastd.256(<4 x i32>) nounwind readonly
 737
 738
 739 define <2 x i64> @test_x86_avx2_pbroadcastq_128(<2 x i64> %a0) {
 740   ; CHECK: vpbroadcastq
 741   %res = call <2 x i64> @llvm.x86.avx2.pbroadcastq.128(<2 x i64> %a0) ; <<2 x i64>> [#uses=1]
 742   ret <2 x i64> %res
 743 }
 744 declare <2 x i64> @llvm.x86.avx2.pbroadcastq.128(<2 x i64>) nounwind readonly
 745
 746
 747 define <4 x i64> @test_x86_avx2_pbroadcastq_256(<2 x i64> %a0) {
 748   ; CHECK: vbroadcastsd {{[^,]+}}, %ymm{{[0-9]+}}
 749   %res = call <4 x i64> @llvm.x86.avx2.pbroadcastq.256(<2 x i64> %a0) ; <<4 x i64>> [#uses=1]
 750   ret <4 x i64> %res
 751 }
 752 declare <4 x i64> @llvm.x86.avx2.pbroadcastq.256(<2 x i64>) nounwind readonly
 753
 754
 755 define <8 x i32> @test_x86_avx2_permd(<8 x i32> %a0, <8 x i32> %a1) {
 756   ; CHECK: vpermd
 757   %res = call <8 x i32> @llvm.x86.avx2.permd(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 758   ret <8 x i32> %res
 759 }
 760 declare <8 x i32> @llvm.x86.avx2.permd(<8 x i32>, <8 x i32>) nounwind readonly
 761
 762
 763 define <8 x float> @test_x86_avx2_permps(<8 x float> %a0, <8 x float> %a1) {
 764   ; CHECK: vpermps
 765   %res = call <8 x float> @llvm.x86.avx2.permps(<8 x float> %a0, <8 x float> %a1) ; <<8 x float>> [#uses=1]
 766   ret <8 x float> %res
 767 }
 768 declare <8 x float> @llvm.x86.avx2.permps(<8 x float>, <8 x float>) nounwind readonly
 769
 770
 771 define <4 x i64> @test_x86_avx2_vperm2i128(<4 x i64> %a0, <4 x i64> %a1) {
 772   ; CHECK: vperm2i128
 773   %res = call <4 x i64> @llvm.x86.avx2.vperm2i128(<4 x i64> %a0, <4 x i64> %a1, i8 1) ; <<4 x i64>> [#uses=1]
 774   ret <4 x i64> %res
 775 }
 776 declare <4 x i64> @llvm.x86.avx2.vperm2i128(<4 x i64>, <4 x i64>, i8) nounwind readonly
 777
 778
 779 define <2 x i64> @test_x86_avx2_vextracti128(<4 x i64> %a0) {
 780   ; CHECK: vextracti128
 781   %res = call <2 x i64> @llvm.x86.avx2.vextracti128(<4 x i64> %a0, i8 7) ; <<2 x i64>> [#uses=1]
 782   ret <2 x i64> %res
 783 }
 784 declare <2 x i64> @llvm.x86.avx2.vextracti128(<4 x i64>, i8) nounwind readnone
 785
 786
 787 define <4 x i64> @test_x86_avx2_vinserti128(<4 x i64> %a0, <2 x i64> %a1) {
 788   ; CHECK: vinserti128
 789   %res = call <4 x i64> @llvm.x86.avx2.vinserti128(<4 x i64> %a0, <2 x i64> %a1, i8 7) ; <<4 x i64>> [#uses=1]
 790   ret <4 x i64> %res
 791 }
 792 declare <4 x i64> @llvm.x86.avx2.vinserti128(<4 x i64>, <2 x i64>, i8) nounwind readnone
 793
 794
 795 define <2 x i64> @test_x86_avx2_maskload_q(i8* %a0, <2 x i64> %a1) {
 796   ; CHECK: vpmaskmovq
 797   %res = call <2 x i64> @llvm.x86.avx2.maskload.q(i8* %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 798   ret <2 x i64> %res
 799 }
 800 declare <2 x i64> @llvm.x86.avx2.maskload.q(i8*, <2 x i64>) nounwind readonly
 801
 802
 803 define <4 x i64> @test_x86_avx2_maskload_q_256(i8* %a0, <4 x i64> %a1) {
 804   ; CHECK: vpmaskmovq
 805   %res = call <4 x i64> @llvm.x86.avx2.maskload.q.256(i8* %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 806   ret <4 x i64> %res
 807 }
 808 declare <4 x i64> @llvm.x86.avx2.maskload.q.256(i8*, <4 x i64>) nounwind readonly
 809
 810
 811 define <4 x i32> @test_x86_avx2_maskload_d(i8* %a0, <4 x i32> %a1) {
 812   ; CHECK: vpmaskmovd
 813   %res = call <4 x i32> @llvm.x86.avx2.maskload.d(i8* %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 814   ret <4 x i32> %res
 815 }
 816 declare <4 x i32> @llvm.x86.avx2.maskload.d(i8*, <4 x i32>) nounwind readonly
 817
 818
 819 define <8 x i32> @test_x86_avx2_maskload_d_256(i8* %a0, <8 x i32> %a1) {
 820   ; CHECK: vpmaskmovd
 821   %res = call <8 x i32> @llvm.x86.avx2.maskload.d.256(i8* %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 822   ret <8 x i32> %res
 823 }
 824 declare <8 x i32> @llvm.x86.avx2.maskload.d.256(i8*, <8 x i32>) nounwind readonly
 825
 826
 827 define void @test_x86_avx2_maskstore_q(i8* %a0, <2 x i64> %a1, <2 x i64> %a2) {
 828   ; CHECK: vpmaskmovq
 829   call void @llvm.x86.avx2.maskstore.q(i8* %a0, <2 x i64> %a1, <2 x i64> %a2)
 830   ret void
 831 }
 832 declare void @llvm.x86.avx2.maskstore.q(i8*, <2 x i64>, <2 x i64>) nounwind
 833
 834
 835 define void @test_x86_avx2_maskstore_q_256(i8* %a0, <4 x i64> %a1, <4 x i64> %a2) {
 836   ; CHECK: vpmaskmovq
 837   call void @llvm.x86.avx2.maskstore.q.256(i8* %a0, <4 x i64> %a1, <4 x i64> %a2)
 838   ret void
 839 }
 840 declare void @llvm.x86.avx2.maskstore.q.256(i8*, <4 x i64>, <4 x i64>) nounwind
 841
 842
 843 define void @test_x86_avx2_maskstore_d(i8* %a0, <4 x i32> %a1, <4 x i32> %a2) {
 844   ; CHECK: vpmaskmovd
 845   call void @llvm.x86.avx2.maskstore.d(i8* %a0, <4 x i32> %a1, <4 x i32> %a2)
 846   ret void
 847 }
 848 declare void @llvm.x86.avx2.maskstore.d(i8*, <4 x i32>, <4 x i32>) nounwind
 849
 850
 851 define void @test_x86_avx2_maskstore_d_256(i8* %a0, <8 x i32> %a1, <8 x i32> %a2) {
 852   ; CHECK: vpmaskmovd
 853   call void @llvm.x86.avx2.maskstore.d.256(i8* %a0, <8 x i32> %a1, <8 x i32> %a2)
 854   ret void
 855 }
 856 declare void @llvm.x86.avx2.maskstore.d.256(i8*, <8 x i32>, <8 x i32>) nounwind
 857
 858
 859 define <4 x i32> @test_x86_avx2_psllv_d(<4 x i32> %a0, <4 x i32> %a1) {
 860   ; CHECK: vpsllvd
 861   %res = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 862   ret <4 x i32> %res
 863 }
 864 declare <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32>, <4 x i32>) nounwind readnone
 865
 866
 867 define <8 x i32> @test_x86_avx2_psllv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 868   ; CHECK: vpsllvd
 869   %res = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 870   ret <8 x i32> %res
 871 }
 872 declare <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 873
 874
 875 define <2 x i64> @test_x86_avx2_psllv_q(<2 x i64> %a0, <2 x i64> %a1) {
 876   ; CHECK: vpsllvq
 877   %res = call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 878   ret <2 x i64> %res
 879 }
 880 declare <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64>, <2 x i64>) nounwind readnone
 881
 882
 883 define <4 x i64> @test_x86_avx2_psllv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
 884   ; CHECK: vpsllvq
 885   %res = call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 886   ret <4 x i64> %res
 887 }
 888 declare <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
 889
 890
 891 define <4 x i32> @test_x86_avx2_psrlv_d(<4 x i32> %a0, <4 x i32> %a1) {
 892   ; CHECK: vpsrlvd
 893   %res = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 894   ret <4 x i32> %res
 895 }
 896 declare <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32>, <4 x i32>) nounwind readnone
 897
 898
 899 define <8 x i32> @test_x86_avx2_psrlv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 900   ; CHECK: vpsrlvd
 901   %res = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 902   ret <8 x i32> %res
 903 }
 904 declare <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 905
 906
 907 define <2 x i64> @test_x86_avx2_psrlv_q(<2 x i64> %a0, <2 x i64> %a1) {
 908   ; CHECK: vpsrlvq
 909   %res = call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 910   ret <2 x i64> %res
 911 }
 912 declare <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64>, <2 x i64>) nounwind readnone
 913
 914
 915 define <4 x i64> @test_x86_avx2_psrlv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
 916   ; CHECK: vpsrlvq
 917   %res = call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 918   ret <4 x i64> %res
 919 }
 920 declare <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
 921
 922
 923 define <4 x i32> @test_x86_avx2_psrav_d(<4 x i32> %a0, <4 x i32> %a1) {
 924   ; CHECK: vpsravd
 925   %res = call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 926   ret <4 x i32> %res
 927 }
 928 declare <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32>, <4 x i32>) nounwind readnone
 929
 930
 931 define <8 x i32> @test_x86_avx2_psrav_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 932   ; CHECK: vpsravd
 933   %res = call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 934   ret <8 x i32> %res
 935 }
 936 declare <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 937
 938 ; This is checked here because the execution dependency fix pass makes it hard to test in AVX mode since we don't have 256-bit integer instructions
 939 define void @test_x86_avx_storeu_dq_256(i8* %a0, <32 x i8> %a1) {
 940   ; CHECK: vmovdqu
 941   ; add operation forces the execution domain.
 942   %a2 = add <32 x i8> %a1, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 943   call void @llvm.x86.avx.storeu.dq.256(i8* %a0, <32 x i8> %a2)
 944   ret void
 945 }
 946 declare void @llvm.x86.avx.storeu.dq.256(i8*, <32 x i8>) nounwind
 947
 948 define <2 x double> @test_x86_avx2_gather_d_pd(<2 x double> %a0, i8* %a1,
 949                      <4 x i32> %idx, <2 x double> %mask) {
 950   ; CHECK: vgatherdpd
 951   %res = call <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double> %a0,
 952                             i8* %a1, <4 x i32> %idx, <2 x double> %mask, i8 2) ;
 953   ret <2 x double> %res
 954 }
 955 declare <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double>, i8*,
 956                       <4 x i32>, <2 x double>, i8) nounwind readonly
 957
 958 define <4 x double> @test_x86_avx2_gather_d_pd_256(<4 x double> %a0, i8* %a1,
 959                      <4 x i32> %idx, <4 x double> %mask) {
 960   ; CHECK: vgatherdpd
 961   %res = call <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double> %a0,
 962                             i8* %a1, <4 x i32> %idx, <4 x double> %mask, i8 2) ;
 963   ret <4 x double> %res
 964 }
 965 declare <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double>, i8*,
 966                       <4 x i32>, <4 x double>, i8) nounwind readonly
 967
 968 define <2 x double> @test_x86_avx2_gather_q_pd(<2 x double> %a0, i8* %a1,
 969                      <2 x i64> %idx, <2 x double> %mask) {
 970   ; CHECK: vgatherqpd
 971   %res = call <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double> %a0,
 972                             i8* %a1, <2 x i64> %idx, <2 x double> %mask, i8 2) ;
 973   ret <2 x double> %res
 974 }
 975 declare <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double>, i8*,
 976                       <2 x i64>, <2 x double>, i8) nounwind readonly
 977
 978 define <4 x double> @test_x86_avx2_gather_q_pd_256(<4 x double> %a0, i8* %a1,
 979                      <4 x i64> %idx, <4 x double> %mask) {
 980   ; CHECK: vgatherqpd
 981   %res = call <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double> %a0,
 982                             i8* %a1, <4 x i64> %idx, <4 x double> %mask, i8 2) ;
 983   ret <4 x double> %res
 984 }
 985 declare <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double>, i8*,
 986                       <4 x i64>, <4 x double>, i8) nounwind readonly
 987
 988 define <4 x float> @test_x86_avx2_gather_d_ps(<4 x float> %a0, i8* %a1,
 989                      <4 x i32> %idx, <4 x float> %mask) {
 990   ; CHECK: vgatherdps
 991   %res = call <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float> %a0,
 992                             i8* %a1, <4 x i32> %idx, <4 x float> %mask, i8 2) ;
 993   ret <4 x float> %res
 994 }
 995 declare <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float>, i8*,
 996                       <4 x i32>, <4 x float>, i8) nounwind readonly
 997
 998 define <8 x float> @test_x86_avx2_gather_d_ps_256(<8 x float> %a0, i8* %a1,
 999                      <8 x i32> %idx, <8 x float> %mask) {
1000   ; CHECK: vgatherdps
1001   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
1002                             i8* %a1, <8 x i32> %idx, <8 x float> %mask, i8 2) ;
1003   ret <8 x float> %res
1004 }
1005 declare <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float>, i8*,
1006                       <8 x i32>, <8 x float>, i8) nounwind readonly
1007
1008 define <4 x float> @test_x86_avx2_gather_q_ps(<4 x float> %a0, i8* %a1,
1009                      <2 x i64> %idx, <4 x float> %mask) {
1010   ; CHECK: vgatherqps
1011   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float> %a0,
1012                             i8* %a1, <2 x i64> %idx, <4 x float> %mask, i8 2) ;
1013   ret <4 x float> %res
1014 }
1015 declare <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float>, i8*,
1016                       <2 x i64>, <4 x float>, i8) nounwind readonly
1017
1018 define <4 x float> @test_x86_avx2_gather_q_ps_256(<4 x float> %a0, i8* %a1,
1019                      <4 x i64> %idx, <4 x float> %mask) {
1020   ; CHECK: vgatherqps
1021   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float> %a0,
1022                             i8* %a1, <4 x i64> %idx, <4 x float> %mask, i8 2) ;
1023   ret <4 x float> %res
1024 }
1025 declare <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float>, i8*,
1026                       <4 x i64>, <4 x float>, i8) nounwind readonly
1027
1028 define <2 x i64> @test_x86_avx2_gather_d_q(<2 x i64> %a0, i8* %a1,
1029                      <4 x i32> %idx, <2 x i64> %mask) {
1030   ; CHECK: vpgatherdq
1031   %res = call <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64> %a0,
1032                             i8* %a1, <4 x i32> %idx, <2 x i64> %mask, i8 2) ;
1033   ret <2 x i64> %res
1034 }
1035 declare <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64>, i8*,
1036                       <4 x i32>, <2 x i64>, i8) nounwind readonly
1037
1038 define <4 x i64> @test_x86_avx2_gather_d_q_256(<4 x i64> %a0, i8* %a1,
1039                      <4 x i32> %idx, <4 x i64> %mask) {
1040   ; CHECK: vpgatherdq
1041   %res = call <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64> %a0,
1042                             i8* %a1, <4 x i32> %idx, <4 x i64> %mask, i8 2) ;
1043   ret <4 x i64> %res
1044 }
1045 declare <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64>, i8*,
1046                       <4 x i32>, <4 x i64>, i8) nounwind readonly
1047
1048 define <2 x i64> @test_x86_avx2_gather_q_q(<2 x i64> %a0, i8* %a1,
1049                      <2 x i64> %idx, <2 x i64> %mask) {
1050   ; CHECK: vpgatherqq
1051   %res = call <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64> %a0,
1052                             i8* %a1, <2 x i64> %idx, <2 x i64> %mask, i8 2) ;
1053   ret <2 x i64> %res
1054 }
1055 declare <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64>, i8*,
1056                       <2 x i64>, <2 x i64>, i8) nounwind readonly
1057
1058 define <4 x i64> @test_x86_avx2_gather_q_q_256(<4 x i64> %a0, i8* %a1,
1059                      <4 x i64> %idx, <4 x i64> %mask) {
1060   ; CHECK: vpgatherqq
1061   %res = call <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64> %a0,
1062                             i8* %a1, <4 x i64> %idx, <4 x i64> %mask, i8 2) ;
1063   ret <4 x i64> %res
1064 }
1065 declare <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64>, i8*,
1066                       <4 x i64>, <4 x i64>, i8) nounwind readonly
1067
1068 define <4 x i32> @test_x86_avx2_gather_d_d(<4 x i32> %a0, i8* %a1,
1069                      <4 x i32> %idx, <4 x i32> %mask) {
1070   ; CHECK: vpgatherdd
1071   %res = call <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32> %a0,
1072                             i8* %a1, <4 x i32> %idx, <4 x i32> %mask, i8 2) ;
1073   ret <4 x i32> %res
1074 }
1075 declare <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32>, i8*,
1076                       <4 x i32>, <4 x i32>, i8) nounwind readonly
1077
1078 define <8 x i32> @test_x86_avx2_gather_d_d_256(<8 x i32> %a0, i8* %a1,
1079                      <8 x i32> %idx, <8 x i32> %mask) {
1080   ; CHECK: vpgatherdd
1081   %res = call <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32> %a0,
1082                             i8* %a1, <8 x i32> %idx, <8 x i32> %mask, i8 2) ;
1083   ret <8 x i32> %res
1084 }
1085 declare <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32>, i8*,
1086                       <8 x i32>, <8 x i32>, i8) nounwind readonly
1087
1088 define <4 x i32> @test_x86_avx2_gather_q_d(<4 x i32> %a0, i8* %a1,
1089                      <2 x i64> %idx, <4 x i32> %mask) {
1090   ; CHECK: vpgatherqd
1091   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32> %a0,
1092                             i8* %a1, <2 x i64> %idx, <4 x i32> %mask, i8 2) ;
1093   ret <4 x i32> %res
1094 }
1095 declare <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32>, i8*,
1096                       <2 x i64>, <4 x i32>, i8) nounwind readonly
1097
1098 define <4 x i32> @test_x86_avx2_gather_q_d_256(<4 x i32> %a0, i8* %a1,
1099                      <4 x i64> %idx, <4 x i32> %mask) {
1100   ; CHECK: vpgatherqd
1101   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32> %a0,
1102                             i8* %a1, <4 x i64> %idx, <4 x i32> %mask, i8 2) ;
1103   ret <4 x i32> %res
1104 }
1105 declare <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32>, i8*,
1106                       <4 x i64>, <4 x i32>, i8) nounwind readonly
1107
1108 ; PR13298
1109 define <8 x float>  @test_gather_mask(<8 x float> %a0, float* %a,
1110                                       <8 x i32> %idx, <8 x float> %mask,
1111                                       float* nocapture %out) {
1112 ; CHECK: test_gather_mask
1113 ; CHECK: vmovaps %ymm2, [[DEST:%.*]]
1114 ; CHECK: vgatherdps [[DEST]]
1115 ;; gather with mask
1116   %a_i8 = bitcast float* %a to i8*
1117   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
1118                            i8* %a_i8, <8 x i32> %idx, <8 x float> %mask, i8 4) ;
1119
1120 ;; for debugging, we'll just dump out the mask
1121   %out_ptr = bitcast float * %out to <8 x float> *
1122   store <8 x float> %mask, <8 x float> * %out_ptr, align 4
1123
1124   ret <8 x float> %res
1125 }