test/CodeGen/X86/avx2-intrinsics-x86.ll

   1 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -march=x86 -mattr=avx2 | FileCheck %s
   2
   3 define <16 x i16> @test_x86_avx2_packssdw(<8 x i32> %a0, <8 x i32> %a1) {
   4   ; CHECK: vpackssdw
   5   %res = call <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
   6   ret <16 x i16> %res
   7 }
   8 declare <16 x i16> @llvm.x86.avx2.packssdw(<8 x i32>, <8 x i32>) nounwind readnone
   9
  10
  11 define <32 x i8> @test_x86_avx2_packsswb(<16 x i16> %a0, <16 x i16> %a1) {
  12   ; CHECK: vpacksswb
  13   %res = call <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
  14   ret <32 x i8> %res
  15 }
  16 declare <32 x i8> @llvm.x86.avx2.packsswb(<16 x i16>, <16 x i16>) nounwind readnone
  17
  18
  19 define <32 x i8> @test_x86_avx2_packuswb(<16 x i16> %a0, <16 x i16> %a1) {
  20   ; CHECK: vpackuswb
  21   %res = call <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16> %a0, <16 x i16> %a1) ; <<32 x i8>> [#uses=1]
  22   ret <32 x i8> %res
  23 }
  24 declare <32 x i8> @llvm.x86.avx2.packuswb(<16 x i16>, <16 x i16>) nounwind readnone
  25
  26
  27 define <32 x i8> @test_x86_avx2_padds_b(<32 x i8> %a0, <32 x i8> %a1) {
  28   ; CHECK: vpaddsb
  29   %res = call <32 x i8> @llvm.x86.avx2.padds.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  30   ret <32 x i8> %res
  31 }
  32 declare <32 x i8> @llvm.x86.avx2.padds.b(<32 x i8>, <32 x i8>) nounwind readnone
  33
  34
  35 define <16 x i16> @test_x86_avx2_padds_w(<16 x i16> %a0, <16 x i16> %a1) {
  36   ; CHECK: vpaddsw
  37   %res = call <16 x i16> @llvm.x86.avx2.padds.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  38   ret <16 x i16> %res
  39 }
  40 declare <16 x i16> @llvm.x86.avx2.padds.w(<16 x i16>, <16 x i16>) nounwind readnone
  41
  42
  43 define <32 x i8> @test_x86_avx2_paddus_b(<32 x i8> %a0, <32 x i8> %a1) {
  44   ; CHECK: vpaddusb
  45   %res = call <32 x i8> @llvm.x86.avx2.paddus.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  46   ret <32 x i8> %res
  47 }
  48 declare <32 x i8> @llvm.x86.avx2.paddus.b(<32 x i8>, <32 x i8>) nounwind readnone
  49
  50
  51 define <16 x i16> @test_x86_avx2_paddus_w(<16 x i16> %a0, <16 x i16> %a1) {
  52   ; CHECK: vpaddusw
  53   %res = call <16 x i16> @llvm.x86.avx2.paddus.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  54   ret <16 x i16> %res
  55 }
  56 declare <16 x i16> @llvm.x86.avx2.paddus.w(<16 x i16>, <16 x i16>) nounwind readnone
  57
  58
  59 define <32 x i8> @test_x86_avx2_pavg_b(<32 x i8> %a0, <32 x i8> %a1) {
  60   ; CHECK: vpavgb
  61   %res = call <32 x i8> @llvm.x86.avx2.pavg.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  62   ret <32 x i8> %res
  63 }
  64 declare <32 x i8> @llvm.x86.avx2.pavg.b(<32 x i8>, <32 x i8>) nounwind readnone
  65
  66
  67 define <16 x i16> @test_x86_avx2_pavg_w(<16 x i16> %a0, <16 x i16> %a1) {
  68   ; CHECK: vpavgw
  69   %res = call <16 x i16> @llvm.x86.avx2.pavg.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  70   ret <16 x i16> %res
  71 }
  72 declare <16 x i16> @llvm.x86.avx2.pavg.w(<16 x i16>, <16 x i16>) nounwind readnone
  73
  74
  75 define <8 x i32> @test_x86_avx2_pmadd_wd(<16 x i16> %a0, <16 x i16> %a1) {
  76   ; CHECK: vpmaddwd
  77   %res = call <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16> %a0, <16 x i16> %a1) ; <<8 x i32>> [#uses=1]
  78   ret <8 x i32> %res
  79 }
  80 declare <8 x i32> @llvm.x86.avx2.pmadd.wd(<16 x i16>, <16 x i16>) nounwind readnone
  81
  82
  83 define <16 x i16> @test_x86_avx2_pmaxs_w(<16 x i16> %a0, <16 x i16> %a1) {
  84   ; CHECK: vpmaxsw
  85   %res = call <16 x i16> @llvm.x86.avx2.pmaxs.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
  86   ret <16 x i16> %res
  87 }
  88 declare <16 x i16> @llvm.x86.avx2.pmaxs.w(<16 x i16>, <16 x i16>) nounwind readnone
  89
  90
  91 define <32 x i8> @test_x86_avx2_pmaxu_b(<32 x i8> %a0, <32 x i8> %a1) {
  92   ; CHECK: vpmaxub
  93   %res = call <32 x i8> @llvm.x86.avx2.pmaxu.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
  94   ret <32 x i8> %res
  95 }
  96 declare <32 x i8> @llvm.x86.avx2.pmaxu.b(<32 x i8>, <32 x i8>) nounwind readnone
  97
  98
  99 define <16 x i16> @test_x86_avx2_pmins_w(<16 x i16> %a0, <16 x i16> %a1) {
 100   ; CHECK: vpminsw
 101   %res = call <16 x i16> @llvm.x86.avx2.pmins.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 102   ret <16 x i16> %res
 103 }
 104 declare <16 x i16> @llvm.x86.avx2.pmins.w(<16 x i16>, <16 x i16>) nounwind readnone
 105
 106
 107 define <32 x i8> @test_x86_avx2_pminu_b(<32 x i8> %a0, <32 x i8> %a1) {
 108   ; CHECK: vpminub
 109   %res = call <32 x i8> @llvm.x86.avx2.pminu.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 110   ret <32 x i8> %res
 111 }
 112 declare <32 x i8> @llvm.x86.avx2.pminu.b(<32 x i8>, <32 x i8>) nounwind readnone
 113
 114
 115 define i32 @test_x86_avx2_pmovmskb(<32 x i8> %a0) {
 116   ; CHECK: vpmovmskb
 117   %res = call i32 @llvm.x86.avx2.pmovmskb(<32 x i8> %a0) ; <i32> [#uses=1]
 118   ret i32 %res
 119 }
 120 declare i32 @llvm.x86.avx2.pmovmskb(<32 x i8>) nounwind readnone
 121
 122
 123 define <16 x i16> @test_x86_avx2_pmulh_w(<16 x i16> %a0, <16 x i16> %a1) {
 124   ; CHECK: vpmulhw
 125   %res = call <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 126   ret <16 x i16> %res
 127 }
 128 declare <16 x i16> @llvm.x86.avx2.pmulh.w(<16 x i16>, <16 x i16>) nounwind readnone
 129
 130
 131 define <16 x i16> @test_x86_avx2_pmulhu_w(<16 x i16> %a0, <16 x i16> %a1) {
 132   ; CHECK: vpmulhuw
 133   %res = call <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 134   ret <16 x i16> %res
 135 }
 136 declare <16 x i16> @llvm.x86.avx2.pmulhu.w(<16 x i16>, <16 x i16>) nounwind readnone
 137
 138
 139 define <4 x i64> @test_x86_avx2_pmulu_dq(<8 x i32> %a0, <8 x i32> %a1) {
 140   ; CHECK: vpmuludq
 141   %res = call <4 x i64> @llvm.x86.avx2.pmulu.dq(<8 x i32> %a0, <8 x i32> %a1) ; <<4 x i64>> [#uses=1]
 142   ret <4 x i64> %res
 143 }
 144 declare <4 x i64> @llvm.x86.avx2.pmulu.dq(<8 x i32>, <8 x i32>) nounwind readnone
 145
 146
 147 define <4 x i64> @test_x86_avx2_psad_bw(<32 x i8> %a0, <32 x i8> %a1) {
 148   ; CHECK: vpsadbw
 149   %res = call <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8> %a0, <32 x i8> %a1) ; <<4 x i64>> [#uses=1]
 150   ret <4 x i64> %res
 151 }
 152 declare <4 x i64> @llvm.x86.avx2.psad.bw(<32 x i8>, <32 x i8>) nounwind readnone
 153
 154
 155 define <8 x i32> @test_x86_avx2_psll_d(<8 x i32> %a0, <4 x i32> %a1) {
 156   ; CHECK: vpslld
 157   %res = call <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 158   ret <8 x i32> %res
 159 }
 160 declare <8 x i32> @llvm.x86.avx2.psll.d(<8 x i32>, <4 x i32>) nounwind readnone
 161
 162
 163 define <4 x i64> @test_x86_avx2_psll_q(<4 x i64> %a0, <2 x i64> %a1) {
 164   ; CHECK: vpsllq
 165   %res = call <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 166   ret <4 x i64> %res
 167 }
 168 declare <4 x i64> @llvm.x86.avx2.psll.q(<4 x i64>, <2 x i64>) nounwind readnone
 169
 170
 171 define <16 x i16> @test_x86_avx2_psll_w(<16 x i16> %a0, <8 x i16> %a1) {
 172   ; CHECK: vpsllw
 173   %res = call <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 174   ret <16 x i16> %res
 175 }
 176 declare <16 x i16> @llvm.x86.avx2.psll.w(<16 x i16>, <8 x i16>) nounwind readnone
 177
 178
 179 define <8 x i32> @test_x86_avx2_pslli_d(<8 x i32> %a0) {
 180   ; CHECK: vpslld
 181   %res = call <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 182   ret <8 x i32> %res
 183 }
 184 declare <8 x i32> @llvm.x86.avx2.pslli.d(<8 x i32>, i32) nounwind readnone
 185
 186
 187 define <4 x i64> @test_x86_avx2_pslli_q(<4 x i64> %a0) {
 188   ; CHECK: vpsllq
 189   %res = call <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 190   ret <4 x i64> %res
 191 }
 192 declare <4 x i64> @llvm.x86.avx2.pslli.q(<4 x i64>, i32) nounwind readnone
 193
 194
 195 define <16 x i16> @test_x86_avx2_pslli_w(<16 x i16> %a0) {
 196   ; CHECK: vpsllw
 197   %res = call <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 198   ret <16 x i16> %res
 199 }
 200 declare <16 x i16> @llvm.x86.avx2.pslli.w(<16 x i16>, i32) nounwind readnone
 201
 202
 203 define <8 x i32> @test_x86_avx2_psra_d(<8 x i32> %a0, <4 x i32> %a1) {
 204   ; CHECK: vpsrad
 205   %res = call <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 206   ret <8 x i32> %res
 207 }
 208 declare <8 x i32> @llvm.x86.avx2.psra.d(<8 x i32>, <4 x i32>) nounwind readnone
 209
 210
 211 define <16 x i16> @test_x86_avx2_psra_w(<16 x i16> %a0, <8 x i16> %a1) {
 212   ; CHECK: vpsraw
 213   %res = call <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 214   ret <16 x i16> %res
 215 }
 216 declare <16 x i16> @llvm.x86.avx2.psra.w(<16 x i16>, <8 x i16>) nounwind readnone
 217
 218
 219 define <8 x i32> @test_x86_avx2_psrai_d(<8 x i32> %a0) {
 220   ; CHECK: vpsrad
 221   %res = call <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 222   ret <8 x i32> %res
 223 }
 224 declare <8 x i32> @llvm.x86.avx2.psrai.d(<8 x i32>, i32) nounwind readnone
 225
 226
 227 define <16 x i16> @test_x86_avx2_psrai_w(<16 x i16> %a0) {
 228   ; CHECK: vpsraw
 229   %res = call <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 230   ret <16 x i16> %res
 231 }
 232 declare <16 x i16> @llvm.x86.avx2.psrai.w(<16 x i16>, i32) nounwind readnone
 233
 234
 235 define <8 x i32> @test_x86_avx2_psrl_d(<8 x i32> %a0, <4 x i32> %a1) {
 236   ; CHECK: vpsrld
 237   %res = call <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32> %a0, <4 x i32> %a1) ; <<8 x i32>> [#uses=1]
 238   ret <8 x i32> %res
 239 }
 240 declare <8 x i32> @llvm.x86.avx2.psrl.d(<8 x i32>, <4 x i32>) nounwind readnone
 241
 242
 243 define <4 x i64> @test_x86_avx2_psrl_q(<4 x i64> %a0, <2 x i64> %a1) {
 244   ; CHECK: vpsrlq
 245   %res = call <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64> %a0, <2 x i64> %a1) ; <<4 x i64>> [#uses=1]
 246   ret <4 x i64> %res
 247 }
 248 declare <4 x i64> @llvm.x86.avx2.psrl.q(<4 x i64>, <2 x i64>) nounwind readnone
 249
 250
 251 define <16 x i16> @test_x86_avx2_psrl_w(<16 x i16> %a0, <8 x i16> %a1) {
 252   ; CHECK: vpsrlw
 253   %res = call <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16> %a0, <8 x i16> %a1) ; <<16 x i16>> [#uses=1]
 254   ret <16 x i16> %res
 255 }
 256 declare <16 x i16> @llvm.x86.avx2.psrl.w(<16 x i16>, <8 x i16>) nounwind readnone
 257
 258
 259 define <8 x i32> @test_x86_avx2_psrli_d(<8 x i32> %a0) {
 260   ; CHECK: vpsrld
 261   %res = call <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32> %a0, i32 7) ; <<8 x i32>> [#uses=1]
 262   ret <8 x i32> %res
 263 }
 264 declare <8 x i32> @llvm.x86.avx2.psrli.d(<8 x i32>, i32) nounwind readnone
 265
 266
 267 define <4 x i64> @test_x86_avx2_psrli_q(<4 x i64> %a0) {
 268   ; CHECK: vpsrlq
 269   %res = call <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64> %a0, i32 7) ; <<4 x i64>> [#uses=1]
 270   ret <4 x i64> %res
 271 }
 272 declare <4 x i64> @llvm.x86.avx2.psrli.q(<4 x i64>, i32) nounwind readnone
 273
 274
 275 define <16 x i16> @test_x86_avx2_psrli_w(<16 x i16> %a0) {
 276   ; CHECK: vpsrlw
 277   %res = call <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16> %a0, i32 7) ; <<16 x i16>> [#uses=1]
 278   ret <16 x i16> %res
 279 }
 280 declare <16 x i16> @llvm.x86.avx2.psrli.w(<16 x i16>, i32) nounwind readnone
 281
 282
 283 define <32 x i8> @test_x86_avx2_psubs_b(<32 x i8> %a0, <32 x i8> %a1) {
 284   ; CHECK: vpsubsb
 285   %res = call <32 x i8> @llvm.x86.avx2.psubs.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 286   ret <32 x i8> %res
 287 }
 288 declare <32 x i8> @llvm.x86.avx2.psubs.b(<32 x i8>, <32 x i8>) nounwind readnone
 289
 290
 291 define <16 x i16> @test_x86_avx2_psubs_w(<16 x i16> %a0, <16 x i16> %a1) {
 292   ; CHECK: vpsubsw
 293   %res = call <16 x i16> @llvm.x86.avx2.psubs.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 294   ret <16 x i16> %res
 295 }
 296 declare <16 x i16> @llvm.x86.avx2.psubs.w(<16 x i16>, <16 x i16>) nounwind readnone
 297
 298
 299 define <32 x i8> @test_x86_avx2_psubus_b(<32 x i8> %a0, <32 x i8> %a1) {
 300   ; CHECK: vpsubusb
 301   %res = call <32 x i8> @llvm.x86.avx2.psubus.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 302   ret <32 x i8> %res
 303 }
 304 declare <32 x i8> @llvm.x86.avx2.psubus.b(<32 x i8>, <32 x i8>) nounwind readnone
 305
 306
 307 define <16 x i16> @test_x86_avx2_psubus_w(<16 x i16> %a0, <16 x i16> %a1) {
 308   ; CHECK: vpsubusw
 309   %res = call <16 x i16> @llvm.x86.avx2.psubus.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 310   ret <16 x i16> %res
 311 }
 312 declare <16 x i16> @llvm.x86.avx2.psubus.w(<16 x i16>, <16 x i16>) nounwind readnone
 313
 314
 315 define <32 x i8> @test_x86_avx2_pabs_b(<32 x i8> %a0) {
 316   ; CHECK: vpabsb
 317   %res = call <32 x i8> @llvm.x86.avx2.pabs.b(<32 x i8> %a0) ; <<32 x i8>> [#uses=1]
 318   ret <32 x i8> %res
 319 }
 320 declare <32 x i8> @llvm.x86.avx2.pabs.b(<32 x i8>) nounwind readnone
 321
 322
 323 define <8 x i32> @test_x86_avx2_pabs_d(<8 x i32> %a0) {
 324   ; CHECK: vpabsd
 325   %res = call <8 x i32> @llvm.x86.avx2.pabs.d(<8 x i32> %a0) ; <<8 x i32>> [#uses=1]
 326   ret <8 x i32> %res
 327 }
 328 declare <8 x i32> @llvm.x86.avx2.pabs.d(<8 x i32>) nounwind readnone
 329
 330
 331 define <16 x i16> @test_x86_avx2_pabs_w(<16 x i16> %a0) {
 332   ; CHECK: vpabsw
 333   %res = call <16 x i16> @llvm.x86.avx2.pabs.w(<16 x i16> %a0) ; <<16 x i16>> [#uses=1]
 334   ret <16 x i16> %res
 335 }
 336 declare <16 x i16> @llvm.x86.avx2.pabs.w(<16 x i16>) nounwind readnone
 337
 338
 339 define <8 x i32> @test_x86_avx2_phadd_d(<8 x i32> %a0, <8 x i32> %a1) {
 340   ; CHECK: vphaddd
 341   %res = call <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 342   ret <8 x i32> %res
 343 }
 344 declare <8 x i32> @llvm.x86.avx2.phadd.d(<8 x i32>, <8 x i32>) nounwind readnone
 345
 346
 347 define <16 x i16> @test_x86_avx2_phadd_sw(<16 x i16> %a0, <16 x i16> %a1) {
 348   ; CHECK: vphaddsw
 349   %res = call <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 350   ret <16 x i16> %res
 351 }
 352 declare <16 x i16> @llvm.x86.avx2.phadd.sw(<16 x i16>, <16 x i16>) nounwind readnone
 353
 354
 355 define <16 x i16> @test_x86_avx2_phadd_w(<16 x i16> %a0, <16 x i16> %a1) {
 356   ; CHECK: vphaddw
 357   %res = call <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 358   ret <16 x i16> %res
 359 }
 360 declare <16 x i16> @llvm.x86.avx2.phadd.w(<16 x i16>, <16 x i16>) nounwind readnone
 361
 362
 363 define <8 x i32> @test_x86_avx2_phsub_d(<8 x i32> %a0, <8 x i32> %a1) {
 364   ; CHECK: vphsubd
 365   %res = call <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 366   ret <8 x i32> %res
 367 }
 368 declare <8 x i32> @llvm.x86.avx2.phsub.d(<8 x i32>, <8 x i32>) nounwind readnone
 369
 370
 371 define <16 x i16> @test_x86_avx2_phsub_sw(<16 x i16> %a0, <16 x i16> %a1) {
 372   ; CHECK: vphsubsw
 373   %res = call <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 374   ret <16 x i16> %res
 375 }
 376 declare <16 x i16> @llvm.x86.avx2.phsub.sw(<16 x i16>, <16 x i16>) nounwind readnone
 377
 378
 379 define <16 x i16> @test_x86_avx2_phsub_w(<16 x i16> %a0, <16 x i16> %a1) {
 380   ; CHECK: vphsubw
 381   %res = call <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 382   ret <16 x i16> %res
 383 }
 384 declare <16 x i16> @llvm.x86.avx2.phsub.w(<16 x i16>, <16 x i16>) nounwind readnone
 385
 386
 387 define <16 x i16> @test_x86_avx2_pmadd_ub_sw(<32 x i8> %a0, <32 x i8> %a1) {
 388   ; CHECK: vpmaddubsw
 389   %res = call <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i16>> [#uses=1]
 390   ret <16 x i16> %res
 391 }
 392 declare <16 x i16> @llvm.x86.avx2.pmadd.ub.sw(<32 x i8>, <32 x i8>) nounwind readnone
 393
 394
 395 define <16 x i16> @test_x86_avx2_pmul_hr_sw(<16 x i16> %a0, <16 x i16> %a1) {
 396   ; CHECK: vpmulhrsw
 397   %res = call <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 398   ret <16 x i16> %res
 399 }
 400 declare <16 x i16> @llvm.x86.avx2.pmul.hr.sw(<16 x i16>, <16 x i16>) nounwind readnone
 401
 402
 403 define <32 x i8> @test_x86_avx2_pshuf_b(<32 x i8> %a0, <32 x i8> %a1) {
 404   ; CHECK: vpshufb
 405   %res = call <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8> %a0, <32 x i8> %a1) ; <<16 x i8>> [#uses=1]
 406   ret <32 x i8> %res
 407 }
 408 declare <32 x i8> @llvm.x86.avx2.pshuf.b(<32 x i8>, <32 x i8>) nounwind readnone
 409
 410
 411 define <32 x i8> @test_x86_avx2_psign_b(<32 x i8> %a0, <32 x i8> %a1) {
 412   ; CHECK: vpsignb
 413   %res = call <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 414   ret <32 x i8> %res
 415 }
 416 declare <32 x i8> @llvm.x86.avx2.psign.b(<32 x i8>, <32 x i8>) nounwind readnone
 417
 418
 419 define <8 x i32> @test_x86_avx2_psign_d(<8 x i32> %a0, <8 x i32> %a1) {
 420   ; CHECK: vpsignd
 421   %res = call <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32> %a0, <8 x i32> %a1) ; <<4 x i32>> [#uses=1]
 422   ret <8 x i32> %res
 423 }
 424 declare <8 x i32> @llvm.x86.avx2.psign.d(<8 x i32>, <8 x i32>) nounwind readnone
 425
 426
 427 define <16 x i16> @test_x86_avx2_psign_w(<16 x i16> %a0, <16 x i16> %a1) {
 428   ; CHECK: vpsignw
 429   %res = call <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 430   ret <16 x i16> %res
 431 }
 432 declare <16 x i16> @llvm.x86.avx2.psign.w(<16 x i16>, <16 x i16>) nounwind readnone
 433
 434
 435 define <4 x i64> @test_x86_avx2_movntdqa(i8* %a0) {
 436   ; CHECK: movl
 437   ; CHECK: vmovntdqa
 438   %res = call <4 x i64> @llvm.x86.avx2.movntdqa(i8* %a0) ; <<4 x i64>> [#uses=1]
 439   ret <4 x i64> %res
 440 }
 441 declare <4 x i64> @llvm.x86.avx2.movntdqa(i8*) nounwind readonly
 442
 443
 444 define <16 x i16> @test_x86_avx2_mpsadbw(<32 x i8> %a0, <32 x i8> %a1) {
 445   ; CHECK: vmpsadbw
 446   %res = call <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8> %a0, <32 x i8> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 447   ret <16 x i16> %res
 448 }
 449 declare <16 x i16> @llvm.x86.avx2.mpsadbw(<32 x i8>, <32 x i8>, i8) nounwind readnone
 450
 451
 452 define <16 x i16> @test_x86_avx2_packusdw(<8 x i32> %a0, <8 x i32> %a1) {
 453   ; CHECK: vpackusdw
 454   %res = call <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32> %a0, <8 x i32> %a1) ; <<16 x i16>> [#uses=1]
 455   ret <16 x i16> %res
 456 }
 457 declare <16 x i16> @llvm.x86.avx2.packusdw(<8 x i32>, <8 x i32>) nounwind readnone
 458
 459
 460 define <32 x i8> @test_x86_avx2_pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) {
 461   ; CHECK: vpblendvb
 462   %res = call <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8> %a0, <32 x i8> %a1, <32 x i8> %a2) ; <<32 x i8>> [#uses=1]
 463   ret <32 x i8> %res
 464 }
 465 declare <32 x i8> @llvm.x86.avx2.pblendvb(<32 x i8>, <32 x i8>, <32 x i8>) nounwind readnone
 466
 467
 468 define <16 x i16> @test_x86_avx2_pblendw(<16 x i16> %a0, <16 x i16> %a1) {
 469   ; CHECK: vpblendw
 470   %res = call <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16> %a0, <16 x i16> %a1, i8 7) ; <<16 x i16>> [#uses=1]
 471   ret <16 x i16> %res
 472 }
 473 declare <16 x i16> @llvm.x86.avx2.pblendw(<16 x i16>, <16 x i16>, i8) nounwind readnone
 474
 475
 476 define <32 x i8> @test_x86_avx2_pmaxsb(<32 x i8> %a0, <32 x i8> %a1) {
 477   ; CHECK: vpmaxsb
 478   %res = call <32 x i8> @llvm.x86.avx2.pmaxs.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 479   ret <32 x i8> %res
 480 }
 481 declare <32 x i8> @llvm.x86.avx2.pmaxs.b(<32 x i8>, <32 x i8>) nounwind readnone
 482
 483
 484 define <8 x i32> @test_x86_avx2_pmaxsd(<8 x i32> %a0, <8 x i32> %a1) {
 485   ; CHECK: vpmaxsd
 486   %res = call <8 x i32> @llvm.x86.avx2.pmaxs.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 487   ret <8 x i32> %res
 488 }
 489 declare <8 x i32> @llvm.x86.avx2.pmaxs.d(<8 x i32>, <8 x i32>) nounwind readnone
 490
 491
 492 define <8 x i32> @test_x86_avx2_pmaxud(<8 x i32> %a0, <8 x i32> %a1) {
 493   ; CHECK: vpmaxud
 494   %res = call <8 x i32> @llvm.x86.avx2.pmaxu.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 495   ret <8 x i32> %res
 496 }
 497 declare <8 x i32> @llvm.x86.avx2.pmaxu.d(<8 x i32>, <8 x i32>) nounwind readnone
 498
 499
 500 define <16 x i16> @test_x86_avx2_pmaxuw(<16 x i16> %a0, <16 x i16> %a1) {
 501   ; CHECK: vpmaxuw
 502   %res = call <16 x i16> @llvm.x86.avx2.pmaxu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 503   ret <16 x i16> %res
 504 }
 505 declare <16 x i16> @llvm.x86.avx2.pmaxu.w(<16 x i16>, <16 x i16>) nounwind readnone
 506
 507
 508 define <32 x i8> @test_x86_avx2_pminsb(<32 x i8> %a0, <32 x i8> %a1) {
 509   ; CHECK: vpminsb
 510   %res = call <32 x i8> @llvm.x86.avx2.pmins.b(<32 x i8> %a0, <32 x i8> %a1) ; <<32 x i8>> [#uses=1]
 511   ret <32 x i8> %res
 512 }
 513 declare <32 x i8> @llvm.x86.avx2.pmins.b(<32 x i8>, <32 x i8>) nounwind readnone
 514
 515
 516 define <8 x i32> @test_x86_avx2_pminsd(<8 x i32> %a0, <8 x i32> %a1) {
 517   ; CHECK: vpminsd
 518   %res = call <8 x i32> @llvm.x86.avx2.pmins.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 519   ret <8 x i32> %res
 520 }
 521 declare <8 x i32> @llvm.x86.avx2.pmins.d(<8 x i32>, <8 x i32>) nounwind readnone
 522
 523
 524 define <8 x i32> @test_x86_avx2_pminud(<8 x i32> %a0, <8 x i32> %a1) {
 525   ; CHECK: vpminud
 526   %res = call <8 x i32> @llvm.x86.avx2.pminu.d(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 527   ret <8 x i32> %res
 528 }
 529 declare <8 x i32> @llvm.x86.avx2.pminu.d(<8 x i32>, <8 x i32>) nounwind readnone
 530
 531
 532 define <16 x i16> @test_x86_avx2_pminuw(<16 x i16> %a0, <16 x i16> %a1) {
 533   ; CHECK: vpminuw
 534   %res = call <16 x i16> @llvm.x86.avx2.pminu.w(<16 x i16> %a0, <16 x i16> %a1) ; <<16 x i16>> [#uses=1]
 535   ret <16 x i16> %res
 536 }
 537 declare <16 x i16> @llvm.x86.avx2.pminu.w(<16 x i16>, <16 x i16>) nounwind readnone
 538
 539
 540 define <8 x i32> @test_x86_avx2_pmovsxbd(<16 x i8> %a0) {
 541   ; CHECK: vpmovsxbd
 542   %res = call <8 x i32> @llvm.x86.avx2.pmovsxbd(<16 x i8> %a0) ; <<8 x i32>> [#uses=1]
 543   ret <8 x i32> %res
 544 }
 545 declare <8 x i32> @llvm.x86.avx2.pmovsxbd(<16 x i8>) nounwind readnone
 546
 547
 548 define <4 x i64> @test_x86_avx2_pmovsxbq(<16 x i8> %a0) {
 549   ; CHECK: vpmovsxbq
 550   %res = call <4 x i64> @llvm.x86.avx2.pmovsxbq(<16 x i8> %a0) ; <<4 x i64>> [#uses=1]
 551   ret <4 x i64> %res
 552 }
 553 declare <4 x i64> @llvm.x86.avx2.pmovsxbq(<16 x i8>) nounwind readnone
 554
 555
 556 define <16 x i16> @test_x86_avx2_pmovsxbw(<16 x i8> %a0) {
 557   ; CHECK: vpmovsxbw
 558   %res = call <16 x i16> @llvm.x86.avx2.pmovsxbw(<16 x i8> %a0) ; <<8 x i16>> [#uses=1]
 559   ret <16 x i16> %res
 560 }
 561 declare <16 x i16> @llvm.x86.avx2.pmovsxbw(<16 x i8>) nounwind readnone
 562
 563
 564 define <4 x i64> @test_x86_avx2_pmovsxdq(<4 x i32> %a0) {
 565   ; CHECK: vpmovsxdq
 566   %res = call <4 x i64> @llvm.x86.avx2.pmovsxdq(<4 x i32> %a0) ; <<4 x i64>> [#uses=1]
 567   ret <4 x i64> %res
 568 }
 569 declare <4 x i64> @llvm.x86.avx2.pmovsxdq(<4 x i32>) nounwind readnone
 570
 571
 572 define <8 x i32> @test_x86_avx2_pmovsxwd(<8 x i16> %a0) {
 573   ; CHECK: vpmovsxwd
 574   %res = call <8 x i32> @llvm.x86.avx2.pmovsxwd(<8 x i16> %a0) ; <<8 x i32>> [#uses=1]
 575   ret <8 x i32> %res
 576 }
 577 declare <8 x i32> @llvm.x86.avx2.pmovsxwd(<8 x i16>) nounwind readnone
 578
 579
 580 define <4 x i64> @test_x86_avx2_pmovsxwq(<8 x i16> %a0) {
 581   ; CHECK: vpmovsxwq
 582   %res = call <4 x i64> @llvm.x86.avx2.pmovsxwq(<8 x i16> %a0) ; <<4 x i64>> [#uses=1]
 583   ret <4 x i64> %res
 584 }
 585 declare <4 x i64> @llvm.x86.avx2.pmovsxwq(<8 x i16>) nounwind readnone
 586
 587
 588 define <8 x i32> @test_x86_avx2_pmovzxbd(<16 x i8> %a0) {
 589   ; CHECK: vpmovzxbd
 590   %res = call <8 x i32> @llvm.x86.avx2.pmovzxbd(<16 x i8> %a0) ; <<8 x i32>> [#uses=1]
 591   ret <8 x i32> %res
 592 }
 593 declare <8 x i32> @llvm.x86.avx2.pmovzxbd(<16 x i8>) nounwind readnone
 594
 595
 596 define <4 x i64> @test_x86_avx2_pmovzxbq(<16 x i8> %a0) {
 597   ; CHECK: vpmovzxbq
 598   %res = call <4 x i64> @llvm.x86.avx2.pmovzxbq(<16 x i8> %a0) ; <<4 x i64>> [#uses=1]
 599   ret <4 x i64> %res
 600 }
 601 declare <4 x i64> @llvm.x86.avx2.pmovzxbq(<16 x i8>) nounwind readnone
 602
 603
 604 define <16 x i16> @test_x86_avx2_pmovzxbw(<16 x i8> %a0) {
 605   ; CHECK: vpmovzxbw
 606   %res = call <16 x i16> @llvm.x86.avx2.pmovzxbw(<16 x i8> %a0) ; <<16 x i16>> [#uses=1]
 607   ret <16 x i16> %res
 608 }
 609 declare <16 x i16> @llvm.x86.avx2.pmovzxbw(<16 x i8>) nounwind readnone
 610
 611
 612 define <4 x i64> @test_x86_avx2_pmovzxdq(<4 x i32> %a0) {
 613   ; CHECK: vpmovzxdq
 614   %res = call <4 x i64> @llvm.x86.avx2.pmovzxdq(<4 x i32> %a0) ; <<4 x i64>> [#uses=1]
 615   ret <4 x i64> %res
 616 }
 617 declare <4 x i64> @llvm.x86.avx2.pmovzxdq(<4 x i32>) nounwind readnone
 618
 619
 620 define <8 x i32> @test_x86_avx2_pmovzxwd(<8 x i16> %a0) {
 621   ; CHECK: vpmovzxwd
 622   %res = call <8 x i32> @llvm.x86.avx2.pmovzxwd(<8 x i16> %a0) ; <<8 x i32>> [#uses=1]
 623   ret <8 x i32> %res
 624 }
 625 declare <8 x i32> @llvm.x86.avx2.pmovzxwd(<8 x i16>) nounwind readnone
 626
 627
 628 define <4 x i64> @test_x86_avx2_pmovzxwq(<8 x i16> %a0) {
 629   ; CHECK: vpmovzxwq
 630   %res = call <4 x i64> @llvm.x86.avx2.pmovzxwq(<8 x i16> %a0) ; <<4 x i64>> [#uses=1]
 631   ret <4 x i64> %res
 632 }
 633 declare <4 x i64> @llvm.x86.avx2.pmovzxwq(<8 x i16>) nounwind readnone
 634
 635
 636 define <4 x i64> @test_x86_avx2_pmul.dq(<8 x i32> %a0, <8 x i32> %a1) {
 637   ; CHECK: vpmuldq
 638   %res = call <4 x i64> @llvm.x86.avx2.pmul.dq(<8 x i32> %a0, <8 x i32> %a1) ; <<2 x i64>> [#uses=1]
 639   ret <4 x i64> %res
 640 }
 641 declare <4 x i64> @llvm.x86.avx2.pmul.dq(<8 x i32>, <8 x i32>) nounwind readnone
 642
 643
 644 define <4 x i32> @test_x86_avx2_pblendd_128(<4 x i32> %a0, <4 x i32> %a1) {
 645   ; CHECK: vpblendd
 646   %res = call <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32> %a0, <4 x i32> %a1, i8 7) ; <<4 x i32>> [#uses=1]
 647   ret <4 x i32> %res
 648 }
 649 declare <4 x i32> @llvm.x86.avx2.pblendd.128(<4 x i32>, <4 x i32>, i8) nounwind readnone
 650
 651
 652 define <8 x i32> @test_x86_avx2_pblendd_256(<8 x i32> %a0, <8 x i32> %a1) {
 653   ; CHECK: vpblendd
 654   %res = call <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32> %a0, <8 x i32> %a1, i8 7) ; <<8 x i32>> [#uses=1]
 655   ret <8 x i32> %res
 656 }
 657 declare <8 x i32> @llvm.x86.avx2.pblendd.256(<8 x i32>, <8 x i32>, i8) nounwind readnone
 658
 659
 660 define <8 x i32> @test_x86_avx2_permd(<8 x i32> %a0, <8 x i32> %a1) {
 661   ; Check that the arguments are swapped between the intrinsic definition
 662   ; and its lowering. Indeed, the offsets are the first source in
 663   ; the instruction.
 664   ; CHECK: vpermd %ymm0, %ymm1, %ymm0
 665   %res = call <8 x i32> @llvm.x86.avx2.permd(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 666   ret <8 x i32> %res
 667 }
 668 declare <8 x i32> @llvm.x86.avx2.permd(<8 x i32>, <8 x i32>) nounwind readonly
 669
 670
 671 define <8 x float> @test_x86_avx2_permps(<8 x float> %a0, <8 x float> %a1) {
 672   ; Check that the arguments are swapped between the intrinsic definition
 673   ; and its lowering. Indeed, the offsets are the first source in
 674   ; the instruction.
 675   ; CHECK: vpermps %ymm0, %ymm1, %ymm0
 676   %res = call <8 x float> @llvm.x86.avx2.permps(<8 x float> %a0, <8 x float> %a1) ; <<8 x float>> [#uses=1]
 677   ret <8 x float> %res
 678 }
 679 declare <8 x float> @llvm.x86.avx2.permps(<8 x float>, <8 x float>) nounwind readonly
 680
 681
 682 define <4 x i64> @test_x86_avx2_vperm2i128(<4 x i64> %a0, <4 x i64> %a1) {
 683   ; CHECK: vperm2i128
 684   %res = call <4 x i64> @llvm.x86.avx2.vperm2i128(<4 x i64> %a0, <4 x i64> %a1, i8 1) ; <<4 x i64>> [#uses=1]
 685   ret <4 x i64> %res
 686 }
 687 declare <4 x i64> @llvm.x86.avx2.vperm2i128(<4 x i64>, <4 x i64>, i8) nounwind readonly
 688
 689
 690 define <2 x i64> @test_x86_avx2_maskload_q(i8* %a0, <2 x i64> %a1) {
 691   ; CHECK: vpmaskmovq
 692   %res = call <2 x i64> @llvm.x86.avx2.maskload.q(i8* %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 693   ret <2 x i64> %res
 694 }
 695 declare <2 x i64> @llvm.x86.avx2.maskload.q(i8*, <2 x i64>) nounwind readonly
 696
 697
 698 define <4 x i64> @test_x86_avx2_maskload_q_256(i8* %a0, <4 x i64> %a1) {
 699   ; CHECK: vpmaskmovq
 700   %res = call <4 x i64> @llvm.x86.avx2.maskload.q.256(i8* %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 701   ret <4 x i64> %res
 702 }
 703 declare <4 x i64> @llvm.x86.avx2.maskload.q.256(i8*, <4 x i64>) nounwind readonly
 704
 705
 706 define <4 x i32> @test_x86_avx2_maskload_d(i8* %a0, <4 x i32> %a1) {
 707   ; CHECK: vpmaskmovd
 708   %res = call <4 x i32> @llvm.x86.avx2.maskload.d(i8* %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 709   ret <4 x i32> %res
 710 }
 711 declare <4 x i32> @llvm.x86.avx2.maskload.d(i8*, <4 x i32>) nounwind readonly
 712
 713
 714 define <8 x i32> @test_x86_avx2_maskload_d_256(i8* %a0, <8 x i32> %a1) {
 715   ; CHECK: vpmaskmovd
 716   %res = call <8 x i32> @llvm.x86.avx2.maskload.d.256(i8* %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 717   ret <8 x i32> %res
 718 }
 719 declare <8 x i32> @llvm.x86.avx2.maskload.d.256(i8*, <8 x i32>) nounwind readonly
 720
 721
 722 define void @test_x86_avx2_maskstore_q(i8* %a0, <2 x i64> %a1, <2 x i64> %a2) {
 723   ; CHECK: vpmaskmovq
 724   call void @llvm.x86.avx2.maskstore.q(i8* %a0, <2 x i64> %a1, <2 x i64> %a2)
 725   ret void
 726 }
 727 declare void @llvm.x86.avx2.maskstore.q(i8*, <2 x i64>, <2 x i64>) nounwind
 728
 729
 730 define void @test_x86_avx2_maskstore_q_256(i8* %a0, <4 x i64> %a1, <4 x i64> %a2) {
 731   ; CHECK: vpmaskmovq
 732   call void @llvm.x86.avx2.maskstore.q.256(i8* %a0, <4 x i64> %a1, <4 x i64> %a2)
 733   ret void
 734 }
 735 declare void @llvm.x86.avx2.maskstore.q.256(i8*, <4 x i64>, <4 x i64>) nounwind
 736
 737
 738 define void @test_x86_avx2_maskstore_d(i8* %a0, <4 x i32> %a1, <4 x i32> %a2) {
 739   ; CHECK: vpmaskmovd
 740   call void @llvm.x86.avx2.maskstore.d(i8* %a0, <4 x i32> %a1, <4 x i32> %a2)
 741   ret void
 742 }
 743 declare void @llvm.x86.avx2.maskstore.d(i8*, <4 x i32>, <4 x i32>) nounwind
 744
 745
 746 define void @test_x86_avx2_maskstore_d_256(i8* %a0, <8 x i32> %a1, <8 x i32> %a2) {
 747   ; CHECK: vpmaskmovd
 748   call void @llvm.x86.avx2.maskstore.d.256(i8* %a0, <8 x i32> %a1, <8 x i32> %a2)
 749   ret void
 750 }
 751 declare void @llvm.x86.avx2.maskstore.d.256(i8*, <8 x i32>, <8 x i32>) nounwind
 752
 753
 754 define <4 x i32> @test_x86_avx2_psllv_d(<4 x i32> %a0, <4 x i32> %a1) {
 755   ; CHECK: vpsllvd
 756   %res = call <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 757   ret <4 x i32> %res
 758 }
 759 declare <4 x i32> @llvm.x86.avx2.psllv.d(<4 x i32>, <4 x i32>) nounwind readnone
 760
 761
 762 define <8 x i32> @test_x86_avx2_psllv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 763   ; CHECK: vpsllvd
 764   %res = call <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 765   ret <8 x i32> %res
 766 }
 767 declare <8 x i32> @llvm.x86.avx2.psllv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 768
 769
 770 define <2 x i64> @test_x86_avx2_psllv_q(<2 x i64> %a0, <2 x i64> %a1) {
 771   ; CHECK: vpsllvq
 772   %res = call <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 773   ret <2 x i64> %res
 774 }
 775 declare <2 x i64> @llvm.x86.avx2.psllv.q(<2 x i64>, <2 x i64>) nounwind readnone
 776
 777
 778 define <4 x i64> @test_x86_avx2_psllv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
 779   ; CHECK: vpsllvq
 780   %res = call <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 781   ret <4 x i64> %res
 782 }
 783 declare <4 x i64> @llvm.x86.avx2.psllv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
 784
 785
 786 define <4 x i32> @test_x86_avx2_psrlv_d(<4 x i32> %a0, <4 x i32> %a1) {
 787   ; CHECK: vpsrlvd
 788   %res = call <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 789   ret <4 x i32> %res
 790 }
 791 declare <4 x i32> @llvm.x86.avx2.psrlv.d(<4 x i32>, <4 x i32>) nounwind readnone
 792
 793
 794 define <8 x i32> @test_x86_avx2_psrlv_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 795   ; CHECK: vpsrlvd
 796   %res = call <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 797   ret <8 x i32> %res
 798 }
 799 declare <8 x i32> @llvm.x86.avx2.psrlv.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 800
 801
 802 define <2 x i64> @test_x86_avx2_psrlv_q(<2 x i64> %a0, <2 x i64> %a1) {
 803   ; CHECK: vpsrlvq
 804   %res = call <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64> %a0, <2 x i64> %a1) ; <<2 x i64>> [#uses=1]
 805   ret <2 x i64> %res
 806 }
 807 declare <2 x i64> @llvm.x86.avx2.psrlv.q(<2 x i64>, <2 x i64>) nounwind readnone
 808
 809
 810 define <4 x i64> @test_x86_avx2_psrlv_q_256(<4 x i64> %a0, <4 x i64> %a1) {
 811   ; CHECK: vpsrlvq
 812   %res = call <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64> %a0, <4 x i64> %a1) ; <<4 x i64>> [#uses=1]
 813   ret <4 x i64> %res
 814 }
 815 declare <4 x i64> @llvm.x86.avx2.psrlv.q.256(<4 x i64>, <4 x i64>) nounwind readnone
 816
 817
 818 define <4 x i32> @test_x86_avx2_psrav_d(<4 x i32> %a0, <4 x i32> %a1) {
 819   ; CHECK: vpsravd
 820   %res = call <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32> %a0, <4 x i32> %a1) ; <<4 x i32>> [#uses=1]
 821   ret <4 x i32> %res
 822 }
 823 declare <4 x i32> @llvm.x86.avx2.psrav.d(<4 x i32>, <4 x i32>) nounwind readnone
 824
 825
 826 define <8 x i32> @test_x86_avx2_psrav_d_256(<8 x i32> %a0, <8 x i32> %a1) {
 827   ; CHECK: vpsravd
 828   %res = call <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32> %a0, <8 x i32> %a1) ; <<8 x i32>> [#uses=1]
 829   ret <8 x i32> %res
 830 }
 831 declare <8 x i32> @llvm.x86.avx2.psrav.d.256(<8 x i32>, <8 x i32>) nounwind readnone
 832
 833 ; This is checked here because the execution dependency fix pass makes it hard to test in AVX mode since we don't have 256-bit integer instructions
 834 define void @test_x86_avx_storeu_dq_256(i8* %a0, <32 x i8> %a1) {
 835   ; CHECK: vmovdqu
 836   ; add operation forces the execution domain.
 837   %a2 = add <32 x i8> %a1, <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>
 838   call void @llvm.x86.avx.storeu.dq.256(i8* %a0, <32 x i8> %a2)
 839   ret void
 840 }
 841 declare void @llvm.x86.avx.storeu.dq.256(i8*, <32 x i8>) nounwind
 842
 843 define <2 x double> @test_x86_avx2_gather_d_pd(<2 x double> %a0, i8* %a1,
 844                      <4 x i32> %idx, <2 x double> %mask) {
 845   ; CHECK: vgatherdpd
 846   %res = call <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double> %a0,
 847                             i8* %a1, <4 x i32> %idx, <2 x double> %mask, i8 2) ;
 848   ret <2 x double> %res
 849 }
 850 declare <2 x double> @llvm.x86.avx2.gather.d.pd(<2 x double>, i8*,
 851                       <4 x i32>, <2 x double>, i8) nounwind readonly
 852
 853 define <4 x double> @test_x86_avx2_gather_d_pd_256(<4 x double> %a0, i8* %a1,
 854                      <4 x i32> %idx, <4 x double> %mask) {
 855   ; CHECK: vgatherdpd
 856   %res = call <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double> %a0,
 857                             i8* %a1, <4 x i32> %idx, <4 x double> %mask, i8 2) ;
 858   ret <4 x double> %res
 859 }
 860 declare <4 x double> @llvm.x86.avx2.gather.d.pd.256(<4 x double>, i8*,
 861                       <4 x i32>, <4 x double>, i8) nounwind readonly
 862
 863 define <2 x double> @test_x86_avx2_gather_q_pd(<2 x double> %a0, i8* %a1,
 864                      <2 x i64> %idx, <2 x double> %mask) {
 865   ; CHECK: vgatherqpd
 866   %res = call <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double> %a0,
 867                             i8* %a1, <2 x i64> %idx, <2 x double> %mask, i8 2) ;
 868   ret <2 x double> %res
 869 }
 870 declare <2 x double> @llvm.x86.avx2.gather.q.pd(<2 x double>, i8*,
 871                       <2 x i64>, <2 x double>, i8) nounwind readonly
 872
 873 define <4 x double> @test_x86_avx2_gather_q_pd_256(<4 x double> %a0, i8* %a1,
 874                      <4 x i64> %idx, <4 x double> %mask) {
 875   ; CHECK: vgatherqpd
 876   %res = call <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double> %a0,
 877                             i8* %a1, <4 x i64> %idx, <4 x double> %mask, i8 2) ;
 878   ret <4 x double> %res
 879 }
 880 declare <4 x double> @llvm.x86.avx2.gather.q.pd.256(<4 x double>, i8*,
 881                       <4 x i64>, <4 x double>, i8) nounwind readonly
 882
 883 define <4 x float> @test_x86_avx2_gather_d_ps(<4 x float> %a0, i8* %a1,
 884                      <4 x i32> %idx, <4 x float> %mask) {
 885   ; CHECK: vgatherdps
 886   %res = call <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float> %a0,
 887                             i8* %a1, <4 x i32> %idx, <4 x float> %mask, i8 2) ;
 888   ret <4 x float> %res
 889 }
 890 declare <4 x float> @llvm.x86.avx2.gather.d.ps(<4 x float>, i8*,
 891                       <4 x i32>, <4 x float>, i8) nounwind readonly
 892
 893 define <8 x float> @test_x86_avx2_gather_d_ps_256(<8 x float> %a0, i8* %a1,
 894                      <8 x i32> %idx, <8 x float> %mask) {
 895   ; CHECK: vgatherdps
 896   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
 897                             i8* %a1, <8 x i32> %idx, <8 x float> %mask, i8 2) ;
 898   ret <8 x float> %res
 899 }
 900 declare <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float>, i8*,
 901                       <8 x i32>, <8 x float>, i8) nounwind readonly
 902
 903 define <4 x float> @test_x86_avx2_gather_q_ps(<4 x float> %a0, i8* %a1,
 904                      <2 x i64> %idx, <4 x float> %mask) {
 905   ; CHECK: vgatherqps
 906   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float> %a0,
 907                             i8* %a1, <2 x i64> %idx, <4 x float> %mask, i8 2) ;
 908   ret <4 x float> %res
 909 }
 910 declare <4 x float> @llvm.x86.avx2.gather.q.ps(<4 x float>, i8*,
 911                       <2 x i64>, <4 x float>, i8) nounwind readonly
 912
 913 define <4 x float> @test_x86_avx2_gather_q_ps_256(<4 x float> %a0, i8* %a1,
 914                      <4 x i64> %idx, <4 x float> %mask) {
 915   ; CHECK: vgatherqps
 916   %res = call <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float> %a0,
 917                             i8* %a1, <4 x i64> %idx, <4 x float> %mask, i8 2) ;
 918   ret <4 x float> %res
 919 }
 920 declare <4 x float> @llvm.x86.avx2.gather.q.ps.256(<4 x float>, i8*,
 921                       <4 x i64>, <4 x float>, i8) nounwind readonly
 922
 923 define <2 x i64> @test_x86_avx2_gather_d_q(<2 x i64> %a0, i8* %a1,
 924                      <4 x i32> %idx, <2 x i64> %mask) {
 925   ; CHECK: vpgatherdq
 926   %res = call <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64> %a0,
 927                             i8* %a1, <4 x i32> %idx, <2 x i64> %mask, i8 2) ;
 928   ret <2 x i64> %res
 929 }
 930 declare <2 x i64> @llvm.x86.avx2.gather.d.q(<2 x i64>, i8*,
 931                       <4 x i32>, <2 x i64>, i8) nounwind readonly
 932
 933 define <4 x i64> @test_x86_avx2_gather_d_q_256(<4 x i64> %a0, i8* %a1,
 934                      <4 x i32> %idx, <4 x i64> %mask) {
 935   ; CHECK: vpgatherdq
 936   %res = call <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64> %a0,
 937                             i8* %a1, <4 x i32> %idx, <4 x i64> %mask, i8 2) ;
 938   ret <4 x i64> %res
 939 }
 940 declare <4 x i64> @llvm.x86.avx2.gather.d.q.256(<4 x i64>, i8*,
 941                       <4 x i32>, <4 x i64>, i8) nounwind readonly
 942
 943 define <2 x i64> @test_x86_avx2_gather_q_q(<2 x i64> %a0, i8* %a1,
 944                      <2 x i64> %idx, <2 x i64> %mask) {
 945   ; CHECK: vpgatherqq
 946   %res = call <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64> %a0,
 947                             i8* %a1, <2 x i64> %idx, <2 x i64> %mask, i8 2) ;
 948   ret <2 x i64> %res
 949 }
 950 declare <2 x i64> @llvm.x86.avx2.gather.q.q(<2 x i64>, i8*,
 951                       <2 x i64>, <2 x i64>, i8) nounwind readonly
 952
 953 define <4 x i64> @test_x86_avx2_gather_q_q_256(<4 x i64> %a0, i8* %a1,
 954                      <4 x i64> %idx, <4 x i64> %mask) {
 955   ; CHECK: vpgatherqq
 956   %res = call <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64> %a0,
 957                             i8* %a1, <4 x i64> %idx, <4 x i64> %mask, i8 2) ;
 958   ret <4 x i64> %res
 959 }
 960 declare <4 x i64> @llvm.x86.avx2.gather.q.q.256(<4 x i64>, i8*,
 961                       <4 x i64>, <4 x i64>, i8) nounwind readonly
 962
 963 define <4 x i32> @test_x86_avx2_gather_d_d(<4 x i32> %a0, i8* %a1,
 964                      <4 x i32> %idx, <4 x i32> %mask) {
 965   ; CHECK: vpgatherdd
 966   %res = call <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32> %a0,
 967                             i8* %a1, <4 x i32> %idx, <4 x i32> %mask, i8 2) ;
 968   ret <4 x i32> %res
 969 }
 970 declare <4 x i32> @llvm.x86.avx2.gather.d.d(<4 x i32>, i8*,
 971                       <4 x i32>, <4 x i32>, i8) nounwind readonly
 972
 973 define <8 x i32> @test_x86_avx2_gather_d_d_256(<8 x i32> %a0, i8* %a1,
 974                      <8 x i32> %idx, <8 x i32> %mask) {
 975   ; CHECK: vpgatherdd
 976   %res = call <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32> %a0,
 977                             i8* %a1, <8 x i32> %idx, <8 x i32> %mask, i8 2) ;
 978   ret <8 x i32> %res
 979 }
 980 declare <8 x i32> @llvm.x86.avx2.gather.d.d.256(<8 x i32>, i8*,
 981                       <8 x i32>, <8 x i32>, i8) nounwind readonly
 982
 983 define <4 x i32> @test_x86_avx2_gather_q_d(<4 x i32> %a0, i8* %a1,
 984                      <2 x i64> %idx, <4 x i32> %mask) {
 985   ; CHECK: vpgatherqd
 986   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32> %a0,
 987                             i8* %a1, <2 x i64> %idx, <4 x i32> %mask, i8 2) ;
 988   ret <4 x i32> %res
 989 }
 990 declare <4 x i32> @llvm.x86.avx2.gather.q.d(<4 x i32>, i8*,
 991                       <2 x i64>, <4 x i32>, i8) nounwind readonly
 992
 993 define <4 x i32> @test_x86_avx2_gather_q_d_256(<4 x i32> %a0, i8* %a1,
 994                      <4 x i64> %idx, <4 x i32> %mask) {
 995   ; CHECK: vpgatherqd
 996   %res = call <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32> %a0,
 997                             i8* %a1, <4 x i64> %idx, <4 x i32> %mask, i8 2) ;
 998   ret <4 x i32> %res
 999 }
1000 declare <4 x i32> @llvm.x86.avx2.gather.q.d.256(<4 x i32>, i8*,
1001                       <4 x i64>, <4 x i32>, i8) nounwind readonly
1002
1003 ; PR13298
1004 define <8 x float>  @test_gather_mask(<8 x float> %a0, float* %a,
1005                                       <8 x i32> %idx, <8 x float> %mask,
1006                                       float* nocapture %out) {
1007 ; CHECK: test_gather_mask
1008 ; CHECK: vmovaps %ymm2, [[DEST:%.*]]
1009 ; CHECK: vgatherdps [[DEST]]
1010 ;; gather with mask
1011   %a_i8 = bitcast float* %a to i8*
1012   %res = call <8 x float> @llvm.x86.avx2.gather.d.ps.256(<8 x float> %a0,
1013                            i8* %a_i8, <8 x i32> %idx, <8 x float> %mask, i8 4) ;
1014
1015 ;; for debugging, we'll just dump out the mask
1016   %out_ptr = bitcast float * %out to <8 x float> *
1017   store <8 x float> %mask, <8 x float> * %out_ptr, align 4
1018
1019   ret <8 x float> %res
1020 }