test/CodeGen/X86/avx512bw-intrinsics.ll

   1 ; RUN: llc < %s -mtriple=x86_64-apple-darwin -mcpu=skx --show-mc-encoding| FileCheck %s
   2
   3 define i64 @test_pcmpeq_b(<64 x i8> %a, <64 x i8> %b) {
   4 ; CHECK-LABEL: test_pcmpeq_b
   5 ; CHECK: vpcmpeqb %zmm1, %zmm0, %k0 ##
   6   %res = call i64 @llvm.x86.avx512.mask.pcmpeq.b.512(<64 x i8> %a, <64 x i8> %b, i64 -1)
   7   ret i64 %res
   8 }
   9
  10 define i64 @test_mask_pcmpeq_b(<64 x i8> %a, <64 x i8> %b, i64 %mask) {
  11 ; CHECK-LABEL: test_mask_pcmpeq_b
  12 ; CHECK: vpcmpeqb %zmm1, %zmm0, %k0 {%k1} ##
  13   %res = call i64 @llvm.x86.avx512.mask.pcmpeq.b.512(<64 x i8> %a, <64 x i8> %b, i64 %mask)
  14   ret i64 %res
  15 }
  16
  17 declare i64 @llvm.x86.avx512.mask.pcmpeq.b.512(<64 x i8>, <64 x i8>, i64)
  18
  19 define i32 @test_pcmpeq_w(<32 x i16> %a, <32 x i16> %b) {
  20 ; CHECK-LABEL: test_pcmpeq_w
  21 ; CHECK: vpcmpeqw %zmm1, %zmm0, %k0 ##
  22   %res = call i32 @llvm.x86.avx512.mask.pcmpeq.w.512(<32 x i16> %a, <32 x i16> %b, i32 -1)
  23   ret i32 %res
  24 }
  25
  26 define i32 @test_mask_pcmpeq_w(<32 x i16> %a, <32 x i16> %b, i32 %mask) {
  27 ; CHECK-LABEL: test_mask_pcmpeq_w
  28 ; CHECK: vpcmpeqw %zmm1, %zmm0, %k0 {%k1} ##
  29   %res = call i32 @llvm.x86.avx512.mask.pcmpeq.w.512(<32 x i16> %a, <32 x i16> %b, i32 %mask)
  30   ret i32 %res
  31 }
  32
  33 declare i32 @llvm.x86.avx512.mask.pcmpeq.w.512(<32 x i16>, <32 x i16>, i32)
  34
  35 define i64 @test_pcmpgt_b(<64 x i8> %a, <64 x i8> %b) {
  36 ; CHECK-LABEL: test_pcmpgt_b
  37 ; CHECK: vpcmpgtb %zmm1, %zmm0, %k0 ##
  38   %res = call i64 @llvm.x86.avx512.mask.pcmpgt.b.512(<64 x i8> %a, <64 x i8> %b, i64 -1)
  39   ret i64 %res
  40 }
  41
  42 define i64 @test_mask_pcmpgt_b(<64 x i8> %a, <64 x i8> %b, i64 %mask) {
  43 ; CHECK-LABEL: test_mask_pcmpgt_b
  44 ; CHECK: vpcmpgtb %zmm1, %zmm0, %k0 {%k1} ##
  45   %res = call i64 @llvm.x86.avx512.mask.pcmpgt.b.512(<64 x i8> %a, <64 x i8> %b, i64 %mask)
  46   ret i64 %res
  47 }
  48
  49 declare i64 @llvm.x86.avx512.mask.pcmpgt.b.512(<64 x i8>, <64 x i8>, i64)
  50
  51 define i32 @test_pcmpgt_w(<32 x i16> %a, <32 x i16> %b) {
  52 ; CHECK-LABEL: test_pcmpgt_w
  53 ; CHECK: vpcmpgtw %zmm1, %zmm0, %k0 ##
  54   %res = call i32 @llvm.x86.avx512.mask.pcmpgt.w.512(<32 x i16> %a, <32 x i16> %b, i32 -1)
  55   ret i32 %res
  56 }
  57
  58 define i32 @test_mask_pcmpgt_w(<32 x i16> %a, <32 x i16> %b, i32 %mask) {
  59 ; CHECK-LABEL: test_mask_pcmpgt_w
  60 ; CHECK: vpcmpgtw %zmm1, %zmm0, %k0 {%k1} ##
  61   %res = call i32 @llvm.x86.avx512.mask.pcmpgt.w.512(<32 x i16> %a, <32 x i16> %b, i32 %mask)
  62   ret i32 %res
  63 }
  64
  65 declare i32 @llvm.x86.avx512.mask.pcmpgt.w.512(<32 x i16>, <32 x i16>, i32)
  66
  67 define <8 x i64> @test_cmp_b_512(<64 x i8> %a0, <64 x i8> %a1) {
  68 ; CHECK_LABEL: test_cmp_b_512
  69 ; CHECK: vpcmpeqb %zmm1, %zmm0, %k0 ##
  70   %res0 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 0, i64 -1)
  71   %vec0 = insertelement <8 x i64> undef, i64 %res0, i32 0
  72 ; CHECK: vpcmpltb %zmm1, %zmm0, %k0 ##
  73   %res1 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 1, i64 -1)
  74   %vec1 = insertelement <8 x i64> %vec0, i64 %res1, i32 1
  75 ; CHECK: vpcmpleb %zmm1, %zmm0, %k0 ##
  76   %res2 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 2, i64 -1)
  77   %vec2 = insertelement <8 x i64> %vec1, i64 %res2, i32 2
  78 ; CHECK: vpcmpunordb %zmm1, %zmm0, %k0 ##
  79   %res3 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 3, i64 -1)
  80   %vec3 = insertelement <8 x i64> %vec2, i64 %res3, i32 3
  81 ; CHECK: vpcmpneqb %zmm1, %zmm0, %k0 ##
  82   %res4 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 4, i64 -1)
  83   %vec4 = insertelement <8 x i64> %vec3, i64 %res4, i32 4
  84 ; CHECK: vpcmpnltb %zmm1, %zmm0, %k0 ##
  85   %res5 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 5, i64 -1)
  86   %vec5 = insertelement <8 x i64> %vec4, i64 %res5, i32 5
  87 ; CHECK: vpcmpnleb %zmm1, %zmm0, %k0 ##
  88   %res6 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 6, i64 -1)
  89   %vec6 = insertelement <8 x i64> %vec5, i64 %res6, i32 6
  90 ; CHECK: vpcmpordb %zmm1, %zmm0, %k0 ##
  91   %res7 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 7, i64 -1)
  92   %vec7 = insertelement <8 x i64> %vec6, i64 %res7, i32 7
  93   ret <8 x i64> %vec7
  94 }
  95
  96 define <8 x i64> @test_mask_cmp_b_512(<64 x i8> %a0, <64 x i8> %a1, i64 %mask) {
  97 ; CHECK_LABEL: test_mask_cmp_b_512
  98 ; CHECK: vpcmpeqb %zmm1, %zmm0, %k0 {%k1} ##
  99   %res0 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 0, i64 %mask)
 100   %vec0 = insertelement <8 x i64> undef, i64 %res0, i32 0
 101 ; CHECK: vpcmpltb %zmm1, %zmm0, %k0 {%k1} ##
 102   %res1 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 1, i64 %mask)
 103   %vec1 = insertelement <8 x i64> %vec0, i64 %res1, i32 1
 104 ; CHECK: vpcmpleb %zmm1, %zmm0, %k0 {%k1} ##
 105   %res2 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 2, i64 %mask)
 106   %vec2 = insertelement <8 x i64> %vec1, i64 %res2, i32 2
 107 ; CHECK: vpcmpunordb %zmm1, %zmm0, %k0 {%k1} ##
 108   %res3 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 3, i64 %mask)
 109   %vec3 = insertelement <8 x i64> %vec2, i64 %res3, i32 3
 110 ; CHECK: vpcmpneqb %zmm1, %zmm0, %k0 {%k1} ##
 111   %res4 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 4, i64 %mask)
 112   %vec4 = insertelement <8 x i64> %vec3, i64 %res4, i32 4
 113 ; CHECK: vpcmpnltb %zmm1, %zmm0, %k0 {%k1} ##
 114   %res5 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 5, i64 %mask)
 115   %vec5 = insertelement <8 x i64> %vec4, i64 %res5, i32 5
 116 ; CHECK: vpcmpnleb %zmm1, %zmm0, %k0 {%k1} ##
 117   %res6 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 6, i64 %mask)
 118   %vec6 = insertelement <8 x i64> %vec5, i64 %res6, i32 6
 119 ; CHECK: vpcmpordb %zmm1, %zmm0, %k0 {%k1} ##
 120   %res7 = call i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 7, i64 %mask)
 121   %vec7 = insertelement <8 x i64> %vec6, i64 %res7, i32 7
 122   ret <8 x i64> %vec7
 123 }
 124
 125 declare i64 @llvm.x86.avx512.mask.cmp.b.512(<64 x i8>, <64 x i8>, i32, i64) nounwind readnone
 126
 127 define <8 x i64> @test_ucmp_b_512(<64 x i8> %a0, <64 x i8> %a1) {
 128 ; CHECK_LABEL: test_ucmp_b_512
 129 ; CHECK: vpcmpequb %zmm1, %zmm0, %k0 ##
 130   %res0 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 0, i64 -1)
 131   %vec0 = insertelement <8 x i64> undef, i64 %res0, i32 0
 132 ; CHECK: vpcmpltub %zmm1, %zmm0, %k0 ##
 133   %res1 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 1, i64 -1)
 134   %vec1 = insertelement <8 x i64> %vec0, i64 %res1, i32 1
 135 ; CHECK: vpcmpleub %zmm1, %zmm0, %k0 ##
 136   %res2 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 2, i64 -1)
 137   %vec2 = insertelement <8 x i64> %vec1, i64 %res2, i32 2
 138 ; CHECK: vpcmpunordub %zmm1, %zmm0, %k0 ##
 139   %res3 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 3, i64 -1)
 140   %vec3 = insertelement <8 x i64> %vec2, i64 %res3, i32 3
 141 ; CHECK: vpcmpnequb %zmm1, %zmm0, %k0 ##
 142   %res4 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 4, i64 -1)
 143   %vec4 = insertelement <8 x i64> %vec3, i64 %res4, i32 4
 144 ; CHECK: vpcmpnltub %zmm1, %zmm0, %k0 ##
 145   %res5 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 5, i64 -1)
 146   %vec5 = insertelement <8 x i64> %vec4, i64 %res5, i32 5
 147 ; CHECK: vpcmpnleub %zmm1, %zmm0, %k0 ##
 148   %res6 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 6, i64 -1)
 149   %vec6 = insertelement <8 x i64> %vec5, i64 %res6, i32 6
 150 ; CHECK: vpcmpordub %zmm1, %zmm0, %k0 ##
 151   %res7 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 7, i64 -1)
 152   %vec7 = insertelement <8 x i64> %vec6, i64 %res7, i32 7
 153   ret <8 x i64> %vec7
 154 }
 155
 156 define <8 x i64> @test_mask_x86_avx512_ucmp_b_512(<64 x i8> %a0, <64 x i8> %a1, i64 %mask) {
 157 ; CHECK_LABEL: test_mask_ucmp_b_512
 158 ; CHECK: vpcmpequb %zmm1, %zmm0, %k0 {%k1} ##
 159   %res0 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 0, i64 %mask)
 160   %vec0 = insertelement <8 x i64> undef, i64 %res0, i32 0
 161 ; CHECK: vpcmpltub %zmm1, %zmm0, %k0 {%k1} ##
 162   %res1 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 1, i64 %mask)
 163   %vec1 = insertelement <8 x i64> %vec0, i64 %res1, i32 1
 164 ; CHECK: vpcmpleub %zmm1, %zmm0, %k0 {%k1} ##
 165   %res2 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 2, i64 %mask)
 166   %vec2 = insertelement <8 x i64> %vec1, i64 %res2, i32 2
 167 ; CHECK: vpcmpunordub %zmm1, %zmm0, %k0 {%k1} ##
 168   %res3 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 3, i64 %mask)
 169   %vec3 = insertelement <8 x i64> %vec2, i64 %res3, i32 3
 170 ; CHECK: vpcmpnequb %zmm1, %zmm0, %k0 {%k1} ##
 171   %res4 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 4, i64 %mask)
 172   %vec4 = insertelement <8 x i64> %vec3, i64 %res4, i32 4
 173 ; CHECK: vpcmpnltub %zmm1, %zmm0, %k0 {%k1} ##
 174   %res5 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 5, i64 %mask)
 175   %vec5 = insertelement <8 x i64> %vec4, i64 %res5, i32 5
 176 ; CHECK: vpcmpnleub %zmm1, %zmm0, %k0 {%k1} ##
 177   %res6 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 6, i64 %mask)
 178   %vec6 = insertelement <8 x i64> %vec5, i64 %res6, i32 6
 179 ; CHECK: vpcmpordub %zmm1, %zmm0, %k0 {%k1} ##
 180   %res7 = call i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8> %a0, <64 x i8> %a1, i32 7, i64 %mask)
 181   %vec7 = insertelement <8 x i64> %vec6, i64 %res7, i32 7
 182   ret <8 x i64> %vec7
 183 }
 184
 185 declare i64 @llvm.x86.avx512.mask.ucmp.b.512(<64 x i8>, <64 x i8>, i32, i64) nounwind readnone
 186
 187 define <8 x i32> @test_cmp_w_512(<32 x i16> %a0, <32 x i16> %a1) {
 188 ; CHECK_LABEL: test_cmp_w_512
 189 ; CHECK: vpcmpeqw %zmm1, %zmm0, %k0 ##
 190   %res0 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 0, i32 -1)
 191   %vec0 = insertelement <8 x i32> undef, i32 %res0, i32 0
 192 ; CHECK: vpcmpltw %zmm1, %zmm0, %k0 ##
 193   %res1 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 1, i32 -1)
 194   %vec1 = insertelement <8 x i32> %vec0, i32 %res1, i32 1
 195 ; CHECK: vpcmplew %zmm1, %zmm0, %k0 ##
 196   %res2 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 2, i32 -1)
 197   %vec2 = insertelement <8 x i32> %vec1, i32 %res2, i32 2
 198 ; CHECK: vpcmpunordw %zmm1, %zmm0, %k0 ##
 199   %res3 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 3, i32 -1)
 200   %vec3 = insertelement <8 x i32> %vec2, i32 %res3, i32 3
 201 ; CHECK: vpcmpneqw %zmm1, %zmm0, %k0 ##
 202   %res4 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 4, i32 -1)
 203   %vec4 = insertelement <8 x i32> %vec3, i32 %res4, i32 4
 204 ; CHECK: vpcmpnltw %zmm1, %zmm0, %k0 ##
 205   %res5 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 5, i32 -1)
 206   %vec5 = insertelement <8 x i32> %vec4, i32 %res5, i32 5
 207 ; CHECK: vpcmpnlew %zmm1, %zmm0, %k0 ##
 208   %res6 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 6, i32 -1)
 209   %vec6 = insertelement <8 x i32> %vec5, i32 %res6, i32 6
 210 ; CHECK: vpcmpordw %zmm1, %zmm0, %k0 ##
 211   %res7 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 7, i32 -1)
 212   %vec7 = insertelement <8 x i32> %vec6, i32 %res7, i32 7
 213   ret <8 x i32> %vec7
 214 }
 215
 216 define <8 x i32> @test_mask_cmp_w_512(<32 x i16> %a0, <32 x i16> %a1, i32 %mask) {
 217 ; CHECK_LABEL: test_mask_cmp_w_512
 218 ; CHECK: vpcmpeqw %zmm1, %zmm0, %k0 {%k1} ##
 219   %res0 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 0, i32 %mask)
 220   %vec0 = insertelement <8 x i32> undef, i32 %res0, i32 0
 221 ; CHECK: vpcmpltw %zmm1, %zmm0, %k0 {%k1} ##
 222   %res1 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 1, i32 %mask)
 223   %vec1 = insertelement <8 x i32> %vec0, i32 %res1, i32 1
 224 ; CHECK: vpcmplew %zmm1, %zmm0, %k0 {%k1} ##
 225   %res2 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 2, i32 %mask)
 226   %vec2 = insertelement <8 x i32> %vec1, i32 %res2, i32 2
 227 ; CHECK: vpcmpunordw %zmm1, %zmm0, %k0 {%k1} ##
 228   %res3 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 3, i32 %mask)
 229   %vec3 = insertelement <8 x i32> %vec2, i32 %res3, i32 3
 230 ; CHECK: vpcmpneqw %zmm1, %zmm0, %k0 {%k1} ##
 231   %res4 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 4, i32 %mask)
 232   %vec4 = insertelement <8 x i32> %vec3, i32 %res4, i32 4
 233 ; CHECK: vpcmpnltw %zmm1, %zmm0, %k0 {%k1} ##
 234   %res5 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 5, i32 %mask)
 235   %vec5 = insertelement <8 x i32> %vec4, i32 %res5, i32 5
 236 ; CHECK: vpcmpnlew %zmm1, %zmm0, %k0 {%k1} ##
 237   %res6 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 6, i32 %mask)
 238   %vec6 = insertelement <8 x i32> %vec5, i32 %res6, i32 6
 239 ; CHECK: vpcmpordw %zmm1, %zmm0, %k0 {%k1} ##
 240   %res7 = call i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 7, i32 %mask)
 241   %vec7 = insertelement <8 x i32> %vec6, i32 %res7, i32 7
 242   ret <8 x i32> %vec7
 243 }
 244
 245 declare i32 @llvm.x86.avx512.mask.cmp.w.512(<32 x i16>, <32 x i16>, i32, i32) nounwind readnone
 246
 247 define <8 x i32> @test_ucmp_w_512(<32 x i16> %a0, <32 x i16> %a1) {
 248 ; CHECK_LABEL: test_ucmp_w_512
 249 ; CHECK: vpcmpequw %zmm1, %zmm0, %k0 ##
 250   %res0 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 0, i32 -1)
 251   %vec0 = insertelement <8 x i32> undef, i32 %res0, i32 0
 252 ; CHECK: vpcmpltuw %zmm1, %zmm0, %k0 ##
 253   %res1 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 1, i32 -1)
 254   %vec1 = insertelement <8 x i32> %vec0, i32 %res1, i32 1
 255 ; CHECK: vpcmpleuw %zmm1, %zmm0, %k0 ##
 256   %res2 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 2, i32 -1)
 257   %vec2 = insertelement <8 x i32> %vec1, i32 %res2, i32 2
 258 ; CHECK: vpcmpunorduw %zmm1, %zmm0, %k0 ##
 259   %res3 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 3, i32 -1)
 260   %vec3 = insertelement <8 x i32> %vec2, i32 %res3, i32 3
 261 ; CHECK: vpcmpnequw %zmm1, %zmm0, %k0 ##
 262   %res4 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 4, i32 -1)
 263   %vec4 = insertelement <8 x i32> %vec3, i32 %res4, i32 4
 264 ; CHECK: vpcmpnltuw %zmm1, %zmm0, %k0 ##
 265   %res5 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 5, i32 -1)
 266   %vec5 = insertelement <8 x i32> %vec4, i32 %res5, i32 5
 267 ; CHECK: vpcmpnleuw %zmm1, %zmm0, %k0 ##
 268   %res6 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 6, i32 -1)
 269   %vec6 = insertelement <8 x i32> %vec5, i32 %res6, i32 6
 270 ; CHECK: vpcmporduw %zmm1, %zmm0, %k0 ##
 271   %res7 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 7, i32 -1)
 272   %vec7 = insertelement <8 x i32> %vec6, i32 %res7, i32 7
 273   ret <8 x i32> %vec7
 274 }
 275
 276 define <8 x i32> @test_mask_ucmp_w_512(<32 x i16> %a0, <32 x i16> %a1, i32 %mask) {
 277 ; CHECK_LABEL: test_mask_ucmp_w_512
 278 ; CHECK: vpcmpequw %zmm1, %zmm0, %k0 {%k1} ##
 279   %res0 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 0, i32 %mask)
 280   %vec0 = insertelement <8 x i32> undef, i32 %res0, i32 0
 281 ; CHECK: vpcmpltuw %zmm1, %zmm0, %k0 {%k1} ##
 282   %res1 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 1, i32 %mask)
 283   %vec1 = insertelement <8 x i32> %vec0, i32 %res1, i32 1
 284 ; CHECK: vpcmpleuw %zmm1, %zmm0, %k0 {%k1} ##
 285   %res2 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 2, i32 %mask)
 286   %vec2 = insertelement <8 x i32> %vec1, i32 %res2, i32 2
 287 ; CHECK: vpcmpunorduw %zmm1, %zmm0, %k0 {%k1} ##
 288   %res3 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 3, i32 %mask)
 289   %vec3 = insertelement <8 x i32> %vec2, i32 %res3, i32 3
 290 ; CHECK: vpcmpnequw %zmm1, %zmm0, %k0 {%k1} ##
 291   %res4 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 4, i32 %mask)
 292   %vec4 = insertelement <8 x i32> %vec3, i32 %res4, i32 4
 293 ; CHECK: vpcmpnltuw %zmm1, %zmm0, %k0 {%k1} ##
 294   %res5 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 5, i32 %mask)
 295   %vec5 = insertelement <8 x i32> %vec4, i32 %res5, i32 5
 296 ; CHECK: vpcmpnleuw %zmm1, %zmm0, %k0 {%k1} ##
 297   %res6 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 6, i32 %mask)
 298   %vec6 = insertelement <8 x i32> %vec5, i32 %res6, i32 6
 299 ; CHECK: vpcmporduw %zmm1, %zmm0, %k0 {%k1} ##
 300   %res7 = call i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16> %a0, <32 x i16> %a1, i32 7, i32 %mask)
 301   %vec7 = insertelement <8 x i32> %vec6, i32 %res7, i32 7
 302   ret <8 x i32> %vec7
 303 }
 304
 305 declare i32 @llvm.x86.avx512.mask.ucmp.w.512(<32 x i16>, <32 x i16>, i32, i32) nounwind readnone
 306
 307 ; CHECK-LABEL: test_x86_mask_blend_b_256
 308 ; CHECK: vpblendmb
 309 define <32 x i8> @test_x86_mask_blend_b_256(i32 %a0, <32 x i8> %a1, <32 x i8> %a2) {
 310   %res = call <32 x i8> @llvm.x86.avx512.mask.blend.b.256(<32 x i8> %a1, <32 x i8> %a2, i32 %a0) ; <<32 x i8>> [#uses=1]
 311   ret <32 x i8> %res
 312 }
 313 declare <32 x i8> @llvm.x86.avx512.mask.blend.b.256(<32 x i8>, <32 x i8>, i32) nounwind readonly
 314
 315 ; CHECK-LABEL: test_x86_mask_blend_w_256
 316 define <16 x i16> @test_x86_mask_blend_w_256(i16 %mask, <16 x i16> %a1, <16 x i16> %a2) {
 317   ; CHECK: vpblendmw
 318   %res = call <16 x i16> @llvm.x86.avx512.mask.blend.w.256(<16 x i16> %a1, <16 x i16> %a2, i16 %mask) ; <<16 x i16>> [#uses=1]
 319   ret <16 x i16> %res
 320 }
 321 declare <16 x i16> @llvm.x86.avx512.mask.blend.w.256(<16 x i16>, <16 x i16>, i16) nounwind readonly
 322
 323 ; CHECK-LABEL: test_x86_mask_blend_b_512
 324 ; CHECK: vpblendmb
 325 define <64 x i8> @test_x86_mask_blend_b_512(i64 %a0, <64 x i8> %a1, <64 x i8> %a2) {
 326   %res = call <64 x i8> @llvm.x86.avx512.mask.blend.b.512(<64 x i8> %a1, <64 x i8> %a2, i64 %a0) ; <<64 x i8>> [#uses=1]
 327   ret <64 x i8> %res
 328 }
 329 declare <64 x i8> @llvm.x86.avx512.mask.blend.b.512(<64 x i8>, <64 x i8>, i64) nounwind readonly
 330
 331 ; CHECK-LABEL: test_x86_mask_blend_w_512
 332 define <32 x i16> @test_x86_mask_blend_w_512(i32 %mask, <32 x i16> %a1, <32 x i16> %a2) {
 333   ; CHECK: vpblendmw
 334   %res = call <32 x i16> @llvm.x86.avx512.mask.blend.w.512(<32 x i16> %a1, <32 x i16> %a2, i32 %mask) ; <<32 x i16>> [#uses=1]
 335   ret <32 x i16> %res
 336 }
 337 declare <32 x i16> @llvm.x86.avx512.mask.blend.w.512(<32 x i16>, <32 x i16>, i32) nounwind readonly
 338
 339 ; CHECK-LABEL: test_x86_mask_blend_b_128
 340 ; CHECK: vpblendmb
 341 define <16 x i8> @test_x86_mask_blend_b_128(i16 %a0, <16 x i8> %a1, <16 x i8> %a2) {
 342   %res = call <16 x i8> @llvm.x86.avx512.mask.blend.b.128(<16 x i8> %a1, <16 x i8> %a2, i16 %a0) ; <<16 x i8>> [#uses=1]
 343   ret <16 x i8> %res
 344 }
 345 declare <16 x i8> @llvm.x86.avx512.mask.blend.b.128(<16 x i8>, <16 x i8>, i16) nounwind readonly
 346
 347 ; CHECK-LABEL: test_x86_mask_blend_w_128
 348 define <8 x i16> @test_x86_mask_blend_w_128(i8 %mask, <8 x i16> %a1, <8 x i16> %a2) {
 349   ; CHECK: vpblendmw
 350   %res = call <8 x i16> @llvm.x86.avx512.mask.blend.w.128(<8 x i16> %a1, <8 x i16> %a2, i8 %mask) ; <<8 x i16>> [#uses=1]
 351   ret <8 x i16> %res
 352 }
 353 declare <8 x i16> @llvm.x86.avx512.mask.blend.w.128(<8 x i16>, <8 x i16>, i8) nounwind readonly
 354
 355 define <32 x i16> @test_mask_packs_epi32_rr_512(<16 x i32> %a, <16 x i32> %b) {
 356   ;CHECK-LABEL: test_mask_packs_epi32_rr_512
 357   ;CHECK: vpackssdw       %zmm1, %zmm0, %zmm0  ## encoding: [0x62,0xf1,0x7d,0x48,0x6b,0xc1]
 358   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 -1)
 359   ret <32 x i16> %res
 360 }
 361
 362 define <32 x i16> @test_mask_packs_epi32_rrk_512(<16 x i32> %a, <16 x i32> %b, <32 x i16> %passThru, i32 %mask) {
 363   ;CHECK-LABEL: test_mask_packs_epi32_rrk_512
 364   ;CHECK: vpackssdw       %zmm1, %zmm0, %zmm2 {%k1} ## encoding: [0x62,0xf1,0x7d,0x49,0x6b,0xd1]
 365   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> %passThru, i32 %mask)
 366   ret <32 x i16> %res
 367 }
 368
 369 define <32 x i16> @test_mask_packs_epi32_rrkz_512(<16 x i32> %a, <16 x i32> %b, i32 %mask) {
 370   ;CHECK-LABEL: test_mask_packs_epi32_rrkz_512
 371   ;CHECK: vpackssdw       %zmm1, %zmm0, %zmm0 {%k1} {z} ## encoding: [0x62,0xf1,0x7d,0xc9,0x6b,0xc1]
 372   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 %mask)
 373   ret <32 x i16> %res
 374 }
 375
 376 define <32 x i16> @test_mask_packs_epi32_rm_512(<16 x i32> %a, <16 x i32>* %ptr_b) {
 377   ;CHECK-LABEL: test_mask_packs_epi32_rm_512
 378   ;CHECK: vpackssdw       (%rdi), %zmm0, %zmm0  ## encoding: [0x62,0xf1,0x7d,0x48,0x6b,0x07]
 379   %b = load <16 x i32>, <16 x i32>* %ptr_b
 380   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 -1)
 381   ret <32 x i16> %res
 382 }
 383
 384 define <32 x i16> @test_mask_packs_epi32_rmk_512(<16 x i32> %a, <16 x i32>* %ptr_b, <32 x i16> %passThru, i32 %mask) {
 385   ;CHECK-LABEL: test_mask_packs_epi32_rmk_512
 386   ;CHECK: vpackssdw       (%rdi), %zmm0, %zmm1 {%k1} ## encoding: [0x62,0xf1,0x7d,0x49,0x6b,0x0f]
 387   %b = load <16 x i32>, <16 x i32>* %ptr_b
 388   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> %passThru, i32 %mask)
 389   ret <32 x i16> %res
 390 }
 391
 392 define <32 x i16> @test_mask_packs_epi32_rmkz_512(<16 x i32> %a, <16 x i32>* %ptr_b, i32 %mask) {
 393   ;CHECK-LABEL: test_mask_packs_epi32_rmkz_512
 394   ;CHECK: vpackssdw       (%rdi), %zmm0, %zmm0 {%k1} {z} ## encoding: [0x62,0xf1,0x7d,0xc9,0x6b,0x07]
 395   %b = load <16 x i32>, <16 x i32>* %ptr_b
 396   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 %mask)
 397   ret <32 x i16> %res
 398 }
 399
 400 define <32 x i16> @test_mask_packs_epi32_rmb_512(<16 x i32> %a, i32* %ptr_b) {
 401   ;CHECK-LABEL: test_mask_packs_epi32_rmb_512
 402   ;CHECK: vpackssdw       (%rdi){1to16}, %zmm0, %zmm0  ## encoding: [0x62,0xf1,0x7d,0x58,0x6b,0x07]
 403   %q = load i32, i32* %ptr_b
 404   %vecinit.i = insertelement <16 x i32> undef, i32 %q, i32 0
 405   %b = shufflevector <16 x i32> %vecinit.i, <16 x i32> undef, <16 x i32> zeroinitializer
 406   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 -1)
 407   ret <32 x i16> %res
 408 }
 409
 410 define <32 x i16> @test_mask_packs_epi32_rmbk_512(<16 x i32> %a, i32* %ptr_b, <32 x i16> %passThru, i32 %mask) {
 411   ;CHECK-LABEL: test_mask_packs_epi32_rmbk_512
 412   ;CHECK: vpackssdw       (%rdi){1to16}, %zmm0, %zmm1 {%k1} ## encoding: [0x62,0xf1,0x7d,0x59,0x6b,0x0f]
 413   %q = load i32, i32* %ptr_b
 414   %vecinit.i = insertelement <16 x i32> undef, i32 %q, i32 0
 415   %b = shufflevector <16 x i32> %vecinit.i, <16 x i32> undef, <16 x i32> zeroinitializer
 416   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> %passThru, i32 %mask)
 417   ret <32 x i16> %res
 418 }
 419
 420 define <32 x i16> @test_mask_packs_epi32_rmbkz_512(<16 x i32> %a, i32* %ptr_b, i32 %mask) {
 421   ;CHECK-LABEL: test_mask_packs_epi32_rmbkz_512
 422   ;CHECK: vpackssdw       (%rdi){1to16}, %zmm0, %zmm0 {%k1} {z} ## encoding: [0x62,0xf1,0x7d,0xd9,0x6b,0x07]
 423   %q = load i32, i32* %ptr_b
 424   %vecinit.i = insertelement <16 x i32> undef, i32 %q, i32 0
 425   %b = shufflevector <16 x i32> %vecinit.i, <16 x i32> undef, <16 x i32> zeroinitializer
 426   %res = call <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 %mask)
 427   ret <32 x i16> %res
 428 }
 429
 430 declare <32 x i16> @llvm.x86.avx512.mask.packssdw.512(<16 x i32>, <16 x i32>, <32 x i16>, i32)
 431
 432 define <64 x i8> @test_mask_packs_epi16_rr_512(<32 x i16> %a, <32 x i16> %b) {
 433   ;CHECK-LABEL: test_mask_packs_epi16_rr_512
 434   ;CHECK: vpacksswb       %zmm1, %zmm0, %zmm0  ## encoding: [0x62,0xf1,0xfd,0x48,0x63,0xc1]
 435   %res = call <64 x i8> @llvm.x86.avx512.mask.packsswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> zeroinitializer, i64 -1)
 436   ret <64 x i8> %res
 437 }
 438
 439 define <64 x i8> @test_mask_packs_epi16_rrk_512(<32 x i16> %a, <32 x i16> %b, <64 x i8> %passThru, i64 %mask) {
 440   ;CHECK-LABEL: test_mask_packs_epi16_rrk_512
 441   ;CHECK: vpacksswb       %zmm1, %zmm0, %zmm2 {%k1} ## encoding: [0x62,0xf1,0xfd,0x49,0x63,0xd1]
 442   %res = call <64 x i8> @llvm.x86.avx512.mask.packsswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> %passThru, i64 %mask)
 443   ret <64 x i8> %res
 444 }
 445
 446 define <64 x i8> @test_mask_packs_epi16_rrkz_512(<32 x i16> %a, <32 x i16> %b, i64 %mask) {
 447   ;CHECK-LABEL: test_mask_packs_epi16_rrkz_512
 448   ;CHECK: vpacksswb       %zmm1, %zmm0, %zmm0 {%k1} {z} ## encoding: [0x62,0xf1,0xfd,0xc9,0x63,0xc1]
 449   %res = call <64 x i8> @llvm.x86.avx512.mask.packsswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> zeroinitializer, i64 %mask)
 450   ret <64 x i8> %res
 451 }
 452
 453 define <64 x i8> @test_mask_packs_epi16_rm_512(<32 x i16> %a, <32 x i16>* %ptr_b) {
 454   ;CHECK-LABEL: test_mask_packs_epi16_rm_512
 455   ;CHECK: vpacksswb       (%rdi), %zmm0, %zmm0  ## encoding: [0x62,0xf1,0xfd,0x48,0x63,0x07]
 456   %b = load <32 x i16>, <32 x i16>* %ptr_b
 457   %res = call <64 x i8> @llvm.x86.avx512.mask.packsswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> zeroinitializer, i64 -1)
 458   ret <64 x i8> %res
 459 }
 460
 461 define <64 x i8> @test_mask_packs_epi16_rmk_512(<32 x i16> %a, <32 x i16>* %ptr_b, <64 x i8> %passThru, i64 %mask) {
 462   ;CHECK-LABEL: test_mask_packs_epi16_rmk_512
 463   ;CHECK: vpacksswb       (%rdi), %zmm0, %zmm1 {%k1} ## encoding: [0x62,0xf1,0xfd,0x49,0x63,0x0f]
 464   %b = load <32 x i16>, <32 x i16>* %ptr_b
 465   %res = call <64 x i8> @llvm.x86.avx512.mask.packsswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> %passThru, i64 %mask)
 466   ret <64 x i8> %res
 467 }
 468
 469 define <64 x i8> @test_mask_packs_epi16_rmkz_512(<32 x i16> %a, <32 x i16>* %ptr_b, i64 %mask) {
 470   ;CHECK-LABEL: test_mask_packs_epi16_rmkz_512
 471   ;CHECK: vpacksswb       (%rdi), %zmm0, %zmm0 {%k1} {z} ## encoding: [0x62,0xf1,0xfd,0xc9,0x63,0x07]
 472   %b = load <32 x i16>, <32 x i16>* %ptr_b
 473   %res = call <64 x i8> @llvm.x86.avx512.mask.packsswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> zeroinitializer, i64 %mask)
 474   ret <64 x i8> %res
 475 }
 476
 477 declare <64 x i8> @llvm.x86.avx512.mask.packsswb.512(<32 x i16>, <32 x i16>, <64 x i8>, i64)
 478
 479
 480 define <32 x i16> @test_mask_packus_epi32_rr_512(<16 x i32> %a, <16 x i32> %b) {
 481   ;CHECK-LABEL: test_mask_packus_epi32_rr_512
 482   ;CHECK: vpackusdw       %zmm1, %zmm0, %zmm0
 483   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 -1)
 484   ret <32 x i16> %res
 485 }
 486
 487 define <32 x i16> @test_mask_packus_epi32_rrk_512(<16 x i32> %a, <16 x i32> %b, <32 x i16> %passThru, i32 %mask) {
 488   ;CHECK-LABEL: test_mask_packus_epi32_rrk_512
 489   ;CHECK: vpackusdw       %zmm1, %zmm0, %zmm2 {%k1}
 490   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> %passThru, i32 %mask)
 491   ret <32 x i16> %res
 492 }
 493
 494 define <32 x i16> @test_mask_packus_epi32_rrkz_512(<16 x i32> %a, <16 x i32> %b, i32 %mask) {
 495   ;CHECK-LABEL: test_mask_packus_epi32_rrkz_512
 496   ;CHECK: vpackusdw       %zmm1, %zmm0, %zmm0 {%k1} {z}
 497   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 %mask)
 498   ret <32 x i16> %res
 499 }
 500
 501 define <32 x i16> @test_mask_packus_epi32_rm_512(<16 x i32> %a, <16 x i32>* %ptr_b) {
 502   ;CHECK-LABEL: test_mask_packus_epi32_rm_512
 503   ;CHECK: vpackusdw       (%rdi), %zmm0, %zmm0
 504   %b = load <16 x i32>, <16 x i32>* %ptr_b
 505   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 -1)
 506   ret <32 x i16> %res
 507 }
 508
 509 define <32 x i16> @test_mask_packus_epi32_rmk_512(<16 x i32> %a, <16 x i32>* %ptr_b, <32 x i16> %passThru, i32 %mask) {
 510   ;CHECK-LABEL: test_mask_packus_epi32_rmk_512
 511   ;CHECK: vpackusdw       (%rdi), %zmm0, %zmm1 {%k1}
 512   %b = load <16 x i32>, <16 x i32>* %ptr_b
 513   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> %passThru, i32 %mask)
 514   ret <32 x i16> %res
 515 }
 516
 517 define <32 x i16> @test_mask_packus_epi32_rmkz_512(<16 x i32> %a, <16 x i32>* %ptr_b, i32 %mask) {
 518   ;CHECK-LABEL: test_mask_packus_epi32_rmkz_512
 519   ;CHECK: vpackusdw       (%rdi), %zmm0, %zmm0 {%k1} {z}
 520   %b = load <16 x i32>, <16 x i32>* %ptr_b
 521   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 %mask)
 522   ret <32 x i16> %res
 523 }
 524
 525 define <32 x i16> @test_mask_packus_epi32_rmb_512(<16 x i32> %a, i32* %ptr_b) {
 526   ;CHECK-LABEL: test_mask_packus_epi32_rmb_512
 527   ;CHECK: vpackusdw       (%rdi){1to16}, %zmm0, %zmm0
 528   %q = load i32, i32* %ptr_b
 529   %vecinit.i = insertelement <16 x i32> undef, i32 %q, i32 0
 530   %b = shufflevector <16 x i32> %vecinit.i, <16 x i32> undef, <16 x i32> zeroinitializer
 531   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 -1)
 532   ret <32 x i16> %res
 533 }
 534
 535 define <32 x i16> @test_mask_packus_epi32_rmbk_512(<16 x i32> %a, i32* %ptr_b, <32 x i16> %passThru, i32 %mask) {
 536   ;CHECK-LABEL: test_mask_packus_epi32_rmbk_512
 537   ;CHECK: vpackusdw       (%rdi){1to16}, %zmm0, %zmm1 {%k1}
 538   %q = load i32, i32* %ptr_b
 539   %vecinit.i = insertelement <16 x i32> undef, i32 %q, i32 0
 540   %b = shufflevector <16 x i32> %vecinit.i, <16 x i32> undef, <16 x i32> zeroinitializer
 541   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> %passThru, i32 %mask)
 542   ret <32 x i16> %res
 543 }
 544
 545 define <32 x i16> @test_mask_packus_epi32_rmbkz_512(<16 x i32> %a, i32* %ptr_b, i32 %mask) {
 546   ;CHECK-LABEL: test_mask_packus_epi32_rmbkz_512
 547   ;CHECK: vpackusdw       (%rdi){1to16}, %zmm0, %zmm0 {%k1} {z}
 548   %q = load i32, i32* %ptr_b
 549   %vecinit.i = insertelement <16 x i32> undef, i32 %q, i32 0
 550   %b = shufflevector <16 x i32> %vecinit.i, <16 x i32> undef, <16 x i32> zeroinitializer
 551   %res = call <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32> %a, <16 x i32> %b, <32 x i16> zeroinitializer, i32 %mask)
 552   ret <32 x i16> %res
 553 }
 554
 555 declare <32 x i16> @llvm.x86.avx512.mask.packusdw.512(<16 x i32>, <16 x i32>, <32 x i16>, i32)
 556
 557 define <64 x i8> @test_mask_packus_epi16_rr_512(<32 x i16> %a, <32 x i16> %b) {
 558   ;CHECK-LABEL: test_mask_packus_epi16_rr_512
 559   ;CHECK: vpackuswb       %zmm1, %zmm0, %zmm0
 560   %res = call <64 x i8> @llvm.x86.avx512.mask.packuswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> zeroinitializer, i64 -1)
 561   ret <64 x i8> %res
 562 }
 563
 564 define <64 x i8> @test_mask_packus_epi16_rrk_512(<32 x i16> %a, <32 x i16> %b, <64 x i8> %passThru, i64 %mask) {
 565   ;CHECK-LABEL: test_mask_packus_epi16_rrk_512
 566   ;CHECK: vpackuswb       %zmm1, %zmm0, %zmm2 {%k1}
 567   %res = call <64 x i8> @llvm.x86.avx512.mask.packuswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> %passThru, i64 %mask)
 568   ret <64 x i8> %res
 569 }
 570
 571 define <64 x i8> @test_mask_packus_epi16_rrkz_512(<32 x i16> %a, <32 x i16> %b, i64 %mask) {
 572   ;CHECK-LABEL: test_mask_packus_epi16_rrkz_512
 573   ;CHECK: vpackuswb       %zmm1, %zmm0, %zmm0 {%k1} {z}
 574   %res = call <64 x i8> @llvm.x86.avx512.mask.packuswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> zeroinitializer, i64 %mask)
 575   ret <64 x i8> %res
 576 }
 577
 578 define <64 x i8> @test_mask_packus_epi16_rm_512(<32 x i16> %a, <32 x i16>* %ptr_b) {
 579   ;CHECK-LABEL: test_mask_packus_epi16_rm_512
 580   ;CHECK: vpackuswb       (%rdi), %zmm0, %zmm0
 581   %b = load <32 x i16>, <32 x i16>* %ptr_b
 582   %res = call <64 x i8> @llvm.x86.avx512.mask.packuswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> zeroinitializer, i64 -1)
 583   ret <64 x i8> %res
 584 }
 585
 586 define <64 x i8> @test_mask_packus_epi16_rmk_512(<32 x i16> %a, <32 x i16>* %ptr_b, <64 x i8> %passThru, i64 %mask) {
 587   ;CHECK-LABEL: test_mask_packus_epi16_rmk_512
 588   ;CHECK: vpackuswb       (%rdi), %zmm0, %zmm1 {%k1}
 589   %b = load <32 x i16>, <32 x i16>* %ptr_b
 590   %res = call <64 x i8> @llvm.x86.avx512.mask.packuswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> %passThru, i64 %mask)
 591   ret <64 x i8> %res
 592 }
 593
 594 define <64 x i8> @test_mask_packus_epi16_rmkz_512(<32 x i16> %a, <32 x i16>* %ptr_b, i64 %mask) {
 595   ;CHECK-LABEL: test_mask_packus_epi16_rmkz_512
 596   ;CHECK: vpackuswb       (%rdi), %zmm0, %zmm0 {%k1} {z}
 597   %b = load <32 x i16>, <32 x i16>* %ptr_b
 598   %res = call <64 x i8> @llvm.x86.avx512.mask.packuswb.512(<32 x i16> %a, <32 x i16> %b, <64 x i8> zeroinitializer, i64 %mask)
 599   ret <64 x i8> %res
 600 }
 601
 602 declare <64 x i8> @llvm.x86.avx512.mask.packuswb.512(<32 x i16>, <32 x i16>, <64 x i8>, i64)
 603
 604 define <32 x i16> @test_mask_adds_epi16_rr_512(<32 x i16> %a, <32 x i16> %b) {
 605   ;CHECK-LABEL: test_mask_adds_epi16_rr_512
 606   ;CHECK: vpaddsw %zmm1, %zmm0, %zmm0
 607   %res = call <32 x i16> @llvm.x86.avx512.mask.padds.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 -1)
 608   ret <32 x i16> %res
 609 }
 610
 611 define <32 x i16> @test_mask_adds_epi16_rrk_512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask) {
 612   ;CHECK-LABEL: test_mask_adds_epi16_rrk_512
 613   ;CHECK: vpaddsw %zmm1, %zmm0, %zmm2 {%k1}
 614   %res = call <32 x i16> @llvm.x86.avx512.mask.padds.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask)
 615   ret <32 x i16> %res
 616 }
 617
 618 define <32 x i16> @test_mask_adds_epi16_rrkz_512(<32 x i16> %a, <32 x i16> %b, i32 %mask) {
 619   ;CHECK-LABEL: test_mask_adds_epi16_rrkz_512
 620   ;CHECK: vpaddsw %zmm1, %zmm0, %zmm0 {%k1} {z}
 621   %res = call <32 x i16> @llvm.x86.avx512.mask.padds.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 %mask)
 622   ret <32 x i16> %res
 623 }
 624
 625 define <32 x i16> @test_mask_adds_epi16_rm_512(<32 x i16> %a, <32 x i16>* %ptr_b) {
 626   ;CHECK-LABEL: test_mask_adds_epi16_rm_512
 627   ;CHECK: vpaddsw (%rdi), %zmm0, %zmm0
 628   %b = load <32 x i16>, <32 x i16>* %ptr_b
 629   %res = call <32 x i16> @llvm.x86.avx512.mask.padds.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 -1)
 630   ret <32 x i16> %res
 631 }
 632
 633 define <32 x i16> @test_mask_adds_epi16_rmk_512(<32 x i16> %a, <32 x i16>* %ptr_b, <32 x i16> %passThru, i32 %mask) {
 634   ;CHECK-LABEL: test_mask_adds_epi16_rmk_512
 635   ;CHECK: vpaddsw (%rdi), %zmm0, %zmm1 {%k1}
 636   %b = load <32 x i16>, <32 x i16>* %ptr_b
 637   %res = call <32 x i16> @llvm.x86.avx512.mask.padds.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask)
 638   ret <32 x i16> %res
 639 }
 640
 641 define <32 x i16> @test_mask_adds_epi16_rmkz_512(<32 x i16> %a, <32 x i16>* %ptr_b, i32 %mask) {
 642   ;CHECK-LABEL: test_mask_adds_epi16_rmkz_512
 643   ;CHECK: vpaddsw (%rdi), %zmm0, %zmm0 {%k1} {z}
 644   %b = load <32 x i16>, <32 x i16>* %ptr_b
 645   %res = call <32 x i16> @llvm.x86.avx512.mask.padds.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 %mask)
 646   ret <32 x i16> %res
 647 }
 648
 649 declare <32 x i16> @llvm.x86.avx512.mask.padds.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 650
 651 define <32 x i16> @test_mask_subs_epi16_rr_512(<32 x i16> %a, <32 x i16> %b) {
 652   ;CHECK-LABEL: test_mask_subs_epi16_rr_512
 653   ;CHECK: vpsubsw %zmm1, %zmm0, %zmm0
 654   %res = call <32 x i16> @llvm.x86.avx512.mask.psubs.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 -1)
 655   ret <32 x i16> %res
 656 }
 657
 658 define <32 x i16> @test_mask_subs_epi16_rrk_512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask) {
 659   ;CHECK-LABEL: test_mask_subs_epi16_rrk_512
 660   ;CHECK: vpsubsw %zmm1, %zmm0, %zmm2 {%k1}
 661   %res = call <32 x i16> @llvm.x86.avx512.mask.psubs.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask)
 662   ret <32 x i16> %res
 663 }
 664
 665 define <32 x i16> @test_mask_subs_epi16_rrkz_512(<32 x i16> %a, <32 x i16> %b, i32 %mask) {
 666   ;CHECK-LABEL: test_mask_subs_epi16_rrkz_512
 667   ;CHECK: vpsubsw %zmm1, %zmm0, %zmm0 {%k1} {z}
 668   %res = call <32 x i16> @llvm.x86.avx512.mask.psubs.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 %mask)
 669   ret <32 x i16> %res
 670 }
 671
 672 define <32 x i16> @test_mask_subs_epi16_rm_512(<32 x i16> %a, <32 x i16>* %ptr_b) {
 673   ;CHECK-LABEL: test_mask_subs_epi16_rm_512
 674   ;CHECK: vpsubsw (%rdi), %zmm0, %zmm0
 675   %b = load <32 x i16>, <32 x i16>* %ptr_b
 676   %res = call <32 x i16> @llvm.x86.avx512.mask.psubs.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 -1)
 677   ret <32 x i16> %res
 678 }
 679
 680 define <32 x i16> @test_mask_subs_epi16_rmk_512(<32 x i16> %a, <32 x i16>* %ptr_b, <32 x i16> %passThru, i32 %mask) {
 681   ;CHECK-LABEL: test_mask_subs_epi16_rmk_512
 682   ;CHECK: vpsubsw (%rdi), %zmm0, %zmm1 {%k1}
 683   %b = load <32 x i16>, <32 x i16>* %ptr_b
 684   %res = call <32 x i16> @llvm.x86.avx512.mask.psubs.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask)
 685   ret <32 x i16> %res
 686 }
 687
 688 define <32 x i16> @test_mask_subs_epi16_rmkz_512(<32 x i16> %a, <32 x i16>* %ptr_b, i32 %mask) {
 689   ;CHECK-LABEL: test_mask_subs_epi16_rmkz_512
 690   ;CHECK: vpsubsw (%rdi), %zmm0, %zmm0 {%k1} {z}
 691   %b = load <32 x i16>, <32 x i16>* %ptr_b
 692   %res = call <32 x i16> @llvm.x86.avx512.mask.psubs.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 %mask)
 693   ret <32 x i16> %res
 694 }
 695
 696 declare <32 x i16> @llvm.x86.avx512.mask.psubs.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 697
 698 define <32 x i16> @test_mask_adds_epu16_rr_512(<32 x i16> %a, <32 x i16> %b) {
 699   ;CHECK-LABEL: test_mask_adds_epu16_rr_512
 700   ;CHECK: vpaddusw %zmm1, %zmm0, %zmm0
 701   %res = call <32 x i16> @llvm.x86.avx512.mask.paddus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 -1)
 702   ret <32 x i16> %res
 703 }
 704
 705 define <32 x i16> @test_mask_adds_epu16_rrk_512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask) {
 706   ;CHECK-LABEL: test_mask_adds_epu16_rrk_512
 707   ;CHECK: vpaddusw %zmm1, %zmm0, %zmm2 {%k1}
 708   %res = call <32 x i16> @llvm.x86.avx512.mask.paddus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask)
 709   ret <32 x i16> %res
 710 }
 711
 712 define <32 x i16> @test_mask_adds_epu16_rrkz_512(<32 x i16> %a, <32 x i16> %b, i32 %mask) {
 713   ;CHECK-LABEL: test_mask_adds_epu16_rrkz_512
 714   ;CHECK: vpaddusw %zmm1, %zmm0, %zmm0 {%k1} {z}
 715   %res = call <32 x i16> @llvm.x86.avx512.mask.paddus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 %mask)
 716   ret <32 x i16> %res
 717 }
 718
 719 define <32 x i16> @test_mask_adds_epu16_rm_512(<32 x i16> %a, <32 x i16>* %ptr_b) {
 720   ;CHECK-LABEL: test_mask_adds_epu16_rm_512
 721   ;CHECK: vpaddusw (%rdi), %zmm0, %zmm0
 722   %b = load <32 x i16>, <32 x i16>* %ptr_b
 723   %res = call <32 x i16> @llvm.x86.avx512.mask.paddus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 -1)
 724   ret <32 x i16> %res
 725 }
 726
 727 define <32 x i16> @test_mask_adds_epu16_rmk_512(<32 x i16> %a, <32 x i16>* %ptr_b, <32 x i16> %passThru, i32 %mask) {
 728   ;CHECK-LABEL: test_mask_adds_epu16_rmk_512
 729   ;CHECK: vpaddusw (%rdi), %zmm0, %zmm1 {%k1}
 730   %b = load <32 x i16>, <32 x i16>* %ptr_b
 731   %res = call <32 x i16> @llvm.x86.avx512.mask.paddus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask)
 732   ret <32 x i16> %res
 733 }
 734
 735 define <32 x i16> @test_mask_adds_epu16_rmkz_512(<32 x i16> %a, <32 x i16>* %ptr_b, i32 %mask) {
 736   ;CHECK-LABEL: test_mask_adds_epu16_rmkz_512
 737   ;CHECK: vpaddusw (%rdi), %zmm0, %zmm0 {%k1} {z}
 738   %b = load <32 x i16>, <32 x i16>* %ptr_b
 739   %res = call <32 x i16> @llvm.x86.avx512.mask.paddus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 %mask)
 740   ret <32 x i16> %res
 741 }
 742
 743 declare <32 x i16> @llvm.x86.avx512.mask.paddus.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 744
 745 define <32 x i16> @test_mask_subs_epu16_rr_512(<32 x i16> %a, <32 x i16> %b) {
 746   ;CHECK-LABEL: test_mask_subs_epu16_rr_512
 747   ;CHECK: vpsubusw %zmm1, %zmm0, %zmm0
 748   %res = call <32 x i16> @llvm.x86.avx512.mask.psubus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 -1)
 749   ret <32 x i16> %res
 750 }
 751
 752 define <32 x i16> @test_mask_subs_epu16_rrk_512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask) {
 753   ;CHECK-LABEL: test_mask_subs_epu16_rrk_512
 754   ;CHECK: vpsubusw %zmm1, %zmm0, %zmm2 {%k1}
 755   %res = call <32 x i16> @llvm.x86.avx512.mask.psubus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask)
 756   ret <32 x i16> %res
 757 }
 758
 759 define <32 x i16> @test_mask_subs_epu16_rrkz_512(<32 x i16> %a, <32 x i16> %b, i32 %mask) {
 760   ;CHECK-LABEL: test_mask_subs_epu16_rrkz_512
 761   ;CHECK: vpsubusw %zmm1, %zmm0, %zmm0 {%k1} {z}
 762   %res = call <32 x i16> @llvm.x86.avx512.mask.psubus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 %mask)
 763   ret <32 x i16> %res
 764 }
 765
 766 define <32 x i16> @test_mask_subs_epu16_rm_512(<32 x i16> %a, <32 x i16>* %ptr_b) {
 767   ;CHECK-LABEL: test_mask_subs_epu16_rm_512
 768   ;CHECK: vpsubusw (%rdi), %zmm0, %zmm0
 769   %b = load <32 x i16>, <32 x i16>* %ptr_b
 770   %res = call <32 x i16> @llvm.x86.avx512.mask.psubus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 -1)
 771   ret <32 x i16> %res
 772 }
 773
 774 define <32 x i16> @test_mask_subs_epu16_rmk_512(<32 x i16> %a, <32 x i16>* %ptr_b, <32 x i16> %passThru, i32 %mask) {
 775   ;CHECK-LABEL: test_mask_subs_epu16_rmk_512
 776   ;CHECK: vpsubusw (%rdi), %zmm0, %zmm1 {%k1}
 777   %b = load <32 x i16>, <32 x i16>* %ptr_b
 778   %res = call <32 x i16> @llvm.x86.avx512.mask.psubus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> %passThru, i32 %mask)
 779   ret <32 x i16> %res
 780 }
 781
 782 define <32 x i16> @test_mask_subs_epu16_rmkz_512(<32 x i16> %a, <32 x i16>* %ptr_b, i32 %mask) {
 783   ;CHECK-LABEL: test_mask_subs_epu16_rmkz_512
 784   ;CHECK: vpsubusw (%rdi), %zmm0, %zmm0 {%k1} {z}
 785   %b = load <32 x i16>, <32 x i16>* %ptr_b
 786   %res = call <32 x i16> @llvm.x86.avx512.mask.psubus.w.512(<32 x i16> %a, <32 x i16> %b, <32 x i16> zeroinitializer, i32 %mask)
 787   ret <32 x i16> %res
 788 }
 789
 790 declare <32 x i16> @llvm.x86.avx512.mask.psubus.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 791
 792 declare <64 x i8> @llvm.x86.avx512.mask.pmaxs.b.512(<64 x i8>, <64 x i8>, <64 x i8>, i64)
 793
 794 ; CHECK-LABEL: @test_int_x86_avx512_mask_pmaxs_b_512
 795 ; CHECK-NOT: call
 796 ; CHECK: vpmaxsb %zmm
 797 ; CHECK: {%k1}
 798 define <64 x i8>@test_int_x86_avx512_mask_pmaxs_b_512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3) {
 799   %res = call <64 x i8> @llvm.x86.avx512.mask.pmaxs.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3)
 800   %res1 = call <64 x i8> @llvm.x86.avx512.mask.pmaxs.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 -1)
 801   %res2 = add <64 x i8> %res, %res1
 802   ret <64 x i8> %res2
 803 }
 804
 805 declare <32 x i16> @llvm.x86.avx512.mask.pmaxs.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 806
 807 ; CHECK-LABEL: @test_int_x86_avx512_mask_pmaxs_w_512
 808 ; CHECK-NOT: call
 809 ; CHECK: vpmaxsw %zmm
 810 ; CHECK: {%k1}
 811 define <32 x i16>@test_int_x86_avx512_mask_pmaxs_w_512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3) {
 812   %res = call <32 x i16> @llvm.x86.avx512.mask.pmaxs.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3)
 813   %res1 = call <32 x i16> @llvm.x86.avx512.mask.pmaxs.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 -1)
 814   %res2 = add <32 x i16> %res, %res1
 815   ret <32 x i16> %res2
 816 }
 817
 818 declare <64 x i8> @llvm.x86.avx512.mask.pmaxu.b.512(<64 x i8>, <64 x i8>, <64 x i8>, i64)
 819
 820 ; CHECK-LABEL: @test_int_x86_avx512_mask_pmaxu_b_512
 821 ; CHECK-NOT: call
 822 ; CHECK: vpmaxub %zmm
 823 ; CHECK: {%k1}
 824 define <64 x i8>@test_int_x86_avx512_mask_pmaxu_b_512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3) {
 825   %res = call <64 x i8> @llvm.x86.avx512.mask.pmaxu.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3)
 826   %res1 = call <64 x i8> @llvm.x86.avx512.mask.pmaxu.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 -1)
 827   %res2 = add <64 x i8> %res, %res1
 828   ret <64 x i8> %res2
 829 }
 830
 831 declare <32 x i16> @llvm.x86.avx512.mask.pmaxu.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 832
 833 ; CHECK-LABEL: @test_int_x86_avx512_mask_pmaxu_w_512
 834 ; CHECK-NOT: call
 835 ; CHECK: vpmaxuw %zmm
 836 ; CHECK: {%k1}
 837 define <32 x i16>@test_int_x86_avx512_mask_pmaxu_w_512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3) {
 838   %res = call <32 x i16> @llvm.x86.avx512.mask.pmaxu.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3)
 839   %res1 = call <32 x i16> @llvm.x86.avx512.mask.pmaxu.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 -1)
 840   %res2 = add <32 x i16> %res, %res1
 841   ret <32 x i16> %res2
 842 }
 843
 844 declare <64 x i8> @llvm.x86.avx512.mask.pmins.b.512(<64 x i8>, <64 x i8>, <64 x i8>, i64)
 845
 846 ; CHECK-LABEL: @test_int_x86_avx512_mask_pmins_b_512
 847 ; CHECK-NOT: call
 848 ; CHECK: vpminsb %zmm
 849 ; CHECK: {%k1}
 850 define <64 x i8>@test_int_x86_avx512_mask_pmins_b_512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3) {
 851   %res = call <64 x i8> @llvm.x86.avx512.mask.pmins.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3)
 852   %res1 = call <64 x i8> @llvm.x86.avx512.mask.pmins.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 -1)
 853   %res2 = add <64 x i8> %res, %res1
 854   ret <64 x i8> %res2
 855 }
 856
 857 declare <32 x i16> @llvm.x86.avx512.mask.pmins.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 858
 859 ; CHECK-LABEL: @test_int_x86_avx512_mask_pmins_w_512
 860 ; CHECK-NOT: call
 861 ; CHECK: vpminsw %zmm
 862 ; CHECK: {%k1}
 863 define <32 x i16>@test_int_x86_avx512_mask_pmins_w_512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3) {
 864   %res = call <32 x i16> @llvm.x86.avx512.mask.pmins.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3)
 865   %res1 = call <32 x i16> @llvm.x86.avx512.mask.pmins.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 -1)
 866   %res2 = add <32 x i16> %res, %res1
 867   ret <32 x i16> %res2
 868 }
 869
 870 declare <64 x i8> @llvm.x86.avx512.mask.pminu.b.512(<64 x i8>, <64 x i8>, <64 x i8>, i64)
 871
 872 ; CHECK-LABEL: @test_int_x86_avx512_mask_pminu_b_512
 873 ; CHECK-NOT: call
 874 ; CHECK: vpminub %zmm
 875 ; CHECK: {%k1}
 876 define <64 x i8>@test_int_x86_avx512_mask_pminu_b_512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3) {
 877   %res = call <64 x i8> @llvm.x86.avx512.mask.pminu.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3)
 878   %res1 = call <64 x i8> @llvm.x86.avx512.mask.pminu.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 -1)
 879   %res2 = add <64 x i8> %res, %res1
 880   ret <64 x i8> %res2
 881 }
 882
 883 declare <32 x i16> @llvm.x86.avx512.mask.pminu.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 884
 885 ; CHECK-LABEL: @test_int_x86_avx512_mask_pminu_w_512
 886 ; CHECK-NOT: call
 887 ; CHECK: vpminuw %zmm
 888 ; CHECK: {%k1}
 889 define <32 x i16>@test_int_x86_avx512_mask_pminu_w_512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3) {
 890   %res = call <32 x i16> @llvm.x86.avx512.mask.pminu.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3)
 891   %res1 = call <32 x i16> @llvm.x86.avx512.mask.pminu.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 -1)
 892   %res2 = add <32 x i16> %res, %res1
 893   ret <32 x i16> %res2
 894 }
 895
 896 declare <64 x i8> @llvm.x86.avx512.mask.pavg.b.512(<64 x i8>, <64 x i8>, <64 x i8>, i64)
 897
 898 ; CHECK-LABEL: @test_int_x86_avx512_mask_pavg_b_512
 899 ; CHECK-NOT: call
 900 ; CHECK: vpavgb %zmm
 901 ; CHECK: {%k1}
 902 define <64 x i8>@test_int_x86_avx512_mask_pavg_b_512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3) {
 903   %res = call <64 x i8> @llvm.x86.avx512.mask.pavg.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 %x3)
 904   %res1 = call <64 x i8> @llvm.x86.avx512.mask.pavg.b.512(<64 x i8> %x0, <64 x i8> %x1, <64 x i8> %x2, i64 -1)
 905   %res2 = add <64 x i8> %res, %res1
 906   ret <64 x i8> %res2
 907 }
 908
 909 declare <32 x i16> @llvm.x86.avx512.mask.pavg.w.512(<32 x i16>, <32 x i16>, <32 x i16>, i32)
 910
 911 ; CHECK-LABEL: @test_int_x86_avx512_mask_pavg_w_512
 912 ; CHECK-NOT: call
 913 ; CHECK: vpavgw %zmm
 914 ; CHECK: {%k1}
 915 define <32 x i16>@test_int_x86_avx512_mask_pavg_w_512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3) {
 916   %res = call <32 x i16> @llvm.x86.avx512.mask.pavg.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 %x3)
 917   %res1 = call <32 x i16> @llvm.x86.avx512.mask.pavg.w.512(<32 x i16> %x0, <32 x i16> %x1, <32 x i16> %x2, i32 -1)
 918   %res2 = add <32 x i16> %res, %res1
 919   ret <32 x i16> %res2
 920 }