include/llvm/IntrinsicsARM.td

   1 //===- IntrinsicsARM.td - Defines ARM intrinsics -----------*- tablegen -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file defines all of the ARM-specific intrinsics.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14
  15 //===----------------------------------------------------------------------===//
  16 // TLS
  17
  18 let TargetPrefix = "arm" in {  // All intrinsics start with "llvm.arm.".
  19   def int_arm_thread_pointer : GCCBuiltin<"__builtin_thread_pointer">,
  20               Intrinsic<[llvm_ptr_ty], [], [IntrNoMem]>;
  21 }
  22
  23 //===----------------------------------------------------------------------===//
  24 // Advanced SIMD (NEON)
  25
  26 let TargetPrefix = "arm" in {  // All intrinsics start with "llvm.arm.".
  27
  28   // The following classes do not correspond directly to GCC builtins.
  29   class Neon_1Arg_Intrinsic
  30     : Intrinsic<[llvm_anyint_ty], [LLVMMatchType<0>], [IntrNoMem]>;
  31   class Neon_1Arg_Float_Intrinsic
  32     : Intrinsic<[llvm_anyfloat_ty], [LLVMMatchType<0>], [IntrNoMem]>;
  33   class Neon_1Arg_Narrow_Intrinsic
  34     : Intrinsic<[llvm_anyint_ty],
  35                 [LLVMExtendedElementVectorType<0>], [IntrNoMem]>;
  36   class Neon_1Arg_Long_Intrinsic
  37     : Intrinsic<[llvm_anyint_ty],
  38                 [LLVMTruncatedElementVectorType<0>], [IntrNoMem]>;
  39   class Neon_2Arg_Intrinsic
  40     : Intrinsic<[llvm_anyint_ty], [LLVMMatchType<0>, LLVMMatchType<0>],
  41                 [IntrNoMem]>;
  42   class Neon_2Arg_Float_Intrinsic
  43     : Intrinsic<[llvm_anyfloat_ty], [LLVMMatchType<0>, LLVMMatchType<0>],
  44                 [IntrNoMem]>;
  45   class Neon_2Arg_Narrow_Intrinsic
  46     : Intrinsic<[llvm_anyint_ty],
  47                 [LLVMExtendedElementVectorType<0>,
  48                  LLVMExtendedElementVectorType<0>],
  49                 [IntrNoMem]>;
  50   class Neon_2Arg_Long_Intrinsic
  51     : Intrinsic<[llvm_anyint_ty],
  52                 [LLVMTruncatedElementVectorType<0>,
  53                  LLVMTruncatedElementVectorType<0>],
  54                 [IntrNoMem]>;
  55   class Neon_2Arg_Wide_Intrinsic
  56     : Intrinsic<[llvm_anyint_ty],
  57                 [LLVMMatchType<0>, LLVMTruncatedElementVectorType<0>],
  58                 [IntrNoMem]>;
  59   class Neon_3Arg_Intrinsic
  60     : Intrinsic<[llvm_anyint_ty],
  61                 [LLVMMatchType<0>, LLVMMatchType<0>, LLVMMatchType<0>],
  62                 [IntrNoMem]>;
  63   class Neon_3Arg_Long_Intrinsic
  64     : Intrinsic<[llvm_anyint_ty],
  65                 [LLVMMatchType<0>,
  66                  LLVMTruncatedElementVectorType<0>,
  67                  LLVMTruncatedElementVectorType<0>],
  68                 [IntrNoMem]>;
  69   class Neon_2Result_Intrinsic
  70     : Intrinsic<[llvm_anyint_ty, LLVMMatchType<0>],
  71                 [LLVMMatchType<0>, LLVMMatchType<0>], [IntrNoMem]>;
  72   class Neon_2Result_Float_Intrinsic
  73     : Intrinsic<[llvm_anyfloat_ty, LLVMMatchType<0>],
  74                 [LLVMMatchType<0>, LLVMMatchType<0>], [IntrNoMem]>;
  75   class Neon_CvtFxToFP_Intrinsic
  76     : Intrinsic<[llvm_anyfloat_ty], [llvm_anyint_ty, llvm_i32_ty], [IntrNoMem]>;
  77   class Neon_CvtFPToFx_Intrinsic
  78     : Intrinsic<[llvm_anyint_ty], [llvm_anyfloat_ty, llvm_i32_ty], [IntrNoMem]>;
  79 }
  80
  81 // Arithmetic ops
  82
  83 let Properties = [IntrNoMem, Commutative] in {
  84
  85   // Vector Add.
  86   def int_arm_neon_vhadds : Neon_2Arg_Intrinsic;
  87   def int_arm_neon_vhaddu : Neon_2Arg_Intrinsic;
  88   def int_arm_neon_vrhadds : Neon_2Arg_Intrinsic;
  89   def int_arm_neon_vrhaddu : Neon_2Arg_Intrinsic;
  90   def int_arm_neon_vqadds : Neon_2Arg_Intrinsic;
  91   def int_arm_neon_vqaddu : Neon_2Arg_Intrinsic;
  92   def int_arm_neon_vaddhn : Neon_2Arg_Narrow_Intrinsic;
  93   def int_arm_neon_vraddhn : Neon_2Arg_Narrow_Intrinsic;
  94   def int_arm_neon_vaddls : Neon_2Arg_Long_Intrinsic;
  95   def int_arm_neon_vaddlu : Neon_2Arg_Long_Intrinsic;
  96   def int_arm_neon_vaddws : Neon_2Arg_Wide_Intrinsic;
  97   def int_arm_neon_vaddwu : Neon_2Arg_Wide_Intrinsic;
  98
  99   // Vector Multiply.
 100   def int_arm_neon_vmulp : Neon_2Arg_Intrinsic;
 101   def int_arm_neon_vqdmulh : Neon_2Arg_Intrinsic;
 102   def int_arm_neon_vqrdmulh : Neon_2Arg_Intrinsic;
 103   def int_arm_neon_vmulls : Neon_2Arg_Long_Intrinsic;
 104   def int_arm_neon_vmullu : Neon_2Arg_Long_Intrinsic;
 105   def int_arm_neon_vmullp : Neon_2Arg_Long_Intrinsic;
 106   def int_arm_neon_vqdmull : Neon_2Arg_Long_Intrinsic;
 107
 108   // Vector Multiply and Accumulate/Subtract.
 109   def int_arm_neon_vmlals : Neon_3Arg_Long_Intrinsic;
 110   def int_arm_neon_vmlalu : Neon_3Arg_Long_Intrinsic;
 111   def int_arm_neon_vmlsls : Neon_3Arg_Long_Intrinsic;
 112   def int_arm_neon_vmlslu : Neon_3Arg_Long_Intrinsic;
 113   def int_arm_neon_vqdmlal : Neon_3Arg_Long_Intrinsic;
 114   def int_arm_neon_vqdmlsl : Neon_3Arg_Long_Intrinsic;
 115
 116   // Vector Maximum.
 117   def int_arm_neon_vmaxs : Neon_2Arg_Intrinsic;
 118   def int_arm_neon_vmaxu : Neon_2Arg_Intrinsic;
 119   def int_arm_neon_vmaxf : Neon_2Arg_Float_Intrinsic;
 120
 121   // Vector Minimum.
 122   def int_arm_neon_vmins : Neon_2Arg_Intrinsic;
 123   def int_arm_neon_vminu : Neon_2Arg_Intrinsic;
 124   def int_arm_neon_vminf : Neon_2Arg_Float_Intrinsic;
 125
 126   // Vector Reciprocal Step.
 127   def int_arm_neon_vrecps : Neon_2Arg_Float_Intrinsic;
 128
 129   // Vector Reciprocal Square Root Step.
 130   def int_arm_neon_vrsqrts : Neon_2Arg_Float_Intrinsic;
 131 }
 132
 133 // Vector Subtract.
 134 def int_arm_neon_vhsubs : Neon_2Arg_Intrinsic;
 135 def int_arm_neon_vhsubu : Neon_2Arg_Intrinsic;
 136 def int_arm_neon_vqsubs : Neon_2Arg_Intrinsic;
 137 def int_arm_neon_vqsubu : Neon_2Arg_Intrinsic;
 138 def int_arm_neon_vsubhn : Neon_2Arg_Narrow_Intrinsic;
 139 def int_arm_neon_vrsubhn : Neon_2Arg_Narrow_Intrinsic;
 140 def int_arm_neon_vsubls : Neon_2Arg_Long_Intrinsic;
 141 def int_arm_neon_vsublu : Neon_2Arg_Long_Intrinsic;
 142 def int_arm_neon_vsubws : Neon_2Arg_Wide_Intrinsic;
 143 def int_arm_neon_vsubwu : Neon_2Arg_Wide_Intrinsic;
 144
 145 // Vector Absolute Compare.
 146 let TargetPrefix = "arm" in {
 147   def int_arm_neon_vacged : Intrinsic<[llvm_v2i32_ty],
 148                                       [llvm_v2f32_ty, llvm_v2f32_ty],
 149                                       [IntrNoMem]>;
 150   def int_arm_neon_vacgeq : Intrinsic<[llvm_v4i32_ty],
 151                                       [llvm_v4f32_ty, llvm_v4f32_ty],
 152                                       [IntrNoMem]>;
 153   def int_arm_neon_vacgtd : Intrinsic<[llvm_v2i32_ty],
 154                                       [llvm_v2f32_ty, llvm_v2f32_ty],
 155                                       [IntrNoMem]>;
 156   def int_arm_neon_vacgtq : Intrinsic<[llvm_v4i32_ty],
 157                                       [llvm_v4f32_ty, llvm_v4f32_ty],
 158                                       [IntrNoMem]>;
 159 }
 160
 161 // Vector Absolute Differences.
 162 def int_arm_neon_vabds : Neon_2Arg_Intrinsic;
 163 def int_arm_neon_vabdu : Neon_2Arg_Intrinsic;
 164 def int_arm_neon_vabdf : Neon_2Arg_Float_Intrinsic;
 165 def int_arm_neon_vabdls : Neon_2Arg_Long_Intrinsic;
 166 def int_arm_neon_vabdlu : Neon_2Arg_Long_Intrinsic;
 167
 168 // Vector Absolute Difference and Accumulate.
 169 def int_arm_neon_vabas : Neon_3Arg_Intrinsic;
 170 def int_arm_neon_vabau : Neon_3Arg_Intrinsic;
 171 def int_arm_neon_vabals : Neon_3Arg_Long_Intrinsic;
 172 def int_arm_neon_vabalu : Neon_3Arg_Long_Intrinsic;
 173
 174 // Vector Pairwise Add.
 175 def int_arm_neon_vpaddi : Neon_2Arg_Intrinsic;
 176 def int_arm_neon_vpaddf : Neon_2Arg_Float_Intrinsic;
 177
 178 // Vector Pairwise Add Long.
 179 // Note: This is different than the other "long" NEON intrinsics because
 180 // the result vector has half as many elements as the source vector.
 181 // The source and destination vector types must be specified separately.
 182 let TargetPrefix = "arm" in {
 183   def int_arm_neon_vpaddls : Intrinsic<[llvm_anyint_ty], [llvm_anyint_ty],
 184                                        [IntrNoMem]>;
 185   def int_arm_neon_vpaddlu : Intrinsic<[llvm_anyint_ty], [llvm_anyint_ty],
 186                                        [IntrNoMem]>;
 187 }
 188
 189 // Vector Pairwise Add and Accumulate Long.
 190 // Note: This is similar to vpaddl but the destination vector also appears
 191 // as the first argument.
 192 let TargetPrefix = "arm" in {
 193   def int_arm_neon_vpadals : Intrinsic<[llvm_anyint_ty],
 194                                        [LLVMMatchType<0>, llvm_anyint_ty],
 195                                        [IntrNoMem]>;
 196   def int_arm_neon_vpadalu : Intrinsic<[llvm_anyint_ty],
 197                                        [LLVMMatchType<0>, llvm_anyint_ty],
 198                                        [IntrNoMem]>;
 199 }
 200
 201 // Vector Pairwise Maximum and Minimum.
 202 def int_arm_neon_vpmaxs : Neon_2Arg_Intrinsic;
 203 def int_arm_neon_vpmaxu : Neon_2Arg_Intrinsic;
 204 def int_arm_neon_vpmaxf : Neon_2Arg_Float_Intrinsic;
 205 def int_arm_neon_vpmins : Neon_2Arg_Intrinsic;
 206 def int_arm_neon_vpminu : Neon_2Arg_Intrinsic;
 207 def int_arm_neon_vpminf : Neon_2Arg_Float_Intrinsic;
 208
 209 // Vector Shifts:
 210 //
 211 // The various saturating and rounding vector shift operations need to be
 212 // represented by intrinsics in LLVM, and even the basic VSHL variable shift
 213 // operation cannot be safely translated to LLVM's shift operators.  VSHL can
 214 // be used for both left and right shifts, or even combinations of the two,
 215 // depending on the signs of the shift amounts.  It also has well-defined
 216 // behavior for shift amounts that LLVM leaves undefined.  Only basic shifts
 217 // by constants can be represented with LLVM's shift operators.
 218 //
 219 // The shift counts for these intrinsics are always vectors, even for constant
 220 // shifts, where the constant is replicated.  For consistency with VSHL (and
 221 // other variable shift instructions), left shifts have positive shift counts
 222 // and right shifts have negative shift counts.  This convention is also used
 223 // for constant right shift intrinsics, and to help preserve sanity, the
 224 // intrinsic names use "shift" instead of either "shl" or "shr".  Where
 225 // applicable, signed and unsigned versions of the intrinsics are
 226 // distinguished with "s" and "u" suffixes.  A few NEON shift instructions,
 227 // such as VQSHLU, take signed operands but produce unsigned results; these
 228 // use a "su" suffix.
 229
 230 // Vector Shift.
 231 def int_arm_neon_vshifts : Neon_2Arg_Intrinsic;
 232 def int_arm_neon_vshiftu : Neon_2Arg_Intrinsic;
 233 def int_arm_neon_vshiftls : Neon_2Arg_Long_Intrinsic;
 234 def int_arm_neon_vshiftlu : Neon_2Arg_Long_Intrinsic;
 235 def int_arm_neon_vshiftn : Neon_2Arg_Narrow_Intrinsic;
 236
 237 // Vector Rounding Shift.
 238 def int_arm_neon_vrshifts : Neon_2Arg_Intrinsic;
 239 def int_arm_neon_vrshiftu : Neon_2Arg_Intrinsic;
 240 def int_arm_neon_vrshiftn : Neon_2Arg_Narrow_Intrinsic;
 241
 242 // Vector Saturating Shift.
 243 def int_arm_neon_vqshifts : Neon_2Arg_Intrinsic;
 244 def int_arm_neon_vqshiftu : Neon_2Arg_Intrinsic;
 245 def int_arm_neon_vqshiftsu : Neon_2Arg_Intrinsic;
 246 def int_arm_neon_vqshiftns : Neon_2Arg_Narrow_Intrinsic;
 247 def int_arm_neon_vqshiftnu : Neon_2Arg_Narrow_Intrinsic;
 248 def int_arm_neon_vqshiftnsu : Neon_2Arg_Narrow_Intrinsic;
 249
 250 // Vector Saturating Rounding Shift.
 251 def int_arm_neon_vqrshifts : Neon_2Arg_Intrinsic;
 252 def int_arm_neon_vqrshiftu : Neon_2Arg_Intrinsic;
 253 def int_arm_neon_vqrshiftns : Neon_2Arg_Narrow_Intrinsic;
 254 def int_arm_neon_vqrshiftnu : Neon_2Arg_Narrow_Intrinsic;
 255 def int_arm_neon_vqrshiftnsu : Neon_2Arg_Narrow_Intrinsic;
 256
 257 // Vector Shift and Insert.
 258 def int_arm_neon_vshiftins : Neon_3Arg_Intrinsic;
 259
 260 // Vector Absolute Value and Saturating Absolute Value.
 261 def int_arm_neon_vabs : Neon_1Arg_Intrinsic;
 262 def int_arm_neon_vabsf : Neon_1Arg_Float_Intrinsic;
 263 def int_arm_neon_vqabs : Neon_1Arg_Intrinsic;
 264
 265 // Vector Saturating Negate.
 266 def int_arm_neon_vqneg : Neon_1Arg_Intrinsic;
 267
 268 // Vector Count Leading Sign/Zero Bits.
 269 def int_arm_neon_vcls : Neon_1Arg_Intrinsic;
 270 def int_arm_neon_vclz : Neon_1Arg_Intrinsic;
 271
 272 // Vector Count One Bits.
 273 def int_arm_neon_vcnt : Neon_1Arg_Intrinsic;
 274
 275 // Vector Reciprocal Estimate.
 276 def int_arm_neon_vrecpe : Neon_1Arg_Intrinsic;
 277 def int_arm_neon_vrecpef : Neon_1Arg_Float_Intrinsic;
 278
 279 // Vector Reciprocal Square Root Estimate.
 280 def int_arm_neon_vrsqrte : Neon_1Arg_Intrinsic;
 281 def int_arm_neon_vrsqrtef : Neon_1Arg_Float_Intrinsic;
 282
 283 // Vector Conversions Between Floating-point and Fixed-point.
 284 def int_arm_neon_vcvtfp2fxs : Neon_CvtFPToFx_Intrinsic;
 285 def int_arm_neon_vcvtfp2fxu : Neon_CvtFPToFx_Intrinsic;
 286 def int_arm_neon_vcvtfxs2fp : Neon_CvtFxToFP_Intrinsic;
 287 def int_arm_neon_vcvtfxu2fp : Neon_CvtFxToFP_Intrinsic;
 288
 289 // Narrowing and Lengthening Vector Moves.
 290 def int_arm_neon_vmovn : Neon_1Arg_Narrow_Intrinsic;
 291 def int_arm_neon_vqmovns : Neon_1Arg_Narrow_Intrinsic;
 292 def int_arm_neon_vqmovnu : Neon_1Arg_Narrow_Intrinsic;
 293 def int_arm_neon_vqmovnsu : Neon_1Arg_Narrow_Intrinsic;
 294 def int_arm_neon_vmovls : Neon_1Arg_Long_Intrinsic;
 295 def int_arm_neon_vmovlu : Neon_1Arg_Long_Intrinsic;
 296
 297 // Vector Transpose.
 298 def int_arm_neon_vtrni : Neon_2Result_Intrinsic;
 299 def int_arm_neon_vtrnf : Neon_2Result_Float_Intrinsic;
 300
 301 // Vector Interleave (vzip).
 302 def int_arm_neon_vzipi : Neon_2Result_Intrinsic;
 303 def int_arm_neon_vzipf : Neon_2Result_Float_Intrinsic;
 304
 305 // Vector Deinterleave (vuzp).
 306 def int_arm_neon_vuzpi : Neon_2Result_Intrinsic;
 307 def int_arm_neon_vuzpf : Neon_2Result_Float_Intrinsic;
 308
 309 let TargetPrefix = "arm" in {
 310
 311   // De-interleaving vector loads from N-element structures.
 312   def int_arm_neon_vld1i : Intrinsic<[llvm_anyint_ty],
 313                                      [llvm_ptr_ty], [IntrReadArgMem]>;
 314   def int_arm_neon_vld1f : Intrinsic<[llvm_anyfloat_ty],
 315                                      [llvm_ptr_ty], [IntrReadArgMem]>;
 316   def int_arm_neon_vld2i : Intrinsic<[llvm_anyint_ty, LLVMMatchType<0>],
 317                                      [llvm_ptr_ty], [IntrReadArgMem]>;
 318   def int_arm_neon_vld2f : Intrinsic<[llvm_anyfloat_ty, LLVMMatchType<0>],
 319                                      [llvm_ptr_ty], [IntrReadArgMem]>;
 320   def int_arm_neon_vld3i : Intrinsic<[llvm_anyint_ty, LLVMMatchType<0>,
 321                                       LLVMMatchType<0>],
 322                                      [llvm_ptr_ty], [IntrReadArgMem]>;
 323   def int_arm_neon_vld3f : Intrinsic<[llvm_anyfloat_ty, LLVMMatchType<0>,
 324                                       LLVMMatchType<0>],
 325                                      [llvm_ptr_ty], [IntrReadArgMem]>;
 326   def int_arm_neon_vld4i : Intrinsic<[llvm_anyint_ty, LLVMMatchType<0>,
 327                                       LLVMMatchType<0>, LLVMMatchType<0>],
 328                                      [llvm_ptr_ty], [IntrReadArgMem]>;
 329   def int_arm_neon_vld4f : Intrinsic<[llvm_anyfloat_ty, LLVMMatchType<0>,
 330                                       LLVMMatchType<0>, LLVMMatchType<0>],
 331                                      [llvm_ptr_ty], [IntrReadArgMem]>;
 332
 333   // Interleaving vector stores from N-element structures.
 334   def int_arm_neon_vst1i : Intrinsic<[llvm_void_ty],
 335                                      [llvm_ptr_ty, llvm_anyint_ty],
 336                                      [IntrWriteArgMem]>;
 337   def int_arm_neon_vst1f : Intrinsic<[llvm_void_ty],
 338                                      [llvm_ptr_ty, llvm_anyfloat_ty],
 339                                      [IntrWriteArgMem]>;
 340   def int_arm_neon_vst2i : Intrinsic<[llvm_void_ty],
 341                                      [llvm_ptr_ty, llvm_anyint_ty,
 342                                       LLVMMatchType<0>], [IntrWriteArgMem]>;
 343   def int_arm_neon_vst2f : Intrinsic<[llvm_void_ty],
 344                                      [llvm_ptr_ty, llvm_anyfloat_ty,
 345                                       LLVMMatchType<0>], [IntrWriteArgMem]>;
 346   def int_arm_neon_vst3i : Intrinsic<[llvm_void_ty],
 347                                      [llvm_ptr_ty, llvm_anyint_ty,
 348                                       LLVMMatchType<0>, LLVMMatchType<0>],
 349                                       [IntrWriteArgMem]>;
 350   def int_arm_neon_vst3f : Intrinsic<[llvm_void_ty],
 351                                      [llvm_ptr_ty, llvm_anyfloat_ty,
 352                                       LLVMMatchType<0>, LLVMMatchType<0>],
 353                                       [IntrWriteArgMem]>;
 354   def int_arm_neon_vst4i : Intrinsic<[llvm_void_ty],
 355                                      [llvm_ptr_ty, llvm_anyint_ty,
 356                                       LLVMMatchType<0>, LLVMMatchType<0>,
 357                                       LLVMMatchType<0>], [IntrWriteArgMem]>;
 358   def int_arm_neon_vst4f : Intrinsic<[llvm_void_ty],
 359                                      [llvm_ptr_ty, llvm_anyfloat_ty,
 360                                       LLVMMatchType<0>, LLVMMatchType<0>,
 361                                       LLVMMatchType<0>], [IntrWriteArgMem]>;
 362
 363   // Vector Table Lookup
 364   def int_arm_neon_vtbl : Intrinsic<[llvm_v8i8_ty],
 365                                     [llvm_anyint_ty, llvm_v8i8_ty],
 366                                     [IntrNoMem]>;
 367   // Vector Table Extension
 368   def int_arm_neon_vtbx : Intrinsic<[llvm_v8i8_ty],
 369                                     [llvm_v8i8_ty, llvm_anyint_ty,
 370                                      llvm_v8i8_ty], [IntrNoMem]>;
 371 }