[X86][SSE] Vectorize v2i32 to v2f64 conversions
[oota-llvm.git] / lib / Target / X86 / X86ISelLowering.h
1 //===-- X86ISelLowering.h - X86 DAG Lowering Interface ----------*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines the interfaces that X86 uses to lower LLVM code into a
11 // selection DAG.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #ifndef LLVM_LIB_TARGET_X86_X86ISELLOWERING_H
16 #define LLVM_LIB_TARGET_X86_X86ISELLOWERING_H
17
18 #include "llvm/CodeGen/CallingConvLower.h"
19 #include "llvm/CodeGen/SelectionDAG.h"
20 #include "llvm/Target/TargetLowering.h"
21 #include "llvm/Target/TargetOptions.h"
22
23 namespace llvm {
24   class X86Subtarget;
25   class X86TargetMachine;
26
27   namespace X86ISD {
28     // X86 Specific DAG Nodes
29     enum NodeType : unsigned {
30       // Start the numbering where the builtin ops leave off.
31       FIRST_NUMBER = ISD::BUILTIN_OP_END,
32
33       /// Bit scan forward.
34       BSF,
35       /// Bit scan reverse.
36       BSR,
37
38       /// Double shift instructions. These correspond to
39       /// X86::SHLDxx and X86::SHRDxx instructions.
40       SHLD,
41       SHRD,
42
43       /// Bitwise logical AND of floating point values. This corresponds
44       /// to X86::ANDPS or X86::ANDPD.
45       FAND,
46
47       /// Bitwise logical OR of floating point values. This corresponds
48       /// to X86::ORPS or X86::ORPD.
49       FOR,
50
51       /// Bitwise logical XOR of floating point values. This corresponds
52       /// to X86::XORPS or X86::XORPD.
53       FXOR,
54
55       ///  Bitwise logical ANDNOT of floating point values. This
56       /// corresponds to X86::ANDNPS or X86::ANDNPD.
57       FANDN,
58
59       /// These operations represent an abstract X86 call
60       /// instruction, which includes a bunch of information.  In particular the
61       /// operands of these node are:
62       ///
63       ///     #0 - The incoming token chain
64       ///     #1 - The callee
65       ///     #2 - The number of arg bytes the caller pushes on the stack.
66       ///     #3 - The number of arg bytes the callee pops off the stack.
67       ///     #4 - The value to pass in AL/AX/EAX (optional)
68       ///     #5 - The value to pass in DL/DX/EDX (optional)
69       ///
70       /// The result values of these nodes are:
71       ///
72       ///     #0 - The outgoing token chain
73       ///     #1 - The first register result value (optional)
74       ///     #2 - The second register result value (optional)
75       ///
76       CALL,
77
78       /// This operation implements the lowering for readcyclecounter
79       RDTSC_DAG,
80
81       /// X86 Read Time-Stamp Counter and Processor ID.
82       RDTSCP_DAG,
83
84       /// X86 Read Performance Monitoring Counters.
85       RDPMC_DAG,
86
87       /// X86 compare and logical compare instructions.
88       CMP, COMI, UCOMI,
89
90       /// X86 bit-test instructions.
91       BT,
92
93       /// X86 SetCC. Operand 0 is condition code, and operand 1 is the EFLAGS
94       /// operand, usually produced by a CMP instruction.
95       SETCC,
96
97       /// X86 Select
98       SELECT,
99
100       // Same as SETCC except it's materialized with a sbb and the value is all
101       // one's or all zero's.
102       SETCC_CARRY,  // R = carry_bit ? ~0 : 0
103
104       /// X86 FP SETCC, implemented with CMP{cc}SS/CMP{cc}SD.
105       /// Operands are two FP values to compare; result is a mask of
106       /// 0s or 1s.  Generally DTRT for C/C++ with NaNs.
107       FSETCC,
108
109       /// X86 MOVMSK{pd|ps}, extracts sign bits of two or four FP values,
110       /// result in an integer GPR.  Needs masking for scalar result.
111       FGETSIGNx86,
112
113       /// X86 conditional moves. Operand 0 and operand 1 are the two values
114       /// to select from. Operand 2 is the condition code, and operand 3 is the
115       /// flag operand produced by a CMP or TEST instruction. It also writes a
116       /// flag result.
117       CMOV,
118
119       /// X86 conditional branches. Operand 0 is the chain operand, operand 1
120       /// is the block to branch if condition is true, operand 2 is the
121       /// condition code, and operand 3 is the flag operand produced by a CMP
122       /// or TEST instruction.
123       BRCOND,
124
125       /// Return with a flag operand. Operand 0 is the chain operand, operand
126       /// 1 is the number of bytes of stack to pop.
127       RET_FLAG,
128
129       /// Repeat fill, corresponds to X86::REP_STOSx.
130       REP_STOS,
131
132       /// Repeat move, corresponds to X86::REP_MOVSx.
133       REP_MOVS,
134
135       /// On Darwin, this node represents the result of the popl
136       /// at function entry, used for PIC code.
137       GlobalBaseReg,
138
139       /// A wrapper node for TargetConstantPool,
140       /// TargetExternalSymbol, and TargetGlobalAddress.
141       Wrapper,
142
143       /// Special wrapper used under X86-64 PIC mode for RIP
144       /// relative displacements.
145       WrapperRIP,
146
147       /// Copies a 64-bit value from the low word of an XMM vector
148       /// to an MMX vector.  If you think this is too close to the previous
149       /// mnemonic, so do I; blame Intel.
150       MOVDQ2Q,
151
152       /// Copies a 32-bit value from the low word of a MMX
153       /// vector to a GPR.
154       MMX_MOVD2W,
155
156       /// Copies a GPR into the low 32-bit word of a MMX vector
157       /// and zero out the high word.
158       MMX_MOVW2D,
159
160       /// Extract an 8-bit value from a vector and zero extend it to
161       /// i32, corresponds to X86::PEXTRB.
162       PEXTRB,
163
164       /// Extract a 16-bit value from a vector and zero extend it to
165       /// i32, corresponds to X86::PEXTRW.
166       PEXTRW,
167
168       /// Insert any element of a 4 x float vector into any element
169       /// of a destination 4 x floatvector.
170       INSERTPS,
171
172       /// Insert the lower 8-bits of a 32-bit value to a vector,
173       /// corresponds to X86::PINSRB.
174       PINSRB,
175
176       /// Insert the lower 16-bits of a 32-bit value to a vector,
177       /// corresponds to X86::PINSRW.
178       PINSRW, MMX_PINSRW,
179
180       /// Shuffle 16 8-bit values within a vector.
181       PSHUFB,
182
183       /// Compute Sum of Absolute Differences.
184       PSADBW,
185
186       /// Bitwise Logical AND NOT of Packed FP values.
187       ANDNP,
188
189       /// Copy integer sign.
190       PSIGN,
191
192       /// Blend where the selector is an immediate.
193       BLENDI,
194
195       /// Blend where the condition has been shrunk.
196       /// This is used to emphasize that the condition mask is
197       /// no more valid for generic VSELECT optimizations.
198       SHRUNKBLEND,
199
200       /// Combined add and sub on an FP vector.
201       ADDSUB,
202
203       //  FP vector ops with rounding mode.
204       FADD_RND,
205       FSUB_RND,
206       FMUL_RND,
207       FDIV_RND,
208       FMAX_RND,
209       FMIN_RND,
210       FSQRT_RND,
211
212       // FP vector get exponent 
213       FGETEXP_RND,
214
215       // Integer add/sub with unsigned saturation.
216       ADDUS,
217       SUBUS,
218       // Integer add/sub with signed saturation.
219       ADDS,
220       SUBS,
221
222       /// Integer horizontal add.
223       HADD,
224
225       /// Integer horizontal sub.
226       HSUB,
227
228       /// Floating point horizontal add.
229       FHADD,
230
231       /// Floating point horizontal sub.
232       FHSUB,
233
234       /// Unsigned integer max and min.
235       UMAX, UMIN,
236
237       /// Signed integer max and min.
238       SMAX, SMIN,
239
240       /// Floating point max and min.
241       FMAX, FMIN,
242
243       /// Commutative FMIN and FMAX.
244       FMAXC, FMINC,
245
246       /// Floating point reciprocal-sqrt and reciprocal approximation.
247       /// Note that these typically require refinement
248       /// in order to obtain suitable precision.
249       FRSQRT, FRCP,
250
251       // Thread Local Storage.
252       TLSADDR,
253
254       // Thread Local Storage. A call to get the start address
255       // of the TLS block for the current module.
256       TLSBASEADDR,
257
258       // Thread Local Storage.  When calling to an OS provided
259       // thunk at the address from an earlier relocation.
260       TLSCALL,
261
262       // Exception Handling helpers.
263       EH_RETURN,
264
265       // SjLj exception handling setjmp.
266       EH_SJLJ_SETJMP,
267
268       // SjLj exception handling longjmp.
269       EH_SJLJ_LONGJMP,
270
271       /// Tail call return. See X86TargetLowering::LowerCall for
272       /// the list of operands.
273       TC_RETURN,
274
275       // Vector move to low scalar and zero higher vector elements.
276       VZEXT_MOVL,
277
278       // Vector integer zero-extend.
279       VZEXT,
280
281       // Vector integer signed-extend.
282       VSEXT,
283
284       // Vector integer truncate.
285       VTRUNC,
286
287       // Vector integer truncate with mask.
288       VTRUNCM,
289
290       // Vector FP extend.
291       VFPEXT,
292
293       // Vector FP round.
294       VFPROUND,
295
296       // Vector signed integer to double.
297       CVTDQ2PD,
298
299       // 128-bit vector logical left / right shift
300       VSHLDQ, VSRLDQ,
301
302       // Vector shift elements
303       VSHL, VSRL, VSRA,
304
305       // Vector shift elements by immediate
306       VSHLI, VSRLI, VSRAI,
307
308       // Vector packed double/float comparison.
309       CMPP,
310
311       // Vector integer comparisons.
312       PCMPEQ, PCMPGT,
313       // Vector integer comparisons, the result is in a mask vector.
314       PCMPEQM, PCMPGTM,
315
316       /// Vector comparison generating mask bits for fp and
317       /// integer signed and unsigned data types.
318       CMPM,
319       CMPMU,
320       // Vector comparison with rounding mode for FP values
321       CMPM_RND,
322
323       // Arithmetic operations with FLAGS results.
324       ADD, SUB, ADC, SBB, SMUL,
325       INC, DEC, OR, XOR, AND,
326
327       BEXTR,  // Bit field extract
328
329       UMUL, // LOW, HI, FLAGS = umul LHS, RHS
330
331       // 8-bit SMUL/UMUL - AX, FLAGS = smul8/umul8 AL, RHS
332       SMUL8, UMUL8,
333
334       // 8-bit divrem that zero-extend the high result (AH).
335       UDIVREM8_ZEXT_HREG,
336       SDIVREM8_SEXT_HREG,
337
338       // X86-specific multiply by immediate.
339       MUL_IMM,
340
341       // Vector bitwise comparisons.
342       PTEST,
343
344       // Vector packed fp sign bitwise comparisons.
345       TESTP,
346
347       // Vector "test" in AVX-512, the result is in a mask vector.
348       TESTM,
349       TESTNM,
350
351       // OR/AND test for masks
352       KORTEST,
353
354       // Several flavors of instructions with vector shuffle behaviors.
355       PACKSS,
356       PACKUS,
357       // Intra-lane alignr
358       PALIGNR,
359       // AVX512 inter-lane alignr
360       VALIGN,
361       PSHUFD,
362       PSHUFHW,
363       PSHUFLW,
364       SHUFP,
365       //Shuffle Packed Values at 128-bit granularity
366       SHUF128,
367       MOVDDUP,
368       MOVSHDUP,
369       MOVSLDUP,
370       MOVLHPS,
371       MOVLHPD,
372       MOVHLPS,
373       MOVLPS,
374       MOVLPD,
375       MOVSD,
376       MOVSS,
377       UNPCKL,
378       UNPCKH,
379       VPERMILPV,
380       VPERMILPI,
381       VPERMV,
382       VPERMV3,
383       VPERMIV3,
384       VPERMI,
385       VPERM2X128,
386       //Fix Up Special Packed Float32/64 values
387       VFIXUPIMM,
388       //Range Restriction Calculation For Packed Pairs of Float32/64 values
389       VRANGE,
390       // Broadcast scalar to vector
391       VBROADCAST,
392       // Broadcast subvector to vector
393       SUBV_BROADCAST,
394       // Insert/Extract vector element
395       VINSERT,
396       VEXTRACT,
397
398       // Vector multiply packed unsigned doubleword integers
399       PMULUDQ,
400       // Vector multiply packed signed doubleword integers
401       PMULDQ,
402
403       // FMA nodes
404       FMADD,
405       FNMADD,
406       FMSUB,
407       FNMSUB,
408       FMADDSUB,
409       FMSUBADD,
410       // FMA with rounding mode
411       FMADD_RND,
412       FNMADD_RND,
413       FMSUB_RND,
414       FNMSUB_RND,
415       FMADDSUB_RND,
416       FMSUBADD_RND,
417       RNDSCALE,
418
419       // Compress and expand
420       COMPRESS,
421       EXPAND,
422
423       //Convert Unsigned/Integer to Scalar Floating-Point Value
424       //with rounding mode
425       SINT_TO_FP_RND,
426       UINT_TO_FP_RND,
427       // Save xmm argument registers to the stack, according to %al. An operator
428       // is needed so that this can be expanded with control flow.
429       VASTART_SAVE_XMM_REGS,
430
431       // Windows's _chkstk call to do stack probing.
432       WIN_ALLOCA,
433
434       // For allocating variable amounts of stack space when using
435       // segmented stacks. Check if the current stacklet has enough space, and
436       // falls back to heap allocation if not.
437       SEG_ALLOCA,
438
439       // Windows's _ftol2 runtime routine to do fptoui.
440       WIN_FTOL,
441
442       // Memory barrier
443       MEMBARRIER,
444       MFENCE,
445       SFENCE,
446       LFENCE,
447
448       // Store FP status word into i16 register.
449       FNSTSW16r,
450
451       // Store contents of %ah into %eflags.
452       SAHF,
453
454       // Get a random integer and indicate whether it is valid in CF.
455       RDRAND,
456
457       // Get a NIST SP800-90B & C compliant random integer and
458       // indicate whether it is valid in CF.
459       RDSEED,
460
461       PCMPISTRI,
462       PCMPESTRI,
463
464       // Test if in transactional execution.
465       XTEST,
466
467       // ERI instructions
468       RSQRT28, RCP28, EXP2,
469
470       // Compare and swap.
471       LCMPXCHG_DAG = ISD::FIRST_TARGET_MEMORY_OPCODE,
472       LCMPXCHG8_DAG,
473       LCMPXCHG16_DAG,
474
475       // Load, scalar_to_vector, and zero extend.
476       VZEXT_LOAD,
477
478       // Store FP control world into i16 memory.
479       FNSTCW16m,
480
481       /// This instruction implements FP_TO_SINT with the
482       /// integer destination in memory and a FP reg source.  This corresponds
483       /// to the X86::FIST*m instructions and the rounding mode change stuff. It
484       /// has two inputs (token chain and address) and two outputs (int value
485       /// and token chain).
486       FP_TO_INT16_IN_MEM,
487       FP_TO_INT32_IN_MEM,
488       FP_TO_INT64_IN_MEM,
489
490       /// This instruction implements SINT_TO_FP with the
491       /// integer source in memory and FP reg result.  This corresponds to the
492       /// X86::FILD*m instructions. It has three inputs (token chain, address,
493       /// and source type) and two outputs (FP value and token chain). FILD_FLAG
494       /// also produces a flag).
495       FILD,
496       FILD_FLAG,
497
498       /// This instruction implements an extending load to FP stack slots.
499       /// This corresponds to the X86::FLD32m / X86::FLD64m. It takes a chain
500       /// operand, ptr to load from, and a ValueType node indicating the type
501       /// to load to.
502       FLD,
503
504       /// This instruction implements a truncating store to FP stack
505       /// slots. This corresponds to the X86::FST32m / X86::FST64m. It takes a
506       /// chain operand, value to store, address, and a ValueType to store it
507       /// as.
508       FST,
509
510       /// This instruction grabs the address of the next argument
511       /// from a va_list. (reads and modifies the va_list in memory)
512       VAARG_64
513
514       // WARNING: Do not add anything in the end unless you want the node to
515       // have memop! In fact, starting from ATOMADD64_DAG all opcodes will be
516       // thought as target memory ops!
517     };
518   }
519
520   /// Define some predicates that are used for node matching.
521   namespace X86 {
522     /// Return true if the specified
523     /// EXTRACT_SUBVECTOR operand specifies a vector extract that is
524     /// suitable for input to VEXTRACTF128, VEXTRACTI128 instructions.
525     bool isVEXTRACT128Index(SDNode *N);
526
527     /// Return true if the specified
528     /// INSERT_SUBVECTOR operand specifies a subvector insert that is
529     /// suitable for input to VINSERTF128, VINSERTI128 instructions.
530     bool isVINSERT128Index(SDNode *N);
531
532     /// Return true if the specified
533     /// EXTRACT_SUBVECTOR operand specifies a vector extract that is
534     /// suitable for input to VEXTRACTF64X4, VEXTRACTI64X4 instructions.
535     bool isVEXTRACT256Index(SDNode *N);
536
537     /// Return true if the specified
538     /// INSERT_SUBVECTOR operand specifies a subvector insert that is
539     /// suitable for input to VINSERTF64X4, VINSERTI64X4 instructions.
540     bool isVINSERT256Index(SDNode *N);
541
542     /// Return the appropriate
543     /// immediate to extract the specified EXTRACT_SUBVECTOR index
544     /// with VEXTRACTF128, VEXTRACTI128 instructions.
545     unsigned getExtractVEXTRACT128Immediate(SDNode *N);
546
547     /// Return the appropriate
548     /// immediate to insert at the specified INSERT_SUBVECTOR index
549     /// with VINSERTF128, VINSERT128 instructions.
550     unsigned getInsertVINSERT128Immediate(SDNode *N);
551
552     /// Return the appropriate
553     /// immediate to extract the specified EXTRACT_SUBVECTOR index
554     /// with VEXTRACTF64X4, VEXTRACTI64x4 instructions.
555     unsigned getExtractVEXTRACT256Immediate(SDNode *N);
556
557     /// Return the appropriate
558     /// immediate to insert at the specified INSERT_SUBVECTOR index
559     /// with VINSERTF64x4, VINSERTI64x4 instructions.
560     unsigned getInsertVINSERT256Immediate(SDNode *N);
561
562     /// Returns true if Elt is a constant zero or floating point constant +0.0.
563     bool isZeroNode(SDValue Elt);
564
565     /// Returns true of the given offset can be
566     /// fit into displacement field of the instruction.
567     bool isOffsetSuitableForCodeModel(int64_t Offset, CodeModel::Model M,
568                                       bool hasSymbolicDisplacement = true);
569
570
571     /// Determines whether the callee is required to pop its
572     /// own arguments. Callee pop is necessary to support tail calls.
573     bool isCalleePop(CallingConv::ID CallingConv,
574                      bool is64Bit, bool IsVarArg, bool TailCallOpt);
575
576     /// AVX512 static rounding constants.  These need to match the values in
577     /// avx512fintrin.h.
578     enum STATIC_ROUNDING {
579       TO_NEAREST_INT = 0,
580       TO_NEG_INF = 1,
581       TO_POS_INF = 2,
582       TO_ZERO = 3,
583       CUR_DIRECTION = 4
584     };
585   }
586
587   //===--------------------------------------------------------------------===//
588   //  X86 Implementation of the TargetLowering interface
589   class X86TargetLowering final : public TargetLowering {
590   public:
591     explicit X86TargetLowering(const X86TargetMachine &TM,
592                                const X86Subtarget &STI);
593
594     unsigned getJumpTableEncoding() const override;
595     bool useSoftFloat() const override;
596
597     MVT getScalarShiftAmountTy(EVT LHSTy) const override { return MVT::i8; }
598
599     const MCExpr *
600     LowerCustomJumpTableEntry(const MachineJumpTableInfo *MJTI,
601                               const MachineBasicBlock *MBB, unsigned uid,
602                               MCContext &Ctx) const override;
603
604     /// Returns relocation base for the given PIC jumptable.
605     SDValue getPICJumpTableRelocBase(SDValue Table,
606                                      SelectionDAG &DAG) const override;
607     const MCExpr *
608     getPICJumpTableRelocBaseExpr(const MachineFunction *MF,
609                                  unsigned JTI, MCContext &Ctx) const override;
610
611     /// Return the desired alignment for ByVal aggregate
612     /// function arguments in the caller parameter area. For X86, aggregates
613     /// that contains are placed at 16-byte boundaries while the rest are at
614     /// 4-byte boundaries.
615     unsigned getByValTypeAlignment(Type *Ty) const override;
616
617     /// Returns the target specific optimal type for load
618     /// and store operations as a result of memset, memcpy, and memmove
619     /// lowering. If DstAlign is zero that means it's safe to destination
620     /// alignment can satisfy any constraint. Similarly if SrcAlign is zero it
621     /// means there isn't a need to check it against alignment requirement,
622     /// probably because the source does not need to be loaded. If 'IsMemset' is
623     /// true, that means it's expanding a memset. If 'ZeroMemset' is true, that
624     /// means it's a memset of zero. 'MemcpyStrSrc' indicates whether the memcpy
625     /// source is constant so it does not need to be loaded.
626     /// It returns EVT::Other if the type should be determined using generic
627     /// target-independent logic.
628     EVT getOptimalMemOpType(uint64_t Size, unsigned DstAlign, unsigned SrcAlign,
629                             bool IsMemset, bool ZeroMemset, bool MemcpyStrSrc,
630                             MachineFunction &MF) const override;
631
632     /// Returns true if it's safe to use load / store of the
633     /// specified type to expand memcpy / memset inline. This is mostly true
634     /// for all types except for some special cases. For example, on X86
635     /// targets without SSE2 f64 load / store are done with fldl / fstpl which
636     /// also does type conversion. Note the specified type doesn't have to be
637     /// legal as the hook is used before type legalization.
638     bool isSafeMemOpType(MVT VT) const override;
639
640     /// Returns true if the target allows
641     /// unaligned memory accesses. of the specified type. Returns whether it
642     /// is "fast" by reference in the second argument.
643     bool allowsMisalignedMemoryAccesses(EVT VT, unsigned AS, unsigned Align,
644                                        bool *Fast) const override;
645
646     /// Provide custom lowering hooks for some operations.
647     ///
648     SDValue LowerOperation(SDValue Op, SelectionDAG &DAG) const override;
649
650     /// Replace the results of node with an illegal result
651     /// type with new values built out of custom code.
652     ///
653     void ReplaceNodeResults(SDNode *N, SmallVectorImpl<SDValue>&Results,
654                             SelectionDAG &DAG) const override;
655
656
657     SDValue PerformDAGCombine(SDNode *N, DAGCombinerInfo &DCI) const override;
658
659     /// Return true if the target has native support for
660     /// the specified value type and it is 'desirable' to use the type for the
661     /// given node type. e.g. On x86 i16 is legal, but undesirable since i16
662     /// instruction encodings are longer and some i16 instructions are slow.
663     bool isTypeDesirableForOp(unsigned Opc, EVT VT) const override;
664
665     /// Return true if the target has native support for the
666     /// specified value type and it is 'desirable' to use the type. e.g. On x86
667     /// i16 is legal, but undesirable since i16 instruction encodings are longer
668     /// and some i16 instructions are slow.
669     bool IsDesirableToPromoteOp(SDValue Op, EVT &PVT) const override;
670
671     MachineBasicBlock *
672       EmitInstrWithCustomInserter(MachineInstr *MI,
673                                   MachineBasicBlock *MBB) const override;
674
675
676     /// This method returns the name of a target specific DAG node.
677     const char *getTargetNodeName(unsigned Opcode) const override;
678
679     bool isCheapToSpeculateCttz() const override;
680
681     bool isCheapToSpeculateCtlz() const override;
682
683     /// Return the value type to use for ISD::SETCC.
684     EVT getSetCCResultType(LLVMContext &Context, EVT VT) const override;
685
686     /// Determine which of the bits specified in Mask are known to be either
687     /// zero or one and return them in the KnownZero/KnownOne bitsets.
688     void computeKnownBitsForTargetNode(const SDValue Op,
689                                        APInt &KnownZero,
690                                        APInt &KnownOne,
691                                        const SelectionDAG &DAG,
692                                        unsigned Depth = 0) const override;
693
694     /// Determine the number of bits in the operation that are sign bits.
695     unsigned ComputeNumSignBitsForTargetNode(SDValue Op,
696                                              const SelectionDAG &DAG,
697                                              unsigned Depth) const override;
698
699     bool isGAPlusOffset(SDNode *N, const GlobalValue* &GA,
700                         int64_t &Offset) const override;
701
702     SDValue getReturnAddressFrameIndex(SelectionDAG &DAG) const;
703
704     bool ExpandInlineAsm(CallInst *CI) const override;
705
706     ConstraintType
707       getConstraintType(const std::string &Constraint) const override;
708
709     /// Examine constraint string and operand type and determine a weight value.
710     /// The operand object must already have been set up with the operand type.
711     ConstraintWeight
712       getSingleConstraintMatchWeight(AsmOperandInfo &info,
713                                      const char *constraint) const override;
714
715     const char *LowerXConstraint(EVT ConstraintVT) const override;
716
717     /// Lower the specified operand into the Ops vector. If it is invalid, don't
718     /// add anything to Ops. If hasMemory is true it means one of the asm
719     /// constraint of the inline asm instruction being processed is 'm'.
720     void LowerAsmOperandForConstraint(SDValue Op,
721                                       std::string &Constraint,
722                                       std::vector<SDValue> &Ops,
723                                       SelectionDAG &DAG) const override;
724
725     unsigned getInlineAsmMemConstraint(
726         const std::string &ConstraintCode) const override {
727       if (ConstraintCode == "i")
728         return InlineAsm::Constraint_i;
729       else if (ConstraintCode == "o")
730         return InlineAsm::Constraint_o;
731       else if (ConstraintCode == "v")
732         return InlineAsm::Constraint_v;
733       else if (ConstraintCode == "X")
734         return InlineAsm::Constraint_X;
735       return TargetLowering::getInlineAsmMemConstraint(ConstraintCode);
736     }
737
738     /// Given a physical register constraint
739     /// (e.g. {edx}), return the register number and the register class for the
740     /// register.  This should only be used for C_Register constraints.  On
741     /// error, this returns a register number of 0.
742     std::pair<unsigned, const TargetRegisterClass *>
743     getRegForInlineAsmConstraint(const TargetRegisterInfo *TRI,
744                                  const std::string &Constraint,
745                                  MVT VT) const override;
746
747     /// Return true if the addressing mode represented
748     /// by AM is legal for this target, for a load/store of the specified type.
749     bool isLegalAddressingMode(const AddrMode &AM, Type *Ty,
750                                unsigned AS) const override;
751
752     /// Return true if the specified immediate is legal
753     /// icmp immediate, that is the target has icmp instructions which can
754     /// compare a register against the immediate without having to materialize
755     /// the immediate into a register.
756     bool isLegalICmpImmediate(int64_t Imm) const override;
757
758     /// Return true if the specified immediate is legal
759     /// add immediate, that is the target has add instructions which can
760     /// add a register and the immediate without having to materialize
761     /// the immediate into a register.
762     bool isLegalAddImmediate(int64_t Imm) const override;
763
764     /// \brief Return the cost of the scaling factor used in the addressing
765     /// mode represented by AM for this target, for a load/store
766     /// of the specified type.
767     /// If the AM is supported, the return value must be >= 0.
768     /// If the AM is not supported, it returns a negative value.
769     int getScalingFactorCost(const AddrMode &AM, Type *Ty,
770                              unsigned AS) const override;
771
772     bool isVectorShiftByScalarCheap(Type *Ty) const override;
773
774     /// Return true if it's free to truncate a value of
775     /// type Ty1 to type Ty2. e.g. On x86 it's free to truncate a i32 value in
776     /// register EAX to i16 by referencing its sub-register AX.
777     bool isTruncateFree(Type *Ty1, Type *Ty2) const override;
778     bool isTruncateFree(EVT VT1, EVT VT2) const override;
779
780     bool allowTruncateForTailCall(Type *Ty1, Type *Ty2) const override;
781
782     /// Return true if any actual instruction that defines a
783     /// value of type Ty1 implicit zero-extends the value to Ty2 in the result
784     /// register. This does not necessarily include registers defined in
785     /// unknown ways, such as incoming arguments, or copies from unknown
786     /// virtual registers. Also, if isTruncateFree(Ty2, Ty1) is true, this
787     /// does not necessarily apply to truncate instructions. e.g. on x86-64,
788     /// all instructions that define 32-bit values implicit zero-extend the
789     /// result out to 64 bits.
790     bool isZExtFree(Type *Ty1, Type *Ty2) const override;
791     bool isZExtFree(EVT VT1, EVT VT2) const override;
792     bool isZExtFree(SDValue Val, EVT VT2) const override;
793
794     /// Return true if folding a vector load into ExtVal (a sign, zero, or any
795     /// extend node) is profitable.
796     bool isVectorLoadExtDesirable(SDValue) const override;
797
798     /// Return true if an FMA operation is faster than a pair of fmul and fadd
799     /// instructions. fmuladd intrinsics will be expanded to FMAs when this
800     /// method returns true, otherwise fmuladd is expanded to fmul + fadd.
801     bool isFMAFasterThanFMulAndFAdd(EVT VT) const override;
802
803     /// Return true if it's profitable to narrow
804     /// operations of type VT1 to VT2. e.g. on x86, it's profitable to narrow
805     /// from i32 to i8 but not from i32 to i16.
806     bool isNarrowingProfitable(EVT VT1, EVT VT2) const override;
807
808     /// Returns true if the target can instruction select the
809     /// specified FP immediate natively. If false, the legalizer will
810     /// materialize the FP immediate as a load from a constant pool.
811     bool isFPImmLegal(const APFloat &Imm, EVT VT) const override;
812
813     /// Targets can use this to indicate that they only support *some*
814     /// VECTOR_SHUFFLE operations, those with specific masks. By default, if a
815     /// target supports the VECTOR_SHUFFLE node, all mask values are assumed to
816     /// be legal.
817     bool isShuffleMaskLegal(const SmallVectorImpl<int> &Mask,
818                             EVT VT) const override;
819
820     /// Similar to isShuffleMaskLegal. This is used by Targets can use this to
821     /// indicate if there is a suitable VECTOR_SHUFFLE that can be used to
822     /// replace a VAND with a constant pool entry.
823     bool isVectorClearMaskLegal(const SmallVectorImpl<int> &Mask,
824                                 EVT VT) const override;
825
826     /// If true, then instruction selection should
827     /// seek to shrink the FP constant of the specified type to a smaller type
828     /// in order to save space and / or reduce runtime.
829     bool ShouldShrinkFPConstant(EVT VT) const override {
830       // Don't shrink FP constpool if SSE2 is available since cvtss2sd is more
831       // expensive than a straight movsd. On the other hand, it's important to
832       // shrink long double fp constant since fldt is very slow.
833       return !X86ScalarSSEf64 || VT == MVT::f80;
834     }
835
836     /// Return true if we believe it is correct and profitable to reduce the
837     /// load node to a smaller type.
838     bool shouldReduceLoadWidth(SDNode *Load, ISD::LoadExtType ExtTy,
839                                EVT NewVT) const override;
840
841     /// Return true if the specified scalar FP type is computed in an SSE
842     /// register, not on the X87 floating point stack.
843     bool isScalarFPTypeInSSEReg(EVT VT) const {
844       return (VT == MVT::f64 && X86ScalarSSEf64) || // f64 is when SSE2
845       (VT == MVT::f32 && X86ScalarSSEf32);   // f32 is when SSE1
846     }
847
848     /// Return true if the target uses the MSVC _ftol2 routine for fptoui.
849     bool isTargetFTOL() const;
850
851     /// Return true if the MSVC _ftol2 routine should be used for fptoui to the
852     /// given type.
853     bool isIntegerTypeFTOL(EVT VT) const {
854       return isTargetFTOL() && VT == MVT::i64;
855     }
856
857     /// \brief Returns true if it is beneficial to convert a load of a constant
858     /// to just the constant itself.
859     bool shouldConvertConstantLoadToIntImm(const APInt &Imm,
860                                            Type *Ty) const override;
861
862     /// Return true if EXTRACT_SUBVECTOR is cheap for this result type
863     /// with this index.
864     bool isExtractSubvectorCheap(EVT ResVT, unsigned Index) const override;
865
866     /// Intel processors have a unified instruction and data cache
867     const char * getClearCacheBuiltinName() const override {
868       return nullptr; // nothing to do, move along.
869     }
870
871     unsigned getRegisterByName(const char* RegName, EVT VT) const override;
872
873     /// This method returns a target specific FastISel object,
874     /// or null if the target does not support "fast" ISel.
875     FastISel *createFastISel(FunctionLoweringInfo &funcInfo,
876                              const TargetLibraryInfo *libInfo) const override;
877
878     /// Return true if the target stores stack protector cookies at a fixed
879     /// offset in some non-standard address space, and populates the address
880     /// space and offset as appropriate.
881     bool getStackCookieLocation(unsigned &AddressSpace,
882                                 unsigned &Offset) const override;
883
884     SDValue BuildFILD(SDValue Op, EVT SrcVT, SDValue Chain, SDValue StackSlot,
885                       SelectionDAG &DAG) const;
886
887     bool isNoopAddrSpaceCast(unsigned SrcAS, unsigned DestAS) const override;
888
889     bool useLoadStackGuardNode() const override;
890     /// \brief Customize the preferred legalization strategy for certain types.
891     LegalizeTypeAction getPreferredVectorAction(EVT VT) const override;
892
893   protected:
894     std::pair<const TargetRegisterClass *, uint8_t>
895     findRepresentativeClass(const TargetRegisterInfo *TRI,
896                             MVT VT) const override;
897
898   private:
899     /// Keep a pointer to the X86Subtarget around so that we can
900     /// make the right decision when generating code for different targets.
901     const X86Subtarget *Subtarget;
902     const DataLayout *TD;
903
904     /// Select between SSE or x87 floating point ops.
905     /// When SSE is available, use it for f32 operations.
906     /// When SSE2 is available, use it for f64 operations.
907     bool X86ScalarSSEf32;
908     bool X86ScalarSSEf64;
909
910     /// A list of legal FP immediates.
911     std::vector<APFloat> LegalFPImmediates;
912
913     /// Indicate that this x86 target can instruction
914     /// select the specified FP immediate natively.
915     void addLegalFPImmediate(const APFloat& Imm) {
916       LegalFPImmediates.push_back(Imm);
917     }
918
919     SDValue LowerCallResult(SDValue Chain, SDValue InFlag,
920                             CallingConv::ID CallConv, bool isVarArg,
921                             const SmallVectorImpl<ISD::InputArg> &Ins,
922                             SDLoc dl, SelectionDAG &DAG,
923                             SmallVectorImpl<SDValue> &InVals) const;
924     SDValue LowerMemArgument(SDValue Chain,
925                              CallingConv::ID CallConv,
926                              const SmallVectorImpl<ISD::InputArg> &ArgInfo,
927                              SDLoc dl, SelectionDAG &DAG,
928                              const CCValAssign &VA,  MachineFrameInfo *MFI,
929                               unsigned i) const;
930     SDValue LowerMemOpCallTo(SDValue Chain, SDValue StackPtr, SDValue Arg,
931                              SDLoc dl, SelectionDAG &DAG,
932                              const CCValAssign &VA,
933                              ISD::ArgFlagsTy Flags) const;
934
935     // Call lowering helpers.
936
937     /// Check whether the call is eligible for tail call optimization. Targets
938     /// that want to do tail call optimization should implement this function.
939     bool IsEligibleForTailCallOptimization(SDValue Callee,
940                                            CallingConv::ID CalleeCC,
941                                            bool isVarArg,
942                                            bool isCalleeStructRet,
943                                            bool isCallerStructRet,
944                                            Type *RetTy,
945                                     const SmallVectorImpl<ISD::OutputArg> &Outs,
946                                     const SmallVectorImpl<SDValue> &OutVals,
947                                     const SmallVectorImpl<ISD::InputArg> &Ins,
948                                            SelectionDAG& DAG) const;
949     bool IsCalleePop(bool isVarArg, CallingConv::ID CallConv) const;
950     SDValue EmitTailCallLoadRetAddr(SelectionDAG &DAG, SDValue &OutRetAddr,
951                                 SDValue Chain, bool IsTailCall, bool Is64Bit,
952                                 int FPDiff, SDLoc dl) const;
953
954     unsigned GetAlignedArgumentStackSize(unsigned StackSize,
955                                          SelectionDAG &DAG) const;
956
957     std::pair<SDValue,SDValue> FP_TO_INTHelper(SDValue Op, SelectionDAG &DAG,
958                                                bool isSigned,
959                                                bool isReplace) const;
960
961     SDValue LowerBUILD_VECTOR(SDValue Op, SelectionDAG &DAG) const;
962     SDValue LowerBUILD_VECTORvXi1(SDValue Op, SelectionDAG &DAG) const;
963     SDValue LowerVECTOR_SHUFFLE(SDValue Op, SelectionDAG &DAG) const;
964     SDValue LowerVSELECT(SDValue Op, SelectionDAG &DAG) const;
965     SDValue LowerEXTRACT_VECTOR_ELT(SDValue Op, SelectionDAG &DAG) const;
966     SDValue ExtractBitFromMaskVector(SDValue Op, SelectionDAG &DAG) const;
967     SDValue InsertBitToMaskVector(SDValue Op, SelectionDAG &DAG) const;
968
969     SDValue LowerINSERT_VECTOR_ELT(SDValue Op, SelectionDAG &DAG) const;
970     SDValue LowerConstantPool(SDValue Op, SelectionDAG &DAG) const;
971     SDValue LowerBlockAddress(SDValue Op, SelectionDAG &DAG) const;
972     SDValue LowerGlobalAddress(const GlobalValue *GV, SDLoc dl,
973                                int64_t Offset, SelectionDAG &DAG) const;
974     SDValue LowerGlobalAddress(SDValue Op, SelectionDAG &DAG) const;
975     SDValue LowerGlobalTLSAddress(SDValue Op, SelectionDAG &DAG) const;
976     SDValue LowerExternalSymbol(SDValue Op, SelectionDAG &DAG) const;
977     SDValue LowerSINT_TO_FP(SDValue Op, SelectionDAG &DAG) const;
978     SDValue LowerUINT_TO_FP(SDValue Op, SelectionDAG &DAG) const;
979     SDValue LowerUINT_TO_FP_i64(SDValue Op, SelectionDAG &DAG) const;
980     SDValue LowerUINT_TO_FP_i32(SDValue Op, SelectionDAG &DAG) const;
981     SDValue lowerUINT_TO_FP_vec(SDValue Op, SelectionDAG &DAG) const;
982     SDValue LowerTRUNCATE(SDValue Op, SelectionDAG &DAG) const;
983     SDValue LowerFP_TO_SINT(SDValue Op, SelectionDAG &DAG) const;
984     SDValue LowerFP_TO_UINT(SDValue Op, SelectionDAG &DAG) const;
985     SDValue LowerToBT(SDValue And, ISD::CondCode CC,
986                       SDLoc dl, SelectionDAG &DAG) const;
987     SDValue LowerSETCC(SDValue Op, SelectionDAG &DAG) const;
988     SDValue LowerSELECT(SDValue Op, SelectionDAG &DAG) const;
989     SDValue LowerBRCOND(SDValue Op, SelectionDAG &DAG) const;
990     SDValue LowerMEMSET(SDValue Op, SelectionDAG &DAG) const;
991     SDValue LowerJumpTable(SDValue Op, SelectionDAG &DAG) const;
992     SDValue LowerDYNAMIC_STACKALLOC(SDValue Op, SelectionDAG &DAG) const;
993     SDValue LowerVASTART(SDValue Op, SelectionDAG &DAG) const;
994     SDValue LowerVAARG(SDValue Op, SelectionDAG &DAG) const;
995     SDValue LowerRETURNADDR(SDValue Op, SelectionDAG &DAG) const;
996     SDValue LowerFRAMEADDR(SDValue Op, SelectionDAG &DAG) const;
997     SDValue LowerFRAME_TO_ARGS_OFFSET(SDValue Op, SelectionDAG &DAG) const;
998     SDValue LowerEH_RETURN(SDValue Op, SelectionDAG &DAG) const;
999     SDValue lowerEH_SJLJ_SETJMP(SDValue Op, SelectionDAG &DAG) const;
1000     SDValue lowerEH_SJLJ_LONGJMP(SDValue Op, SelectionDAG &DAG) const;
1001     SDValue LowerINIT_TRAMPOLINE(SDValue Op, SelectionDAG &DAG) const;
1002     SDValue LowerFLT_ROUNDS_(SDValue Op, SelectionDAG &DAG) const;
1003     SDValue LowerWin64_i128OP(SDValue Op, SelectionDAG &DAG) const;
1004     SDValue LowerGC_TRANSITION_START(SDValue Op, SelectionDAG &DAG) const;
1005     SDValue LowerGC_TRANSITION_END(SDValue Op, SelectionDAG &DAG) const;
1006
1007     SDValue
1008       LowerFormalArguments(SDValue Chain,
1009                            CallingConv::ID CallConv, bool isVarArg,
1010                            const SmallVectorImpl<ISD::InputArg> &Ins,
1011                            SDLoc dl, SelectionDAG &DAG,
1012                            SmallVectorImpl<SDValue> &InVals) const override;
1013     SDValue LowerCall(CallLoweringInfo &CLI,
1014                       SmallVectorImpl<SDValue> &InVals) const override;
1015
1016     SDValue LowerReturn(SDValue Chain,
1017                         CallingConv::ID CallConv, bool isVarArg,
1018                         const SmallVectorImpl<ISD::OutputArg> &Outs,
1019                         const SmallVectorImpl<SDValue> &OutVals,
1020                         SDLoc dl, SelectionDAG &DAG) const override;
1021
1022     bool isUsedByReturnOnly(SDNode *N, SDValue &Chain) const override;
1023
1024     bool mayBeEmittedAsTailCall(CallInst *CI) const override;
1025
1026     EVT getTypeForExtArgOrReturn(LLVMContext &Context, EVT VT,
1027                                  ISD::NodeType ExtendKind) const override;
1028
1029     bool CanLowerReturn(CallingConv::ID CallConv, MachineFunction &MF,
1030                         bool isVarArg,
1031                         const SmallVectorImpl<ISD::OutputArg> &Outs,
1032                         LLVMContext &Context) const override;
1033
1034     const MCPhysReg *getScratchRegisters(CallingConv::ID CC) const override;
1035
1036     bool shouldExpandAtomicLoadInIR(LoadInst *SI) const override;
1037     bool shouldExpandAtomicStoreInIR(StoreInst *SI) const override;
1038     TargetLoweringBase::AtomicRMWExpansionKind
1039     shouldExpandAtomicRMWInIR(AtomicRMWInst *AI) const override;
1040
1041     LoadInst *
1042     lowerIdempotentRMWIntoFencedLoad(AtomicRMWInst *AI) const override;
1043
1044     bool needsCmpXchgNb(const Type *MemType) const;
1045
1046     /// Utility function to emit atomic-load-arith operations (and, or, xor,
1047     /// nand, max, min, umax, umin). It takes the corresponding instruction to
1048     /// expand, the associated machine basic block, and the associated X86
1049     /// opcodes for reg/reg.
1050     MachineBasicBlock *EmitAtomicLoadArith(MachineInstr *MI,
1051                                            MachineBasicBlock *MBB) const;
1052
1053     /// Utility function to emit atomic-load-arith operations (and, or, xor,
1054     /// nand, add, sub, swap) for 64-bit operands on 32-bit target.
1055     MachineBasicBlock *EmitAtomicLoadArith6432(MachineInstr *MI,
1056                                                MachineBasicBlock *MBB) const;
1057
1058     // Utility function to emit the low-level va_arg code for X86-64.
1059     MachineBasicBlock *EmitVAARG64WithCustomInserter(
1060                        MachineInstr *MI,
1061                        MachineBasicBlock *MBB) const;
1062
1063     /// Utility function to emit the xmm reg save portion of va_start.
1064     MachineBasicBlock *EmitVAStartSaveXMMRegsWithCustomInserter(
1065                                                    MachineInstr *BInstr,
1066                                                    MachineBasicBlock *BB) const;
1067
1068     MachineBasicBlock *EmitLoweredSelect(MachineInstr *I,
1069                                          MachineBasicBlock *BB) const;
1070
1071     MachineBasicBlock *EmitLoweredWinAlloca(MachineInstr *MI,
1072                                               MachineBasicBlock *BB) const;
1073
1074     MachineBasicBlock *EmitLoweredSegAlloca(MachineInstr *MI,
1075                                             MachineBasicBlock *BB) const;
1076
1077     MachineBasicBlock *EmitLoweredTLSCall(MachineInstr *MI,
1078                                           MachineBasicBlock *BB) const;
1079
1080     MachineBasicBlock *emitLoweredTLSAddr(MachineInstr *MI,
1081                                           MachineBasicBlock *BB) const;
1082
1083     MachineBasicBlock *emitEHSjLjSetJmp(MachineInstr *MI,
1084                                         MachineBasicBlock *MBB) const;
1085
1086     MachineBasicBlock *emitEHSjLjLongJmp(MachineInstr *MI,
1087                                          MachineBasicBlock *MBB) const;
1088
1089     MachineBasicBlock *emitFMA3Instr(MachineInstr *MI,
1090                                      MachineBasicBlock *MBB) const;
1091
1092     /// Emit nodes that will be selected as "test Op0,Op0", or something
1093     /// equivalent, for use with the given x86 condition code.
1094     SDValue EmitTest(SDValue Op0, unsigned X86CC, SDLoc dl,
1095                      SelectionDAG &DAG) const;
1096
1097     /// Emit nodes that will be selected as "cmp Op0,Op1", or something
1098     /// equivalent, for use with the given x86 condition code.
1099     SDValue EmitCmp(SDValue Op0, SDValue Op1, unsigned X86CC, SDLoc dl,
1100                     SelectionDAG &DAG) const;
1101
1102     /// Convert a comparison if required by the subtarget.
1103     SDValue ConvertCmpIfNecessary(SDValue Cmp, SelectionDAG &DAG) const;
1104
1105     /// Use rsqrt* to speed up sqrt calculations.
1106     SDValue getRsqrtEstimate(SDValue Operand, DAGCombinerInfo &DCI,
1107                              unsigned &RefinementSteps,
1108                              bool &UseOneConstNR) const override;
1109
1110     /// Use rcp* to speed up fdiv calculations.
1111     SDValue getRecipEstimate(SDValue Operand, DAGCombinerInfo &DCI,
1112                              unsigned &RefinementSteps) const override;
1113
1114     /// Reassociate floating point divisions into multiply by reciprocal.
1115     bool combineRepeatedFPDivisors(unsigned NumUsers) const override;
1116   };
1117
1118   namespace X86 {
1119     FastISel *createFastISel(FunctionLoweringInfo &funcInfo,
1120                              const TargetLibraryInfo *libInfo);
1121   }
1122 }
1123
1124 #endif    // X86ISELLOWERING_H