[X86][SSE] Use the general SMAX/SMIN/UMAX/UMIN opcodes and remove the X86 implementation
[oota-llvm.git] / lib / Target / X86 / X86ISelLowering.h
1 //===-- X86ISelLowering.h - X86 DAG Lowering Interface ----------*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines the interfaces that X86 uses to lower LLVM code into a
11 // selection DAG.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #ifndef LLVM_LIB_TARGET_X86_X86ISELLOWERING_H
16 #define LLVM_LIB_TARGET_X86_X86ISELLOWERING_H
17
18 #include "llvm/CodeGen/CallingConvLower.h"
19 #include "llvm/CodeGen/SelectionDAG.h"
20 #include "llvm/Target/TargetLowering.h"
21 #include "llvm/Target/TargetOptions.h"
22
23 namespace llvm {
24   class X86Subtarget;
25   class X86TargetMachine;
26
27   namespace X86ISD {
28     // X86 Specific DAG Nodes
29     enum NodeType : unsigned {
30       // Start the numbering where the builtin ops leave off.
31       FIRST_NUMBER = ISD::BUILTIN_OP_END,
32
33       /// Bit scan forward.
34       BSF,
35       /// Bit scan reverse.
36       BSR,
37
38       /// Double shift instructions. These correspond to
39       /// X86::SHLDxx and X86::SHRDxx instructions.
40       SHLD,
41       SHRD,
42
43       /// Bitwise logical AND of floating point values. This corresponds
44       /// to X86::ANDPS or X86::ANDPD.
45       FAND,
46
47       /// Bitwise logical OR of floating point values. This corresponds
48       /// to X86::ORPS or X86::ORPD.
49       FOR,
50
51       /// Bitwise logical XOR of floating point values. This corresponds
52       /// to X86::XORPS or X86::XORPD.
53       FXOR,
54
55       ///  Bitwise logical ANDNOT of floating point values. This
56       /// corresponds to X86::ANDNPS or X86::ANDNPD.
57       FANDN,
58
59       /// These operations represent an abstract X86 call
60       /// instruction, which includes a bunch of information.  In particular the
61       /// operands of these node are:
62       ///
63       ///     #0 - The incoming token chain
64       ///     #1 - The callee
65       ///     #2 - The number of arg bytes the caller pushes on the stack.
66       ///     #3 - The number of arg bytes the callee pops off the stack.
67       ///     #4 - The value to pass in AL/AX/EAX (optional)
68       ///     #5 - The value to pass in DL/DX/EDX (optional)
69       ///
70       /// The result values of these nodes are:
71       ///
72       ///     #0 - The outgoing token chain
73       ///     #1 - The first register result value (optional)
74       ///     #2 - The second register result value (optional)
75       ///
76       CALL,
77
78       /// This operation implements the lowering for readcyclecounter
79       RDTSC_DAG,
80
81       /// X86 Read Time-Stamp Counter and Processor ID.
82       RDTSCP_DAG,
83
84       /// X86 Read Performance Monitoring Counters.
85       RDPMC_DAG,
86
87       /// X86 compare and logical compare instructions.
88       CMP, COMI, UCOMI,
89
90       /// X86 bit-test instructions.
91       BT,
92
93       /// X86 SetCC. Operand 0 is condition code, and operand 1 is the EFLAGS
94       /// operand, usually produced by a CMP instruction.
95       SETCC,
96
97       /// X86 Select
98       SELECT,
99
100       // Same as SETCC except it's materialized with a sbb and the value is all
101       // one's or all zero's.
102       SETCC_CARRY,  // R = carry_bit ? ~0 : 0
103
104       /// X86 FP SETCC, implemented with CMP{cc}SS/CMP{cc}SD.
105       /// Operands are two FP values to compare; result is a mask of
106       /// 0s or 1s.  Generally DTRT for C/C++ with NaNs.
107       FSETCC,
108
109       /// X86 MOVMSK{pd|ps}, extracts sign bits of two or four FP values,
110       /// result in an integer GPR.  Needs masking for scalar result.
111       FGETSIGNx86,
112
113       /// X86 conditional moves. Operand 0 and operand 1 are the two values
114       /// to select from. Operand 2 is the condition code, and operand 3 is the
115       /// flag operand produced by a CMP or TEST instruction. It also writes a
116       /// flag result.
117       CMOV,
118
119       /// X86 conditional branches. Operand 0 is the chain operand, operand 1
120       /// is the block to branch if condition is true, operand 2 is the
121       /// condition code, and operand 3 is the flag operand produced by a CMP
122       /// or TEST instruction.
123       BRCOND,
124
125       /// Return with a flag operand. Operand 0 is the chain operand, operand
126       /// 1 is the number of bytes of stack to pop.
127       RET_FLAG,
128
129       /// Repeat fill, corresponds to X86::REP_STOSx.
130       REP_STOS,
131
132       /// Repeat move, corresponds to X86::REP_MOVSx.
133       REP_MOVS,
134
135       /// On Darwin, this node represents the result of the popl
136       /// at function entry, used for PIC code.
137       GlobalBaseReg,
138
139       /// A wrapper node for TargetConstantPool,
140       /// TargetExternalSymbol, and TargetGlobalAddress.
141       Wrapper,
142
143       /// Special wrapper used under X86-64 PIC mode for RIP
144       /// relative displacements.
145       WrapperRIP,
146
147       /// Copies a 64-bit value from the low word of an XMM vector
148       /// to an MMX vector.  If you think this is too close to the previous
149       /// mnemonic, so do I; blame Intel.
150       MOVDQ2Q,
151
152       /// Copies a 32-bit value from the low word of a MMX
153       /// vector to a GPR.
154       MMX_MOVD2W,
155
156       /// Copies a GPR into the low 32-bit word of a MMX vector
157       /// and zero out the high word.
158       MMX_MOVW2D,
159
160       /// Extract an 8-bit value from a vector and zero extend it to
161       /// i32, corresponds to X86::PEXTRB.
162       PEXTRB,
163
164       /// Extract a 16-bit value from a vector and zero extend it to
165       /// i32, corresponds to X86::PEXTRW.
166       PEXTRW,
167
168       /// Insert any element of a 4 x float vector into any element
169       /// of a destination 4 x floatvector.
170       INSERTPS,
171
172       /// Insert the lower 8-bits of a 32-bit value to a vector,
173       /// corresponds to X86::PINSRB.
174       PINSRB,
175
176       /// Insert the lower 16-bits of a 32-bit value to a vector,
177       /// corresponds to X86::PINSRW.
178       PINSRW, MMX_PINSRW,
179
180       /// Shuffle 16 8-bit values within a vector.
181       PSHUFB,
182
183       /// Compute Sum of Absolute Differences.
184       PSADBW,
185
186       /// Bitwise Logical AND NOT of Packed FP values.
187       ANDNP,
188
189       /// Copy integer sign.
190       PSIGN,
191
192       /// Blend where the selector is an immediate.
193       BLENDI,
194
195       /// Blend where the condition has been shrunk.
196       /// This is used to emphasize that the condition mask is
197       /// no more valid for generic VSELECT optimizations.
198       SHRUNKBLEND,
199
200       /// Combined add and sub on an FP vector.
201       ADDSUB,
202
203       //  FP vector ops with rounding mode.
204       FADD_RND,
205       FSUB_RND,
206       FMUL_RND,
207       FDIV_RND,
208       FMAX_RND,
209       FMIN_RND,
210       FSQRT_RND,
211
212       // FP vector get exponent 
213       FGETEXP_RND,
214       // FP Scale
215       SCALEF,
216       // Integer add/sub with unsigned saturation.
217       ADDUS,
218       SUBUS,
219       // Integer add/sub with signed saturation.
220       ADDS,
221       SUBS,
222       // Unsigned Integer average 
223       AVG,
224       /// Integer horizontal add.
225       HADD,
226
227       /// Integer horizontal sub.
228       HSUB,
229
230       /// Floating point horizontal add.
231       FHADD,
232
233       /// Floating point horizontal sub.
234       FHSUB,
235
236       // Integer absolute value
237       ABS,
238
239       /// Floating point max and min.
240       FMAX, FMIN,
241
242       /// Commutative FMIN and FMAX.
243       FMAXC, FMINC,
244
245       /// Floating point reciprocal-sqrt and reciprocal approximation.
246       /// Note that these typically require refinement
247       /// in order to obtain suitable precision.
248       FRSQRT, FRCP,
249
250       // Thread Local Storage.
251       TLSADDR,
252
253       // Thread Local Storage. A call to get the start address
254       // of the TLS block for the current module.
255       TLSBASEADDR,
256
257       // Thread Local Storage.  When calling to an OS provided
258       // thunk at the address from an earlier relocation.
259       TLSCALL,
260
261       // Exception Handling helpers.
262       EH_RETURN,
263
264       // SjLj exception handling setjmp.
265       EH_SJLJ_SETJMP,
266
267       // SjLj exception handling longjmp.
268       EH_SJLJ_LONGJMP,
269
270       /// Tail call return. See X86TargetLowering::LowerCall for
271       /// the list of operands.
272       TC_RETURN,
273
274       // Vector move to low scalar and zero higher vector elements.
275       VZEXT_MOVL,
276
277       // Vector integer zero-extend.
278       VZEXT,
279
280       // Vector integer signed-extend.
281       VSEXT,
282
283       // Vector integer truncate.
284       VTRUNC,
285
286       // Vector integer truncate with mask.
287       VTRUNCM,
288
289       // Vector FP extend.
290       VFPEXT,
291
292       // Vector FP round.
293       VFPROUND,
294
295       // Vector signed integer to double.
296       CVTDQ2PD,
297
298       // 128-bit vector logical left / right shift
299       VSHLDQ, VSRLDQ,
300
301       // Vector shift elements
302       VSHL, VSRL, VSRA,
303
304       // Vector shift elements by immediate
305       VSHLI, VSRLI, VSRAI,
306
307       // Vector packed double/float comparison.
308       CMPP,
309
310       // Vector integer comparisons.
311       PCMPEQ, PCMPGT,
312       // Vector integer comparisons, the result is in a mask vector.
313       PCMPEQM, PCMPGTM,
314
315       /// Vector comparison generating mask bits for fp and
316       /// integer signed and unsigned data types.
317       CMPM,
318       CMPMU,
319       // Vector comparison with rounding mode for FP values
320       CMPM_RND,
321
322       // Arithmetic operations with FLAGS results.
323       ADD, SUB, ADC, SBB, SMUL,
324       INC, DEC, OR, XOR, AND,
325
326       BEXTR,  // Bit field extract
327
328       UMUL, // LOW, HI, FLAGS = umul LHS, RHS
329
330       // 8-bit SMUL/UMUL - AX, FLAGS = smul8/umul8 AL, RHS
331       SMUL8, UMUL8,
332
333       // 8-bit divrem that zero-extend the high result (AH).
334       UDIVREM8_ZEXT_HREG,
335       SDIVREM8_SEXT_HREG,
336
337       // X86-specific multiply by immediate.
338       MUL_IMM,
339
340       // Vector bitwise comparisons.
341       PTEST,
342
343       // Vector packed fp sign bitwise comparisons.
344       TESTP,
345
346       // Vector "test" in AVX-512, the result is in a mask vector.
347       TESTM,
348       TESTNM,
349
350       // OR/AND test for masks
351       KORTEST,
352
353       // Several flavors of instructions with vector shuffle behaviors.
354       PACKSS,
355       PACKUS,
356       // Intra-lane alignr
357       PALIGNR,
358       // AVX512 inter-lane alignr
359       VALIGN,
360       PSHUFD,
361       PSHUFHW,
362       PSHUFLW,
363       SHUFP,
364       //Shuffle Packed Values at 128-bit granularity
365       SHUF128,
366       MOVDDUP,
367       MOVSHDUP,
368       MOVSLDUP,
369       MOVLHPS,
370       MOVLHPD,
371       MOVHLPS,
372       MOVLPS,
373       MOVLPD,
374       MOVSD,
375       MOVSS,
376       UNPCKL,
377       UNPCKH,
378       VPERMILPV,
379       VPERMILPI,
380       VPERMV,
381       VPERMV3,
382       VPERMIV3,
383       VPERMI,
384       VPERM2X128,
385       //Fix Up Special Packed Float32/64 values
386       VFIXUPIMM,
387       //Range Restriction Calculation For Packed Pairs of Float32/64 values
388       VRANGE,
389       // Broadcast scalar to vector
390       VBROADCAST,
391       // Broadcast subvector to vector
392       SUBV_BROADCAST,
393       // Insert/Extract vector element
394       VINSERT,
395       VEXTRACT,
396
397       // Vector multiply packed unsigned doubleword integers
398       PMULUDQ,
399       // Vector multiply packed signed doubleword integers
400       PMULDQ,
401       // Vector Multiply Packed UnsignedIntegers with Round and Scale
402       MULHRS,
403
404       // FMA nodes
405       FMADD,
406       FNMADD,
407       FMSUB,
408       FNMSUB,
409       FMADDSUB,
410       FMSUBADD,
411       // FMA with rounding mode
412       FMADD_RND,
413       FNMADD_RND,
414       FMSUB_RND,
415       FNMSUB_RND,
416       FMADDSUB_RND,
417       FMSUBADD_RND,
418       RNDSCALE,
419
420       // Compress and expand
421       COMPRESS,
422       EXPAND,
423
424       //Convert Unsigned/Integer to Scalar Floating-Point Value
425       //with rounding mode
426       SINT_TO_FP_RND,
427       UINT_TO_FP_RND,
428       // Save xmm argument registers to the stack, according to %al. An operator
429       // is needed so that this can be expanded with control flow.
430       VASTART_SAVE_XMM_REGS,
431
432       // Windows's _chkstk call to do stack probing.
433       WIN_ALLOCA,
434
435       // For allocating variable amounts of stack space when using
436       // segmented stacks. Check if the current stacklet has enough space, and
437       // falls back to heap allocation if not.
438       SEG_ALLOCA,
439
440       // Windows's _ftol2 runtime routine to do fptoui.
441       WIN_FTOL,
442
443       // Memory barrier
444       MEMBARRIER,
445       MFENCE,
446       SFENCE,
447       LFENCE,
448
449       // Store FP status word into i16 register.
450       FNSTSW16r,
451
452       // Store contents of %ah into %eflags.
453       SAHF,
454
455       // Get a random integer and indicate whether it is valid in CF.
456       RDRAND,
457
458       // Get a NIST SP800-90B & C compliant random integer and
459       // indicate whether it is valid in CF.
460       RDSEED,
461
462       PCMPISTRI,
463       PCMPESTRI,
464
465       // Test if in transactional execution.
466       XTEST,
467
468       // ERI instructions
469       RSQRT28, RCP28, EXP2,
470
471       // Compare and swap.
472       LCMPXCHG_DAG = ISD::FIRST_TARGET_MEMORY_OPCODE,
473       LCMPXCHG8_DAG,
474       LCMPXCHG16_DAG,
475
476       // Load, scalar_to_vector, and zero extend.
477       VZEXT_LOAD,
478
479       // Store FP control world into i16 memory.
480       FNSTCW16m,
481
482       /// This instruction implements FP_TO_SINT with the
483       /// integer destination in memory and a FP reg source.  This corresponds
484       /// to the X86::FIST*m instructions and the rounding mode change stuff. It
485       /// has two inputs (token chain and address) and two outputs (int value
486       /// and token chain).
487       FP_TO_INT16_IN_MEM,
488       FP_TO_INT32_IN_MEM,
489       FP_TO_INT64_IN_MEM,
490
491       /// This instruction implements SINT_TO_FP with the
492       /// integer source in memory and FP reg result.  This corresponds to the
493       /// X86::FILD*m instructions. It has three inputs (token chain, address,
494       /// and source type) and two outputs (FP value and token chain). FILD_FLAG
495       /// also produces a flag).
496       FILD,
497       FILD_FLAG,
498
499       /// This instruction implements an extending load to FP stack slots.
500       /// This corresponds to the X86::FLD32m / X86::FLD64m. It takes a chain
501       /// operand, ptr to load from, and a ValueType node indicating the type
502       /// to load to.
503       FLD,
504
505       /// This instruction implements a truncating store to FP stack
506       /// slots. This corresponds to the X86::FST32m / X86::FST64m. It takes a
507       /// chain operand, value to store, address, and a ValueType to store it
508       /// as.
509       FST,
510
511       /// This instruction grabs the address of the next argument
512       /// from a va_list. (reads and modifies the va_list in memory)
513       VAARG_64
514
515       // WARNING: Do not add anything in the end unless you want the node to
516       // have memop! In fact, starting from ATOMADD64_DAG all opcodes will be
517       // thought as target memory ops!
518     };
519   }
520
521   /// Define some predicates that are used for node matching.
522   namespace X86 {
523     /// Return true if the specified
524     /// EXTRACT_SUBVECTOR operand specifies a vector extract that is
525     /// suitable for input to VEXTRACTF128, VEXTRACTI128 instructions.
526     bool isVEXTRACT128Index(SDNode *N);
527
528     /// Return true if the specified
529     /// INSERT_SUBVECTOR operand specifies a subvector insert that is
530     /// suitable for input to VINSERTF128, VINSERTI128 instructions.
531     bool isVINSERT128Index(SDNode *N);
532
533     /// Return true if the specified
534     /// EXTRACT_SUBVECTOR operand specifies a vector extract that is
535     /// suitable for input to VEXTRACTF64X4, VEXTRACTI64X4 instructions.
536     bool isVEXTRACT256Index(SDNode *N);
537
538     /// Return true if the specified
539     /// INSERT_SUBVECTOR operand specifies a subvector insert that is
540     /// suitable for input to VINSERTF64X4, VINSERTI64X4 instructions.
541     bool isVINSERT256Index(SDNode *N);
542
543     /// Return the appropriate
544     /// immediate to extract the specified EXTRACT_SUBVECTOR index
545     /// with VEXTRACTF128, VEXTRACTI128 instructions.
546     unsigned getExtractVEXTRACT128Immediate(SDNode *N);
547
548     /// Return the appropriate
549     /// immediate to insert at the specified INSERT_SUBVECTOR index
550     /// with VINSERTF128, VINSERT128 instructions.
551     unsigned getInsertVINSERT128Immediate(SDNode *N);
552
553     /// Return the appropriate
554     /// immediate to extract the specified EXTRACT_SUBVECTOR index
555     /// with VEXTRACTF64X4, VEXTRACTI64x4 instructions.
556     unsigned getExtractVEXTRACT256Immediate(SDNode *N);
557
558     /// Return the appropriate
559     /// immediate to insert at the specified INSERT_SUBVECTOR index
560     /// with VINSERTF64x4, VINSERTI64x4 instructions.
561     unsigned getInsertVINSERT256Immediate(SDNode *N);
562
563     /// Returns true if Elt is a constant zero or floating point constant +0.0.
564     bool isZeroNode(SDValue Elt);
565
566     /// Returns true of the given offset can be
567     /// fit into displacement field of the instruction.
568     bool isOffsetSuitableForCodeModel(int64_t Offset, CodeModel::Model M,
569                                       bool hasSymbolicDisplacement = true);
570
571
572     /// Determines whether the callee is required to pop its
573     /// own arguments. Callee pop is necessary to support tail calls.
574     bool isCalleePop(CallingConv::ID CallingConv,
575                      bool is64Bit, bool IsVarArg, bool TailCallOpt);
576
577     /// AVX512 static rounding constants.  These need to match the values in
578     /// avx512fintrin.h.
579     enum STATIC_ROUNDING {
580       TO_NEAREST_INT = 0,
581       TO_NEG_INF = 1,
582       TO_POS_INF = 2,
583       TO_ZERO = 3,
584       CUR_DIRECTION = 4
585     };
586   }
587
588   //===--------------------------------------------------------------------===//
589   //  X86 Implementation of the TargetLowering interface
590   class X86TargetLowering final : public TargetLowering {
591   public:
592     explicit X86TargetLowering(const X86TargetMachine &TM,
593                                const X86Subtarget &STI);
594
595     unsigned getJumpTableEncoding() const override;
596     bool useSoftFloat() const override;
597
598     MVT getScalarShiftAmountTy(EVT LHSTy) const override { return MVT::i8; }
599
600     const MCExpr *
601     LowerCustomJumpTableEntry(const MachineJumpTableInfo *MJTI,
602                               const MachineBasicBlock *MBB, unsigned uid,
603                               MCContext &Ctx) const override;
604
605     /// Returns relocation base for the given PIC jumptable.
606     SDValue getPICJumpTableRelocBase(SDValue Table,
607                                      SelectionDAG &DAG) const override;
608     const MCExpr *
609     getPICJumpTableRelocBaseExpr(const MachineFunction *MF,
610                                  unsigned JTI, MCContext &Ctx) const override;
611
612     /// Return the desired alignment for ByVal aggregate
613     /// function arguments in the caller parameter area. For X86, aggregates
614     /// that contains are placed at 16-byte boundaries while the rest are at
615     /// 4-byte boundaries.
616     unsigned getByValTypeAlignment(Type *Ty) const override;
617
618     /// Returns the target specific optimal type for load
619     /// and store operations as a result of memset, memcpy, and memmove
620     /// lowering. If DstAlign is zero that means it's safe to destination
621     /// alignment can satisfy any constraint. Similarly if SrcAlign is zero it
622     /// means there isn't a need to check it against alignment requirement,
623     /// probably because the source does not need to be loaded. If 'IsMemset' is
624     /// true, that means it's expanding a memset. If 'ZeroMemset' is true, that
625     /// means it's a memset of zero. 'MemcpyStrSrc' indicates whether the memcpy
626     /// source is constant so it does not need to be loaded.
627     /// It returns EVT::Other if the type should be determined using generic
628     /// target-independent logic.
629     EVT getOptimalMemOpType(uint64_t Size, unsigned DstAlign, unsigned SrcAlign,
630                             bool IsMemset, bool ZeroMemset, bool MemcpyStrSrc,
631                             MachineFunction &MF) const override;
632
633     /// Returns true if it's safe to use load / store of the
634     /// specified type to expand memcpy / memset inline. This is mostly true
635     /// for all types except for some special cases. For example, on X86
636     /// targets without SSE2 f64 load / store are done with fldl / fstpl which
637     /// also does type conversion. Note the specified type doesn't have to be
638     /// legal as the hook is used before type legalization.
639     bool isSafeMemOpType(MVT VT) const override;
640
641     /// Returns true if the target allows unaligned memory accesses of the
642     /// specified type. Returns whether it is "fast" in the last argument.
643     bool allowsMisalignedMemoryAccesses(EVT VT, unsigned AS, unsigned Align,
644                                        bool *Fast) const override;
645
646     /// Provide custom lowering hooks for some operations.
647     ///
648     SDValue LowerOperation(SDValue Op, SelectionDAG &DAG) const override;
649
650     /// Replace the results of node with an illegal result
651     /// type with new values built out of custom code.
652     ///
653     void ReplaceNodeResults(SDNode *N, SmallVectorImpl<SDValue>&Results,
654                             SelectionDAG &DAG) const override;
655
656
657     SDValue PerformDAGCombine(SDNode *N, DAGCombinerInfo &DCI) const override;
658
659     /// Return true if the target has native support for
660     /// the specified value type and it is 'desirable' to use the type for the
661     /// given node type. e.g. On x86 i16 is legal, but undesirable since i16
662     /// instruction encodings are longer and some i16 instructions are slow.
663     bool isTypeDesirableForOp(unsigned Opc, EVT VT) const override;
664
665     /// Return true if the target has native support for the
666     /// specified value type and it is 'desirable' to use the type. e.g. On x86
667     /// i16 is legal, but undesirable since i16 instruction encodings are longer
668     /// and some i16 instructions are slow.
669     bool IsDesirableToPromoteOp(SDValue Op, EVT &PVT) const override;
670
671     MachineBasicBlock *
672       EmitInstrWithCustomInserter(MachineInstr *MI,
673                                   MachineBasicBlock *MBB) const override;
674
675
676     /// This method returns the name of a target specific DAG node.
677     const char *getTargetNodeName(unsigned Opcode) const override;
678
679     bool isCheapToSpeculateCttz() const override;
680
681     bool isCheapToSpeculateCtlz() const override;
682
683     /// Return the value type to use for ISD::SETCC.
684     EVT getSetCCResultType(LLVMContext &Context, EVT VT) const override;
685
686     /// Determine which of the bits specified in Mask are known to be either
687     /// zero or one and return them in the KnownZero/KnownOne bitsets.
688     void computeKnownBitsForTargetNode(const SDValue Op,
689                                        APInt &KnownZero,
690                                        APInt &KnownOne,
691                                        const SelectionDAG &DAG,
692                                        unsigned Depth = 0) const override;
693
694     /// Determine the number of bits in the operation that are sign bits.
695     unsigned ComputeNumSignBitsForTargetNode(SDValue Op,
696                                              const SelectionDAG &DAG,
697                                              unsigned Depth) const override;
698
699     bool isGAPlusOffset(SDNode *N, const GlobalValue* &GA,
700                         int64_t &Offset) const override;
701
702     SDValue getReturnAddressFrameIndex(SelectionDAG &DAG) const;
703
704     bool ExpandInlineAsm(CallInst *CI) const override;
705
706     ConstraintType getConstraintType(StringRef Constraint) const override;
707
708     /// Examine constraint string and operand type and determine a weight value.
709     /// The operand object must already have been set up with the operand type.
710     ConstraintWeight
711       getSingleConstraintMatchWeight(AsmOperandInfo &info,
712                                      const char *constraint) const override;
713
714     const char *LowerXConstraint(EVT ConstraintVT) const override;
715
716     /// Lower the specified operand into the Ops vector. If it is invalid, don't
717     /// add anything to Ops. If hasMemory is true it means one of the asm
718     /// constraint of the inline asm instruction being processed is 'm'.
719     void LowerAsmOperandForConstraint(SDValue Op,
720                                       std::string &Constraint,
721                                       std::vector<SDValue> &Ops,
722                                       SelectionDAG &DAG) const override;
723
724     unsigned
725     getInlineAsmMemConstraint(StringRef ConstraintCode) const override {
726       if (ConstraintCode == "i")
727         return InlineAsm::Constraint_i;
728       else if (ConstraintCode == "o")
729         return InlineAsm::Constraint_o;
730       else if (ConstraintCode == "v")
731         return InlineAsm::Constraint_v;
732       else if (ConstraintCode == "X")
733         return InlineAsm::Constraint_X;
734       return TargetLowering::getInlineAsmMemConstraint(ConstraintCode);
735     }
736
737     /// Given a physical register constraint
738     /// (e.g. {edx}), return the register number and the register class for the
739     /// register.  This should only be used for C_Register constraints.  On
740     /// error, this returns a register number of 0.
741     std::pair<unsigned, const TargetRegisterClass *>
742     getRegForInlineAsmConstraint(const TargetRegisterInfo *TRI,
743                                  StringRef Constraint, MVT VT) const override;
744
745     /// Return true if the addressing mode represented
746     /// by AM is legal for this target, for a load/store of the specified type.
747     bool isLegalAddressingMode(const AddrMode &AM, Type *Ty,
748                                unsigned AS) const override;
749
750     /// Return true if the specified immediate is legal
751     /// icmp immediate, that is the target has icmp instructions which can
752     /// compare a register against the immediate without having to materialize
753     /// the immediate into a register.
754     bool isLegalICmpImmediate(int64_t Imm) const override;
755
756     /// Return true if the specified immediate is legal
757     /// add immediate, that is the target has add instructions which can
758     /// add a register and the immediate without having to materialize
759     /// the immediate into a register.
760     bool isLegalAddImmediate(int64_t Imm) const override;
761
762     /// \brief Return the cost of the scaling factor used in the addressing
763     /// mode represented by AM for this target, for a load/store
764     /// of the specified type.
765     /// If the AM is supported, the return value must be >= 0.
766     /// If the AM is not supported, it returns a negative value.
767     int getScalingFactorCost(const AddrMode &AM, Type *Ty,
768                              unsigned AS) const override;
769
770     bool isVectorShiftByScalarCheap(Type *Ty) const override;
771
772     /// Return true if it's free to truncate a value of
773     /// type Ty1 to type Ty2. e.g. On x86 it's free to truncate a i32 value in
774     /// register EAX to i16 by referencing its sub-register AX.
775     bool isTruncateFree(Type *Ty1, Type *Ty2) const override;
776     bool isTruncateFree(EVT VT1, EVT VT2) const override;
777
778     bool allowTruncateForTailCall(Type *Ty1, Type *Ty2) const override;
779
780     /// Return true if any actual instruction that defines a
781     /// value of type Ty1 implicit zero-extends the value to Ty2 in the result
782     /// register. This does not necessarily include registers defined in
783     /// unknown ways, such as incoming arguments, or copies from unknown
784     /// virtual registers. Also, if isTruncateFree(Ty2, Ty1) is true, this
785     /// does not necessarily apply to truncate instructions. e.g. on x86-64,
786     /// all instructions that define 32-bit values implicit zero-extend the
787     /// result out to 64 bits.
788     bool isZExtFree(Type *Ty1, Type *Ty2) const override;
789     bool isZExtFree(EVT VT1, EVT VT2) const override;
790     bool isZExtFree(SDValue Val, EVT VT2) const override;
791
792     /// Return true if folding a vector load into ExtVal (a sign, zero, or any
793     /// extend node) is profitable.
794     bool isVectorLoadExtDesirable(SDValue) const override;
795
796     /// Return true if an FMA operation is faster than a pair of fmul and fadd
797     /// instructions. fmuladd intrinsics will be expanded to FMAs when this
798     /// method returns true, otherwise fmuladd is expanded to fmul + fadd.
799     bool isFMAFasterThanFMulAndFAdd(EVT VT) const override;
800
801     /// Return true if it's profitable to narrow
802     /// operations of type VT1 to VT2. e.g. on x86, it's profitable to narrow
803     /// from i32 to i8 but not from i32 to i16.
804     bool isNarrowingProfitable(EVT VT1, EVT VT2) const override;
805
806     /// Returns true if the target can instruction select the
807     /// specified FP immediate natively. If false, the legalizer will
808     /// materialize the FP immediate as a load from a constant pool.
809     bool isFPImmLegal(const APFloat &Imm, EVT VT) const override;
810
811     /// Targets can use this to indicate that they only support *some*
812     /// VECTOR_SHUFFLE operations, those with specific masks. By default, if a
813     /// target supports the VECTOR_SHUFFLE node, all mask values are assumed to
814     /// be legal.
815     bool isShuffleMaskLegal(const SmallVectorImpl<int> &Mask,
816                             EVT VT) const override;
817
818     /// Similar to isShuffleMaskLegal. This is used by Targets can use this to
819     /// indicate if there is a suitable VECTOR_SHUFFLE that can be used to
820     /// replace a VAND with a constant pool entry.
821     bool isVectorClearMaskLegal(const SmallVectorImpl<int> &Mask,
822                                 EVT VT) const override;
823
824     /// If true, then instruction selection should
825     /// seek to shrink the FP constant of the specified type to a smaller type
826     /// in order to save space and / or reduce runtime.
827     bool ShouldShrinkFPConstant(EVT VT) const override {
828       // Don't shrink FP constpool if SSE2 is available since cvtss2sd is more
829       // expensive than a straight movsd. On the other hand, it's important to
830       // shrink long double fp constant since fldt is very slow.
831       return !X86ScalarSSEf64 || VT == MVT::f80;
832     }
833
834     /// Return true if we believe it is correct and profitable to reduce the
835     /// load node to a smaller type.
836     bool shouldReduceLoadWidth(SDNode *Load, ISD::LoadExtType ExtTy,
837                                EVT NewVT) const override;
838
839     /// Return true if the specified scalar FP type is computed in an SSE
840     /// register, not on the X87 floating point stack.
841     bool isScalarFPTypeInSSEReg(EVT VT) const {
842       return (VT == MVT::f64 && X86ScalarSSEf64) || // f64 is when SSE2
843       (VT == MVT::f32 && X86ScalarSSEf32);   // f32 is when SSE1
844     }
845
846     /// Return true if the target uses the MSVC _ftol2 routine for fptoui.
847     bool isTargetFTOL() const;
848
849     /// Return true if the MSVC _ftol2 routine should be used for fptoui to the
850     /// given type.
851     bool isIntegerTypeFTOL(EVT VT) const {
852       return isTargetFTOL() && VT == MVT::i64;
853     }
854
855     /// \brief Returns true if it is beneficial to convert a load of a constant
856     /// to just the constant itself.
857     bool shouldConvertConstantLoadToIntImm(const APInt &Imm,
858                                            Type *Ty) const override;
859
860     /// Return true if EXTRACT_SUBVECTOR is cheap for this result type
861     /// with this index.
862     bool isExtractSubvectorCheap(EVT ResVT, unsigned Index) const override;
863
864     /// Intel processors have a unified instruction and data cache
865     const char * getClearCacheBuiltinName() const override {
866       return nullptr; // nothing to do, move along.
867     }
868
869     unsigned getRegisterByName(const char* RegName, EVT VT) const override;
870
871     /// This method returns a target specific FastISel object,
872     /// or null if the target does not support "fast" ISel.
873     FastISel *createFastISel(FunctionLoweringInfo &funcInfo,
874                              const TargetLibraryInfo *libInfo) const override;
875
876     /// Return true if the target stores stack protector cookies at a fixed
877     /// offset in some non-standard address space, and populates the address
878     /// space and offset as appropriate.
879     bool getStackCookieLocation(unsigned &AddressSpace,
880                                 unsigned &Offset) const override;
881
882     SDValue BuildFILD(SDValue Op, EVT SrcVT, SDValue Chain, SDValue StackSlot,
883                       SelectionDAG &DAG) const;
884
885     bool isNoopAddrSpaceCast(unsigned SrcAS, unsigned DestAS) const override;
886
887     bool useLoadStackGuardNode() const override;
888     /// \brief Customize the preferred legalization strategy for certain types.
889     LegalizeTypeAction getPreferredVectorAction(EVT VT) const override;
890
891   protected:
892     std::pair<const TargetRegisterClass *, uint8_t>
893     findRepresentativeClass(const TargetRegisterInfo *TRI,
894                             MVT VT) const override;
895
896   private:
897     /// Keep a pointer to the X86Subtarget around so that we can
898     /// make the right decision when generating code for different targets.
899     const X86Subtarget *Subtarget;
900     const DataLayout *TD;
901
902     /// Select between SSE or x87 floating point ops.
903     /// When SSE is available, use it for f32 operations.
904     /// When SSE2 is available, use it for f64 operations.
905     bool X86ScalarSSEf32;
906     bool X86ScalarSSEf64;
907
908     /// A list of legal FP immediates.
909     std::vector<APFloat> LegalFPImmediates;
910
911     /// Indicate that this x86 target can instruction
912     /// select the specified FP immediate natively.
913     void addLegalFPImmediate(const APFloat& Imm) {
914       LegalFPImmediates.push_back(Imm);
915     }
916
917     SDValue LowerCallResult(SDValue Chain, SDValue InFlag,
918                             CallingConv::ID CallConv, bool isVarArg,
919                             const SmallVectorImpl<ISD::InputArg> &Ins,
920                             SDLoc dl, SelectionDAG &DAG,
921                             SmallVectorImpl<SDValue> &InVals) const;
922     SDValue LowerMemArgument(SDValue Chain,
923                              CallingConv::ID CallConv,
924                              const SmallVectorImpl<ISD::InputArg> &ArgInfo,
925                              SDLoc dl, SelectionDAG &DAG,
926                              const CCValAssign &VA,  MachineFrameInfo *MFI,
927                               unsigned i) const;
928     SDValue LowerMemOpCallTo(SDValue Chain, SDValue StackPtr, SDValue Arg,
929                              SDLoc dl, SelectionDAG &DAG,
930                              const CCValAssign &VA,
931                              ISD::ArgFlagsTy Flags) const;
932
933     // Call lowering helpers.
934
935     /// Check whether the call is eligible for tail call optimization. Targets
936     /// that want to do tail call optimization should implement this function.
937     bool IsEligibleForTailCallOptimization(SDValue Callee,
938                                            CallingConv::ID CalleeCC,
939                                            bool isVarArg,
940                                            bool isCalleeStructRet,
941                                            bool isCallerStructRet,
942                                            Type *RetTy,
943                                     const SmallVectorImpl<ISD::OutputArg> &Outs,
944                                     const SmallVectorImpl<SDValue> &OutVals,
945                                     const SmallVectorImpl<ISD::InputArg> &Ins,
946                                            SelectionDAG& DAG) const;
947     bool IsCalleePop(bool isVarArg, CallingConv::ID CallConv) const;
948     SDValue EmitTailCallLoadRetAddr(SelectionDAG &DAG, SDValue &OutRetAddr,
949                                 SDValue Chain, bool IsTailCall, bool Is64Bit,
950                                 int FPDiff, SDLoc dl) const;
951
952     unsigned GetAlignedArgumentStackSize(unsigned StackSize,
953                                          SelectionDAG &DAG) const;
954
955     std::pair<SDValue,SDValue> FP_TO_INTHelper(SDValue Op, SelectionDAG &DAG,
956                                                bool isSigned,
957                                                bool isReplace) const;
958
959     SDValue LowerBUILD_VECTOR(SDValue Op, SelectionDAG &DAG) const;
960     SDValue LowerBUILD_VECTORvXi1(SDValue Op, SelectionDAG &DAG) const;
961     SDValue LowerVECTOR_SHUFFLE(SDValue Op, SelectionDAG &DAG) const;
962     SDValue LowerVSELECT(SDValue Op, SelectionDAG &DAG) const;
963     SDValue LowerEXTRACT_VECTOR_ELT(SDValue Op, SelectionDAG &DAG) const;
964     SDValue ExtractBitFromMaskVector(SDValue Op, SelectionDAG &DAG) const;
965     SDValue InsertBitToMaskVector(SDValue Op, SelectionDAG &DAG) const;
966
967     SDValue LowerINSERT_VECTOR_ELT(SDValue Op, SelectionDAG &DAG) const;
968     SDValue LowerConstantPool(SDValue Op, SelectionDAG &DAG) const;
969     SDValue LowerBlockAddress(SDValue Op, SelectionDAG &DAG) const;
970     SDValue LowerGlobalAddress(const GlobalValue *GV, SDLoc dl,
971                                int64_t Offset, SelectionDAG &DAG) const;
972     SDValue LowerGlobalAddress(SDValue Op, SelectionDAG &DAG) const;
973     SDValue LowerGlobalTLSAddress(SDValue Op, SelectionDAG &DAG) const;
974     SDValue LowerExternalSymbol(SDValue Op, SelectionDAG &DAG) const;
975     SDValue LowerSINT_TO_FP(SDValue Op, SelectionDAG &DAG) const;
976     SDValue LowerUINT_TO_FP(SDValue Op, SelectionDAG &DAG) const;
977     SDValue LowerUINT_TO_FP_i64(SDValue Op, SelectionDAG &DAG) const;
978     SDValue LowerUINT_TO_FP_i32(SDValue Op, SelectionDAG &DAG) const;
979     SDValue lowerUINT_TO_FP_vec(SDValue Op, SelectionDAG &DAG) const;
980     SDValue LowerTRUNCATE(SDValue Op, SelectionDAG &DAG) const;
981     SDValue LowerFP_TO_SINT(SDValue Op, SelectionDAG &DAG) const;
982     SDValue LowerFP_TO_UINT(SDValue Op, SelectionDAG &DAG) const;
983     SDValue LowerToBT(SDValue And, ISD::CondCode CC,
984                       SDLoc dl, SelectionDAG &DAG) const;
985     SDValue LowerSETCC(SDValue Op, SelectionDAG &DAG) const;
986     SDValue LowerSELECT(SDValue Op, SelectionDAG &DAG) const;
987     SDValue LowerBRCOND(SDValue Op, SelectionDAG &DAG) const;
988     SDValue LowerMEMSET(SDValue Op, SelectionDAG &DAG) const;
989     SDValue LowerJumpTable(SDValue Op, SelectionDAG &DAG) const;
990     SDValue LowerDYNAMIC_STACKALLOC(SDValue Op, SelectionDAG &DAG) const;
991     SDValue LowerVASTART(SDValue Op, SelectionDAG &DAG) const;
992     SDValue LowerVAARG(SDValue Op, SelectionDAG &DAG) const;
993     SDValue LowerRETURNADDR(SDValue Op, SelectionDAG &DAG) const;
994     SDValue LowerFRAMEADDR(SDValue Op, SelectionDAG &DAG) const;
995     SDValue LowerFRAME_TO_ARGS_OFFSET(SDValue Op, SelectionDAG &DAG) const;
996     SDValue LowerEH_RETURN(SDValue Op, SelectionDAG &DAG) const;
997     SDValue lowerEH_SJLJ_SETJMP(SDValue Op, SelectionDAG &DAG) const;
998     SDValue lowerEH_SJLJ_LONGJMP(SDValue Op, SelectionDAG &DAG) const;
999     SDValue LowerINIT_TRAMPOLINE(SDValue Op, SelectionDAG &DAG) const;
1000     SDValue LowerFLT_ROUNDS_(SDValue Op, SelectionDAG &DAG) const;
1001     SDValue LowerWin64_i128OP(SDValue Op, SelectionDAG &DAG) const;
1002     SDValue LowerGC_TRANSITION_START(SDValue Op, SelectionDAG &DAG) const;
1003     SDValue LowerGC_TRANSITION_END(SDValue Op, SelectionDAG &DAG) const;
1004
1005     SDValue
1006       LowerFormalArguments(SDValue Chain,
1007                            CallingConv::ID CallConv, bool isVarArg,
1008                            const SmallVectorImpl<ISD::InputArg> &Ins,
1009                            SDLoc dl, SelectionDAG &DAG,
1010                            SmallVectorImpl<SDValue> &InVals) const override;
1011     SDValue LowerCall(CallLoweringInfo &CLI,
1012                       SmallVectorImpl<SDValue> &InVals) const override;
1013
1014     SDValue LowerReturn(SDValue Chain,
1015                         CallingConv::ID CallConv, bool isVarArg,
1016                         const SmallVectorImpl<ISD::OutputArg> &Outs,
1017                         const SmallVectorImpl<SDValue> &OutVals,
1018                         SDLoc dl, SelectionDAG &DAG) const override;
1019
1020     bool isUsedByReturnOnly(SDNode *N, SDValue &Chain) const override;
1021
1022     bool mayBeEmittedAsTailCall(CallInst *CI) const override;
1023
1024     EVT getTypeForExtArgOrReturn(LLVMContext &Context, EVT VT,
1025                                  ISD::NodeType ExtendKind) const override;
1026
1027     bool CanLowerReturn(CallingConv::ID CallConv, MachineFunction &MF,
1028                         bool isVarArg,
1029                         const SmallVectorImpl<ISD::OutputArg> &Outs,
1030                         LLVMContext &Context) const override;
1031
1032     const MCPhysReg *getScratchRegisters(CallingConv::ID CC) const override;
1033
1034     bool shouldExpandAtomicLoadInIR(LoadInst *SI) const override;
1035     bool shouldExpandAtomicStoreInIR(StoreInst *SI) const override;
1036     TargetLoweringBase::AtomicRMWExpansionKind
1037     shouldExpandAtomicRMWInIR(AtomicRMWInst *AI) const override;
1038
1039     LoadInst *
1040     lowerIdempotentRMWIntoFencedLoad(AtomicRMWInst *AI) const override;
1041
1042     bool needsCmpXchgNb(const Type *MemType) const;
1043
1044     /// Utility function to emit atomic-load-arith operations (and, or, xor,
1045     /// nand, max, min, umax, umin). It takes the corresponding instruction to
1046     /// expand, the associated machine basic block, and the associated X86
1047     /// opcodes for reg/reg.
1048     MachineBasicBlock *EmitAtomicLoadArith(MachineInstr *MI,
1049                                            MachineBasicBlock *MBB) const;
1050
1051     /// Utility function to emit atomic-load-arith operations (and, or, xor,
1052     /// nand, add, sub, swap) for 64-bit operands on 32-bit target.
1053     MachineBasicBlock *EmitAtomicLoadArith6432(MachineInstr *MI,
1054                                                MachineBasicBlock *MBB) const;
1055
1056     // Utility function to emit the low-level va_arg code for X86-64.
1057     MachineBasicBlock *EmitVAARG64WithCustomInserter(
1058                        MachineInstr *MI,
1059                        MachineBasicBlock *MBB) const;
1060
1061     /// Utility function to emit the xmm reg save portion of va_start.
1062     MachineBasicBlock *EmitVAStartSaveXMMRegsWithCustomInserter(
1063                                                    MachineInstr *BInstr,
1064                                                    MachineBasicBlock *BB) const;
1065
1066     MachineBasicBlock *EmitLoweredSelect(MachineInstr *I,
1067                                          MachineBasicBlock *BB) const;
1068
1069     MachineBasicBlock *EmitLoweredWinAlloca(MachineInstr *MI,
1070                                               MachineBasicBlock *BB) const;
1071
1072     MachineBasicBlock *EmitLoweredSegAlloca(MachineInstr *MI,
1073                                             MachineBasicBlock *BB) const;
1074
1075     MachineBasicBlock *EmitLoweredTLSCall(MachineInstr *MI,
1076                                           MachineBasicBlock *BB) const;
1077
1078     MachineBasicBlock *emitLoweredTLSAddr(MachineInstr *MI,
1079                                           MachineBasicBlock *BB) const;
1080
1081     MachineBasicBlock *emitEHSjLjSetJmp(MachineInstr *MI,
1082                                         MachineBasicBlock *MBB) const;
1083
1084     MachineBasicBlock *emitEHSjLjLongJmp(MachineInstr *MI,
1085                                          MachineBasicBlock *MBB) const;
1086
1087     MachineBasicBlock *emitFMA3Instr(MachineInstr *MI,
1088                                      MachineBasicBlock *MBB) const;
1089
1090     /// Emit nodes that will be selected as "test Op0,Op0", or something
1091     /// equivalent, for use with the given x86 condition code.
1092     SDValue EmitTest(SDValue Op0, unsigned X86CC, SDLoc dl,
1093                      SelectionDAG &DAG) const;
1094
1095     /// Emit nodes that will be selected as "cmp Op0,Op1", or something
1096     /// equivalent, for use with the given x86 condition code.
1097     SDValue EmitCmp(SDValue Op0, SDValue Op1, unsigned X86CC, SDLoc dl,
1098                     SelectionDAG &DAG) const;
1099
1100     /// Convert a comparison if required by the subtarget.
1101     SDValue ConvertCmpIfNecessary(SDValue Cmp, SelectionDAG &DAG) const;
1102
1103     /// Use rsqrt* to speed up sqrt calculations.
1104     SDValue getRsqrtEstimate(SDValue Operand, DAGCombinerInfo &DCI,
1105                              unsigned &RefinementSteps,
1106                              bool &UseOneConstNR) const override;
1107
1108     /// Use rcp* to speed up fdiv calculations.
1109     SDValue getRecipEstimate(SDValue Operand, DAGCombinerInfo &DCI,
1110                              unsigned &RefinementSteps) const override;
1111
1112     /// Reassociate floating point divisions into multiply by reciprocal.
1113     bool combineRepeatedFPDivisors(unsigned NumUsers) const override;
1114   };
1115
1116   namespace X86 {
1117     FastISel *createFastISel(FunctionLoweringInfo &funcInfo,
1118                              const TargetLibraryInfo *libInfo);
1119   }
1120 }
1121
1122 #endif    // X86ISELLOWERING_H