Merge X86 SHUFPS and SHUFPD node types.
[oota-llvm.git] / lib / Target / X86 / X86ISelLowering.h
1 //===-- X86ISelLowering.h - X86 DAG Lowering Interface ----------*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines the interfaces that X86 uses to lower LLVM code into a
11 // selection DAG.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #ifndef X86ISELLOWERING_H
16 #define X86ISELLOWERING_H
17
18 #include "X86Subtarget.h"
19 #include "X86RegisterInfo.h"
20 #include "X86MachineFunctionInfo.h"
21 #include "llvm/Target/TargetLowering.h"
22 #include "llvm/Target/TargetOptions.h"
23 #include "llvm/CodeGen/FastISel.h"
24 #include "llvm/CodeGen/SelectionDAG.h"
25 #include "llvm/CodeGen/CallingConvLower.h"
26
27 namespace llvm {
28   namespace X86ISD {
29     // X86 Specific DAG Nodes
30     enum NodeType {
31       // Start the numbering where the builtin ops leave off.
32       FIRST_NUMBER = ISD::BUILTIN_OP_END,
33
34       /// BSF - Bit scan forward.
35       /// BSR - Bit scan reverse.
36       BSF,
37       BSR,
38
39       /// SHLD, SHRD - Double shift instructions. These correspond to
40       /// X86::SHLDxx and X86::SHRDxx instructions.
41       SHLD,
42       SHRD,
43
44       /// FAND - Bitwise logical AND of floating point values. This corresponds
45       /// to X86::ANDPS or X86::ANDPD.
46       FAND,
47
48       /// FOR - Bitwise logical OR of floating point values. This corresponds
49       /// to X86::ORPS or X86::ORPD.
50       FOR,
51
52       /// FXOR - Bitwise logical XOR of floating point values. This corresponds
53       /// to X86::XORPS or X86::XORPD.
54       FXOR,
55
56       /// FSRL - Bitwise logical right shift of floating point values. These
57       /// corresponds to X86::PSRLDQ.
58       FSRL,
59
60       /// CALL - These operations represent an abstract X86 call
61       /// instruction, which includes a bunch of information.  In particular the
62       /// operands of these node are:
63       ///
64       ///     #0 - The incoming token chain
65       ///     #1 - The callee
66       ///     #2 - The number of arg bytes the caller pushes on the stack.
67       ///     #3 - The number of arg bytes the callee pops off the stack.
68       ///     #4 - The value to pass in AL/AX/EAX (optional)
69       ///     #5 - The value to pass in DL/DX/EDX (optional)
70       ///
71       /// The result values of these nodes are:
72       ///
73       ///     #0 - The outgoing token chain
74       ///     #1 - The first register result value (optional)
75       ///     #2 - The second register result value (optional)
76       ///
77       CALL,
78
79       /// RDTSC_DAG - This operation implements the lowering for
80       /// readcyclecounter
81       RDTSC_DAG,
82
83       /// X86 compare and logical compare instructions.
84       CMP, COMI, UCOMI,
85
86       /// X86 bit-test instructions.
87       BT,
88
89       /// X86 SetCC. Operand 0 is condition code, and operand 1 is the EFLAGS
90       /// operand, usually produced by a CMP instruction.
91       SETCC,
92
93       // Same as SETCC except it's materialized with a sbb and the value is all
94       // one's or all zero's.
95       SETCC_CARRY,  // R = carry_bit ? ~0 : 0
96
97       /// X86 FP SETCC, implemented with CMP{cc}SS/CMP{cc}SD.
98       /// Operands are two FP values to compare; result is a mask of
99       /// 0s or 1s.  Generally DTRT for C/C++ with NaNs.
100       FSETCCss, FSETCCsd,
101
102       /// X86 MOVMSK{pd|ps}, extracts sign bits of two or four FP values,
103       /// result in an integer GPR.  Needs masking for scalar result.
104       FGETSIGNx86,
105
106       /// X86 conditional moves. Operand 0 and operand 1 are the two values
107       /// to select from. Operand 2 is the condition code, and operand 3 is the
108       /// flag operand produced by a CMP or TEST instruction. It also writes a
109       /// flag result.
110       CMOV,
111
112       /// X86 conditional branches. Operand 0 is the chain operand, operand 1
113       /// is the block to branch if condition is true, operand 2 is the
114       /// condition code, and operand 3 is the flag operand produced by a CMP
115       /// or TEST instruction.
116       BRCOND,
117
118       /// Return with a flag operand. Operand 0 is the chain operand, operand
119       /// 1 is the number of bytes of stack to pop.
120       RET_FLAG,
121
122       /// REP_STOS - Repeat fill, corresponds to X86::REP_STOSx.
123       REP_STOS,
124
125       /// REP_MOVS - Repeat move, corresponds to X86::REP_MOVSx.
126       REP_MOVS,
127
128       /// GlobalBaseReg - On Darwin, this node represents the result of the popl
129       /// at function entry, used for PIC code.
130       GlobalBaseReg,
131
132       /// Wrapper - A wrapper node for TargetConstantPool,
133       /// TargetExternalSymbol, and TargetGlobalAddress.
134       Wrapper,
135
136       /// WrapperRIP - Special wrapper used under X86-64 PIC mode for RIP
137       /// relative displacements.
138       WrapperRIP,
139
140       /// MOVQ2DQ - Copies a 64-bit value from an MMX vector to the low word
141       /// of an XMM vector, with the high word zero filled.
142       MOVQ2DQ,
143
144       /// MOVDQ2Q - Copies a 64-bit value from the low word of an XMM vector
145       /// to an MMX vector.  If you think this is too close to the previous
146       /// mnemonic, so do I; blame Intel.
147       MOVDQ2Q,
148
149       /// PEXTRB - Extract an 8-bit value from a vector and zero extend it to
150       /// i32, corresponds to X86::PEXTRB.
151       PEXTRB,
152
153       /// PEXTRW - Extract a 16-bit value from a vector and zero extend it to
154       /// i32, corresponds to X86::PEXTRW.
155       PEXTRW,
156
157       /// INSERTPS - Insert any element of a 4 x float vector into any element
158       /// of a destination 4 x floatvector.
159       INSERTPS,
160
161       /// PINSRB - Insert the lower 8-bits of a 32-bit value to a vector,
162       /// corresponds to X86::PINSRB.
163       PINSRB,
164
165       /// PINSRW - Insert the lower 16-bits of a 32-bit value to a vector,
166       /// corresponds to X86::PINSRW.
167       PINSRW, MMX_PINSRW,
168
169       /// PSHUFB - Shuffle 16 8-bit values within a vector.
170       PSHUFB,
171
172       /// ANDNP - Bitwise Logical AND NOT of Packed FP values.
173       ANDNP,
174
175       /// PSIGN - Copy integer sign.
176       PSIGN,
177
178       /// BLEND family of opcodes
179       BLENDV,
180
181       /// HADD - Integer horizontal add.
182       HADD,
183
184       /// HSUB - Integer horizontal sub.
185       HSUB,
186
187       /// FHADD - Floating point horizontal add.
188       FHADD,
189
190       /// FHSUB - Floating point horizontal sub.
191       FHSUB,
192
193       /// FMAX, FMIN - Floating point max and min.
194       ///
195       FMAX, FMIN,
196
197       /// FRSQRT, FRCP - Floating point reciprocal-sqrt and reciprocal
198       /// approximation.  Note that these typically require refinement
199       /// in order to obtain suitable precision.
200       FRSQRT, FRCP,
201
202       // TLSADDR - Thread Local Storage.
203       TLSADDR,
204
205       // TLSCALL - Thread Local Storage.  When calling to an OS provided
206       // thunk at the address from an earlier relocation.
207       TLSCALL,
208
209       // EH_RETURN - Exception Handling helpers.
210       EH_RETURN,
211
212       /// TC_RETURN - Tail call return.
213       ///   operand #0 chain
214       ///   operand #1 callee (register or absolute)
215       ///   operand #2 stack adjustment
216       ///   operand #3 optional in flag
217       TC_RETURN,
218
219       // VZEXT_MOVL - Vector move low and zero extend.
220       VZEXT_MOVL,
221
222       // VSHL, VSRL - Vector logical left / right shift.
223       VSHL, VSRL,
224
225       // CMPPD, CMPPS - Vector double/float comparison.
226       // CMPPD, CMPPS - Vector double/float comparison.
227       CMPPD, CMPPS,
228
229       // PCMP* - Vector integer comparisons.
230       PCMPEQB, PCMPEQW, PCMPEQD, PCMPEQQ,
231       PCMPGTB, PCMPGTW, PCMPGTD, PCMPGTQ,
232
233       // ADD, SUB, SMUL, etc. - Arithmetic operations with FLAGS results.
234       ADD, SUB, ADC, SBB, SMUL,
235       INC, DEC, OR, XOR, AND,
236
237       ANDN, // ANDN - Bitwise AND NOT with FLAGS results.
238
239       BLSI,   // BLSI - Extract lowest set isolated bit
240       BLSMSK, // BLSMSK - Get mask up to lowest set bit
241       BLSR,   // BLSR - Reset lowest set bit
242
243       UMUL, // LOW, HI, FLAGS = umul LHS, RHS
244
245       // MUL_IMM - X86 specific multiply by immediate.
246       MUL_IMM,
247
248       // PTEST - Vector bitwise comparisons
249       PTEST,
250
251       // TESTP - Vector packed fp sign bitwise comparisons
252       TESTP,
253
254       // Several flavors of instructions with vector shuffle behaviors.
255       PALIGN,
256       PSHUFD,
257       PSHUFHW,
258       PSHUFLW,
259       PSHUFHW_LD,
260       PSHUFLW_LD,
261       SHUFP,
262       MOVDDUP,
263       MOVSHDUP,
264       MOVSLDUP,
265       MOVSHDUP_LD,
266       MOVSLDUP_LD,
267       MOVLHPS,
268       MOVLHPD,
269       MOVHLPS,
270       MOVLPS,
271       MOVLPD,
272       MOVSD,
273       MOVSS,
274       UNPCKL,
275       UNPCKH,
276       VPERMILP,
277       VPERM2X128,
278       VBROADCAST,
279
280       // VASTART_SAVE_XMM_REGS - Save xmm argument registers to the stack,
281       // according to %al. An operator is needed so that this can be expanded
282       // with control flow.
283       VASTART_SAVE_XMM_REGS,
284
285       // WIN_ALLOCA - Windows's _chkstk call to do stack probing.
286       WIN_ALLOCA,
287
288       // SEG_ALLOCA - For allocating variable amounts of stack space when using
289       // segmented stacks. Check if the current stacklet has enough space, and
290       // falls back to heap allocation if not.
291       SEG_ALLOCA,
292
293       // Memory barrier
294       MEMBARRIER,
295       MFENCE,
296       SFENCE,
297       LFENCE,
298
299       // ATOMADD64_DAG, ATOMSUB64_DAG, ATOMOR64_DAG, ATOMAND64_DAG,
300       // ATOMXOR64_DAG, ATOMNAND64_DAG, ATOMSWAP64_DAG -
301       // Atomic 64-bit binary operations.
302       ATOMADD64_DAG = ISD::FIRST_TARGET_MEMORY_OPCODE,
303       ATOMSUB64_DAG,
304       ATOMOR64_DAG,
305       ATOMXOR64_DAG,
306       ATOMAND64_DAG,
307       ATOMNAND64_DAG,
308       ATOMSWAP64_DAG,
309
310       // LCMPXCHG_DAG, LCMPXCHG8_DAG, LCMPXCHG16_DAG - Compare and swap.
311       LCMPXCHG_DAG,
312       LCMPXCHG8_DAG,
313       LCMPXCHG16_DAG,
314
315       // VZEXT_LOAD - Load, scalar_to_vector, and zero extend.
316       VZEXT_LOAD,
317
318       // FNSTCW16m - Store FP control world into i16 memory.
319       FNSTCW16m,
320
321       /// FP_TO_INT*_IN_MEM - This instruction implements FP_TO_SINT with the
322       /// integer destination in memory and a FP reg source.  This corresponds
323       /// to the X86::FIST*m instructions and the rounding mode change stuff. It
324       /// has two inputs (token chain and address) and two outputs (int value
325       /// and token chain).
326       FP_TO_INT16_IN_MEM,
327       FP_TO_INT32_IN_MEM,
328       FP_TO_INT64_IN_MEM,
329
330       /// FILD, FILD_FLAG - This instruction implements SINT_TO_FP with the
331       /// integer source in memory and FP reg result.  This corresponds to the
332       /// X86::FILD*m instructions. It has three inputs (token chain, address,
333       /// and source type) and two outputs (FP value and token chain). FILD_FLAG
334       /// also produces a flag).
335       FILD,
336       FILD_FLAG,
337
338       /// FLD - This instruction implements an extending load to FP stack slots.
339       /// This corresponds to the X86::FLD32m / X86::FLD64m. It takes a chain
340       /// operand, ptr to load from, and a ValueType node indicating the type
341       /// to load to.
342       FLD,
343
344       /// FST - This instruction implements a truncating store to FP stack
345       /// slots. This corresponds to the X86::FST32m / X86::FST64m. It takes a
346       /// chain operand, value to store, address, and a ValueType to store it
347       /// as.
348       FST,
349
350       /// VAARG_64 - This instruction grabs the address of the next argument
351       /// from a va_list. (reads and modifies the va_list in memory)
352       VAARG_64
353
354       // WARNING: Do not add anything in the end unless you want the node to
355       // have memop! In fact, starting from ATOMADD64_DAG all opcodes will be
356       // thought as target memory ops!
357     };
358   }
359
360   /// Define some predicates that are used for node matching.
361   namespace X86 {
362     /// isPSHUFDMask - Return true if the specified VECTOR_SHUFFLE operand
363     /// specifies a shuffle of elements that is suitable for input to PSHUFD.
364     bool isPSHUFDMask(ShuffleVectorSDNode *N);
365
366     /// isPSHUFHWMask - Return true if the specified VECTOR_SHUFFLE operand
367     /// specifies a shuffle of elements that is suitable for input to PSHUFD.
368     bool isPSHUFHWMask(ShuffleVectorSDNode *N);
369
370     /// isPSHUFLWMask - Return true if the specified VECTOR_SHUFFLE operand
371     /// specifies a shuffle of elements that is suitable for input to PSHUFD.
372     bool isPSHUFLWMask(ShuffleVectorSDNode *N);
373
374     /// isSHUFPMask - Return true if the specified VECTOR_SHUFFLE operand
375     /// specifies a shuffle of elements that is suitable for input to SHUFP*.
376     bool isSHUFPMask(ShuffleVectorSDNode *N);
377
378     /// isMOVHLPSMask - Return true if the specified VECTOR_SHUFFLE operand
379     /// specifies a shuffle of elements that is suitable for input to MOVHLPS.
380     bool isMOVHLPSMask(ShuffleVectorSDNode *N);
381
382     /// isMOVHLPS_v_undef_Mask - Special case of isMOVHLPSMask for canonical form
383     /// of vector_shuffle v, v, <2, 3, 2, 3>, i.e. vector_shuffle v, undef,
384     /// <2, 3, 2, 3>
385     bool isMOVHLPS_v_undef_Mask(ShuffleVectorSDNode *N);
386
387     /// isMOVLPMask - Return true if the specified VECTOR_SHUFFLE operand
388     /// specifies a shuffle of elements that is suitable for MOVLP{S|D}.
389     bool isMOVLPMask(ShuffleVectorSDNode *N);
390
391     /// isMOVHPMask - Return true if the specified VECTOR_SHUFFLE operand
392     /// specifies a shuffle of elements that is suitable for MOVHP{S|D}.
393     /// as well as MOVLHPS.
394     bool isMOVLHPSMask(ShuffleVectorSDNode *N);
395
396     /// isUNPCKLMask - Return true if the specified VECTOR_SHUFFLE operand
397     /// specifies a shuffle of elements that is suitable for input to UNPCKL.
398     bool isUNPCKLMask(ShuffleVectorSDNode *N, bool HasAVX2,
399                       bool V2IsSplat = false);
400
401     /// isUNPCKHMask - Return true if the specified VECTOR_SHUFFLE operand
402     /// specifies a shuffle of elements that is suitable for input to UNPCKH.
403     bool isUNPCKHMask(ShuffleVectorSDNode *N, bool HasAVX2,
404                       bool V2IsSplat = false);
405
406     /// isUNPCKL_v_undef_Mask - Special case of isUNPCKLMask for canonical form
407     /// of vector_shuffle v, v, <0, 4, 1, 5>, i.e. vector_shuffle v, undef,
408     /// <0, 0, 1, 1>
409     bool isUNPCKL_v_undef_Mask(ShuffleVectorSDNode *N, bool HasAVX2);
410
411     /// isUNPCKH_v_undef_Mask - Special case of isUNPCKHMask for canonical form
412     /// of vector_shuffle v, v, <2, 6, 3, 7>, i.e. vector_shuffle v, undef,
413     /// <2, 2, 3, 3>
414     bool isUNPCKH_v_undef_Mask(ShuffleVectorSDNode *N, bool HasAVX2);
415
416     /// isMOVLMask - Return true if the specified VECTOR_SHUFFLE operand
417     /// specifies a shuffle of elements that is suitable for input to MOVSS,
418     /// MOVSD, and MOVD, i.e. setting the lowest element.
419     bool isMOVLMask(ShuffleVectorSDNode *N);
420
421     /// isMOVSHDUPMask - Return true if the specified VECTOR_SHUFFLE operand
422     /// specifies a shuffle of elements that is suitable for input to MOVSHDUP.
423     bool isMOVSHDUPMask(ShuffleVectorSDNode *N, const X86Subtarget *Subtarget);
424
425     /// isMOVSLDUPMask - Return true if the specified VECTOR_SHUFFLE operand
426     /// specifies a shuffle of elements that is suitable for input to MOVSLDUP.
427     bool isMOVSLDUPMask(ShuffleVectorSDNode *N, const X86Subtarget *Subtarget);
428
429     /// isMOVDDUPMask - Return true if the specified VECTOR_SHUFFLE operand
430     /// specifies a shuffle of elements that is suitable for input to MOVDDUP.
431     bool isMOVDDUPMask(ShuffleVectorSDNode *N);
432
433     /// isVEXTRACTF128Index - Return true if the specified
434     /// EXTRACT_SUBVECTOR operand specifies a vector extract that is
435     /// suitable for input to VEXTRACTF128.
436     bool isVEXTRACTF128Index(SDNode *N);
437
438     /// isVINSERTF128Index - Return true if the specified
439     /// INSERT_SUBVECTOR operand specifies a subvector insert that is
440     /// suitable for input to VINSERTF128.
441     bool isVINSERTF128Index(SDNode *N);
442
443     /// getShuffleSHUFImmediate - Return the appropriate immediate to shuffle
444     /// the specified isShuffleMask VECTOR_SHUFFLE mask with PSHUF* and SHUFP*
445     /// instructions.
446     unsigned getShuffleSHUFImmediate(SDNode *N);
447
448     /// getShufflePSHUFHWImmediate - Return the appropriate immediate to shuffle
449     /// the specified VECTOR_SHUFFLE mask with PSHUFHW instruction.
450     unsigned getShufflePSHUFHWImmediate(SDNode *N);
451
452     /// getShufflePSHUFLWImmediate - Return the appropriate immediate to shuffle
453     /// the specified VECTOR_SHUFFLE mask with PSHUFLW instruction.
454     unsigned getShufflePSHUFLWImmediate(SDNode *N);
455
456     /// getExtractVEXTRACTF128Immediate - Return the appropriate
457     /// immediate to extract the specified EXTRACT_SUBVECTOR index
458     /// with VEXTRACTF128 instructions.
459     unsigned getExtractVEXTRACTF128Immediate(SDNode *N);
460
461     /// getInsertVINSERTF128Immediate - Return the appropriate
462     /// immediate to insert at the specified INSERT_SUBVECTOR index
463     /// with VINSERTF128 instructions.
464     unsigned getInsertVINSERTF128Immediate(SDNode *N);
465
466     /// isZeroNode - Returns true if Elt is a constant zero or a floating point
467     /// constant +0.0.
468     bool isZeroNode(SDValue Elt);
469
470     /// isOffsetSuitableForCodeModel - Returns true of the given offset can be
471     /// fit into displacement field of the instruction.
472     bool isOffsetSuitableForCodeModel(int64_t Offset, CodeModel::Model M,
473                                       bool hasSymbolicDisplacement = true);
474
475
476     /// isCalleePop - Determines whether the callee is required to pop its
477     /// own arguments. Callee pop is necessary to support tail calls.
478     bool isCalleePop(CallingConv::ID CallingConv,
479                      bool is64Bit, bool IsVarArg, bool TailCallOpt);
480   }
481
482   //===--------------------------------------------------------------------===//
483   //  X86TargetLowering - X86 Implementation of the TargetLowering interface
484   class X86TargetLowering : public TargetLowering {
485   public:
486     explicit X86TargetLowering(X86TargetMachine &TM);
487
488     virtual unsigned getJumpTableEncoding() const;
489
490     virtual MVT getShiftAmountTy(EVT LHSTy) const { return MVT::i8; }
491
492     virtual const MCExpr *
493     LowerCustomJumpTableEntry(const MachineJumpTableInfo *MJTI,
494                               const MachineBasicBlock *MBB, unsigned uid,
495                               MCContext &Ctx) const;
496
497     /// getPICJumpTableRelocaBase - Returns relocation base for the given PIC
498     /// jumptable.
499     virtual SDValue getPICJumpTableRelocBase(SDValue Table,
500                                              SelectionDAG &DAG) const;
501     virtual const MCExpr *
502     getPICJumpTableRelocBaseExpr(const MachineFunction *MF,
503                                  unsigned JTI, MCContext &Ctx) const;
504
505     /// getStackPtrReg - Return the stack pointer register we are using: either
506     /// ESP or RSP.
507     unsigned getStackPtrReg() const { return X86StackPtr; }
508
509     /// getByValTypeAlignment - Return the desired alignment for ByVal aggregate
510     /// function arguments in the caller parameter area. For X86, aggregates
511     /// that contains are placed at 16-byte boundaries while the rest are at
512     /// 4-byte boundaries.
513     virtual unsigned getByValTypeAlignment(Type *Ty) const;
514
515     /// getOptimalMemOpType - Returns the target specific optimal type for load
516     /// and store operations as a result of memset, memcpy, and memmove
517     /// lowering. If DstAlign is zero that means it's safe to destination
518     /// alignment can satisfy any constraint. Similarly if SrcAlign is zero it
519     /// means there isn't a need to check it against alignment requirement,
520     /// probably because the source does not need to be loaded. If
521     /// 'IsZeroVal' is true, that means it's safe to return a
522     /// non-scalar-integer type, e.g. empty string source, constant, or loaded
523     /// from memory. 'MemcpyStrSrc' indicates whether the memcpy source is
524     /// constant so it does not need to be loaded.
525     /// It returns EVT::Other if the type should be determined using generic
526     /// target-independent logic.
527     virtual EVT
528     getOptimalMemOpType(uint64_t Size, unsigned DstAlign, unsigned SrcAlign,
529                         bool IsZeroVal, bool MemcpyStrSrc,
530                         MachineFunction &MF) const;
531
532     /// allowsUnalignedMemoryAccesses - Returns true if the target allows
533     /// unaligned memory accesses. of the specified type.
534     virtual bool allowsUnalignedMemoryAccesses(EVT VT) const {
535       return true;
536     }
537
538     /// LowerOperation - Provide custom lowering hooks for some operations.
539     ///
540     virtual SDValue LowerOperation(SDValue Op, SelectionDAG &DAG) const;
541
542     /// ReplaceNodeResults - Replace the results of node with an illegal result
543     /// type with new values built out of custom code.
544     ///
545     virtual void ReplaceNodeResults(SDNode *N, SmallVectorImpl<SDValue>&Results,
546                                     SelectionDAG &DAG) const;
547
548
549     virtual SDValue PerformDAGCombine(SDNode *N, DAGCombinerInfo &DCI) const;
550
551     /// isTypeDesirableForOp - Return true if the target has native support for
552     /// the specified value type and it is 'desirable' to use the type for the
553     /// given node type. e.g. On x86 i16 is legal, but undesirable since i16
554     /// instruction encodings are longer and some i16 instructions are slow.
555     virtual bool isTypeDesirableForOp(unsigned Opc, EVT VT) const;
556
557     /// isTypeDesirable - Return true if the target has native support for the
558     /// specified value type and it is 'desirable' to use the type. e.g. On x86
559     /// i16 is legal, but undesirable since i16 instruction encodings are longer
560     /// and some i16 instructions are slow.
561     virtual bool IsDesirableToPromoteOp(SDValue Op, EVT &PVT) const;
562
563     virtual MachineBasicBlock *
564       EmitInstrWithCustomInserter(MachineInstr *MI,
565                                   MachineBasicBlock *MBB) const;
566
567
568     /// getTargetNodeName - This method returns the name of a target specific
569     /// DAG node.
570     virtual const char *getTargetNodeName(unsigned Opcode) const;
571
572     /// getSetCCResultType - Return the value type to use for ISD::SETCC.
573     virtual EVT getSetCCResultType(EVT VT) const;
574
575     /// computeMaskedBitsForTargetNode - Determine which of the bits specified
576     /// in Mask are known to be either zero or one and return them in the
577     /// KnownZero/KnownOne bitsets.
578     virtual void computeMaskedBitsForTargetNode(const SDValue Op,
579                                                 const APInt &Mask,
580                                                 APInt &KnownZero,
581                                                 APInt &KnownOne,
582                                                 const SelectionDAG &DAG,
583                                                 unsigned Depth = 0) const;
584
585     // ComputeNumSignBitsForTargetNode - Determine the number of bits in the
586     // operation that are sign bits.
587     virtual unsigned ComputeNumSignBitsForTargetNode(SDValue Op,
588                                                      unsigned Depth) const;
589
590     virtual bool
591     isGAPlusOffset(SDNode *N, const GlobalValue* &GA, int64_t &Offset) const;
592
593     SDValue getReturnAddressFrameIndex(SelectionDAG &DAG) const;
594
595     virtual bool ExpandInlineAsm(CallInst *CI) const;
596
597     ConstraintType getConstraintType(const std::string &Constraint) const;
598
599     /// Examine constraint string and operand type and determine a weight value.
600     /// The operand object must already have been set up with the operand type.
601     virtual ConstraintWeight getSingleConstraintMatchWeight(
602       AsmOperandInfo &info, const char *constraint) const;
603
604     virtual const char *LowerXConstraint(EVT ConstraintVT) const;
605
606     /// LowerAsmOperandForConstraint - Lower the specified operand into the Ops
607     /// vector.  If it is invalid, don't add anything to Ops. If hasMemory is
608     /// true it means one of the asm constraint of the inline asm instruction
609     /// being processed is 'm'.
610     virtual void LowerAsmOperandForConstraint(SDValue Op,
611                                               std::string &Constraint,
612                                               std::vector<SDValue> &Ops,
613                                               SelectionDAG &DAG) const;
614
615     /// getRegForInlineAsmConstraint - Given a physical register constraint
616     /// (e.g. {edx}), return the register number and the register class for the
617     /// register.  This should only be used for C_Register constraints.  On
618     /// error, this returns a register number of 0.
619     std::pair<unsigned, const TargetRegisterClass*>
620       getRegForInlineAsmConstraint(const std::string &Constraint,
621                                    EVT VT) const;
622
623     /// isLegalAddressingMode - Return true if the addressing mode represented
624     /// by AM is legal for this target, for a load/store of the specified type.
625     virtual bool isLegalAddressingMode(const AddrMode &AM, Type *Ty)const;
626
627     /// isTruncateFree - Return true if it's free to truncate a value of
628     /// type Ty1 to type Ty2. e.g. On x86 it's free to truncate a i32 value in
629     /// register EAX to i16 by referencing its sub-register AX.
630     virtual bool isTruncateFree(Type *Ty1, Type *Ty2) const;
631     virtual bool isTruncateFree(EVT VT1, EVT VT2) const;
632
633     /// isZExtFree - Return true if any actual instruction that defines a
634     /// value of type Ty1 implicit zero-extends the value to Ty2 in the result
635     /// register. This does not necessarily include registers defined in
636     /// unknown ways, such as incoming arguments, or copies from unknown
637     /// virtual registers. Also, if isTruncateFree(Ty2, Ty1) is true, this
638     /// does not necessarily apply to truncate instructions. e.g. on x86-64,
639     /// all instructions that define 32-bit values implicit zero-extend the
640     /// result out to 64 bits.
641     virtual bool isZExtFree(Type *Ty1, Type *Ty2) const;
642     virtual bool isZExtFree(EVT VT1, EVT VT2) const;
643
644     /// isNarrowingProfitable - Return true if it's profitable to narrow
645     /// operations of type VT1 to VT2. e.g. on x86, it's profitable to narrow
646     /// from i32 to i8 but not from i32 to i16.
647     virtual bool isNarrowingProfitable(EVT VT1, EVT VT2) const;
648
649     /// isFPImmLegal - Returns true if the target can instruction select the
650     /// specified FP immediate natively. If false, the legalizer will
651     /// materialize the FP immediate as a load from a constant pool.
652     virtual bool isFPImmLegal(const APFloat &Imm, EVT VT) const;
653
654     /// isShuffleMaskLegal - Targets can use this to indicate that they only
655     /// support *some* VECTOR_SHUFFLE operations, those with specific masks.
656     /// By default, if a target supports the VECTOR_SHUFFLE node, all mask
657     /// values are assumed to be legal.
658     virtual bool isShuffleMaskLegal(const SmallVectorImpl<int> &Mask,
659                                     EVT VT) const;
660
661     /// isVectorClearMaskLegal - Similar to isShuffleMaskLegal. This is
662     /// used by Targets can use this to indicate if there is a suitable
663     /// VECTOR_SHUFFLE that can be used to replace a VAND with a constant
664     /// pool entry.
665     virtual bool isVectorClearMaskLegal(const SmallVectorImpl<int> &Mask,
666                                         EVT VT) const;
667
668     /// ShouldShrinkFPConstant - If true, then instruction selection should
669     /// seek to shrink the FP constant of the specified type to a smaller type
670     /// in order to save space and / or reduce runtime.
671     virtual bool ShouldShrinkFPConstant(EVT VT) const {
672       // Don't shrink FP constpool if SSE2 is available since cvtss2sd is more
673       // expensive than a straight movsd. On the other hand, it's important to
674       // shrink long double fp constant since fldt is very slow.
675       return !X86ScalarSSEf64 || VT == MVT::f80;
676     }
677
678     const X86Subtarget* getSubtarget() const {
679       return Subtarget;
680     }
681
682     /// isScalarFPTypeInSSEReg - Return true if the specified scalar FP type is
683     /// computed in an SSE register, not on the X87 floating point stack.
684     bool isScalarFPTypeInSSEReg(EVT VT) const {
685       return (VT == MVT::f64 && X86ScalarSSEf64) || // f64 is when SSE2
686       (VT == MVT::f32 && X86ScalarSSEf32);   // f32 is when SSE1
687     }
688
689     /// createFastISel - This method returns a target specific FastISel object,
690     /// or null if the target does not support "fast" ISel.
691     virtual FastISel *createFastISel(FunctionLoweringInfo &funcInfo) const;
692
693     /// getStackCookieLocation - Return true if the target stores stack
694     /// protector cookies at a fixed offset in some non-standard address
695     /// space, and populates the address space and offset as
696     /// appropriate.
697     virtual bool getStackCookieLocation(unsigned &AddressSpace, unsigned &Offset) const;
698
699     SDValue BuildFILD(SDValue Op, EVT SrcVT, SDValue Chain, SDValue StackSlot,
700                       SelectionDAG &DAG) const;
701
702   protected:
703     std::pair<const TargetRegisterClass*, uint8_t>
704     findRepresentativeClass(EVT VT) const;
705
706   private:
707     /// Subtarget - Keep a pointer to the X86Subtarget around so that we can
708     /// make the right decision when generating code for different targets.
709     const X86Subtarget *Subtarget;
710     const X86RegisterInfo *RegInfo;
711     const TargetData *TD;
712
713     /// X86StackPtr - X86 physical register used as stack ptr.
714     unsigned X86StackPtr;
715
716     /// X86ScalarSSEf32, X86ScalarSSEf64 - Select between SSE or x87
717     /// floating point ops.
718     /// When SSE is available, use it for f32 operations.
719     /// When SSE2 is available, use it for f64 operations.
720     bool X86ScalarSSEf32;
721     bool X86ScalarSSEf64;
722
723     /// LegalFPImmediates - A list of legal fp immediates.
724     std::vector<APFloat> LegalFPImmediates;
725
726     /// addLegalFPImmediate - Indicate that this x86 target can instruction
727     /// select the specified FP immediate natively.
728     void addLegalFPImmediate(const APFloat& Imm) {
729       LegalFPImmediates.push_back(Imm);
730     }
731
732     SDValue LowerCallResult(SDValue Chain, SDValue InFlag,
733                             CallingConv::ID CallConv, bool isVarArg,
734                             const SmallVectorImpl<ISD::InputArg> &Ins,
735                             DebugLoc dl, SelectionDAG &DAG,
736                             SmallVectorImpl<SDValue> &InVals) const;
737     SDValue LowerMemArgument(SDValue Chain,
738                              CallingConv::ID CallConv,
739                              const SmallVectorImpl<ISD::InputArg> &ArgInfo,
740                              DebugLoc dl, SelectionDAG &DAG,
741                              const CCValAssign &VA,  MachineFrameInfo *MFI,
742                               unsigned i) const;
743     SDValue LowerMemOpCallTo(SDValue Chain, SDValue StackPtr, SDValue Arg,
744                              DebugLoc dl, SelectionDAG &DAG,
745                              const CCValAssign &VA,
746                              ISD::ArgFlagsTy Flags) const;
747
748     // Call lowering helpers.
749
750     /// IsEligibleForTailCallOptimization - Check whether the call is eligible
751     /// for tail call optimization. Targets which want to do tail call
752     /// optimization should implement this function.
753     bool IsEligibleForTailCallOptimization(SDValue Callee,
754                                            CallingConv::ID CalleeCC,
755                                            bool isVarArg,
756                                            bool isCalleeStructRet,
757                                            bool isCallerStructRet,
758                                     const SmallVectorImpl<ISD::OutputArg> &Outs,
759                                     const SmallVectorImpl<SDValue> &OutVals,
760                                     const SmallVectorImpl<ISD::InputArg> &Ins,
761                                            SelectionDAG& DAG) const;
762     bool IsCalleePop(bool isVarArg, CallingConv::ID CallConv) const;
763     SDValue EmitTailCallLoadRetAddr(SelectionDAG &DAG, SDValue &OutRetAddr,
764                                 SDValue Chain, bool IsTailCall, bool Is64Bit,
765                                 int FPDiff, DebugLoc dl) const;
766
767     unsigned GetAlignedArgumentStackSize(unsigned StackSize,
768                                          SelectionDAG &DAG) const;
769
770     std::pair<SDValue,SDValue> FP_TO_INTHelper(SDValue Op, SelectionDAG &DAG,
771                                                bool isSigned) const;
772
773     SDValue LowerAsSplatVectorLoad(SDValue SrcOp, EVT VT, DebugLoc dl,
774                                    SelectionDAG &DAG) const;
775     SDValue LowerBUILD_VECTOR(SDValue Op, SelectionDAG &DAG) const;
776     SDValue LowerCONCAT_VECTORS(SDValue Op, SelectionDAG &DAG) const;
777     SDValue LowerVECTOR_SHUFFLE(SDValue Op, SelectionDAG &DAG) const;
778     SDValue LowerEXTRACT_VECTOR_ELT(SDValue Op, SelectionDAG &DAG) const;
779     SDValue LowerEXTRACT_VECTOR_ELT_SSE4(SDValue Op, SelectionDAG &DAG) const;
780     SDValue LowerINSERT_VECTOR_ELT(SDValue Op, SelectionDAG &DAG) const;
781     SDValue LowerINSERT_VECTOR_ELT_SSE4(SDValue Op, SelectionDAG &DAG) const;
782     SDValue LowerSCALAR_TO_VECTOR(SDValue Op, SelectionDAG &DAG) const;
783     SDValue LowerEXTRACT_SUBVECTOR(SDValue Op, SelectionDAG &DAG) const;
784     SDValue LowerINSERT_SUBVECTOR(SDValue Op, SelectionDAG &DAG) const;
785     SDValue LowerConstantPool(SDValue Op, SelectionDAG &DAG) const;
786     SDValue LowerBlockAddress(SDValue Op, SelectionDAG &DAG) const;
787     SDValue LowerGlobalAddress(const GlobalValue *GV, DebugLoc dl,
788                                int64_t Offset, SelectionDAG &DAG) const;
789     SDValue LowerGlobalAddress(SDValue Op, SelectionDAG &DAG) const;
790     SDValue LowerGlobalTLSAddress(SDValue Op, SelectionDAG &DAG) const;
791     SDValue LowerExternalSymbol(SDValue Op, SelectionDAG &DAG) const;
792     SDValue LowerShiftParts(SDValue Op, SelectionDAG &DAG) const;
793     SDValue LowerBITCAST(SDValue op, SelectionDAG &DAG) const;
794     SDValue LowerSINT_TO_FP(SDValue Op, SelectionDAG &DAG) const;
795     SDValue LowerUINT_TO_FP(SDValue Op, SelectionDAG &DAG) const;
796     SDValue LowerUINT_TO_FP_i64(SDValue Op, SelectionDAG &DAG) const;
797     SDValue LowerUINT_TO_FP_i32(SDValue Op, SelectionDAG &DAG) const;
798     SDValue LowerFP_TO_SINT(SDValue Op, SelectionDAG &DAG) const;
799     SDValue LowerFP_TO_UINT(SDValue Op, SelectionDAG &DAG) const;
800     SDValue LowerFABS(SDValue Op, SelectionDAG &DAG) const;
801     SDValue LowerFNEG(SDValue Op, SelectionDAG &DAG) const;
802     SDValue LowerFCOPYSIGN(SDValue Op, SelectionDAG &DAG) const;
803     SDValue LowerFGETSIGN(SDValue Op, SelectionDAG &DAG) const;
804     SDValue LowerToBT(SDValue And, ISD::CondCode CC,
805                       DebugLoc dl, SelectionDAG &DAG) const;
806     SDValue LowerSETCC(SDValue Op, SelectionDAG &DAG) const;
807     SDValue LowerVSETCC(SDValue Op, SelectionDAG &DAG) const;
808     SDValue LowerSELECT(SDValue Op, SelectionDAG &DAG) const;
809     SDValue LowerBRCOND(SDValue Op, SelectionDAG &DAG) const;
810     SDValue LowerMEMSET(SDValue Op, SelectionDAG &DAG) const;
811     SDValue LowerJumpTable(SDValue Op, SelectionDAG &DAG) const;
812     SDValue LowerDYNAMIC_STACKALLOC(SDValue Op, SelectionDAG &DAG) const;
813     SDValue LowerVASTART(SDValue Op, SelectionDAG &DAG) const;
814     SDValue LowerVAARG(SDValue Op, SelectionDAG &DAG) const;
815     SDValue LowerVACOPY(SDValue Op, SelectionDAG &DAG) const;
816     SDValue LowerINTRINSIC_WO_CHAIN(SDValue Op, SelectionDAG &DAG) const;
817     SDValue LowerRETURNADDR(SDValue Op, SelectionDAG &DAG) const;
818     SDValue LowerFRAMEADDR(SDValue Op, SelectionDAG &DAG) const;
819     SDValue LowerFRAME_TO_ARGS_OFFSET(SDValue Op, SelectionDAG &DAG) const;
820     SDValue LowerEH_RETURN(SDValue Op, SelectionDAG &DAG) const;
821     SDValue LowerINIT_TRAMPOLINE(SDValue Op, SelectionDAG &DAG) const;
822     SDValue LowerADJUST_TRAMPOLINE(SDValue Op, SelectionDAG &DAG) const;
823     SDValue LowerFLT_ROUNDS_(SDValue Op, SelectionDAG &DAG) const;
824     SDValue LowerCTLZ(SDValue Op, SelectionDAG &DAG) const;
825     SDValue LowerCTLZ_ZERO_UNDEF(SDValue Op, SelectionDAG &DAG) const;
826     SDValue LowerCTTZ(SDValue Op, SelectionDAG &DAG) const;
827     SDValue LowerADD(SDValue Op, SelectionDAG &DAG) const;
828     SDValue LowerSUB(SDValue Op, SelectionDAG &DAG) const;
829     SDValue LowerMUL(SDValue Op, SelectionDAG &DAG) const;
830     SDValue LowerShift(SDValue Op, SelectionDAG &DAG) const;
831     SDValue LowerXALUO(SDValue Op, SelectionDAG &DAG) const;
832
833     SDValue LowerCMP_SWAP(SDValue Op, SelectionDAG &DAG) const;
834     SDValue LowerLOAD_SUB(SDValue Op, SelectionDAG &DAG) const;
835     SDValue LowerREADCYCLECOUNTER(SDValue Op, SelectionDAG &DAG) const;
836     SDValue LowerMEMBARRIER(SDValue Op, SelectionDAG &DAG) const;
837     SDValue LowerATOMIC_FENCE(SDValue Op, SelectionDAG &DAG) const;
838     SDValue LowerSIGN_EXTEND_INREG(SDValue Op, SelectionDAG &DAG) const;
839
840     // Utility functions to help LowerVECTOR_SHUFFLE
841     SDValue LowerVECTOR_SHUFFLEv8i16(SDValue Op, SelectionDAG &DAG) const;
842
843     virtual SDValue
844       LowerFormalArguments(SDValue Chain,
845                            CallingConv::ID CallConv, bool isVarArg,
846                            const SmallVectorImpl<ISD::InputArg> &Ins,
847                            DebugLoc dl, SelectionDAG &DAG,
848                            SmallVectorImpl<SDValue> &InVals) const;
849     virtual SDValue
850       LowerCall(SDValue Chain, SDValue Callee,
851                 CallingConv::ID CallConv, bool isVarArg, bool &isTailCall,
852                 const SmallVectorImpl<ISD::OutputArg> &Outs,
853                 const SmallVectorImpl<SDValue> &OutVals,
854                 const SmallVectorImpl<ISD::InputArg> &Ins,
855                 DebugLoc dl, SelectionDAG &DAG,
856                 SmallVectorImpl<SDValue> &InVals) const;
857
858     virtual SDValue
859       LowerReturn(SDValue Chain,
860                   CallingConv::ID CallConv, bool isVarArg,
861                   const SmallVectorImpl<ISD::OutputArg> &Outs,
862                   const SmallVectorImpl<SDValue> &OutVals,
863                   DebugLoc dl, SelectionDAG &DAG) const;
864
865     virtual bool isUsedByReturnOnly(SDNode *N) const;
866
867     virtual bool mayBeEmittedAsTailCall(CallInst *CI) const;
868
869     virtual EVT
870     getTypeForExtArgOrReturn(LLVMContext &Context, EVT VT,
871                              ISD::NodeType ExtendKind) const;
872
873     virtual bool
874     CanLowerReturn(CallingConv::ID CallConv, MachineFunction &MF,
875                    bool isVarArg,
876                    const SmallVectorImpl<ISD::OutputArg> &Outs,
877                    LLVMContext &Context) const;
878
879     void ReplaceATOMIC_BINARY_64(SDNode *N, SmallVectorImpl<SDValue> &Results,
880                                  SelectionDAG &DAG, unsigned NewOp) const;
881
882     /// Utility function to emit string processing sse4.2 instructions
883     /// that return in xmm0.
884     /// This takes the instruction to expand, the associated machine basic
885     /// block, the number of args, and whether or not the second arg is
886     /// in memory or not.
887     MachineBasicBlock *EmitPCMP(MachineInstr *BInstr, MachineBasicBlock *BB,
888                                 unsigned argNum, bool inMem) const;
889
890     /// Utility functions to emit monitor and mwait instructions. These
891     /// need to make sure that the arguments to the intrinsic are in the
892     /// correct registers.
893     MachineBasicBlock *EmitMonitor(MachineInstr *MI,
894                                    MachineBasicBlock *BB) const;
895     MachineBasicBlock *EmitMwait(MachineInstr *MI, MachineBasicBlock *BB) const;
896
897     /// Utility function to emit atomic bitwise operations (and, or, xor).
898     /// It takes the bitwise instruction to expand, the associated machine basic
899     /// block, and the associated X86 opcodes for reg/reg and reg/imm.
900     MachineBasicBlock *EmitAtomicBitwiseWithCustomInserter(
901                                                     MachineInstr *BInstr,
902                                                     MachineBasicBlock *BB,
903                                                     unsigned regOpc,
904                                                     unsigned immOpc,
905                                                     unsigned loadOpc,
906                                                     unsigned cxchgOpc,
907                                                     unsigned notOpc,
908                                                     unsigned EAXreg,
909                                                     TargetRegisterClass *RC,
910                                                     bool invSrc = false) const;
911
912     MachineBasicBlock *EmitAtomicBit6432WithCustomInserter(
913                                                     MachineInstr *BInstr,
914                                                     MachineBasicBlock *BB,
915                                                     unsigned regOpcL,
916                                                     unsigned regOpcH,
917                                                     unsigned immOpcL,
918                                                     unsigned immOpcH,
919                                                     bool invSrc = false) const;
920
921     /// Utility function to emit atomic min and max.  It takes the min/max
922     /// instruction to expand, the associated basic block, and the associated
923     /// cmov opcode for moving the min or max value.
924     MachineBasicBlock *EmitAtomicMinMaxWithCustomInserter(MachineInstr *BInstr,
925                                                           MachineBasicBlock *BB,
926                                                         unsigned cmovOpc) const;
927
928     // Utility function to emit the low-level va_arg code for X86-64.
929     MachineBasicBlock *EmitVAARG64WithCustomInserter(
930                        MachineInstr *MI,
931                        MachineBasicBlock *MBB) const;
932
933     /// Utility function to emit the xmm reg save portion of va_start.
934     MachineBasicBlock *EmitVAStartSaveXMMRegsWithCustomInserter(
935                                                    MachineInstr *BInstr,
936                                                    MachineBasicBlock *BB) const;
937
938     MachineBasicBlock *EmitLoweredSelect(MachineInstr *I,
939                                          MachineBasicBlock *BB) const;
940
941     MachineBasicBlock *EmitLoweredWinAlloca(MachineInstr *MI,
942                                               MachineBasicBlock *BB) const;
943
944     MachineBasicBlock *EmitLoweredSegAlloca(MachineInstr *MI,
945                                             MachineBasicBlock *BB,
946                                             bool Is64Bit) const;
947
948     MachineBasicBlock *EmitLoweredTLSCall(MachineInstr *MI,
949                                           MachineBasicBlock *BB) const;
950
951     MachineBasicBlock *emitLoweredTLSAddr(MachineInstr *MI,
952                                           MachineBasicBlock *BB) const;
953
954     /// Emit nodes that will be selected as "test Op0,Op0", or something
955     /// equivalent, for use with the given x86 condition code.
956     SDValue EmitTest(SDValue Op0, unsigned X86CC, SelectionDAG &DAG) const;
957
958     /// Emit nodes that will be selected as "cmp Op0,Op1", or something
959     /// equivalent, for use with the given x86 condition code.
960     SDValue EmitCmp(SDValue Op0, SDValue Op1, unsigned X86CC,
961                     SelectionDAG &DAG) const;
962   };
963
964   namespace X86 {
965     FastISel *createFastISel(FunctionLoweringInfo &funcInfo);
966   }
967 }
968
969 #endif    // X86ISELLOWERING_H