[CodeGen] Fix FREM on 32-bit MSVC on x86
[oota-llvm.git] / lib / Target / X86 / X86ISelLowering.cpp
1 //===-- X86ISelLowering.cpp - X86 DAG Lowering Implementation -------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines the interfaces that X86 uses to lower LLVM code into a
11 // selection DAG.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #include "X86ISelLowering.h"
16 #include "Utils/X86ShuffleDecode.h"
17 #include "X86CallingConv.h"
18 #include "X86FrameLowering.h"
19 #include "X86InstrBuilder.h"
20 #include "X86MachineFunctionInfo.h"
21 #include "X86TargetMachine.h"
22 #include "X86TargetObjectFile.h"
23 #include "llvm/ADT/SmallBitVector.h"
24 #include "llvm/ADT/SmallSet.h"
25 #include "llvm/ADT/Statistic.h"
26 #include "llvm/ADT/StringExtras.h"
27 #include "llvm/ADT/StringSwitch.h"
28 #include "llvm/CodeGen/IntrinsicLowering.h"
29 #include "llvm/CodeGen/MachineFrameInfo.h"
30 #include "llvm/CodeGen/MachineFunction.h"
31 #include "llvm/CodeGen/MachineInstrBuilder.h"
32 #include "llvm/CodeGen/MachineJumpTableInfo.h"
33 #include "llvm/CodeGen/MachineModuleInfo.h"
34 #include "llvm/CodeGen/MachineRegisterInfo.h"
35 #include "llvm/CodeGen/WinEHFuncInfo.h"
36 #include "llvm/IR/CallSite.h"
37 #include "llvm/IR/CallingConv.h"
38 #include "llvm/IR/Constants.h"
39 #include "llvm/IR/DerivedTypes.h"
40 #include "llvm/IR/Function.h"
41 #include "llvm/IR/GlobalAlias.h"
42 #include "llvm/IR/GlobalVariable.h"
43 #include "llvm/IR/Instructions.h"
44 #include "llvm/IR/Intrinsics.h"
45 #include "llvm/MC/MCAsmInfo.h"
46 #include "llvm/MC/MCContext.h"
47 #include "llvm/MC/MCExpr.h"
48 #include "llvm/MC/MCSymbol.h"
49 #include "llvm/Support/CommandLine.h"
50 #include "llvm/Support/Debug.h"
51 #include "llvm/Support/ErrorHandling.h"
52 #include "llvm/Support/MathExtras.h"
53 #include "llvm/Target/TargetOptions.h"
54 #include "X86IntrinsicsInfo.h"
55 #include <bitset>
56 #include <numeric>
57 #include <cctype>
58 using namespace llvm;
59
60 #define DEBUG_TYPE "x86-isel"
61
62 STATISTIC(NumTailCalls, "Number of tail calls");
63
64 static cl::opt<bool> ExperimentalVectorWideningLegalization(
65     "x86-experimental-vector-widening-legalization", cl::init(false),
66     cl::desc("Enable an experimental vector type legalization through widening "
67              "rather than promotion."),
68     cl::Hidden);
69
70 X86TargetLowering::X86TargetLowering(const X86TargetMachine &TM,
71                                      const X86Subtarget &STI)
72     : TargetLowering(TM), Subtarget(&STI) {
73   X86ScalarSSEf64 = Subtarget->hasSSE2();
74   X86ScalarSSEf32 = Subtarget->hasSSE1();
75   MVT PtrVT = MVT::getIntegerVT(8 * TM.getPointerSize());
76
77   // Set up the TargetLowering object.
78   static const MVT IntVTs[] = { MVT::i8, MVT::i16, MVT::i32, MVT::i64 };
79
80   // X86 is weird. It always uses i8 for shift amounts and setcc results.
81   setBooleanContents(ZeroOrOneBooleanContent);
82   // X86-SSE is even stranger. It uses -1 or 0 for vector masks.
83   setBooleanVectorContents(ZeroOrNegativeOneBooleanContent);
84
85   // For 64-bit, since we have so many registers, use the ILP scheduler.
86   // For 32-bit, use the register pressure specific scheduling.
87   // For Atom, always use ILP scheduling.
88   if (Subtarget->isAtom())
89     setSchedulingPreference(Sched::ILP);
90   else if (Subtarget->is64Bit())
91     setSchedulingPreference(Sched::ILP);
92   else
93     setSchedulingPreference(Sched::RegPressure);
94   const X86RegisterInfo *RegInfo = Subtarget->getRegisterInfo();
95   setStackPointerRegisterToSaveRestore(RegInfo->getStackRegister());
96
97   // Bypass expensive divides on Atom when compiling with O2.
98   if (TM.getOptLevel() >= CodeGenOpt::Default) {
99     if (Subtarget->hasSlowDivide32())
100       addBypassSlowDiv(32, 8);
101     if (Subtarget->hasSlowDivide64() && Subtarget->is64Bit())
102       addBypassSlowDiv(64, 16);
103   }
104
105   if (Subtarget->isTargetKnownWindowsMSVC()) {
106     // Setup Windows compiler runtime calls.
107     setLibcallName(RTLIB::SDIV_I64, "_alldiv");
108     setLibcallName(RTLIB::UDIV_I64, "_aulldiv");
109     setLibcallName(RTLIB::SREM_I64, "_allrem");
110     setLibcallName(RTLIB::UREM_I64, "_aullrem");
111     setLibcallName(RTLIB::MUL_I64, "_allmul");
112     setLibcallCallingConv(RTLIB::SDIV_I64, CallingConv::X86_StdCall);
113     setLibcallCallingConv(RTLIB::UDIV_I64, CallingConv::X86_StdCall);
114     setLibcallCallingConv(RTLIB::SREM_I64, CallingConv::X86_StdCall);
115     setLibcallCallingConv(RTLIB::UREM_I64, CallingConv::X86_StdCall);
116     setLibcallCallingConv(RTLIB::MUL_I64, CallingConv::X86_StdCall);
117   }
118
119   if (Subtarget->isTargetDarwin()) {
120     // Darwin should use _setjmp/_longjmp instead of setjmp/longjmp.
121     setUseUnderscoreSetJmp(false);
122     setUseUnderscoreLongJmp(false);
123   } else if (Subtarget->isTargetWindowsGNU()) {
124     // MS runtime is weird: it exports _setjmp, but longjmp!
125     setUseUnderscoreSetJmp(true);
126     setUseUnderscoreLongJmp(false);
127   } else {
128     setUseUnderscoreSetJmp(true);
129     setUseUnderscoreLongJmp(true);
130   }
131
132   // Set up the register classes.
133   addRegisterClass(MVT::i8, &X86::GR8RegClass);
134   addRegisterClass(MVT::i16, &X86::GR16RegClass);
135   addRegisterClass(MVT::i32, &X86::GR32RegClass);
136   if (Subtarget->is64Bit())
137     addRegisterClass(MVT::i64, &X86::GR64RegClass);
138
139   for (MVT VT : MVT::integer_valuetypes())
140     setLoadExtAction(ISD::SEXTLOAD, VT, MVT::i1, Promote);
141
142   // We don't accept any truncstore of integer registers.
143   setTruncStoreAction(MVT::i64, MVT::i32, Expand);
144   setTruncStoreAction(MVT::i64, MVT::i16, Expand);
145   setTruncStoreAction(MVT::i64, MVT::i8 , Expand);
146   setTruncStoreAction(MVT::i32, MVT::i16, Expand);
147   setTruncStoreAction(MVT::i32, MVT::i8 , Expand);
148   setTruncStoreAction(MVT::i16, MVT::i8,  Expand);
149
150   setTruncStoreAction(MVT::f64, MVT::f32, Expand);
151
152   // SETOEQ and SETUNE require checking two conditions.
153   setCondCodeAction(ISD::SETOEQ, MVT::f32, Expand);
154   setCondCodeAction(ISD::SETOEQ, MVT::f64, Expand);
155   setCondCodeAction(ISD::SETOEQ, MVT::f80, Expand);
156   setCondCodeAction(ISD::SETUNE, MVT::f32, Expand);
157   setCondCodeAction(ISD::SETUNE, MVT::f64, Expand);
158   setCondCodeAction(ISD::SETUNE, MVT::f80, Expand);
159
160   // Promote all UINT_TO_FP to larger SINT_TO_FP's, as X86 doesn't have this
161   // operation.
162   setOperationAction(ISD::UINT_TO_FP       , MVT::i1   , Promote);
163   setOperationAction(ISD::UINT_TO_FP       , MVT::i8   , Promote);
164   setOperationAction(ISD::UINT_TO_FP       , MVT::i16  , Promote);
165
166   if (Subtarget->is64Bit()) {
167     setOperationAction(ISD::UINT_TO_FP     , MVT::i32  , Promote);
168     setOperationAction(ISD::UINT_TO_FP     , MVT::i64  , Custom);
169   } else if (!Subtarget->useSoftFloat()) {
170     // We have an algorithm for SSE2->double, and we turn this into a
171     // 64-bit FILD followed by conditional FADD for other targets.
172     setOperationAction(ISD::UINT_TO_FP     , MVT::i64  , Custom);
173     // We have an algorithm for SSE2, and we turn this into a 64-bit
174     // FILD for other targets.
175     setOperationAction(ISD::UINT_TO_FP     , MVT::i32  , Custom);
176   }
177
178   // Promote i1/i8 SINT_TO_FP to larger SINT_TO_FP's, as X86 doesn't have
179   // this operation.
180   setOperationAction(ISD::SINT_TO_FP       , MVT::i1   , Promote);
181   setOperationAction(ISD::SINT_TO_FP       , MVT::i8   , Promote);
182
183   if (!Subtarget->useSoftFloat()) {
184     // SSE has no i16 to fp conversion, only i32
185     if (X86ScalarSSEf32) {
186       setOperationAction(ISD::SINT_TO_FP     , MVT::i16  , Promote);
187       // f32 and f64 cases are Legal, f80 case is not
188       setOperationAction(ISD::SINT_TO_FP     , MVT::i32  , Custom);
189     } else {
190       setOperationAction(ISD::SINT_TO_FP     , MVT::i16  , Custom);
191       setOperationAction(ISD::SINT_TO_FP     , MVT::i32  , Custom);
192     }
193   } else {
194     setOperationAction(ISD::SINT_TO_FP     , MVT::i16  , Promote);
195     setOperationAction(ISD::SINT_TO_FP     , MVT::i32  , Promote);
196   }
197
198   // In 32-bit mode these are custom lowered.  In 64-bit mode F32 and F64
199   // are Legal, f80 is custom lowered.
200   setOperationAction(ISD::FP_TO_SINT     , MVT::i64  , Custom);
201   setOperationAction(ISD::SINT_TO_FP     , MVT::i64  , Custom);
202
203   // Promote i1/i8 FP_TO_SINT to larger FP_TO_SINTS's, as X86 doesn't have
204   // this operation.
205   setOperationAction(ISD::FP_TO_SINT       , MVT::i1   , Promote);
206   setOperationAction(ISD::FP_TO_SINT       , MVT::i8   , Promote);
207
208   if (X86ScalarSSEf32) {
209     setOperationAction(ISD::FP_TO_SINT     , MVT::i16  , Promote);
210     // f32 and f64 cases are Legal, f80 case is not
211     setOperationAction(ISD::FP_TO_SINT     , MVT::i32  , Custom);
212   } else {
213     setOperationAction(ISD::FP_TO_SINT     , MVT::i16  , Custom);
214     setOperationAction(ISD::FP_TO_SINT     , MVT::i32  , Custom);
215   }
216
217   // Handle FP_TO_UINT by promoting the destination to a larger signed
218   // conversion.
219   setOperationAction(ISD::FP_TO_UINT       , MVT::i1   , Promote);
220   setOperationAction(ISD::FP_TO_UINT       , MVT::i8   , Promote);
221   setOperationAction(ISD::FP_TO_UINT       , MVT::i16  , Promote);
222
223   if (Subtarget->is64Bit()) {
224     if (!Subtarget->useSoftFloat() && Subtarget->hasAVX512()) {
225       // FP_TO_UINT-i32/i64 is legal for f32/f64, but custom for f80.
226       setOperationAction(ISD::FP_TO_UINT   , MVT::i32  , Custom);
227       setOperationAction(ISD::FP_TO_UINT   , MVT::i64  , Custom);
228     } else {
229       setOperationAction(ISD::FP_TO_UINT   , MVT::i32  , Promote);
230       setOperationAction(ISD::FP_TO_UINT   , MVT::i64  , Expand);
231     }
232   } else if (!Subtarget->useSoftFloat()) {
233     // Since AVX is a superset of SSE3, only check for SSE here.
234     if (Subtarget->hasSSE1() && !Subtarget->hasSSE3())
235       // Expand FP_TO_UINT into a select.
236       // FIXME: We would like to use a Custom expander here eventually to do
237       // the optimal thing for SSE vs. the default expansion in the legalizer.
238       setOperationAction(ISD::FP_TO_UINT   , MVT::i32  , Expand);
239     else
240       // With AVX512 we can use vcvts[ds]2usi for f32/f64->i32, f80 is custom.
241       // With SSE3 we can use fisttpll to convert to a signed i64; without
242       // SSE, we're stuck with a fistpll.
243       setOperationAction(ISD::FP_TO_UINT   , MVT::i32  , Custom);
244
245     setOperationAction(ISD::FP_TO_UINT     , MVT::i64  , Custom);
246   }
247
248   // TODO: when we have SSE, these could be more efficient, by using movd/movq.
249   if (!X86ScalarSSEf64) {
250     setOperationAction(ISD::BITCAST        , MVT::f32  , Expand);
251     setOperationAction(ISD::BITCAST        , MVT::i32  , Expand);
252     if (Subtarget->is64Bit()) {
253       setOperationAction(ISD::BITCAST      , MVT::f64  , Expand);
254       // Without SSE, i64->f64 goes through memory.
255       setOperationAction(ISD::BITCAST      , MVT::i64  , Expand);
256     }
257   }
258
259   // Scalar integer divide and remainder are lowered to use operations that
260   // produce two results, to match the available instructions. This exposes
261   // the two-result form to trivial CSE, which is able to combine x/y and x%y
262   // into a single instruction.
263   //
264   // Scalar integer multiply-high is also lowered to use two-result
265   // operations, to match the available instructions. However, plain multiply
266   // (low) operations are left as Legal, as there are single-result
267   // instructions for this in x86. Using the two-result multiply instructions
268   // when both high and low results are needed must be arranged by dagcombine.
269   for (unsigned i = 0; i != array_lengthof(IntVTs); ++i) {
270     MVT VT = IntVTs[i];
271     setOperationAction(ISD::MULHS, VT, Expand);
272     setOperationAction(ISD::MULHU, VT, Expand);
273     setOperationAction(ISD::SDIV, VT, Expand);
274     setOperationAction(ISD::UDIV, VT, Expand);
275     setOperationAction(ISD::SREM, VT, Expand);
276     setOperationAction(ISD::UREM, VT, Expand);
277
278     // Add/Sub overflow ops with MVT::Glues are lowered to EFLAGS dependences.
279     setOperationAction(ISD::ADDC, VT, Custom);
280     setOperationAction(ISD::ADDE, VT, Custom);
281     setOperationAction(ISD::SUBC, VT, Custom);
282     setOperationAction(ISD::SUBE, VT, Custom);
283   }
284
285   setOperationAction(ISD::BR_JT            , MVT::Other, Expand);
286   setOperationAction(ISD::BRCOND           , MVT::Other, Custom);
287   setOperationAction(ISD::BR_CC            , MVT::f32,   Expand);
288   setOperationAction(ISD::BR_CC            , MVT::f64,   Expand);
289   setOperationAction(ISD::BR_CC            , MVT::f80,   Expand);
290   setOperationAction(ISD::BR_CC            , MVT::i8,    Expand);
291   setOperationAction(ISD::BR_CC            , MVT::i16,   Expand);
292   setOperationAction(ISD::BR_CC            , MVT::i32,   Expand);
293   setOperationAction(ISD::BR_CC            , MVT::i64,   Expand);
294   setOperationAction(ISD::SELECT_CC        , MVT::f32,   Expand);
295   setOperationAction(ISD::SELECT_CC        , MVT::f64,   Expand);
296   setOperationAction(ISD::SELECT_CC        , MVT::f80,   Expand);
297   setOperationAction(ISD::SELECT_CC        , MVT::i8,    Expand);
298   setOperationAction(ISD::SELECT_CC        , MVT::i16,   Expand);
299   setOperationAction(ISD::SELECT_CC        , MVT::i32,   Expand);
300   setOperationAction(ISD::SELECT_CC        , MVT::i64,   Expand);
301   if (Subtarget->is64Bit())
302     setOperationAction(ISD::SIGN_EXTEND_INREG, MVT::i32, Legal);
303   setOperationAction(ISD::SIGN_EXTEND_INREG, MVT::i16  , Legal);
304   setOperationAction(ISD::SIGN_EXTEND_INREG, MVT::i8   , Legal);
305   setOperationAction(ISD::SIGN_EXTEND_INREG, MVT::i1   , Expand);
306   setOperationAction(ISD::FP_ROUND_INREG   , MVT::f32  , Expand);
307
308   if (Subtarget->is32Bit() && Subtarget->isTargetKnownWindowsMSVC()) {
309     // On 32 bit MSVC, `fmodf(f32)` is not defined - only `fmod(f64)`
310     // is. We should promote the value to 64-bits to solve this.
311     // This is what the CRT headers do - `fmodf` is an inline header
312     // function casting to f64 and calling `fmod`.
313     setOperationAction(ISD::FREM           , MVT::f32  , Promote);
314   } else {
315     setOperationAction(ISD::FREM           , MVT::f32  , Expand);
316   }
317
318   setOperationAction(ISD::FREM             , MVT::f64  , Expand);
319   setOperationAction(ISD::FREM             , MVT::f80  , Expand);
320   setOperationAction(ISD::FLT_ROUNDS_      , MVT::i32  , Custom);
321
322   // Promote the i8 variants and force them on up to i32 which has a shorter
323   // encoding.
324   setOperationAction(ISD::CTTZ             , MVT::i8   , Promote);
325   AddPromotedToType (ISD::CTTZ             , MVT::i8   , MVT::i32);
326   setOperationAction(ISD::CTTZ_ZERO_UNDEF  , MVT::i8   , Promote);
327   AddPromotedToType (ISD::CTTZ_ZERO_UNDEF  , MVT::i8   , MVT::i32);
328   if (Subtarget->hasBMI()) {
329     setOperationAction(ISD::CTTZ_ZERO_UNDEF, MVT::i16  , Expand);
330     setOperationAction(ISD::CTTZ_ZERO_UNDEF, MVT::i32  , Expand);
331     if (Subtarget->is64Bit())
332       setOperationAction(ISD::CTTZ_ZERO_UNDEF, MVT::i64, Expand);
333   } else {
334     setOperationAction(ISD::CTTZ           , MVT::i16  , Custom);
335     setOperationAction(ISD::CTTZ           , MVT::i32  , Custom);
336     if (Subtarget->is64Bit())
337       setOperationAction(ISD::CTTZ         , MVT::i64  , Custom);
338   }
339
340   if (Subtarget->hasLZCNT()) {
341     // When promoting the i8 variants, force them to i32 for a shorter
342     // encoding.
343     setOperationAction(ISD::CTLZ           , MVT::i8   , Promote);
344     AddPromotedToType (ISD::CTLZ           , MVT::i8   , MVT::i32);
345     setOperationAction(ISD::CTLZ_ZERO_UNDEF, MVT::i8   , Promote);
346     AddPromotedToType (ISD::CTLZ_ZERO_UNDEF, MVT::i8   , MVT::i32);
347     setOperationAction(ISD::CTLZ_ZERO_UNDEF, MVT::i16  , Expand);
348     setOperationAction(ISD::CTLZ_ZERO_UNDEF, MVT::i32  , Expand);
349     if (Subtarget->is64Bit())
350       setOperationAction(ISD::CTLZ_ZERO_UNDEF, MVT::i64, Expand);
351   } else {
352     setOperationAction(ISD::CTLZ           , MVT::i8   , Custom);
353     setOperationAction(ISD::CTLZ           , MVT::i16  , Custom);
354     setOperationAction(ISD::CTLZ           , MVT::i32  , Custom);
355     setOperationAction(ISD::CTLZ_ZERO_UNDEF, MVT::i8   , Custom);
356     setOperationAction(ISD::CTLZ_ZERO_UNDEF, MVT::i16  , Custom);
357     setOperationAction(ISD::CTLZ_ZERO_UNDEF, MVT::i32  , Custom);
358     if (Subtarget->is64Bit()) {
359       setOperationAction(ISD::CTLZ         , MVT::i64  , Custom);
360       setOperationAction(ISD::CTLZ_ZERO_UNDEF, MVT::i64, Custom);
361     }
362   }
363
364   // Special handling for half-precision floating point conversions.
365   // If we don't have F16C support, then lower half float conversions
366   // into library calls.
367   if (Subtarget->useSoftFloat() || !Subtarget->hasF16C()) {
368     setOperationAction(ISD::FP16_TO_FP, MVT::f32, Expand);
369     setOperationAction(ISD::FP_TO_FP16, MVT::f32, Expand);
370   }
371
372   // There's never any support for operations beyond MVT::f32.
373   setOperationAction(ISD::FP16_TO_FP, MVT::f64, Expand);
374   setOperationAction(ISD::FP16_TO_FP, MVT::f80, Expand);
375   setOperationAction(ISD::FP_TO_FP16, MVT::f64, Expand);
376   setOperationAction(ISD::FP_TO_FP16, MVT::f80, Expand);
377
378   setLoadExtAction(ISD::EXTLOAD, MVT::f32, MVT::f16, Expand);
379   setLoadExtAction(ISD::EXTLOAD, MVT::f64, MVT::f16, Expand);
380   setLoadExtAction(ISD::EXTLOAD, MVT::f80, MVT::f16, Expand);
381   setTruncStoreAction(MVT::f32, MVT::f16, Expand);
382   setTruncStoreAction(MVT::f64, MVT::f16, Expand);
383   setTruncStoreAction(MVT::f80, MVT::f16, Expand);
384
385   if (Subtarget->hasPOPCNT()) {
386     setOperationAction(ISD::CTPOP          , MVT::i8   , Promote);
387   } else {
388     setOperationAction(ISD::CTPOP          , MVT::i8   , Expand);
389     setOperationAction(ISD::CTPOP          , MVT::i16  , Expand);
390     setOperationAction(ISD::CTPOP          , MVT::i32  , Expand);
391     if (Subtarget->is64Bit())
392       setOperationAction(ISD::CTPOP        , MVT::i64  , Expand);
393   }
394
395   setOperationAction(ISD::READCYCLECOUNTER , MVT::i64  , Custom);
396
397   if (!Subtarget->hasMOVBE())
398     setOperationAction(ISD::BSWAP          , MVT::i16  , Expand);
399
400   // These should be promoted to a larger select which is supported.
401   setOperationAction(ISD::SELECT          , MVT::i1   , Promote);
402   // X86 wants to expand cmov itself.
403   setOperationAction(ISD::SELECT          , MVT::i8   , Custom);
404   setOperationAction(ISD::SELECT          , MVT::i16  , Custom);
405   setOperationAction(ISD::SELECT          , MVT::i32  , Custom);
406   setOperationAction(ISD::SELECT          , MVT::f32  , Custom);
407   setOperationAction(ISD::SELECT          , MVT::f64  , Custom);
408   setOperationAction(ISD::SELECT          , MVT::f80  , Custom);
409   setOperationAction(ISD::SETCC           , MVT::i8   , Custom);
410   setOperationAction(ISD::SETCC           , MVT::i16  , Custom);
411   setOperationAction(ISD::SETCC           , MVT::i32  , Custom);
412   setOperationAction(ISD::SETCC           , MVT::f32  , Custom);
413   setOperationAction(ISD::SETCC           , MVT::f64  , Custom);
414   setOperationAction(ISD::SETCC           , MVT::f80  , Custom);
415   if (Subtarget->is64Bit()) {
416     setOperationAction(ISD::SELECT        , MVT::i64  , Custom);
417     setOperationAction(ISD::SETCC         , MVT::i64  , Custom);
418   }
419   setOperationAction(ISD::EH_RETURN       , MVT::Other, Custom);
420   setOperationAction(ISD::CATCHRET        , MVT::Other, Custom);
421   // NOTE: EH_SJLJ_SETJMP/_LONGJMP supported here is NOT intended to support
422   // SjLj exception handling but a light-weight setjmp/longjmp replacement to
423   // support continuation, user-level threading, and etc.. As a result, no
424   // other SjLj exception interfaces are implemented and please don't build
425   // your own exception handling based on them.
426   // LLVM/Clang supports zero-cost DWARF exception handling.
427   setOperationAction(ISD::EH_SJLJ_SETJMP, MVT::i32, Custom);
428   setOperationAction(ISD::EH_SJLJ_LONGJMP, MVT::Other, Custom);
429
430   // Darwin ABI issue.
431   setOperationAction(ISD::ConstantPool    , MVT::i32  , Custom);
432   setOperationAction(ISD::JumpTable       , MVT::i32  , Custom);
433   setOperationAction(ISD::GlobalAddress   , MVT::i32  , Custom);
434   setOperationAction(ISD::GlobalTLSAddress, MVT::i32  , Custom);
435   if (Subtarget->is64Bit())
436     setOperationAction(ISD::GlobalTLSAddress, MVT::i64, Custom);
437   setOperationAction(ISD::ExternalSymbol  , MVT::i32  , Custom);
438   setOperationAction(ISD::BlockAddress    , MVT::i32  , Custom);
439   if (Subtarget->is64Bit()) {
440     setOperationAction(ISD::ConstantPool  , MVT::i64  , Custom);
441     setOperationAction(ISD::JumpTable     , MVT::i64  , Custom);
442     setOperationAction(ISD::GlobalAddress , MVT::i64  , Custom);
443     setOperationAction(ISD::ExternalSymbol, MVT::i64  , Custom);
444     setOperationAction(ISD::BlockAddress  , MVT::i64  , Custom);
445   }
446   // 64-bit addm sub, shl, sra, srl (iff 32-bit x86)
447   setOperationAction(ISD::SHL_PARTS       , MVT::i32  , Custom);
448   setOperationAction(ISD::SRA_PARTS       , MVT::i32  , Custom);
449   setOperationAction(ISD::SRL_PARTS       , MVT::i32  , Custom);
450   if (Subtarget->is64Bit()) {
451     setOperationAction(ISD::SHL_PARTS     , MVT::i64  , Custom);
452     setOperationAction(ISD::SRA_PARTS     , MVT::i64  , Custom);
453     setOperationAction(ISD::SRL_PARTS     , MVT::i64  , Custom);
454   }
455
456   if (Subtarget->hasSSE1())
457     setOperationAction(ISD::PREFETCH      , MVT::Other, Legal);
458
459   setOperationAction(ISD::ATOMIC_FENCE  , MVT::Other, Custom);
460
461   // Expand certain atomics
462   for (unsigned i = 0; i != array_lengthof(IntVTs); ++i) {
463     MVT VT = IntVTs[i];
464     setOperationAction(ISD::ATOMIC_CMP_SWAP_WITH_SUCCESS, VT, Custom);
465     setOperationAction(ISD::ATOMIC_LOAD_SUB, VT, Custom);
466     setOperationAction(ISD::ATOMIC_STORE, VT, Custom);
467   }
468
469   if (Subtarget->hasCmpxchg16b()) {
470     setOperationAction(ISD::ATOMIC_CMP_SWAP_WITH_SUCCESS, MVT::i128, Custom);
471   }
472
473   // FIXME - use subtarget debug flags
474   if (!Subtarget->isTargetDarwin() && !Subtarget->isTargetELF() &&
475       !Subtarget->isTargetCygMing() && !Subtarget->isTargetWin64()) {
476     setOperationAction(ISD::EH_LABEL, MVT::Other, Expand);
477   }
478
479   if (Subtarget->isTarget64BitLP64()) {
480     setExceptionPointerRegister(X86::RAX);
481     setExceptionSelectorRegister(X86::RDX);
482   } else {
483     setExceptionPointerRegister(X86::EAX);
484     setExceptionSelectorRegister(X86::EDX);
485   }
486   setOperationAction(ISD::FRAME_TO_ARGS_OFFSET, MVT::i32, Custom);
487   setOperationAction(ISD::FRAME_TO_ARGS_OFFSET, MVT::i64, Custom);
488
489   setOperationAction(ISD::INIT_TRAMPOLINE, MVT::Other, Custom);
490   setOperationAction(ISD::ADJUST_TRAMPOLINE, MVT::Other, Custom);
491
492   setOperationAction(ISD::TRAP, MVT::Other, Legal);
493   setOperationAction(ISD::DEBUGTRAP, MVT::Other, Legal);
494
495   // VASTART needs to be custom lowered to use the VarArgsFrameIndex
496   setOperationAction(ISD::VASTART           , MVT::Other, Custom);
497   setOperationAction(ISD::VAEND             , MVT::Other, Expand);
498   if (Subtarget->is64Bit()) {
499     setOperationAction(ISD::VAARG           , MVT::Other, Custom);
500     setOperationAction(ISD::VACOPY          , MVT::Other, Custom);
501   } else {
502     // TargetInfo::CharPtrBuiltinVaList
503     setOperationAction(ISD::VAARG           , MVT::Other, Expand);
504     setOperationAction(ISD::VACOPY          , MVT::Other, Expand);
505   }
506
507   setOperationAction(ISD::STACKSAVE,          MVT::Other, Expand);
508   setOperationAction(ISD::STACKRESTORE,       MVT::Other, Expand);
509
510   setOperationAction(ISD::DYNAMIC_STACKALLOC, PtrVT, Custom);
511
512   // GC_TRANSITION_START and GC_TRANSITION_END need custom lowering.
513   setOperationAction(ISD::GC_TRANSITION_START, MVT::Other, Custom);
514   setOperationAction(ISD::GC_TRANSITION_END, MVT::Other, Custom);
515
516   if (!Subtarget->useSoftFloat() && X86ScalarSSEf64) {
517     // f32 and f64 use SSE.
518     // Set up the FP register classes.
519     addRegisterClass(MVT::f32, &X86::FR32RegClass);
520     addRegisterClass(MVT::f64, &X86::FR64RegClass);
521
522     // Use ANDPD to simulate FABS.
523     setOperationAction(ISD::FABS , MVT::f64, Custom);
524     setOperationAction(ISD::FABS , MVT::f32, Custom);
525
526     // Use XORP to simulate FNEG.
527     setOperationAction(ISD::FNEG , MVT::f64, Custom);
528     setOperationAction(ISD::FNEG , MVT::f32, Custom);
529
530     // Use ANDPD and ORPD to simulate FCOPYSIGN.
531     setOperationAction(ISD::FCOPYSIGN, MVT::f64, Custom);
532     setOperationAction(ISD::FCOPYSIGN, MVT::f32, Custom);
533
534     // Lower this to FGETSIGNx86 plus an AND.
535     setOperationAction(ISD::FGETSIGN, MVT::i64, Custom);
536     setOperationAction(ISD::FGETSIGN, MVT::i32, Custom);
537
538     // We don't support sin/cos/fmod
539     setOperationAction(ISD::FSIN   , MVT::f64, Expand);
540     setOperationAction(ISD::FCOS   , MVT::f64, Expand);
541     setOperationAction(ISD::FSINCOS, MVT::f64, Expand);
542     setOperationAction(ISD::FSIN   , MVT::f32, Expand);
543     setOperationAction(ISD::FCOS   , MVT::f32, Expand);
544     setOperationAction(ISD::FSINCOS, MVT::f32, Expand);
545
546     // Expand FP immediates into loads from the stack, except for the special
547     // cases we handle.
548     addLegalFPImmediate(APFloat(+0.0)); // xorpd
549     addLegalFPImmediate(APFloat(+0.0f)); // xorps
550   } else if (!Subtarget->useSoftFloat() && X86ScalarSSEf32) {
551     // Use SSE for f32, x87 for f64.
552     // Set up the FP register classes.
553     addRegisterClass(MVT::f32, &X86::FR32RegClass);
554     addRegisterClass(MVT::f64, &X86::RFP64RegClass);
555
556     // Use ANDPS to simulate FABS.
557     setOperationAction(ISD::FABS , MVT::f32, Custom);
558
559     // Use XORP to simulate FNEG.
560     setOperationAction(ISD::FNEG , MVT::f32, Custom);
561
562     setOperationAction(ISD::UNDEF,     MVT::f64, Expand);
563
564     // Use ANDPS and ORPS to simulate FCOPYSIGN.
565     setOperationAction(ISD::FCOPYSIGN, MVT::f64, Expand);
566     setOperationAction(ISD::FCOPYSIGN, MVT::f32, Custom);
567
568     // We don't support sin/cos/fmod
569     setOperationAction(ISD::FSIN   , MVT::f32, Expand);
570     setOperationAction(ISD::FCOS   , MVT::f32, Expand);
571     setOperationAction(ISD::FSINCOS, MVT::f32, Expand);
572
573     // Special cases we handle for FP constants.
574     addLegalFPImmediate(APFloat(+0.0f)); // xorps
575     addLegalFPImmediate(APFloat(+0.0)); // FLD0
576     addLegalFPImmediate(APFloat(+1.0)); // FLD1
577     addLegalFPImmediate(APFloat(-0.0)); // FLD0/FCHS
578     addLegalFPImmediate(APFloat(-1.0)); // FLD1/FCHS
579
580     if (!TM.Options.UnsafeFPMath) {
581       setOperationAction(ISD::FSIN   , MVT::f64, Expand);
582       setOperationAction(ISD::FCOS   , MVT::f64, Expand);
583       setOperationAction(ISD::FSINCOS, MVT::f64, Expand);
584     }
585   } else if (!Subtarget->useSoftFloat()) {
586     // f32 and f64 in x87.
587     // Set up the FP register classes.
588     addRegisterClass(MVT::f64, &X86::RFP64RegClass);
589     addRegisterClass(MVT::f32, &X86::RFP32RegClass);
590
591     setOperationAction(ISD::UNDEF,     MVT::f64, Expand);
592     setOperationAction(ISD::UNDEF,     MVT::f32, Expand);
593     setOperationAction(ISD::FCOPYSIGN, MVT::f64, Expand);
594     setOperationAction(ISD::FCOPYSIGN, MVT::f32, Expand);
595
596     if (!TM.Options.UnsafeFPMath) {
597       setOperationAction(ISD::FSIN   , MVT::f64, Expand);
598       setOperationAction(ISD::FSIN   , MVT::f32, Expand);
599       setOperationAction(ISD::FCOS   , MVT::f64, Expand);
600       setOperationAction(ISD::FCOS   , MVT::f32, Expand);
601       setOperationAction(ISD::FSINCOS, MVT::f64, Expand);
602       setOperationAction(ISD::FSINCOS, MVT::f32, Expand);
603     }
604     addLegalFPImmediate(APFloat(+0.0)); // FLD0
605     addLegalFPImmediate(APFloat(+1.0)); // FLD1
606     addLegalFPImmediate(APFloat(-0.0)); // FLD0/FCHS
607     addLegalFPImmediate(APFloat(-1.0)); // FLD1/FCHS
608     addLegalFPImmediate(APFloat(+0.0f)); // FLD0
609     addLegalFPImmediate(APFloat(+1.0f)); // FLD1
610     addLegalFPImmediate(APFloat(-0.0f)); // FLD0/FCHS
611     addLegalFPImmediate(APFloat(-1.0f)); // FLD1/FCHS
612   }
613
614   // We don't support FMA.
615   setOperationAction(ISD::FMA, MVT::f64, Expand);
616   setOperationAction(ISD::FMA, MVT::f32, Expand);
617
618   // Long double always uses X87.
619   if (!Subtarget->useSoftFloat()) {
620     addRegisterClass(MVT::f80, &X86::RFP80RegClass);
621     setOperationAction(ISD::UNDEF,     MVT::f80, Expand);
622     setOperationAction(ISD::FCOPYSIGN, MVT::f80, Expand);
623     {
624       APFloat TmpFlt = APFloat::getZero(APFloat::x87DoubleExtended);
625       addLegalFPImmediate(TmpFlt);  // FLD0
626       TmpFlt.changeSign();
627       addLegalFPImmediate(TmpFlt);  // FLD0/FCHS
628
629       bool ignored;
630       APFloat TmpFlt2(+1.0);
631       TmpFlt2.convert(APFloat::x87DoubleExtended, APFloat::rmNearestTiesToEven,
632                       &ignored);
633       addLegalFPImmediate(TmpFlt2);  // FLD1
634       TmpFlt2.changeSign();
635       addLegalFPImmediate(TmpFlt2);  // FLD1/FCHS
636     }
637
638     if (!TM.Options.UnsafeFPMath) {
639       setOperationAction(ISD::FSIN   , MVT::f80, Expand);
640       setOperationAction(ISD::FCOS   , MVT::f80, Expand);
641       setOperationAction(ISD::FSINCOS, MVT::f80, Expand);
642     }
643
644     setOperationAction(ISD::FFLOOR, MVT::f80, Expand);
645     setOperationAction(ISD::FCEIL,  MVT::f80, Expand);
646     setOperationAction(ISD::FTRUNC, MVT::f80, Expand);
647     setOperationAction(ISD::FRINT,  MVT::f80, Expand);
648     setOperationAction(ISD::FNEARBYINT, MVT::f80, Expand);
649     setOperationAction(ISD::FMA, MVT::f80, Expand);
650   }
651
652   // Always use a library call for pow.
653   setOperationAction(ISD::FPOW             , MVT::f32  , Expand);
654   setOperationAction(ISD::FPOW             , MVT::f64  , Expand);
655   setOperationAction(ISD::FPOW             , MVT::f80  , Expand);
656
657   setOperationAction(ISD::FLOG, MVT::f80, Expand);
658   setOperationAction(ISD::FLOG2, MVT::f80, Expand);
659   setOperationAction(ISD::FLOG10, MVT::f80, Expand);
660   setOperationAction(ISD::FEXP, MVT::f80, Expand);
661   setOperationAction(ISD::FEXP2, MVT::f80, Expand);
662   setOperationAction(ISD::FMINNUM, MVT::f80, Expand);
663   setOperationAction(ISD::FMAXNUM, MVT::f80, Expand);
664
665   // First set operation action for all vector types to either promote
666   // (for widening) or expand (for scalarization). Then we will selectively
667   // turn on ones that can be effectively codegen'd.
668   for (MVT VT : MVT::vector_valuetypes()) {
669     setOperationAction(ISD::ADD , VT, Expand);
670     setOperationAction(ISD::SUB , VT, Expand);
671     setOperationAction(ISD::FADD, VT, Expand);
672     setOperationAction(ISD::FNEG, VT, Expand);
673     setOperationAction(ISD::FSUB, VT, Expand);
674     setOperationAction(ISD::MUL , VT, Expand);
675     setOperationAction(ISD::FMUL, VT, Expand);
676     setOperationAction(ISD::SDIV, VT, Expand);
677     setOperationAction(ISD::UDIV, VT, Expand);
678     setOperationAction(ISD::FDIV, VT, Expand);
679     setOperationAction(ISD::SREM, VT, Expand);
680     setOperationAction(ISD::UREM, VT, Expand);
681     setOperationAction(ISD::LOAD, VT, Expand);
682     setOperationAction(ISD::VECTOR_SHUFFLE, VT, Expand);
683     setOperationAction(ISD::EXTRACT_VECTOR_ELT, VT,Expand);
684     setOperationAction(ISD::INSERT_VECTOR_ELT, VT, Expand);
685     setOperationAction(ISD::EXTRACT_SUBVECTOR, VT,Expand);
686     setOperationAction(ISD::INSERT_SUBVECTOR, VT,Expand);
687     setOperationAction(ISD::FABS, VT, Expand);
688     setOperationAction(ISD::FSIN, VT, Expand);
689     setOperationAction(ISD::FSINCOS, VT, Expand);
690     setOperationAction(ISD::FCOS, VT, Expand);
691     setOperationAction(ISD::FSINCOS, VT, Expand);
692     setOperationAction(ISD::FREM, VT, Expand);
693     setOperationAction(ISD::FMA,  VT, Expand);
694     setOperationAction(ISD::FPOWI, VT, Expand);
695     setOperationAction(ISD::FSQRT, VT, Expand);
696     setOperationAction(ISD::FCOPYSIGN, VT, Expand);
697     setOperationAction(ISD::FFLOOR, VT, Expand);
698     setOperationAction(ISD::FCEIL, VT, Expand);
699     setOperationAction(ISD::FTRUNC, VT, Expand);
700     setOperationAction(ISD::FRINT, VT, Expand);
701     setOperationAction(ISD::FNEARBYINT, VT, Expand);
702     setOperationAction(ISD::SMUL_LOHI, VT, Expand);
703     setOperationAction(ISD::MULHS, VT, Expand);
704     setOperationAction(ISD::UMUL_LOHI, VT, Expand);
705     setOperationAction(ISD::MULHU, VT, Expand);
706     setOperationAction(ISD::SDIVREM, VT, Expand);
707     setOperationAction(ISD::UDIVREM, VT, Expand);
708     setOperationAction(ISD::FPOW, VT, Expand);
709     setOperationAction(ISD::CTPOP, VT, Expand);
710     setOperationAction(ISD::CTTZ, VT, Expand);
711     setOperationAction(ISD::CTTZ_ZERO_UNDEF, VT, Expand);
712     setOperationAction(ISD::CTLZ, VT, Expand);
713     setOperationAction(ISD::CTLZ_ZERO_UNDEF, VT, Expand);
714     setOperationAction(ISD::SHL, VT, Expand);
715     setOperationAction(ISD::SRA, VT, Expand);
716     setOperationAction(ISD::SRL, VT, Expand);
717     setOperationAction(ISD::ROTL, VT, Expand);
718     setOperationAction(ISD::ROTR, VT, Expand);
719     setOperationAction(ISD::BSWAP, VT, Expand);
720     setOperationAction(ISD::SETCC, VT, Expand);
721     setOperationAction(ISD::FLOG, VT, Expand);
722     setOperationAction(ISD::FLOG2, VT, Expand);
723     setOperationAction(ISD::FLOG10, VT, Expand);
724     setOperationAction(ISD::FEXP, VT, Expand);
725     setOperationAction(ISD::FEXP2, VT, Expand);
726     setOperationAction(ISD::FP_TO_UINT, VT, Expand);
727     setOperationAction(ISD::FP_TO_SINT, VT, Expand);
728     setOperationAction(ISD::UINT_TO_FP, VT, Expand);
729     setOperationAction(ISD::SINT_TO_FP, VT, Expand);
730     setOperationAction(ISD::SIGN_EXTEND_INREG, VT,Expand);
731     setOperationAction(ISD::TRUNCATE, VT, Expand);
732     setOperationAction(ISD::SIGN_EXTEND, VT, Expand);
733     setOperationAction(ISD::ZERO_EXTEND, VT, Expand);
734     setOperationAction(ISD::ANY_EXTEND, VT, Expand);
735     setOperationAction(ISD::VSELECT, VT, Expand);
736     setOperationAction(ISD::SELECT_CC, VT, Expand);
737     for (MVT InnerVT : MVT::vector_valuetypes()) {
738       setTruncStoreAction(InnerVT, VT, Expand);
739
740       setLoadExtAction(ISD::SEXTLOAD, InnerVT, VT, Expand);
741       setLoadExtAction(ISD::ZEXTLOAD, InnerVT, VT, Expand);
742
743       // N.b. ISD::EXTLOAD legality is basically ignored except for i1-like
744       // types, we have to deal with them whether we ask for Expansion or not.
745       // Setting Expand causes its own optimisation problems though, so leave
746       // them legal.
747       if (VT.getVectorElementType() == MVT::i1)
748         setLoadExtAction(ISD::EXTLOAD, InnerVT, VT, Expand);
749
750       // EXTLOAD for MVT::f16 vectors is not legal because f16 vectors are
751       // split/scalarized right now.
752       if (VT.getVectorElementType() == MVT::f16)
753         setLoadExtAction(ISD::EXTLOAD, InnerVT, VT, Expand);
754     }
755   }
756
757   // FIXME: In order to prevent SSE instructions being expanded to MMX ones
758   // with -msoft-float, disable use of MMX as well.
759   if (!Subtarget->useSoftFloat() && Subtarget->hasMMX()) {
760     addRegisterClass(MVT::x86mmx, &X86::VR64RegClass);
761     // No operations on x86mmx supported, everything uses intrinsics.
762   }
763
764   // MMX-sized vectors (other than x86mmx) are expected to be expanded
765   // into smaller operations.
766   for (MVT MMXTy : {MVT::v8i8, MVT::v4i16, MVT::v2i32, MVT::v1i64}) {
767     setOperationAction(ISD::MULHS,              MMXTy,      Expand);
768     setOperationAction(ISD::AND,                MMXTy,      Expand);
769     setOperationAction(ISD::OR,                 MMXTy,      Expand);
770     setOperationAction(ISD::XOR,                MMXTy,      Expand);
771     setOperationAction(ISD::SCALAR_TO_VECTOR,   MMXTy,      Expand);
772     setOperationAction(ISD::SELECT,             MMXTy,      Expand);
773     setOperationAction(ISD::BITCAST,            MMXTy,      Expand);
774   }
775   setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v1i64, Expand);
776
777   if (!Subtarget->useSoftFloat() && Subtarget->hasSSE1()) {
778     addRegisterClass(MVT::v4f32, &X86::VR128RegClass);
779
780     setOperationAction(ISD::FADD,               MVT::v4f32, Legal);
781     setOperationAction(ISD::FSUB,               MVT::v4f32, Legal);
782     setOperationAction(ISD::FMUL,               MVT::v4f32, Legal);
783     setOperationAction(ISD::FDIV,               MVT::v4f32, Legal);
784     setOperationAction(ISD::FSQRT,              MVT::v4f32, Legal);
785     setOperationAction(ISD::FNEG,               MVT::v4f32, Custom);
786     setOperationAction(ISD::FABS,               MVT::v4f32, Custom);
787     setOperationAction(ISD::LOAD,               MVT::v4f32, Legal);
788     setOperationAction(ISD::BUILD_VECTOR,       MVT::v4f32, Custom);
789     setOperationAction(ISD::VECTOR_SHUFFLE,     MVT::v4f32, Custom);
790     setOperationAction(ISD::VSELECT,            MVT::v4f32, Custom);
791     setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v4f32, Custom);
792     setOperationAction(ISD::SELECT,             MVT::v4f32, Custom);
793     setOperationAction(ISD::UINT_TO_FP,         MVT::v4i32, Custom);
794   }
795
796   if (!Subtarget->useSoftFloat() && Subtarget->hasSSE2()) {
797     addRegisterClass(MVT::v2f64, &X86::VR128RegClass);
798
799     // FIXME: Unfortunately, -soft-float and -no-implicit-float mean XMM
800     // registers cannot be used even for integer operations.
801     addRegisterClass(MVT::v16i8, &X86::VR128RegClass);
802     addRegisterClass(MVT::v8i16, &X86::VR128RegClass);
803     addRegisterClass(MVT::v4i32, &X86::VR128RegClass);
804     addRegisterClass(MVT::v2i64, &X86::VR128RegClass);
805
806     setOperationAction(ISD::ADD,                MVT::v16i8, Legal);
807     setOperationAction(ISD::ADD,                MVT::v8i16, Legal);
808     setOperationAction(ISD::ADD,                MVT::v4i32, Legal);
809     setOperationAction(ISD::ADD,                MVT::v2i64, Legal);
810     setOperationAction(ISD::MUL,                MVT::v16i8, Custom);
811     setOperationAction(ISD::MUL,                MVT::v4i32, Custom);
812     setOperationAction(ISD::MUL,                MVT::v2i64, Custom);
813     setOperationAction(ISD::UMUL_LOHI,          MVT::v4i32, Custom);
814     setOperationAction(ISD::SMUL_LOHI,          MVT::v4i32, Custom);
815     setOperationAction(ISD::MULHU,              MVT::v8i16, Legal);
816     setOperationAction(ISD::MULHS,              MVT::v8i16, Legal);
817     setOperationAction(ISD::SUB,                MVT::v16i8, Legal);
818     setOperationAction(ISD::SUB,                MVT::v8i16, Legal);
819     setOperationAction(ISD::SUB,                MVT::v4i32, Legal);
820     setOperationAction(ISD::SUB,                MVT::v2i64, Legal);
821     setOperationAction(ISD::MUL,                MVT::v8i16, Legal);
822     setOperationAction(ISD::FADD,               MVT::v2f64, Legal);
823     setOperationAction(ISD::FSUB,               MVT::v2f64, Legal);
824     setOperationAction(ISD::FMUL,               MVT::v2f64, Legal);
825     setOperationAction(ISD::FDIV,               MVT::v2f64, Legal);
826     setOperationAction(ISD::FSQRT,              MVT::v2f64, Legal);
827     setOperationAction(ISD::FNEG,               MVT::v2f64, Custom);
828     setOperationAction(ISD::FABS,               MVT::v2f64, Custom);
829
830     setOperationAction(ISD::SMAX,               MVT::v8i16, Legal);
831     setOperationAction(ISD::UMAX,               MVT::v16i8, Legal);
832     setOperationAction(ISD::SMIN,               MVT::v8i16, Legal);
833     setOperationAction(ISD::UMIN,               MVT::v16i8, Legal);
834
835     setOperationAction(ISD::SETCC,              MVT::v2i64, Custom);
836     setOperationAction(ISD::SETCC,              MVT::v16i8, Custom);
837     setOperationAction(ISD::SETCC,              MVT::v8i16, Custom);
838     setOperationAction(ISD::SETCC,              MVT::v4i32, Custom);
839
840     setOperationAction(ISD::SCALAR_TO_VECTOR,   MVT::v16i8, Custom);
841     setOperationAction(ISD::SCALAR_TO_VECTOR,   MVT::v8i16, Custom);
842     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v8i16, Custom);
843     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v4i32, Custom);
844     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v4f32, Custom);
845
846     setOperationAction(ISD::CTPOP,              MVT::v16i8, Custom);
847     setOperationAction(ISD::CTPOP,              MVT::v8i16, Custom);
848     setOperationAction(ISD::CTPOP,              MVT::v4i32, Custom);
849     setOperationAction(ISD::CTPOP,              MVT::v2i64, Custom);
850
851     // Custom lower build_vector, vector_shuffle, and extract_vector_elt.
852     for (int i = MVT::v16i8; i != MVT::v2i64; ++i) {
853       MVT VT = (MVT::SimpleValueType)i;
854       // Do not attempt to custom lower non-power-of-2 vectors
855       if (!isPowerOf2_32(VT.getVectorNumElements()))
856         continue;
857       // Do not attempt to custom lower non-128-bit vectors
858       if (!VT.is128BitVector())
859         continue;
860       setOperationAction(ISD::BUILD_VECTOR,       VT, Custom);
861       setOperationAction(ISD::VECTOR_SHUFFLE,     VT, Custom);
862       setOperationAction(ISD::VSELECT,            VT, Custom);
863       setOperationAction(ISD::EXTRACT_VECTOR_ELT, VT, Custom);
864     }
865
866     // We support custom legalizing of sext and anyext loads for specific
867     // memory vector types which we can load as a scalar (or sequence of
868     // scalars) and extend in-register to a legal 128-bit vector type. For sext
869     // loads these must work with a single scalar load.
870     for (MVT VT : MVT::integer_vector_valuetypes()) {
871       setLoadExtAction(ISD::SEXTLOAD, VT, MVT::v4i8, Custom);
872       setLoadExtAction(ISD::SEXTLOAD, VT, MVT::v4i16, Custom);
873       setLoadExtAction(ISD::SEXTLOAD, VT, MVT::v8i8, Custom);
874       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v2i8, Custom);
875       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v2i16, Custom);
876       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v2i32, Custom);
877       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v4i8, Custom);
878       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v4i16, Custom);
879       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v8i8, Custom);
880     }
881
882     setOperationAction(ISD::BUILD_VECTOR,       MVT::v2f64, Custom);
883     setOperationAction(ISD::BUILD_VECTOR,       MVT::v2i64, Custom);
884     setOperationAction(ISD::VECTOR_SHUFFLE,     MVT::v2f64, Custom);
885     setOperationAction(ISD::VECTOR_SHUFFLE,     MVT::v2i64, Custom);
886     setOperationAction(ISD::VSELECT,            MVT::v2f64, Custom);
887     setOperationAction(ISD::VSELECT,            MVT::v2i64, Custom);
888     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v2f64, Custom);
889     setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v2f64, Custom);
890
891     if (Subtarget->is64Bit()) {
892       setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v2i64, Custom);
893       setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v2i64, Custom);
894     }
895
896     // Promote v16i8, v8i16, v4i32 load, select, and, or, xor to v2i64.
897     for (int i = MVT::v16i8; i != MVT::v2i64; ++i) {
898       MVT VT = (MVT::SimpleValueType)i;
899
900       // Do not attempt to promote non-128-bit vectors
901       if (!VT.is128BitVector())
902         continue;
903
904       setOperationAction(ISD::AND,    VT, Promote);
905       AddPromotedToType (ISD::AND,    VT, MVT::v2i64);
906       setOperationAction(ISD::OR,     VT, Promote);
907       AddPromotedToType (ISD::OR,     VT, MVT::v2i64);
908       setOperationAction(ISD::XOR,    VT, Promote);
909       AddPromotedToType (ISD::XOR,    VT, MVT::v2i64);
910       setOperationAction(ISD::LOAD,   VT, Promote);
911       AddPromotedToType (ISD::LOAD,   VT, MVT::v2i64);
912       setOperationAction(ISD::SELECT, VT, Promote);
913       AddPromotedToType (ISD::SELECT, VT, MVT::v2i64);
914     }
915
916     // Custom lower v2i64 and v2f64 selects.
917     setOperationAction(ISD::LOAD,               MVT::v2f64, Legal);
918     setOperationAction(ISD::LOAD,               MVT::v2i64, Legal);
919     setOperationAction(ISD::SELECT,             MVT::v2f64, Custom);
920     setOperationAction(ISD::SELECT,             MVT::v2i64, Custom);
921
922     setOperationAction(ISD::FP_TO_SINT,         MVT::v4i32, Legal);
923     setOperationAction(ISD::SINT_TO_FP,         MVT::v4i32, Legal);
924
925     setOperationAction(ISD::SINT_TO_FP,         MVT::v2i32, Custom);
926
927     setOperationAction(ISD::UINT_TO_FP,         MVT::v4i8,  Custom);
928     setOperationAction(ISD::UINT_TO_FP,         MVT::v4i16, Custom);
929     // As there is no 64-bit GPR available, we need build a special custom
930     // sequence to convert from v2i32 to v2f32.
931     if (!Subtarget->is64Bit())
932       setOperationAction(ISD::UINT_TO_FP,       MVT::v2f32, Custom);
933
934     setOperationAction(ISD::FP_EXTEND,          MVT::v2f32, Custom);
935     setOperationAction(ISD::FP_ROUND,           MVT::v2f32, Custom);
936
937     for (MVT VT : MVT::fp_vector_valuetypes())
938       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v2f32, Legal);
939
940     setOperationAction(ISD::BITCAST,            MVT::v2i32, Custom);
941     setOperationAction(ISD::BITCAST,            MVT::v4i16, Custom);
942     setOperationAction(ISD::BITCAST,            MVT::v8i8,  Custom);
943   }
944
945   if (!Subtarget->useSoftFloat() && Subtarget->hasSSE41()) {
946     for (MVT RoundedTy : {MVT::f32, MVT::f64, MVT::v4f32, MVT::v2f64}) {
947       setOperationAction(ISD::FFLOOR,           RoundedTy,  Legal);
948       setOperationAction(ISD::FCEIL,            RoundedTy,  Legal);
949       setOperationAction(ISD::FTRUNC,           RoundedTy,  Legal);
950       setOperationAction(ISD::FRINT,            RoundedTy,  Legal);
951       setOperationAction(ISD::FNEARBYINT,       RoundedTy,  Legal);
952     }
953
954     setOperationAction(ISD::SMAX,               MVT::v16i8, Legal);
955     setOperationAction(ISD::SMAX,               MVT::v4i32, Legal);
956     setOperationAction(ISD::UMAX,               MVT::v8i16, Legal);
957     setOperationAction(ISD::UMAX,               MVT::v4i32, Legal);
958     setOperationAction(ISD::SMIN,               MVT::v16i8, Legal);
959     setOperationAction(ISD::SMIN,               MVT::v4i32, Legal);
960     setOperationAction(ISD::UMIN,               MVT::v8i16, Legal);
961     setOperationAction(ISD::UMIN,               MVT::v4i32, Legal);
962
963     // FIXME: Do we need to handle scalar-to-vector here?
964     setOperationAction(ISD::MUL,                MVT::v4i32, Legal);
965
966     // We directly match byte blends in the backend as they match the VSELECT
967     // condition form.
968     setOperationAction(ISD::VSELECT,            MVT::v16i8, Legal);
969
970     // SSE41 brings specific instructions for doing vector sign extend even in
971     // cases where we don't have SRA.
972     for (MVT VT : MVT::integer_vector_valuetypes()) {
973       setLoadExtAction(ISD::SEXTLOAD, VT, MVT::v2i8, Custom);
974       setLoadExtAction(ISD::SEXTLOAD, VT, MVT::v2i16, Custom);
975       setLoadExtAction(ISD::SEXTLOAD, VT, MVT::v2i32, Custom);
976     }
977
978     // SSE41 also has vector sign/zero extending loads, PMOV[SZ]X
979     setLoadExtAction(ISD::SEXTLOAD, MVT::v8i16, MVT::v8i8,  Legal);
980     setLoadExtAction(ISD::SEXTLOAD, MVT::v4i32, MVT::v4i8,  Legal);
981     setLoadExtAction(ISD::SEXTLOAD, MVT::v2i64, MVT::v2i8,  Legal);
982     setLoadExtAction(ISD::SEXTLOAD, MVT::v4i32, MVT::v4i16, Legal);
983     setLoadExtAction(ISD::SEXTLOAD, MVT::v2i64, MVT::v2i16, Legal);
984     setLoadExtAction(ISD::SEXTLOAD, MVT::v2i64, MVT::v2i32, Legal);
985
986     setLoadExtAction(ISD::ZEXTLOAD, MVT::v8i16, MVT::v8i8,  Legal);
987     setLoadExtAction(ISD::ZEXTLOAD, MVT::v4i32, MVT::v4i8,  Legal);
988     setLoadExtAction(ISD::ZEXTLOAD, MVT::v2i64, MVT::v2i8,  Legal);
989     setLoadExtAction(ISD::ZEXTLOAD, MVT::v4i32, MVT::v4i16, Legal);
990     setLoadExtAction(ISD::ZEXTLOAD, MVT::v2i64, MVT::v2i16, Legal);
991     setLoadExtAction(ISD::ZEXTLOAD, MVT::v2i64, MVT::v2i32, Legal);
992
993     // i8 and i16 vectors are custom because the source register and source
994     // source memory operand types are not the same width.  f32 vectors are
995     // custom since the immediate controlling the insert encodes additional
996     // information.
997     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v16i8, Custom);
998     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v8i16, Custom);
999     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v4i32, Custom);
1000     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v4f32, Custom);
1001
1002     setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v16i8, Custom);
1003     setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v8i16, Custom);
1004     setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v4i32, Custom);
1005     setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v4f32, Custom);
1006
1007     // FIXME: these should be Legal, but that's only for the case where
1008     // the index is constant.  For now custom expand to deal with that.
1009     if (Subtarget->is64Bit()) {
1010       setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v2i64, Custom);
1011       setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v2i64, Custom);
1012     }
1013   }
1014
1015   if (Subtarget->hasSSE2()) {
1016     setOperationAction(ISD::SIGN_EXTEND_VECTOR_INREG, MVT::v2i64, Custom);
1017     setOperationAction(ISD::SIGN_EXTEND_VECTOR_INREG, MVT::v4i32, Custom);
1018     setOperationAction(ISD::SIGN_EXTEND_VECTOR_INREG, MVT::v8i16, Custom);
1019
1020     setOperationAction(ISD::SRL,               MVT::v8i16, Custom);
1021     setOperationAction(ISD::SRL,               MVT::v16i8, Custom);
1022
1023     setOperationAction(ISD::SHL,               MVT::v8i16, Custom);
1024     setOperationAction(ISD::SHL,               MVT::v16i8, Custom);
1025
1026     setOperationAction(ISD::SRA,               MVT::v8i16, Custom);
1027     setOperationAction(ISD::SRA,               MVT::v16i8, Custom);
1028
1029     // In the customized shift lowering, the legal cases in AVX2 will be
1030     // recognized.
1031     setOperationAction(ISD::SRL,               MVT::v2i64, Custom);
1032     setOperationAction(ISD::SRL,               MVT::v4i32, Custom);
1033
1034     setOperationAction(ISD::SHL,               MVT::v2i64, Custom);
1035     setOperationAction(ISD::SHL,               MVT::v4i32, Custom);
1036
1037     setOperationAction(ISD::SRA,               MVT::v2i64, Custom);
1038     setOperationAction(ISD::SRA,               MVT::v4i32, Custom);
1039   }
1040
1041   if (!Subtarget->useSoftFloat() && Subtarget->hasFp256()) {
1042     addRegisterClass(MVT::v32i8,  &X86::VR256RegClass);
1043     addRegisterClass(MVT::v16i16, &X86::VR256RegClass);
1044     addRegisterClass(MVT::v8i32,  &X86::VR256RegClass);
1045     addRegisterClass(MVT::v8f32,  &X86::VR256RegClass);
1046     addRegisterClass(MVT::v4i64,  &X86::VR256RegClass);
1047     addRegisterClass(MVT::v4f64,  &X86::VR256RegClass);
1048
1049     setOperationAction(ISD::LOAD,               MVT::v8f32, Legal);
1050     setOperationAction(ISD::LOAD,               MVT::v4f64, Legal);
1051     setOperationAction(ISD::LOAD,               MVT::v4i64, Legal);
1052
1053     setOperationAction(ISD::FADD,               MVT::v8f32, Legal);
1054     setOperationAction(ISD::FSUB,               MVT::v8f32, Legal);
1055     setOperationAction(ISD::FMUL,               MVT::v8f32, Legal);
1056     setOperationAction(ISD::FDIV,               MVT::v8f32, Legal);
1057     setOperationAction(ISD::FSQRT,              MVT::v8f32, Legal);
1058     setOperationAction(ISD::FFLOOR,             MVT::v8f32, Legal);
1059     setOperationAction(ISD::FCEIL,              MVT::v8f32, Legal);
1060     setOperationAction(ISD::FTRUNC,             MVT::v8f32, Legal);
1061     setOperationAction(ISD::FRINT,              MVT::v8f32, Legal);
1062     setOperationAction(ISD::FNEARBYINT,         MVT::v8f32, Legal);
1063     setOperationAction(ISD::FNEG,               MVT::v8f32, Custom);
1064     setOperationAction(ISD::FABS,               MVT::v8f32, Custom);
1065
1066     setOperationAction(ISD::FADD,               MVT::v4f64, Legal);
1067     setOperationAction(ISD::FSUB,               MVT::v4f64, Legal);
1068     setOperationAction(ISD::FMUL,               MVT::v4f64, Legal);
1069     setOperationAction(ISD::FDIV,               MVT::v4f64, Legal);
1070     setOperationAction(ISD::FSQRT,              MVT::v4f64, Legal);
1071     setOperationAction(ISD::FFLOOR,             MVT::v4f64, Legal);
1072     setOperationAction(ISD::FCEIL,              MVT::v4f64, Legal);
1073     setOperationAction(ISD::FTRUNC,             MVT::v4f64, Legal);
1074     setOperationAction(ISD::FRINT,              MVT::v4f64, Legal);
1075     setOperationAction(ISD::FNEARBYINT,         MVT::v4f64, Legal);
1076     setOperationAction(ISD::FNEG,               MVT::v4f64, Custom);
1077     setOperationAction(ISD::FABS,               MVT::v4f64, Custom);
1078
1079     // (fp_to_int:v8i16 (v8f32 ..)) requires the result type to be promoted
1080     // even though v8i16 is a legal type.
1081     setOperationAction(ISD::FP_TO_SINT,         MVT::v8i16, Promote);
1082     setOperationAction(ISD::FP_TO_UINT,         MVT::v8i16, Promote);
1083     setOperationAction(ISD::FP_TO_SINT,         MVT::v8i32, Legal);
1084
1085     setOperationAction(ISD::SINT_TO_FP,         MVT::v8i16, Promote);
1086     setOperationAction(ISD::SINT_TO_FP,         MVT::v8i32, Legal);
1087     setOperationAction(ISD::FP_ROUND,           MVT::v4f32, Legal);
1088
1089     setOperationAction(ISD::UINT_TO_FP,         MVT::v8i8,  Custom);
1090     setOperationAction(ISD::UINT_TO_FP,         MVT::v8i16, Custom);
1091
1092     for (MVT VT : MVT::fp_vector_valuetypes())
1093       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v4f32, Legal);
1094
1095     setOperationAction(ISD::SRL,               MVT::v16i16, Custom);
1096     setOperationAction(ISD::SRL,               MVT::v32i8, Custom);
1097
1098     setOperationAction(ISD::SHL,               MVT::v16i16, Custom);
1099     setOperationAction(ISD::SHL,               MVT::v32i8, Custom);
1100
1101     setOperationAction(ISD::SRA,               MVT::v16i16, Custom);
1102     setOperationAction(ISD::SRA,               MVT::v32i8, Custom);
1103
1104     setOperationAction(ISD::SETCC,             MVT::v32i8, Custom);
1105     setOperationAction(ISD::SETCC,             MVT::v16i16, Custom);
1106     setOperationAction(ISD::SETCC,             MVT::v8i32, Custom);
1107     setOperationAction(ISD::SETCC,             MVT::v4i64, Custom);
1108
1109     setOperationAction(ISD::SELECT,            MVT::v4f64, Custom);
1110     setOperationAction(ISD::SELECT,            MVT::v4i64, Custom);
1111     setOperationAction(ISD::SELECT,            MVT::v8f32, Custom);
1112
1113     setOperationAction(ISD::SIGN_EXTEND,       MVT::v4i64, Custom);
1114     setOperationAction(ISD::SIGN_EXTEND,       MVT::v8i32, Custom);
1115     setOperationAction(ISD::SIGN_EXTEND,       MVT::v16i16, Custom);
1116     setOperationAction(ISD::ZERO_EXTEND,       MVT::v4i64, Custom);
1117     setOperationAction(ISD::ZERO_EXTEND,       MVT::v8i32, Custom);
1118     setOperationAction(ISD::ZERO_EXTEND,       MVT::v16i16, Custom);
1119     setOperationAction(ISD::ANY_EXTEND,        MVT::v4i64, Custom);
1120     setOperationAction(ISD::ANY_EXTEND,        MVT::v8i32, Custom);
1121     setOperationAction(ISD::ANY_EXTEND,        MVT::v16i16, Custom);
1122     setOperationAction(ISD::TRUNCATE,          MVT::v16i8, Custom);
1123     setOperationAction(ISD::TRUNCATE,          MVT::v8i16, Custom);
1124     setOperationAction(ISD::TRUNCATE,          MVT::v4i32, Custom);
1125
1126     setOperationAction(ISD::CTPOP,             MVT::v32i8, Custom);
1127     setOperationAction(ISD::CTPOP,             MVT::v16i16, Custom);
1128     setOperationAction(ISD::CTPOP,             MVT::v8i32, Custom);
1129     setOperationAction(ISD::CTPOP,             MVT::v4i64, Custom);
1130
1131     if (Subtarget->hasFMA() || Subtarget->hasFMA4() || Subtarget->hasAVX512()) {
1132       setOperationAction(ISD::FMA,             MVT::v8f32, Legal);
1133       setOperationAction(ISD::FMA,             MVT::v4f64, Legal);
1134       setOperationAction(ISD::FMA,             MVT::v4f32, Legal);
1135       setOperationAction(ISD::FMA,             MVT::v2f64, Legal);
1136       setOperationAction(ISD::FMA,             MVT::f32, Legal);
1137       setOperationAction(ISD::FMA,             MVT::f64, Legal);
1138     }
1139
1140     if (Subtarget->hasInt256()) {
1141       setOperationAction(ISD::ADD,             MVT::v4i64, Legal);
1142       setOperationAction(ISD::ADD,             MVT::v8i32, Legal);
1143       setOperationAction(ISD::ADD,             MVT::v16i16, Legal);
1144       setOperationAction(ISD::ADD,             MVT::v32i8, Legal);
1145
1146       setOperationAction(ISD::SUB,             MVT::v4i64, Legal);
1147       setOperationAction(ISD::SUB,             MVT::v8i32, Legal);
1148       setOperationAction(ISD::SUB,             MVT::v16i16, Legal);
1149       setOperationAction(ISD::SUB,             MVT::v32i8, Legal);
1150
1151       setOperationAction(ISD::MUL,             MVT::v4i64, Custom);
1152       setOperationAction(ISD::MUL,             MVT::v8i32, Legal);
1153       setOperationAction(ISD::MUL,             MVT::v16i16, Legal);
1154       setOperationAction(ISD::MUL,             MVT::v32i8, Custom);
1155
1156       setOperationAction(ISD::UMUL_LOHI,       MVT::v8i32, Custom);
1157       setOperationAction(ISD::SMUL_LOHI,       MVT::v8i32, Custom);
1158       setOperationAction(ISD::MULHU,           MVT::v16i16, Legal);
1159       setOperationAction(ISD::MULHS,           MVT::v16i16, Legal);
1160
1161       setOperationAction(ISD::SMAX,            MVT::v32i8,  Legal);
1162       setOperationAction(ISD::SMAX,            MVT::v16i16, Legal);
1163       setOperationAction(ISD::SMAX,            MVT::v8i32,  Legal);
1164       setOperationAction(ISD::UMAX,            MVT::v32i8,  Legal);
1165       setOperationAction(ISD::UMAX,            MVT::v16i16, Legal);
1166       setOperationAction(ISD::UMAX,            MVT::v8i32,  Legal);
1167       setOperationAction(ISD::SMIN,            MVT::v32i8,  Legal);
1168       setOperationAction(ISD::SMIN,            MVT::v16i16, Legal);
1169       setOperationAction(ISD::SMIN,            MVT::v8i32,  Legal);
1170       setOperationAction(ISD::UMIN,            MVT::v32i8,  Legal);
1171       setOperationAction(ISD::UMIN,            MVT::v16i16, Legal);
1172       setOperationAction(ISD::UMIN,            MVT::v8i32,  Legal);
1173
1174       // The custom lowering for UINT_TO_FP for v8i32 becomes interesting
1175       // when we have a 256bit-wide blend with immediate.
1176       setOperationAction(ISD::UINT_TO_FP, MVT::v8i32, Custom);
1177
1178       // AVX2 also has wider vector sign/zero extending loads, VPMOV[SZ]X
1179       setLoadExtAction(ISD::SEXTLOAD, MVT::v16i16, MVT::v16i8, Legal);
1180       setLoadExtAction(ISD::SEXTLOAD, MVT::v8i32,  MVT::v8i8,  Legal);
1181       setLoadExtAction(ISD::SEXTLOAD, MVT::v4i64,  MVT::v4i8,  Legal);
1182       setLoadExtAction(ISD::SEXTLOAD, MVT::v8i32,  MVT::v8i16, Legal);
1183       setLoadExtAction(ISD::SEXTLOAD, MVT::v4i64,  MVT::v4i16, Legal);
1184       setLoadExtAction(ISD::SEXTLOAD, MVT::v4i64,  MVT::v4i32, Legal);
1185
1186       setLoadExtAction(ISD::ZEXTLOAD, MVT::v16i16, MVT::v16i8, Legal);
1187       setLoadExtAction(ISD::ZEXTLOAD, MVT::v8i32,  MVT::v8i8,  Legal);
1188       setLoadExtAction(ISD::ZEXTLOAD, MVT::v4i64,  MVT::v4i8,  Legal);
1189       setLoadExtAction(ISD::ZEXTLOAD, MVT::v8i32,  MVT::v8i16, Legal);
1190       setLoadExtAction(ISD::ZEXTLOAD, MVT::v4i64,  MVT::v4i16, Legal);
1191       setLoadExtAction(ISD::ZEXTLOAD, MVT::v4i64,  MVT::v4i32, Legal);
1192     } else {
1193       setOperationAction(ISD::ADD,             MVT::v4i64, Custom);
1194       setOperationAction(ISD::ADD,             MVT::v8i32, Custom);
1195       setOperationAction(ISD::ADD,             MVT::v16i16, Custom);
1196       setOperationAction(ISD::ADD,             MVT::v32i8, Custom);
1197
1198       setOperationAction(ISD::SUB,             MVT::v4i64, Custom);
1199       setOperationAction(ISD::SUB,             MVT::v8i32, Custom);
1200       setOperationAction(ISD::SUB,             MVT::v16i16, Custom);
1201       setOperationAction(ISD::SUB,             MVT::v32i8, Custom);
1202
1203       setOperationAction(ISD::MUL,             MVT::v4i64, Custom);
1204       setOperationAction(ISD::MUL,             MVT::v8i32, Custom);
1205       setOperationAction(ISD::MUL,             MVT::v16i16, Custom);
1206       setOperationAction(ISD::MUL,             MVT::v32i8, Custom);
1207
1208       setOperationAction(ISD::SMAX,            MVT::v32i8,  Custom);
1209       setOperationAction(ISD::SMAX,            MVT::v16i16, Custom);
1210       setOperationAction(ISD::SMAX,            MVT::v8i32,  Custom);
1211       setOperationAction(ISD::UMAX,            MVT::v32i8,  Custom);
1212       setOperationAction(ISD::UMAX,            MVT::v16i16, Custom);
1213       setOperationAction(ISD::UMAX,            MVT::v8i32,  Custom);
1214       setOperationAction(ISD::SMIN,            MVT::v32i8,  Custom);
1215       setOperationAction(ISD::SMIN,            MVT::v16i16, Custom);
1216       setOperationAction(ISD::SMIN,            MVT::v8i32,  Custom);
1217       setOperationAction(ISD::UMIN,            MVT::v32i8,  Custom);
1218       setOperationAction(ISD::UMIN,            MVT::v16i16, Custom);
1219       setOperationAction(ISD::UMIN,            MVT::v8i32,  Custom);
1220     }
1221
1222     // In the customized shift lowering, the legal cases in AVX2 will be
1223     // recognized.
1224     setOperationAction(ISD::SRL,               MVT::v4i64, Custom);
1225     setOperationAction(ISD::SRL,               MVT::v8i32, Custom);
1226
1227     setOperationAction(ISD::SHL,               MVT::v4i64, Custom);
1228     setOperationAction(ISD::SHL,               MVT::v8i32, Custom);
1229
1230     setOperationAction(ISD::SRA,               MVT::v4i64, Custom);
1231     setOperationAction(ISD::SRA,               MVT::v8i32, Custom);
1232
1233     // Custom lower several nodes for 256-bit types.
1234     for (MVT VT : MVT::vector_valuetypes()) {
1235       if (VT.getScalarSizeInBits() >= 32) {
1236         setOperationAction(ISD::MLOAD,  VT, Legal);
1237         setOperationAction(ISD::MSTORE, VT, Legal);
1238       }
1239       // Extract subvector is special because the value type
1240       // (result) is 128-bit but the source is 256-bit wide.
1241       if (VT.is128BitVector()) {
1242         setOperationAction(ISD::EXTRACT_SUBVECTOR, VT, Custom);
1243       }
1244       // Do not attempt to custom lower other non-256-bit vectors
1245       if (!VT.is256BitVector())
1246         continue;
1247
1248       setOperationAction(ISD::BUILD_VECTOR,       VT, Custom);
1249       setOperationAction(ISD::VECTOR_SHUFFLE,     VT, Custom);
1250       setOperationAction(ISD::VSELECT,            VT, Custom);
1251       setOperationAction(ISD::INSERT_VECTOR_ELT,  VT, Custom);
1252       setOperationAction(ISD::EXTRACT_VECTOR_ELT, VT, Custom);
1253       setOperationAction(ISD::SCALAR_TO_VECTOR,   VT, Custom);
1254       setOperationAction(ISD::INSERT_SUBVECTOR,   VT, Custom);
1255       setOperationAction(ISD::CONCAT_VECTORS,     VT, Custom);
1256     }
1257
1258     if (Subtarget->hasInt256())
1259       setOperationAction(ISD::VSELECT,         MVT::v32i8, Legal);
1260
1261
1262     // Promote v32i8, v16i16, v8i32 select, and, or, xor to v4i64.
1263     for (int i = MVT::v32i8; i != MVT::v4i64; ++i) {
1264       MVT VT = (MVT::SimpleValueType)i;
1265
1266       // Do not attempt to promote non-256-bit vectors
1267       if (!VT.is256BitVector())
1268         continue;
1269
1270       setOperationAction(ISD::AND,    VT, Promote);
1271       AddPromotedToType (ISD::AND,    VT, MVT::v4i64);
1272       setOperationAction(ISD::OR,     VT, Promote);
1273       AddPromotedToType (ISD::OR,     VT, MVT::v4i64);
1274       setOperationAction(ISD::XOR,    VT, Promote);
1275       AddPromotedToType (ISD::XOR,    VT, MVT::v4i64);
1276       setOperationAction(ISD::LOAD,   VT, Promote);
1277       AddPromotedToType (ISD::LOAD,   VT, MVT::v4i64);
1278       setOperationAction(ISD::SELECT, VT, Promote);
1279       AddPromotedToType (ISD::SELECT, VT, MVT::v4i64);
1280     }
1281   }
1282
1283   if (!Subtarget->useSoftFloat() && Subtarget->hasAVX512()) {
1284     addRegisterClass(MVT::v16i32, &X86::VR512RegClass);
1285     addRegisterClass(MVT::v16f32, &X86::VR512RegClass);
1286     addRegisterClass(MVT::v8i64,  &X86::VR512RegClass);
1287     addRegisterClass(MVT::v8f64,  &X86::VR512RegClass);
1288
1289     addRegisterClass(MVT::i1,     &X86::VK1RegClass);
1290     addRegisterClass(MVT::v8i1,   &X86::VK8RegClass);
1291     addRegisterClass(MVT::v16i1,  &X86::VK16RegClass);
1292
1293     for (MVT VT : MVT::fp_vector_valuetypes())
1294       setLoadExtAction(ISD::EXTLOAD, VT, MVT::v8f32, Legal);
1295
1296     setLoadExtAction(ISD::ZEXTLOAD, MVT::v16i32, MVT::v16i8, Legal);
1297     setLoadExtAction(ISD::SEXTLOAD, MVT::v16i32, MVT::v16i8, Legal);
1298     setLoadExtAction(ISD::ZEXTLOAD, MVT::v16i32, MVT::v16i16, Legal);
1299     setLoadExtAction(ISD::SEXTLOAD, MVT::v16i32, MVT::v16i16, Legal);
1300     setLoadExtAction(ISD::ZEXTLOAD, MVT::v32i16, MVT::v32i8, Legal);
1301     setLoadExtAction(ISD::SEXTLOAD, MVT::v32i16, MVT::v32i8, Legal);
1302     setLoadExtAction(ISD::ZEXTLOAD, MVT::v8i64,  MVT::v8i8,  Legal);
1303     setLoadExtAction(ISD::SEXTLOAD, MVT::v8i64,  MVT::v8i8,  Legal);
1304     setLoadExtAction(ISD::ZEXTLOAD, MVT::v8i64,  MVT::v8i16,  Legal);
1305     setLoadExtAction(ISD::SEXTLOAD, MVT::v8i64,  MVT::v8i16,  Legal);
1306     setLoadExtAction(ISD::ZEXTLOAD, MVT::v8i64,  MVT::v8i32,  Legal);
1307     setLoadExtAction(ISD::SEXTLOAD, MVT::v8i64,  MVT::v8i32,  Legal);
1308
1309     setOperationAction(ISD::BR_CC,              MVT::i1,    Expand);
1310     setOperationAction(ISD::SETCC,              MVT::i1,    Custom);
1311     setOperationAction(ISD::XOR,                MVT::i1,    Legal);
1312     setOperationAction(ISD::OR,                 MVT::i1,    Legal);
1313     setOperationAction(ISD::AND,                MVT::i1,    Legal);
1314     setOperationAction(ISD::SUB,                MVT::i1,    Custom);
1315     setOperationAction(ISD::ADD,                MVT::i1,    Custom);
1316     setOperationAction(ISD::MUL,                MVT::i1,    Custom);
1317     setOperationAction(ISD::LOAD,               MVT::v16f32, Legal);
1318     setOperationAction(ISD::LOAD,               MVT::v8f64, Legal);
1319     setOperationAction(ISD::LOAD,               MVT::v8i64, Legal);
1320     setOperationAction(ISD::LOAD,               MVT::v16i32, Legal);
1321     setOperationAction(ISD::LOAD,               MVT::v16i1, Legal);
1322
1323     setOperationAction(ISD::FADD,               MVT::v16f32, Legal);
1324     setOperationAction(ISD::FSUB,               MVT::v16f32, Legal);
1325     setOperationAction(ISD::FMUL,               MVT::v16f32, Legal);
1326     setOperationAction(ISD::FDIV,               MVT::v16f32, Legal);
1327     setOperationAction(ISD::FSQRT,              MVT::v16f32, Legal);
1328     setOperationAction(ISD::FNEG,               MVT::v16f32, Custom);
1329
1330     setOperationAction(ISD::FADD,               MVT::v8f64, Legal);
1331     setOperationAction(ISD::FSUB,               MVT::v8f64, Legal);
1332     setOperationAction(ISD::FMUL,               MVT::v8f64, Legal);
1333     setOperationAction(ISD::FDIV,               MVT::v8f64, Legal);
1334     setOperationAction(ISD::FSQRT,              MVT::v8f64, Legal);
1335     setOperationAction(ISD::FNEG,               MVT::v8f64, Custom);
1336     setOperationAction(ISD::FMA,                MVT::v8f64, Legal);
1337     setOperationAction(ISD::FMA,                MVT::v16f32, Legal);
1338
1339     // FIXME:  [US]INT_TO_FP are not legal for f80.
1340     setOperationAction(ISD::SINT_TO_FP,         MVT::i32, Legal);
1341     setOperationAction(ISD::UINT_TO_FP,         MVT::i32, Legal);
1342     if (Subtarget->is64Bit()) {
1343       setOperationAction(ISD::SINT_TO_FP,       MVT::i64, Legal);
1344       setOperationAction(ISD::UINT_TO_FP,       MVT::i64, Legal);
1345     }
1346     setOperationAction(ISD::FP_TO_SINT,         MVT::v16i32, Legal);
1347     setOperationAction(ISD::FP_TO_UINT,         MVT::v16i32, Legal);
1348     setOperationAction(ISD::FP_TO_UINT,         MVT::v8i32, Legal);
1349     setOperationAction(ISD::FP_TO_UINT,         MVT::v4i32, Legal);
1350     setOperationAction(ISD::SINT_TO_FP,         MVT::v16i32, Legal);
1351     setOperationAction(ISD::SINT_TO_FP,         MVT::v8i1,   Custom);
1352     setOperationAction(ISD::SINT_TO_FP,         MVT::v16i1,  Custom);
1353     setOperationAction(ISD::SINT_TO_FP,         MVT::v16i8,  Promote);
1354     setOperationAction(ISD::SINT_TO_FP,         MVT::v16i16, Promote);
1355     setOperationAction(ISD::UINT_TO_FP,         MVT::v16i32, Legal);
1356     setOperationAction(ISD::UINT_TO_FP,         MVT::v8i32, Legal);
1357     setOperationAction(ISD::UINT_TO_FP,         MVT::v4i32, Legal);
1358     setOperationAction(ISD::UINT_TO_FP,         MVT::v16i8, Custom);
1359     setOperationAction(ISD::UINT_TO_FP,         MVT::v16i16, Custom);
1360     setOperationAction(ISD::FP_ROUND,           MVT::v8f32, Legal);
1361     setOperationAction(ISD::FP_EXTEND,          MVT::v8f32, Legal);
1362
1363     setTruncStoreAction(MVT::v8i64,   MVT::v8i8,   Legal);
1364     setTruncStoreAction(MVT::v8i64,   MVT::v8i16,  Legal);
1365     setTruncStoreAction(MVT::v8i64,   MVT::v8i32,  Legal);
1366     setTruncStoreAction(MVT::v16i32,  MVT::v16i8,  Legal);
1367     setTruncStoreAction(MVT::v16i32,  MVT::v16i16, Legal);
1368     if (Subtarget->hasVLX()){
1369       setTruncStoreAction(MVT::v4i64, MVT::v4i8,  Legal);
1370       setTruncStoreAction(MVT::v4i64, MVT::v4i16, Legal);
1371       setTruncStoreAction(MVT::v4i64, MVT::v4i32, Legal);
1372       setTruncStoreAction(MVT::v8i32, MVT::v8i8,  Legal);
1373       setTruncStoreAction(MVT::v8i32, MVT::v8i16, Legal);
1374
1375       setTruncStoreAction(MVT::v2i64, MVT::v2i8,  Legal);
1376       setTruncStoreAction(MVT::v2i64, MVT::v2i16, Legal);
1377       setTruncStoreAction(MVT::v2i64, MVT::v2i32, Legal);
1378       setTruncStoreAction(MVT::v4i32, MVT::v4i8,  Legal);
1379       setTruncStoreAction(MVT::v4i32, MVT::v4i16, Legal);
1380     }
1381     setOperationAction(ISD::TRUNCATE,           MVT::i1, Custom);
1382     setOperationAction(ISD::TRUNCATE,           MVT::v16i8, Custom);
1383     setOperationAction(ISD::TRUNCATE,           MVT::v8i32, Custom);
1384     if (Subtarget->hasDQI()) {
1385       setOperationAction(ISD::TRUNCATE,         MVT::v2i1, Custom);
1386       setOperationAction(ISD::TRUNCATE,         MVT::v4i1, Custom);
1387
1388       setOperationAction(ISD::SINT_TO_FP,       MVT::v8i64, Legal);
1389       setOperationAction(ISD::UINT_TO_FP,       MVT::v8i64, Legal);
1390       setOperationAction(ISD::FP_TO_SINT,       MVT::v8i64, Legal);
1391       setOperationAction(ISD::FP_TO_UINT,       MVT::v8i64, Legal);
1392       if (Subtarget->hasVLX()) {
1393         setOperationAction(ISD::SINT_TO_FP,    MVT::v4i64, Legal);
1394         setOperationAction(ISD::SINT_TO_FP,    MVT::v2i64, Legal);
1395         setOperationAction(ISD::UINT_TO_FP,    MVT::v4i64, Legal);
1396         setOperationAction(ISD::UINT_TO_FP,    MVT::v2i64, Legal);
1397         setOperationAction(ISD::FP_TO_SINT,    MVT::v4i64, Legal);
1398         setOperationAction(ISD::FP_TO_SINT,    MVT::v2i64, Legal);
1399         setOperationAction(ISD::FP_TO_UINT,    MVT::v4i64, Legal);
1400         setOperationAction(ISD::FP_TO_UINT,    MVT::v2i64, Legal);
1401       }
1402     }
1403     if (Subtarget->hasVLX()) {
1404       setOperationAction(ISD::SINT_TO_FP,       MVT::v8i32, Legal);
1405       setOperationAction(ISD::UINT_TO_FP,       MVT::v8i32, Legal);
1406       setOperationAction(ISD::FP_TO_SINT,       MVT::v8i32, Legal);
1407       setOperationAction(ISD::FP_TO_UINT,       MVT::v8i32, Legal);
1408       setOperationAction(ISD::SINT_TO_FP,       MVT::v4i32, Legal);
1409       setOperationAction(ISD::UINT_TO_FP,       MVT::v4i32, Legal);
1410       setOperationAction(ISD::FP_TO_SINT,       MVT::v4i32, Legal);
1411       setOperationAction(ISD::FP_TO_UINT,       MVT::v4i32, Legal);
1412     }
1413     setOperationAction(ISD::TRUNCATE,           MVT::v8i1, Custom);
1414     setOperationAction(ISD::TRUNCATE,           MVT::v16i1, Custom);
1415     setOperationAction(ISD::TRUNCATE,           MVT::v16i16, Custom);
1416     setOperationAction(ISD::ZERO_EXTEND,        MVT::v16i32, Custom);
1417     setOperationAction(ISD::ZERO_EXTEND,        MVT::v8i64, Custom);
1418     setOperationAction(ISD::ANY_EXTEND,         MVT::v16i32, Custom);
1419     setOperationAction(ISD::ANY_EXTEND,         MVT::v8i64, Custom);
1420     setOperationAction(ISD::SIGN_EXTEND,        MVT::v16i32, Custom);
1421     setOperationAction(ISD::SIGN_EXTEND,        MVT::v8i64, Custom);
1422     setOperationAction(ISD::SIGN_EXTEND,        MVT::v16i8, Custom);
1423     setOperationAction(ISD::SIGN_EXTEND,        MVT::v8i16, Custom);
1424     setOperationAction(ISD::SIGN_EXTEND,        MVT::v16i16, Custom);
1425     if (Subtarget->hasDQI()) {
1426       setOperationAction(ISD::SIGN_EXTEND,        MVT::v4i32, Custom);
1427       setOperationAction(ISD::SIGN_EXTEND,        MVT::v2i64, Custom);
1428     }
1429     setOperationAction(ISD::FFLOOR,             MVT::v16f32, Legal);
1430     setOperationAction(ISD::FFLOOR,             MVT::v8f64, Legal);
1431     setOperationAction(ISD::FCEIL,              MVT::v16f32, Legal);
1432     setOperationAction(ISD::FCEIL,              MVT::v8f64, Legal);
1433     setOperationAction(ISD::FTRUNC,             MVT::v16f32, Legal);
1434     setOperationAction(ISD::FTRUNC,             MVT::v8f64, Legal);
1435     setOperationAction(ISD::FRINT,              MVT::v16f32, Legal);
1436     setOperationAction(ISD::FRINT,              MVT::v8f64, Legal);
1437     setOperationAction(ISD::FNEARBYINT,         MVT::v16f32, Legal);
1438     setOperationAction(ISD::FNEARBYINT,         MVT::v8f64, Legal);
1439
1440     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v8f64,  Custom);
1441     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v8i64,  Custom);
1442     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v16f32,  Custom);
1443     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v16i32,  Custom);
1444     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v16i1, Legal);
1445
1446     setOperationAction(ISD::SETCC,              MVT::v16i1, Custom);
1447     setOperationAction(ISD::SETCC,              MVT::v8i1, Custom);
1448
1449     setOperationAction(ISD::MUL,              MVT::v8i64, Custom);
1450
1451     setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v8i1,  Custom);
1452     setOperationAction(ISD::EXTRACT_VECTOR_ELT, MVT::v16i1, Custom);
1453     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v16i1, Custom);
1454     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v8i1, Custom);
1455     setOperationAction(ISD::BUILD_VECTOR,       MVT::v8i1, Custom);
1456     setOperationAction(ISD::BUILD_VECTOR,       MVT::v16i1, Custom);
1457     setOperationAction(ISD::SELECT,             MVT::v8f64, Custom);
1458     setOperationAction(ISD::SELECT,             MVT::v8i64, Custom);
1459     setOperationAction(ISD::SELECT,             MVT::v16f32, Custom);
1460     setOperationAction(ISD::SELECT,             MVT::v16i1, Custom);
1461     setOperationAction(ISD::SELECT,             MVT::v8i1,  Custom);
1462
1463     setOperationAction(ISD::SMAX,               MVT::v16i32, Legal);
1464     setOperationAction(ISD::SMAX,               MVT::v8i64, Legal);
1465     setOperationAction(ISD::UMAX,               MVT::v16i32, Legal);
1466     setOperationAction(ISD::UMAX,               MVT::v8i64, Legal);
1467     setOperationAction(ISD::SMIN,               MVT::v16i32, Legal);
1468     setOperationAction(ISD::SMIN,               MVT::v8i64, Legal);
1469     setOperationAction(ISD::UMIN,               MVT::v16i32, Legal);
1470     setOperationAction(ISD::UMIN,               MVT::v8i64, Legal);
1471
1472     setOperationAction(ISD::ADD,                MVT::v8i64, Legal);
1473     setOperationAction(ISD::ADD,                MVT::v16i32, Legal);
1474
1475     setOperationAction(ISD::SUB,                MVT::v8i64, Legal);
1476     setOperationAction(ISD::SUB,                MVT::v16i32, Legal);
1477
1478     setOperationAction(ISD::MUL,                MVT::v16i32, Legal);
1479
1480     setOperationAction(ISD::SRL,                MVT::v8i64, Custom);
1481     setOperationAction(ISD::SRL,                MVT::v16i32, Custom);
1482
1483     setOperationAction(ISD::SHL,                MVT::v8i64, Custom);
1484     setOperationAction(ISD::SHL,                MVT::v16i32, Custom);
1485
1486     setOperationAction(ISD::SRA,                MVT::v8i64, Custom);
1487     setOperationAction(ISD::SRA,                MVT::v16i32, Custom);
1488
1489     setOperationAction(ISD::AND,                MVT::v8i64, Legal);
1490     setOperationAction(ISD::OR,                 MVT::v8i64, Legal);
1491     setOperationAction(ISD::XOR,                MVT::v8i64, Legal);
1492     setOperationAction(ISD::AND,                MVT::v16i32, Legal);
1493     setOperationAction(ISD::OR,                 MVT::v16i32, Legal);
1494     setOperationAction(ISD::XOR,                MVT::v16i32, Legal);
1495
1496     if (Subtarget->hasCDI()) {
1497       setOperationAction(ISD::CTLZ,             MVT::v8i64, Legal);
1498       setOperationAction(ISD::CTLZ,             MVT::v16i32, Legal);
1499     }
1500     if (Subtarget->hasDQI()) {
1501       setOperationAction(ISD::MUL,             MVT::v2i64, Legal);
1502       setOperationAction(ISD::MUL,             MVT::v4i64, Legal);
1503       setOperationAction(ISD::MUL,             MVT::v8i64, Legal);
1504     }
1505     // Custom lower several nodes.
1506     for (MVT VT : MVT::vector_valuetypes()) {
1507       unsigned EltSize = VT.getVectorElementType().getSizeInBits();
1508       if (EltSize == 1) {
1509         setOperationAction(ISD::AND, VT, Legal);
1510         setOperationAction(ISD::OR,  VT, Legal);
1511         setOperationAction(ISD::XOR,  VT, Legal);
1512       }
1513       if (EltSize >= 32 && VT.getSizeInBits() <= 512) {
1514         setOperationAction(ISD::MGATHER,  VT, Custom);
1515         setOperationAction(ISD::MSCATTER, VT, Custom);
1516       }
1517       // Extract subvector is special because the value type
1518       // (result) is 256/128-bit but the source is 512-bit wide.
1519       if (VT.is128BitVector() || VT.is256BitVector()) {
1520         setOperationAction(ISD::EXTRACT_SUBVECTOR, VT, Custom);
1521       }
1522       if (VT.getVectorElementType() == MVT::i1)
1523         setOperationAction(ISD::EXTRACT_SUBVECTOR, VT, Legal);
1524
1525       // Do not attempt to custom lower other non-512-bit vectors
1526       if (!VT.is512BitVector())
1527         continue;
1528
1529       if (EltSize >= 32) {
1530         setOperationAction(ISD::VECTOR_SHUFFLE,      VT, Custom);
1531         setOperationAction(ISD::INSERT_VECTOR_ELT,   VT, Custom);
1532         setOperationAction(ISD::BUILD_VECTOR,        VT, Custom);
1533         setOperationAction(ISD::VSELECT,             VT, Legal);
1534         setOperationAction(ISD::EXTRACT_VECTOR_ELT,  VT, Custom);
1535         setOperationAction(ISD::SCALAR_TO_VECTOR,    VT, Custom);
1536         setOperationAction(ISD::INSERT_SUBVECTOR,    VT, Custom);
1537         setOperationAction(ISD::MLOAD,               VT, Legal);
1538         setOperationAction(ISD::MSTORE,              VT, Legal);
1539       }
1540     }
1541     for (int i = MVT::v32i8; i != MVT::v8i64; ++i) {
1542       MVT VT = (MVT::SimpleValueType)i;
1543
1544       // Do not attempt to promote non-512-bit vectors.
1545       if (!VT.is512BitVector())
1546         continue;
1547
1548       setOperationAction(ISD::SELECT, VT, Promote);
1549       AddPromotedToType (ISD::SELECT, VT, MVT::v8i64);
1550     }
1551   }// has  AVX-512
1552
1553   if (!Subtarget->useSoftFloat() && Subtarget->hasBWI()) {
1554     addRegisterClass(MVT::v32i16, &X86::VR512RegClass);
1555     addRegisterClass(MVT::v64i8,  &X86::VR512RegClass);
1556
1557     addRegisterClass(MVT::v32i1,  &X86::VK32RegClass);
1558     addRegisterClass(MVT::v64i1,  &X86::VK64RegClass);
1559
1560     setOperationAction(ISD::LOAD,               MVT::v32i16, Legal);
1561     setOperationAction(ISD::LOAD,               MVT::v64i8, Legal);
1562     setOperationAction(ISD::SETCC,              MVT::v32i1, Custom);
1563     setOperationAction(ISD::SETCC,              MVT::v64i1, Custom);
1564     setOperationAction(ISD::ADD,                MVT::v32i16, Legal);
1565     setOperationAction(ISD::ADD,                MVT::v64i8, Legal);
1566     setOperationAction(ISD::SUB,                MVT::v32i16, Legal);
1567     setOperationAction(ISD::SUB,                MVT::v64i8, Legal);
1568     setOperationAction(ISD::MUL,                MVT::v32i16, Legal);
1569     setOperationAction(ISD::MULHS,              MVT::v32i16, Legal);
1570     setOperationAction(ISD::MULHU,              MVT::v32i16, Legal);
1571     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v32i1, Custom);
1572     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v64i1, Custom);
1573     setOperationAction(ISD::INSERT_SUBVECTOR,   MVT::v32i1, Custom);
1574     setOperationAction(ISD::INSERT_SUBVECTOR,   MVT::v64i1, Custom);
1575     setOperationAction(ISD::SELECT,             MVT::v32i1, Custom);
1576     setOperationAction(ISD::SELECT,             MVT::v64i1, Custom);
1577     setOperationAction(ISD::SIGN_EXTEND,        MVT::v32i8, Custom);
1578     setOperationAction(ISD::ZERO_EXTEND,        MVT::v32i8, Custom);
1579     setOperationAction(ISD::SIGN_EXTEND,        MVT::v32i16, Custom);
1580     setOperationAction(ISD::ZERO_EXTEND,        MVT::v32i16, Custom);
1581     setOperationAction(ISD::SIGN_EXTEND,        MVT::v64i8, Custom);
1582     setOperationAction(ISD::ZERO_EXTEND,        MVT::v64i8, Custom);
1583     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v32i1, Custom);
1584     setOperationAction(ISD::INSERT_VECTOR_ELT,  MVT::v64i1, Custom);
1585     setOperationAction(ISD::VSELECT,            MVT::v32i16, Legal);
1586     setOperationAction(ISD::VSELECT,            MVT::v64i8, Legal);
1587     setOperationAction(ISD::TRUNCATE,           MVT::v32i1, Custom);
1588     setOperationAction(ISD::TRUNCATE,           MVT::v64i1, Custom);
1589     setOperationAction(ISD::TRUNCATE,           MVT::v32i8, Custom);
1590
1591     setOperationAction(ISD::SMAX,               MVT::v64i8, Legal);
1592     setOperationAction(ISD::SMAX,               MVT::v32i16, Legal);
1593     setOperationAction(ISD::UMAX,               MVT::v64i8, Legal);
1594     setOperationAction(ISD::UMAX,               MVT::v32i16, Legal);
1595     setOperationAction(ISD::SMIN,               MVT::v64i8, Legal);
1596     setOperationAction(ISD::SMIN,               MVT::v32i16, Legal);
1597     setOperationAction(ISD::UMIN,               MVT::v64i8, Legal);
1598     setOperationAction(ISD::UMIN,               MVT::v32i16, Legal);
1599
1600     setTruncStoreAction(MVT::v32i16,  MVT::v32i8, Legal);
1601     setTruncStoreAction(MVT::v16i16,  MVT::v16i8, Legal);
1602     if (Subtarget->hasVLX())
1603       setTruncStoreAction(MVT::v8i16,   MVT::v8i8,  Legal);
1604
1605     for (int i = MVT::v32i8; i != MVT::v8i64; ++i) {
1606       const MVT VT = (MVT::SimpleValueType)i;
1607
1608       const unsigned EltSize = VT.getVectorElementType().getSizeInBits();
1609
1610       // Do not attempt to promote non-512-bit vectors.
1611       if (!VT.is512BitVector())
1612         continue;
1613
1614       if (EltSize < 32) {
1615         setOperationAction(ISD::BUILD_VECTOR,        VT, Custom);
1616         setOperationAction(ISD::VSELECT,             VT, Legal);
1617       }
1618     }
1619   }
1620
1621   if (!Subtarget->useSoftFloat() && Subtarget->hasVLX()) {
1622     addRegisterClass(MVT::v4i1,   &X86::VK4RegClass);
1623     addRegisterClass(MVT::v2i1,   &X86::VK2RegClass);
1624
1625     setOperationAction(ISD::SETCC,              MVT::v4i1, Custom);
1626     setOperationAction(ISD::SETCC,              MVT::v2i1, Custom);
1627     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v4i1, Custom);
1628     setOperationAction(ISD::CONCAT_VECTORS,     MVT::v8i1, Custom);
1629     setOperationAction(ISD::INSERT_SUBVECTOR,   MVT::v8i1, Custom);
1630     setOperationAction(ISD::INSERT_SUBVECTOR,   MVT::v4i1, Custom);
1631     setOperationAction(ISD::SELECT,             MVT::v4i1, Custom);
1632     setOperationAction(ISD::SELECT,             MVT::v2i1, Custom);
1633     setOperationAction(ISD::BUILD_VECTOR,       MVT::v4i1, Custom);
1634     setOperationAction(ISD::BUILD_VECTOR,       MVT::v2i1, Custom);
1635
1636     setOperationAction(ISD::AND,                MVT::v8i32, Legal);
1637     setOperationAction(ISD::OR,                 MVT::v8i32, Legal);
1638     setOperationAction(ISD::XOR,                MVT::v8i32, Legal);
1639     setOperationAction(ISD::AND,                MVT::v4i32, Legal);
1640     setOperationAction(ISD::OR,                 MVT::v4i32, Legal);
1641     setOperationAction(ISD::XOR,                MVT::v4i32, Legal);
1642     setOperationAction(ISD::SRA,                MVT::v2i64, Custom);
1643     setOperationAction(ISD::SRA,                MVT::v4i64, Custom);
1644
1645     setOperationAction(ISD::SMAX,               MVT::v2i64, Legal);
1646     setOperationAction(ISD::SMAX,               MVT::v4i64, Legal);
1647     setOperationAction(ISD::UMAX,               MVT::v2i64, Legal);
1648     setOperationAction(ISD::UMAX,               MVT::v4i64, Legal);
1649     setOperationAction(ISD::SMIN,               MVT::v2i64, Legal);
1650     setOperationAction(ISD::SMIN,               MVT::v4i64, Legal);
1651     setOperationAction(ISD::UMIN,               MVT::v2i64, Legal);
1652     setOperationAction(ISD::UMIN,               MVT::v4i64, Legal);
1653   }
1654
1655   // We want to custom lower some of our intrinsics.
1656   setOperationAction(ISD::INTRINSIC_WO_CHAIN, MVT::Other, Custom);
1657   setOperationAction(ISD::INTRINSIC_W_CHAIN, MVT::Other, Custom);
1658   setOperationAction(ISD::INTRINSIC_VOID, MVT::Other, Custom);
1659   if (!Subtarget->is64Bit())
1660     setOperationAction(ISD::INTRINSIC_W_CHAIN, MVT::i64, Custom);
1661
1662   // Only custom-lower 64-bit SADDO and friends on 64-bit because we don't
1663   // handle type legalization for these operations here.
1664   //
1665   // FIXME: We really should do custom legalization for addition and
1666   // subtraction on x86-32 once PR3203 is fixed.  We really can't do much better
1667   // than generic legalization for 64-bit multiplication-with-overflow, though.
1668   for (unsigned i = 0, e = 3+Subtarget->is64Bit(); i != e; ++i) {
1669     // Add/Sub/Mul with overflow operations are custom lowered.
1670     MVT VT = IntVTs[i];
1671     setOperationAction(ISD::SADDO, VT, Custom);
1672     setOperationAction(ISD::UADDO, VT, Custom);
1673     setOperationAction(ISD::SSUBO, VT, Custom);
1674     setOperationAction(ISD::USUBO, VT, Custom);
1675     setOperationAction(ISD::SMULO, VT, Custom);
1676     setOperationAction(ISD::UMULO, VT, Custom);
1677   }
1678
1679
1680   if (!Subtarget->is64Bit()) {
1681     // These libcalls are not available in 32-bit.
1682     setLibcallName(RTLIB::SHL_I128, nullptr);
1683     setLibcallName(RTLIB::SRL_I128, nullptr);
1684     setLibcallName(RTLIB::SRA_I128, nullptr);
1685   }
1686
1687   // Combine sin / cos into one node or libcall if possible.
1688   if (Subtarget->hasSinCos()) {
1689     setLibcallName(RTLIB::SINCOS_F32, "sincosf");
1690     setLibcallName(RTLIB::SINCOS_F64, "sincos");
1691     if (Subtarget->isTargetDarwin()) {
1692       // For MacOSX, we don't want the normal expansion of a libcall to sincos.
1693       // We want to issue a libcall to __sincos_stret to avoid memory traffic.
1694       setOperationAction(ISD::FSINCOS, MVT::f64, Custom);
1695       setOperationAction(ISD::FSINCOS, MVT::f32, Custom);
1696     }
1697   }
1698
1699   if (Subtarget->isTargetWin64()) {
1700     setOperationAction(ISD::SDIV, MVT::i128, Custom);
1701     setOperationAction(ISD::UDIV, MVT::i128, Custom);
1702     setOperationAction(ISD::SREM, MVT::i128, Custom);
1703     setOperationAction(ISD::UREM, MVT::i128, Custom);
1704     setOperationAction(ISD::SDIVREM, MVT::i128, Custom);
1705     setOperationAction(ISD::UDIVREM, MVT::i128, Custom);
1706   }
1707
1708   // We have target-specific dag combine patterns for the following nodes:
1709   setTargetDAGCombine(ISD::VECTOR_SHUFFLE);
1710   setTargetDAGCombine(ISD::EXTRACT_VECTOR_ELT);
1711   setTargetDAGCombine(ISD::BITCAST);
1712   setTargetDAGCombine(ISD::VSELECT);
1713   setTargetDAGCombine(ISD::SELECT);
1714   setTargetDAGCombine(ISD::SHL);
1715   setTargetDAGCombine(ISD::SRA);
1716   setTargetDAGCombine(ISD::SRL);
1717   setTargetDAGCombine(ISD::OR);
1718   setTargetDAGCombine(ISD::AND);
1719   setTargetDAGCombine(ISD::ADD);
1720   setTargetDAGCombine(ISD::FADD);
1721   setTargetDAGCombine(ISD::FSUB);
1722   setTargetDAGCombine(ISD::FMA);
1723   setTargetDAGCombine(ISD::SUB);
1724   setTargetDAGCombine(ISD::LOAD);
1725   setTargetDAGCombine(ISD::MLOAD);
1726   setTargetDAGCombine(ISD::STORE);
1727   setTargetDAGCombine(ISD::MSTORE);
1728   setTargetDAGCombine(ISD::ZERO_EXTEND);
1729   setTargetDAGCombine(ISD::ANY_EXTEND);
1730   setTargetDAGCombine(ISD::SIGN_EXTEND);
1731   setTargetDAGCombine(ISD::SIGN_EXTEND_INREG);
1732   setTargetDAGCombine(ISD::SINT_TO_FP);
1733   setTargetDAGCombine(ISD::UINT_TO_FP);
1734   setTargetDAGCombine(ISD::SETCC);
1735   setTargetDAGCombine(ISD::BUILD_VECTOR);
1736   setTargetDAGCombine(ISD::MUL);
1737   setTargetDAGCombine(ISD::XOR);
1738
1739   computeRegisterProperties(Subtarget->getRegisterInfo());
1740
1741   MaxStoresPerMemset = 16; // For @llvm.memset -> sequence of stores
1742   MaxStoresPerMemsetOptSize = 8;
1743   MaxStoresPerMemcpy = 8; // For @llvm.memcpy -> sequence of stores
1744   MaxStoresPerMemcpyOptSize = 4;
1745   MaxStoresPerMemmove = 8; // For @llvm.memmove -> sequence of stores
1746   MaxStoresPerMemmoveOptSize = 4;
1747   setPrefLoopAlignment(4); // 2^4 bytes.
1748
1749   // Predictable cmov don't hurt on atom because it's in-order.
1750   PredictableSelectIsExpensive = !Subtarget->isAtom();
1751   EnableExtLdPromotion = true;
1752   setPrefFunctionAlignment(4); // 2^4 bytes.
1753
1754   verifyIntrinsicTables();
1755 }
1756
1757 // This has so far only been implemented for 64-bit MachO.
1758 bool X86TargetLowering::useLoadStackGuardNode() const {
1759   return Subtarget->isTargetMachO() && Subtarget->is64Bit();
1760 }
1761
1762 TargetLoweringBase::LegalizeTypeAction
1763 X86TargetLowering::getPreferredVectorAction(EVT VT) const {
1764   if (ExperimentalVectorWideningLegalization &&
1765       VT.getVectorNumElements() != 1 &&
1766       VT.getVectorElementType().getSimpleVT() != MVT::i1)
1767     return TypeWidenVector;
1768
1769   return TargetLoweringBase::getPreferredVectorAction(VT);
1770 }
1771
1772 EVT X86TargetLowering::getSetCCResultType(const DataLayout &DL, LLVMContext &,
1773                                           EVT VT) const {
1774   if (!VT.isVector())
1775     return Subtarget->hasAVX512() ? MVT::i1: MVT::i8;
1776
1777   const unsigned NumElts = VT.getVectorNumElements();
1778   const EVT EltVT = VT.getVectorElementType();
1779   if (VT.is512BitVector()) {
1780     if (Subtarget->hasAVX512())
1781       if (EltVT == MVT::i32 || EltVT == MVT::i64 ||
1782           EltVT == MVT::f32 || EltVT == MVT::f64)
1783         switch(NumElts) {
1784         case  8: return MVT::v8i1;
1785         case 16: return MVT::v16i1;
1786       }
1787     if (Subtarget->hasBWI())
1788       if (EltVT == MVT::i8 || EltVT == MVT::i16)
1789         switch(NumElts) {
1790         case 32: return MVT::v32i1;
1791         case 64: return MVT::v64i1;
1792       }
1793   }
1794
1795   if (VT.is256BitVector() || VT.is128BitVector()) {
1796     if (Subtarget->hasVLX())
1797       if (EltVT == MVT::i32 || EltVT == MVT::i64 ||
1798           EltVT == MVT::f32 || EltVT == MVT::f64)
1799         switch(NumElts) {
1800         case 2: return MVT::v2i1;
1801         case 4: return MVT::v4i1;
1802         case 8: return MVT::v8i1;
1803       }
1804     if (Subtarget->hasBWI() && Subtarget->hasVLX())
1805       if (EltVT == MVT::i8 || EltVT == MVT::i16)
1806         switch(NumElts) {
1807         case  8: return MVT::v8i1;
1808         case 16: return MVT::v16i1;
1809         case 32: return MVT::v32i1;
1810       }
1811   }
1812
1813   return VT.changeVectorElementTypeToInteger();
1814 }
1815
1816 /// Helper for getByValTypeAlignment to determine
1817 /// the desired ByVal argument alignment.
1818 static void getMaxByValAlign(Type *Ty, unsigned &MaxAlign) {
1819   if (MaxAlign == 16)
1820     return;
1821   if (VectorType *VTy = dyn_cast<VectorType>(Ty)) {
1822     if (VTy->getBitWidth() == 128)
1823       MaxAlign = 16;
1824   } else if (ArrayType *ATy = dyn_cast<ArrayType>(Ty)) {
1825     unsigned EltAlign = 0;
1826     getMaxByValAlign(ATy->getElementType(), EltAlign);
1827     if (EltAlign > MaxAlign)
1828       MaxAlign = EltAlign;
1829   } else if (StructType *STy = dyn_cast<StructType>(Ty)) {
1830     for (auto *EltTy : STy->elements()) {
1831       unsigned EltAlign = 0;
1832       getMaxByValAlign(EltTy, EltAlign);
1833       if (EltAlign > MaxAlign)
1834         MaxAlign = EltAlign;
1835       if (MaxAlign == 16)
1836         break;
1837     }
1838   }
1839 }
1840
1841 /// Return the desired alignment for ByVal aggregate
1842 /// function arguments in the caller parameter area. For X86, aggregates
1843 /// that contain SSE vectors are placed at 16-byte boundaries while the rest
1844 /// are at 4-byte boundaries.
1845 unsigned X86TargetLowering::getByValTypeAlignment(Type *Ty,
1846                                                   const DataLayout &DL) const {
1847   if (Subtarget->is64Bit()) {
1848     // Max of 8 and alignment of type.
1849     unsigned TyAlign = DL.getABITypeAlignment(Ty);
1850     if (TyAlign > 8)
1851       return TyAlign;
1852     return 8;
1853   }
1854
1855   unsigned Align = 4;
1856   if (Subtarget->hasSSE1())
1857     getMaxByValAlign(Ty, Align);
1858   return Align;
1859 }
1860
1861 /// Returns the target specific optimal type for load
1862 /// and store operations as a result of memset, memcpy, and memmove
1863 /// lowering. If DstAlign is zero that means it's safe to destination
1864 /// alignment can satisfy any constraint. Similarly if SrcAlign is zero it
1865 /// means there isn't a need to check it against alignment requirement,
1866 /// probably because the source does not need to be loaded. If 'IsMemset' is
1867 /// true, that means it's expanding a memset. If 'ZeroMemset' is true, that
1868 /// means it's a memset of zero. 'MemcpyStrSrc' indicates whether the memcpy
1869 /// source is constant so it does not need to be loaded.
1870 /// It returns EVT::Other if the type should be determined using generic
1871 /// target-independent logic.
1872 EVT
1873 X86TargetLowering::getOptimalMemOpType(uint64_t Size,
1874                                        unsigned DstAlign, unsigned SrcAlign,
1875                                        bool IsMemset, bool ZeroMemset,
1876                                        bool MemcpyStrSrc,
1877                                        MachineFunction &MF) const {
1878   const Function *F = MF.getFunction();
1879   if ((!IsMemset || ZeroMemset) &&
1880       !F->hasFnAttribute(Attribute::NoImplicitFloat)) {
1881     if (Size >= 16 &&
1882         (!Subtarget->isUnalignedMem16Slow() ||
1883          ((DstAlign == 0 || DstAlign >= 16) &&
1884           (SrcAlign == 0 || SrcAlign >= 16)))) {
1885       if (Size >= 32) {
1886         // FIXME: Check if unaligned 32-byte accesses are slow.
1887         if (Subtarget->hasInt256())
1888           return MVT::v8i32;
1889         if (Subtarget->hasFp256())
1890           return MVT::v8f32;
1891       }
1892       if (Subtarget->hasSSE2())
1893         return MVT::v4i32;
1894       if (Subtarget->hasSSE1())
1895         return MVT::v4f32;
1896     } else if (!MemcpyStrSrc && Size >= 8 &&
1897                !Subtarget->is64Bit() &&
1898                Subtarget->hasSSE2()) {
1899       // Do not use f64 to lower memcpy if source is string constant. It's
1900       // better to use i32 to avoid the loads.
1901       return MVT::f64;
1902     }
1903   }
1904   // This is a compromise. If we reach here, unaligned accesses may be slow on
1905   // this target. However, creating smaller, aligned accesses could be even
1906   // slower and would certainly be a lot more code.
1907   if (Subtarget->is64Bit() && Size >= 8)
1908     return MVT::i64;
1909   return MVT::i32;
1910 }
1911
1912 bool X86TargetLowering::isSafeMemOpType(MVT VT) const {
1913   if (VT == MVT::f32)
1914     return X86ScalarSSEf32;
1915   else if (VT == MVT::f64)
1916     return X86ScalarSSEf64;
1917   return true;
1918 }
1919
1920 bool
1921 X86TargetLowering::allowsMisalignedMemoryAccesses(EVT VT,
1922                                                   unsigned,
1923                                                   unsigned,
1924                                                   bool *Fast) const {
1925   if (Fast) {
1926     if (VT.getSizeInBits() == 256)
1927       *Fast = !Subtarget->isUnalignedMem32Slow();
1928     else
1929       // FIXME: We should always return that 8-byte and under accesses are fast.
1930       // That is what other x86 lowering code assumes.
1931       *Fast = !Subtarget->isUnalignedMem16Slow();
1932   }
1933   return true;
1934 }
1935
1936 /// Return the entry encoding for a jump table in the
1937 /// current function.  The returned value is a member of the
1938 /// MachineJumpTableInfo::JTEntryKind enum.
1939 unsigned X86TargetLowering::getJumpTableEncoding() const {
1940   // In GOT pic mode, each entry in the jump table is emitted as a @GOTOFF
1941   // symbol.
1942   if (getTargetMachine().getRelocationModel() == Reloc::PIC_ &&
1943       Subtarget->isPICStyleGOT())
1944     return MachineJumpTableInfo::EK_Custom32;
1945
1946   // Otherwise, use the normal jump table encoding heuristics.
1947   return TargetLowering::getJumpTableEncoding();
1948 }
1949
1950 bool X86TargetLowering::useSoftFloat() const {
1951   return Subtarget->useSoftFloat();
1952 }
1953
1954 const MCExpr *
1955 X86TargetLowering::LowerCustomJumpTableEntry(const MachineJumpTableInfo *MJTI,
1956                                              const MachineBasicBlock *MBB,
1957                                              unsigned uid,MCContext &Ctx) const{
1958   assert(MBB->getParent()->getTarget().getRelocationModel() == Reloc::PIC_ &&
1959          Subtarget->isPICStyleGOT());
1960   // In 32-bit ELF systems, our jump table entries are formed with @GOTOFF
1961   // entries.
1962   return MCSymbolRefExpr::create(MBB->getSymbol(),
1963                                  MCSymbolRefExpr::VK_GOTOFF, Ctx);
1964 }
1965
1966 /// Returns relocation base for the given PIC jumptable.
1967 SDValue X86TargetLowering::getPICJumpTableRelocBase(SDValue Table,
1968                                                     SelectionDAG &DAG) const {
1969   if (!Subtarget->is64Bit())
1970     // This doesn't have SDLoc associated with it, but is not really the
1971     // same as a Register.
1972     return DAG.getNode(X86ISD::GlobalBaseReg, SDLoc(),
1973                        getPointerTy(DAG.getDataLayout()));
1974   return Table;
1975 }
1976
1977 /// This returns the relocation base for the given PIC jumptable,
1978 /// the same as getPICJumpTableRelocBase, but as an MCExpr.
1979 const MCExpr *X86TargetLowering::
1980 getPICJumpTableRelocBaseExpr(const MachineFunction *MF, unsigned JTI,
1981                              MCContext &Ctx) const {
1982   // X86-64 uses RIP relative addressing based on the jump table label.
1983   if (Subtarget->isPICStyleRIPRel())
1984     return TargetLowering::getPICJumpTableRelocBaseExpr(MF, JTI, Ctx);
1985
1986   // Otherwise, the reference is relative to the PIC base.
1987   return MCSymbolRefExpr::create(MF->getPICBaseSymbol(), Ctx);
1988 }
1989
1990 std::pair<const TargetRegisterClass *, uint8_t>
1991 X86TargetLowering::findRepresentativeClass(const TargetRegisterInfo *TRI,
1992                                            MVT VT) const {
1993   const TargetRegisterClass *RRC = nullptr;
1994   uint8_t Cost = 1;
1995   switch (VT.SimpleTy) {
1996   default:
1997     return TargetLowering::findRepresentativeClass(TRI, VT);
1998   case MVT::i8: case MVT::i16: case MVT::i32: case MVT::i64:
1999     RRC = Subtarget->is64Bit() ? &X86::GR64RegClass : &X86::GR32RegClass;
2000     break;
2001   case MVT::x86mmx:
2002     RRC = &X86::VR64RegClass;
2003     break;
2004   case MVT::f32: case MVT::f64:
2005   case MVT::v16i8: case MVT::v8i16: case MVT::v4i32: case MVT::v2i64:
2006   case MVT::v4f32: case MVT::v2f64:
2007   case MVT::v32i8: case MVT::v8i32: case MVT::v4i64: case MVT::v8f32:
2008   case MVT::v4f64:
2009     RRC = &X86::VR128RegClass;
2010     break;
2011   }
2012   return std::make_pair(RRC, Cost);
2013 }
2014
2015 bool X86TargetLowering::getStackCookieLocation(unsigned &AddressSpace,
2016                                                unsigned &Offset) const {
2017   if (!Subtarget->isTargetLinux())
2018     return false;
2019
2020   if (Subtarget->is64Bit()) {
2021     // %fs:0x28, unless we're using a Kernel code model, in which case it's %gs:
2022     Offset = 0x28;
2023     if (getTargetMachine().getCodeModel() == CodeModel::Kernel)
2024       AddressSpace = 256;
2025     else
2026       AddressSpace = 257;
2027   } else {
2028     // %gs:0x14 on i386
2029     Offset = 0x14;
2030     AddressSpace = 256;
2031   }
2032   return true;
2033 }
2034
2035 bool X86TargetLowering::isNoopAddrSpaceCast(unsigned SrcAS,
2036                                             unsigned DestAS) const {
2037   assert(SrcAS != DestAS && "Expected different address spaces!");
2038
2039   return SrcAS < 256 && DestAS < 256;
2040 }
2041
2042 //===----------------------------------------------------------------------===//
2043 //               Return Value Calling Convention Implementation
2044 //===----------------------------------------------------------------------===//
2045
2046 #include "X86GenCallingConv.inc"
2047
2048 bool
2049 X86TargetLowering::CanLowerReturn(CallingConv::ID CallConv,
2050                                   MachineFunction &MF, bool isVarArg,
2051                         const SmallVectorImpl<ISD::OutputArg> &Outs,
2052                         LLVMContext &Context) const {
2053   SmallVector<CCValAssign, 16> RVLocs;
2054   CCState CCInfo(CallConv, isVarArg, MF, RVLocs, Context);
2055   return CCInfo.CheckReturn(Outs, RetCC_X86);
2056 }
2057
2058 const MCPhysReg *X86TargetLowering::getScratchRegisters(CallingConv::ID) const {
2059   static const MCPhysReg ScratchRegs[] = { X86::R11, 0 };
2060   return ScratchRegs;
2061 }
2062
2063 SDValue
2064 X86TargetLowering::LowerReturn(SDValue Chain,
2065                                CallingConv::ID CallConv, bool isVarArg,
2066                                const SmallVectorImpl<ISD::OutputArg> &Outs,
2067                                const SmallVectorImpl<SDValue> &OutVals,
2068                                SDLoc dl, SelectionDAG &DAG) const {
2069   MachineFunction &MF = DAG.getMachineFunction();
2070   X86MachineFunctionInfo *FuncInfo = MF.getInfo<X86MachineFunctionInfo>();
2071
2072   SmallVector<CCValAssign, 16> RVLocs;
2073   CCState CCInfo(CallConv, isVarArg, MF, RVLocs, *DAG.getContext());
2074   CCInfo.AnalyzeReturn(Outs, RetCC_X86);
2075
2076   SDValue Flag;
2077   SmallVector<SDValue, 6> RetOps;
2078   RetOps.push_back(Chain); // Operand #0 = Chain (updated below)
2079   // Operand #1 = Bytes To Pop
2080   RetOps.push_back(DAG.getTargetConstant(FuncInfo->getBytesToPopOnReturn(), dl,
2081                    MVT::i16));
2082
2083   // Copy the result values into the output registers.
2084   for (unsigned i = 0; i != RVLocs.size(); ++i) {
2085     CCValAssign &VA = RVLocs[i];
2086     assert(VA.isRegLoc() && "Can only return in registers!");
2087     SDValue ValToCopy = OutVals[i];
2088     EVT ValVT = ValToCopy.getValueType();
2089
2090     // Promote values to the appropriate types.
2091     if (VA.getLocInfo() == CCValAssign::SExt)
2092       ValToCopy = DAG.getNode(ISD::SIGN_EXTEND, dl, VA.getLocVT(), ValToCopy);
2093     else if (VA.getLocInfo() == CCValAssign::ZExt)
2094       ValToCopy = DAG.getNode(ISD::ZERO_EXTEND, dl, VA.getLocVT(), ValToCopy);
2095     else if (VA.getLocInfo() == CCValAssign::AExt) {
2096       if (ValVT.isVector() && ValVT.getScalarType() == MVT::i1)
2097         ValToCopy = DAG.getNode(ISD::SIGN_EXTEND, dl, VA.getLocVT(), ValToCopy);
2098       else
2099         ValToCopy = DAG.getNode(ISD::ANY_EXTEND, dl, VA.getLocVT(), ValToCopy);
2100     }
2101     else if (VA.getLocInfo() == CCValAssign::BCvt)
2102       ValToCopy = DAG.getBitcast(VA.getLocVT(), ValToCopy);
2103
2104     assert(VA.getLocInfo() != CCValAssign::FPExt &&
2105            "Unexpected FP-extend for return value.");
2106
2107     // If this is x86-64, and we disabled SSE, we can't return FP values,
2108     // or SSE or MMX vectors.
2109     if ((ValVT == MVT::f32 || ValVT == MVT::f64 ||
2110          VA.getLocReg() == X86::XMM0 || VA.getLocReg() == X86::XMM1) &&
2111           (Subtarget->is64Bit() && !Subtarget->hasSSE1())) {
2112       report_fatal_error("SSE register return with SSE disabled");
2113     }
2114     // Likewise we can't return F64 values with SSE1 only.  gcc does so, but
2115     // llvm-gcc has never done it right and no one has noticed, so this
2116     // should be OK for now.
2117     if (ValVT == MVT::f64 &&
2118         (Subtarget->is64Bit() && !Subtarget->hasSSE2()))
2119       report_fatal_error("SSE2 register return with SSE2 disabled");
2120
2121     // Returns in ST0/ST1 are handled specially: these are pushed as operands to
2122     // the RET instruction and handled by the FP Stackifier.
2123     if (VA.getLocReg() == X86::FP0 ||
2124         VA.getLocReg() == X86::FP1) {
2125       // If this is a copy from an xmm register to ST(0), use an FPExtend to
2126       // change the value to the FP stack register class.
2127       if (isScalarFPTypeInSSEReg(VA.getValVT()))
2128         ValToCopy = DAG.getNode(ISD::FP_EXTEND, dl, MVT::f80, ValToCopy);
2129       RetOps.push_back(ValToCopy);
2130       // Don't emit a copytoreg.
2131       continue;
2132     }
2133
2134     // 64-bit vector (MMX) values are returned in XMM0 / XMM1 except for v1i64
2135     // which is returned in RAX / RDX.
2136     if (Subtarget->is64Bit()) {
2137       if (ValVT == MVT::x86mmx) {
2138         if (VA.getLocReg() == X86::XMM0 || VA.getLocReg() == X86::XMM1) {
2139           ValToCopy = DAG.getBitcast(MVT::i64, ValToCopy);
2140           ValToCopy = DAG.getNode(ISD::SCALAR_TO_VECTOR, dl, MVT::v2i64,
2141                                   ValToCopy);
2142           // If we don't have SSE2 available, convert to v4f32 so the generated
2143           // register is legal.
2144           if (!Subtarget->hasSSE2())
2145             ValToCopy = DAG.getBitcast(MVT::v4f32, ValToCopy);
2146         }
2147       }
2148     }
2149
2150     Chain = DAG.getCopyToReg(Chain, dl, VA.getLocReg(), ValToCopy, Flag);
2151     Flag = Chain.getValue(1);
2152     RetOps.push_back(DAG.getRegister(VA.getLocReg(), VA.getLocVT()));
2153   }
2154
2155   // All x86 ABIs require that for returning structs by value we copy
2156   // the sret argument into %rax/%eax (depending on ABI) for the return.
2157   // We saved the argument into a virtual register in the entry block,
2158   // so now we copy the value out and into %rax/%eax.
2159   //
2160   // Checking Function.hasStructRetAttr() here is insufficient because the IR
2161   // may not have an explicit sret argument. If FuncInfo.CanLowerReturn is
2162   // false, then an sret argument may be implicitly inserted in the SelDAG. In
2163   // either case FuncInfo->setSRetReturnReg() will have been called.
2164   if (unsigned SRetReg = FuncInfo->getSRetReturnReg()) {
2165     SDValue Val = DAG.getCopyFromReg(Chain, dl, SRetReg,
2166                                      getPointerTy(MF.getDataLayout()));
2167
2168     unsigned RetValReg
2169         = (Subtarget->is64Bit() && !Subtarget->isTarget64BitILP32()) ?
2170           X86::RAX : X86::EAX;
2171     Chain = DAG.getCopyToReg(Chain, dl, RetValReg, Val, Flag);
2172     Flag = Chain.getValue(1);
2173
2174     // RAX/EAX now acts like a return value.
2175     RetOps.push_back(
2176         DAG.getRegister(RetValReg, getPointerTy(DAG.getDataLayout())));
2177   }
2178
2179   RetOps[0] = Chain;  // Update chain.
2180
2181   // Add the flag if we have it.
2182   if (Flag.getNode())
2183     RetOps.push_back(Flag);
2184
2185   return DAG.getNode(X86ISD::RET_FLAG, dl, MVT::Other, RetOps);
2186 }
2187
2188 bool X86TargetLowering::isUsedByReturnOnly(SDNode *N, SDValue &Chain) const {
2189   if (N->getNumValues() != 1)
2190     return false;
2191   if (!N->hasNUsesOfValue(1, 0))
2192     return false;
2193
2194   SDValue TCChain = Chain;
2195   SDNode *Copy = *N->use_begin();
2196   if (Copy->getOpcode() == ISD::CopyToReg) {
2197     // If the copy has a glue operand, we conservatively assume it isn't safe to
2198     // perform a tail call.
2199     if (Copy->getOperand(Copy->getNumOperands()-1).getValueType() == MVT::Glue)
2200       return false;
2201     TCChain = Copy->getOperand(0);
2202   } else if (Copy->getOpcode() != ISD::FP_EXTEND)
2203     return false;
2204
2205   bool HasRet = false;
2206   for (SDNode::use_iterator UI = Copy->use_begin(), UE = Copy->use_end();
2207        UI != UE; ++UI) {
2208     if (UI->getOpcode() != X86ISD::RET_FLAG)
2209       return false;
2210     // If we are returning more than one value, we can definitely
2211     // not make a tail call see PR19530
2212     if (UI->getNumOperands() > 4)
2213       return false;
2214     if (UI->getNumOperands() == 4 &&
2215         UI->getOperand(UI->getNumOperands()-1).getValueType() != MVT::Glue)
2216       return false;
2217     HasRet = true;
2218   }
2219
2220   if (!HasRet)
2221     return false;
2222
2223   Chain = TCChain;
2224   return true;
2225 }
2226
2227 EVT
2228 X86TargetLowering::getTypeForExtArgOrReturn(LLVMContext &Context, EVT VT,
2229                                             ISD::NodeType ExtendKind) const {
2230   MVT ReturnMVT;
2231   // TODO: Is this also valid on 32-bit?
2232   if (Subtarget->is64Bit() && VT == MVT::i1 && ExtendKind == ISD::ZERO_EXTEND)
2233     ReturnMVT = MVT::i8;
2234   else
2235     ReturnMVT = MVT::i32;
2236
2237   EVT MinVT = getRegisterType(Context, ReturnMVT);
2238   return VT.bitsLT(MinVT) ? MinVT : VT;
2239 }
2240
2241 /// Lower the result values of a call into the
2242 /// appropriate copies out of appropriate physical registers.
2243 ///
2244 SDValue
2245 X86TargetLowering::LowerCallResult(SDValue Chain, SDValue InFlag,
2246                                    CallingConv::ID CallConv, bool isVarArg,
2247                                    const SmallVectorImpl<ISD::InputArg> &Ins,
2248                                    SDLoc dl, SelectionDAG &DAG,
2249                                    SmallVectorImpl<SDValue> &InVals) const {
2250
2251   // Assign locations to each value returned by this call.
2252   SmallVector<CCValAssign, 16> RVLocs;
2253   bool Is64Bit = Subtarget->is64Bit();
2254   CCState CCInfo(CallConv, isVarArg, DAG.getMachineFunction(), RVLocs,
2255                  *DAG.getContext());
2256   CCInfo.AnalyzeCallResult(Ins, RetCC_X86);
2257
2258   // Copy all of the result registers out of their specified physreg.
2259   for (unsigned i = 0, e = RVLocs.size(); i != e; ++i) {
2260     CCValAssign &VA = RVLocs[i];
2261     EVT CopyVT = VA.getLocVT();
2262
2263     // If this is x86-64, and we disabled SSE, we can't return FP values
2264     if ((CopyVT == MVT::f32 || CopyVT == MVT::f64) &&
2265         ((Is64Bit || Ins[i].Flags.isInReg()) && !Subtarget->hasSSE1())) {
2266       report_fatal_error("SSE register return with SSE disabled");
2267     }
2268
2269     // If we prefer to use the value in xmm registers, copy it out as f80 and
2270     // use a truncate to move it from fp stack reg to xmm reg.
2271     bool RoundAfterCopy = false;
2272     if ((VA.getLocReg() == X86::FP0 || VA.getLocReg() == X86::FP1) &&
2273         isScalarFPTypeInSSEReg(VA.getValVT())) {
2274       CopyVT = MVT::f80;
2275       RoundAfterCopy = (CopyVT != VA.getLocVT());
2276     }
2277
2278     Chain = DAG.getCopyFromReg(Chain, dl, VA.getLocReg(),
2279                                CopyVT, InFlag).getValue(1);
2280     SDValue Val = Chain.getValue(0);
2281
2282     if (RoundAfterCopy)
2283       Val = DAG.getNode(ISD::FP_ROUND, dl, VA.getValVT(), Val,
2284                         // This truncation won't change the value.
2285                         DAG.getIntPtrConstant(1, dl));
2286
2287     if (VA.isExtInLoc() && VA.getValVT().getScalarType() == MVT::i1)
2288       Val = DAG.getNode(ISD::TRUNCATE, dl, VA.getValVT(), Val);
2289
2290     InFlag = Chain.getValue(2);
2291     InVals.push_back(Val);
2292   }
2293
2294   return Chain;
2295 }
2296
2297 //===----------------------------------------------------------------------===//
2298 //                C & StdCall & Fast Calling Convention implementation
2299 //===----------------------------------------------------------------------===//
2300 //  StdCall calling convention seems to be standard for many Windows' API
2301 //  routines and around. It differs from C calling convention just a little:
2302 //  callee should clean up the stack, not caller. Symbols should be also
2303 //  decorated in some fancy way :) It doesn't support any vector arguments.
2304 //  For info on fast calling convention see Fast Calling Convention (tail call)
2305 //  implementation LowerX86_32FastCCCallTo.
2306
2307 /// CallIsStructReturn - Determines whether a call uses struct return
2308 /// semantics.
2309 enum StructReturnType {
2310   NotStructReturn,
2311   RegStructReturn,
2312   StackStructReturn
2313 };
2314 static StructReturnType
2315 callIsStructReturn(const SmallVectorImpl<ISD::OutputArg> &Outs) {
2316   if (Outs.empty())
2317     return NotStructReturn;
2318
2319   const ISD::ArgFlagsTy &Flags = Outs[0].Flags;
2320   if (!Flags.isSRet())
2321     return NotStructReturn;
2322   if (Flags.isInReg())
2323     return RegStructReturn;
2324   return StackStructReturn;
2325 }
2326
2327 /// Determines whether a function uses struct return semantics.
2328 static StructReturnType
2329 argsAreStructReturn(const SmallVectorImpl<ISD::InputArg> &Ins) {
2330   if (Ins.empty())
2331     return NotStructReturn;
2332
2333   const ISD::ArgFlagsTy &Flags = Ins[0].Flags;
2334   if (!Flags.isSRet())
2335     return NotStructReturn;
2336   if (Flags.isInReg())
2337     return RegStructReturn;
2338   return StackStructReturn;
2339 }
2340
2341 /// Make a copy of an aggregate at address specified by "Src" to address
2342 /// "Dst" with size and alignment information specified by the specific
2343 /// parameter attribute. The copy will be passed as a byval function parameter.
2344 static SDValue
2345 CreateCopyOfByValArgument(SDValue Src, SDValue Dst, SDValue Chain,
2346                           ISD::ArgFlagsTy Flags, SelectionDAG &DAG,
2347                           SDLoc dl) {
2348   SDValue SizeNode = DAG.getConstant(Flags.getByValSize(), dl, MVT::i32);
2349
2350   return DAG.getMemcpy(Chain, dl, Dst, Src, SizeNode, Flags.getByValAlign(),
2351                        /*isVolatile*/false, /*AlwaysInline=*/true,
2352                        /*isTailCall*/false,
2353                        MachinePointerInfo(), MachinePointerInfo());
2354 }
2355
2356 /// Return true if the calling convention is one that
2357 /// supports tail call optimization.
2358 static bool IsTailCallConvention(CallingConv::ID CC) {
2359   return (CC == CallingConv::Fast || CC == CallingConv::GHC ||
2360           CC == CallingConv::HiPE);
2361 }
2362
2363 /// \brief Return true if the calling convention is a C calling convention.
2364 static bool IsCCallConvention(CallingConv::ID CC) {
2365   return (CC == CallingConv::C || CC == CallingConv::X86_64_Win64 ||
2366           CC == CallingConv::X86_64_SysV);
2367 }
2368
2369 bool X86TargetLowering::mayBeEmittedAsTailCall(CallInst *CI) const {
2370   auto Attr =
2371       CI->getParent()->getParent()->getFnAttribute("disable-tail-calls");
2372   if (!CI->isTailCall() || Attr.getValueAsString() == "true")
2373     return false;
2374
2375   CallSite CS(CI);
2376   CallingConv::ID CalleeCC = CS.getCallingConv();
2377   if (!IsTailCallConvention(CalleeCC) && !IsCCallConvention(CalleeCC))
2378     return false;
2379
2380   return true;
2381 }
2382
2383 /// Return true if the function is being made into
2384 /// a tailcall target by changing its ABI.
2385 static bool FuncIsMadeTailCallSafe(CallingConv::ID CC,
2386                                    bool GuaranteedTailCallOpt) {
2387   return GuaranteedTailCallOpt && IsTailCallConvention(CC);
2388 }
2389
2390 SDValue
2391 X86TargetLowering::LowerMemArgument(SDValue Chain,
2392                                     CallingConv::ID CallConv,
2393                                     const SmallVectorImpl<ISD::InputArg> &Ins,
2394                                     SDLoc dl, SelectionDAG &DAG,
2395                                     const CCValAssign &VA,
2396                                     MachineFrameInfo *MFI,
2397                                     unsigned i) const {
2398   // Create the nodes corresponding to a load from this parameter slot.
2399   ISD::ArgFlagsTy Flags = Ins[i].Flags;
2400   bool AlwaysUseMutable = FuncIsMadeTailCallSafe(
2401       CallConv, DAG.getTarget().Options.GuaranteedTailCallOpt);
2402   bool isImmutable = !AlwaysUseMutable && !Flags.isByVal();
2403   EVT ValVT;
2404
2405   // If value is passed by pointer we have address passed instead of the value
2406   // itself.
2407   bool ExtendedInMem = VA.isExtInLoc() &&
2408     VA.getValVT().getScalarType() == MVT::i1;
2409
2410   if (VA.getLocInfo() == CCValAssign::Indirect || ExtendedInMem)
2411     ValVT = VA.getLocVT();
2412   else
2413     ValVT = VA.getValVT();
2414
2415   // FIXME: For now, all byval parameter objects are marked mutable. This can be
2416   // changed with more analysis.
2417   // In case of tail call optimization mark all arguments mutable. Since they
2418   // could be overwritten by lowering of arguments in case of a tail call.
2419   if (Flags.isByVal()) {
2420     unsigned Bytes = Flags.getByValSize();
2421     if (Bytes == 0) Bytes = 1; // Don't create zero-sized stack objects.
2422     int FI = MFI->CreateFixedObject(Bytes, VA.getLocMemOffset(), isImmutable);
2423     return DAG.getFrameIndex(FI, getPointerTy(DAG.getDataLayout()));
2424   } else {
2425     int FI = MFI->CreateFixedObject(ValVT.getSizeInBits()/8,
2426                                     VA.getLocMemOffset(), isImmutable);
2427     SDValue FIN = DAG.getFrameIndex(FI, getPointerTy(DAG.getDataLayout()));
2428     SDValue Val = DAG.getLoad(
2429         ValVT, dl, Chain, FIN,
2430         MachinePointerInfo::getFixedStack(DAG.getMachineFunction(), FI), false,
2431         false, false, 0);
2432     return ExtendedInMem ?
2433       DAG.getNode(ISD::TRUNCATE, dl, VA.getValVT(), Val) : Val;
2434   }
2435 }
2436
2437 // FIXME: Get this from tablegen.
2438 static ArrayRef<MCPhysReg> get64BitArgumentGPRs(CallingConv::ID CallConv,
2439                                                 const X86Subtarget *Subtarget) {
2440   assert(Subtarget->is64Bit());
2441
2442   if (Subtarget->isCallingConvWin64(CallConv)) {
2443     static const MCPhysReg GPR64ArgRegsWin64[] = {
2444       X86::RCX, X86::RDX, X86::R8,  X86::R9
2445     };
2446     return makeArrayRef(std::begin(GPR64ArgRegsWin64), std::end(GPR64ArgRegsWin64));
2447   }
2448
2449   static const MCPhysReg GPR64ArgRegs64Bit[] = {
2450     X86::RDI, X86::RSI, X86::RDX, X86::RCX, X86::R8, X86::R9
2451   };
2452   return makeArrayRef(std::begin(GPR64ArgRegs64Bit), std::end(GPR64ArgRegs64Bit));
2453 }
2454
2455 // FIXME: Get this from tablegen.
2456 static ArrayRef<MCPhysReg> get64BitArgumentXMMs(MachineFunction &MF,
2457                                                 CallingConv::ID CallConv,
2458                                                 const X86Subtarget *Subtarget) {
2459   assert(Subtarget->is64Bit());
2460   if (Subtarget->isCallingConvWin64(CallConv)) {
2461     // The XMM registers which might contain var arg parameters are shadowed
2462     // in their paired GPR.  So we only need to save the GPR to their home
2463     // slots.
2464     // TODO: __vectorcall will change this.
2465     return None;
2466   }
2467
2468   const Function *Fn = MF.getFunction();
2469   bool NoImplicitFloatOps = Fn->hasFnAttribute(Attribute::NoImplicitFloat);
2470   bool isSoftFloat = Subtarget->useSoftFloat();
2471   assert(!(isSoftFloat && NoImplicitFloatOps) &&
2472          "SSE register cannot be used when SSE is disabled!");
2473   if (isSoftFloat || NoImplicitFloatOps || !Subtarget->hasSSE1())
2474     // Kernel mode asks for SSE to be disabled, so there are no XMM argument
2475     // registers.
2476     return None;
2477
2478   static const MCPhysReg XMMArgRegs64Bit[] = {
2479     X86::XMM0, X86::XMM1, X86::XMM2, X86::XMM3,
2480     X86::XMM4, X86::XMM5, X86::XMM6, X86::XMM7
2481   };
2482   return makeArrayRef(std::begin(XMMArgRegs64Bit), std::end(XMMArgRegs64Bit));
2483 }
2484
2485 SDValue
2486 X86TargetLowering::LowerFormalArguments(SDValue Chain,
2487                                         CallingConv::ID CallConv,
2488                                         bool isVarArg,
2489                                       const SmallVectorImpl<ISD::InputArg> &Ins,
2490                                         SDLoc dl,
2491                                         SelectionDAG &DAG,
2492                                         SmallVectorImpl<SDValue> &InVals)
2493                                           const {
2494   MachineFunction &MF = DAG.getMachineFunction();
2495   X86MachineFunctionInfo *FuncInfo = MF.getInfo<X86MachineFunctionInfo>();
2496   const TargetFrameLowering &TFI = *Subtarget->getFrameLowering();
2497
2498   const Function* Fn = MF.getFunction();
2499   if (Fn->hasExternalLinkage() &&
2500       Subtarget->isTargetCygMing() &&
2501       Fn->getName() == "main")
2502     FuncInfo->setForceFramePointer(true);
2503
2504   MachineFrameInfo *MFI = MF.getFrameInfo();
2505   bool Is64Bit = Subtarget->is64Bit();
2506   bool IsWin64 = Subtarget->isCallingConvWin64(CallConv);
2507
2508   assert(!(isVarArg && IsTailCallConvention(CallConv)) &&
2509          "Var args not supported with calling convention fastcc, ghc or hipe");
2510
2511   // Assign locations to all of the incoming arguments.
2512   SmallVector<CCValAssign, 16> ArgLocs;
2513   CCState CCInfo(CallConv, isVarArg, MF, ArgLocs, *DAG.getContext());
2514
2515   // Allocate shadow area for Win64
2516   if (IsWin64)
2517     CCInfo.AllocateStack(32, 8);
2518
2519   CCInfo.AnalyzeFormalArguments(Ins, CC_X86);
2520
2521   unsigned LastVal = ~0U;
2522   SDValue ArgValue;
2523   for (unsigned i = 0, e = ArgLocs.size(); i != e; ++i) {
2524     CCValAssign &VA = ArgLocs[i];
2525     // TODO: If an arg is passed in two places (e.g. reg and stack), skip later
2526     // places.
2527     assert(VA.getValNo() != LastVal &&
2528            "Don't support value assigned to multiple locs yet");
2529     (void)LastVal;
2530     LastVal = VA.getValNo();
2531
2532     if (VA.isRegLoc()) {
2533       EVT RegVT = VA.getLocVT();
2534       const TargetRegisterClass *RC;
2535       if (RegVT == MVT::i32)
2536         RC = &X86::GR32RegClass;
2537       else if (Is64Bit && RegVT == MVT::i64)
2538         RC = &X86::GR64RegClass;
2539       else if (RegVT == MVT::f32)
2540         RC = &X86::FR32RegClass;
2541       else if (RegVT == MVT::f64)
2542         RC = &X86::FR64RegClass;
2543       else if (RegVT.is512BitVector())
2544         RC = &X86::VR512RegClass;
2545       else if (RegVT.is256BitVector())
2546         RC = &X86::VR256RegClass;
2547       else if (RegVT.is128BitVector())
2548         RC = &X86::VR128RegClass;
2549       else if (RegVT == MVT::x86mmx)
2550         RC = &X86::VR64RegClass;
2551       else if (RegVT == MVT::i1)
2552         RC = &X86::VK1RegClass;
2553       else if (RegVT == MVT::v8i1)
2554         RC = &X86::VK8RegClass;
2555       else if (RegVT == MVT::v16i1)
2556         RC = &X86::VK16RegClass;
2557       else if (RegVT == MVT::v32i1)
2558         RC = &X86::VK32RegClass;
2559       else if (RegVT == MVT::v64i1)
2560         RC = &X86::VK64RegClass;
2561       else
2562         llvm_unreachable("Unknown argument type!");
2563
2564       unsigned Reg = MF.addLiveIn(VA.getLocReg(), RC);
2565       ArgValue = DAG.getCopyFromReg(Chain, dl, Reg, RegVT);
2566
2567       // If this is an 8 or 16-bit value, it is really passed promoted to 32
2568       // bits.  Insert an assert[sz]ext to capture this, then truncate to the
2569       // right size.
2570       if (VA.getLocInfo() == CCValAssign::SExt)
2571         ArgValue = DAG.getNode(ISD::AssertSext, dl, RegVT, ArgValue,
2572                                DAG.getValueType(VA.getValVT()));
2573       else if (VA.getLocInfo() == CCValAssign::ZExt)
2574         ArgValue = DAG.getNode(ISD::AssertZext, dl, RegVT, ArgValue,
2575                                DAG.getValueType(VA.getValVT()));
2576       else if (VA.getLocInfo() == CCValAssign::BCvt)
2577         ArgValue = DAG.getBitcast(VA.getValVT(), ArgValue);
2578
2579       if (VA.isExtInLoc()) {
2580         // Handle MMX values passed in XMM regs.
2581         if (RegVT.isVector() && VA.getValVT().getScalarType() != MVT::i1)
2582           ArgValue = DAG.getNode(X86ISD::MOVDQ2Q, dl, VA.getValVT(), ArgValue);
2583         else
2584           ArgValue = DAG.getNode(ISD::TRUNCATE, dl, VA.getValVT(), ArgValue);
2585       }
2586     } else {
2587       assert(VA.isMemLoc());
2588       ArgValue = LowerMemArgument(Chain, CallConv, Ins, dl, DAG, VA, MFI, i);
2589     }
2590
2591     // If value is passed via pointer - do a load.
2592     if (VA.getLocInfo() == CCValAssign::Indirect)
2593       ArgValue = DAG.getLoad(VA.getValVT(), dl, Chain, ArgValue,
2594                              MachinePointerInfo(), false, false, false, 0);
2595
2596     InVals.push_back(ArgValue);
2597   }
2598
2599   for (unsigned i = 0, e = ArgLocs.size(); i != e; ++i) {
2600     // All x86 ABIs require that for returning structs by value we copy the
2601     // sret argument into %rax/%eax (depending on ABI) for the return. Save
2602     // the argument into a virtual register so that we can access it from the
2603     // return points.
2604     if (Ins[i].Flags.isSRet()) {
2605       unsigned Reg = FuncInfo->getSRetReturnReg();
2606       if (!Reg) {
2607         MVT PtrTy = getPointerTy(DAG.getDataLayout());
2608         Reg = MF.getRegInfo().createVirtualRegister(getRegClassFor(PtrTy));
2609         FuncInfo->setSRetReturnReg(Reg);
2610       }
2611       SDValue Copy = DAG.getCopyToReg(DAG.getEntryNode(), dl, Reg, InVals[i]);
2612       Chain = DAG.getNode(ISD::TokenFactor, dl, MVT::Other, Copy, Chain);
2613       break;
2614     }
2615   }
2616
2617   unsigned StackSize = CCInfo.getNextStackOffset();
2618   // Align stack specially for tail calls.
2619   if (FuncIsMadeTailCallSafe(CallConv,
2620                              MF.getTarget().Options.GuaranteedTailCallOpt))
2621     StackSize = GetAlignedArgumentStackSize(StackSize, DAG);
2622
2623   // If the function takes variable number of arguments, make a frame index for
2624   // the start of the first vararg value... for expansion of llvm.va_start. We
2625   // can skip this if there are no va_start calls.
2626   if (MFI->hasVAStart() &&
2627       (Is64Bit || (CallConv != CallingConv::X86_FastCall &&
2628                    CallConv != CallingConv::X86_ThisCall))) {
2629     FuncInfo->setVarArgsFrameIndex(
2630         MFI->CreateFixedObject(1, StackSize, true));
2631   }
2632
2633   MachineModuleInfo &MMI = MF.getMMI();
2634   const Function *WinEHParent = nullptr;
2635   if (MMI.hasWinEHFuncInfo(Fn))
2636     WinEHParent = MMI.getWinEHParent(Fn);
2637   bool IsWinEHOutlined = WinEHParent && WinEHParent != Fn;
2638   bool IsWinEHParent = WinEHParent && WinEHParent == Fn;
2639
2640   // Figure out if XMM registers are in use.
2641   assert(!(Subtarget->useSoftFloat() &&
2642            Fn->hasFnAttribute(Attribute::NoImplicitFloat)) &&
2643          "SSE register cannot be used when SSE is disabled!");
2644
2645   // 64-bit calling conventions support varargs and register parameters, so we
2646   // have to do extra work to spill them in the prologue.
2647   if (Is64Bit && isVarArg && MFI->hasVAStart()) {
2648     // Find the first unallocated argument registers.
2649     ArrayRef<MCPhysReg> ArgGPRs = get64BitArgumentGPRs(CallConv, Subtarget);
2650     ArrayRef<MCPhysReg> ArgXMMs = get64BitArgumentXMMs(MF, CallConv, Subtarget);
2651     unsigned NumIntRegs = CCInfo.getFirstUnallocated(ArgGPRs);
2652     unsigned NumXMMRegs = CCInfo.getFirstUnallocated(ArgXMMs);
2653     assert(!(NumXMMRegs && !Subtarget->hasSSE1()) &&
2654            "SSE register cannot be used when SSE is disabled!");
2655
2656     // Gather all the live in physical registers.
2657     SmallVector<SDValue, 6> LiveGPRs;
2658     SmallVector<SDValue, 8> LiveXMMRegs;
2659     SDValue ALVal;
2660     for (MCPhysReg Reg : ArgGPRs.slice(NumIntRegs)) {
2661       unsigned GPR = MF.addLiveIn(Reg, &X86::GR64RegClass);
2662       LiveGPRs.push_back(
2663           DAG.getCopyFromReg(Chain, dl, GPR, MVT::i64));
2664     }
2665     if (!ArgXMMs.empty()) {
2666       unsigned AL = MF.addLiveIn(X86::AL, &X86::GR8RegClass);
2667       ALVal = DAG.getCopyFromReg(Chain, dl, AL, MVT::i8);
2668       for (MCPhysReg Reg : ArgXMMs.slice(NumXMMRegs)) {
2669         unsigned XMMReg = MF.addLiveIn(Reg, &X86::VR128RegClass);
2670         LiveXMMRegs.push_back(
2671             DAG.getCopyFromReg(Chain, dl, XMMReg, MVT::v4f32));
2672       }
2673     }
2674
2675     if (IsWin64) {
2676       // Get to the caller-allocated home save location.  Add 8 to account
2677       // for the return address.
2678       int HomeOffset = TFI.getOffsetOfLocalArea() + 8;
2679       FuncInfo->setRegSaveFrameIndex(
2680           MFI->CreateFixedObject(1, NumIntRegs * 8 + HomeOffset, false));
2681       // Fixup to set vararg frame on shadow area (4 x i64).
2682       if (NumIntRegs < 4)
2683         FuncInfo->setVarArgsFrameIndex(FuncInfo->getRegSaveFrameIndex());
2684     } else {
2685       // For X86-64, if there are vararg parameters that are passed via
2686       // registers, then we must store them to their spots on the stack so
2687       // they may be loaded by deferencing the result of va_next.
2688       FuncInfo->setVarArgsGPOffset(NumIntRegs * 8);
2689       FuncInfo->setVarArgsFPOffset(ArgGPRs.size() * 8 + NumXMMRegs * 16);
2690       FuncInfo->setRegSaveFrameIndex(MFI->CreateStackObject(
2691           ArgGPRs.size() * 8 + ArgXMMs.size() * 16, 16, false));
2692     }
2693
2694     // Store the integer parameter registers.
2695     SmallVector<SDValue, 8> MemOps;
2696     SDValue RSFIN = DAG.getFrameIndex(FuncInfo->getRegSaveFrameIndex(),
2697                                       getPointerTy(DAG.getDataLayout()));
2698     unsigned Offset = FuncInfo->getVarArgsGPOffset();
2699     for (SDValue Val : LiveGPRs) {
2700       SDValue FIN = DAG.getNode(ISD::ADD, dl, getPointerTy(DAG.getDataLayout()),
2701                                 RSFIN, DAG.getIntPtrConstant(Offset, dl));
2702       SDValue Store =
2703           DAG.getStore(Val.getValue(1), dl, Val, FIN,
2704                        MachinePointerInfo::getFixedStack(
2705                            DAG.getMachineFunction(),
2706                            FuncInfo->getRegSaveFrameIndex(), Offset),
2707                        false, false, 0);
2708       MemOps.push_back(Store);
2709       Offset += 8;
2710     }
2711
2712     if (!ArgXMMs.empty() && NumXMMRegs != ArgXMMs.size()) {
2713       // Now store the XMM (fp + vector) parameter registers.
2714       SmallVector<SDValue, 12> SaveXMMOps;
2715       SaveXMMOps.push_back(Chain);
2716       SaveXMMOps.push_back(ALVal);
2717       SaveXMMOps.push_back(DAG.getIntPtrConstant(
2718                              FuncInfo->getRegSaveFrameIndex(), dl));
2719       SaveXMMOps.push_back(DAG.getIntPtrConstant(
2720                              FuncInfo->getVarArgsFPOffset(), dl));
2721       SaveXMMOps.insert(SaveXMMOps.end(), LiveXMMRegs.begin(),
2722                         LiveXMMRegs.end());
2723       MemOps.push_back(DAG.getNode(X86ISD::VASTART_SAVE_XMM_REGS, dl,
2724                                    MVT::Other, SaveXMMOps));
2725     }
2726
2727     if (!MemOps.empty())
2728       Chain = DAG.getNode(ISD::TokenFactor, dl, MVT::Other, MemOps);
2729   } else if (IsWin64 && IsWinEHOutlined) {
2730     // Get to the caller-allocated home save location.  Add 8 to account
2731     // for the return address.
2732     int HomeOffset = TFI.getOffsetOfLocalArea() + 8;
2733     FuncInfo->setRegSaveFrameIndex(MFI->CreateFixedObject(
2734         /*Size=*/1, /*SPOffset=*/HomeOffset + 8, /*Immutable=*/false));
2735
2736     MMI.getWinEHFuncInfo(Fn)
2737         .CatchHandlerParentFrameObjIdx[const_cast<Function *>(Fn)] =
2738         FuncInfo->getRegSaveFrameIndex();
2739
2740     // Store the second integer parameter (rdx) into rsp+16 relative to the
2741     // stack pointer at the entry of the function.
2742     SDValue RSFIN = DAG.getFrameIndex(FuncInfo->getRegSaveFrameIndex(),
2743                                       getPointerTy(DAG.getDataLayout()));
2744     unsigned GPR = MF.addLiveIn(X86::RDX, &X86::GR64RegClass);
2745     SDValue Val = DAG.getCopyFromReg(Chain, dl, GPR, MVT::i64);
2746     Chain = DAG.getStore(
2747         Val.getValue(1), dl, Val, RSFIN,
2748         MachinePointerInfo::getFixedStack(DAG.getMachineFunction(),
2749                                           FuncInfo->getRegSaveFrameIndex()),
2750         /*isVolatile=*/true, /*isNonTemporal=*/false, /*Alignment=*/0);
2751   }
2752
2753   if (isVarArg && MFI->hasMustTailInVarArgFunc()) {
2754     // Find the largest legal vector type.
2755     MVT VecVT = MVT::Other;
2756     // FIXME: Only some x86_32 calling conventions support AVX512.
2757     if (Subtarget->hasAVX512() &&
2758         (Is64Bit || (CallConv == CallingConv::X86_VectorCall ||
2759                      CallConv == CallingConv::Intel_OCL_BI)))
2760       VecVT = MVT::v16f32;
2761     else if (Subtarget->hasAVX())
2762       VecVT = MVT::v8f32;
2763     else if (Subtarget->hasSSE2())
2764       VecVT = MVT::v4f32;
2765
2766     // We forward some GPRs and some vector types.
2767     SmallVector<MVT, 2> RegParmTypes;
2768     MVT IntVT = Is64Bit ? MVT::i64 : MVT::i32;
2769     RegParmTypes.push_back(IntVT);
2770     if (VecVT != MVT::Other)
2771       RegParmTypes.push_back(VecVT);
2772
2773     // Compute the set of forwarded registers. The rest are scratch.
2774     SmallVectorImpl<ForwardedRegister> &Forwards =
2775         FuncInfo->getForwardedMustTailRegParms();
2776     CCInfo.analyzeMustTailForwardedRegisters(Forwards, RegParmTypes, CC_X86);
2777
2778     // Conservatively forward AL on x86_64, since it might be used for varargs.
2779     if (Is64Bit && !CCInfo.isAllocated(X86::AL)) {
2780       unsigned ALVReg = MF.addLiveIn(X86::AL, &X86::GR8RegClass);
2781       Forwards.push_back(ForwardedRegister(ALVReg, X86::AL, MVT::i8));
2782     }
2783
2784     // Copy all forwards from physical to virtual registers.
2785     for (ForwardedRegister &F : Forwards) {
2786       // FIXME: Can we use a less constrained schedule?
2787       SDValue RegVal = DAG.getCopyFromReg(Chain, dl, F.VReg, F.VT);
2788       F.VReg = MF.getRegInfo().createVirtualRegister(getRegClassFor(F.VT));
2789       Chain = DAG.getCopyToReg(Chain, dl, F.VReg, RegVal);
2790     }
2791   }
2792
2793   // Some CCs need callee pop.
2794   if (X86::isCalleePop(CallConv, Is64Bit, isVarArg,
2795                        MF.getTarget().Options.GuaranteedTailCallOpt)) {
2796     FuncInfo->setBytesToPopOnReturn(StackSize); // Callee pops everything.
2797   } else {
2798     FuncInfo->setBytesToPopOnReturn(0); // Callee pops nothing.
2799     // If this is an sret function, the return should pop the hidden pointer.
2800     if (!Is64Bit && !IsTailCallConvention(CallConv) &&
2801         !Subtarget->getTargetTriple().isOSMSVCRT() &&
2802         argsAreStructReturn(Ins) == StackStructReturn)
2803       FuncInfo->setBytesToPopOnReturn(4);
2804   }
2805
2806   if (!Is64Bit) {
2807     // RegSaveFrameIndex is X86-64 only.
2808     FuncInfo->setRegSaveFrameIndex(0xAAAAAAA);
2809     if (CallConv == CallingConv::X86_FastCall ||
2810         CallConv == CallingConv::X86_ThisCall)
2811       // fastcc functions can't have varargs.
2812       FuncInfo->setVarArgsFrameIndex(0xAAAAAAA);
2813   }
2814
2815   FuncInfo->setArgumentStackSize(StackSize);
2816
2817   if (IsWinEHParent) {
2818     if (Is64Bit) {
2819       int UnwindHelpFI = MFI->CreateStackObject(8, 8, /*isSS=*/false);
2820       SDValue StackSlot = DAG.getFrameIndex(UnwindHelpFI, MVT::i64);
2821       MMI.getWinEHFuncInfo(MF.getFunction()).UnwindHelpFrameIdx = UnwindHelpFI;
2822       SDValue Neg2 = DAG.getConstant(-2, dl, MVT::i64);
2823       Chain = DAG.getStore(Chain, dl, Neg2, StackSlot,
2824                            MachinePointerInfo::getFixedStack(
2825                                DAG.getMachineFunction(), UnwindHelpFI),
2826                            /*isVolatile=*/true,
2827                            /*isNonTemporal=*/false, /*Alignment=*/0);
2828     } else {
2829       // Functions using Win32 EH are considered to have opaque SP adjustments
2830       // to force local variables to be addressed from the frame or base
2831       // pointers.
2832       MFI->setHasOpaqueSPAdjustment(true);
2833     }
2834   }
2835
2836   return Chain;
2837 }
2838
2839 SDValue
2840 X86TargetLowering::LowerMemOpCallTo(SDValue Chain,
2841                                     SDValue StackPtr, SDValue Arg,
2842                                     SDLoc dl, SelectionDAG &DAG,
2843                                     const CCValAssign &VA,
2844                                     ISD::ArgFlagsTy Flags) const {
2845   unsigned LocMemOffset = VA.getLocMemOffset();
2846   SDValue PtrOff = DAG.getIntPtrConstant(LocMemOffset, dl);
2847   PtrOff = DAG.getNode(ISD::ADD, dl, getPointerTy(DAG.getDataLayout()),
2848                        StackPtr, PtrOff);
2849   if (Flags.isByVal())
2850     return CreateCopyOfByValArgument(Arg, PtrOff, Chain, Flags, DAG, dl);
2851
2852   return DAG.getStore(
2853       Chain, dl, Arg, PtrOff,
2854       MachinePointerInfo::getStack(DAG.getMachineFunction(), LocMemOffset),
2855       false, false, 0);
2856 }
2857
2858 /// Emit a load of return address if tail call
2859 /// optimization is performed and it is required.
2860 SDValue
2861 X86TargetLowering::EmitTailCallLoadRetAddr(SelectionDAG &DAG,
2862                                            SDValue &OutRetAddr, SDValue Chain,
2863                                            bool IsTailCall, bool Is64Bit,
2864                                            int FPDiff, SDLoc dl) const {
2865   // Adjust the Return address stack slot.
2866   EVT VT = getPointerTy(DAG.getDataLayout());
2867   OutRetAddr = getReturnAddressFrameIndex(DAG);
2868
2869   // Load the "old" Return address.
2870   OutRetAddr = DAG.getLoad(VT, dl, Chain, OutRetAddr, MachinePointerInfo(),
2871                            false, false, false, 0);
2872   return SDValue(OutRetAddr.getNode(), 1);
2873 }
2874
2875 /// Emit a store of the return address if tail call
2876 /// optimization is performed and it is required (FPDiff!=0).
2877 static SDValue EmitTailCallStoreRetAddr(SelectionDAG &DAG, MachineFunction &MF,
2878                                         SDValue Chain, SDValue RetAddrFrIdx,
2879                                         EVT PtrVT, unsigned SlotSize,
2880                                         int FPDiff, SDLoc dl) {
2881   // Store the return address to the appropriate stack slot.
2882   if (!FPDiff) return Chain;
2883   // Calculate the new stack slot for the return address.
2884   int NewReturnAddrFI =
2885     MF.getFrameInfo()->CreateFixedObject(SlotSize, (int64_t)FPDiff - SlotSize,
2886                                          false);
2887   SDValue NewRetAddrFrIdx = DAG.getFrameIndex(NewReturnAddrFI, PtrVT);
2888   Chain = DAG.getStore(Chain, dl, RetAddrFrIdx, NewRetAddrFrIdx,
2889                        MachinePointerInfo::getFixedStack(
2890                            DAG.getMachineFunction(), NewReturnAddrFI),
2891                        false, false, 0);
2892   return Chain;
2893 }
2894
2895 /// Returns a vector_shuffle mask for an movs{s|d}, movd
2896 /// operation of specified width.
2897 static SDValue getMOVL(SelectionDAG &DAG, SDLoc dl, EVT VT, SDValue V1,
2898                        SDValue V2) {
2899   unsigned NumElems = VT.getVectorNumElements();
2900   SmallVector<int, 8> Mask;
2901   Mask.push_back(NumElems);
2902   for (unsigned i = 1; i != NumElems; ++i)
2903     Mask.push_back(i);
2904   return DAG.getVectorShuffle(VT, dl, V1, V2, &Mask[0]);
2905 }
2906
2907 SDValue
2908 X86TargetLowering::LowerCall(TargetLowering::CallLoweringInfo &CLI,
2909                              SmallVectorImpl<SDValue> &InVals) const {
2910   SelectionDAG &DAG                     = CLI.DAG;
2911   SDLoc &dl                             = CLI.DL;
2912   SmallVectorImpl<ISD::OutputArg> &Outs = CLI.Outs;
2913   SmallVectorImpl<SDValue> &OutVals     = CLI.OutVals;
2914   SmallVectorImpl<ISD::InputArg> &Ins   = CLI.Ins;
2915   SDValue Chain                         = CLI.Chain;
2916   SDValue Callee                        = CLI.Callee;
2917   CallingConv::ID CallConv              = CLI.CallConv;
2918   bool &isTailCall                      = CLI.IsTailCall;
2919   bool isVarArg                         = CLI.IsVarArg;
2920
2921   MachineFunction &MF = DAG.getMachineFunction();
2922   bool Is64Bit        = Subtarget->is64Bit();
2923   bool IsWin64        = Subtarget->isCallingConvWin64(CallConv);
2924   StructReturnType SR = callIsStructReturn(Outs);
2925   bool IsSibcall      = false;
2926   X86MachineFunctionInfo *X86Info = MF.getInfo<X86MachineFunctionInfo>();
2927   auto Attr = MF.getFunction()->getFnAttribute("disable-tail-calls");
2928
2929   if (Attr.getValueAsString() == "true")
2930     isTailCall = false;
2931
2932   if (Subtarget->isPICStyleGOT() &&
2933       !MF.getTarget().Options.GuaranteedTailCallOpt) {
2934     // If we are using a GOT, disable tail calls to external symbols with
2935     // default visibility. Tail calling such a symbol requires using a GOT
2936     // relocation, which forces early binding of the symbol. This breaks code
2937     // that require lazy function symbol resolution. Using musttail or
2938     // GuaranteedTailCallOpt will override this.
2939     GlobalAddressSDNode *G = dyn_cast<GlobalAddressSDNode>(Callee);
2940     if (!G || (!G->getGlobal()->hasLocalLinkage() &&
2941                G->getGlobal()->hasDefaultVisibility()))
2942       isTailCall = false;
2943   }
2944
2945   bool IsMustTail = CLI.CS && CLI.CS->isMustTailCall();
2946   if (IsMustTail) {
2947     // Force this to be a tail call.  The verifier rules are enough to ensure
2948     // that we can lower this successfully without moving the return address
2949     // around.
2950     isTailCall = true;
2951   } else if (isTailCall) {
2952     // Check if it's really possible to do a tail call.
2953     isTailCall = IsEligibleForTailCallOptimization(Callee, CallConv,
2954                     isVarArg, SR != NotStructReturn,
2955                     MF.getFunction()->hasStructRetAttr(), CLI.RetTy,
2956                     Outs, OutVals, Ins, DAG);
2957
2958     // Sibcalls are automatically detected tailcalls which do not require
2959     // ABI changes.
2960     if (!MF.getTarget().Options.GuaranteedTailCallOpt && isTailCall)
2961       IsSibcall = true;
2962
2963     if (isTailCall)
2964       ++NumTailCalls;
2965   }
2966
2967   assert(!(isVarArg && IsTailCallConvention(CallConv)) &&
2968          "Var args not supported with calling convention fastcc, ghc or hipe");
2969
2970   // Analyze operands of the call, assigning locations to each operand.
2971   SmallVector<CCValAssign, 16> ArgLocs;
2972   CCState CCInfo(CallConv, isVarArg, MF, ArgLocs, *DAG.getContext());
2973
2974   // Allocate shadow area for Win64
2975   if (IsWin64)
2976     CCInfo.AllocateStack(32, 8);
2977
2978   CCInfo.AnalyzeCallOperands(Outs, CC_X86);
2979
2980   // Get a count of how many bytes are to be pushed on the stack.
2981   unsigned NumBytes = CCInfo.getNextStackOffset();
2982   if (IsSibcall)
2983     // This is a sibcall. The memory operands are available in caller's
2984     // own caller's stack.
2985     NumBytes = 0;
2986   else if (MF.getTarget().Options.GuaranteedTailCallOpt &&
2987            IsTailCallConvention(CallConv))
2988     NumBytes = GetAlignedArgumentStackSize(NumBytes, DAG);
2989
2990   int FPDiff = 0;
2991   if (isTailCall && !IsSibcall && !IsMustTail) {
2992     // Lower arguments at fp - stackoffset + fpdiff.
2993     unsigned NumBytesCallerPushed = X86Info->getBytesToPopOnReturn();
2994
2995     FPDiff = NumBytesCallerPushed - NumBytes;
2996
2997     // Set the delta of movement of the returnaddr stackslot.
2998     // But only set if delta is greater than previous delta.
2999     if (FPDiff < X86Info->getTCReturnAddrDelta())
3000       X86Info->setTCReturnAddrDelta(FPDiff);
3001   }
3002
3003   unsigned NumBytesToPush = NumBytes;
3004   unsigned NumBytesToPop = NumBytes;
3005
3006   // If we have an inalloca argument, all stack space has already been allocated
3007   // for us and be right at the top of the stack.  We don't support multiple
3008   // arguments passed in memory when using inalloca.
3009   if (!Outs.empty() && Outs.back().Flags.isInAlloca()) {
3010     NumBytesToPush = 0;
3011     if (!ArgLocs.back().isMemLoc())
3012       report_fatal_error("cannot use inalloca attribute on a register "
3013                          "parameter");
3014     if (ArgLocs.back().getLocMemOffset() != 0)
3015       report_fatal_error("any parameter with the inalloca attribute must be "
3016                          "the only memory argument");
3017   }
3018
3019   if (!IsSibcall)
3020     Chain = DAG.getCALLSEQ_START(
3021         Chain, DAG.getIntPtrConstant(NumBytesToPush, dl, true), dl);
3022
3023   SDValue RetAddrFrIdx;
3024   // Load return address for tail calls.
3025   if (isTailCall && FPDiff)
3026     Chain = EmitTailCallLoadRetAddr(DAG, RetAddrFrIdx, Chain, isTailCall,
3027                                     Is64Bit, FPDiff, dl);
3028
3029   SmallVector<std::pair<unsigned, SDValue>, 8> RegsToPass;
3030   SmallVector<SDValue, 8> MemOpChains;
3031   SDValue StackPtr;
3032
3033   // Walk the register/memloc assignments, inserting copies/loads.  In the case
3034   // of tail call optimization arguments are handle later.
3035   const X86RegisterInfo *RegInfo = Subtarget->getRegisterInfo();
3036   for (unsigned i = 0, e = ArgLocs.size(); i != e; ++i) {
3037     // Skip inalloca arguments, they have already been written.
3038     ISD::ArgFlagsTy Flags = Outs[i].Flags;
3039     if (Flags.isInAlloca())
3040       continue;
3041
3042     CCValAssign &VA = ArgLocs[i];
3043     EVT RegVT = VA.getLocVT();
3044     SDValue Arg = OutVals[i];
3045     bool isByVal = Flags.isByVal();
3046
3047     // Promote the value if needed.
3048     switch (VA.getLocInfo()) {
3049     default: llvm_unreachable("Unknown loc info!");
3050     case CCValAssign::Full: break;
3051     case CCValAssign::SExt:
3052       Arg = DAG.getNode(ISD::SIGN_EXTEND, dl, RegVT, Arg);
3053       break;
3054     case CCValAssign::ZExt:
3055       Arg = DAG.getNode(ISD::ZERO_EXTEND, dl, RegVT, Arg);
3056       break;
3057     case CCValAssign::AExt:
3058       if (Arg.getValueType().isVector() &&
3059           Arg.getValueType().getScalarType() == MVT::i1)
3060         Arg = DAG.getNode(ISD::SIGN_EXTEND, dl, RegVT, Arg);
3061       else if (RegVT.is128BitVector()) {
3062         // Special case: passing MMX values in XMM registers.
3063         Arg = DAG.getBitcast(MVT::i64, Arg);
3064         Arg = DAG.getNode(ISD::SCALAR_TO_VECTOR, dl, MVT::v2i64, Arg);
3065         Arg = getMOVL(DAG, dl, MVT::v2i64, DAG.getUNDEF(MVT::v2i64), Arg);
3066       } else
3067         Arg = DAG.getNode(ISD::ANY_EXTEND, dl, RegVT, Arg);
3068       break;
3069     case CCValAssign::BCvt:
3070       Arg = DAG.getBitcast(RegVT, Arg);
3071       break;
3072     case CCValAssign::Indirect: {
3073       // Store the argument.
3074       SDValue SpillSlot = DAG.CreateStackTemporary(VA.getValVT());
3075       int FI = cast<FrameIndexSDNode>(SpillSlot)->getIndex();
3076       Chain = DAG.getStore(
3077           Chain, dl, Arg, SpillSlot,
3078           MachinePointerInfo::getFixedStack(DAG.getMachineFunction(), FI),
3079           false, false, 0);
3080       Arg = SpillSlot;
3081       break;
3082     }
3083     }
3084
3085     if (VA.isRegLoc()) {
3086       RegsToPass.push_back(std::make_pair(VA.getLocReg(), Arg));
3087       if (isVarArg && IsWin64) {
3088         // Win64 ABI requires argument XMM reg to be copied to the corresponding
3089         // shadow reg if callee is a varargs function.
3090         unsigned ShadowReg = 0;
3091         switch (VA.getLocReg()) {
3092         case X86::XMM0: ShadowReg = X86::RCX; break;
3093         case X86::XMM1: ShadowReg = X86::RDX; break;
3094         case X86::XMM2: ShadowReg = X86::R8; break;
3095         case X86::XMM3: ShadowReg = X86::R9; break;
3096         }
3097         if (ShadowReg)
3098           RegsToPass.push_back(std::make_pair(ShadowReg, Arg));
3099       }
3100     } else if (!IsSibcall && (!isTailCall || isByVal)) {
3101       assert(VA.isMemLoc());
3102       if (!StackPtr.getNode())
3103         StackPtr = DAG.getCopyFromReg(Chain, dl, RegInfo->getStackRegister(),
3104                                       getPointerTy(DAG.getDataLayout()));
3105       MemOpChains.push_back(LowerMemOpCallTo(Chain, StackPtr, Arg,
3106                                              dl, DAG, VA, Flags));
3107     }
3108   }
3109
3110   if (!MemOpChains.empty())
3111     Chain = DAG.getNode(ISD::TokenFactor, dl, MVT::Other, MemOpChains);
3112
3113   if (Subtarget->isPICStyleGOT()) {
3114     // ELF / PIC requires GOT in the EBX register before function calls via PLT
3115     // GOT pointer.
3116     if (!isTailCall) {
3117       RegsToPass.push_back(std::make_pair(
3118           unsigned(X86::EBX), DAG.getNode(X86ISD::GlobalBaseReg, SDLoc(),
3119                                           getPointerTy(DAG.getDataLayout()))));
3120     } else {
3121       // If we are tail calling and generating PIC/GOT style code load the
3122       // address of the callee into ECX. The value in ecx is used as target of
3123       // the tail jump. This is done to circumvent the ebx/callee-saved problem
3124       // for tail calls on PIC/GOT architectures. Normally we would just put the
3125       // address of GOT into ebx and then call target@PLT. But for tail calls
3126       // ebx would be restored (since ebx is callee saved) before jumping to the
3127       // target@PLT.
3128
3129       // Note: The actual moving to ECX is done further down.
3130       GlobalAddressSDNode *G = dyn_cast<GlobalAddressSDNode>(Callee);
3131       if (G && !G->getGlobal()->hasLocalLinkage() &&
3132           G->getGlobal()->hasDefaultVisibility())
3133         Callee = LowerGlobalAddress(Callee, DAG);
3134       else if (isa<ExternalSymbolSDNode>(Callee))
3135         Callee = LowerExternalSymbol(Callee, DAG);
3136     }
3137   }
3138
3139   if (Is64Bit && isVarArg && !IsWin64 && !IsMustTail) {
3140     // From AMD64 ABI document:
3141     // For calls that may call functions that use varargs or stdargs
3142     // (prototype-less calls or calls to functions containing ellipsis (...) in
3143     // the declaration) %al is used as hidden argument to specify the number
3144     // of SSE registers used. The contents of %al do not need to match exactly
3145     // the number of registers, but must be an ubound on the number of SSE
3146     // registers used and is in the range 0 - 8 inclusive.
3147
3148     // Count the number of XMM registers allocated.
3149     static const MCPhysReg XMMArgRegs[] = {
3150       X86::XMM0, X86::XMM1, X86::XMM2, X86::XMM3,
3151       X86::XMM4, X86::XMM5, X86::XMM6, X86::XMM7
3152     };
3153     unsigned NumXMMRegs = CCInfo.getFirstUnallocated(XMMArgRegs);
3154     assert((Subtarget->hasSSE1() || !NumXMMRegs)
3155            && "SSE registers cannot be used when SSE is disabled");
3156
3157     RegsToPass.push_back(std::make_pair(unsigned(X86::AL),
3158                                         DAG.getConstant(NumXMMRegs, dl,
3159                                                         MVT::i8)));
3160   }
3161
3162   if (isVarArg && IsMustTail) {
3163     const auto &Forwards = X86Info->getForwardedMustTailRegParms();
3164     for (const auto &F : Forwards) {
3165       SDValue Val = DAG.getCopyFromReg(Chain, dl, F.VReg, F.VT);
3166       RegsToPass.push_back(std::make_pair(unsigned(F.PReg), Val));
3167     }
3168   }
3169
3170   // For tail calls lower the arguments to the 'real' stack slots.  Sibcalls
3171   // don't need this because the eligibility check rejects calls that require
3172   // shuffling arguments passed in memory.
3173   if (!IsSibcall && isTailCall) {
3174     // Force all the incoming stack arguments to be loaded from the stack
3175     // before any new outgoing arguments are stored to the stack, because the
3176     // outgoing stack slots may alias the incoming argument stack slots, and
3177     // the alias isn't otherwise explicit. This is slightly more conservative
3178     // than necessary, because it means that each store effectively depends
3179     // on every argument instead of just those arguments it would clobber.
3180     SDValue ArgChain = DAG.getStackArgumentTokenFactor(Chain);
3181
3182     SmallVector<SDValue, 8> MemOpChains2;
3183     SDValue FIN;
3184     int FI = 0;
3185     for (unsigned i = 0, e = ArgLocs.size(); i != e; ++i) {
3186       CCValAssign &VA = ArgLocs[i];
3187       if (VA.isRegLoc())
3188         continue;
3189       assert(VA.isMemLoc());
3190       SDValue Arg = OutVals[i];
3191       ISD::ArgFlagsTy Flags = Outs[i].Flags;
3192       // Skip inalloca arguments.  They don't require any work.
3193       if (Flags.isInAlloca())
3194         continue;
3195       // Create frame index.
3196       int32_t Offset = VA.getLocMemOffset()+FPDiff;
3197       uint32_t OpSize = (VA.getLocVT().getSizeInBits()+7)/8;
3198       FI = MF.getFrameInfo()->CreateFixedObject(OpSize, Offset, true);
3199       FIN = DAG.getFrameIndex(FI, getPointerTy(DAG.getDataLayout()));
3200
3201       if (Flags.isByVal()) {
3202         // Copy relative to framepointer.
3203         SDValue Source = DAG.getIntPtrConstant(VA.getLocMemOffset(), dl);
3204         if (!StackPtr.getNode())
3205           StackPtr = DAG.getCopyFromReg(Chain, dl, RegInfo->getStackRegister(),
3206                                         getPointerTy(DAG.getDataLayout()));
3207         Source = DAG.getNode(ISD::ADD, dl, getPointerTy(DAG.getDataLayout()),
3208                              StackPtr, Source);
3209
3210         MemOpChains2.push_back(CreateCopyOfByValArgument(Source, FIN,
3211                                                          ArgChain,
3212                                                          Flags, DAG, dl));
3213       } else {
3214         // Store relative to framepointer.
3215         MemOpChains2.push_back(DAG.getStore(
3216             ArgChain, dl, Arg, FIN,
3217             MachinePointerInfo::getFixedStack(DAG.getMachineFunction(), FI),
3218             false, false, 0));
3219       }
3220     }
3221
3222     if (!MemOpChains2.empty())
3223       Chain = DAG.getNode(ISD::TokenFactor, dl, MVT::Other, MemOpChains2);
3224
3225     // Store the return address to the appropriate stack slot.
3226     Chain = EmitTailCallStoreRetAddr(DAG, MF, Chain, RetAddrFrIdx,
3227                                      getPointerTy(DAG.getDataLayout()),
3228                                      RegInfo->getSlotSize(), FPDiff, dl);
3229   }
3230
3231   // Build a sequence of copy-to-reg nodes chained together with token chain
3232   // and flag operands which copy the outgoing args into registers.
3233   SDValue InFlag;
3234   for (unsigned i = 0, e = RegsToPass.size(); i != e; ++i) {
3235     Chain = DAG.getCopyToReg(Chain, dl, RegsToPass[i].first,
3236                              RegsToPass[i].second, InFlag);
3237     InFlag = Chain.getValue(1);
3238   }
3239
3240   if (DAG.getTarget().getCodeModel() == CodeModel::Large) {
3241     assert(Is64Bit && "Large code model is only legal in 64-bit mode.");
3242     // In the 64-bit large code model, we have to make all calls
3243     // through a register, since the call instruction's 32-bit
3244     // pc-relative offset may not be large enough to hold the whole
3245     // address.
3246   } else if (Callee->getOpcode() == ISD::GlobalAddress) {
3247     // If the callee is a GlobalAddress node (quite common, every direct call
3248     // is) turn it into a TargetGlobalAddress node so that legalize doesn't hack
3249     // it.
3250     GlobalAddressSDNode* G = cast<GlobalAddressSDNode>(Callee);
3251
3252     // We should use extra load for direct calls to dllimported functions in
3253     // non-JIT mode.
3254     const GlobalValue *GV = G->getGlobal();
3255     if (!GV->hasDLLImportStorageClass()) {
3256       unsigned char OpFlags = 0;
3257       bool ExtraLoad = false;
3258       unsigned WrapperKind = ISD::DELETED_NODE;
3259
3260       // On ELF targets, in both X86-64 and X86-32 mode, direct calls to
3261       // external symbols most go through the PLT in PIC mode.  If the symbol
3262       // has hidden or protected visibility, or if it is static or local, then
3263       // we don't need to use the PLT - we can directly call it.
3264       if (Subtarget->isTargetELF() &&
3265           DAG.getTarget().getRelocationModel() == Reloc::PIC_ &&
3266           GV->hasDefaultVisibility() && !GV->hasLocalLinkage()) {
3267         OpFlags = X86II::MO_PLT;
3268       } else if (Subtarget->isPICStyleStubAny() &&
3269                  !GV->isStrongDefinitionForLinker() &&
3270                  (!Subtarget->getTargetTriple().isMacOSX() ||