lib/Target/IA64/IA64ISelLowering.cpp

   1 //===-- IA64ISelLowering.cpp - IA64 DAG Lowering Implementation -----------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the IA64ISelLowering class.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "IA64ISelLowering.h"
  15 #include "IA64MachineFunctionInfo.h"
  16 #include "IA64TargetMachine.h"
  17 #include "llvm/CodeGen/MachineFrameInfo.h"
  18 #include "llvm/CodeGen/MachineFunction.h"
  19 #include "llvm/CodeGen/MachineInstrBuilder.h"
  20 #include "llvm/CodeGen/SelectionDAG.h"
  21 #include "llvm/CodeGen/MachineRegisterInfo.h"
  22 #include "llvm/Constants.h"
  23 #include "llvm/Function.h"
  24 using namespace llvm;
  25
  26 IA64TargetLowering::IA64TargetLowering(TargetMachine &TM)
  27   : TargetLowering(TM) {
  28
  29   // register class for general registers
  30   addRegisterClass(MVT::i64, IA64::GRRegisterClass);
  31
  32   // register class for FP registers
  33   addRegisterClass(MVT::f64, IA64::FPRegisterClass);
  34
  35   // register class for predicate registers
  36   addRegisterClass(MVT::i1, IA64::PRRegisterClass);
  37
  38   setLoadXAction(ISD::EXTLOAD          , MVT::i1   , Promote);
  39
  40   setLoadXAction(ISD::ZEXTLOAD         , MVT::i1   , Promote);
  41
  42   setLoadXAction(ISD::SEXTLOAD         , MVT::i1   , Promote);
  43   setLoadXAction(ISD::SEXTLOAD         , MVT::i8   , Expand);
  44   setLoadXAction(ISD::SEXTLOAD         , MVT::i16  , Expand);
  45   setLoadXAction(ISD::SEXTLOAD         , MVT::i32  , Expand);
  46
  47   setOperationAction(ISD::BRIND            , MVT::Other, Expand);
  48   setOperationAction(ISD::BR_JT            , MVT::Other, Expand);
  49   setOperationAction(ISD::BR_CC            , MVT::Other, Expand);
  50   setOperationAction(ISD::FP_ROUND_INREG   , MVT::f32  , Expand);
  51
  52   // ia64 uses SELECT not SELECT_CC
  53   setOperationAction(ISD::SELECT_CC        , MVT::Other,  Expand);
  54
  55   // We need to handle ISD::RET for void functions ourselves,
  56   // so we get a chance to restore ar.pfs before adding a
  57   // br.ret insn
  58   setOperationAction(ISD::RET, MVT::Other, Custom);
  59
  60   setShiftAmountType(MVT::i64);
  61
  62   setOperationAction(ISD::FREM             , MVT::f32  , Expand);
  63   setOperationAction(ISD::FREM             , MVT::f64  , Expand);
  64
  65   setOperationAction(ISD::UREM             , MVT::f32  , Expand);
  66   setOperationAction(ISD::UREM             , MVT::f64  , Expand);
  67
  68   setOperationAction(ISD::MEMBARRIER       , MVT::Other, Expand);
  69
  70   setOperationAction(ISD::SINT_TO_FP       , MVT::i1   , Promote);
  71   setOperationAction(ISD::UINT_TO_FP       , MVT::i1   , Promote);
  72
  73   // We don't support sin/cos/sqrt/pow
  74   setOperationAction(ISD::FSIN , MVT::f64, Expand);
  75   setOperationAction(ISD::FCOS , MVT::f64, Expand);
  76   setOperationAction(ISD::FSQRT, MVT::f64, Expand);
  77   setOperationAction(ISD::FPOW , MVT::f64, Expand);
  78   setOperationAction(ISD::FSIN , MVT::f32, Expand);
  79   setOperationAction(ISD::FCOS , MVT::f32, Expand);
  80   setOperationAction(ISD::FSQRT, MVT::f32, Expand);
  81   setOperationAction(ISD::FPOW , MVT::f32, Expand);
  82
  83   setOperationAction(ISD::SIGN_EXTEND_INREG, MVT::i1   , Expand);
  84
  85   // FIXME: IA64 supports fcopysign natively!
  86   setOperationAction(ISD::FCOPYSIGN, MVT::f64, Expand);
  87   setOperationAction(ISD::FCOPYSIGN, MVT::f32, Expand);
  88
  89   // We don't have line number support yet.
  90   setOperationAction(ISD::DBG_STOPPOINT, MVT::Other, Expand);
  91   setOperationAction(ISD::DEBUG_LOC, MVT::Other, Expand);
  92   setOperationAction(ISD::LABEL, MVT::Other, Expand);
  93
  94   // IA64 has ctlz in the form of the 'fnorm' instruction.  The Legalizer
  95   // expansion for ctlz/cttz in terms of ctpop is much larger, but lower
  96   // latency.
  97   // FIXME: Custom lower CTLZ when compiling for size?
  98   setOperationAction(ISD::CTLZ , MVT::i64  , Expand);
  99   setOperationAction(ISD::CTTZ , MVT::i64  , Expand);
 100   setOperationAction(ISD::ROTL , MVT::i64  , Expand);
 101   setOperationAction(ISD::ROTR , MVT::i64  , Expand);
 102
 103   // FIXME: IA64 has this, but is not implemented. should be mux @rev
 104   setOperationAction(ISD::BSWAP, MVT::i64  , Expand);
 105
 106   // VASTART needs to be custom lowered to use the VarArgsFrameIndex
 107   setOperationAction(ISD::VAARG             , MVT::Other, Custom);
 108   setOperationAction(ISD::VASTART           , MVT::Other, Custom);
 109
 110   // Use the default implementation.
 111   setOperationAction(ISD::VACOPY            , MVT::Other, Expand);
 112   setOperationAction(ISD::VAEND             , MVT::Other, Expand);
 113   setOperationAction(ISD::STACKSAVE, MVT::Other, Expand);
 114   setOperationAction(ISD::STACKRESTORE, MVT::Other, Expand);
 115   setOperationAction(ISD::DYNAMIC_STACKALLOC, MVT::i64, Expand);
 116
 117   // Thread Local Storage
 118   setOperationAction(ISD::GlobalTLSAddress, MVT::i64, Custom);
 119
 120   setStackPointerRegisterToSaveRestore(IA64::r12);
 121
 122   setJumpBufSize(704); // on ia64-linux, jmp_bufs are 704 bytes..
 123   setJumpBufAlignment(16); // ...and must be 16-byte aligned
 124
 125   computeRegisterProperties();
 126
 127   addLegalFPImmediate(APFloat(+0.0));
 128   addLegalFPImmediate(APFloat(-0.0));
 129   addLegalFPImmediate(APFloat(+1.0));
 130   addLegalFPImmediate(APFloat(-1.0));
 131 }
 132
 133 const char *IA64TargetLowering::getTargetNodeName(unsigned Opcode) const {
 134   switch (Opcode) {
 135   default: return 0;
 136   case IA64ISD::GETFD:  return "IA64ISD::GETFD";
 137   case IA64ISD::BRCALL: return "IA64ISD::BRCALL";
 138   case IA64ISD::RET_FLAG: return "IA64ISD::RET_FLAG";
 139   }
 140 }
 141
 142 MVT IA64TargetLowering::getSetCCResultType(const SDOperand &) const {
 143   return MVT::i1;
 144 }
 145
 146 void IA64TargetLowering::LowerArguments(Function &F, SelectionDAG &DAG,
 147                                         SmallVectorImpl<SDOperand> &ArgValues) {
 148   //
 149   // add beautiful description of IA64 stack frame format
 150   // here (from intel 24535803.pdf most likely)
 151   //
 152   MachineFunction &MF = DAG.getMachineFunction();
 153   MachineFrameInfo *MFI = MF.getFrameInfo();
 154   const TargetInstrInfo *TII = getTargetMachine().getInstrInfo();
 155
 156   GP = MF.getRegInfo().createVirtualRegister(getRegClassFor(MVT::i64));
 157   SP = MF.getRegInfo().createVirtualRegister(getRegClassFor(MVT::i64));
 158   RP = MF.getRegInfo().createVirtualRegister(getRegClassFor(MVT::i64));
 159
 160   MachineBasicBlock& BB = MF.front();
 161
 162   unsigned args_int[] = {IA64::r32, IA64::r33, IA64::r34, IA64::r35,
 163                          IA64::r36, IA64::r37, IA64::r38, IA64::r39};
 164
 165   unsigned args_FP[] = {IA64::F8, IA64::F9, IA64::F10, IA64::F11,
 166                         IA64::F12,IA64::F13,IA64::F14, IA64::F15};
 167
 168   unsigned argVreg[8];
 169   unsigned argPreg[8];
 170   unsigned argOpc[8];
 171
 172   unsigned used_FPArgs = 0; // how many FP args have been used so far?
 173
 174   unsigned ArgOffset = 0;
 175   int count = 0;
 176
 177   for (Function::arg_iterator I = F.arg_begin(), E = F.arg_end(); I != E; ++I)
 178     {
 179       SDOperand newroot, argt;
 180       if(count < 8) { // need to fix this logic? maybe.
 181
 182         switch (getValueType(I->getType()).getSimpleVT()) {
 183           default:
 184             assert(0 && "ERROR in LowerArgs: can't lower this type of arg.\n");
 185           case MVT::f32:
 186             // fixme? (well, will need to for weird FP structy stuff,
 187             // see intel ABI docs)
 188           case MVT::f64:
 189 //XXX            BuildMI(&BB, IA64::IDEF, 0, args_FP[used_FPArgs]);
 190             MF.getRegInfo().addLiveIn(args_FP[used_FPArgs]);
 191             // mark this reg as liveIn
 192             // floating point args go into f8..f15 as-needed, the increment
 193             argVreg[count] =                              // is below..:
 194             MF.getRegInfo().createVirtualRegister(getRegClassFor(MVT::f64));
 195             // FP args go into f8..f15 as needed: (hence the ++)
 196             argPreg[count] = args_FP[used_FPArgs++];
 197             argOpc[count] = IA64::FMOV;
 198             argt = newroot = DAG.getCopyFromReg(DAG.getRoot(), argVreg[count],
 199                                                 MVT::f64);
 200             if (I->getType() == Type::FloatTy)
 201               argt = DAG.getNode(ISD::FP_ROUND, MVT::f32, argt,
 202                                  DAG.getIntPtrConstant(0));
 203             break;
 204           case MVT::i1: // NOTE: as far as C abi stuff goes,
 205                         // bools are just boring old ints
 206           case MVT::i8:
 207           case MVT::i16:
 208           case MVT::i32:
 209           case MVT::i64:
 210 //XXX            BuildMI(&BB, IA64::IDEF, 0, args_int[count]);
 211             MF.getRegInfo().addLiveIn(args_int[count]);
 212             // mark this register as liveIn
 213             argVreg[count] =
 214             MF.getRegInfo().createVirtualRegister(getRegClassFor(MVT::i64));
 215             argPreg[count] = args_int[count];
 216             argOpc[count] = IA64::MOV;
 217             argt = newroot =
 218               DAG.getCopyFromReg(DAG.getRoot(), argVreg[count], MVT::i64);
 219             if ( getValueType(I->getType()) != MVT::i64)
 220               argt = DAG.getNode(ISD::TRUNCATE, getValueType(I->getType()),
 221                   newroot);
 222             break;
 223         }
 224       } else { // more than 8 args go into the frame
 225         // Create the frame index object for this incoming parameter...
 226         ArgOffset = 16 + 8 * (count - 8);
 227         int FI = MFI->CreateFixedObject(8, ArgOffset);
 228
 229         // Create the SelectionDAG nodes corresponding to a load
 230         //from this parameter
 231         SDOperand FIN = DAG.getFrameIndex(FI, MVT::i64);
 232         argt = newroot = DAG.getLoad(getValueType(I->getType()),
 233                                      DAG.getEntryNode(), FIN, NULL, 0);
 234       }
 235       ++count;
 236       DAG.setRoot(newroot.getValue(1));
 237       ArgValues.push_back(argt);
 238     }
 239
 240
 241   // Create a vreg to hold the output of (what will become)
 242   // the "alloc" instruction
 243   VirtGPR = MF.getRegInfo().createVirtualRegister(getRegClassFor(MVT::i64));
 244   BuildMI(&BB, TII->get(IA64::PSEUDO_ALLOC), VirtGPR);
 245   // we create a PSEUDO_ALLOC (pseudo)instruction for now
 246 /*
 247   BuildMI(&BB, IA64::IDEF, 0, IA64::r1);
 248
 249   // hmm:
 250   BuildMI(&BB, IA64::IDEF, 0, IA64::r12);
 251   BuildMI(&BB, IA64::IDEF, 0, IA64::rp);
 252   // ..hmm.
 253
 254   BuildMI(&BB, IA64::MOV, 1, GP).addReg(IA64::r1);
 255
 256   // hmm:
 257   BuildMI(&BB, IA64::MOV, 1, SP).addReg(IA64::r12);
 258   BuildMI(&BB, IA64::MOV, 1, RP).addReg(IA64::rp);
 259   // ..hmm.
 260 */
 261
 262   unsigned tempOffset=0;
 263
 264   // if this is a varargs function, we simply lower llvm.va_start by
 265   // pointing to the first entry
 266   if(F.isVarArg()) {
 267     tempOffset=0;
 268     VarArgsFrameIndex = MFI->CreateFixedObject(8, tempOffset);
 269   }
 270
 271   // here we actually do the moving of args, and store them to the stack
 272   // too if this is a varargs function:
 273   for (int i = 0; i < count && i < 8; ++i) {
 274     BuildMI(&BB, TII->get(argOpc[i]), argVreg[i]).addReg(argPreg[i]);
 275     if(F.isVarArg()) {
 276       // if this is a varargs function, we copy the input registers to the stack
 277       int FI = MFI->CreateFixedObject(8, tempOffset);
 278       tempOffset+=8;   //XXX: is it safe to use r22 like this?
 279       BuildMI(&BB, TII->get(IA64::MOV), IA64::r22).addFrameIndex(FI);
 280       // FIXME: we should use st8.spill here, one day
 281       BuildMI(&BB, TII->get(IA64::ST8), IA64::r22).addReg(argPreg[i]);
 282     }
 283   }
 284
 285   // Finally, inform the code generator which regs we return values in.
 286   // (see the ISD::RET: case in the instruction selector)
 287   switch (getValueType(F.getReturnType()).getSimpleVT()) {
 288   default: assert(0 && "i have no idea where to return this type!");
 289   case MVT::isVoid: break;
 290   case MVT::i1:
 291   case MVT::i8:
 292   case MVT::i16:
 293   case MVT::i32:
 294   case MVT::i64:
 295     MF.getRegInfo().addLiveOut(IA64::r8);
 296     break;
 297   case MVT::f32:
 298   case MVT::f64:
 299     MF.getRegInfo().addLiveOut(IA64::F8);
 300     break;
 301   }
 302 }
 303
 304 std::pair<SDOperand, SDOperand>
 305 IA64TargetLowering::LowerCallTo(SDOperand Chain, const Type *RetTy,
 306                                 bool RetSExt, bool RetZExt,
 307                                 bool isVarArg, unsigned CallingConv,
 308                                 bool isTailCall, SDOperand Callee,
 309                                 ArgListTy &Args, SelectionDAG &DAG) {
 310
 311   MachineFunction &MF = DAG.getMachineFunction();
 312
 313   unsigned NumBytes = 16;
 314   unsigned outRegsUsed = 0;
 315
 316   if (Args.size() > 8) {
 317     NumBytes += (Args.size() - 8) * 8;
 318     outRegsUsed = 8;
 319   } else {
 320     outRegsUsed = Args.size();
 321   }
 322
 323   // FIXME? this WILL fail if we ever try to pass around an arg that
 324   // consumes more than a single output slot (a 'real' double, int128
 325   // some sort of aggregate etc.), as we'll underestimate how many 'outX'
 326   // registers we use. Hopefully, the assembler will notice.
 327   MF.getInfo<IA64FunctionInfo>()->outRegsUsed=
 328     std::max(outRegsUsed, MF.getInfo<IA64FunctionInfo>()->outRegsUsed);
 329
 330   // keep stack frame 16-byte aligned
 331   // assert(NumBytes==((NumBytes+15) & ~15) &&
 332   //        "stack frame not 16-byte aligned!");
 333   NumBytes = (NumBytes+15) & ~15;
 334
 335   Chain = DAG.getCALLSEQ_START(Chain,DAG.getConstant(NumBytes, getPointerTy()));
 336
 337   SDOperand StackPtr;
 338   std::vector<SDOperand> Stores;
 339   std::vector<SDOperand> Converts;
 340   std::vector<SDOperand> RegValuesToPass;
 341   unsigned ArgOffset = 16;
 342
 343   for (unsigned i = 0, e = Args.size(); i != e; ++i)
 344     {
 345       SDOperand Val = Args[i].Node;
 346       MVT ObjectVT = Val.getValueType();
 347       SDOperand ValToStore(0, 0), ValToConvert(0, 0);
 348       unsigned ObjSize=8;
 349       switch (ObjectVT.getSimpleVT()) {
 350       default: assert(0 && "unexpected argument type!");
 351       case MVT::i1:
 352       case MVT::i8:
 353       case MVT::i16:
 354       case MVT::i32: {
 355         //promote to 64-bits, sign/zero extending based on type
 356         //of the argument
 357         ISD::NodeType ExtendKind = ISD::ANY_EXTEND;
 358         if (Args[i].isSExt)
 359           ExtendKind = ISD::SIGN_EXTEND;
 360         else if (Args[i].isZExt)
 361           ExtendKind = ISD::ZERO_EXTEND;
 362         Val = DAG.getNode(ExtendKind, MVT::i64, Val);
 363         // XXX: fall through
 364       }
 365       case MVT::i64:
 366         //ObjSize = 8;
 367         if(RegValuesToPass.size() >= 8) {
 368           ValToStore = Val;
 369         } else {
 370           RegValuesToPass.push_back(Val);
 371         }
 372         break;
 373       case MVT::f32:
 374         //promote to 64-bits
 375         Val = DAG.getNode(ISD::FP_EXTEND, MVT::f64, Val);
 376         // XXX: fall through
 377       case MVT::f64:
 378         if(RegValuesToPass.size() >= 8) {
 379           ValToStore = Val;
 380         } else {
 381           RegValuesToPass.push_back(Val);
 382           if(1 /* TODO: if(calling external or varadic function)*/ ) {
 383             ValToConvert = Val; // additionally pass this FP value as an int
 384           }
 385         }
 386         break;
 387       }
 388
 389       if(ValToStore.Val) {
 390         if(!StackPtr.Val) {
 391           StackPtr = DAG.getRegister(IA64::r12, MVT::i64);
 392         }
 393         SDOperand PtrOff = DAG.getConstant(ArgOffset, getPointerTy());
 394         PtrOff = DAG.getNode(ISD::ADD, MVT::i64, StackPtr, PtrOff);
 395         Stores.push_back(DAG.getStore(Chain, ValToStore, PtrOff, NULL, 0));
 396         ArgOffset += ObjSize;
 397       }
 398
 399       if(ValToConvert.Val) {
 400         Converts.push_back(DAG.getNode(IA64ISD::GETFD, MVT::i64, ValToConvert));
 401       }
 402     }
 403
 404   // Emit all stores, make sure they occur before any copies into physregs.
 405   if (!Stores.empty())
 406     Chain = DAG.getNode(ISD::TokenFactor, MVT::Other, &Stores[0],Stores.size());
 407
 408   static const unsigned IntArgRegs[] = {
 409     IA64::out0, IA64::out1, IA64::out2, IA64::out3,
 410     IA64::out4, IA64::out5, IA64::out6, IA64::out7
 411   };
 412
 413   static const unsigned FPArgRegs[] = {
 414     IA64::F8,  IA64::F9,  IA64::F10, IA64::F11,
 415     IA64::F12, IA64::F13, IA64::F14, IA64::F15
 416   };
 417
 418   SDOperand InFlag;
 419
 420   // save the current GP, SP and RP : FIXME: do we need to do all 3 always?
 421   SDOperand GPBeforeCall = DAG.getCopyFromReg(Chain, IA64::r1, MVT::i64, InFlag);
 422   Chain = GPBeforeCall.getValue(1);
 423   InFlag = Chain.getValue(2);
 424   SDOperand SPBeforeCall = DAG.getCopyFromReg(Chain, IA64::r12, MVT::i64, InFlag);
 425   Chain = SPBeforeCall.getValue(1);
 426   InFlag = Chain.getValue(2);
 427   SDOperand RPBeforeCall = DAG.getCopyFromReg(Chain, IA64::rp, MVT::i64, InFlag);
 428   Chain = RPBeforeCall.getValue(1);
 429   InFlag = Chain.getValue(2);
 430
 431   // Build a sequence of copy-to-reg nodes chained together with token chain
 432   // and flag operands which copy the outgoing integer args into regs out[0-7]
 433   // mapped 1:1 and the FP args into regs F8-F15 "lazily"
 434   // TODO: for performance, we should only copy FP args into int regs when we
 435   // know this is required (i.e. for varardic or external (unknown) functions)
 436
 437   // first to the FP->(integer representation) conversions, these are
 438   // flagged for now, but shouldn't have to be (TODO)
 439   unsigned seenConverts = 0;
 440   for (unsigned i = 0, e = RegValuesToPass.size(); i != e; ++i) {
 441     if(RegValuesToPass[i].getValueType().isFloatingPoint()) {
 442       Chain = DAG.getCopyToReg(Chain, IntArgRegs[i], Converts[seenConverts++],
 443                                InFlag);
 444       InFlag = Chain.getValue(1);
 445     }
 446   }
 447
 448   // next copy args into the usual places, these are flagged
 449   unsigned usedFPArgs = 0;
 450   for (unsigned i = 0, e = RegValuesToPass.size(); i != e; ++i) {
 451     Chain = DAG.getCopyToReg(Chain,
 452       RegValuesToPass[i].getValueType().isInteger() ?
 453         IntArgRegs[i] : FPArgRegs[usedFPArgs++], RegValuesToPass[i], InFlag);
 454     InFlag = Chain.getValue(1);
 455   }
 456
 457   // If the callee is a GlobalAddress node (quite common, every direct call is)
 458   // turn it into a TargetGlobalAddress node so that legalize doesn't hack it.
 459 /*
 460   if (GlobalAddressSDNode *G = dyn_cast<GlobalAddressSDNode>(Callee)) {
 461     Callee = DAG.getTargetGlobalAddress(G->getGlobal(), MVT::i64);
 462   }
 463 */
 464
 465   std::vector<MVT> NodeTys;
 466   std::vector<SDOperand> CallOperands;
 467   NodeTys.push_back(MVT::Other);   // Returns a chain
 468   NodeTys.push_back(MVT::Flag);    // Returns a flag for retval copy to use.
 469   CallOperands.push_back(Chain);
 470   CallOperands.push_back(Callee);
 471
 472   // emit the call itself
 473   if (InFlag.Val)
 474     CallOperands.push_back(InFlag);
 475   else
 476     assert(0 && "this should never happen!\n");
 477
 478   // to make way for a hack:
 479   Chain = DAG.getNode(IA64ISD::BRCALL, NodeTys,
 480                       &CallOperands[0], CallOperands.size());
 481   InFlag = Chain.getValue(1);
 482
 483   // restore the GP, SP and RP after the call
 484   Chain = DAG.getCopyToReg(Chain, IA64::r1, GPBeforeCall, InFlag);
 485   InFlag = Chain.getValue(1);
 486   Chain = DAG.getCopyToReg(Chain, IA64::r12, SPBeforeCall, InFlag);
 487   InFlag = Chain.getValue(1);
 488   Chain = DAG.getCopyToReg(Chain, IA64::rp, RPBeforeCall, InFlag);
 489   InFlag = Chain.getValue(1);
 490
 491   std::vector<MVT> RetVals;
 492   RetVals.push_back(MVT::Other);
 493   RetVals.push_back(MVT::Flag);
 494
 495   MVT RetTyVT = getValueType(RetTy);
 496   SDOperand RetVal;
 497   if (RetTyVT != MVT::isVoid) {
 498     switch (RetTyVT.getSimpleVT()) {
 499     default: assert(0 && "Unknown value type to return!");
 500     case MVT::i1: { // bools are just like other integers (returned in r8)
 501       // we *could* fall through to the truncate below, but this saves a
 502       // few redundant predicate ops
 503       SDOperand boolInR8 = DAG.getCopyFromReg(Chain, IA64::r8, MVT::i64,InFlag);
 504       InFlag = boolInR8.getValue(2);
 505       Chain = boolInR8.getValue(1);
 506       SDOperand zeroReg = DAG.getCopyFromReg(Chain, IA64::r0, MVT::i64, InFlag);
 507       InFlag = zeroReg.getValue(2);
 508       Chain = zeroReg.getValue(1);
 509
 510       RetVal = DAG.getSetCC(MVT::i1, boolInR8, zeroReg, ISD::SETNE);
 511       break;
 512     }
 513     case MVT::i8:
 514     case MVT::i16:
 515     case MVT::i32:
 516       RetVal = DAG.getCopyFromReg(Chain, IA64::r8, MVT::i64, InFlag);
 517       Chain = RetVal.getValue(1);
 518
 519       // keep track of whether it is sign or zero extended (todo: bools?)
 520 /* XXX
 521       RetVal = DAG.getNode(RetTy->isSigned() ? ISD::AssertSext :ISD::AssertZext,
 522                            MVT::i64, RetVal, DAG.getValueType(RetTyVT));
 523 */
 524       RetVal = DAG.getNode(ISD::TRUNCATE, RetTyVT, RetVal);
 525       break;
 526     case MVT::i64:
 527       RetVal = DAG.getCopyFromReg(Chain, IA64::r8, MVT::i64, InFlag);
 528       Chain = RetVal.getValue(1);
 529       InFlag = RetVal.getValue(2); // XXX dead
 530       break;
 531     case MVT::f32:
 532       RetVal = DAG.getCopyFromReg(Chain, IA64::F8, MVT::f64, InFlag);
 533       Chain = RetVal.getValue(1);
 534       RetVal = DAG.getNode(ISD::FP_ROUND, MVT::f32, RetVal,
 535                            DAG.getIntPtrConstant(0));
 536       break;
 537     case MVT::f64:
 538       RetVal = DAG.getCopyFromReg(Chain, IA64::F8, MVT::f64, InFlag);
 539       Chain = RetVal.getValue(1);
 540       InFlag = RetVal.getValue(2); // XXX dead
 541       break;
 542     }
 543   }
 544
 545   Chain = DAG.getCALLSEQ_END(Chain,
 546                              DAG.getConstant(NumBytes, getPointerTy()),
 547                              DAG.getConstant(0, getPointerTy()),
 548                              SDOperand());
 549   return std::make_pair(RetVal, Chain);
 550 }
 551
 552 SDOperand IA64TargetLowering::
 553 LowerOperation(SDOperand Op, SelectionDAG &DAG) {
 554   switch (Op.getOpcode()) {
 555   default: assert(0 && "Should not custom lower this!");
 556   case ISD::GlobalTLSAddress:
 557     assert(0 && "TLS not implemented for IA64.");
 558   case ISD::RET: {
 559     SDOperand AR_PFSVal, Copy;
 560
 561     switch(Op.getNumOperands()) {
 562      default:
 563       assert(0 && "Do not know how to return this many arguments!");
 564       abort();
 565     case 1:
 566       AR_PFSVal = DAG.getCopyFromReg(Op.getOperand(0), VirtGPR, MVT::i64);
 567       AR_PFSVal = DAG.getCopyToReg(AR_PFSVal.getValue(1), IA64::AR_PFS,
 568                                    AR_PFSVal);
 569       return DAG.getNode(IA64ISD::RET_FLAG, MVT::Other, AR_PFSVal);
 570     case 3: {
 571       // Copy the result into the output register & restore ar.pfs
 572       MVT ArgVT = Op.getOperand(1).getValueType();
 573       unsigned ArgReg = ArgVT.isInteger() ? IA64::r8 : IA64::F8;
 574
 575       AR_PFSVal = DAG.getCopyFromReg(Op.getOperand(0), VirtGPR, MVT::i64);
 576       Copy = DAG.getCopyToReg(AR_PFSVal.getValue(1), ArgReg, Op.getOperand(1),
 577                               SDOperand());
 578       AR_PFSVal = DAG.getCopyToReg(Copy.getValue(0), IA64::AR_PFS, AR_PFSVal,
 579                                    Copy.getValue(1));
 580       return DAG.getNode(IA64ISD::RET_FLAG, MVT::Other,
 581                          AR_PFSVal, AR_PFSVal.getValue(1));
 582     }
 583     }
 584     return SDOperand();
 585   }
 586   case ISD::VAARG: {
 587     MVT VT = getPointerTy();
 588     const Value *SV = cast<SrcValueSDNode>(Op.getOperand(2))->getValue();
 589     SDOperand VAList = DAG.getLoad(VT, Op.getOperand(0), Op.getOperand(1),
 590                                    SV, 0);
 591     // Increment the pointer, VAList, to the next vaarg
 592     SDOperand VAIncr = DAG.getNode(ISD::ADD, VT, VAList,
 593                                    DAG.getConstant(VT.getSizeInBits()/8,
 594                                                    VT));
 595     // Store the incremented VAList to the legalized pointer
 596     VAIncr = DAG.getStore(VAList.getValue(1), VAIncr,
 597                           Op.getOperand(1), SV, 0);
 598     // Load the actual argument out of the pointer VAList
 599     return DAG.getLoad(Op.getValueType(), VAIncr, VAList, NULL, 0);
 600   }
 601   case ISD::VASTART: {
 602     // vastart just stores the address of the VarArgsFrameIndex slot into the
 603     // memory location argument.
 604     SDOperand FR = DAG.getFrameIndex(VarArgsFrameIndex, MVT::i64);
 605     const Value *SV = cast<SrcValueSDNode>(Op.getOperand(2))->getValue();
 606     return DAG.getStore(Op.getOperand(0), FR, Op.getOperand(1), SV, 0);
 607   }
 608   // Frame & Return address.  Currently unimplemented
 609   case ISD::RETURNADDR:         break;
 610   case ISD::FRAMEADDR:          break;
 611   }
 612   return SDOperand();
 613 }