lib/Target/IA64/IA64ISelDAGToDAG.cpp

   1 //===---- IA64ISelDAGToDAG.cpp - IA64 pattern matching inst selector ------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file was developed by Duraid Madina and is distributed under
   6 // the University of Illinois Open Source License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file defines a pattern matching instruction selector for IA64,
  11 // converting a legalized dag to an IA64 dag.
  12 //
  13 //===----------------------------------------------------------------------===//
  14
  15 #include "IA64.h"
  16 #include "IA64TargetMachine.h"
  17 #include "IA64ISelLowering.h"
  18 #include "llvm/CodeGen/MachineInstrBuilder.h"
  19 #include "llvm/CodeGen/MachineFunction.h"
  20 #include "llvm/CodeGen/SSARegMap.h"
  21 #include "llvm/CodeGen/SelectionDAG.h"
  22 #include "llvm/CodeGen/SelectionDAGISel.h"
  23 #include "llvm/Target/TargetOptions.h"
  24 #include "llvm/ADT/Statistic.h"
  25 #include "llvm/Constants.h"
  26 #include "llvm/GlobalValue.h"
  27 #include "llvm/Support/Debug.h"
  28 #include "llvm/Support/MathExtras.h"
  29 using namespace llvm;
  30
  31 namespace {
  32   Statistic<> FusedFP ("ia64-codegen", "Number of fused fp operations");
  33   Statistic<> FrameOff("ia64-codegen", "Number of frame idx offsets collapsed");
  34
  35   //===--------------------------------------------------------------------===//
  36   /// IA64DAGToDAGISel - IA64 specific code to select IA64 machine
  37   /// instructions for SelectionDAG operations.
  38   ///
  39   class IA64DAGToDAGISel : public SelectionDAGISel {
  40     IA64TargetLowering IA64Lowering;
  41     unsigned GlobalBaseReg;
  42   public:
  43     IA64DAGToDAGISel(TargetMachine &TM)
  44       : SelectionDAGISel(IA64Lowering), IA64Lowering(TM) {}
  45
  46     virtual bool runOnFunction(Function &Fn) {
  47       // Make sure we re-emit a set of the global base reg if necessary
  48       GlobalBaseReg = 0;
  49       return SelectionDAGISel::runOnFunction(Fn);
  50     }
  51
  52     /// getI64Imm - Return a target constant with the specified value, of type
  53     /// i64.
  54     inline SDOperand getI64Imm(uint64_t Imm) {
  55       return CurDAG->getTargetConstant(Imm, MVT::i64);
  56     }
  57
  58     /// getGlobalBaseReg - insert code into the entry mbb to materialize the PIC
  59     /// base register.  Return the virtual register that holds this value.
  60     // SDOperand getGlobalBaseReg(); TODO: hmm
  61
  62     // Select - Convert the specified operand from a target-independent to a
  63     // target-specific node if it hasn't already been changed.
  64     SDOperand Select(SDOperand Op);
  65
  66     SDNode *SelectIntImmediateExpr(SDOperand LHS, SDOperand RHS,
  67                                    unsigned OCHi, unsigned OCLo,
  68                                    bool IsArithmetic = false,
  69                                    bool Negate = false);
  70     SDNode *SelectBitfieldInsert(SDNode *N);
  71
  72     /// SelectCC - Select a comparison of the specified values with the
  73     /// specified condition code, returning the CR# of the expression.
  74     SDOperand SelectCC(SDOperand LHS, SDOperand RHS, ISD::CondCode CC);
  75
  76     /// SelectAddr - Given the specified address, return the two operands for a
  77     /// load/store instruction, and return true if it should be an indexed [r+r]
  78     /// operation.
  79     bool SelectAddr(SDOperand Addr, SDOperand &Op1, SDOperand &Op2);
  80
  81     SDOperand BuildSDIVSequence(SDNode *N);
  82     SDOperand BuildUDIVSequence(SDNode *N);
  83
  84     /// InstructionSelectBasicBlock - This callback is invoked by
  85     /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
  86     virtual void InstructionSelectBasicBlock(SelectionDAG &DAG);
  87
  88     virtual const char *getPassName() const {
  89       return "IA64 (Itanium) DAG->DAG Instruction Selector";
  90     }
  91
  92 // Include the pieces autogenerated from the target description.
  93 #include "IA64GenDAGISel.inc"
  94
  95 private:
  96     SDOperand SelectCALL(SDOperand Op);
  97   };
  98 }
  99
 100 /// InstructionSelectBasicBlock - This callback is invoked by
 101 /// SelectionDAGISel when it has created a SelectionDAG for us to codegen.
 102 void IA64DAGToDAGISel::InstructionSelectBasicBlock(SelectionDAG &DAG) {
 103   DEBUG(BB->dump());
 104
 105   // The selection process is inherently a bottom-up recursive process (users
 106   // select their uses before themselves).  Given infinite stack space, we
 107   // could just start selecting on the root and traverse the whole graph.  In
 108   // practice however, this causes us to run out of stack space on large basic
 109   // blocks.  To avoid this problem, select the entry node, then all its uses,
 110   // iteratively instead of recursively.
 111   std::vector<SDOperand> Worklist;
 112   Worklist.push_back(DAG.getEntryNode());
 113
 114   // Note that we can do this in the IA64 target (scanning forward across token
 115   // chain edges) because no nodes ever get folded across these edges.  On a
 116   // target like X86 which supports load/modify/store operations, this would
 117   // have to be more careful.
 118   while (!Worklist.empty()) {
 119     SDOperand Node = Worklist.back();
 120     Worklist.pop_back();
 121
 122     // Chose from the least deep of the top two nodes.
 123     if (!Worklist.empty() &&
 124         Worklist.back().Val->getNodeDepth() < Node.Val->getNodeDepth())
 125       std::swap(Worklist.back(), Node);
 126
 127     if ((Node.Val->getOpcode() >= ISD::BUILTIN_OP_END &&
 128          Node.Val->getOpcode() < IA64ISD::FIRST_NUMBER) ||
 129         CodeGenMap.count(Node)) continue;
 130
 131     for (SDNode::use_iterator UI = Node.Val->use_begin(),
 132          E = Node.Val->use_end(); UI != E; ++UI) {
 133       // Scan the values.  If this use has a value that is a token chain, add it
 134       // to the worklist.
 135       SDNode *User = *UI;
 136       for (unsigned i = 0, e = User->getNumValues(); i != e; ++i)
 137         if (User->getValueType(i) == MVT::Other) {
 138           Worklist.push_back(SDOperand(User, i));
 139           break;
 140         }
 141     }
 142
 143     // Finally, legalize this node.
 144     Select(Node);
 145   }
 146
 147   // Select target instructions for the DAG.
 148   DAG.setRoot(Select(DAG.getRoot()));
 149   CodeGenMap.clear();
 150   DAG.RemoveDeadNodes();
 151
 152   // Emit machine code to BB.
 153   ScheduleAndEmitDAG(DAG);
 154 }
 155
 156
 157 SDOperand IA64DAGToDAGISel::SelectCALL(SDOperand Op) {
 158   SDNode *N = Op.Val;
 159   SDOperand Chain = Select(N->getOperand(0));
 160
 161   unsigned CallOpcode;
 162   std::vector<SDOperand> CallOperands;
 163
 164   // save the current GP, SP and RP : FIXME: do we need to do all 3 always?
 165   SDOperand GPBeforeCall = CurDAG->getCopyFromReg(Chain, IA64::r1, MVT::i64);
 166   Chain = GPBeforeCall.getValue(1);
 167   SDOperand SPBeforeCall = CurDAG->getCopyFromReg(Chain, IA64::r12, MVT::i64);
 168   Chain = SPBeforeCall.getValue(1);
 169   SDOperand RPBeforeCall = CurDAG->getCopyFromReg(Chain, IA64::rp, MVT::i64);
 170   Chain = RPBeforeCall.getValue(1);
 171
 172   // if we can call directly, do so
 173   if (GlobalAddressSDNode *GASD =
 174       dyn_cast<GlobalAddressSDNode>(N->getOperand(1))) {
 175     CallOpcode = IA64::BRCALL_IPREL;
 176     CallOperands.push_back(CurDAG->getTargetGlobalAddress(GASD->getGlobal(),
 177                                                           MVT::i64));
 178   } else if (ExternalSymbolSDNode *ESSDN = // FIXME: we currently NEED this
 179                                          // case for correctness, to avoid
 180                                          // "non-pic code with imm reloc.n
 181                                          // against dynamic symbol" errors
 182              dyn_cast<ExternalSymbolSDNode>(N->getOperand(1))) {
 183     CallOpcode = IA64::BRCALL_IPREL;
 184     CallOperands.push_back(N->getOperand(1));
 185   } else {
 186     // otherwise we need to load the function descriptor,
 187     // load the branch target (function)'s entry point and GP,
 188     // branch (call) then restore the GP
 189
 190     SDOperand FnDescriptor = Select(N->getOperand(1));
 191
 192     // load the branch target's entry point [mem] and
 193     // GP value [mem+8]
 194     SDOperand targetEntryPoint=CurDAG->getTargetNode(IA64::LD8, MVT::i64,
 195                     FnDescriptor);
 196     Chain = targetEntryPoint.getValue(1);
 197     SDOperand targetGPAddr=CurDAG->getTargetNode(IA64::ADDS, MVT::i64,
 198                     FnDescriptor, CurDAG->getConstant(8, MVT::i64));
 199     Chain = targetGPAddr.getValue(1);
 200     SDOperand targetGP=CurDAG->getTargetNode(IA64::LD8, MVT::i64,
 201                     targetGPAddr);
 202     Chain = targetGP.getValue(1);
 203
 204 /* FIXME! (methcall still fails)
 205     SDOperand targetEntryPoint=CurDAG->getLoad(MVT::i64, Chain, FnDescriptor,
 206                                         CurDAG->getSrcValue(0));
 207     SDOperand targetGPAddr=CurDAG->getNode(ISD::ADD, MVT::i64, FnDescriptor,
 208                             CurDAG->getConstant(8, MVT::i64));
 209     SDOperand targetGP=CurDAG->getLoad(MVT::i64, Chain, targetGPAddr,
 210                                        CurDAG->getSrcValue(0));
 211     */
 212
 213     // Copy the callee GP into r1
 214     SDOperand r1 = CurDAG->getRegister(IA64::r1, MVT::i64);
 215     Chain = CurDAG->getNode(ISD::CopyToReg, MVT::i64, Chain, r1,
 216                      targetGP);
 217
 218
 219     // Copy the callee address into the b6 branch register
 220     SDOperand B6 = CurDAG->getRegister(IA64::B6, MVT::i64);
 221     Chain = CurDAG->getNode(ISD::CopyToReg, MVT::i64, Chain, B6,
 222                      targetEntryPoint);
 223
 224     CallOperands.push_back(B6);
 225     CallOpcode = IA64::BRCALL_INDIRECT;
 226   }
 227
 228   // see section 8.5.8 of "Itanium Software Conventions and
 229   // Runtime Architecture Guide to see some examples of what's going
 230   // on here. (in short: int args get mapped 1:1 'slot-wise' to out0->out7,
 231   // while FP args get mapped to F8->F15 as needed)
 232
 233   // TODO: support in-memory arguments
 234
 235   unsigned used_FPArgs=0; // how many FP args have been used so far?
 236
 237   unsigned intArgs[] = {IA64::out0, IA64::out1, IA64::out2, IA64::out3,
 238                         IA64::out4, IA64::out5, IA64::out6, IA64::out7 };
 239   unsigned FPArgs[] = {IA64::F8, IA64::F9, IA64::F10, IA64::F11,
 240                        IA64::F12, IA64::F13, IA64::F14, IA64::F15 };
 241
 242   SDOperand InFlag;  // Null incoming flag value.
 243
 244   for (unsigned i = 2, e = N->getNumOperands(); i != e; ++i) {
 245     unsigned DestReg = 0;
 246     MVT::ValueType RegTy = N->getOperand(i).getValueType();
 247     if (RegTy == MVT::i64) {
 248       assert((i-2) < 8 && "Too many int args");
 249       DestReg = intArgs[i-2];
 250     } else {
 251       assert(MVT::isFloatingPoint(N->getOperand(i).getValueType()) &&
 252              "Unpromoted integer arg?");
 253       assert(used_FPArgs < 8 && "Too many fp args");
 254       DestReg = FPArgs[used_FPArgs++];
 255     }
 256
 257     if (N->getOperand(i).getOpcode() != ISD::UNDEF) {
 258       SDOperand Val = Select(N->getOperand(i));
 259       Chain = CurDAG->getCopyToReg(Chain, DestReg, Val, InFlag);
 260       InFlag = Chain.getValue(1);
 261       CallOperands.push_back(CurDAG->getRegister(DestReg, RegTy));
 262       // some functions (e.g. printf) want floating point arguments
 263       // *also* passed as in-memory representations in integer registers
 264       // this is FORTRAN legacy junk which we don't _always_ need
 265       // to do, but to be on the safe side, we do.
 266       if(MVT::isFloatingPoint(N->getOperand(i).getValueType())) {
 267         assert((i-2) < 8 && "FP args alone would fit, but no int regs left");
 268         DestReg = intArgs[i-2]; // this FP arg goes in an int reg
 269         // GETFD takes an FP reg and writes a GP reg
 270         Chain = CurDAG->getTargetNode(IA64::GETFD, MVT::i64, Val, InFlag);
 271         // FIXME: this next line is a bit unfortunate
 272         Chain = CurDAG->getCopyToReg(Chain, DestReg, Chain, InFlag);
 273         InFlag = Chain.getValue(1);
 274         CallOperands.push_back(CurDAG->getRegister(DestReg, MVT::i64));
 275       }
 276     }
 277   }
 278
 279   // Finally, once everything is in registers to pass to the call, emit the
 280   // call itself.
 281   if (InFlag.Val)
 282     CallOperands.push_back(InFlag);   // Strong dep on register copies.
 283   else
 284     CallOperands.push_back(Chain);    // Weak dep on whatever occurs before
 285   Chain = CurDAG->getTargetNode(CallOpcode, MVT::Other, MVT::Flag,
 286                                 CallOperands);
 287
 288 //  return Chain; // HACK: err, this means that functions never return anything. need to intergrate this with the code immediately below FIXME XXX
 289
 290   std::vector<SDOperand> CallResults;
 291
 292   // If the call has results, copy the values out of the ret val registers.
 293   switch (N->getValueType(0)) {
 294     default: assert(0 && "Unexpected ret value!");
 295     case MVT::Other: break;
 296     case MVT::i64:
 297         Chain = CurDAG->getCopyFromReg(Chain, IA64::r8, MVT::i64,
 298                                        Chain.getValue(1)).getValue(1);
 299         CallResults.push_back(Chain.getValue(0));
 300       break;
 301     case MVT::f64:
 302       Chain = CurDAG->getCopyFromReg(Chain, IA64::F8, N->getValueType(0),
 303                                      Chain.getValue(1)).getValue(1);
 304       CallResults.push_back(Chain.getValue(0));
 305       break;
 306   }
 307    // restore GP, SP and RP
 308   Chain = CurDAG->getCopyToReg(Chain, IA64::r1, GPBeforeCall);
 309   Chain = CurDAG->getCopyToReg(Chain, IA64::r12, SPBeforeCall);
 310   Chain = CurDAG->getCopyToReg(Chain, IA64::rp, RPBeforeCall);
 311
 312   CallResults.push_back(Chain);
 313
 314   for (unsigned i = 0, e = CallResults.size(); i != e; ++i)
 315     CodeGenMap[Op.getValue(i)] = CallResults[i];
 316
 317   return CallResults[Op.ResNo];
 318 }
 319
 320 // Select - Convert the specified operand from a target-independent to a
 321 // target-specific node if it hasn't already been changed.
 322 SDOperand IA64DAGToDAGISel::Select(SDOperand Op) {
 323   SDNode *N = Op.Val;
 324   if (N->getOpcode() >= ISD::BUILTIN_OP_END &&
 325       N->getOpcode() < IA64ISD::FIRST_NUMBER)
 326     return Op;   // Already selected.
 327
 328   // If this has already been converted, use it.
 329   std::map<SDOperand, SDOperand>::iterator CGMI = CodeGenMap.find(Op);
 330   if (CGMI != CodeGenMap.end()) return CGMI->second;
 331
 332   switch (N->getOpcode()) {
 333   default: break;
 334
 335   case ISD::CALL:
 336   case ISD::TAILCALL: return SelectCALL(Op);
 337
 338 /* todo:
 339  * case ISD::DYNAMIC_STACKALLOC:
 340 */
 341   case ISD::ConstantFP: {
 342     SDOperand Chain = CurDAG->getEntryNode(); // this is a constant, so..
 343
 344     if (cast<ConstantFPSDNode>(N)->isExactlyValue(+0.0))
 345       return CurDAG->getCopyFromReg(Chain, IA64::F0, MVT::f64);
 346     else if (cast<ConstantFPSDNode>(N)->isExactlyValue(+1.0))
 347       return CurDAG->getCopyFromReg(Chain, IA64::F1, MVT::f64);
 348     else
 349       assert(0 && "Unexpected FP constant!");
 350   }
 351
 352   case ISD::FrameIndex: { // TODO: reduce creepyness
 353     int FI = cast<FrameIndexSDNode>(N)->getIndex();
 354     if (N->hasOneUse()) {
 355       CurDAG->SelectNodeTo(N, IA64::MOV, MVT::i64,
 356                            CurDAG->getTargetFrameIndex(FI, MVT::i64));
 357       return SDOperand(N, 0);
 358     }
 359     return CurDAG->getTargetNode(IA64::MOV, MVT::i64,
 360                                 CurDAG->getTargetFrameIndex(FI, MVT::i64));
 361   }
 362
 363   case ISD::ConstantPool: {
 364     Constant *C = cast<ConstantPoolSDNode>(N)->get();
 365     SDOperand CPI = CurDAG->getTargetConstantPool(C, MVT::i64);
 366     return CurDAG->getTargetNode(IA64::ADDL_GA, MVT::i64, // ?
 367                               CurDAG->getRegister(IA64::r1, MVT::i64), CPI);
 368   }
 369
 370   case ISD::GlobalAddress: {
 371     GlobalValue *GV = cast<GlobalAddressSDNode>(N)->getGlobal();
 372     SDOperand GA = CurDAG->getTargetGlobalAddress(GV, MVT::i64);
 373     SDOperand Tmp = CurDAG->getTargetNode(IA64::ADDL_GA, MVT::i64,
 374                                   CurDAG->getRegister(IA64::r1, MVT::i64), GA);
 375     return CurDAG->getTargetNode(IA64::LD8, MVT::i64, Tmp);
 376   }
 377
 378   case ISD::LOAD:
 379   case ISD::EXTLOAD:
 380   case ISD::ZEXTLOAD: {
 381     SDOperand Chain = Select(N->getOperand(0));
 382     SDOperand Address = Select(N->getOperand(1));
 383
 384     MVT::ValueType TypeBeingLoaded = (N->getOpcode() == ISD::LOAD) ?
 385       N->getValueType(0) : cast<VTSDNode>(N->getOperand(3))->getVT();
 386     unsigned Opc;
 387     switch (TypeBeingLoaded) {
 388     default: N->dump(); assert(0 && "Cannot load this type!");
 389     case MVT::i1: { // this is a bool
 390       Opc = IA64::LD1; // first we load a byte, then compare for != 0
 391       CurDAG->SelectNodeTo(N, IA64::CMPNE, MVT::i1, MVT::Other,
 392         CurDAG->getTargetNode(Opc, MVT::i64, Address),
 393         CurDAG->getRegister(IA64::r0, MVT::i64), Chain);
 394       return SDOperand(N, Op.ResNo); // XXX: early exit
 395       }
 396     case MVT::i8:  Opc = IA64::LD1; break;
 397     case MVT::i16: Opc = IA64::LD2; break;
 398     case MVT::i32: Opc = IA64::LD4; break;
 399     case MVT::i64: Opc = IA64::LD8; break;
 400
 401     case MVT::f32: Opc = IA64::LDF4; break;
 402     case MVT::f64: Opc = IA64::LDF8; break;
 403     }
 404
 405     CurDAG->SelectNodeTo(N, Opc, N->getValueType(0), MVT::Other,
 406                              Address, Chain); // TODO: comment this
 407
 408     return SDOperand(N, Op.ResNo);
 409   }
 410
 411   case ISD::TRUNCSTORE:
 412   case ISD::STORE: {
 413     SDOperand Address = Select(N->getOperand(2));
 414
 415     unsigned Opc;
 416     if (N->getOpcode() == ISD::STORE) {
 417       switch (N->getOperand(1).getValueType()) {
 418       default: assert(0 && "unknown Type in store");
 419       case MVT::i64: Opc = IA64::ST8;  break;
 420       case MVT::f64: Opc = IA64::STF8; break;
 421      }
 422     } else { //ISD::TRUNCSTORE
 423       switch(cast<VTSDNode>(N->getOperand(4))->getVT()) {
 424       default: assert(0 && "unknown Type in store");
 425       case MVT::i8:  Opc = IA64::ST1;  break;
 426       case MVT::i16: Opc = IA64::ST2;  break;
 427       case MVT::i32: Opc = IA64::ST4;  break;
 428       case MVT::f32: Opc = IA64::STF4; break;
 429       }
 430     }
 431
 432     CurDAG->SelectNodeTo(N, Opc, MVT::Other, Select(N->getOperand(2)),
 433                          Select(N->getOperand(1)), Select(N->getOperand(0)));
 434     return SDOperand(N, 0);
 435   }
 436
 437   case ISD::BRCOND: {
 438     SDOperand Chain = Select(N->getOperand(0));
 439     SDOperand CC = Select(N->getOperand(1));
 440     MachineBasicBlock *Dest =
 441       cast<BasicBlockSDNode>(N->getOperand(2))->getBasicBlock();
 442     //FIXME - we do NOT need long branches all the time
 443     CurDAG->SelectNodeTo(N, IA64::BRLCOND_NOTCALL, MVT::Other, CC, CurDAG->getBasicBlock(Dest), Chain);
 444     return SDOperand(N, 0);
 445   }
 446
 447   case ISD::CALLSEQ_START:
 448   case ISD::CALLSEQ_END: {
 449     int64_t Amt = cast<ConstantSDNode>(N->getOperand(1))->getValue();
 450     unsigned Opc = N->getOpcode() == ISD::CALLSEQ_START ?
 451                        IA64::ADJUSTCALLSTACKDOWN : IA64::ADJUSTCALLSTACKUP;
 452     CurDAG->SelectNodeTo(N, Opc, MVT::Other,
 453                          getI64Imm(Amt), Select(N->getOperand(0)));
 454     return SDOperand(N, 0);
 455   }
 456
 457   case ISD::RET: {
 458     SDOperand Chain = Select(N->getOperand(0));     // Token chain.
 459
 460     switch (N->getNumOperands()) {
 461     default:
 462       assert(0 && "Unknown return instruction!");
 463     case 2: {
 464       SDOperand RetVal = Select(N->getOperand(1));
 465       switch (RetVal.getValueType()) {
 466       default: assert(0 && "I don't know how to return this type! (promote?)");
 467                // FIXME: do I need to add support for bools here?
 468                // (return '0' or '1' in r8, basically...)
 469                //
 470                // FIXME: need to round floats - 80 bits is bad, the tester
 471                // told me so
 472       case MVT::i64:
 473         // we mark r8 as live on exit up above in LowerArguments()
 474         // BuildMI(BB, IA64::MOV, 1, IA64::r8).addReg(Tmp1);
 475         Chain = CurDAG->getCopyToReg(Chain, IA64::r8, RetVal);
 476         break;
 477       case MVT::f64:
 478         // we mark F8 as live on exit up above in LowerArguments()
 479         // BuildMI(BB, IA64::FMOV, 1, IA64::F8).addReg(Tmp1);
 480         Chain = CurDAG->getCopyToReg(Chain, IA64::F8, RetVal);
 481         break;
 482       }
 483       break;
 484       }
 485     case 1:
 486       break;
 487     }
 488
 489     // we need to copy VirtGPR (the vreg (to become a real reg)) that holds
 490     // the output of this function's alloc instruction back into ar.pfs
 491     // before we return. this copy must not float up above the last
 492     // outgoing call in this function!!!
 493     SDOperand AR_PFSVal = CurDAG->getCopyFromReg(Chain, IA64Lowering.VirtGPR,
 494                                                   MVT::i64);
 495     Chain = AR_PFSVal.getValue(1);
 496     Chain = CurDAG->getCopyToReg(Chain, IA64::AR_PFS, AR_PFSVal);
 497
 498     CurDAG->SelectNodeTo(N, IA64::RET, MVT::Other, Chain); // and then just emit a 'ret' instruction
 499
 500     // before returning, restore the ar.pfs register (set by the 'alloc' up top)
 501     // BuildMI(BB, IA64::MOV, 1).addReg(IA64::AR_PFS).addReg(IA64Lowering.VirtGPR);
 502     //
 503     return SDOperand(N, 0);
 504   }
 505
 506   case ISD::BR:
 507                  // FIXME: we don't need long branches all the time!
 508     CurDAG->SelectNodeTo(N, IA64::BRL_NOTCALL, MVT::Other, N->getOperand(1),
 509                          Select(N->getOperand(0)));
 510     return SDOperand(N, 0);
 511
 512   }
 513
 514   return SelectCode(Op);
 515 }
 516
 517
 518 /// createIA64DAGToDAGInstructionSelector - This pass converts a legalized DAG
 519 /// into an IA64-specific DAG, ready for instruction scheduling.
 520 ///
 521 FunctionPass *llvm::createIA64DAGToDAGInstructionSelector(TargetMachine &TM) {
 522   return new IA64DAGToDAGISel(TM);
 523 }
 524