Reapply r110396, with fixes to appease the Linux buildbot gods.
[oota-llvm.git] / lib / CodeGen / DwarfEHPrepare.cpp
index cfaaa70b929409e7300f3680ea0f60f9926f2d2b..57f45ec199d480fea54bdc456fafe14f45a4cce0 100644 (file)
@@ -8,54 +8,52 @@
 //===----------------------------------------------------------------------===//
 //
 // This pass mulches exception handling code into a form adapted to code
-// generation.  Required if using dwarf exception handling.
+// generation. Required if using dwarf exception handling.
 //
 //===----------------------------------------------------------------------===//
 
 #define DEBUG_TYPE "dwarfehprepare"
-#include "llvm/ADT/Statistic.h"
-#include "llvm/Analysis/Dominators.h"
-#include "llvm/CodeGen/Passes.h"
 #include "llvm/Function.h"
 #include "llvm/Instructions.h"
 #include "llvm/IntrinsicInst.h"
 #include "llvm/Module.h"
 #include "llvm/Pass.h"
-#include "llvm/Support/Compiler.h"
-#include "llvm/Support/IRBuilder.h"
+#include "llvm/ADT/Statistic.h"
+#include "llvm/Analysis/Dominators.h"
+#include "llvm/CodeGen/Passes.h"
+#include "llvm/MC/MCAsmInfo.h"
+#include "llvm/Support/CallSite.h"
 #include "llvm/Target/TargetLowering.h"
 #include "llvm/Transforms/Utils/BasicBlockUtils.h"
 #include "llvm/Transforms/Utils/PromoteMemToReg.h"
 using namespace llvm;
 
-STATISTIC(NumExceptionValuesMoved, "Number of eh.exception calls moved");
-STATISTIC(NumLonelyLandingPads,    "Number of landing pads with no selector");
-STATISTIC(NumLonelySelectors,      "Number of lonely selectors lowered");
 STATISTIC(NumLandingPadsSplit,     "Number of landing pads split");
-STATISTIC(NumSelectorsAdjusted,    "Number of selector results adjusted");
-STATISTIC(NumSelectorsSimplified,  "Number of selectors truncated");
-STATISTIC(NumStackTempsIntroduced, "Number of stack temporaries introduced");
 STATISTIC(NumUnwindsLowered,       "Number of unwind instructions lowered");
+STATISTIC(NumExceptionValuesMoved, "Number of eh.exception calls moved");
+STATISTIC(NumStackTempsIntroduced, "Number of stack temporaries introduced");
 
 namespace {
   class DwarfEHPrepare : public FunctionPass {
+    const TargetMachine *TM;
     const TargetLowering *TLI;
+    bool CompileFast;
 
     // The eh.exception intrinsic.
-    Function *ExceptionIntrinsic;
+    Function *ExceptionValueIntrinsic;
 
     // The eh.selector intrinsic.
     Function *SelectorIntrinsic;
 
-    // The eh.typeid.for intrinsic.
-    Function *TypeIdIntrinsic;
+    // _Unwind_Resume_or_Rethrow call.
+    Constant *URoR;
+
+    // The EH language-specific catch-all type.
+    GlobalVariable *EHCatchAllValue;
 
     // _Unwind_Resume or the target equivalent.
     Constant *RewindFunction;
 
-    // _Unwind_RaiseException.
-    Constant *UnwindFunction;
-
     // Dominator info is used when turning stack temporaries into registers.
     DominatorTree *DT;
     DominanceFrontier *DF;
@@ -63,13 +61,6 @@ namespace {
     // The function we are running on.
     Function *F;
 
-    // The current context.
-    LLVMContext *Context;
-
-    // The personality and catch-all value for this function.
-    Constant *Personality;
-    Constant *CatchAll;
-
     // The landing pads for this function.
     typedef SmallPtrSet<BasicBlock*, 8> BBSet;
     BBSet LandingPads;
@@ -79,10 +70,7 @@ namespace {
 
     bool NormalizeLandingPads();
     bool LowerUnwinds();
-    bool MoveSelectorCalls();
-    bool RectifySelectorCalls();
     bool MoveExceptionValueCalls();
-    bool AddMissingSelectors();
     bool FinishStackTemporaries();
     bool PromoteStackTemporaries();
 
@@ -90,22 +78,105 @@ namespace {
     Instruction *CreateValueLoad(BasicBlock *BB);
 
     /// CreateReadOfExceptionValue - Return the result of the eh.exception
-    /// intrinsic by calling the intrinsic if in a landing pad, or loading
-    /// it from the exception value variable otherwise.
+    /// intrinsic by calling the intrinsic if in a landing pad, or loading it
+    /// from the exception value variable otherwise.
     Instruction *CreateReadOfExceptionValue(BasicBlock *BB) {
       return LandingPads.count(BB) ?
         CreateExceptionValueCall(BB) : CreateValueLoad(BB);
     }
 
+    /// CleanupSelectors - Any remaining eh.selector intrinsic calls which still
+    /// use the "llvm.eh.catch.all.value" call need to convert to using its
+    /// initializer instead.
+    bool CleanupSelectors(SmallPtrSet<IntrinsicInst*, 32> &Sels);
+
+    bool HasCatchAllInSelector(IntrinsicInst *);
+
+    /// FindAllCleanupSelectors - Find all eh.selector calls that are clean-ups.
+    void FindAllCleanupSelectors(SmallPtrSet<IntrinsicInst*, 32> &Sels,
+                                 SmallPtrSet<IntrinsicInst*, 32> &CatchAllSels);
+
+    /// FindAllURoRInvokes - Find all URoR invokes in the function.
+    void FindAllURoRInvokes(SmallPtrSet<InvokeInst*, 32> &URoRInvokes);
+
+    /// HandleURoRInvokes - Handle invokes of "_Unwind_Resume_or_Rethrow"
+    /// calls. The "unwind" part of these invokes jump to a landing pad within
+    /// the current function. This is a candidate to merge the selector
+    /// associated with the URoR invoke with the one from the URoR's landing
+    /// pad.
+    bool HandleURoRInvokes();
+
+    /// FindSelectorAndURoR - Find the eh.selector call and URoR call associated
+    /// with the eh.exception call. This recursively looks past instructions
+    /// which don't change the EH pointer value, like casts or PHI nodes.
+    bool FindSelectorAndURoR(Instruction *Inst, bool &URoRInvoke,
+                             SmallPtrSet<IntrinsicInst*, 8> &SelCalls);
+      
+    /// DoMem2RegPromotion - Take an alloca call and promote it from memory to a
+    /// register.
+    bool DoMem2RegPromotion(Value *V) {
+      AllocaInst *AI = dyn_cast<AllocaInst>(V);
+      if (!AI || !isAllocaPromotable(AI)) return false;
+
+      // Turn the alloca into a register.
+      std::vector<AllocaInst*> Allocas(1, AI);
+      PromoteMemToReg(Allocas, *DT, *DF);
+      return true;
+    }
+
+    /// PromoteStoreInst - Perform Mem2Reg on a StoreInst.
+    bool PromoteStoreInst(StoreInst *SI) {
+      if (!SI || !DT || !DF) return false;
+      if (DoMem2RegPromotion(SI->getOperand(1)))
+        return true;
+      return false;
+    }
+
+    /// PromoteEHPtrStore - Promote the storing of an EH pointer into a
+    /// register. This should get rid of the store and subsequent loads.
+    bool PromoteEHPtrStore(IntrinsicInst *II) {
+      if (!DT || !DF) return false;
+
+      bool Changed = false;
+      StoreInst *SI;
+
+      while (1) {
+        SI = 0;
+        for (Value::use_iterator
+               I = II->use_begin(), E = II->use_end(); I != E; ++I) {
+          SI = dyn_cast<StoreInst>(*I);
+          if (SI) break;
+        }
+
+        if (!PromoteStoreInst(SI))
+          break;
+
+        Changed = true;
+      }
+
+      return Changed;
+    }
+
   public:
     static char ID; // Pass identification, replacement for typeid.
-    DwarfEHPrepare(const TargetLowering *tli) :
-      FunctionPass(&ID), TLI(tli), ExceptionIntrinsic(0),
-      SelectorIntrinsic(0), TypeIdIntrinsic(0), RewindFunction(0),
-      UnwindFunction(0) {}
+    DwarfEHPrepare(const TargetMachine *tm, bool fast) :
+      FunctionPass(ID), TM(tm), TLI(TM->getTargetLowering()),
+      CompileFast(fast),
+      ExceptionValueIntrinsic(0), SelectorIntrinsic(0),
+      URoR(0), EHCatchAllValue(0), RewindFunction(0) {}
 
     virtual bool runOnFunction(Function &Fn);
 
+    // getAnalysisUsage - We need dominance frontiers for memory promotion.
+    virtual void getAnalysisUsage(AnalysisUsage &AU) const {
+      if (!CompileFast)
+        AU.addRequired<DominatorTree>();
+      AU.addPreserved<DominatorTree>();
+      if (!CompileFast)
+        AU.addRequired<DominanceFrontier>();
+      AU.addPreserved<DominanceFrontier>();
+    }
+
     const char *getPassName() const {
       return "Exception handling preparation";
     }
@@ -115,8 +186,243 @@ namespace {
 
 char DwarfEHPrepare::ID = 0;
 
-FunctionPass *llvm::createDwarfEHPass(const TargetLowering *tli) {
-  return new DwarfEHPrepare(tli);
+FunctionPass *llvm::createDwarfEHPass(const TargetMachine *tm, bool fast) {
+  return new DwarfEHPrepare(tm, fast);
+}
+
+/// HasCatchAllInSelector - Return true if the intrinsic instruction has a
+/// catch-all.
+bool DwarfEHPrepare::HasCatchAllInSelector(IntrinsicInst *II) {
+  if (!EHCatchAllValue) return false;
+
+  unsigned ArgIdx = II->getNumArgOperands() - 1;
+  GlobalVariable *GV = dyn_cast<GlobalVariable>(II->getArgOperand(ArgIdx));
+  return GV == EHCatchAllValue;
+}
+
+/// FindAllCleanupSelectors - Find all eh.selector calls that are clean-ups.
+void DwarfEHPrepare::
+FindAllCleanupSelectors(SmallPtrSet<IntrinsicInst*, 32> &Sels,
+                        SmallPtrSet<IntrinsicInst*, 32> &CatchAllSels) {
+  for (Value::use_iterator
+         I = SelectorIntrinsic->use_begin(),
+         E = SelectorIntrinsic->use_end(); I != E; ++I) {
+    IntrinsicInst *II = cast<IntrinsicInst>(*I);
+
+    if (II->getParent()->getParent() != F)
+      continue;
+
+    if (!HasCatchAllInSelector(II))
+      Sels.insert(II);
+    else
+      CatchAllSels.insert(II);
+  }
+}
+
+/// FindAllURoRInvokes - Find all URoR invokes in the function.
+void DwarfEHPrepare::
+FindAllURoRInvokes(SmallPtrSet<InvokeInst*, 32> &URoRInvokes) {
+  for (Value::use_iterator
+         I = URoR->use_begin(),
+         E = URoR->use_end(); I != E; ++I) {
+    if (InvokeInst *II = dyn_cast<InvokeInst>(*I))
+      URoRInvokes.insert(II);
+  }
+}
+
+/// CleanupSelectors - Any remaining eh.selector intrinsic calls which still use
+/// the "llvm.eh.catch.all.value" call need to convert to using its
+/// initializer instead.
+bool DwarfEHPrepare::CleanupSelectors(SmallPtrSet<IntrinsicInst*, 32> &Sels) {
+  if (!EHCatchAllValue) return false;
+
+  if (!SelectorIntrinsic) {
+    SelectorIntrinsic =
+      Intrinsic::getDeclaration(F->getParent(), Intrinsic::eh_selector);
+    if (!SelectorIntrinsic) return false;
+  }
+
+  bool Changed = false;
+  for (SmallPtrSet<IntrinsicInst*, 32>::iterator
+         I = Sels.begin(), E = Sels.end(); I != E; ++I) {
+    IntrinsicInst *Sel = *I;
+
+    // Index of the "llvm.eh.catch.all.value" variable.
+    unsigned OpIdx = Sel->getNumArgOperands() - 1;
+    GlobalVariable *GV = dyn_cast<GlobalVariable>(Sel->getArgOperand(OpIdx));
+    if (GV != EHCatchAllValue) continue;
+    Sel->setArgOperand(OpIdx, EHCatchAllValue->getInitializer());
+    Changed = true;
+  }
+
+  return Changed;
+}
+
+/// FindSelectorAndURoR - Find the eh.selector call associated with the
+/// eh.exception call. And indicate if there is a URoR "invoke" associated with
+/// the eh.exception call. This recursively looks past instructions which don't
+/// change the EH pointer value, like casts or PHI nodes.
+bool
+DwarfEHPrepare::FindSelectorAndURoR(Instruction *Inst, bool &URoRInvoke,
+                                    SmallPtrSet<IntrinsicInst*, 8> &SelCalls) {
+  SmallPtrSet<PHINode*, 32> SeenPHIs;
+  bool Changed = false;
+
+ restart:
+  for (Value::use_iterator
+         I = Inst->use_begin(), E = Inst->use_end(); I != E; ++I) {
+    Instruction *II = dyn_cast<Instruction>(*I);
+    if (!II || II->getParent()->getParent() != F) continue;
+    
+    if (IntrinsicInst *Sel = dyn_cast<IntrinsicInst>(II)) {
+      if (Sel->getIntrinsicID() == Intrinsic::eh_selector)
+        SelCalls.insert(Sel);
+    } else if (InvokeInst *Invoke = dyn_cast<InvokeInst>(II)) {
+      if (Invoke->getCalledFunction() == URoR)
+        URoRInvoke = true;
+    } else if (CastInst *CI = dyn_cast<CastInst>(II)) {
+      Changed |= FindSelectorAndURoR(CI, URoRInvoke, SelCalls);
+    } else if (StoreInst *SI = dyn_cast<StoreInst>(II)) {
+      if (!PromoteStoreInst(SI)) continue;
+      Changed = true;
+      SeenPHIs.clear();
+      goto restart;             // Uses may have changed, restart loop.
+    } else if (PHINode *PN = dyn_cast<PHINode>(II)) {
+      if (SeenPHIs.insert(PN))
+        // Don't process a PHI node more than once.
+        Changed |= FindSelectorAndURoR(PN, URoRInvoke, SelCalls);
+    }
+  }
+
+  return Changed;
+}
+
+/// HandleURoRInvokes - Handle invokes of "_Unwind_Resume_or_Rethrow" calls. The
+/// "unwind" part of these invokes jump to a landing pad within the current
+/// function. This is a candidate to merge the selector associated with the URoR
+/// invoke with the one from the URoR's landing pad.
+bool DwarfEHPrepare::HandleURoRInvokes() {
+  if (!EHCatchAllValue) {
+    EHCatchAllValue =
+      F->getParent()->getNamedGlobal("llvm.eh.catch.all.value");
+    if (!EHCatchAllValue) return false;
+  }
+
+  if (!SelectorIntrinsic) {
+    SelectorIntrinsic =
+      Intrinsic::getDeclaration(F->getParent(), Intrinsic::eh_selector);
+    if (!SelectorIntrinsic) return false;
+  }
+
+  SmallPtrSet<IntrinsicInst*, 32> Sels;
+  SmallPtrSet<IntrinsicInst*, 32> CatchAllSels;
+  FindAllCleanupSelectors(Sels, CatchAllSels);
+
+  if (!DT)
+    // We require DominatorTree information.
+    return CleanupSelectors(CatchAllSels);
+
+  if (!URoR) {
+    URoR = F->getParent()->getFunction("_Unwind_Resume_or_Rethrow");
+    if (!URoR) return CleanupSelectors(CatchAllSels);
+  }
+
+  SmallPtrSet<InvokeInst*, 32> URoRInvokes;
+  FindAllURoRInvokes(URoRInvokes);
+
+  SmallPtrSet<IntrinsicInst*, 32> SelsToConvert;
+
+  for (SmallPtrSet<IntrinsicInst*, 32>::iterator
+         SI = Sels.begin(), SE = Sels.end(); SI != SE; ++SI) {
+    const BasicBlock *SelBB = (*SI)->getParent();
+    for (SmallPtrSet<InvokeInst*, 32>::iterator
+           UI = URoRInvokes.begin(), UE = URoRInvokes.end(); UI != UE; ++UI) {
+      const BasicBlock *URoRBB = (*UI)->getParent();
+      if (DT->dominates(SelBB, URoRBB)) {
+        SelsToConvert.insert(*SI);
+        break;
+      }
+    }
+  }
+
+  bool Changed = false;
+
+  if (Sels.size() != SelsToConvert.size()) {
+    // If we haven't been able to convert all of the clean-up selectors, then
+    // loop through the slow way to see if they still need to be converted.
+    if (!ExceptionValueIntrinsic) {
+      ExceptionValueIntrinsic =
+        Intrinsic::getDeclaration(F->getParent(), Intrinsic::eh_exception);
+      if (!ExceptionValueIntrinsic)
+        return CleanupSelectors(CatchAllSels);
+    }
+
+    for (Value::use_iterator
+           I = ExceptionValueIntrinsic->use_begin(),
+           E = ExceptionValueIntrinsic->use_end(); I != E; ++I) {
+      IntrinsicInst *EHPtr = dyn_cast<IntrinsicInst>(*I);
+      if (!EHPtr || EHPtr->getParent()->getParent() != F) continue;
+
+      Changed |= PromoteEHPtrStore(EHPtr);
+
+      bool URoRInvoke = false;
+      SmallPtrSet<IntrinsicInst*, 8> SelCalls;
+      Changed |= FindSelectorAndURoR(EHPtr, URoRInvoke, SelCalls);
+
+      if (URoRInvoke) {
+        // This EH pointer is being used by an invoke of an URoR instruction and
+        // an eh.selector intrinsic call. If the eh.selector is a 'clean-up', we
+        // need to convert it to a 'catch-all'.
+        for (SmallPtrSet<IntrinsicInst*, 8>::iterator
+               SI = SelCalls.begin(), SE = SelCalls.end(); SI != SE; ++SI)
+          if (!HasCatchAllInSelector(*SI))
+              SelsToConvert.insert(*SI);
+      }
+    }
+  }
+
+  if (!SelsToConvert.empty()) {
+    // Convert all clean-up eh.selectors, which are associated with "invokes" of
+    // URoR calls, into catch-all eh.selectors.
+    Changed = true;
+
+    for (SmallPtrSet<IntrinsicInst*, 8>::iterator
+           SI = SelsToConvert.begin(), SE = SelsToConvert.end();
+         SI != SE; ++SI) {
+      IntrinsicInst *II = *SI;
+
+      // Use the exception object pointer and the personality function
+      // from the original selector.
+      CallSite CS(II);
+      IntrinsicInst::op_iterator I = CS.arg_begin();
+      IntrinsicInst::op_iterator E = CS.arg_end();
+      IntrinsicInst::op_iterator B = prior(E);
+
+      // Exclude last argument if it is an integer.
+      if (isa<ConstantInt>(B)) E = B;
+
+      // Add exception object pointer (front).
+      // Add personality function (next).
+      // Add in any filter IDs (rest).
+      SmallVector<Value*, 8> Args(I, E);
+
+      Args.push_back(EHCatchAllValue->getInitializer()); // Catch-all indicator.
+
+      CallInst *NewSelector =
+        CallInst::Create(SelectorIntrinsic, Args.begin(), Args.end(),
+                         "eh.sel.catch.all", II);
+
+      NewSelector->setTailCall(II->isTailCall());
+      NewSelector->setAttributes(II->getAttributes());
+      NewSelector->setCallingConv(II->getCallingConv());
+
+      II->replaceAllUsesWith(NewSelector);
+      II->eraseFromParent();
+    }
+  }
+
+  Changed |= CleanupSelectors(CatchAllSels);
+  return Changed;
 }
 
 /// NormalizeLandingPads - Normalize and discover landing pads, noting them
@@ -129,6 +435,9 @@ FunctionPass *llvm::createDwarfEHPass(const TargetLowering *tli) {
 bool DwarfEHPrepare::NormalizeLandingPads() {
   bool Changed = false;
 
+  const MCAsmInfo *MAI = TM->getMCAsmInfo();
+  bool usingSjLjEH = MAI->getExceptionHandlingType() == ExceptionHandling::SjLj;
+
   for (Function::iterator I = F->begin(), E = F->end(); I != E; ++I) {
     TerminatorInst *TI = I->getTerminator();
     if (!isa<InvokeInst>(TI))
@@ -140,9 +449,18 @@ bool DwarfEHPrepare::NormalizeLandingPads() {
 
     // Check that only invoke unwind edges end at the landing pad.
     bool OnlyUnwoundTo = true;
+    bool SwitchOK = usingSjLjEH;
     for (pred_iterator PI = pred_begin(LPad), PE = pred_end(LPad);
          PI != PE; ++PI) {
       TerminatorInst *PT = (*PI)->getTerminator();
+      // The SjLj dispatch block uses a switch instruction. This is effectively
+      // an unwind edge, so we can disregard it here. There will only ever
+      // be one dispatch, however, so if there are multiple switches, one
+      // of them truly is a normal edge, not an unwind edge.
+      if (SwitchOK && isa<SwitchInst>(PT)) {
+        SwitchOK = false;
+        continue;
+      }
       if (!isa<InvokeInst>(PT) || LPad == PT->getSuccessor(0)) {
         OnlyUnwoundTo = false;
         break;
@@ -159,7 +477,7 @@ bool DwarfEHPrepare::NormalizeLandingPads() {
     // edges to a new basic block which falls through into this one.
 
     // Create the new basic block.
-    BasicBlock *NewBB = BasicBlock::Create(*Context,
+    BasicBlock *NewBB = BasicBlock::Create(F->getContext(),
                                            LPad->getName() + "_unwind_edge");
 
     // Insert it into the function right before the original landing pad.
@@ -248,14 +566,17 @@ bool DwarfEHPrepare::LowerUnwinds() {
 
   // Find the rewind function if we didn't already.
   if (!RewindFunction) {
+    LLVMContext &Ctx = UnwindInsts[0]->getContext();
     std::vector<const Type*>
-      Params(1, Type::getInt8PtrTy(*Context));
-    FunctionType *FTy = FunctionType::get(Type::getVoidTy(*Context),
+      Params(1, Type::getInt8PtrTy(Ctx));
+    FunctionType *FTy = FunctionType::get(Type::getVoidTy(Ctx),
                                           Params, false);
     const char *RewindName = TLI->getLibcallName(RTLIB::UNWIND_RESUME);
     RewindFunction = F->getParent()->getOrInsertFunction(RewindName, FTy);
   }
 
+  bool Changed = false;
+
   for (SmallVectorImpl<TerminatorInst*>::iterator
          I = UnwindInsts.begin(), E = UnwindInsts.end(); I != E; ++I) {
     TerminatorInst *TI = *I;
@@ -269,244 +590,11 @@ bool DwarfEHPrepare::LowerUnwinds() {
                                     "", TI);
     CI->setCallingConv(TLI->getLibcallCallingConv(RTLIB::UNWIND_RESUME));
     // ...followed by an UnreachableInst.
-    new UnreachableInst(*Context, TI);
+    new UnreachableInst(TI->getContext(), TI);
 
     // Nuke the unwind instruction.
     TI->eraseFromParent();
     ++NumUnwindsLowered;
-  }
-
-  return true;
-}
-
-/// MoveSelectorCalls - Make sure that every call to eh.selector occurs in its
-/// own landing pad, the landing pad corresponding to the exception object.
-bool DwarfEHPrepare::MoveSelectorCalls() {
-  // If the eh.selector intrinsic is not declared in the module then there is
-  // nothing to do.  Speed up compilation by checking for this common case.
-  if (!F->getParent()->getFunction(Intrinsic::getName(Intrinsic::eh_selector)))
-    return false;
-
-  // TODO: There is a lot of room for optimization here.
-
-  bool Changed = false;
-  BasicBlock *UnrBB = 0;
-
-  for (Function::iterator BB = F->begin(); BB != F->end(); ++BB) {
-    // If this basic block is not a landing pad then synthesize a landing pad
-    // for every selector in it.
-    bool SynthesizeLandingPad = !LandingPads.count(BB);
-
-    for (BasicBlock::iterator II = BB->begin(), IE = BB->end(); II != IE; ++II) {
-      EHSelectorInst *SI = dyn_cast<EHSelectorInst>(II);
-      // Only interested in eh.selector calls.
-      if (!SI)
-        continue;
-
-      // Note the personality and catch-all for later use.
-      Personality = cast<Constant>(SI->getOperand(2));
-      CatchAll = cast<Constant>(SI->getOperand(SI->getNumOperands() - 1)
-                                ->stripPointerCasts());
-
-      // The exception object.
-      Value *Exception = SI->getOperand(1);
-
-      if (!SynthesizeLandingPad) {
-        // Did the exception come from unwinding to this landing pad or another?
-        // If it comes from a different landing pad then we need to synthesize a
-        // new landing pad for the selector.
-        EHExceptionInst *EI = dyn_cast<EHExceptionInst>(Exception);
-        SynthesizeLandingPad = !EI || EI->getParent() != BB;
-      }
-
-      if (!SynthesizeLandingPad) {
-        // This is the first selector in this landing pad, and it is the landing
-        // pad corresponding to the exception object.  No need to do anything to
-        // this selector, but any subsequent selectors in this landing pad will
-        // need their own invoke in order to make them independent of this one.
-        SynthesizeLandingPad = true;
-        continue;
-      }
-
-      // Rethrow the exception and catch it again, generating a landing pad for
-      // this selector to live in.
-
-      // Find _Unwind_RaiseException if we didn't already.
-      if (!UnwindFunction) {
-        std::vector<const Type*> ArgTys(1, Type::getInt8PtrTy(*Context));
-        const FunctionType *FTy =
-          FunctionType::get(Type::getInt32Ty(*Context), ArgTys, true);
-
-        const char *Name = "_Unwind_RaiseException";
-        UnwindFunction = F->getParent()->getOrInsertFunction(Name, FTy);
-      }
-
-      // Create a basic block containing only an unreachable instruction if we
-      // didn't already.
-      if (!UnrBB) {
-        UnrBB = BasicBlock::Create(*Context, "unreachable", F);
-        new UnreachableInst(*Context, UnrBB);
-      }
-
-      // Split the basic block before the selector.
-      BasicBlock *NewBB = SplitBlock(BB, SI, this);
-
-      // Replace the terminator with an invoke of _Unwind_RaiseException.
-      BB->getTerminator()->eraseFromParent();
-      InvokeInst::Create(UnwindFunction, UnrBB, NewBB, &Exception,
-                         1 + &Exception, "", BB);
-
-      // The split off basic block is now a landing pad.
-      LandingPads.insert(NewBB);
-
-      // Replace the exception argument in the selector call with a call to
-      // eh.exception.  This is not really necessary but it makes things more
-      // regular.
-      Exception = CreateExceptionValueCall(NewBB);
-      SI->setOperand(1, Exception);
-
-      ++NumLonelySelectors;
-      Changed = true;
-
-      // All instructions still in the original basic block have been scanned.
-      // Move on to the next basic block.
-      break;
-    }
-  }
-
-  return Changed;
-}
-
-/// RectifySelectorCalls - Remove useless catch-all clauses from the ends of
-/// selectors, or correct the selector result for the presence of the catch-all
-/// if it is really needed.
-bool DwarfEHPrepare::RectifySelectorCalls() {
-  // If the eh.selector intrinsic is not declared in the module then there is
-  // nothing to do.  Speed up compilation by checking for this common case.
-  if (!F->getParent()->getFunction(Intrinsic::getName(Intrinsic::eh_selector)))
-    return false;
-
-  bool Changed = false;
-
-  for (BBSet::iterator I = LandingPads.begin(), E = LandingPads.end(); I != E;
-       ++I)
-    for (BasicBlock::iterator II = (*I)->begin(), IE = (*I)->end(); II != IE; )
-      if (EHSelectorInst *SI = dyn_cast<EHSelectorInst>(II++)) {
-        // Found a call to eh.selector.  Check whether it has a catch-all in the
-        // middle.
-        unsigned LastIndex = 0;
-        for (unsigned i = 3, e = SI->getNumOperands() - 1; i < e; ++i) {
-          Value *V = SI->getOperand(i);
-          if (V->stripPointerCasts() == CatchAll) {
-            // A catch-all.  The catch-all at the end was not needed.
-            LastIndex = i;
-            break;
-          } else if (ConstantInt *FilterLength = dyn_cast<ConstantInt>(V)) {
-            // A cleanup or a filter.
-            unsigned Length = FilterLength->getZExtValue();
-            if (Length == 0)
-              // A cleanup - skip it.
-              continue;
-            if (Length == 1) {
-              // A catch-all filter.  Drop everything that follows.
-              LastIndex = i;
-              break;
-            }
-            // A filter, skip over the typeinfos.
-            i += Length - 1;
-          }
-        }
-
-        if (LastIndex) {
-          // Drop the pointless catch-all from the end.  In fact drop everything
-          // after LastIndex as an optimization.
-          SmallVector<Value*, 16> Args;
-          Args.reserve(LastIndex);
-          for (unsigned i = 1; i <= LastIndex; ++i)
-            Args.push_back(SI->getOperand(i));
-          CallInst *CI = CallInst::Create(SI->getOperand(0), Args.begin(),
-                                          Args.end(), "", SI);
-          CI->takeName(SI);
-          SI->replaceAllUsesWith(CI);
-          SI->eraseFromParent();
-          ++NumSelectorsSimplified;
-        } else if (!isa<ConstantInt>(CatchAll) && // Not a cleanup.
-                   !SI->use_empty()) {
-          // Correct the selector value to return zero if the catch-all matches.
-          Constant *Zero = ConstantInt::getNullValue(Type::getInt32Ty(*Context));
-
-          // Create the new selector value, with placeholders instead of the
-          // real operands and make everyone use it.  The reason for this round
-          // about approach is that the computation of the new value makes use
-          // of the old value, so we can't just compute it then do RAUW.
-          SelectInst *S = SelectInst::Create(ConstantInt::getFalse(*Context),
-                                             Zero, Zero, "", II);
-          SI->replaceAllUsesWith(S);
-
-          // Now calculate the operands of the select.
-          IRBuilder<> Builder(*I, S);
-
-          // Find the eh.typeid.for intrinsic if we didn't already.
-          if (!TypeIdIntrinsic)
-            TypeIdIntrinsic = Intrinsic::getDeclaration(F->getParent(),
-                                                      Intrinsic::eh_typeid_for);
-
-          // Obtain the id of the catch-all.
-          Value *CatchAllId = Builder.CreateCall(TypeIdIntrinsic,
-              ConstantExpr::getBitCast(CatchAll, Type::getInt8PtrTy(*Context)));
-
-          // Compare it with the original selector result.  If it matched then
-          // the selector result is zero, otherwise it is the original selector.
-          Value *MatchesCatchAll = Builder.CreateICmpEQ(SI, CatchAllId);
-          S->setOperand(0, MatchesCatchAll);
-          S->setOperand(2, SI);
-          ++NumSelectorsAdjusted;
-        }
-
-        Changed = true;
-        break;
-      }
-
-  return Changed;
-}
-
-/// Make sure every landing pad has a selector in it.
-bool DwarfEHPrepare::AddMissingSelectors() {
-  if (!Personality)
-    // We only know how to codegen invokes if there is a personality.
-    // FIXME: This results in wrong code.
-    return false;
-
-  bool Changed = false;
-
-  for (BBSet::iterator I = LandingPads.begin(), E = LandingPads.end(); I != E;
-       ++I) {
-    bool FoundSelector = false;
-
-    // Check whether the landing pad already contains a call to eh.selector.
-    for (BasicBlock::iterator II = (*I)->begin(), IE = (*I)->end(); II != IE;
-         ++II)
-      if (isa<EHSelectorInst>(II)) {
-        FoundSelector = true;
-        break;
-      }
-
-    if (FoundSelector)
-      continue;
-
-    // Find the eh.selector intrinsic if we didn't already.
-    if (!SelectorIntrinsic)
-      SelectorIntrinsic = Intrinsic::getDeclaration(F->getParent(),
-                                                    Intrinsic::eh_selector);
-
-    // Get the exception object.
-    Instruction *Exception = CreateExceptionValueCall(*I);
-
-    Value *Args[3] = { Exception, Personality, CatchAll };
-    CallInst *Selector = CallInst::Create(SelectorIntrinsic, Args, Args + 3);
-    Selector->insertAfter(Exception);
-
-    ++NumLonelyLandingPads;
     Changed = true;
   }
 
@@ -520,7 +608,7 @@ bool DwarfEHPrepare::AddMissingSelectors() {
 bool DwarfEHPrepare::MoveExceptionValueCalls() {
   // If the eh.exception intrinsic is not declared in the module then there is
   // nothing to do.  Speed up compilation by checking for this common case.
-  if (!ExceptionIntrinsic &&
+  if (!ExceptionValueIntrinsic &&
       !F->getParent()->getFunction(Intrinsic::getName(Intrinsic::eh_exception)))
     return false;
 
@@ -577,7 +665,7 @@ bool DwarfEHPrepare::PromoteStackTemporaries() {
   if (ExceptionValueVar && DT && DF && isAllocaPromotable(ExceptionValueVar)) {
     // Turn the exception temporary into registers and phi nodes if possible.
     std::vector<AllocaInst*> Allocas(1, ExceptionValueVar);
-    PromoteMemToReg(Allocas, *DT, *DF, *Context);
+    PromoteMemToReg(Allocas, *DT, *DF);
     return true;
   }
   return false;
@@ -587,7 +675,7 @@ bool DwarfEHPrepare::PromoteStackTemporaries() {
 /// the start of the basic block (unless there already is one, in which case
 /// the existing call is returned).
 Instruction *DwarfEHPrepare::CreateExceptionValueCall(BasicBlock *BB) {
-  Instruction *Start = BB->getFirstNonPHI();
+  Instruction *Start = BB->getFirstNonPHIOrDbg();
   // Is this a call to eh.exception?
   if (IntrinsicInst *CI = dyn_cast<IntrinsicInst>(Start))
     if (CI->getIntrinsicID() == Intrinsic::eh_exception)
@@ -595,19 +683,19 @@ Instruction *DwarfEHPrepare::CreateExceptionValueCall(BasicBlock *BB) {
       return Start;
 
   // Find the eh.exception intrinsic if we didn't already.
-  if (!ExceptionIntrinsic)
-    ExceptionIntrinsic = Intrinsic::getDeclaration(F->getParent(),
+  if (!ExceptionValueIntrinsic)
+    ExceptionValueIntrinsic = Intrinsic::getDeclaration(F->getParent(),
                                                        Intrinsic::eh_exception);
 
   // Create the call.
-  return CallInst::Create(ExceptionIntrinsic, "eh.value.call", Start);
+  return CallInst::Create(ExceptionValueIntrinsic, "eh.value.call", Start);
 }
 
 /// CreateValueLoad - Insert a load of the exception value stack variable
 /// (creating it if necessary) at the start of the basic block (unless
 /// there already is a load, in which case the existing load is returned).
 Instruction *DwarfEHPrepare::CreateValueLoad(BasicBlock *BB) {
-  Instruction *Start = BB->getFirstNonPHI();
+  Instruction *Start = BB->getFirstNonPHIOrDbg();
   // Is this a load of the exception temporary?
   if (ExceptionValueVar)
     if (LoadInst* LI = dyn_cast<LoadInst>(Start))
@@ -618,7 +706,7 @@ Instruction *DwarfEHPrepare::CreateValueLoad(BasicBlock *BB) {
   // Create the temporary if we didn't already.
   if (!ExceptionValueVar) {
     ExceptionValueVar = new AllocaInst(PointerType::getUnqual(
-           Type::getInt8Ty(*Context)), "eh.value", F->begin()->begin());
+           Type::getInt8Ty(BB->getContext())), "eh.value", F->begin()->begin());
     ++NumStackTempsIntroduced;
   }
 
@@ -633,9 +721,6 @@ bool DwarfEHPrepare::runOnFunction(Function &Fn) {
   DT = getAnalysisIfAvailable<DominatorTree>();
   DF = getAnalysisIfAvailable<DominanceFrontier>();
   ExceptionValueVar = 0;
-  Personality = 0;
-  CatchAll = 0;
-  Context = &Fn.getContext();
   F = &Fn;
 
   // Ensure that only unwind edges end at landing pads (a landing pad is a
@@ -645,15 +730,7 @@ bool DwarfEHPrepare::runOnFunction(Function &Fn) {
   // Turn unwind instructions into libcalls.
   Changed |= LowerUnwinds();
 
-  // Make sure that every call to eh.selector occurs in its own landing pad.
-  Changed |= MoveSelectorCalls();
-
-  // Remove useless catch-all clauses from the ends of selectors, or correct the
-  // selector result for the presence of the catch-all if it is really needed.
-  Changed |= RectifySelectorCalls();
-
-  // Make sure every landing pad has a selector in it.
-  Changed |= AddMissingSelectors();
+  // TODO: Move eh.selector calls to landing pads and combine them.
 
   // Move eh.exception calls to landing pads.
   Changed |= MoveExceptionValueCalls();
@@ -662,8 +739,10 @@ bool DwarfEHPrepare::runOnFunction(Function &Fn) {
   Changed |= FinishStackTemporaries();
 
   // Turn any stack temporaries into registers if possible.
-//TODO  if (!CompileFast)
-//TODO    Changed |= PromoteStackTemporaries();
+  if (!CompileFast)
+    Changed |= PromoteStackTemporaries();
+
+  Changed |= HandleURoRInvokes();
 
   LandingPads.clear();