Adjust to the changed StructType interface. In particular, getElementTypes() is...
[oota-llvm.git] / lib / Transforms / LevelRaise.cpp
index 2a6c6da20d56cf1576b388d326605451d1667a43..edc42b7a56c650bd0e128477bc19c78c68f62230 100644 (file)
@@ -1,4 +1,11 @@
-//===- LevelRaise.cpp - Code to change LLVM to higher level -----------------=//
+//===- LevelRaise.cpp - Code to change LLVM to higher level ---------------===//
+// 
+//                     The LLVM Compiler Infrastructure
+//
+// This file was developed by the LLVM research group and is distributed under
+// the University of Illinois Open Source License. See LICENSE.TXT for details.
+// 
+//===----------------------------------------------------------------------===//
 //
 // This file implements the 'raising' part of the LevelChange API.  This is
 // useful because, in general, it makes the LLVM code terser and easier to
 //
 //===----------------------------------------------------------------------===//
 
-#include "llvm/Transforms/LevelChange.h"
+#include "llvm/Transforms/Scalar.h"
+#include "llvm/Transforms/Utils/Local.h"
 #include "TransformInternals.h"
 #include "llvm/iOther.h"
 #include "llvm/iMemory.h"
 #include "llvm/Pass.h"
-#include "llvm/ConstantHandling.h"
-#include "llvm/Transforms/Scalar/DCE.h"
-#include "llvm/Transforms/Scalar/ConstantProp.h"
-#include "llvm/Analysis/Expressions.h"
+#include "llvm/Transforms/Utils/BasicBlockUtils.h"
+#include "Support/CommandLine.h"
+#include "Support/Debug.h"
+#include "Support/Statistic.h"
 #include "Support/STLExtras.h"
 #include <algorithm>
+using namespace llvm;
+
+// StartInst - This enables the -raise-start-inst=foo option to cause the level
+// raising pass to start at instruction "foo", which is immensely useful for
+// debugging!
+//
+static cl::opt<std::string>
+StartInst("raise-start-inst", cl::Hidden, cl::value_desc("inst name"),
+       cl::desc("Start raise pass at the instruction with the specified name"));
+
+static Statistic<>
+NumLoadStorePeepholes("raise", "Number of load/store peepholes");
+
+static Statistic<> 
+NumGEPInstFormed("raise", "Number of other getelementptr's formed");
+
+static Statistic<>
+NumExprTreesConv("raise", "Number of expression trees converted");
 
-//#define DEBUG_PEEPHOLE_INSTS 1
+static Statistic<>
+NumCastOfCast("raise", "Number of cast-of-self removed");
+
+static Statistic<>
+NumDCEorCP("raise", "Number of insts DCEd or constprop'd");
+
+static Statistic<>
+NumVarargCallChanges("raise", "Number of vararg call peepholes");
 
-#ifdef DEBUG_PEEPHOLE_INSTS
 #define PRINT_PEEPHOLE(ID, NUM, I)            \
-  std::cerr << "Inst P/H " << ID << "[" << NUM << "] " << I;
-#else
-#define PRINT_PEEPHOLE(ID, NUM, I)
-#endif
+  DEBUG(std::cerr << "Inst P/H " << ID << "[" << NUM << "] " << I)
 
 #define PRINT_PEEPHOLE1(ID, I1) do { PRINT_PEEPHOLE(ID, 0, I1); } while (0)
 #define PRINT_PEEPHOLE2(ID, I1, I2) \
   do { PRINT_PEEPHOLE(ID, 0, I1); PRINT_PEEPHOLE(ID, 1, I2); \
        PRINT_PEEPHOLE(ID, 2, I3); PRINT_PEEPHOLE(ID, 3, I4); } while (0)
 
+namespace {
+  struct RPR : public FunctionPass {
+    virtual bool runOnFunction(Function &F);
+
+    virtual void getAnalysisUsage(AnalysisUsage &AU) const {
+      AU.setPreservesCFG();
+      AU.addRequired<TargetData>();
+    }
+
+  private:
+    bool DoRaisePass(Function &F);
+    bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI);
+  };
+
+  RegisterOpt<RPR> X("raise", "Raise Pointer References");
+}
+
+
+Pass *llvm::createRaisePointerReferencesPass() {
+  return new RPR();
+}
+
 
 // isReinterpretingCast - Return true if the cast instruction specified will
 // cause the operand to be "reinterpreted".  A value is reinterpreted if the
 // cast instruction would cause the underlying bits to change.
 //
 static inline bool isReinterpretingCast(const CastInst *CI) {
-  return!CI->getOperand(0)->getType()->isLosslesslyConvertableTo(CI->getType());
+  return!CI->getOperand(0)->getType()->isLosslesslyConvertibleTo(CI->getType());
 }
 
 
-
 // Peephole optimize the following instructions:
 // %t1 = cast ? to x *
 // %t2 = add x * %SP, %t1              ;; Constant must be 2nd operand
@@ -56,43 +106,62 @@ static inline bool isReinterpretingCast(const CastInst *CI) {
 //       %t2 = cast <eltype> * %t3 to {<...>}*
 //
 static bool HandleCastToPointer(BasicBlock::iterator BI,
-                                const PointerType *DestPTy) {
-  CastInst *CI = cast<CastInst>(*BI);
-  if (CI->use_empty()) return false;
+                                const PointerType *DestPTy,
+                                const TargetData &TD) {
+  CastInst &CI = cast<CastInst>(*BI);
+  if (CI.use_empty()) return false;
 
-  // Scan all of the uses, looking for any uses that are not add
+  // Scan all of the uses, looking for any uses that are not add or sub
   // instructions.  If we have non-adds, do not make this transformation.
   //
-  for (Value::use_iterator I = CI->use_begin(), E = CI->use_end();
-       I != E; ++I) {
+  bool HasSubUse = false;  // Keep track of any subtracts...
+  for (Value::use_iterator I = CI.use_begin(), E = CI.use_end();
+       I != E; ++I)
     if (BinaryOperator *BO = dyn_cast<BinaryOperator>(*I)) {
-      if (BO->getOpcode() != Instruction::Add)
+      if ((BO->getOpcode() != Instruction::Add &&
+           BO->getOpcode() != Instruction::Sub) ||
+          // Avoid add sbyte* %X, %X cases...
+          BO->getOperand(0) == BO->getOperand(1))
         return false;
+      else
+        HasSubUse |= BO->getOpcode() == Instruction::Sub;
     } else {
       return false;
     }
-  }
 
   std::vector<Value*> Indices;
-  Value *Src = CI->getOperand(0);
-  const Type *Result = ConvertableToGEP(DestPTy, Src, Indices, &BI);
-  if (Result == 0) return false;  // Not convertable...
+  Value *Src = CI.getOperand(0);
+  const Type *Result = ConvertibleToGEP(DestPTy, Src, Indices, TD, &BI);
+  if (Result == 0) return false;  // Not convertible...
+
+  // Cannot handle subtracts if there is more than one index required...
+  if (HasSubUse && Indices.size() != 1) return false;
 
   PRINT_PEEPHOLE2("cast-add-to-gep:in", Src, CI);
 
   // If we have a getelementptr capability... transform all of the 
   // add instruction uses into getelementptr's.
-  while (!CI->use_empty()) {
-    BinaryOperator *I = cast<BinaryOperator>(*CI->use_begin());
-    assert(I->getOpcode() == Instruction::Add && I->getNumOperands() == 2 &&
+  while (!CI.use_empty()) {
+    BinaryOperator *I = cast<BinaryOperator>(*CI.use_begin());
+    assert((I->getOpcode() == Instruction::Add ||
+            I->getOpcode() == Instruction::Sub) && 
            "Use is not a valid add instruction!");
     
     // Get the value added to the cast result pointer...
-    Value *OtherPtr = I->getOperand((I->getOperand(0) == CI) ? 1 : 0);
+    Value *OtherPtr = I->getOperand((I->getOperand(0) == &CI) ? 1 : 0);
 
     Instruction *GEP = new GetElementPtrInst(OtherPtr, Indices, I->getName());
     PRINT_PEEPHOLE1("cast-add-to-gep:i", I);
 
+    // If the instruction is actually a subtract, we are guaranteed to only have
+    // one index (from code above), so we just need to negate the pointer index
+    // long value.
+    if (I->getOpcode() == Instruction::Sub) {
+      Instruction *Neg = BinaryOperator::createNeg(GEP->getOperand(1), 
+                                       GEP->getOperand(1)->getName()+".neg", I);
+      GEP->setOperand(1, Neg);
+    }
+
     if (GEP->getType() == I->getType()) {
       // Replace the old add instruction with the shiny new GEP inst
       ReplaceInstWithInst(I, GEP);
@@ -101,16 +170,14 @@ static bool HandleCastToPointer(BasicBlock::iterator BI,
       // add instruction type, insert a cast now.
       //
 
-      // Insert the GEP instruction before the old add instruction... and get an
-      // iterator to point at the add instruction...
-      BasicBlock::iterator GEPI = InsertInstBeforeInst(GEP, I)+1;
+      // Insert the GEP instruction before the old add instruction...
+      I->getParent()->getInstList().insert(I, GEP);
 
       PRINT_PEEPHOLE1("cast-add-to-gep:o", GEP);
-      CastInst *CI = new CastInst(GEP, I->getType());
-      GEP = CI;
+      GEP = new CastInst(GEP, I->getType());
 
       // Replace the old add instruction with the shiny new GEP inst
-      ReplaceInstWithInst(I->getParent()->getInstList(), GEPI, GEP);
+      ReplaceInstWithInst(I, GEP);
     }
 
     PRINT_PEEPHOLE1("cast-add-to-gep:o", GEP);
@@ -131,10 +198,11 @@ static bool HandleCastToPointer(BasicBlock::iterator BI,
 //       %t2 = cast <eltype> * %t3 to {<...>}*
 //
 static bool PeepholeOptimizeAddCast(BasicBlock *BB, BasicBlock::iterator &BI,
-                                    Value *AddOp1, CastInst *AddOp2) {
+                                    Value *AddOp1, CastInst *AddOp2,
+                                    const TargetData &TD) {
   const CompositeType *CompTy;
   Value *OffsetVal = AddOp2->getOperand(0);
-  Value *SrcPtr;  // Of type pointer to struct...
+  Value *SrcPtr = 0;  // Of type pointer to struct...
 
   if ((CompTy = getPointedToComposite(AddOp1->getType()))) {
     SrcPtr = AddOp1;                      // Handle the first case...
@@ -144,12 +212,12 @@ static bool PeepholeOptimizeAddCast(BasicBlock *BB, BasicBlock::iterator &BI,
   }
 
   // Only proceed if we have detected all of our conditions successfully...
-  if (!CompTy || !SrcPtr || !OffsetVal->getType()->isIntegral())
+  if (!CompTy || !SrcPtr || !OffsetVal->getType()->isInteger())
     return false;
 
   std::vector<Value*> Indices;
-  if (!ConvertableToGEP(SrcPtr->getType(), OffsetVal, Indices, &BI))
-    return false;  // Not convertable... perhaps next time
+  if (!ConvertibleToGEP(SrcPtr->getType(), OffsetVal, Indices, TD, &BI))
+    return false;  // Not convertible... perhaps next time
 
   if (getPointedToComposite(AddOp1->getType())) {  // case 1
     PRINT_PEEPHOLE2("add-to-gep1:in", AddOp2, *BI);
@@ -158,8 +226,7 @@ static bool PeepholeOptimizeAddCast(BasicBlock *BB, BasicBlock::iterator &BI,
   }
 
   GetElementPtrInst *GEP = new GetElementPtrInst(SrcPtr, Indices,
-                                                 AddOp2->getName());
-  BI = BB->getInstList().insert(BI, GEP)+1;
+                                                 AddOp2->getName(), BI);
 
   Instruction *NCI = new CastInst(GEP, AddOp1->getType());
   ReplaceInstWithInst(BB->getInstList(), BI, NCI);
@@ -167,8 +234,9 @@ static bool PeepholeOptimizeAddCast(BasicBlock *BB, BasicBlock::iterator &BI,
   return true;
 }
 
-static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
-  Instruction *I = *BI;
+bool RPR::PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
+  Instruction *I = BI;
+  const TargetData &TD = getAnalysis<TargetData>();
 
   if (CastInst *CI = dyn_cast<CastInst>(I)) {
     Value       *Src    = CI->getOperand(0);
@@ -186,77 +254,68 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
       if (!Src->hasName() && CI->hasName()) {
         std::string Name = CI->getName();
         CI->setName("");
-        Src->setName(Name, BB->getParent()->getSymbolTable());
+        Src->setName(Name, &BB->getParent()->getSymbolTable());
       }
+
+      // DCE the instruction now, to avoid having the iterative version of DCE
+      // have to worry about it.
+      //
+      BI = BB->getInstList().erase(BI);
+
+      ++NumCastOfCast;
       return true;
     }
 
-    // Peephole optimize the following instructions:
-    // %tmp = cast <ty> %V to <ty2>
-    // %V   = cast <ty2> %tmp to <ty3>     ; Where ty & ty2 are same size
-    //
-    // Into: cast <ty> %V to <ty3>
-    //
-    if (SrcI)
-      if (CastInst *CSrc = dyn_cast<CastInst>(SrcI))
-        if (isReinterpretingCast(CI) + isReinterpretingCast(CSrc) < 2) {
-          // We can only do c-c elimination if, at most, one cast does a
-          // reinterpretation of the input data.
-          //
-          // If legal, make this cast refer the the original casts argument!
-          //
-          PRINT_PEEPHOLE2("cast-cast:in ", CI, CSrc);
-          CI->setOperand(0, CSrc->getOperand(0));
-          PRINT_PEEPHOLE1("cast-cast:out", CI);
-          return true;
-        }
-
     // Check to see if it's a cast of an instruction that does not depend on the
     // specific type of the operands to do it's job.
     if (!isReinterpretingCast(CI)) {
       ValueTypeCache ConvertedTypes;
 
-      // Check to see if we can convert the users of the cast value to match the
-      // source type of the cast...
+      // Check to see if we can convert the source of the cast to match the
+      // destination type of the cast...
       //
       ConvertedTypes[CI] = CI->getType();  // Make sure the cast doesn't change
-      if (ExpressionConvertableToType(Src, DestTy, ConvertedTypes)) {
+      if (ExpressionConvertibleToType(Src, DestTy, ConvertedTypes, TD)) {
         PRINT_PEEPHOLE3("CAST-SRC-EXPR-CONV:in ", Src, CI, BB->getParent());
           
-#ifdef DEBUG_PEEPHOLE_INSTS
-        cerr << "\nCONVERTING SRC EXPR TYPE:\n";
-#endif
-        ValueMapCache ValueMap;
-        Value *E = ConvertExpressionToType(Src, DestTy, ValueMap);
-        if (Constant *CPV = dyn_cast<Constant>(E))
-          CI->replaceAllUsesWith(CPV);
+        DEBUG(std::cerr << "\nCONVERTING SRC EXPR TYPE:\n");
+        { // ValueMap must be destroyed before function verified!
+          ValueMapCache ValueMap;
+          Value *E = ConvertExpressionToType(Src, DestTy, ValueMap, TD);
+
+          if (Constant *CPV = dyn_cast<Constant>(E))
+            CI->replaceAllUsesWith(CPV);
+          
+          PRINT_PEEPHOLE1("CAST-SRC-EXPR-CONV:out", E);
+          DEBUG(std::cerr << "DONE CONVERTING SRC EXPR TYPE: \n"
+                          << BB->getParent());
+        }
 
         BI = BB->begin();  // Rescan basic block.  BI might be invalidated.
-        PRINT_PEEPHOLE1("CAST-SRC-EXPR-CONV:out", E);
-#ifdef DEBUG_PEEPHOLE_INSTS
-        cerr << "DONE CONVERTING SRC EXPR TYPE: \n" << BB->getParent();
-#endif
+        ++NumExprTreesConv;
         return true;
       }
 
-      // Check to see if we can convert the source of the cast to match the
-      // destination type of the cast...
+      // Check to see if we can convert the users of the cast value to match the
+      // source type of the cast...
       //
       ConvertedTypes.clear();
-      if (ValueConvertableToType(CI, Src->getType(), ConvertedTypes)) {
+      // Make sure the source doesn't change type
+      ConvertedTypes[Src] = Src->getType();
+      if (ValueConvertibleToType(CI, Src->getType(), ConvertedTypes, TD)) {
         PRINT_PEEPHOLE3("CAST-DEST-EXPR-CONV:in ", Src, CI, BB->getParent());
 
-#ifdef DEBUG_PEEPHOLE_INSTS
-        cerr << "\nCONVERTING EXPR TYPE:\n";
-#endif
-        ValueMapCache ValueMap;
-        ConvertValueToNewType(CI, Src, ValueMap);  // This will delete CI!
+        DEBUG(std::cerr << "\nCONVERTING EXPR TYPE:\n");
+        { // ValueMap must be destroyed before function verified!
+          ValueMapCache ValueMap;
+          ConvertValueToNewType(CI, Src, ValueMap, TD);  // This will delete CI!
+        }
+
+        PRINT_PEEPHOLE1("CAST-DEST-EXPR-CONV:out", Src);
+        DEBUG(std::cerr << "DONE CONVERTING EXPR TYPE: \n\n" << BB->getParent());
 
         BI = BB->begin();  // Rescan basic block.  BI might be invalidated.
-        PRINT_PEEPHOLE1("CAST-DEST-EXPR-CONV:out", Src);
-#ifdef DEBUG_PEEPHOLE_INSTS
-        cerr << "DONE CONVERTING EXPR TYPE: \n\n" << BB->getParent();
-#endif
+        ++NumExprTreesConv;
         return true;
       }
     }
@@ -266,8 +325,9 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
     // so, convert the add into a getelementptr instruction...
     //
     if (const PointerType *DestPTy = dyn_cast<PointerType>(DestTy)) {
-      if (HandleCastToPointer(BI, DestPTy)) {
+      if (HandleCastToPointer(BI, DestPTy, TD)) {
         BI = BB->begin();  // Rescan basic block.  BI might be invalidated.
+        ++NumGEPInstFormed;
         return true;
       }
     }
@@ -282,7 +342,6 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
     // Into: %t2 = getelementptr {<...>} * %StructPtr, <0, 0, 0, ...>
     //       %t1 = cast <eltype> * %t1 to <ty> *
     //
-#if 1
     if (const CompositeType *CTy = getPointedToComposite(Src->getType()))
       if (const PointerType *DestPTy = dyn_cast<PointerType>(DestTy)) {
 
@@ -299,7 +358,7 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
           }
 
         // If it doesn't have an add use, check to see if the dest type is
-        // losslessly convertable to one of the types in the start of the struct
+        // losslessly convertible to one of the types in the start of the struct
         // type.
         //
         if (!HasAddUse) {
@@ -310,25 +369,29 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
 
           // Build the index vector, full of all zeros
           std::vector<Value*> Indices;
-          Indices.push_back(ConstantUInt::get(Type::UIntTy, 0));
+
+          Indices.push_back(ConstantSInt::get(Type::LongTy, 0)); // FIXME, PR82
           while (CurCTy && !isa<PointerType>(CurCTy)) {
+            const Type *IdxType;
             if (const StructType *CurSTy = dyn_cast<StructType>(CurCTy)) {
               // Check for a zero element struct type... if we have one, bail.
-              if (CurSTy->getElementTypes().size() == 0) break;
+              if (CurSTy->getNumElements() == 0) break;
             
               // Grab the first element of the struct type, which must lie at
               // offset zero in the struct.
               //
-              ElTy = CurSTy->getElementTypes()[0];
+              ElTy = CurSTy->getElementType(0);
+              IdxType = Type::UByteTy;   // FIXME when PR82 is fixed.
             } else {
               ElTy = cast<ArrayType>(CurCTy)->getElementType();
+              IdxType = Type::LongTy;    // FIXME when PR82 is fixed.
             }
 
             // Insert a zero to index through this type...
-            Indices.push_back(ConstantUInt::get(CurCTy->getIndexType(), 0));
+            Indices.push_back(Constant::getNullValue(IdxType));
 
             // Did we find what we're looking for?
-            if (ElTy->isLosslesslyConvertableTo(DestPointedTy)) break;
+            if (ElTy->isLosslesslyConvertibleTo(DestPointedTy)) break;
             
             // Nope, go a level deeper.
             ++Depth;
@@ -340,11 +403,11 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
           if (ElTy) {
             PRINT_PEEPHOLE1("cast-for-first:in", CI);
 
+            std::string Name = CI->getName(); CI->setName("");
+
             // Insert the new T cast instruction... stealing old T's name
             GetElementPtrInst *GEP = new GetElementPtrInst(Src, Indices,
-                                                           CI->getName());
-            CI->setName("");
-            BI = BB->getInstList().insert(BI, GEP)+1;
+                                                           Name, BI);
 
             // Make the old cast instruction reference the new GEP instead of
             // the old src value.
@@ -352,19 +415,18 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
             CI->setOperand(0, GEP);
             
             PRINT_PEEPHOLE2("cast-for-first:out", GEP, CI);
+            ++NumGEPInstFormed;
             return true;
           }
         }
       }
-#endif
 
-#if 1
   } else if (StoreInst *SI = dyn_cast<StoreInst>(I)) {
     Value *Val     = SI->getOperand(0);
     Value *Pointer = SI->getPointerOperand();
     
     // Peephole optimize the following instructions:
-    // %t = cast <T1>* %P to <T2> * ;; If T1 is losslessly convertable to T2
+    // %t = cast <T1>* %P to <T2> * ;; If T1 is losslessly convertible to T2
     // store <T2> %V, <T2>* %t
     //
     // Into: 
@@ -378,22 +440,59 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
     //
     if (CastInst *CI = dyn_cast<CastInst>(Pointer))
       if (Value *CastSrc = CI->getOperand(0)) // CSPT = CastSrcPointerType
-        if (PointerType *CSPT = dyn_cast<PointerType>(CastSrc->getType()))
-          // convertable types?
-          if (Val->getType()->isLosslesslyConvertableTo(CSPT->getElementType()) &&
-              !SI->hasIndices()) {      // No subscripts yet!
+        if (const PointerType *CSPT = dyn_cast<PointerType>(CastSrc->getType()))
+          // convertible types?
+          if (Val->getType()->isLosslesslyConvertibleTo(CSPT->getElementType())) {
             PRINT_PEEPHOLE3("st-src-cast:in ", Pointer, Val, SI);
 
             // Insert the new T cast instruction... stealing old T's name
+            std::string Name(CI->getName()); CI->setName("");
             CastInst *NCI = new CastInst(Val, CSPT->getElementType(),
-                                         CI->getName());
-            CI->setName("");
-            BI = BB->getInstList().insert(BI, NCI)+1;
+                                         Name, BI);
 
             // Replace the old store with a new one!
             ReplaceInstWithInst(BB->getInstList(), BI,
                                 SI = new StoreInst(NCI, CastSrc));
             PRINT_PEEPHOLE3("st-src-cast:out", NCI, CastSrc, SI);
+            ++NumLoadStorePeepholes;
+            return true;
+          }
+
+  } else if (LoadInst *LI = dyn_cast<LoadInst>(I)) {
+    Value *Pointer = LI->getOperand(0);
+    const Type *PtrElType =
+      cast<PointerType>(Pointer->getType())->getElementType();
+    
+    // Peephole optimize the following instructions:
+    // %Val = cast <T1>* to <T2>*    ;; If T1 is losslessly convertible to T2
+    // %t = load <T2>* %P
+    //
+    // Into: 
+    // %t = load <T1>* %P
+    // %Val = cast <T1> to <T2>
+    //
+    // Note: This is not taken care of by expr conversion because there might
+    // not be a cast available for the store to convert the incoming value of.
+    // This code is basically here to make sure that pointers don't have casts
+    // if possible.
+    //
+    if (CastInst *CI = dyn_cast<CastInst>(Pointer))
+      if (Value *CastSrc = CI->getOperand(0)) // CSPT = CastSrcPointerType
+        if (const PointerType *CSPT = dyn_cast<PointerType>(CastSrc->getType()))
+          // convertible types?
+          if (PtrElType->isLosslesslyConvertibleTo(CSPT->getElementType())) {
+            PRINT_PEEPHOLE2("load-src-cast:in ", Pointer, LI);
+
+            // Create the new load instruction... loading the pre-casted value
+            LoadInst *NewLI = new LoadInst(CastSrc, LI->getName(), BI);
+            
+            // Insert the new T cast instruction... stealing old T's name
+            CastInst *NCI = new CastInst(NewLI, LI->getType(), CI->getName());
+
+            // Replace the old store with a new one!
+            ReplaceInstWithInst(BB->getInstList(), BI, NCI);
+            PRINT_PEEPHOLE3("load-src-cast:out", NCI, CastSrc, NewLI);
+            ++NumLoadStorePeepholes;
             return true;
           }
 
@@ -401,10 +500,59 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
              isa<CastInst>(I->getOperand(1))) {
 
     if (PeepholeOptimizeAddCast(BB, BI, I->getOperand(0),
-                                cast<CastInst>(I->getOperand(1))))
+                                cast<CastInst>(I->getOperand(1)), TD)) {
+      ++NumGEPInstFormed;
+      return true;
+    }
+  } else if (CallInst *CI = dyn_cast<CallInst>(I)) {
+    // If we have a call with all varargs arguments, convert the call to use the
+    // actual argument types present...
+    //
+    const PointerType *PTy = cast<PointerType>(CI->getCalledValue()->getType());
+    const FunctionType *FTy = cast<FunctionType>(PTy->getElementType());
+
+    // Is the call to a vararg variable with no real parameters?
+    if (FTy->isVarArg() && FTy->getNumParams() == 0 &&
+        !CI->getCalledFunction()) {
+      // If so, insert a new cast instruction, casting it to a function type
+      // that matches the current arguments...
+      //
+      std::vector<const Type *> Params;  // Parameter types...
+      for (unsigned i = 1, e = CI->getNumOperands(); i != e; ++i)
+        Params.push_back(CI->getOperand(i)->getType());
+
+      FunctionType *NewFT = FunctionType::get(FTy->getReturnType(),
+                                              Params, false);
+      PointerType *NewPFunTy = PointerType::get(NewFT);
+
+      // Create a new cast, inserting it right before the function call...
+      Value *NewCast;
+      Constant *ConstantCallSrc = 0;
+      if (Constant *CS = dyn_cast<Constant>(CI->getCalledValue()))
+        ConstantCallSrc = CS;
+      else if (GlobalValue *GV = dyn_cast<GlobalValue>(CI->getCalledValue()))
+        ConstantCallSrc = ConstantPointerRef::get(GV);
+
+      if (ConstantCallSrc)
+        NewCast = ConstantExpr::getCast(ConstantCallSrc, NewPFunTy);
+      else
+        NewCast = new CastInst(CI->getCalledValue(), NewPFunTy,
+                               CI->getCalledValue()->getName()+"_c",CI);
+
+      // Strip off unneeded CPR's.
+      if (ConstantPointerRef *CPR = dyn_cast<ConstantPointerRef>(NewCast))
+        NewCast = CPR->getValue();
+
+      // Create a new call instruction...
+      CallInst *NewCall = new CallInst(NewCast,
+                           std::vector<Value*>(CI->op_begin()+1, CI->op_end()));
+      ++BI;
+      ReplaceInstWithInst(CI, NewCall);
+      
+      ++NumVarargCallChanges;
       return true;
+    }
 
-#endif
   }
 
   return false;
@@ -413,48 +561,52 @@ static bool PeepholeOptimize(BasicBlock *BB, BasicBlock::iterator &BI) {
 
 
 
-static bool DoRaisePass(Function *F) {
+bool RPR::DoRaisePass(Function &F) {
   bool Changed = false;
-  for (Function::iterator MI = F->begin(), ME = F->end(); MI != ME; ++MI) {
-    BasicBlock *BB = *MI;
-    BasicBlock::InstListType &BIL = BB->getInstList();
-
+  for (Function::iterator BB = F.begin(), BBE = F.end(); BB != BBE; ++BB)
     for (BasicBlock::iterator BI = BB->begin(); BI != BB->end();) {
-#if DEBUG_PEEPHOLE_INSTS
-      cerr << "Processing: " << *BI;
-#endif
-      if (dceInstruction(BIL, BI) || doConstantPropogation(BB, BI)) {
+      DEBUG(std::cerr << "Processing: " << *BI);
+      if (dceInstruction(BI) || doConstantPropagation(BI)) {
         Changed = true; 
-#ifdef DEBUG_PEEPHOLE_INSTS
-        cerr << "***\t\t^^-- DeadCode Elinated!\n";
-#endif
-      } else if (PeepholeOptimize(BB, BI))
+        ++NumDCEorCP;
+        DEBUG(std::cerr << "***\t\t^^-- Dead code eliminated!\n");
+      } else if (PeepholeOptimize(BB, BI)) {
         Changed = true;
-      else
+      } else {
         ++BI;
+      }
     }
-  }
+
   return Changed;
 }
 
 
-// RaisePointerReferences::doit - Raise a function representation to a higher
-// level.
-//
-static bool doRPR(Function *F) {
-#ifdef DEBUG_PEEPHOLE_INSTS
-  cerr << "\n\n\nStarting to work on Function '" << F->getName() << "'\n";
-#endif
+// runOnFunction - Raise a function representation to a higher level.
+bool RPR::runOnFunction(Function &F) {
+  DEBUG(std::cerr << "\n\n\nStarting to work on Function '" << F.getName()
+                  << "'\n");
 
   // Insert casts for all incoming pointer pointer values that are treated as
   // arrays...
   //
   bool Changed = false, LocalChange;
-  
+
+  // If the StartInst option was specified, then Peephole optimize that
+  // instruction first if it occurs in this function.
+  //
+  if (!StartInst.empty()) {
+    for (Function::iterator BB = F.begin(), BBE = F.end(); BB != BBE; ++BB)
+      for (BasicBlock::iterator BI = BB->begin(); BI != BB->end(); ++BI)
+        if (BI->getName() == StartInst) {
+          bool SavedDebug = DebugFlag;  // Save the DEBUG() controlling flag.
+          DebugFlag = true;             // Turn on DEBUG's
+          Changed |= PeepholeOptimize(BB, BI);
+          DebugFlag = SavedDebug;       // Restore DebugFlag to previous state
+        }
+  }
+
   do {
-#ifdef DEBUG_PEEPHOLE_INSTS
-    cerr << "Looping: \n" << F;
-#endif
+    DEBUG(std::cerr << "Looping: \n" << F);
 
     // Iterate over the function, refining it, until it converges on a stable
     // state
@@ -467,20 +619,3 @@ static bool doRPR(Function *F) {
   return Changed;
 }
 
-namespace {
-  struct RaisePointerReferences : public FunctionPass {
-    const char *getPassName() const { return "Raise Pointer References"; }
-
-    virtual bool runOnFunction(Function *F) { return doRPR(F); }
-
-    virtual void getAnalysisUsage(AnalysisUsage &AU) const {
-      AU.preservesCFG();
-    }
-  };
-}
-
-Pass *createRaisePointerReferencesPass() {
-  return new RaisePointerReferences();
-}
-
-