Fix bug in previous checkin
[oota-llvm.git] / lib / Target / SparcV9 / InstrSelection / InstrSelectionSupport.cpp
index 0a6d7d331d36bb2d445d9137f0bd3bbaaa04b70a..4413a25655b5e7453074939c5aff1894cbc1da79 100644 (file)
@@ -1,51 +1,46 @@
-// $Id$ -*-c++-*-
-//***************************************************************************
-// File:
-//     InstrSelectionSupport.h
+//===-- InstrSelectionSupport.cpp -----------------------------------------===//
+//
+// Target-independent instruction selection code.  See SparcInstrSelection.cpp
+// for usage.
 // 
-// Purpose:
-//     Target-independent instruction selection code.
-//      See SparcInstrSelection.cpp for usage.
-//      
-// History:
-//     10/10/01         -  Vikram Adve  -  Created
-//**************************************************************************/
+//===----------------------------------------------------------------------===//
 
 #include "llvm/CodeGen/InstrSelectionSupport.h"
 #include "llvm/CodeGen/InstrSelection.h"
 #include "llvm/CodeGen/MachineInstr.h"
+#include "llvm/CodeGen/MachineInstrAnnot.h"
+#include "llvm/CodeGen/MachineCodeForInstruction.h"
+#include "llvm/CodeGen/MachineFunction.h"
+#include "llvm/CodeGen/InstrForest.h"
 #include "llvm/Target/TargetMachine.h"
-#include "llvm/Target/MachineRegInfo.h"
-#include "llvm/ConstPoolVals.h"
-#include "llvm/Method.h"
-#include "llvm/BasicBlock.h"
-#include "llvm/Instruction.h"
-#include "llvm/Type.h"
+#include "llvm/Target/TargetRegInfo.h"
+#include "llvm/Target/TargetInstrInfo.h"
+#include "llvm/Constants.h"
+#include "llvm/Function.h"
+#include "llvm/DerivedTypes.h"
 #include "llvm/iMemory.h"
-
+using std::vector;
 
 //*************************** Local Functions ******************************/
 
 
+// Generate code to load the constant into a TmpInstruction (virtual reg) and
+// returns the virtual register.
+// 
 static TmpInstruction*
-InsertCodeToLoadConstant(Value* opValue,
+InsertCodeToLoadConstant(Function *F,
+                         Value* opValue,
                          Instruction* vmInstr,
                          vector<MachineInstr*>& loadConstVec,
                          TargetMachine& target)
 {
-  vector<TmpInstruction*> tempVec;
-  
   // Create a tmp virtual register to hold the constant.
-  TmpInstruction* tmpReg =
-    new TmpInstruction(TMP_INSTRUCTION_OPCODE, opValue, NULL);
-  vmInstr->getMachineInstrVec().addTempValue(tmpReg);
-  
-  target.getInstrInfo().CreateCodeToLoadConst(opValue, tmpReg,
-                                              loadConstVec, tempVec);
+  TmpInstruction* tmpReg = new TmpInstruction(opValue);
+  MachineCodeForInstruction &mcfi = MachineCodeForInstruction::get(vmInstr);
+  mcfi.addTemp(tmpReg);
   
-  // Register the new tmp values created for this m/c instruction sequence
-  for (unsigned i=0; i < tempVec.size(); i++)
-    vmInstr->getMachineInstrVec().addTempValue(tempVec[i]);
+  target.getInstrInfo().CreateCodeToLoadConst(target, F, opValue, tmpReg,
+                                              loadConstVec, mcfi);
   
   // Record the mapping from the tmp VM instruction to machine instruction.
   // Do this for all machine instructions that were not mapped to any
@@ -57,11 +52,13 @@ InsertCodeToLoadConstant(Value* opValue,
 
 
 //---------------------------------------------------------------------------
+// Function GetConstantValueAsUnsignedInt
 // Function GetConstantValueAsSignedInt
 // 
-// Convenience function to get the value of an integer constant, for an
-// appropriate integer or non-integer type that can be held in an integer.
-// The type of the argument must be the following:
+// Convenience functions to get the value of an integral constant, for an
+// appropriate integer or non-integer type that can be held in a signed
+// or unsigned integer respectively.  The type of the argument must be
+// the following:
 //      Signed or unsigned integer
 //      Boolean
 //      Pointer
@@ -69,33 +66,35 @@ InsertCodeToLoadConstant(Value* opValue,
 // isValidConstant is set to true if a valid constant was found.
 //---------------------------------------------------------------------------
 
+uint64_t
+GetConstantValueAsUnsignedInt(const Value *V,
+                              bool &isValidConstant)
+{
+  isValidConstant = true;
+
+  if (isa<Constant>(V))
+    if (const ConstantBool *CB = dyn_cast<ConstantBool>(V))
+      return (int64_t)CB->getValue();
+    else if (const ConstantSInt *CS = dyn_cast<ConstantSInt>(V))
+      return (uint64_t)CS->getValue();
+    else if (const ConstantUInt *CU = dyn_cast<ConstantUInt>(V))
+      return CU->getValue();
+
+  isValidConstant = false;
+  return 0;
+}
+
 int64_t
 GetConstantValueAsSignedInt(const Value *V,
                             bool &isValidConstant)
 {
-  if (!isa<ConstPoolVal>(V))
-    {
+  uint64_t C = GetConstantValueAsUnsignedInt(V, isValidConstant);
+  if (isValidConstant) {
+    if (V->getType()->isSigned() || C < INT64_MAX) // safe to cast to signed
+      return (int64_t) C;
+    else
       isValidConstant = false;
-      return 0;
-    }
-  
-  isValidConstant = true;
-  
-  if (V->getType() == Type::BoolTy)
-    return (int64_t) ((ConstPoolBool*)V)->getValue();
-  
-  if (V->getType()->isIntegral())
-    {
-      if (V->getType()->isSigned())
-        return ((ConstPoolSInt*)V)->getValue();
-      
-      assert(V->getType()->isUnsigned());
-      uint64_t Val = ((ConstPoolUInt*)V)->getValue();
-      if (Val < INT64_MAX)     // then safe to cast to signed
-        return (int64_t)Val;
-    }
-
-  isValidConstant = false;
+  }
   return 0;
 }
 
@@ -104,144 +103,252 @@ GetConstantValueAsSignedInt(const Value *V,
 // Function: FoldGetElemChain
 // 
 // Purpose:
-//   Fold a chain of GetElementPtr instructions into an equivalent
-//   (Pointer, IndexVector) pair.  Returns the pointer Value, and
-//   stores the resulting IndexVector in argument chainIdxVec.
+//   Fold a chain of GetElementPtr instructions containing only
+//   constant offsets into an equivalent (Pointer, IndexVector) pair.
+//   Returns the pointer Value, and stores the resulting IndexVector
+//   in argument chainIdxVec. This is a helper function for
+//   FoldConstantIndices that does the actual folding. 
 //---------------------------------------------------------------------------
 
-Value*
-FoldGetElemChain(const InstructionNode* getElemInstrNode,
-                vector<ConstPoolVal*>& chainIdxVec)
+
+// Check for a constant 0.
+inline bool
+IsZero(Value* idx)
 {
-  MemAccessInst* getElemInst = (MemAccessInst*)
-    getElemInstrNode->getInstruction();
-  
-  // Initialize return values from the incoming instruction
-  Value* ptrVal = getElemInst->getPtrOperand();
-  chainIdxVec = getElemInst->getIndices(); // copies index vector values
-  
-  // Now chase the chain of getElementInstr instructions, if any
-  InstrTreeNode* ptrChild = getElemInstrNode->leftChild();
-  while (ptrChild->getOpLabel() == Instruction::GetElementPtr ||
-        ptrChild->getOpLabel() == GetElemPtrIdx)
+  return (idx == ConstantSInt::getNullValue(idx->getType()));
+}
+
+static Value*
+FoldGetElemChain(InstrTreeNode* ptrNode, vector<Value*>& chainIdxVec,
+                 bool lastInstHasLeadingNonZero)
+{
+  InstructionNode* gepNode = dyn_cast<InstructionNode>(ptrNode);
+  GetElementPtrInst* gepInst =
+    dyn_cast_or_null<GetElementPtrInst>(gepNode ? gepNode->getInstruction() :0);
+
+  // ptr value is not computed in this tree or ptr value does not come from GEP
+  // instruction
+  if (gepInst == NULL)
+    return NULL;
+
+  // Return NULL if we don't fold any instructions in.
+  Value* ptrVal = NULL;
+
+  // Now chase the chain of getElementInstr instructions, if any.
+  // Check for any non-constant indices and stop there.
+  // Also, stop if the first index of child is a non-zero array index
+  // and the last index of the current node is a non-array index:
+  // in that case, a non-array declared type is being accessed as an array
+  // which is not type-safe, but could be legal.
+  // 
+  InstructionNode* ptrChild = gepNode;
+  while (ptrChild && (ptrChild->getOpLabel() == Instruction::GetElementPtr ||
+                      ptrChild->getOpLabel() == GetElemPtrIdx))
     {
       // Child is a GetElemPtr instruction
-      getElemInst = (MemAccessInst*)
-       ((InstructionNode*) ptrChild)->getInstruction();
-      const vector<ConstPoolVal*>& idxVec = getElemInst->getIndices();
-      
-      // Get the pointer value out of ptrChild and *prepend* its index vector
-      ptrVal = getElemInst->getPtrOperand();
-      chainIdxVec.insert(chainIdxVec.begin(), idxVec.begin(), idxVec.end());
-      
-      ptrChild = ptrChild->leftChild();
+      gepInst = cast<GetElementPtrInst>(ptrChild->getValue());
+      User::op_iterator OI, firstIdx = gepInst->idx_begin();
+      User::op_iterator lastIdx = gepInst->idx_end();
+      bool allConstantOffsets = true;
+
+      // The first index of every GEP must be an array index.
+      assert((*firstIdx)->getType() == Type::LongTy &&
+             "INTERNAL ERROR: Structure index for a pointer type!");
+
+      // If the last instruction had a leading non-zero index, check if the
+      // current one references a sequential (i.e., indexable) type.
+      // If not, the code is not type-safe and we would create an illegal GEP
+      // by folding them, so don't fold any more instructions.
+      // 
+      if (lastInstHasLeadingNonZero)
+        if (! isa<SequentialType>(gepInst->getType()->getElementType()))
+          break;   // cannot fold in any preceding getElementPtr instrs.
+
+      // Check that all offsets are constant for this instruction
+      for (OI = firstIdx; allConstantOffsets && OI != lastIdx; ++OI)
+        allConstantOffsets = isa<ConstantInt>(*OI);
+
+      if (allConstantOffsets)
+        { // Get pointer value out of ptrChild.
+          ptrVal = gepInst->getPointerOperand();
+
+          // Remember if it has leading zero index: it will be discarded later.
+          lastInstHasLeadingNonZero = ! IsZero(*firstIdx);
+
+          // Insert its index vector at the start, skipping any leading [0]
+          chainIdxVec.insert(chainIdxVec.begin(),
+                             firstIdx + !lastInstHasLeadingNonZero, lastIdx);
+
+          // Mark the folded node so no code is generated for it.
+          ((InstructionNode*) ptrChild)->markFoldedIntoParent();
+
+          // Get the previous GEP instruction and continue trying to fold
+          ptrChild = dyn_cast<InstructionNode>(ptrChild->leftChild());
+        }
+      else // cannot fold this getElementPtr instr. or any preceding ones
+        break;
     }
-  
+
+  // If the first getElementPtr instruction had a leading [0], add it back.
+  // Note that this instruction is the *last* one successfully folded above.
+  if (ptrVal && ! lastInstHasLeadingNonZero) 
+    chainIdxVec.insert(chainIdxVec.begin(), ConstantSInt::get(Type::LongTy,0));
+
   return ptrVal;
 }
 
 
-//------------------------------------------------------------------------ 
-// Function Set2OperandsFromInstr
-// Function Set3OperandsFromInstr
-// 
-// For the common case of 2- and 3-operand arithmetic/logical instructions,
-// set the m/c instr. operands directly from the VM instruction's operands.
-// Check whether the first or second operand is 0 and can use a dedicated "0"
-// register.
-// Check whether the second operand should use an immediate field or register.
-// (First and third operands are never immediates for such instructions.)
-// 
-// Arguments:
-// canDiscardResult: Specifies that the result operand can be discarded
-//                  by using the dedicated "0"
-// 
-// op1position, op2position and resultPosition: Specify in which position
-//                  in the machine instruction the 3 operands (arg1, arg2
-//                  and result) should go.
+//---------------------------------------------------------------------------
+// Function: GetGEPInstArgs
 // 
-// RETURN VALUE: unsigned int flags, where
-//     flags & 0x01    => operand 1 is constant and needs a register
-//     flags & 0x02    => operand 2 is constant and needs a register
-//------------------------------------------------------------------------ 
-
-void
-Set2OperandsFromInstr(MachineInstr* minstr,
-                     InstructionNode* vmInstrNode,
-                     const TargetMachine& target,
-                     bool canDiscardResult,
-                     int op1Position,
-                     int resultPosition)
+// Purpose:
+//   Helper function for GetMemInstArgs that handles the final getElementPtr
+//   instruction used by (or same as) the memory operation.
+//   Extracts the indices of the current instruction and tries to fold in
+//   preceding ones if all indices of the current one are constant.
+//---------------------------------------------------------------------------
+
+Value*
+GetGEPInstArgs(InstructionNode* gepNode,
+               vector<Value*>& idxVec,
+               bool& allConstantIndices)
 {
-  Set3OperandsFromInstr(minstr, vmInstrNode, target,
-                       canDiscardResult, op1Position,
-                       /*op2Position*/ -1, resultPosition);
+  allConstantIndices = true;
+  GetElementPtrInst* gepI = cast<GetElementPtrInst>(gepNode->getInstruction());
+
+  // Default pointer is the one from the current instruction.
+  Value* ptrVal = gepI->getPointerOperand();
+  InstrTreeNode* ptrChild = gepNode->leftChild(); 
+
+  // Extract the index vector of the GEP instructin.
+  // If all indices are constant and first index is zero, try to fold
+  // in preceding GEPs with all constant indices.
+  for (User::op_iterator OI=gepI->idx_begin(),  OE=gepI->idx_end();
+       allConstantIndices && OI != OE; ++OI)
+    if (! isa<Constant>(*OI))
+      allConstantIndices = false;     // note: this also terminates loop!
+
+  // If we have only constant indices, fold chains of constant indices
+  // in this and any preceding GetElemPtr instructions.
+  bool foldedGEPs = false;
+  bool leadingNonZeroIdx = gepI && ! IsZero(*gepI->idx_begin());
+  if (allConstantIndices)
+    if (Value* newPtr = FoldGetElemChain(ptrChild, idxVec, leadingNonZeroIdx))
+      {
+        ptrVal = newPtr;
+        foldedGEPs = true;
+      }
+
+  // Append the index vector of the current instruction.
+  // Skip the leading [0] index if preceding GEPs were folded into this.
+  idxVec.insert(idxVec.end(),
+                gepI->idx_begin() + (foldedGEPs && !leadingNonZeroIdx),
+                gepI->idx_end());
+
+  return ptrVal;
 }
 
+//---------------------------------------------------------------------------
+// Function: GetMemInstArgs
+// 
+// Purpose:
+//   Get the pointer value and the index vector for a memory operation
+//   (GetElementPtr, Load, or Store).  If all indices of the given memory
+//   operation are constant, fold in constant indices in a chain of
+//   preceding GetElementPtr instructions (if any), and return the
+//   pointer value of the first instruction in the chain.
+//   All folded instructions are marked so no code is generated for them.
+//
+// Return values:
+//   Returns the pointer Value to use.
+//   Returns the resulting IndexVector in idxVec.
+//   Returns true/false in allConstantIndices if all indices are/aren't const.
+//---------------------------------------------------------------------------
 
-void
-Set3OperandsFromInstr(MachineInstr* minstr,
-                     InstructionNode* vmInstrNode,
-                     const TargetMachine& target,
-                     bool canDiscardResult,
-                     int op1Position,
-                     int op2Position,
-                     int resultPosition)
+Value*
+GetMemInstArgs(InstructionNode* memInstrNode,
+               vector<Value*>& idxVec,
+               bool& allConstantIndices)
 {
-  assert(op1Position >= 0);
-  assert(resultPosition >= 0);
-  
-  // operand 1
-  minstr->SetMachineOperand(op1Position, MachineOperand::MO_VirtualRegister,
-                           vmInstrNode->leftChild()->getValue());   
-  
-  // operand 2 (if any)
-  if (op2Position >= 0)
-    minstr->SetMachineOperand(op2Position, MachineOperand::MO_VirtualRegister,
-                             vmInstrNode->rightChild()->getValue());   
+  allConstantIndices = false;
+  Instruction* memInst = memInstrNode->getInstruction();
+  assert(idxVec.size() == 0 && "Need empty vector to return indices");
+
+  // If there is a GetElemPtr instruction to fold in to this instr,
+  // it must be in the left child for Load and GetElemPtr, and in the
+  // right child for Store instructions.
+  InstrTreeNode* ptrChild = (memInst->getOpcode() == Instruction::Store
+                             ? memInstrNode->rightChild()
+                             : memInstrNode->leftChild()); 
   
-  // result operand: if it can be discarded, use a dead register if one exists
-  if (canDiscardResult && target.getRegInfo().getZeroRegNum() >= 0)
-    minstr->SetMachineOperand(resultPosition,
-                             target.getRegInfo().getZeroRegNum());
-  else
-    minstr->SetMachineOperand(resultPosition,
-                             MachineOperand::MO_VirtualRegister, vmInstrNode->getValue());
-}
+  // Default pointer is the one from the current instruction.
+  Value* ptrVal = ptrChild->getValue(); 
 
+  // Find the "last" GetElemPtr instruction: this one or the immediate child.
+  // There will be none if this is a load or a store from a scalar pointer.
+  InstructionNode* gepNode = NULL;
+  if (isa<GetElementPtrInst>(memInst))
+    gepNode = memInstrNode;
+  else if (isa<InstructionNode>(ptrChild) && isa<GetElementPtrInst>(ptrVal))
+    { // Child of load/store is a GEP and memInst is its only use.
+      // Use its indices and mark it as folded.
+      gepNode = cast<InstructionNode>(ptrChild);
+      gepNode->markFoldedIntoParent();
+    }
+
+  // If there are no indices, return the current pointer.
+  // Else extract the pointer from the GEP and fold the indices.
+  return gepNode ? GetGEPInstArgs(gepNode, idxVec, allConstantIndices)
+                 : ptrVal;
+}
 
 MachineOperand::MachineOperandType
-ChooseRegOrImmed(Value* val,
+ChooseRegOrImmed(int64_t intValue,
+                 bool isSigned,
                 MachineOpCode opCode,
                 const TargetMachine& target,
                 bool canUseImmed,
                 unsigned int& getMachineRegNum,
                 int64_t& getImmedValue)
 {
-  MachineOperand::MachineOperandType opType =
-    MachineOperand::MO_VirtualRegister;
+  MachineOperand::MachineOperandType opType=MachineOperand::MO_VirtualRegister;
   getMachineRegNum = 0;
   getImmedValue = 0;
-  
-  // Check for the common case first: argument is not constant
-  // 
-  ConstPoolVal *CPV = dyn_cast<ConstPoolVal>(val);
-  if (!CPV) return opType;
 
-  if (CPV->getType() == Type::BoolTy)
+  if (canUseImmed &&
+          target.getInstrInfo().constantFitsInImmedField(opCode, intValue))
     {
-      ConstPoolBool *CPB = (ConstPoolBool*)CPV;
-      if (!CPB->getValue() && target.getRegInfo().getZeroRegNum() >= 0)
-       {
-         getMachineRegNum = target.getRegInfo().getZeroRegNum();
-         return MachineOperand::MO_MachineRegister;
-       }
-
-      getImmedValue = 1;
-      return MachineOperand::MO_SignExtendedImmed;
+      opType = isSigned? MachineOperand::MO_SignExtendedImmed
+                       : MachineOperand::MO_UnextendedImmed;
+      getImmedValue = intValue;
+    }
+  else if (intValue == 0 && target.getRegInfo().getZeroRegNum() >= 0)
+    {
+      opType = MachineOperand::MO_MachineRegister;
+      getMachineRegNum = target.getRegInfo().getZeroRegNum();
     }
-  
-  if (!CPV->getType()->isIntegral()) return opType;
+
+  return opType;
+}
+
+
+MachineOperand::MachineOperandType
+ChooseRegOrImmed(Value* val,
+                MachineOpCode opCode,
+                const TargetMachine& target,
+                bool canUseImmed,
+                unsigned int& getMachineRegNum,
+                int64_t& getImmedValue)
+{
+  getMachineRegNum = 0;
+  getImmedValue = 0;
+
+  // To use reg or immed, constant needs to be integer, bool, or a NULL pointer
+  Constant *CPV = dyn_cast<Constant>(val);
+  if (CPV == NULL ||
+      (! CPV->getType()->isIntegral() &&
+       ! (isa<PointerType>(CPV->getType()) && CPV->isNullValue())))
+    return MachineOperand::MO_VirtualRegister;
 
   // Now get the constant value and check if it fits in the IMMED field.
   // Take advantage of the fact that the max unsigned value will rarely
@@ -249,33 +356,31 @@ ChooseRegOrImmed(Value* val,
   // unsigned constants to signed).
   // 
   int64_t intValue;
-  if (CPV->getType()->isSigned())
-    {
-      intValue = ((ConstPoolSInt*)CPV)->getValue();
-    }
+  if (isa<PointerType>(CPV->getType()))
+    intValue = 0;                       // We checked above that it is NULL 
+  else if (ConstantBool* CB = dyn_cast<ConstantBool>(CPV))
+    intValue = (int64_t) CB->getValue();
+  else if (CPV->getType()->isSigned())
+    intValue = cast<ConstantSInt>(CPV)->getValue();
   else
-    {
-      uint64_t V = ((ConstPoolUInt*)CPV)->getValue();
-      if (V >= INT64_MAX) return opType;
-      intValue = (int64_t)V;
+    { // get the int value and sign-extend if original was less than 64 bits
+      intValue = (int64_t) cast<ConstantUInt>(CPV)->getValue();
+      switch(CPV->getType()->getPrimitiveID())
+        {
+        case Type::UByteTyID:  intValue = (int64_t) (int8_t) intValue; break;
+        case Type::UShortTyID: intValue = (int64_t) (short)  intValue; break;
+        case Type::UIntTyID:   intValue = (int64_t) (int)    intValue; break;
+        default: break;
+        }
     }
 
-  if (intValue == 0 && target.getRegInfo().getZeroRegNum() >= 0)
-    {
-      opType = MachineOperand::MO_MachineRegister;
-      getMachineRegNum = target.getRegInfo().getZeroRegNum();
-    }
-  else if (canUseImmed &&
-          target.getInstrInfo().constantFitsInImmedField(opCode, intValue))
-    {
-      opType = MachineOperand::MO_SignExtendedImmed;
-      getImmedValue = intValue;
-    }
-  
-  return opType;
+  return ChooseRegOrImmed(intValue, CPV->getType()->isSigned(),
+                          opCode, target, canUseImmed,
+                          getMachineRegNum, getImmedValue);
 }
 
 
+
 //---------------------------------------------------------------------------
 // Function: FixConstantOperandsForInstr
 // 
@@ -296,64 +401,93 @@ FixConstantOperandsForInstr(Instruction* vmInstr,
                             MachineInstr* minstr,
                             TargetMachine& target)
 {
-  vector<MachineInstr*> loadConstVec;
-  
-  const MachineInstrDescriptor& instrDesc =
-    target.getInstrInfo().getDescriptor(minstr->getOpCode());
-  
-  Method* method = vmInstr->getParent()->getParent();
+  vector<MachineInstr*> MVec;
   
+  MachineOpCode opCode = minstr->getOpCode();
+  const TargetInstrInfo& instrInfo = target.getInstrInfo();
+  int resultPos = instrInfo.getResultPos(opCode);
+  int immedPos = instrInfo.getImmedConstantPos(opCode);
+
+  Function *F = vmInstr->getParent()->getParent();
+
   for (unsigned op=0; op < minstr->getNumOperands(); op++)
     {
       const MachineOperand& mop = minstr->getOperand(op);
           
-      // skip the result position (for efficiency below) and any other
-      // positions already marked as not a virtual register
-      if (instrDesc.resultPos == (int) op || 
-          mop.getOperandType() != MachineOperand::MO_VirtualRegister ||
-          mop.getVRegValue() == NULL)
+      // Skip the result position, preallocated machine registers, or operands
+      // that cannot be constants (CC regs or PC-relative displacements)
+      if (resultPos == (int)op ||
+          mop.getType() == MachineOperand::MO_MachineRegister ||
+          mop.getType() == MachineOperand::MO_CCRegister ||
+          mop.getType() == MachineOperand::MO_PCRelativeDisp)
+        continue;
+
+      bool constantThatMustBeLoaded = false;
+      unsigned int machineRegNum = 0;
+      int64_t immedValue = 0;
+      Value* opValue = NULL;
+      MachineOperand::MachineOperandType opType =
+        MachineOperand::MO_VirtualRegister;
+
+      // Operand may be a virtual register or a compile-time constant
+      if (mop.getType() == MachineOperand::MO_VirtualRegister)
         {
-          continue;
+          assert(mop.getVRegValue() != NULL);
+          opValue = mop.getVRegValue();
+          if (Constant *opConst = dyn_cast<Constant>(opValue)) {
+            opType = ChooseRegOrImmed(opConst, opCode, target,
+                                      (immedPos == (int)op), machineRegNum,
+                                      immedValue);
+            if (opType == MachineOperand::MO_VirtualRegister)
+              constantThatMustBeLoaded = true;
+          }
         }
-          
-      Value* opValue = mop.getVRegValue();
-      bool constantThatMustBeLoaded = false;
-      
-      if (isa<ConstPoolVal>(opValue))
+      else
         {
-          unsigned int machineRegNum;
-          int64_t immedValue;
-          MachineOperand::MachineOperandType opType =
-            ChooseRegOrImmed(opValue, minstr->getOpCode(), target,
-                             /*canUseImmed*/ (op == 1),
-                             machineRegNum, immedValue);
-              
-          if (opType == MachineOperand::MO_MachineRegister)
-            minstr->SetMachineOperand(op, machineRegNum);
-          else if (opType == MachineOperand::MO_VirtualRegister)
-            constantThatMustBeLoaded = true; // load is generated below
-          else
-            minstr->SetMachineOperand(op, opType, immedValue);
-
-          if (constantThatMustBeLoaded)
-            { // register the value so it is emitted in the assembly
-              MachineCodeForMethod::get(method).addToConstantPool(
-                                                 cast<ConstPoolVal>(opValue));
+          assert(mop.isImmediate());
+          bool isSigned = mop.getType() == MachineOperand::MO_SignExtendedImmed;
+
+          // Bit-selection flags indicate an instruction that is extracting
+          // bits from its operand so ignore this even if it is a big constant.
+          if (mop.opHiBits32() || mop.opLoBits32() ||
+              mop.opHiBits64() || mop.opLoBits64())
+            continue;
+
+          opType = ChooseRegOrImmed(mop.getImmedValue(), isSigned,
+                                    opCode, target, (immedPos == (int)op), 
+                                    machineRegNum, immedValue);
+
+          if (opType == mop.getType()) 
+            continue;           // no change: this is the most common case
+
+          if (opType == MachineOperand::MO_VirtualRegister)
+            {
+              constantThatMustBeLoaded = true;
+              opValue = isSigned
+                ? (Value*)ConstantSInt::get(Type::LongTy, immedValue)
+                : (Value*)ConstantUInt::get(Type::ULongTy,(uint64_t)immedValue);
             }
         }
-      
-      if (constantThatMustBeLoaded || isa<GlobalValue>(opValue))
-        { // opValue is a constant that must be explicitly loaded into a reg.
-          TmpInstruction* tmpReg = InsertCodeToLoadConstant(opValue, vmInstr,
-                                                        loadConstVec, target);
-          minstr->SetMachineOperand(op, MachineOperand::MO_VirtualRegister,
-                                        tmpReg);
+
+      if (opType == MachineOperand::MO_MachineRegister)
+        minstr->SetMachineOperandReg(op, machineRegNum);
+      else if (opType == MachineOperand::MO_SignExtendedImmed ||
+               opType == MachineOperand::MO_UnextendedImmed)
+        minstr->SetMachineOperandConst(op, opType, immedValue);
+      else if (constantThatMustBeLoaded ||
+               (opValue && isa<GlobalValue>(opValue)))
+        { // opValue is a constant that must be explicitly loaded into a reg
+          assert(opValue);
+          TmpInstruction* tmpReg = InsertCodeToLoadConstant(F, opValue, vmInstr,
+                                                            MVec, target);
+          minstr->SetMachineOperandVal(op, MachineOperand::MO_VirtualRegister,
+                                       tmpReg);
         }
     }
   
-  // 
-  // Also, check for implicit operands used (not those defined) by the
-  // machine instruction.  These include:
+  // Also, check for implicit operands used by the machine instruction
+  // (no need to check those defined since they cannot be constants).
+  // These include:
   // -- arguments to a Call
   // -- return value of a Return
   // Any such operand that is a constant value needs to be fixed also.
@@ -361,23 +495,32 @@ FixConstantOperandsForInstr(Instruction* vmInstr,
   // have no immediate fields, so the constant always needs to be loaded
   // into a register.
   // 
+  bool isCall = instrInfo.isCall(opCode);
+  unsigned lastCallArgNum = 0;          // unused if not a call
+  CallArgsDescriptor* argDesc = NULL;   // unused if not a call
+  if (isCall)
+    argDesc = CallArgsDescriptor::get(minstr);
+  
   for (unsigned i=0, N=minstr->getNumImplicitRefs(); i < N; ++i)
-    if (isa<ConstPoolVal>(minstr->getImplicitRef(i)) ||
+    if (isa<Constant>(minstr->getImplicitRef(i)) ||
         isa<GlobalValue>(minstr->getImplicitRef(i)))
       {
         Value* oldVal = minstr->getImplicitRef(i);
         TmpInstruction* tmpReg =
-          InsertCodeToLoadConstant(oldVal, vmInstr, loadConstVec, target);
+          InsertCodeToLoadConstant(F, oldVal, vmInstr, MVec, target);
         minstr->setImplicitRef(i, tmpReg);
         
-        if (isa<ConstPoolVal>(oldVal))
-          { // register the value so it is emitted in the assembly
-            MachineCodeForMethod::get(method).addToConstantPool(
-                                               cast<ConstPoolVal>(oldVal));
+        if (isCall)
+          { // find and replace the argument in the CallArgsDescriptor
+            unsigned i=lastCallArgNum;
+            while (argDesc->getArgInfo(i).getArgVal() != oldVal)
+              ++i;
+            assert(i < argDesc->getNumArgs() &&
+                   "Constant operands to a call *must* be in the arg list");
+            lastCallArgNum = i;
+            argDesc->getArgInfo(i).replaceArgVal(tmpReg);
           }
       }
   
-  return loadConstVec;
+  return MVec;
 }
-
-