lib/IR/Value.cpp

   1 //===-- Value.cpp - Implement the Value class -----------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the Value, ValueHandle, and User classes.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "llvm/IR/Value.h"
  15 #include "LLVMContextImpl.h"
  16 #include "llvm/ADT/DenseMap.h"
  17 #include "llvm/ADT/SmallString.h"
  18 #include "llvm/IR/Constant.h"
  19 #include "llvm/IR/Constants.h"
  20 #include "llvm/IR/DerivedTypes.h"
  21 #include "llvm/IR/GetElementPtrTypeIterator.h"
  22 #include "llvm/IR/InstrTypes.h"
  23 #include "llvm/IR/Instructions.h"
  24 #include "llvm/IR/LeakDetector.h"
  25 #include "llvm/IR/Module.h"
  26 #include "llvm/IR/Operator.h"
  27 #include "llvm/IR/ValueHandle.h"
  28 #include "llvm/IR/ValueSymbolTable.h"
  29 #include "llvm/Support/Debug.h"
  30 #include "llvm/Support/ErrorHandling.h"
  31 #include "llvm/Support/ManagedStatic.h"
  32 #include <algorithm>
  33 using namespace llvm;
  34
  35 //===----------------------------------------------------------------------===//
  36 //                                Value Class
  37 //===----------------------------------------------------------------------===//
  38
  39 static inline Type *checkType(Type *Ty) {
  40   assert(Ty && "Value defined with a null type: Error!");
  41   return const_cast<Type*>(Ty);
  42 }
  43
  44 Value::Value(Type *ty, unsigned scid)
  45   : SubclassID(scid), HasValueHandle(0),
  46     SubclassOptionalData(0), SubclassData(0), VTy((Type*)checkType(ty)),
  47     UseList(nullptr), Name(nullptr) {
  48   // FIXME: Why isn't this in the subclass gunk??
  49   // Note, we cannot call isa<CallInst> before the CallInst has been
  50   // constructed.
  51   if (SubclassID == Instruction::Call || SubclassID == Instruction::Invoke)
  52     assert((VTy->isFirstClassType() || VTy->isVoidTy() || VTy->isStructTy()) &&
  53            "invalid CallInst type!");
  54   else if (SubclassID != BasicBlockVal &&
  55            (SubclassID < ConstantFirstVal || SubclassID > ConstantLastVal))
  56     assert((VTy->isFirstClassType() || VTy->isVoidTy()) &&
  57            "Cannot create non-first-class values except for constants!");
  58 }
  59
  60 Value::~Value() {
  61   // Notify all ValueHandles (if present) that this value is going away.
  62   if (HasValueHandle)
  63     ValueHandleBase::ValueIsDeleted(this);
  64
  65 #ifndef NDEBUG      // Only in -g mode...
  66   // Check to make sure that there are no uses of this value that are still
  67   // around when the value is destroyed.  If there are, then we have a dangling
  68   // reference and something is wrong.  This code is here to print out what is
  69   // still being referenced.  The value in question should be printed as
  70   // a <badref>
  71   //
  72   if (!use_empty()) {
  73     dbgs() << "While deleting: " << *VTy << " %" << getName() << "\n";
  74     for (use_iterator I = use_begin(), E = use_end(); I != E; ++I)
  75       dbgs() << "Use still stuck around after Def is destroyed:"
  76            << **I << "\n";
  77   }
  78 #endif
  79   assert(use_empty() && "Uses remain when a value is destroyed!");
  80
  81   // If this value is named, destroy the name.  This should not be in a symtab
  82   // at this point.
  83   if (Name && SubclassID != MDStringVal)
  84     Name->Destroy();
  85
  86   // There should be no uses of this object anymore, remove it.
  87   LeakDetector::removeGarbageObject(this);
  88 }
  89
  90 /// hasNUses - Return true if this Value has exactly N users.
  91 ///
  92 bool Value::hasNUses(unsigned N) const {
  93   const_use_iterator UI = use_begin(), E = use_end();
  94
  95   for (; N; --N, ++UI)
  96     if (UI == E) return false;  // Too few.
  97   return UI == E;
  98 }
  99
 100 /// hasNUsesOrMore - Return true if this value has N users or more.  This is
 101 /// logically equivalent to getNumUses() >= N.
 102 ///
 103 bool Value::hasNUsesOrMore(unsigned N) const {
 104   const_use_iterator UI = use_begin(), E = use_end();
 105
 106   for (; N; --N, ++UI)
 107     if (UI == E) return false;  // Too few.
 108
 109   return true;
 110 }
 111
 112 /// isUsedInBasicBlock - Return true if this value is used in the specified
 113 /// basic block.
 114 bool Value::isUsedInBasicBlock(const BasicBlock *BB) const {
 115   // This can be computed either by scanning the instructions in BB, or by
 116   // scanning the use list of this Value. Both lists can be very long, but
 117   // usually one is quite short.
 118   //
 119   // Scan both lists simultaneously until one is exhausted. This limits the
 120   // search to the shorter list.
 121   BasicBlock::const_iterator BI = BB->begin(), BE = BB->end();
 122   const_user_iterator UI = user_begin(), UE = user_end();
 123   for (; BI != BE && UI != UE; ++BI, ++UI) {
 124     // Scan basic block: Check if this Value is used by the instruction at BI.
 125     if (std::find(BI->op_begin(), BI->op_end(), this) != BI->op_end())
 126       return true;
 127     // Scan use list: Check if the use at UI is in BB.
 128     const Instruction *User = dyn_cast<Instruction>(*UI);
 129     if (User && User->getParent() == BB)
 130       return true;
 131   }
 132   return false;
 133 }
 134
 135
 136 /// getNumUses - This method computes the number of uses of this Value.  This
 137 /// is a linear time operation.  Use hasOneUse or hasNUses to check for specific
 138 /// values.
 139 unsigned Value::getNumUses() const {
 140   return (unsigned)std::distance(use_begin(), use_end());
 141 }
 142
 143 static bool getSymTab(Value *V, ValueSymbolTable *&ST) {
 144   ST = nullptr;
 145   if (Instruction *I = dyn_cast<Instruction>(V)) {
 146     if (BasicBlock *P = I->getParent())
 147       if (Function *PP = P->getParent())
 148         ST = &PP->getValueSymbolTable();
 149   } else if (BasicBlock *BB = dyn_cast<BasicBlock>(V)) {
 150     if (Function *P = BB->getParent())
 151       ST = &P->getValueSymbolTable();
 152   } else if (GlobalValue *GV = dyn_cast<GlobalValue>(V)) {
 153     if (Module *P = GV->getParent())
 154       ST = &P->getValueSymbolTable();
 155   } else if (Argument *A = dyn_cast<Argument>(V)) {
 156     if (Function *P = A->getParent())
 157       ST = &P->getValueSymbolTable();
 158   } else if (isa<MDString>(V))
 159     return true;
 160   else {
 161     assert(isa<Constant>(V) && "Unknown value type!");
 162     return true;  // no name is setable for this.
 163   }
 164   return false;
 165 }
 166
 167 StringRef Value::getName() const {
 168   // Make sure the empty string is still a C string. For historical reasons,
 169   // some clients want to call .data() on the result and expect it to be null
 170   // terminated.
 171   if (!Name) return StringRef("", 0);
 172   return Name->getKey();
 173 }
 174
 175 void Value::setName(const Twine &NewName) {
 176   assert(SubclassID != MDStringVal &&
 177          "Cannot set the name of MDString with this method!");
 178
 179   // Fast path for common IRBuilder case of setName("") when there is no name.
 180   if (NewName.isTriviallyEmpty() && !hasName())
 181     return;
 182
 183   SmallString<256> NameData;
 184   StringRef NameRef = NewName.toStringRef(NameData);
 185   assert(NameRef.find_first_of(0) == StringRef::npos &&
 186          "Null bytes are not allowed in names");
 187
 188   // Name isn't changing?
 189   if (getName() == NameRef)
 190     return;
 191
 192   assert(!getType()->isVoidTy() && "Cannot assign a name to void values!");
 193
 194   // Get the symbol table to update for this object.
 195   ValueSymbolTable *ST;
 196   if (getSymTab(this, ST))
 197     return;  // Cannot set a name on this value (e.g. constant).
 198
 199   if (Function *F = dyn_cast<Function>(this))
 200     getContext().pImpl->IntrinsicIDCache.erase(F);
 201
 202   if (!ST) { // No symbol table to update?  Just do the change.
 203     if (NameRef.empty()) {
 204       // Free the name for this value.
 205       Name->Destroy();
 206       Name = nullptr;
 207       return;
 208     }
 209
 210     if (Name)
 211       Name->Destroy();
 212
 213     // NOTE: Could optimize for the case the name is shrinking to not deallocate
 214     // then reallocated.
 215
 216     // Create the new name.
 217     Name = ValueName::Create(NameRef.begin(), NameRef.end());
 218     Name->setValue(this);
 219     return;
 220   }
 221
 222   // NOTE: Could optimize for the case the name is shrinking to not deallocate
 223   // then reallocated.
 224   if (hasName()) {
 225     // Remove old name.
 226     ST->removeValueName(Name);
 227     Name->Destroy();
 228     Name = nullptr;
 229
 230     if (NameRef.empty())
 231       return;
 232   }
 233
 234   // Name is changing to something new.
 235   Name = ST->createValueName(NameRef, this);
 236 }
 237
 238
 239 /// takeName - transfer the name from V to this value, setting V's name to
 240 /// empty.  It is an error to call V->takeName(V).
 241 void Value::takeName(Value *V) {
 242   assert(SubclassID != MDStringVal && "Cannot take the name of an MDString!");
 243
 244   ValueSymbolTable *ST = nullptr;
 245   // If this value has a name, drop it.
 246   if (hasName()) {
 247     // Get the symtab this is in.
 248     if (getSymTab(this, ST)) {
 249       // We can't set a name on this value, but we need to clear V's name if
 250       // it has one.
 251       if (V->hasName()) V->setName("");
 252       return;  // Cannot set a name on this value (e.g. constant).
 253     }
 254
 255     // Remove old name.
 256     if (ST)
 257       ST->removeValueName(Name);
 258     Name->Destroy();
 259     Name = nullptr;
 260   }
 261
 262   // Now we know that this has no name.
 263
 264   // If V has no name either, we're done.
 265   if (!V->hasName()) return;
 266
 267   // Get this's symtab if we didn't before.
 268   if (!ST) {
 269     if (getSymTab(this, ST)) {
 270       // Clear V's name.
 271       V->setName("");
 272       return;  // Cannot set a name on this value (e.g. constant).
 273     }
 274   }
 275
 276   // Get V's ST, this should always succed, because V has a name.
 277   ValueSymbolTable *VST;
 278   bool Failure = getSymTab(V, VST);
 279   assert(!Failure && "V has a name, so it should have a ST!"); (void)Failure;
 280
 281   // If these values are both in the same symtab, we can do this very fast.
 282   // This works even if both values have no symtab yet.
 283   if (ST == VST) {
 284     // Take the name!
 285     Name = V->Name;
 286     V->Name = nullptr;
 287     Name->setValue(this);
 288     return;
 289   }
 290
 291   // Otherwise, things are slightly more complex.  Remove V's name from VST and
 292   // then reinsert it into ST.
 293
 294   if (VST)
 295     VST->removeValueName(V->Name);
 296   Name = V->Name;
 297   V->Name = nullptr;
 298   Name->setValue(this);
 299
 300   if (ST)
 301     ST->reinsertValue(this);
 302 }
 303
 304 static GlobalObject &findReplacementForAliasUse(Value &C) {
 305   if (auto *GO = dyn_cast<GlobalObject>(&C))
 306     return *GO;
 307   if (auto *GA = dyn_cast<GlobalAlias>(&C))
 308     return *GA->getAliasee();
 309   auto *CE = cast<ConstantExpr>(&C);
 310   assert(CE->getOpcode() == Instruction::BitCast ||
 311          CE->getOpcode() == Instruction::GetElementPtr ||
 312          CE->getOpcode() == Instruction::AddrSpaceCast);
 313   if (CE->getOpcode() == Instruction::GetElementPtr)
 314     assert(cast<GEPOperator>(CE)->hasAllZeroIndices());
 315   return findReplacementForAliasUse(*CE->getOperand(0));
 316 }
 317
 318 static void replaceAliasUseWith(Use &U, Value *New) {
 319   GlobalObject &Replacement = findReplacementForAliasUse(*New);
 320   auto *Old = &cast<GlobalObject>(*U);
 321   assert(Old != &Replacement &&
 322          "replaceAliasUseWith cannot form an alias cycle");
 323   U.set(&Replacement);
 324 }
 325
 326 #ifndef NDEBUG
 327 static bool contains(SmallPtrSet<ConstantExpr *, 4> &Cache, ConstantExpr *Expr,
 328                      Constant *C) {
 329   if (!Cache.insert(Expr))
 330     return false;
 331
 332   for (auto &O : Expr->operands()) {
 333     if (O == C)
 334       return true;
 335     auto *CE = dyn_cast<ConstantExpr>(O);
 336     if (!CE)
 337       continue;
 338     if (contains(Cache, CE, C))
 339       return true;
 340   }
 341   return false;
 342 }
 343
 344 static bool contains(Value *Expr, Value *V) {
 345   if (Expr == V)
 346     return true;
 347
 348   auto *C = dyn_cast<Constant>(V);
 349   if (!C)
 350     return false;
 351
 352   auto *CE = dyn_cast<ConstantExpr>(Expr);
 353   if (!CE)
 354     return false;
 355
 356   SmallPtrSet<ConstantExpr *, 4> Cache;
 357   return contains(Cache, CE, C);
 358 }
 359 #endif
 360
 361 void Value::replaceAllUsesWith(Value *New) {
 362   assert(New && "Value::replaceAllUsesWith(<null>) is invalid!");
 363   assert(!contains(New, this) &&
 364          "this->replaceAllUsesWith(expr(this)) is NOT valid!");
 365   assert(New->getType() == getType() &&
 366          "replaceAllUses of value with new value of different type!");
 367
 368   // Notify all ValueHandles (if present) that this value is going away.
 369   if (HasValueHandle)
 370     ValueHandleBase::ValueIsRAUWd(this, New);
 371
 372   while (!use_empty()) {
 373     Use &U = *UseList;
 374     // Must handle Constants specially, we cannot call replaceUsesOfWith on a
 375     // constant because they are uniqued.
 376     if (auto *C = dyn_cast<Constant>(U.getUser())) {
 377       if (isa<GlobalAlias>(C)) {
 378         replaceAliasUseWith(U, New);
 379         continue;
 380       }
 381       if (!isa<GlobalValue>(C)) {
 382         C->replaceUsesOfWithOnConstant(this, New, &U);
 383         continue;
 384       }
 385     }
 386
 387     U.set(New);
 388   }
 389
 390   if (BasicBlock *BB = dyn_cast<BasicBlock>(this))
 391     BB->replaceSuccessorsPhiUsesWith(cast<BasicBlock>(New));
 392 }
 393
 394 namespace {
 395 // Various metrics for how much to strip off of pointers.
 396 enum PointerStripKind {
 397   PSK_ZeroIndices,
 398   PSK_ZeroIndicesAndAliases,
 399   PSK_InBoundsConstantIndices,
 400   PSK_InBounds
 401 };
 402
 403 template <PointerStripKind StripKind>
 404 static Value *stripPointerCastsAndOffsets(Value *V) {
 405   if (!V->getType()->isPointerTy())
 406     return V;
 407
 408   // Even though we don't look through PHI nodes, we could be called on an
 409   // instruction in an unreachable block, which may be on a cycle.
 410   SmallPtrSet<Value *, 4> Visited;
 411
 412   Visited.insert(V);
 413   do {
 414     if (GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 415       switch (StripKind) {
 416       case PSK_ZeroIndicesAndAliases:
 417       case PSK_ZeroIndices:
 418         if (!GEP->hasAllZeroIndices())
 419           return V;
 420         break;
 421       case PSK_InBoundsConstantIndices:
 422         if (!GEP->hasAllConstantIndices())
 423           return V;
 424         // fallthrough
 425       case PSK_InBounds:
 426         if (!GEP->isInBounds())
 427           return V;
 428         break;
 429       }
 430       V = GEP->getPointerOperand();
 431     } else if (Operator::getOpcode(V) == Instruction::BitCast ||
 432                Operator::getOpcode(V) == Instruction::AddrSpaceCast) {
 433       V = cast<Operator>(V)->getOperand(0);
 434     } else if (GlobalAlias *GA = dyn_cast<GlobalAlias>(V)) {
 435       if (StripKind == PSK_ZeroIndices || GA->mayBeOverridden())
 436         return V;
 437       V = GA->getAliasee();
 438     } else {
 439       return V;
 440     }
 441     assert(V->getType()->isPointerTy() && "Unexpected operand type!");
 442   } while (Visited.insert(V));
 443
 444   return V;
 445 }
 446 } // namespace
 447
 448 Value *Value::stripPointerCasts() {
 449   return stripPointerCastsAndOffsets<PSK_ZeroIndicesAndAliases>(this);
 450 }
 451
 452 Value *Value::stripPointerCastsNoFollowAliases() {
 453   return stripPointerCastsAndOffsets<PSK_ZeroIndices>(this);
 454 }
 455
 456 Value *Value::stripInBoundsConstantOffsets() {
 457   return stripPointerCastsAndOffsets<PSK_InBoundsConstantIndices>(this);
 458 }
 459
 460 Value *Value::stripAndAccumulateInBoundsConstantOffsets(const DataLayout &DL,
 461                                                         APInt &Offset) {
 462   if (!getType()->isPointerTy())
 463     return this;
 464
 465   assert(Offset.getBitWidth() == DL.getPointerSizeInBits(cast<PointerType>(
 466                                      getType())->getAddressSpace()) &&
 467          "The offset must have exactly as many bits as our pointer.");
 468
 469   // Even though we don't look through PHI nodes, we could be called on an
 470   // instruction in an unreachable block, which may be on a cycle.
 471   SmallPtrSet<Value *, 4> Visited;
 472   Visited.insert(this);
 473   Value *V = this;
 474   do {
 475     if (GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 476       if (!GEP->isInBounds())
 477         return V;
 478       APInt GEPOffset(Offset);
 479       if (!GEP->accumulateConstantOffset(DL, GEPOffset))
 480         return V;
 481       Offset = GEPOffset;
 482       V = GEP->getPointerOperand();
 483     } else if (Operator::getOpcode(V) == Instruction::BitCast) {
 484       V = cast<Operator>(V)->getOperand(0);
 485     } else if (GlobalAlias *GA = dyn_cast<GlobalAlias>(V)) {
 486       V = GA->getAliasee();
 487     } else {
 488       return V;
 489     }
 490     assert(V->getType()->isPointerTy() && "Unexpected operand type!");
 491   } while (Visited.insert(V));
 492
 493   return V;
 494 }
 495
 496 Value *Value::stripInBoundsOffsets() {
 497   return stripPointerCastsAndOffsets<PSK_InBounds>(this);
 498 }
 499
 500 /// isDereferenceablePointer - Test if this value is always a pointer to
 501 /// allocated and suitably aligned memory for a simple load or store.
 502 static bool isDereferenceablePointer(const Value *V,
 503                                      SmallPtrSet<const Value *, 32> &Visited) {
 504   // Note that it is not safe to speculate into a malloc'd region because
 505   // malloc may return null.
 506   // It's also not always safe to follow a bitcast, for example:
 507   //   bitcast i8* (alloca i8) to i32*
 508   // would result in a 4-byte load from a 1-byte alloca. Some cases could
 509   // be handled using DataLayout to check sizes and alignments though.
 510
 511   // These are obviously ok.
 512   if (isa<AllocaInst>(V)) return true;
 513
 514   // Global variables which can't collapse to null are ok.
 515   if (const GlobalVariable *GV = dyn_cast<GlobalVariable>(V))
 516     return !GV->hasExternalWeakLinkage();
 517
 518   // byval arguments are ok.
 519   if (const Argument *A = dyn_cast<Argument>(V))
 520     return A->hasByValAttr();
 521
 522   // For GEPs, determine if the indexing lands within the allocated object.
 523   if (const GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 524     // Conservatively require that the base pointer be fully dereferenceable.
 525     if (!Visited.insert(GEP->getOperand(0)))
 526       return false;
 527     if (!isDereferenceablePointer(GEP->getOperand(0), Visited))
 528       return false;
 529     // Check the indices.
 530     gep_type_iterator GTI = gep_type_begin(GEP);
 531     for (User::const_op_iterator I = GEP->op_begin()+1,
 532          E = GEP->op_end(); I != E; ++I) {
 533       Value *Index = *I;
 534       Type *Ty = *GTI++;
 535       // Struct indices can't be out of bounds.
 536       if (isa<StructType>(Ty))
 537         continue;
 538       ConstantInt *CI = dyn_cast<ConstantInt>(Index);
 539       if (!CI)
 540         return false;
 541       // Zero is always ok.
 542       if (CI->isZero())
 543         continue;
 544       // Check to see that it's within the bounds of an array.
 545       ArrayType *ATy = dyn_cast<ArrayType>(Ty);
 546       if (!ATy)
 547         return false;
 548       if (CI->getValue().getActiveBits() > 64)
 549         return false;
 550       if (CI->getZExtValue() >= ATy->getNumElements())
 551         return false;
 552     }
 553     // Indices check out; this is dereferenceable.
 554     return true;
 555   }
 556
 557   // If we don't know, assume the worst.
 558   return false;
 559 }
 560
 561 /// isDereferenceablePointer - Test if this value is always a pointer to
 562 /// allocated and suitably aligned memory for a simple load or store.
 563 bool Value::isDereferenceablePointer() const {
 564   SmallPtrSet<const Value *, 32> Visited;
 565   return ::isDereferenceablePointer(this, Visited);
 566 }
 567
 568 /// DoPHITranslation - If this value is a PHI node with CurBB as its parent,
 569 /// return the value in the PHI node corresponding to PredBB.  If not, return
 570 /// ourself.  This is useful if you want to know the value something has in a
 571 /// predecessor block.
 572 Value *Value::DoPHITranslation(const BasicBlock *CurBB,
 573                                const BasicBlock *PredBB) {
 574   PHINode *PN = dyn_cast<PHINode>(this);
 575   if (PN && PN->getParent() == CurBB)
 576     return PN->getIncomingValueForBlock(PredBB);
 577   return this;
 578 }
 579
 580 LLVMContext &Value::getContext() const { return VTy->getContext(); }
 581
 582 //===----------------------------------------------------------------------===//
 583 //                             ValueHandleBase Class
 584 //===----------------------------------------------------------------------===//
 585
 586 /// AddToExistingUseList - Add this ValueHandle to the use list for VP, where
 587 /// List is known to point into the existing use list.
 588 void ValueHandleBase::AddToExistingUseList(ValueHandleBase **List) {
 589   assert(List && "Handle list is null?");
 590
 591   // Splice ourselves into the list.
 592   Next = *List;
 593   *List = this;
 594   setPrevPtr(List);
 595   if (Next) {
 596     Next->setPrevPtr(&Next);
 597     assert(VP.getPointer() == Next->VP.getPointer() && "Added to wrong list?");
 598   }
 599 }
 600
 601 void ValueHandleBase::AddToExistingUseListAfter(ValueHandleBase *List) {
 602   assert(List && "Must insert after existing node");
 603
 604   Next = List->Next;
 605   setPrevPtr(&List->Next);
 606   List->Next = this;
 607   if (Next)
 608     Next->setPrevPtr(&Next);
 609 }
 610
 611 /// AddToUseList - Add this ValueHandle to the use list for VP.
 612 void ValueHandleBase::AddToUseList() {
 613   assert(VP.getPointer() && "Null pointer doesn't have a use list!");
 614
 615   LLVMContextImpl *pImpl = VP.getPointer()->getContext().pImpl;
 616
 617   if (VP.getPointer()->HasValueHandle) {
 618     // If this value already has a ValueHandle, then it must be in the
 619     // ValueHandles map already.
 620     ValueHandleBase *&Entry = pImpl->ValueHandles[VP.getPointer()];
 621     assert(Entry && "Value doesn't have any handles?");
 622     AddToExistingUseList(&Entry);
 623     return;
 624   }
 625
 626   // Ok, it doesn't have any handles yet, so we must insert it into the
 627   // DenseMap.  However, doing this insertion could cause the DenseMap to
 628   // reallocate itself, which would invalidate all of the PrevP pointers that
 629   // point into the old table.  Handle this by checking for reallocation and
 630   // updating the stale pointers only if needed.
 631   DenseMap<Value*, ValueHandleBase*> &Handles = pImpl->ValueHandles;
 632   const void *OldBucketPtr = Handles.getPointerIntoBucketsArray();
 633
 634   ValueHandleBase *&Entry = Handles[VP.getPointer()];
 635   assert(!Entry && "Value really did already have handles?");
 636   AddToExistingUseList(&Entry);
 637   VP.getPointer()->HasValueHandle = true;
 638
 639   // If reallocation didn't happen or if this was the first insertion, don't
 640   // walk the table.
 641   if (Handles.isPointerIntoBucketsArray(OldBucketPtr) ||
 642       Handles.size() == 1) {
 643     return;
 644   }
 645
 646   // Okay, reallocation did happen.  Fix the Prev Pointers.
 647   for (DenseMap<Value*, ValueHandleBase*>::iterator I = Handles.begin(),
 648        E = Handles.end(); I != E; ++I) {
 649     assert(I->second && I->first == I->second->VP.getPointer() &&
 650            "List invariant broken!");
 651     I->second->setPrevPtr(&I->second);
 652   }
 653 }
 654
 655 /// RemoveFromUseList - Remove this ValueHandle from its current use list.
 656 void ValueHandleBase::RemoveFromUseList() {
 657   assert(VP.getPointer() && VP.getPointer()->HasValueHandle &&
 658          "Pointer doesn't have a use list!");
 659
 660   // Unlink this from its use list.
 661   ValueHandleBase **PrevPtr = getPrevPtr();
 662   assert(*PrevPtr == this && "List invariant broken");
 663
 664   *PrevPtr = Next;
 665   if (Next) {
 666     assert(Next->getPrevPtr() == &Next && "List invariant broken");
 667     Next->setPrevPtr(PrevPtr);
 668     return;
 669   }
 670
 671   // If the Next pointer was null, then it is possible that this was the last
 672   // ValueHandle watching VP.  If so, delete its entry from the ValueHandles
 673   // map.
 674   LLVMContextImpl *pImpl = VP.getPointer()->getContext().pImpl;
 675   DenseMap<Value*, ValueHandleBase*> &Handles = pImpl->ValueHandles;
 676   if (Handles.isPointerIntoBucketsArray(PrevPtr)) {
 677     Handles.erase(VP.getPointer());
 678     VP.getPointer()->HasValueHandle = false;
 679   }
 680 }
 681
 682
 683 void ValueHandleBase::ValueIsDeleted(Value *V) {
 684   assert(V->HasValueHandle && "Should only be called if ValueHandles present");
 685
 686   // Get the linked list base, which is guaranteed to exist since the
 687   // HasValueHandle flag is set.
 688   LLVMContextImpl *pImpl = V->getContext().pImpl;
 689   ValueHandleBase *Entry = pImpl->ValueHandles[V];
 690   assert(Entry && "Value bit set but no entries exist");
 691
 692   // We use a local ValueHandleBase as an iterator so that ValueHandles can add
 693   // and remove themselves from the list without breaking our iteration.  This
 694   // is not really an AssertingVH; we just have to give ValueHandleBase a kind.
 695   // Note that we deliberately do not the support the case when dropping a value
 696   // handle results in a new value handle being permanently added to the list
 697   // (as might occur in theory for CallbackVH's): the new value handle will not
 698   // be processed and the checking code will mete out righteous punishment if
 699   // the handle is still present once we have finished processing all the other
 700   // value handles (it is fine to momentarily add then remove a value handle).
 701   for (ValueHandleBase Iterator(Assert, *Entry); Entry; Entry = Iterator.Next) {
 702     Iterator.RemoveFromUseList();
 703     Iterator.AddToExistingUseListAfter(Entry);
 704     assert(Entry->Next == &Iterator && "Loop invariant broken.");
 705
 706     switch (Entry->getKind()) {
 707     case Assert:
 708       break;
 709     case Tracking:
 710       // Mark that this value has been deleted by setting it to an invalid Value
 711       // pointer.
 712       Entry->operator=(DenseMapInfo<Value *>::getTombstoneKey());
 713       break;
 714     case Weak:
 715       // Weak just goes to null, which will unlink it from the list.
 716       Entry->operator=(nullptr);
 717       break;
 718     case Callback:
 719       // Forward to the subclass's implementation.
 720       static_cast<CallbackVH*>(Entry)->deleted();
 721       break;
 722     }
 723   }
 724
 725   // All callbacks, weak references, and assertingVHs should be dropped by now.
 726   if (V->HasValueHandle) {
 727 #ifndef NDEBUG      // Only in +Asserts mode...
 728     dbgs() << "While deleting: " << *V->getType() << " %" << V->getName()
 729            << "\n";
 730     if (pImpl->ValueHandles[V]->getKind() == Assert)
 731       llvm_unreachable("An asserting value handle still pointed to this"
 732                        " value!");
 733
 734 #endif
 735     llvm_unreachable("All references to V were not removed?");
 736   }
 737 }
 738
 739
 740 void ValueHandleBase::ValueIsRAUWd(Value *Old, Value *New) {
 741   assert(Old->HasValueHandle &&"Should only be called if ValueHandles present");
 742   assert(Old != New && "Changing value into itself!");
 743
 744   // Get the linked list base, which is guaranteed to exist since the
 745   // HasValueHandle flag is set.
 746   LLVMContextImpl *pImpl = Old->getContext().pImpl;
 747   ValueHandleBase *Entry = pImpl->ValueHandles[Old];
 748
 749   assert(Entry && "Value bit set but no entries exist");
 750
 751   // We use a local ValueHandleBase as an iterator so that
 752   // ValueHandles can add and remove themselves from the list without
 753   // breaking our iteration.  This is not really an AssertingVH; we
 754   // just have to give ValueHandleBase some kind.
 755   for (ValueHandleBase Iterator(Assert, *Entry); Entry; Entry = Iterator.Next) {
 756     Iterator.RemoveFromUseList();
 757     Iterator.AddToExistingUseListAfter(Entry);
 758     assert(Entry->Next == &Iterator && "Loop invariant broken.");
 759
 760     switch (Entry->getKind()) {
 761     case Assert:
 762       // Asserting handle does not follow RAUW implicitly.
 763       break;
 764     case Tracking:
 765       // Tracking goes to new value like a WeakVH. Note that this may make it
 766       // something incompatible with its templated type. We don't want to have a
 767       // virtual (or inline) interface to handle this though, so instead we make
 768       // the TrackingVH accessors guarantee that a client never sees this value.
 769
 770       // FALLTHROUGH
 771     case Weak:
 772       // Weak goes to the new value, which will unlink it from Old's list.
 773       Entry->operator=(New);
 774       break;
 775     case Callback:
 776       // Forward to the subclass's implementation.
 777       static_cast<CallbackVH*>(Entry)->allUsesReplacedWith(New);
 778       break;
 779     }
 780   }
 781
 782 #ifndef NDEBUG
 783   // If any new tracking or weak value handles were added while processing the
 784   // list, then complain about it now.
 785   if (Old->HasValueHandle)
 786     for (Entry = pImpl->ValueHandles[Old]; Entry; Entry = Entry->Next)
 787       switch (Entry->getKind()) {
 788       case Tracking:
 789       case Weak:
 790         dbgs() << "After RAUW from " << *Old->getType() << " %"
 791                << Old->getName() << " to " << *New->getType() << " %"
 792                << New->getName() << "\n";
 793         llvm_unreachable("A tracking or weak value handle still pointed to the"
 794                          " old value!\n");
 795       default:
 796         break;
 797       }
 798 #endif
 799 }
 800
 801 // Pin the vtable to this file.
 802 void CallbackVH::anchor() {}