lib/IR/Value.cpp

   1 //===-- Value.cpp - Implement the Value class -----------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the Value, ValueHandle, and User classes.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "llvm/IR/Value.h"
  15 #include "LLVMContextImpl.h"
  16 #include "llvm/ADT/DenseMap.h"
  17 #include "llvm/ADT/SmallString.h"
  18 #include "llvm/IR/CallSite.h"
  19 #include "llvm/IR/Constant.h"
  20 #include "llvm/IR/Constants.h"
  21 #include "llvm/IR/DataLayout.h"
  22 #include "llvm/IR/DerivedTypes.h"
  23 #include "llvm/IR/GetElementPtrTypeIterator.h"
  24 #include "llvm/IR/InstrTypes.h"
  25 #include "llvm/IR/Instructions.h"
  26 #include "llvm/IR/LeakDetector.h"
  27 #include "llvm/IR/Module.h"
  28 #include "llvm/IR/Operator.h"
  29 #include "llvm/IR/ValueHandle.h"
  30 #include "llvm/IR/ValueSymbolTable.h"
  31 #include "llvm/Support/Debug.h"
  32 #include "llvm/Support/ErrorHandling.h"
  33 #include "llvm/Support/ManagedStatic.h"
  34 #include <algorithm>
  35 using namespace llvm;
  36
  37 //===----------------------------------------------------------------------===//
  38 //                                Value Class
  39 //===----------------------------------------------------------------------===//
  40
  41 static inline Type *checkType(Type *Ty) {
  42   assert(Ty && "Value defined with a null type: Error!");
  43   return Ty;
  44 }
  45
  46 Value::Value(Type *ty, unsigned scid)
  47     : VTy(checkType(ty)), UseList(nullptr), Name(nullptr), SubclassID(scid),
  48       HasValueHandle(0), SubclassOptionalData(0), SubclassData(0) {
  49   // FIXME: Why isn't this in the subclass gunk??
  50   // Note, we cannot call isa<CallInst> before the CallInst has been
  51   // constructed.
  52   if (SubclassID == Instruction::Call || SubclassID == Instruction::Invoke)
  53     assert((VTy->isFirstClassType() || VTy->isVoidTy() || VTy->isStructTy()) &&
  54            "invalid CallInst type!");
  55   else if (SubclassID != BasicBlockVal &&
  56            (SubclassID < ConstantFirstVal || SubclassID > ConstantLastVal))
  57     assert((VTy->isFirstClassType() || VTy->isVoidTy()) &&
  58            "Cannot create non-first-class values except for constants!");
  59 }
  60
  61 Value::~Value() {
  62   // Notify all ValueHandles (if present) that this value is going away.
  63   if (HasValueHandle)
  64     ValueHandleBase::ValueIsDeleted(this);
  65
  66 #ifndef NDEBUG      // Only in -g mode...
  67   // Check to make sure that there are no uses of this value that are still
  68   // around when the value is destroyed.  If there are, then we have a dangling
  69   // reference and something is wrong.  This code is here to print out what is
  70   // still being referenced.  The value in question should be printed as
  71   // a <badref>
  72   //
  73   if (!use_empty()) {
  74     dbgs() << "While deleting: " << *VTy << " %" << getName() << "\n";
  75     for (use_iterator I = use_begin(), E = use_end(); I != E; ++I)
  76       dbgs() << "Use still stuck around after Def is destroyed:"
  77            << **I << "\n";
  78   }
  79 #endif
  80   assert(use_empty() && "Uses remain when a value is destroyed!");
  81
  82   // If this value is named, destroy the name.  This should not be in a symtab
  83   // at this point.
  84   if (Name && SubclassID != MDStringVal)
  85     Name->Destroy();
  86
  87   // There should be no uses of this object anymore, remove it.
  88   LeakDetector::removeGarbageObject(this);
  89 }
  90
  91 bool Value::hasNUses(unsigned N) const {
  92   const_use_iterator UI = use_begin(), E = use_end();
  93
  94   for (; N; --N, ++UI)
  95     if (UI == E) return false;  // Too few.
  96   return UI == E;
  97 }
  98
  99 bool Value::hasNUsesOrMore(unsigned N) const {
 100   const_use_iterator UI = use_begin(), E = use_end();
 101
 102   for (; N; --N, ++UI)
 103     if (UI == E) return false;  // Too few.
 104
 105   return true;
 106 }
 107
 108 bool Value::isUsedInBasicBlock(const BasicBlock *BB) const {
 109   // This can be computed either by scanning the instructions in BB, or by
 110   // scanning the use list of this Value. Both lists can be very long, but
 111   // usually one is quite short.
 112   //
 113   // Scan both lists simultaneously until one is exhausted. This limits the
 114   // search to the shorter list.
 115   BasicBlock::const_iterator BI = BB->begin(), BE = BB->end();
 116   const_user_iterator UI = user_begin(), UE = user_end();
 117   for (; BI != BE && UI != UE; ++BI, ++UI) {
 118     // Scan basic block: Check if this Value is used by the instruction at BI.
 119     if (std::find(BI->op_begin(), BI->op_end(), this) != BI->op_end())
 120       return true;
 121     // Scan use list: Check if the use at UI is in BB.
 122     const Instruction *User = dyn_cast<Instruction>(*UI);
 123     if (User && User->getParent() == BB)
 124       return true;
 125   }
 126   return false;
 127 }
 128
 129 unsigned Value::getNumUses() const {
 130   return (unsigned)std::distance(use_begin(), use_end());
 131 }
 132
 133 static bool getSymTab(Value *V, ValueSymbolTable *&ST) {
 134   ST = nullptr;
 135   if (Instruction *I = dyn_cast<Instruction>(V)) {
 136     if (BasicBlock *P = I->getParent())
 137       if (Function *PP = P->getParent())
 138         ST = &PP->getValueSymbolTable();
 139   } else if (BasicBlock *BB = dyn_cast<BasicBlock>(V)) {
 140     if (Function *P = BB->getParent())
 141       ST = &P->getValueSymbolTable();
 142   } else if (GlobalValue *GV = dyn_cast<GlobalValue>(V)) {
 143     if (Module *P = GV->getParent())
 144       ST = &P->getValueSymbolTable();
 145   } else if (Argument *A = dyn_cast<Argument>(V)) {
 146     if (Function *P = A->getParent())
 147       ST = &P->getValueSymbolTable();
 148   } else if (isa<MDString>(V))
 149     return true;
 150   else {
 151     assert(isa<Constant>(V) && "Unknown value type!");
 152     return true;  // no name is setable for this.
 153   }
 154   return false;
 155 }
 156
 157 StringRef Value::getName() const {
 158   // Make sure the empty string is still a C string. For historical reasons,
 159   // some clients want to call .data() on the result and expect it to be null
 160   // terminated.
 161   if (!Name) return StringRef("", 0);
 162   return Name->getKey();
 163 }
 164
 165 void Value::setName(const Twine &NewName) {
 166   assert(SubclassID != MDStringVal &&
 167          "Cannot set the name of MDString with this method!");
 168
 169   // Fast path for common IRBuilder case of setName("") when there is no name.
 170   if (NewName.isTriviallyEmpty() && !hasName())
 171     return;
 172
 173   SmallString<256> NameData;
 174   StringRef NameRef = NewName.toStringRef(NameData);
 175   assert(NameRef.find_first_of(0) == StringRef::npos &&
 176          "Null bytes are not allowed in names");
 177
 178   // Name isn't changing?
 179   if (getName() == NameRef)
 180     return;
 181
 182   assert(!getType()->isVoidTy() && "Cannot assign a name to void values!");
 183
 184   // Get the symbol table to update for this object.
 185   ValueSymbolTable *ST;
 186   if (getSymTab(this, ST))
 187     return;  // Cannot set a name on this value (e.g. constant).
 188
 189   if (Function *F = dyn_cast<Function>(this))
 190     getContext().pImpl->IntrinsicIDCache.erase(F);
 191
 192   if (!ST) { // No symbol table to update?  Just do the change.
 193     if (NameRef.empty()) {
 194       // Free the name for this value.
 195       Name->Destroy();
 196       Name = nullptr;
 197       return;
 198     }
 199
 200     if (Name)
 201       Name->Destroy();
 202
 203     // NOTE: Could optimize for the case the name is shrinking to not deallocate
 204     // then reallocated.
 205
 206     // Create the new name.
 207     Name = ValueName::Create(NameRef);
 208     Name->setValue(this);
 209     return;
 210   }
 211
 212   // NOTE: Could optimize for the case the name is shrinking to not deallocate
 213   // then reallocated.
 214   if (hasName()) {
 215     // Remove old name.
 216     ST->removeValueName(Name);
 217     Name->Destroy();
 218     Name = nullptr;
 219
 220     if (NameRef.empty())
 221       return;
 222   }
 223
 224   // Name is changing to something new.
 225   Name = ST->createValueName(NameRef, this);
 226 }
 227
 228 void Value::takeName(Value *V) {
 229   assert(SubclassID != MDStringVal && "Cannot take the name of an MDString!");
 230
 231   ValueSymbolTable *ST = nullptr;
 232   // If this value has a name, drop it.
 233   if (hasName()) {
 234     // Get the symtab this is in.
 235     if (getSymTab(this, ST)) {
 236       // We can't set a name on this value, but we need to clear V's name if
 237       // it has one.
 238       if (V->hasName()) V->setName("");
 239       return;  // Cannot set a name on this value (e.g. constant).
 240     }
 241
 242     // Remove old name.
 243     if (ST)
 244       ST->removeValueName(Name);
 245     Name->Destroy();
 246     Name = nullptr;
 247   }
 248
 249   // Now we know that this has no name.
 250
 251   // If V has no name either, we're done.
 252   if (!V->hasName()) return;
 253
 254   // Get this's symtab if we didn't before.
 255   if (!ST) {
 256     if (getSymTab(this, ST)) {
 257       // Clear V's name.
 258       V->setName("");
 259       return;  // Cannot set a name on this value (e.g. constant).
 260     }
 261   }
 262
 263   // Get V's ST, this should always succed, because V has a name.
 264   ValueSymbolTable *VST;
 265   bool Failure = getSymTab(V, VST);
 266   assert(!Failure && "V has a name, so it should have a ST!"); (void)Failure;
 267
 268   // If these values are both in the same symtab, we can do this very fast.
 269   // This works even if both values have no symtab yet.
 270   if (ST == VST) {
 271     // Take the name!
 272     Name = V->Name;
 273     V->Name = nullptr;
 274     Name->setValue(this);
 275     return;
 276   }
 277
 278   // Otherwise, things are slightly more complex.  Remove V's name from VST and
 279   // then reinsert it into ST.
 280
 281   if (VST)
 282     VST->removeValueName(V->Name);
 283   Name = V->Name;
 284   V->Name = nullptr;
 285   Name->setValue(this);
 286
 287   if (ST)
 288     ST->reinsertValue(this);
 289 }
 290
 291 #ifndef NDEBUG
 292 static bool contains(SmallPtrSetImpl<ConstantExpr *> &Cache, ConstantExpr *Expr,
 293                      Constant *C) {
 294   if (!Cache.insert(Expr))
 295     return false;
 296
 297   for (auto &O : Expr->operands()) {
 298     if (O == C)
 299       return true;
 300     auto *CE = dyn_cast<ConstantExpr>(O);
 301     if (!CE)
 302       continue;
 303     if (contains(Cache, CE, C))
 304       return true;
 305   }
 306   return false;
 307 }
 308
 309 static bool contains(Value *Expr, Value *V) {
 310   if (Expr == V)
 311     return true;
 312
 313   auto *C = dyn_cast<Constant>(V);
 314   if (!C)
 315     return false;
 316
 317   auto *CE = dyn_cast<ConstantExpr>(Expr);
 318   if (!CE)
 319     return false;
 320
 321   SmallPtrSet<ConstantExpr *, 4> Cache;
 322   return contains(Cache, CE, C);
 323 }
 324 #endif
 325
 326 void Value::replaceAllUsesWith(Value *New) {
 327   assert(New && "Value::replaceAllUsesWith(<null>) is invalid!");
 328   assert(!contains(New, this) &&
 329          "this->replaceAllUsesWith(expr(this)) is NOT valid!");
 330   assert(New->getType() == getType() &&
 331          "replaceAllUses of value with new value of different type!");
 332
 333   // Notify all ValueHandles (if present) that this value is going away.
 334   if (HasValueHandle)
 335     ValueHandleBase::ValueIsRAUWd(this, New);
 336
 337   while (!use_empty()) {
 338     Use &U = *UseList;
 339     // Must handle Constants specially, we cannot call replaceUsesOfWith on a
 340     // constant because they are uniqued.
 341     if (auto *C = dyn_cast<Constant>(U.getUser())) {
 342       if (!isa<GlobalValue>(C)) {
 343         C->replaceUsesOfWithOnConstant(this, New, &U);
 344         continue;
 345       }
 346     }
 347
 348     U.set(New);
 349   }
 350
 351   if (BasicBlock *BB = dyn_cast<BasicBlock>(this))
 352     BB->replaceSuccessorsPhiUsesWith(cast<BasicBlock>(New));
 353 }
 354
 355 namespace {
 356 // Various metrics for how much to strip off of pointers.
 357 enum PointerStripKind {
 358   PSK_ZeroIndices,
 359   PSK_ZeroIndicesAndAliases,
 360   PSK_InBoundsConstantIndices,
 361   PSK_InBounds
 362 };
 363
 364 template <PointerStripKind StripKind>
 365 static Value *stripPointerCastsAndOffsets(Value *V) {
 366   if (!V->getType()->isPointerTy())
 367     return V;
 368
 369   // Even though we don't look through PHI nodes, we could be called on an
 370   // instruction in an unreachable block, which may be on a cycle.
 371   SmallPtrSet<Value *, 4> Visited;
 372
 373   Visited.insert(V);
 374   do {
 375     if (GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 376       switch (StripKind) {
 377       case PSK_ZeroIndicesAndAliases:
 378       case PSK_ZeroIndices:
 379         if (!GEP->hasAllZeroIndices())
 380           return V;
 381         break;
 382       case PSK_InBoundsConstantIndices:
 383         if (!GEP->hasAllConstantIndices())
 384           return V;
 385         // fallthrough
 386       case PSK_InBounds:
 387         if (!GEP->isInBounds())
 388           return V;
 389         break;
 390       }
 391       V = GEP->getPointerOperand();
 392     } else if (Operator::getOpcode(V) == Instruction::BitCast ||
 393                Operator::getOpcode(V) == Instruction::AddrSpaceCast) {
 394       V = cast<Operator>(V)->getOperand(0);
 395     } else if (GlobalAlias *GA = dyn_cast<GlobalAlias>(V)) {
 396       if (StripKind == PSK_ZeroIndices || GA->mayBeOverridden())
 397         return V;
 398       V = GA->getAliasee();
 399     } else {
 400       return V;
 401     }
 402     assert(V->getType()->isPointerTy() && "Unexpected operand type!");
 403   } while (Visited.insert(V));
 404
 405   return V;
 406 }
 407 } // namespace
 408
 409 Value *Value::stripPointerCasts() {
 410   return stripPointerCastsAndOffsets<PSK_ZeroIndicesAndAliases>(this);
 411 }
 412
 413 Value *Value::stripPointerCastsNoFollowAliases() {
 414   return stripPointerCastsAndOffsets<PSK_ZeroIndices>(this);
 415 }
 416
 417 Value *Value::stripInBoundsConstantOffsets() {
 418   return stripPointerCastsAndOffsets<PSK_InBoundsConstantIndices>(this);
 419 }
 420
 421 Value *Value::stripAndAccumulateInBoundsConstantOffsets(const DataLayout &DL,
 422                                                         APInt &Offset) {
 423   if (!getType()->isPointerTy())
 424     return this;
 425
 426   assert(Offset.getBitWidth() == DL.getPointerSizeInBits(cast<PointerType>(
 427                                      getType())->getAddressSpace()) &&
 428          "The offset must have exactly as many bits as our pointer.");
 429
 430   // Even though we don't look through PHI nodes, we could be called on an
 431   // instruction in an unreachable block, which may be on a cycle.
 432   SmallPtrSet<Value *, 4> Visited;
 433   Visited.insert(this);
 434   Value *V = this;
 435   do {
 436     if (GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 437       if (!GEP->isInBounds())
 438         return V;
 439       APInt GEPOffset(Offset);
 440       if (!GEP->accumulateConstantOffset(DL, GEPOffset))
 441         return V;
 442       Offset = GEPOffset;
 443       V = GEP->getPointerOperand();
 444     } else if (Operator::getOpcode(V) == Instruction::BitCast ||
 445                Operator::getOpcode(V) == Instruction::AddrSpaceCast) {
 446       V = cast<Operator>(V)->getOperand(0);
 447     } else if (GlobalAlias *GA = dyn_cast<GlobalAlias>(V)) {
 448       V = GA->getAliasee();
 449     } else {
 450       return V;
 451     }
 452     assert(V->getType()->isPointerTy() && "Unexpected operand type!");
 453   } while (Visited.insert(V));
 454
 455   return V;
 456 }
 457
 458 Value *Value::stripInBoundsOffsets() {
 459   return stripPointerCastsAndOffsets<PSK_InBounds>(this);
 460 }
 461
 462 /// \brief Check if Value is always a dereferenceable pointer.
 463 ///
 464 /// Test if V is always a pointer to allocated and suitably aligned memory for
 465 /// a simple load or store.
 466 static bool isDereferenceablePointer(const Value *V, const DataLayout *DL,
 467                                      SmallPtrSetImpl<const Value *> &Visited) {
 468   // Note that it is not safe to speculate into a malloc'd region because
 469   // malloc may return null.
 470
 471   // These are obviously ok.
 472   if (isa<AllocaInst>(V)) return true;
 473
 474   // It's not always safe to follow a bitcast, for example:
 475   //   bitcast i8* (alloca i8) to i32*
 476   // would result in a 4-byte load from a 1-byte alloca. However,
 477   // if we're casting from a pointer from a type of larger size
 478   // to a type of smaller size (or the same size), and the alignment
 479   // is at least as large as for the resulting pointer type, then
 480   // we can look through the bitcast.
 481   if (DL)
 482     if (const BitCastInst* BC = dyn_cast<BitCastInst>(V)) {
 483       Type *STy = BC->getSrcTy()->getPointerElementType(),
 484            *DTy = BC->getDestTy()->getPointerElementType();
 485       if (STy->isSized() && DTy->isSized() &&
 486           (DL->getTypeStoreSize(STy) >=
 487            DL->getTypeStoreSize(DTy)) &&
 488           (DL->getABITypeAlignment(STy) >=
 489            DL->getABITypeAlignment(DTy)))
 490         return isDereferenceablePointer(BC->getOperand(0), DL, Visited);
 491     }
 492
 493   // Global variables which can't collapse to null are ok.
 494   if (const GlobalVariable *GV = dyn_cast<GlobalVariable>(V))
 495     return !GV->hasExternalWeakLinkage();
 496
 497   // byval arguments are okay. Arguments specifically marked as
 498   // dereferenceable are okay too.
 499   if (const Argument *A = dyn_cast<Argument>(V)) {
 500     if (A->hasByValAttr())
 501       return true;
 502     else if (uint64_t Bytes = A->getDereferenceableBytes()) {
 503       Type *Ty = V->getType()->getPointerElementType();
 504       if (Ty->isSized() && DL && DL->getTypeStoreSize(Ty) <= Bytes)
 505         return true;
 506     }
 507
 508     return false;
 509   }
 510
 511   // Return values from call sites specifically marked as dereferenceable are
 512   // also okay.
 513   if (ImmutableCallSite CS = V) {
 514     if (uint64_t Bytes = CS.getDereferenceableBytes(0)) {
 515       Type *Ty = V->getType()->getPointerElementType();
 516       if (Ty->isSized() && DL && DL->getTypeStoreSize(Ty) <= Bytes)
 517         return true;
 518     }
 519   }
 520
 521   // For GEPs, determine if the indexing lands within the allocated object.
 522   if (const GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 523     // Conservatively require that the base pointer be fully dereferenceable.
 524     if (!Visited.insert(GEP->getOperand(0)))
 525       return false;
 526     if (!isDereferenceablePointer(GEP->getOperand(0), DL, Visited))
 527       return false;
 528     // Check the indices.
 529     gep_type_iterator GTI = gep_type_begin(GEP);
 530     for (User::const_op_iterator I = GEP->op_begin()+1,
 531          E = GEP->op_end(); I != E; ++I) {
 532       Value *Index = *I;
 533       Type *Ty = *GTI++;
 534       // Struct indices can't be out of bounds.
 535       if (isa<StructType>(Ty))
 536         continue;
 537       ConstantInt *CI = dyn_cast<ConstantInt>(Index);
 538       if (!CI)
 539         return false;
 540       // Zero is always ok.
 541       if (CI->isZero())
 542         continue;
 543       // Check to see that it's within the bounds of an array.
 544       ArrayType *ATy = dyn_cast<ArrayType>(Ty);
 545       if (!ATy)
 546         return false;
 547       if (CI->getValue().getActiveBits() > 64)
 548         return false;
 549       if (CI->getZExtValue() >= ATy->getNumElements())
 550         return false;
 551     }
 552     // Indices check out; this is dereferenceable.
 553     return true;
 554   }
 555
 556   if (const AddrSpaceCastInst *ASC = dyn_cast<AddrSpaceCastInst>(V))
 557     return isDereferenceablePointer(ASC->getOperand(0), DL, Visited);
 558
 559   // If we don't know, assume the worst.
 560   return false;
 561 }
 562
 563 bool Value::isDereferenceablePointer(const DataLayout *DL) const {
 564   // When dereferenceability information is provided by a dereferenceable
 565   // attribute, we know exactly how many bytes are dereferenceable. If we can
 566   // determine the exact offset to the attributed variable, we can use that
 567   // information here.
 568   Type *Ty = getType()->getPointerElementType();
 569   if (Ty->isSized() && DL) {
 570     APInt Offset(DL->getTypeStoreSizeInBits(getType()), 0);
 571     const Value *BV = stripAndAccumulateInBoundsConstantOffsets(*DL, Offset);
 572
 573     APInt DerefBytes(Offset.getBitWidth(), 0);
 574     if (const Argument *A = dyn_cast<Argument>(BV))
 575       DerefBytes = A->getDereferenceableBytes();
 576     else if (ImmutableCallSite CS = BV)
 577       DerefBytes = CS.getDereferenceableBytes(0);
 578
 579     if (DerefBytes.getBoolValue() && Offset.isNonNegative()) {
 580       if (DerefBytes.uge(Offset + DL->getTypeStoreSize(Ty)))
 581         return true;
 582     }
 583   }
 584
 585   SmallPtrSet<const Value *, 32> Visited;
 586   return ::isDereferenceablePointer(this, DL, Visited);
 587 }
 588
 589 Value *Value::DoPHITranslation(const BasicBlock *CurBB,
 590                                const BasicBlock *PredBB) {
 591   PHINode *PN = dyn_cast<PHINode>(this);
 592   if (PN && PN->getParent() == CurBB)
 593     return PN->getIncomingValueForBlock(PredBB);
 594   return this;
 595 }
 596
 597 LLVMContext &Value::getContext() const { return VTy->getContext(); }
 598
 599 void Value::reverseUseList() {
 600   if (!UseList || !UseList->Next)
 601     // No need to reverse 0 or 1 uses.
 602     return;
 603
 604   Use *Head = UseList;
 605   Use *Current = UseList->Next;
 606   Head->Next = nullptr;
 607   while (Current) {
 608     Use *Next = Current->Next;
 609     Current->Next = Head;
 610     Head->setPrev(&Current->Next);
 611     Head = Current;
 612     Current = Next;
 613   }
 614   UseList = Head;
 615   Head->setPrev(&UseList);
 616 }
 617
 618 //===----------------------------------------------------------------------===//
 619 //                             ValueHandleBase Class
 620 //===----------------------------------------------------------------------===//
 621
 622 void ValueHandleBase::AddToExistingUseList(ValueHandleBase **List) {
 623   assert(List && "Handle list is null?");
 624
 625   // Splice ourselves into the list.
 626   Next = *List;
 627   *List = this;
 628   setPrevPtr(List);
 629   if (Next) {
 630     Next->setPrevPtr(&Next);
 631     assert(VP.getPointer() == Next->VP.getPointer() && "Added to wrong list?");
 632   }
 633 }
 634
 635 void ValueHandleBase::AddToExistingUseListAfter(ValueHandleBase *List) {
 636   assert(List && "Must insert after existing node");
 637
 638   Next = List->Next;
 639   setPrevPtr(&List->Next);
 640   List->Next = this;
 641   if (Next)
 642     Next->setPrevPtr(&Next);
 643 }
 644
 645 void ValueHandleBase::AddToUseList() {
 646   assert(VP.getPointer() && "Null pointer doesn't have a use list!");
 647
 648   LLVMContextImpl *pImpl = VP.getPointer()->getContext().pImpl;
 649
 650   if (VP.getPointer()->HasValueHandle) {
 651     // If this value already has a ValueHandle, then it must be in the
 652     // ValueHandles map already.
 653     ValueHandleBase *&Entry = pImpl->ValueHandles[VP.getPointer()];
 654     assert(Entry && "Value doesn't have any handles?");
 655     AddToExistingUseList(&Entry);
 656     return;
 657   }
 658
 659   // Ok, it doesn't have any handles yet, so we must insert it into the
 660   // DenseMap.  However, doing this insertion could cause the DenseMap to
 661   // reallocate itself, which would invalidate all of the PrevP pointers that
 662   // point into the old table.  Handle this by checking for reallocation and
 663   // updating the stale pointers only if needed.
 664   DenseMap<Value*, ValueHandleBase*> &Handles = pImpl->ValueHandles;
 665   const void *OldBucketPtr = Handles.getPointerIntoBucketsArray();
 666
 667   ValueHandleBase *&Entry = Handles[VP.getPointer()];
 668   assert(!Entry && "Value really did already have handles?");
 669   AddToExistingUseList(&Entry);
 670   VP.getPointer()->HasValueHandle = true;
 671
 672   // If reallocation didn't happen or if this was the first insertion, don't
 673   // walk the table.
 674   if (Handles.isPointerIntoBucketsArray(OldBucketPtr) ||
 675       Handles.size() == 1) {
 676     return;
 677   }
 678
 679   // Okay, reallocation did happen.  Fix the Prev Pointers.
 680   for (DenseMap<Value*, ValueHandleBase*>::iterator I = Handles.begin(),
 681        E = Handles.end(); I != E; ++I) {
 682     assert(I->second && I->first == I->second->VP.getPointer() &&
 683            "List invariant broken!");
 684     I->second->setPrevPtr(&I->second);
 685   }
 686 }
 687
 688 void ValueHandleBase::RemoveFromUseList() {
 689   assert(VP.getPointer() && VP.getPointer()->HasValueHandle &&
 690          "Pointer doesn't have a use list!");
 691
 692   // Unlink this from its use list.
 693   ValueHandleBase **PrevPtr = getPrevPtr();
 694   assert(*PrevPtr == this && "List invariant broken");
 695
 696   *PrevPtr = Next;
 697   if (Next) {
 698     assert(Next->getPrevPtr() == &Next && "List invariant broken");
 699     Next->setPrevPtr(PrevPtr);
 700     return;
 701   }
 702
 703   // If the Next pointer was null, then it is possible that this was the last
 704   // ValueHandle watching VP.  If so, delete its entry from the ValueHandles
 705   // map.
 706   LLVMContextImpl *pImpl = VP.getPointer()->getContext().pImpl;
 707   DenseMap<Value*, ValueHandleBase*> &Handles = pImpl->ValueHandles;
 708   if (Handles.isPointerIntoBucketsArray(PrevPtr)) {
 709     Handles.erase(VP.getPointer());
 710     VP.getPointer()->HasValueHandle = false;
 711   }
 712 }
 713
 714
 715 void ValueHandleBase::ValueIsDeleted(Value *V) {
 716   assert(V->HasValueHandle && "Should only be called if ValueHandles present");
 717
 718   // Get the linked list base, which is guaranteed to exist since the
 719   // HasValueHandle flag is set.
 720   LLVMContextImpl *pImpl = V->getContext().pImpl;
 721   ValueHandleBase *Entry = pImpl->ValueHandles[V];
 722   assert(Entry && "Value bit set but no entries exist");
 723
 724   // We use a local ValueHandleBase as an iterator so that ValueHandles can add
 725   // and remove themselves from the list without breaking our iteration.  This
 726   // is not really an AssertingVH; we just have to give ValueHandleBase a kind.
 727   // Note that we deliberately do not the support the case when dropping a value
 728   // handle results in a new value handle being permanently added to the list
 729   // (as might occur in theory for CallbackVH's): the new value handle will not
 730   // be processed and the checking code will mete out righteous punishment if
 731   // the handle is still present once we have finished processing all the other
 732   // value handles (it is fine to momentarily add then remove a value handle).
 733   for (ValueHandleBase Iterator(Assert, *Entry); Entry; Entry = Iterator.Next) {
 734     Iterator.RemoveFromUseList();
 735     Iterator.AddToExistingUseListAfter(Entry);
 736     assert(Entry->Next == &Iterator && "Loop invariant broken.");
 737
 738     switch (Entry->getKind()) {
 739     case Assert:
 740       break;
 741     case Tracking:
 742       // Mark that this value has been deleted by setting it to an invalid Value
 743       // pointer.
 744       Entry->operator=(DenseMapInfo<Value *>::getTombstoneKey());
 745       break;
 746     case Weak:
 747       // Weak just goes to null, which will unlink it from the list.
 748       Entry->operator=(nullptr);
 749       break;
 750     case Callback:
 751       // Forward to the subclass's implementation.
 752       static_cast<CallbackVH*>(Entry)->deleted();
 753       break;
 754     }
 755   }
 756
 757   // All callbacks, weak references, and assertingVHs should be dropped by now.
 758   if (V->HasValueHandle) {
 759 #ifndef NDEBUG      // Only in +Asserts mode...
 760     dbgs() << "While deleting: " << *V->getType() << " %" << V->getName()
 761            << "\n";
 762     if (pImpl->ValueHandles[V]->getKind() == Assert)
 763       llvm_unreachable("An asserting value handle still pointed to this"
 764                        " value!");
 765
 766 #endif
 767     llvm_unreachable("All references to V were not removed?");
 768   }
 769 }
 770
 771
 772 void ValueHandleBase::ValueIsRAUWd(Value *Old, Value *New) {
 773   assert(Old->HasValueHandle &&"Should only be called if ValueHandles present");
 774   assert(Old != New && "Changing value into itself!");
 775
 776   // Get the linked list base, which is guaranteed to exist since the
 777   // HasValueHandle flag is set.
 778   LLVMContextImpl *pImpl = Old->getContext().pImpl;
 779   ValueHandleBase *Entry = pImpl->ValueHandles[Old];
 780
 781   assert(Entry && "Value bit set but no entries exist");
 782
 783   // We use a local ValueHandleBase as an iterator so that
 784   // ValueHandles can add and remove themselves from the list without
 785   // breaking our iteration.  This is not really an AssertingVH; we
 786   // just have to give ValueHandleBase some kind.
 787   for (ValueHandleBase Iterator(Assert, *Entry); Entry; Entry = Iterator.Next) {
 788     Iterator.RemoveFromUseList();
 789     Iterator.AddToExistingUseListAfter(Entry);
 790     assert(Entry->Next == &Iterator && "Loop invariant broken.");
 791
 792     switch (Entry->getKind()) {
 793     case Assert:
 794       // Asserting handle does not follow RAUW implicitly.
 795       break;
 796     case Tracking:
 797       // Tracking goes to new value like a WeakVH. Note that this may make it
 798       // something incompatible with its templated type. We don't want to have a
 799       // virtual (or inline) interface to handle this though, so instead we make
 800       // the TrackingVH accessors guarantee that a client never sees this value.
 801
 802       // FALLTHROUGH
 803     case Weak:
 804       // Weak goes to the new value, which will unlink it from Old's list.
 805       Entry->operator=(New);
 806       break;
 807     case Callback:
 808       // Forward to the subclass's implementation.
 809       static_cast<CallbackVH*>(Entry)->allUsesReplacedWith(New);
 810       break;
 811     }
 812   }
 813
 814 #ifndef NDEBUG
 815   // If any new tracking or weak value handles were added while processing the
 816   // list, then complain about it now.
 817   if (Old->HasValueHandle)
 818     for (Entry = pImpl->ValueHandles[Old]; Entry; Entry = Entry->Next)
 819       switch (Entry->getKind()) {
 820       case Tracking:
 821       case Weak:
 822         dbgs() << "After RAUW from " << *Old->getType() << " %"
 823                << Old->getName() << " to " << *New->getType() << " %"
 824                << New->getName() << "\n";
 825         llvm_unreachable("A tracking or weak value handle still pointed to the"
 826                          " old value!\n");
 827       default:
 828         break;
 829       }
 830 #endif
 831 }
 832
 833 // Pin the vtable to this file.
 834 void CallbackVH::anchor() {}