lib/IR/Value.cpp

   1 //===-- Value.cpp - Implement the Value class -----------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the Value, ValueHandle, and User classes.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "llvm/IR/Value.h"
  15 #include "LLVMContextImpl.h"
  16 #include "llvm/ADT/DenseMap.h"
  17 #include "llvm/ADT/SmallString.h"
  18 #include "llvm/IR/CallSite.h"
  19 #include "llvm/IR/Constant.h"
  20 #include "llvm/IR/Constants.h"
  21 #include "llvm/IR/DataLayout.h"
  22 #include "llvm/IR/DerivedTypes.h"
  23 #include "llvm/IR/GetElementPtrTypeIterator.h"
  24 #include "llvm/IR/InstrTypes.h"
  25 #include "llvm/IR/Instructions.h"
  26 #include "llvm/IR/Module.h"
  27 #include "llvm/IR/Operator.h"
  28 #include "llvm/IR/ValueHandle.h"
  29 #include "llvm/IR/ValueSymbolTable.h"
  30 #include "llvm/Support/Debug.h"
  31 #include "llvm/Support/ErrorHandling.h"
  32 #include "llvm/Support/ManagedStatic.h"
  33 #include <algorithm>
  34 using namespace llvm;
  35
  36 //===----------------------------------------------------------------------===//
  37 //                                Value Class
  38 //===----------------------------------------------------------------------===//
  39
  40 static inline Type *checkType(Type *Ty) {
  41   assert(Ty && "Value defined with a null type: Error!");
  42   return Ty;
  43 }
  44
  45 Value::Value(Type *ty, unsigned scid)
  46     : VTy(checkType(ty)), UseList(nullptr), SubclassID(scid), HasValueHandle(0),
  47       SubclassOptionalData(0), SubclassData(0), NumOperands(0) {
  48   // FIXME: Why isn't this in the subclass gunk??
  49   // Note, we cannot call isa<CallInst> before the CallInst has been
  50   // constructed.
  51   if (SubclassID == Instruction::Call || SubclassID == Instruction::Invoke)
  52     assert((VTy->isFirstClassType() || VTy->isVoidTy() || VTy->isStructTy()) &&
  53            "invalid CallInst type!");
  54   else if (SubclassID != BasicBlockVal &&
  55            (SubclassID < ConstantFirstVal || SubclassID > ConstantLastVal))
  56     assert((VTy->isFirstClassType() || VTy->isVoidTy()) &&
  57            "Cannot create non-first-class values except for constants!");
  58 }
  59
  60 Value::~Value() {
  61   // Notify all ValueHandles (if present) that this value is going away.
  62   if (HasValueHandle)
  63     ValueHandleBase::ValueIsDeleted(this);
  64   if (isUsedByMetadata())
  65     ValueAsMetadata::handleDeletion(this);
  66
  67 #ifndef NDEBUG      // Only in -g mode...
  68   // Check to make sure that there are no uses of this value that are still
  69   // around when the value is destroyed.  If there are, then we have a dangling
  70   // reference and something is wrong.  This code is here to print out what is
  71   // still being referenced.  The value in question should be printed as
  72   // a <badref>
  73   //
  74   if (!use_empty()) {
  75     dbgs() << "While deleting: " << *VTy << " %" << getName() << "\n";
  76     for (use_iterator I = use_begin(), E = use_end(); I != E; ++I)
  77       dbgs() << "Use still stuck around after Def is destroyed:"
  78            << **I << "\n";
  79   }
  80 #endif
  81   assert(use_empty() && "Uses remain when a value is destroyed!");
  82
  83   // If this value is named, destroy the name.  This should not be in a symtab
  84   // at this point.
  85   destroyValueName();
  86 }
  87
  88 void Value::destroyValueName() {
  89   ValueName *Name = getValueName();
  90   if (Name)
  91     Name->Destroy();
  92   setValueName(nullptr);
  93 }
  94
  95 bool Value::hasNUses(unsigned N) const {
  96   const_use_iterator UI = use_begin(), E = use_end();
  97
  98   for (; N; --N, ++UI)
  99     if (UI == E) return false;  // Too few.
 100   return UI == E;
 101 }
 102
 103 bool Value::hasNUsesOrMore(unsigned N) const {
 104   const_use_iterator UI = use_begin(), E = use_end();
 105
 106   for (; N; --N, ++UI)
 107     if (UI == E) return false;  // Too few.
 108
 109   return true;
 110 }
 111
 112 bool Value::isUsedInBasicBlock(const BasicBlock *BB) const {
 113   // This can be computed either by scanning the instructions in BB, or by
 114   // scanning the use list of this Value. Both lists can be very long, but
 115   // usually one is quite short.
 116   //
 117   // Scan both lists simultaneously until one is exhausted. This limits the
 118   // search to the shorter list.
 119   BasicBlock::const_iterator BI = BB->begin(), BE = BB->end();
 120   const_user_iterator UI = user_begin(), UE = user_end();
 121   for (; BI != BE && UI != UE; ++BI, ++UI) {
 122     // Scan basic block: Check if this Value is used by the instruction at BI.
 123     if (std::find(BI->op_begin(), BI->op_end(), this) != BI->op_end())
 124       return true;
 125     // Scan use list: Check if the use at UI is in BB.
 126     const Instruction *User = dyn_cast<Instruction>(*UI);
 127     if (User && User->getParent() == BB)
 128       return true;
 129   }
 130   return false;
 131 }
 132
 133 unsigned Value::getNumUses() const {
 134   return (unsigned)std::distance(use_begin(), use_end());
 135 }
 136
 137 static bool getSymTab(Value *V, ValueSymbolTable *&ST) {
 138   ST = nullptr;
 139   if (Instruction *I = dyn_cast<Instruction>(V)) {
 140     if (BasicBlock *P = I->getParent())
 141       if (Function *PP = P->getParent())
 142         ST = &PP->getValueSymbolTable();
 143   } else if (BasicBlock *BB = dyn_cast<BasicBlock>(V)) {
 144     if (Function *P = BB->getParent())
 145       ST = &P->getValueSymbolTable();
 146   } else if (GlobalValue *GV = dyn_cast<GlobalValue>(V)) {
 147     if (Module *P = GV->getParent())
 148       ST = &P->getValueSymbolTable();
 149   } else if (Argument *A = dyn_cast<Argument>(V)) {
 150     if (Function *P = A->getParent())
 151       ST = &P->getValueSymbolTable();
 152   } else {
 153     assert(isa<Constant>(V) && "Unknown value type!");
 154     return true;  // no name is setable for this.
 155   }
 156   return false;
 157 }
 158
 159 StringRef Value::getName() const {
 160   // Make sure the empty string is still a C string. For historical reasons,
 161   // some clients want to call .data() on the result and expect it to be null
 162   // terminated.
 163   if (!getValueName())
 164     return StringRef("", 0);
 165   return getValueName()->getKey();
 166 }
 167
 168 void Value::setName(const Twine &NewName) {
 169   // Fast path for common IRBuilder case of setName("") when there is no name.
 170   if (NewName.isTriviallyEmpty() && !hasName())
 171     return;
 172
 173   SmallString<256> NameData;
 174   StringRef NameRef = NewName.toStringRef(NameData);
 175   assert(NameRef.find_first_of(0) == StringRef::npos &&
 176          "Null bytes are not allowed in names");
 177
 178   // Name isn't changing?
 179   if (getName() == NameRef)
 180     return;
 181
 182   assert(!getType()->isVoidTy() && "Cannot assign a name to void values!");
 183
 184   // Get the symbol table to update for this object.
 185   ValueSymbolTable *ST;
 186   if (getSymTab(this, ST))
 187     return;  // Cannot set a name on this value (e.g. constant).
 188
 189   if (Function *F = dyn_cast<Function>(this))
 190     getContext().pImpl->IntrinsicIDCache.erase(F);
 191
 192   if (!ST) { // No symbol table to update?  Just do the change.
 193     if (NameRef.empty()) {
 194       // Free the name for this value.
 195       destroyValueName();
 196       return;
 197     }
 198
 199     // NOTE: Could optimize for the case the name is shrinking to not deallocate
 200     // then reallocated.
 201     destroyValueName();
 202
 203     // Create the new name.
 204     setValueName(ValueName::Create(NameRef));
 205     getValueName()->setValue(this);
 206     return;
 207   }
 208
 209   // NOTE: Could optimize for the case the name is shrinking to not deallocate
 210   // then reallocated.
 211   if (hasName()) {
 212     // Remove old name.
 213     ST->removeValueName(getValueName());
 214     destroyValueName();
 215
 216     if (NameRef.empty())
 217       return;
 218   }
 219
 220   // Name is changing to something new.
 221   setValueName(ST->createValueName(NameRef, this));
 222 }
 223
 224 void Value::takeName(Value *V) {
 225   ValueSymbolTable *ST = nullptr;
 226   // If this value has a name, drop it.
 227   if (hasName()) {
 228     // Get the symtab this is in.
 229     if (getSymTab(this, ST)) {
 230       // We can't set a name on this value, but we need to clear V's name if
 231       // it has one.
 232       if (V->hasName()) V->setName("");
 233       return;  // Cannot set a name on this value (e.g. constant).
 234     }
 235
 236     // Remove old name.
 237     if (ST)
 238       ST->removeValueName(getValueName());
 239     destroyValueName();
 240   }
 241
 242   // Now we know that this has no name.
 243
 244   // If V has no name either, we're done.
 245   if (!V->hasName()) return;
 246
 247   // Get this's symtab if we didn't before.
 248   if (!ST) {
 249     if (getSymTab(this, ST)) {
 250       // Clear V's name.
 251       V->setName("");
 252       return;  // Cannot set a name on this value (e.g. constant).
 253     }
 254   }
 255
 256   // Get V's ST, this should always succed, because V has a name.
 257   ValueSymbolTable *VST;
 258   bool Failure = getSymTab(V, VST);
 259   assert(!Failure && "V has a name, so it should have a ST!"); (void)Failure;
 260
 261   // If these values are both in the same symtab, we can do this very fast.
 262   // This works even if both values have no symtab yet.
 263   if (ST == VST) {
 264     // Take the name!
 265     setValueName(V->getValueName());
 266     V->setValueName(nullptr);
 267     getValueName()->setValue(this);
 268     return;
 269   }
 270
 271   // Otherwise, things are slightly more complex.  Remove V's name from VST and
 272   // then reinsert it into ST.
 273
 274   if (VST)
 275     VST->removeValueName(V->getValueName());
 276   setValueName(V->getValueName());
 277   V->setValueName(nullptr);
 278   getValueName()->setValue(this);
 279
 280   if (ST)
 281     ST->reinsertValue(this);
 282 }
 283
 284 #ifndef NDEBUG
 285 static bool contains(SmallPtrSetImpl<ConstantExpr *> &Cache, ConstantExpr *Expr,
 286                      Constant *C) {
 287   if (!Cache.insert(Expr).second)
 288     return false;
 289
 290   for (auto &O : Expr->operands()) {
 291     if (O == C)
 292       return true;
 293     auto *CE = dyn_cast<ConstantExpr>(O);
 294     if (!CE)
 295       continue;
 296     if (contains(Cache, CE, C))
 297       return true;
 298   }
 299   return false;
 300 }
 301
 302 static bool contains(Value *Expr, Value *V) {
 303   if (Expr == V)
 304     return true;
 305
 306   auto *C = dyn_cast<Constant>(V);
 307   if (!C)
 308     return false;
 309
 310   auto *CE = dyn_cast<ConstantExpr>(Expr);
 311   if (!CE)
 312     return false;
 313
 314   SmallPtrSet<ConstantExpr *, 4> Cache;
 315   return contains(Cache, CE, C);
 316 }
 317 #endif
 318
 319 void Value::replaceAllUsesWith(Value *New) {
 320   assert(New && "Value::replaceAllUsesWith(<null>) is invalid!");
 321   assert(!contains(New, this) &&
 322          "this->replaceAllUsesWith(expr(this)) is NOT valid!");
 323   assert(New->getType() == getType() &&
 324          "replaceAllUses of value with new value of different type!");
 325
 326   // Notify all ValueHandles (if present) that this value is going away.
 327   if (HasValueHandle)
 328     ValueHandleBase::ValueIsRAUWd(this, New);
 329   if (isUsedByMetadata())
 330     ValueAsMetadata::handleRAUW(this, New);
 331
 332   while (!use_empty()) {
 333     Use &U = *UseList;
 334     // Must handle Constants specially, we cannot call replaceUsesOfWith on a
 335     // constant because they are uniqued.
 336     if (auto *C = dyn_cast<Constant>(U.getUser())) {
 337       if (!isa<GlobalValue>(C)) {
 338         C->replaceUsesOfWithOnConstant(this, New, &U);
 339         continue;
 340       }
 341     }
 342
 343     U.set(New);
 344   }
 345
 346   if (BasicBlock *BB = dyn_cast<BasicBlock>(this))
 347     BB->replaceSuccessorsPhiUsesWith(cast<BasicBlock>(New));
 348 }
 349
 350 // Like replaceAllUsesWith except it does not handle constants or basic blocks.
 351 // This routine leaves uses within BB.
 352 void Value::replaceUsesOutsideBlock(Value *New, BasicBlock *BB) {
 353   assert(New && "Value::replaceUsesOutsideBlock(<null>, BB) is invalid!");
 354   assert(!contains(New, this) &&
 355          "this->replaceUsesOutsideBlock(expr(this), BB) is NOT valid!");
 356   assert(New->getType() == getType() &&
 357          "replaceUses of value with new value of different type!");
 358   assert(BB && "Basic block that may contain a use of 'New' must be defined\n");
 359
 360   use_iterator UI = use_begin(), E = use_end();
 361   for (; UI != E;) {
 362     Use &U = *UI;
 363     ++UI;
 364     auto *Usr = dyn_cast<Instruction>(U.getUser());
 365     if (Usr && Usr->getParent() == BB)
 366       continue;
 367     U.set(New);
 368   }
 369   return;
 370 }
 371
 372 namespace {
 373 // Various metrics for how much to strip off of pointers.
 374 enum PointerStripKind {
 375   PSK_ZeroIndices,
 376   PSK_ZeroIndicesAndAliases,
 377   PSK_InBoundsConstantIndices,
 378   PSK_InBounds
 379 };
 380
 381 template <PointerStripKind StripKind>
 382 static Value *stripPointerCastsAndOffsets(Value *V) {
 383   if (!V->getType()->isPointerTy())
 384     return V;
 385
 386   // Even though we don't look through PHI nodes, we could be called on an
 387   // instruction in an unreachable block, which may be on a cycle.
 388   SmallPtrSet<Value *, 4> Visited;
 389
 390   Visited.insert(V);
 391   do {
 392     if (GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 393       switch (StripKind) {
 394       case PSK_ZeroIndicesAndAliases:
 395       case PSK_ZeroIndices:
 396         if (!GEP->hasAllZeroIndices())
 397           return V;
 398         break;
 399       case PSK_InBoundsConstantIndices:
 400         if (!GEP->hasAllConstantIndices())
 401           return V;
 402         // fallthrough
 403       case PSK_InBounds:
 404         if (!GEP->isInBounds())
 405           return V;
 406         break;
 407       }
 408       V = GEP->getPointerOperand();
 409     } else if (Operator::getOpcode(V) == Instruction::BitCast ||
 410                Operator::getOpcode(V) == Instruction::AddrSpaceCast) {
 411       V = cast<Operator>(V)->getOperand(0);
 412     } else if (GlobalAlias *GA = dyn_cast<GlobalAlias>(V)) {
 413       if (StripKind == PSK_ZeroIndices || GA->mayBeOverridden())
 414         return V;
 415       V = GA->getAliasee();
 416     } else {
 417       return V;
 418     }
 419     assert(V->getType()->isPointerTy() && "Unexpected operand type!");
 420   } while (Visited.insert(V).second);
 421
 422   return V;
 423 }
 424 } // namespace
 425
 426 Value *Value::stripPointerCasts() {
 427   return stripPointerCastsAndOffsets<PSK_ZeroIndicesAndAliases>(this);
 428 }
 429
 430 Value *Value::stripPointerCastsNoFollowAliases() {
 431   return stripPointerCastsAndOffsets<PSK_ZeroIndices>(this);
 432 }
 433
 434 Value *Value::stripInBoundsConstantOffsets() {
 435   return stripPointerCastsAndOffsets<PSK_InBoundsConstantIndices>(this);
 436 }
 437
 438 Value *Value::stripAndAccumulateInBoundsConstantOffsets(const DataLayout &DL,
 439                                                         APInt &Offset) {
 440   if (!getType()->isPointerTy())
 441     return this;
 442
 443   assert(Offset.getBitWidth() == DL.getPointerSizeInBits(cast<PointerType>(
 444                                      getType())->getAddressSpace()) &&
 445          "The offset must have exactly as many bits as our pointer.");
 446
 447   // Even though we don't look through PHI nodes, we could be called on an
 448   // instruction in an unreachable block, which may be on a cycle.
 449   SmallPtrSet<Value *, 4> Visited;
 450   Visited.insert(this);
 451   Value *V = this;
 452   do {
 453     if (GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 454       if (!GEP->isInBounds())
 455         return V;
 456       APInt GEPOffset(Offset);
 457       if (!GEP->accumulateConstantOffset(DL, GEPOffset))
 458         return V;
 459       Offset = GEPOffset;
 460       V = GEP->getPointerOperand();
 461     } else if (Operator::getOpcode(V) == Instruction::BitCast ||
 462                Operator::getOpcode(V) == Instruction::AddrSpaceCast) {
 463       V = cast<Operator>(V)->getOperand(0);
 464     } else if (GlobalAlias *GA = dyn_cast<GlobalAlias>(V)) {
 465       V = GA->getAliasee();
 466     } else {
 467       return V;
 468     }
 469     assert(V->getType()->isPointerTy() && "Unexpected operand type!");
 470   } while (Visited.insert(V).second);
 471
 472   return V;
 473 }
 474
 475 Value *Value::stripInBoundsOffsets() {
 476   return stripPointerCastsAndOffsets<PSK_InBounds>(this);
 477 }
 478
 479 /// \brief Check if Value is always a dereferenceable pointer.
 480 ///
 481 /// Test if V is always a pointer to allocated and suitably aligned memory for
 482 /// a simple load or store.
 483 static bool isDereferenceablePointer(const Value *V, const DataLayout *DL,
 484                                      SmallPtrSetImpl<const Value *> &Visited) {
 485   // Note that it is not safe to speculate into a malloc'd region because
 486   // malloc may return null.
 487
 488   // These are obviously ok.
 489   if (isa<AllocaInst>(V)) return true;
 490
 491   // It's not always safe to follow a bitcast, for example:
 492   //   bitcast i8* (alloca i8) to i32*
 493   // would result in a 4-byte load from a 1-byte alloca. However,
 494   // if we're casting from a pointer from a type of larger size
 495   // to a type of smaller size (or the same size), and the alignment
 496   // is at least as large as for the resulting pointer type, then
 497   // we can look through the bitcast.
 498   if (DL)
 499     if (const BitCastInst* BC = dyn_cast<BitCastInst>(V)) {
 500       Type *STy = BC->getSrcTy()->getPointerElementType(),
 501            *DTy = BC->getDestTy()->getPointerElementType();
 502       if (STy->isSized() && DTy->isSized() &&
 503           (DL->getTypeStoreSize(STy) >=
 504            DL->getTypeStoreSize(DTy)) &&
 505           (DL->getABITypeAlignment(STy) >=
 506            DL->getABITypeAlignment(DTy)))
 507         return isDereferenceablePointer(BC->getOperand(0), DL, Visited);
 508     }
 509
 510   // Global variables which can't collapse to null are ok.
 511   if (const GlobalVariable *GV = dyn_cast<GlobalVariable>(V))
 512     return !GV->hasExternalWeakLinkage();
 513
 514   // byval arguments are okay. Arguments specifically marked as
 515   // dereferenceable are okay too.
 516   if (const Argument *A = dyn_cast<Argument>(V)) {
 517     if (A->hasByValAttr())
 518       return true;
 519     else if (uint64_t Bytes = A->getDereferenceableBytes()) {
 520       Type *Ty = V->getType()->getPointerElementType();
 521       if (Ty->isSized() && DL && DL->getTypeStoreSize(Ty) <= Bytes)
 522         return true;
 523     }
 524
 525     return false;
 526   }
 527
 528   // Return values from call sites specifically marked as dereferenceable are
 529   // also okay.
 530   if (ImmutableCallSite CS = V) {
 531     if (uint64_t Bytes = CS.getDereferenceableBytes(0)) {
 532       Type *Ty = V->getType()->getPointerElementType();
 533       if (Ty->isSized() && DL && DL->getTypeStoreSize(Ty) <= Bytes)
 534         return true;
 535     }
 536   }
 537
 538   // For GEPs, determine if the indexing lands within the allocated object.
 539   if (const GEPOperator *GEP = dyn_cast<GEPOperator>(V)) {
 540     // Conservatively require that the base pointer be fully dereferenceable.
 541     if (!Visited.insert(GEP->getOperand(0)).second)
 542       return false;
 543     if (!isDereferenceablePointer(GEP->getOperand(0), DL, Visited))
 544       return false;
 545     // Check the indices.
 546     gep_type_iterator GTI = gep_type_begin(GEP);
 547     for (User::const_op_iterator I = GEP->op_begin()+1,
 548          E = GEP->op_end(); I != E; ++I) {
 549       Value *Index = *I;
 550       Type *Ty = *GTI++;
 551       // Struct indices can't be out of bounds.
 552       if (isa<StructType>(Ty))
 553         continue;
 554       ConstantInt *CI = dyn_cast<ConstantInt>(Index);
 555       if (!CI)
 556         return false;
 557       // Zero is always ok.
 558       if (CI->isZero())
 559         continue;
 560       // Check to see that it's within the bounds of an array.
 561       ArrayType *ATy = dyn_cast<ArrayType>(Ty);
 562       if (!ATy)
 563         return false;
 564       if (CI->getValue().getActiveBits() > 64)
 565         return false;
 566       if (CI->getZExtValue() >= ATy->getNumElements())
 567         return false;
 568     }
 569     // Indices check out; this is dereferenceable.
 570     return true;
 571   }
 572
 573   if (const AddrSpaceCastInst *ASC = dyn_cast<AddrSpaceCastInst>(V))
 574     return isDereferenceablePointer(ASC->getOperand(0), DL, Visited);
 575
 576   // If we don't know, assume the worst.
 577   return false;
 578 }
 579
 580 bool Value::isDereferenceablePointer(const DataLayout *DL) const {
 581   // When dereferenceability information is provided by a dereferenceable
 582   // attribute, we know exactly how many bytes are dereferenceable. If we can
 583   // determine the exact offset to the attributed variable, we can use that
 584   // information here.
 585   Type *Ty = getType()->getPointerElementType();
 586   if (Ty->isSized() && DL) {
 587     APInt Offset(DL->getTypeStoreSizeInBits(getType()), 0);
 588     const Value *BV = stripAndAccumulateInBoundsConstantOffsets(*DL, Offset);
 589
 590     APInt DerefBytes(Offset.getBitWidth(), 0);
 591     if (const Argument *A = dyn_cast<Argument>(BV))
 592       DerefBytes = A->getDereferenceableBytes();
 593     else if (ImmutableCallSite CS = BV)
 594       DerefBytes = CS.getDereferenceableBytes(0);
 595
 596     if (DerefBytes.getBoolValue() && Offset.isNonNegative()) {
 597       if (DerefBytes.uge(Offset + DL->getTypeStoreSize(Ty)))
 598         return true;
 599     }
 600   }
 601
 602   SmallPtrSet<const Value *, 32> Visited;
 603   return ::isDereferenceablePointer(this, DL, Visited);
 604 }
 605
 606 Value *Value::DoPHITranslation(const BasicBlock *CurBB,
 607                                const BasicBlock *PredBB) {
 608   PHINode *PN = dyn_cast<PHINode>(this);
 609   if (PN && PN->getParent() == CurBB)
 610     return PN->getIncomingValueForBlock(PredBB);
 611   return this;
 612 }
 613
 614 LLVMContext &Value::getContext() const { return VTy->getContext(); }
 615
 616 void Value::reverseUseList() {
 617   if (!UseList || !UseList->Next)
 618     // No need to reverse 0 or 1 uses.
 619     return;
 620
 621   Use *Head = UseList;
 622   Use *Current = UseList->Next;
 623   Head->Next = nullptr;
 624   while (Current) {
 625     Use *Next = Current->Next;
 626     Current->Next = Head;
 627     Head->setPrev(&Current->Next);
 628     Head = Current;
 629     Current = Next;
 630   }
 631   UseList = Head;
 632   Head->setPrev(&UseList);
 633 }
 634
 635 //===----------------------------------------------------------------------===//
 636 //                             ValueHandleBase Class
 637 //===----------------------------------------------------------------------===//
 638
 639 void ValueHandleBase::AddToExistingUseList(ValueHandleBase **List) {
 640   assert(List && "Handle list is null?");
 641
 642   // Splice ourselves into the list.
 643   Next = *List;
 644   *List = this;
 645   setPrevPtr(List);
 646   if (Next) {
 647     Next->setPrevPtr(&Next);
 648     assert(VP.getPointer() == Next->VP.getPointer() && "Added to wrong list?");
 649   }
 650 }
 651
 652 void ValueHandleBase::AddToExistingUseListAfter(ValueHandleBase *List) {
 653   assert(List && "Must insert after existing node");
 654
 655   Next = List->Next;
 656   setPrevPtr(&List->Next);
 657   List->Next = this;
 658   if (Next)
 659     Next->setPrevPtr(&Next);
 660 }
 661
 662 void ValueHandleBase::AddToUseList() {
 663   assert(VP.getPointer() && "Null pointer doesn't have a use list!");
 664
 665   LLVMContextImpl *pImpl = VP.getPointer()->getContext().pImpl;
 666
 667   if (VP.getPointer()->HasValueHandle) {
 668     // If this value already has a ValueHandle, then it must be in the
 669     // ValueHandles map already.
 670     ValueHandleBase *&Entry = pImpl->ValueHandles[VP.getPointer()];
 671     assert(Entry && "Value doesn't have any handles?");
 672     AddToExistingUseList(&Entry);
 673     return;
 674   }
 675
 676   // Ok, it doesn't have any handles yet, so we must insert it into the
 677   // DenseMap.  However, doing this insertion could cause the DenseMap to
 678   // reallocate itself, which would invalidate all of the PrevP pointers that
 679   // point into the old table.  Handle this by checking for reallocation and
 680   // updating the stale pointers only if needed.
 681   DenseMap<Value*, ValueHandleBase*> &Handles = pImpl->ValueHandles;
 682   const void *OldBucketPtr = Handles.getPointerIntoBucketsArray();
 683
 684   ValueHandleBase *&Entry = Handles[VP.getPointer()];
 685   assert(!Entry && "Value really did already have handles?");
 686   AddToExistingUseList(&Entry);
 687   VP.getPointer()->HasValueHandle = true;
 688
 689   // If reallocation didn't happen or if this was the first insertion, don't
 690   // walk the table.
 691   if (Handles.isPointerIntoBucketsArray(OldBucketPtr) ||
 692       Handles.size() == 1) {
 693     return;
 694   }
 695
 696   // Okay, reallocation did happen.  Fix the Prev Pointers.
 697   for (DenseMap<Value*, ValueHandleBase*>::iterator I = Handles.begin(),
 698        E = Handles.end(); I != E; ++I) {
 699     assert(I->second && I->first == I->second->VP.getPointer() &&
 700            "List invariant broken!");
 701     I->second->setPrevPtr(&I->second);
 702   }
 703 }
 704
 705 void ValueHandleBase::RemoveFromUseList() {
 706   assert(VP.getPointer() && VP.getPointer()->HasValueHandle &&
 707          "Pointer doesn't have a use list!");
 708
 709   // Unlink this from its use list.
 710   ValueHandleBase **PrevPtr = getPrevPtr();
 711   assert(*PrevPtr == this && "List invariant broken");
 712
 713   *PrevPtr = Next;
 714   if (Next) {
 715     assert(Next->getPrevPtr() == &Next && "List invariant broken");
 716     Next->setPrevPtr(PrevPtr);
 717     return;
 718   }
 719
 720   // If the Next pointer was null, then it is possible that this was the last
 721   // ValueHandle watching VP.  If so, delete its entry from the ValueHandles
 722   // map.
 723   LLVMContextImpl *pImpl = VP.getPointer()->getContext().pImpl;
 724   DenseMap<Value*, ValueHandleBase*> &Handles = pImpl->ValueHandles;
 725   if (Handles.isPointerIntoBucketsArray(PrevPtr)) {
 726     Handles.erase(VP.getPointer());
 727     VP.getPointer()->HasValueHandle = false;
 728   }
 729 }
 730
 731
 732 void ValueHandleBase::ValueIsDeleted(Value *V) {
 733   assert(V->HasValueHandle && "Should only be called if ValueHandles present");
 734
 735   // Get the linked list base, which is guaranteed to exist since the
 736   // HasValueHandle flag is set.
 737   LLVMContextImpl *pImpl = V->getContext().pImpl;
 738   ValueHandleBase *Entry = pImpl->ValueHandles[V];
 739   assert(Entry && "Value bit set but no entries exist");
 740
 741   // We use a local ValueHandleBase as an iterator so that ValueHandles can add
 742   // and remove themselves from the list without breaking our iteration.  This
 743   // is not really an AssertingVH; we just have to give ValueHandleBase a kind.
 744   // Note that we deliberately do not the support the case when dropping a value
 745   // handle results in a new value handle being permanently added to the list
 746   // (as might occur in theory for CallbackVH's): the new value handle will not
 747   // be processed and the checking code will mete out righteous punishment if
 748   // the handle is still present once we have finished processing all the other
 749   // value handles (it is fine to momentarily add then remove a value handle).
 750   for (ValueHandleBase Iterator(Assert, *Entry); Entry; Entry = Iterator.Next) {
 751     Iterator.RemoveFromUseList();
 752     Iterator.AddToExistingUseListAfter(Entry);
 753     assert(Entry->Next == &Iterator && "Loop invariant broken.");
 754
 755     switch (Entry->getKind()) {
 756     case Assert:
 757       break;
 758     case Tracking:
 759       // Mark that this value has been deleted by setting it to an invalid Value
 760       // pointer.
 761       Entry->operator=(DenseMapInfo<Value *>::getTombstoneKey());
 762       break;
 763     case Weak:
 764       // Weak just goes to null, which will unlink it from the list.
 765       Entry->operator=(nullptr);
 766       break;
 767     case Callback:
 768       // Forward to the subclass's implementation.
 769       static_cast<CallbackVH*>(Entry)->deleted();
 770       break;
 771     }
 772   }
 773
 774   // All callbacks, weak references, and assertingVHs should be dropped by now.
 775   if (V->HasValueHandle) {
 776 #ifndef NDEBUG      // Only in +Asserts mode...
 777     dbgs() << "While deleting: " << *V->getType() << " %" << V->getName()
 778            << "\n";
 779     if (pImpl->ValueHandles[V]->getKind() == Assert)
 780       llvm_unreachable("An asserting value handle still pointed to this"
 781                        " value!");
 782
 783 #endif
 784     llvm_unreachable("All references to V were not removed?");
 785   }
 786 }
 787
 788
 789 void ValueHandleBase::ValueIsRAUWd(Value *Old, Value *New) {
 790   assert(Old->HasValueHandle &&"Should only be called if ValueHandles present");
 791   assert(Old != New && "Changing value into itself!");
 792   assert(Old->getType() == New->getType() &&
 793          "replaceAllUses of value with new value of different type!");
 794
 795   // Get the linked list base, which is guaranteed to exist since the
 796   // HasValueHandle flag is set.
 797   LLVMContextImpl *pImpl = Old->getContext().pImpl;
 798   ValueHandleBase *Entry = pImpl->ValueHandles[Old];
 799
 800   assert(Entry && "Value bit set but no entries exist");
 801
 802   // We use a local ValueHandleBase as an iterator so that
 803   // ValueHandles can add and remove themselves from the list without
 804   // breaking our iteration.  This is not really an AssertingVH; we
 805   // just have to give ValueHandleBase some kind.
 806   for (ValueHandleBase Iterator(Assert, *Entry); Entry; Entry = Iterator.Next) {
 807     Iterator.RemoveFromUseList();
 808     Iterator.AddToExistingUseListAfter(Entry);
 809     assert(Entry->Next == &Iterator && "Loop invariant broken.");
 810
 811     switch (Entry->getKind()) {
 812     case Assert:
 813       // Asserting handle does not follow RAUW implicitly.
 814       break;
 815     case Tracking:
 816       // Tracking goes to new value like a WeakVH. Note that this may make it
 817       // something incompatible with its templated type. We don't want to have a
 818       // virtual (or inline) interface to handle this though, so instead we make
 819       // the TrackingVH accessors guarantee that a client never sees this value.
 820
 821       // FALLTHROUGH
 822     case Weak:
 823       // Weak goes to the new value, which will unlink it from Old's list.
 824       Entry->operator=(New);
 825       break;
 826     case Callback:
 827       // Forward to the subclass's implementation.
 828       static_cast<CallbackVH*>(Entry)->allUsesReplacedWith(New);
 829       break;
 830     }
 831   }
 832
 833 #ifndef NDEBUG
 834   // If any new tracking or weak value handles were added while processing the
 835   // list, then complain about it now.
 836   if (Old->HasValueHandle)
 837     for (Entry = pImpl->ValueHandles[Old]; Entry; Entry = Entry->Next)
 838       switch (Entry->getKind()) {
 839       case Tracking:
 840       case Weak:
 841         dbgs() << "After RAUW from " << *Old->getType() << " %"
 842                << Old->getName() << " to " << *New->getType() << " %"
 843                << New->getName() << "\n";
 844         llvm_unreachable("A tracking or weak value handle still pointed to the"
 845                          " old value!\n");
 846       default:
 847         break;
 848       }
 849 #endif
 850 }
 851
 852 // Pin the vtable to this file.
 853 void CallbackVH::anchor() {}