lib/IR/Metadata.cpp

   1 //===-- Metadata.cpp - Implement Metadata classes -------------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the Metadata classes.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "llvm/IR/Metadata.h"
  15 #include "LLVMContextImpl.h"
  16 #include "SymbolTableListTraitsImpl.h"
  17 #include "llvm/ADT/DenseMap.h"
  18 #include "llvm/ADT/STLExtras.h"
  19 #include "llvm/ADT/SmallSet.h"
  20 #include "llvm/ADT/SmallString.h"
  21 #include "llvm/ADT/StringMap.h"
  22 #include "llvm/IR/ConstantRange.h"
  23 #include "llvm/IR/Instruction.h"
  24 #include "llvm/IR/LLVMContext.h"
  25 #include "llvm/IR/LeakDetector.h"
  26 #include "llvm/IR/Module.h"
  27 #include "llvm/IR/ValueHandle.h"
  28
  29 using namespace llvm;
  30
  31 Metadata::Metadata(LLVMContext &Context, unsigned ID)
  32     : Value(Type::getMetadataTy(Context), ID) {}
  33
  34 //===----------------------------------------------------------------------===//
  35 // MDString implementation.
  36 //
  37
  38 void MDString::anchor() { }
  39
  40 MDString *MDString::get(LLVMContext &Context, StringRef Str) {
  41   auto &Store = Context.pImpl->MDStringCache;
  42   auto I = Store.find(Str);
  43   if (I != Store.end())
  44     return &I->second;
  45
  46   auto *Entry =
  47       StringMapEntry<MDString>::Create(Str, Store.getAllocator(), Context);
  48   bool WasInserted = Store.insert(Entry);
  49   (void)WasInserted;
  50   assert(WasInserted && "Expected entry to be inserted");
  51   Entry->second.Entry = Entry;
  52   return &Entry->second;
  53 }
  54
  55 StringRef MDString::getString() const {
  56   assert(Entry && "Expected to find string map entry");
  57   return Entry->first();
  58 }
  59
  60 //===----------------------------------------------------------------------===//
  61 // MDNodeOperand implementation.
  62 //
  63
  64 // Use CallbackVH to hold MDNode operands.
  65 namespace llvm {
  66 class MDNodeOperand : public CallbackVH {
  67   MDNode *getParent() {
  68     MDNodeOperand *Cur = this;
  69
  70     while (Cur->getValPtrInt() != 1)
  71       ++Cur;
  72
  73     assert(Cur->getValPtrInt() == 1 &&
  74            "Couldn't find the end of the operand list!");
  75     return reinterpret_cast<MDNode *>(Cur + 1);
  76   }
  77
  78 public:
  79   MDNodeOperand() {}
  80   virtual ~MDNodeOperand();
  81
  82   void set(Value *V) {
  83     unsigned IsLast = this->getValPtrInt();
  84     this->setValPtr(V);
  85     this->setAsLastOperand(IsLast);
  86   }
  87
  88   /// \brief Accessor method to mark the operand as the first in the list.
  89   void setAsLastOperand(unsigned I) { this->setValPtrInt(I); }
  90
  91   void deleted() override;
  92   void allUsesReplacedWith(Value *NV) override;
  93 };
  94 } // end namespace llvm.
  95
  96 // Provide out-of-line definition to prevent weak vtable.
  97 MDNodeOperand::~MDNodeOperand() {}
  98
  99 void MDNodeOperand::deleted() {
 100   getParent()->replaceOperand(this, nullptr);
 101 }
 102
 103 void MDNodeOperand::allUsesReplacedWith(Value *NV) {
 104   getParent()->replaceOperand(this, NV);
 105 }
 106
 107 //===----------------------------------------------------------------------===//
 108 // MDNode implementation.
 109 //
 110
 111 /// \brief Get the MDNodeOperand's coallocated on the end of the MDNode.
 112 static MDNodeOperand *getOperandPtr(MDNode *N, unsigned Op) {
 113   // Use <= instead of < to permit a one-past-the-end address.
 114   assert(Op <= N->getNumOperands() && "Invalid operand number");
 115   return reinterpret_cast<MDNodeOperand *>(N) - N->getNumOperands() + Op;
 116 }
 117
 118 void MDNode::replaceOperandWith(unsigned i, Value *Val) {
 119   MDNodeOperand *Op = getOperandPtr(this, i);
 120   replaceOperand(Op, Val);
 121 }
 122
 123 void *MDNode::operator new(size_t Size, unsigned NumOps) {
 124   void *Ptr = ::operator new(Size + NumOps * sizeof(MDNodeOperand));
 125   MDNodeOperand *Op = static_cast<MDNodeOperand *>(Ptr);
 126   if (NumOps) {
 127     MDNodeOperand *Last = Op + NumOps;
 128     for (; Op != Last; ++Op)
 129       new (Op) MDNodeOperand();
 130     (Op - 1)->setAsLastOperand(1);
 131   }
 132   return Op;
 133 }
 134
 135 void MDNode::operator delete(void *Mem) {
 136   MDNode *N = static_cast<MDNode *>(Mem);
 137   MDNodeOperand *Op = static_cast<MDNodeOperand *>(Mem);
 138   for (unsigned I = 0, E = N->NumOperands; I != E; ++I)
 139     (--Op)->~MDNodeOperand();
 140   ::operator delete(Op);
 141 }
 142
 143 MDNode::MDNode(LLVMContext &C, unsigned ID, ArrayRef<Value *> Vals,
 144                bool isFunctionLocal)
 145     : Metadata(C, ID) {
 146   NumOperands = Vals.size();
 147
 148   if (isFunctionLocal)
 149     setValueSubclassData(getSubclassDataFromValue() | FunctionLocalBit);
 150
 151   // Initialize the operand list.
 152   unsigned i = 0;
 153   for (MDNodeOperand *Op = getOperandPtr(this, 0), *E = Op + NumOperands;
 154        Op != E; ++Op, ++i)
 155     Op->set(Vals[i]);
 156 }
 157
 158 GenericMDNode::~GenericMDNode() {
 159   LLVMContextImpl *pImpl = getType()->getContext().pImpl;
 160   if (isNotUniqued()) {
 161     pImpl->NonUniquedMDNodes.erase(this);
 162   } else {
 163     pImpl->MDNodeSet.erase(this);
 164   }
 165 }
 166
 167 void GenericMDNode::dropAllReferences() {
 168   for (MDNodeOperand *Op = getOperandPtr(this, 0), *E = Op + NumOperands;
 169        Op != E; ++Op)
 170     Op->set(nullptr);
 171 }
 172
 173 static const Function *getFunctionForValue(Value *V) {
 174   if (!V) return nullptr;
 175   if (Instruction *I = dyn_cast<Instruction>(V)) {
 176     BasicBlock *BB = I->getParent();
 177     return BB ? BB->getParent() : nullptr;
 178   }
 179   if (Argument *A = dyn_cast<Argument>(V))
 180     return A->getParent();
 181   if (BasicBlock *BB = dyn_cast<BasicBlock>(V))
 182     return BB->getParent();
 183   if (MDNode *MD = dyn_cast<MDNode>(V))
 184     return MD->getFunction();
 185   return nullptr;
 186 }
 187
 188 // getFunction - If this metadata is function-local and recursively has a
 189 // function-local operand, return the first such operand's parent function.
 190 // Otherwise, return null. getFunction() should not be used for performance-
 191 // critical code because it recursively visits all the MDNode's operands.
 192 const Function *MDNode::getFunction() const {
 193   if (!isFunctionLocal())
 194     return nullptr;
 195   assert(getNumOperands() == 1 &&
 196          "Expected one operand for function-local metadata");
 197   assert(getOperand(0) &&
 198          "Expected non-null operand for function-local metadata");
 199   assert(!getOperand(0)->getType()->isMetadataTy() &&
 200          "Expected non-metadata as operand of function-local metadata");
 201   return getFunctionForValue(getOperand(0));
 202 }
 203
 204 /// \brief Check if the Value  would require a function-local MDNode.
 205 static bool isFunctionLocalValue(Value *V) {
 206   return isa<Instruction>(V) || isa<Argument>(V) || isa<BasicBlock>(V) ||
 207          (isa<MDNode>(V) && cast<MDNode>(V)->isFunctionLocal());
 208 }
 209
 210 MDNode *MDNode::getMDNode(LLVMContext &Context, ArrayRef<Value*> Vals,
 211                           FunctionLocalness FL, bool Insert) {
 212   auto &Store = Context.pImpl->MDNodeSet;
 213
 214   GenericMDNodeInfo::KeyTy Key(Vals);
 215   auto I = Store.find_as(Key);
 216   if (I != Store.end())
 217     return *I;
 218   if (!Insert)
 219     return nullptr;
 220
 221   bool isFunctionLocal = false;
 222   switch (FL) {
 223   case FL_Unknown:
 224     for (Value *V : Vals) {
 225       if (!V) continue;
 226       if (isFunctionLocalValue(V)) {
 227         isFunctionLocal = true;
 228         break;
 229       }
 230     }
 231     break;
 232   case FL_No:
 233     isFunctionLocal = false;
 234     break;
 235   case FL_Yes:
 236     isFunctionLocal = true;
 237     break;
 238   }
 239
 240   if (isFunctionLocal) {
 241     assert(Vals.size() == 1 &&
 242            "Expected exactly one operand for function-local metadata");
 243     assert(Vals[0] && "Expected non-null operand for function-local metadata");
 244     assert(!Vals[0]->getType()->isMetadataTy() &&
 245            "Expected non-metadata as operand of function-local metadata");
 246   }
 247
 248   // Coallocate space for the node and Operands together, then placement new.
 249   GenericMDNode *N =
 250       new (Vals.size()) GenericMDNode(Context, Vals, isFunctionLocal);
 251
 252   N->Hash = Key.Hash;
 253   Store.insert(N);
 254   return N;
 255 }
 256
 257 MDNode *MDNode::get(LLVMContext &Context, ArrayRef<Value*> Vals) {
 258   return getMDNode(Context, Vals, FL_Unknown);
 259 }
 260
 261 MDNode *MDNode::getWhenValsUnresolved(LLVMContext &Context,
 262                                       ArrayRef<Value*> Vals,
 263                                       bool isFunctionLocal) {
 264   return getMDNode(Context, Vals, isFunctionLocal ? FL_Yes : FL_No);
 265 }
 266
 267 MDNode *MDNode::getIfExists(LLVMContext &Context, ArrayRef<Value*> Vals) {
 268   return getMDNode(Context, Vals, FL_Unknown, false);
 269 }
 270
 271 MDNode *MDNode::getTemporary(LLVMContext &Context, ArrayRef<Value*> Vals) {
 272   MDNode *N = new (Vals.size()) MDNodeFwdDecl(Context, Vals, FL_No);
 273   N->setValueSubclassData(N->getSubclassDataFromValue() | NotUniquedBit);
 274   LeakDetector::addGarbageObject(N);
 275   return N;
 276 }
 277
 278 void MDNode::deleteTemporary(MDNode *N) {
 279   assert(N->use_empty() && "Temporary MDNode has uses!");
 280   assert(isa<MDNodeFwdDecl>(N) && "Expected forward declaration");
 281   assert((N->getSubclassDataFromValue() & NotUniquedBit) &&
 282          "Temporary MDNode does not have NotUniquedBit set!");
 283   LeakDetector::removeGarbageObject(N);
 284   delete cast<MDNodeFwdDecl>(N);
 285 }
 286
 287 /// \brief Return specified operand.
 288 Value *MDNode::getOperand(unsigned i) const {
 289   assert(i < getNumOperands() && "Invalid operand number");
 290   return *getOperandPtr(const_cast<MDNode*>(this), i);
 291 }
 292
 293 void MDNode::setIsNotUniqued() {
 294   setValueSubclassData(getSubclassDataFromValue() | NotUniquedBit);
 295   LLVMContextImpl *pImpl = getType()->getContext().pImpl;
 296   auto *G = cast<GenericMDNode>(this);
 297   G->Hash = 0;
 298   pImpl->NonUniquedMDNodes.insert(G);
 299 }
 300
 301 // Replace value from this node's operand list.
 302 void MDNode::replaceOperand(MDNodeOperand *Op, Value *To) {
 303   Value *From = *Op;
 304
 305   // If is possible that someone did GV->RAUW(inst), replacing a global variable
 306   // with an instruction or some other function-local object.  If this is a
 307   // non-function-local MDNode, it can't point to a function-local object.
 308   // Handle this case by implicitly dropping the MDNode reference to null.
 309   // Likewise if the MDNode is function-local but for a different function.
 310   if (To && isFunctionLocalValue(To)) {
 311     assert(!To->getType()->isMetadataTy() &&
 312            "Expected non-metadata as operand of function-local metadata");
 313     if (!isFunctionLocal())
 314       To = nullptr;
 315     else {
 316       const Function *F = getFunction();
 317       const Function *FV = getFunctionForValue(To);
 318       // Metadata can be function-local without having an associated function.
 319       // So only consider functions to have changed if non-null.
 320       if (F && FV && F != FV)
 321         To = nullptr;
 322     }
 323   }
 324
 325   if (From == To)
 326     return;
 327
 328   // If this MDValue was previously function-local but no longer is, clear
 329   // its function-local flag.
 330   if (isFunctionLocal() && !(To && isFunctionLocalValue(To))) {
 331     assert(getNumOperands() == 1 &&
 332            "Expected function-local metadata to have exactly one operand");
 333     setValueSubclassData(getSubclassDataFromValue() & ~FunctionLocalBit);
 334   }
 335
 336   // If this node is already not being uniqued (because one of the operands
 337   // already went to null), then there is nothing else to do here.
 338   if (isNotUniqued()) {
 339     Op->set(To);
 340     return;
 341   }
 342
 343   auto &Store = getContext().pImpl->MDNodeSet;
 344   auto *N = cast<GenericMDNode>(this);
 345
 346   // Remove "this" from the context map.
 347   Store.erase(N);
 348
 349   // Update the operand.
 350   Op->set(To);
 351
 352   // If we are dropping an argument to null, we choose to not unique the MDNode
 353   // anymore.  This commonly occurs during destruction, and uniquing these
 354   // brings little reuse.  Also, this means we don't need to include
 355   // isFunctionLocal bits in the hash for MDNodes.
 356   //
 357   // Also drop uniquing if this has a reference to itself.
 358   if (!To || To == this) {
 359     setIsNotUniqued();
 360     return;
 361   }
 362
 363   // Now that the node is out of the table, get ready to reinsert it.  First,
 364   // check to see if another node with the same operands already exists in the
 365   // set.  If so, then this node is redundant.
 366   SmallVector<Value *, 8> Vals;
 367   GenericMDNodeInfo::KeyTy Key(N, Vals);
 368   auto I = Store.find_as(Key);
 369   if (I != Store.end()) {
 370     N->replaceAllUsesWith(*I);
 371     delete N;
 372     return;
 373   }
 374
 375   N->Hash = Key.Hash;
 376   Store.insert(N);
 377 }
 378
 379 /// \brief Get a node, or a self-reference that looks like it.
 380 ///
 381 /// Special handling for finding self-references, for use by \a
 382 /// MDNode::concatenate() and \a MDNode::intersect() to maintain behaviour from
 383 /// when self-referencing nodes were still uniqued.  If the first operand has
 384 /// the same operands as \c Ops, return the first operand instead.
 385 static MDNode *getOrSelfReference(LLVMContext &Context, ArrayRef<Value *> Ops) {
 386   if (!Ops.empty())
 387     if (MDNode *N = dyn_cast_or_null<MDNode>(Ops[0]))
 388       if (N->getNumOperands() == Ops.size() && N == N->getOperand(0)) {
 389         for (unsigned I = 1, E = Ops.size(); I != E; ++I)
 390           if (Ops[I] != N->getOperand(I))
 391             return MDNode::get(Context, Ops);
 392         return N;
 393       }
 394
 395   return MDNode::get(Context, Ops);
 396 }
 397
 398 MDNode *MDNode::concatenate(MDNode *A, MDNode *B) {
 399   if (!A)
 400     return B;
 401   if (!B)
 402     return A;
 403
 404   SmallVector<Value *, 4> Vals(A->getNumOperands() +
 405                                B->getNumOperands());
 406
 407   unsigned j = 0;
 408   for (unsigned i = 0, ie = A->getNumOperands(); i != ie; ++i)
 409     Vals[j++] = A->getOperand(i);
 410   for (unsigned i = 0, ie = B->getNumOperands(); i != ie; ++i)
 411     Vals[j++] = B->getOperand(i);
 412
 413   // FIXME: This preserves long-standing behaviour, but is it really the right
 414   // behaviour?  Or was that an unintended side-effect of node uniquing?
 415   return getOrSelfReference(A->getContext(), Vals);
 416 }
 417
 418 MDNode *MDNode::intersect(MDNode *A, MDNode *B) {
 419   if (!A || !B)
 420     return nullptr;
 421
 422   SmallVector<Value *, 4> Vals;
 423   for (unsigned i = 0, ie = A->getNumOperands(); i != ie; ++i) {
 424     Value *V = A->getOperand(i);
 425     for (unsigned j = 0, je = B->getNumOperands(); j != je; ++j)
 426       if (V == B->getOperand(j)) {
 427         Vals.push_back(V);
 428         break;
 429       }
 430   }
 431
 432   // FIXME: This preserves long-standing behaviour, but is it really the right
 433   // behaviour?  Or was that an unintended side-effect of node uniquing?
 434   return getOrSelfReference(A->getContext(), Vals);
 435 }
 436
 437 MDNode *MDNode::getMostGenericFPMath(MDNode *A, MDNode *B) {
 438   if (!A || !B)
 439     return nullptr;
 440
 441   APFloat AVal = cast<ConstantFP>(A->getOperand(0))->getValueAPF();
 442   APFloat BVal = cast<ConstantFP>(B->getOperand(0))->getValueAPF();
 443   if (AVal.compare(BVal) == APFloat::cmpLessThan)
 444     return A;
 445   return B;
 446 }
 447
 448 static bool isContiguous(const ConstantRange &A, const ConstantRange &B) {
 449   return A.getUpper() == B.getLower() || A.getLower() == B.getUpper();
 450 }
 451
 452 static bool canBeMerged(const ConstantRange &A, const ConstantRange &B) {
 453   return !A.intersectWith(B).isEmptySet() || isContiguous(A, B);
 454 }
 455
 456 static bool tryMergeRange(SmallVectorImpl<Value *> &EndPoints, ConstantInt *Low,
 457                           ConstantInt *High) {
 458   ConstantRange NewRange(Low->getValue(), High->getValue());
 459   unsigned Size = EndPoints.size();
 460   APInt LB = cast<ConstantInt>(EndPoints[Size - 2])->getValue();
 461   APInt LE = cast<ConstantInt>(EndPoints[Size - 1])->getValue();
 462   ConstantRange LastRange(LB, LE);
 463   if (canBeMerged(NewRange, LastRange)) {
 464     ConstantRange Union = LastRange.unionWith(NewRange);
 465     Type *Ty = High->getType();
 466     EndPoints[Size - 2] = ConstantInt::get(Ty, Union.getLower());
 467     EndPoints[Size - 1] = ConstantInt::get(Ty, Union.getUpper());
 468     return true;
 469   }
 470   return false;
 471 }
 472
 473 static void addRange(SmallVectorImpl<Value *> &EndPoints, ConstantInt *Low,
 474                      ConstantInt *High) {
 475   if (!EndPoints.empty())
 476     if (tryMergeRange(EndPoints, Low, High))
 477       return;
 478
 479   EndPoints.push_back(Low);
 480   EndPoints.push_back(High);
 481 }
 482
 483 MDNode *MDNode::getMostGenericRange(MDNode *A, MDNode *B) {
 484   // Given two ranges, we want to compute the union of the ranges. This
 485   // is slightly complitade by having to combine the intervals and merge
 486   // the ones that overlap.
 487
 488   if (!A || !B)
 489     return nullptr;
 490
 491   if (A == B)
 492     return A;
 493
 494   // First, walk both lists in older of the lower boundary of each interval.
 495   // At each step, try to merge the new interval to the last one we adedd.
 496   SmallVector<Value*, 4> EndPoints;
 497   int AI = 0;
 498   int BI = 0;
 499   int AN = A->getNumOperands() / 2;
 500   int BN = B->getNumOperands() / 2;
 501   while (AI < AN && BI < BN) {
 502     ConstantInt *ALow = cast<ConstantInt>(A->getOperand(2 * AI));
 503     ConstantInt *BLow = cast<ConstantInt>(B->getOperand(2 * BI));
 504
 505     if (ALow->getValue().slt(BLow->getValue())) {
 506       addRange(EndPoints, ALow, cast<ConstantInt>(A->getOperand(2 * AI + 1)));
 507       ++AI;
 508     } else {
 509       addRange(EndPoints, BLow, cast<ConstantInt>(B->getOperand(2 * BI + 1)));
 510       ++BI;
 511     }
 512   }
 513   while (AI < AN) {
 514     addRange(EndPoints, cast<ConstantInt>(A->getOperand(2 * AI)),
 515              cast<ConstantInt>(A->getOperand(2 * AI + 1)));
 516     ++AI;
 517   }
 518   while (BI < BN) {
 519     addRange(EndPoints, cast<ConstantInt>(B->getOperand(2 * BI)),
 520              cast<ConstantInt>(B->getOperand(2 * BI + 1)));
 521     ++BI;
 522   }
 523
 524   // If we have more than 2 ranges (4 endpoints) we have to try to merge
 525   // the last and first ones.
 526   unsigned Size = EndPoints.size();
 527   if (Size > 4) {
 528     ConstantInt *FB = cast<ConstantInt>(EndPoints[0]);
 529     ConstantInt *FE = cast<ConstantInt>(EndPoints[1]);
 530     if (tryMergeRange(EndPoints, FB, FE)) {
 531       for (unsigned i = 0; i < Size - 2; ++i) {
 532         EndPoints[i] = EndPoints[i + 2];
 533       }
 534       EndPoints.resize(Size - 2);
 535     }
 536   }
 537
 538   // If in the end we have a single range, it is possible that it is now the
 539   // full range. Just drop the metadata in that case.
 540   if (EndPoints.size() == 2) {
 541     ConstantRange Range(cast<ConstantInt>(EndPoints[0])->getValue(),
 542                         cast<ConstantInt>(EndPoints[1])->getValue());
 543     if (Range.isFullSet())
 544       return nullptr;
 545   }
 546
 547   return MDNode::get(A->getContext(), EndPoints);
 548 }
 549
 550 //===----------------------------------------------------------------------===//
 551 // NamedMDNode implementation.
 552 //
 553
 554 static SmallVector<TrackingVH<MDNode>, 4> &getNMDOps(void *Operands) {
 555   return *(SmallVector<TrackingVH<MDNode>, 4> *)Operands;
 556 }
 557
 558 NamedMDNode::NamedMDNode(const Twine &N)
 559     : Name(N.str()), Parent(nullptr),
 560       Operands(new SmallVector<TrackingVH<MDNode>, 4>()) {}
 561
 562 NamedMDNode::~NamedMDNode() {
 563   dropAllReferences();
 564   delete &getNMDOps(Operands);
 565 }
 566
 567 unsigned NamedMDNode::getNumOperands() const {
 568   return (unsigned)getNMDOps(Operands).size();
 569 }
 570
 571 MDNode *NamedMDNode::getOperand(unsigned i) const {
 572   assert(i < getNumOperands() && "Invalid Operand number!");
 573   return &*getNMDOps(Operands)[i];
 574 }
 575
 576 void NamedMDNode::addOperand(MDNode *M) {
 577   assert(!M->isFunctionLocal() &&
 578          "NamedMDNode operands must not be function-local!");
 579   getNMDOps(Operands).push_back(TrackingVH<MDNode>(M));
 580 }
 581
 582 void NamedMDNode::eraseFromParent() {
 583   getParent()->eraseNamedMetadata(this);
 584 }
 585
 586 void NamedMDNode::dropAllReferences() {
 587   getNMDOps(Operands).clear();
 588 }
 589
 590 StringRef NamedMDNode::getName() const {
 591   return StringRef(Name);
 592 }
 593
 594 //===----------------------------------------------------------------------===//
 595 // Instruction Metadata method implementations.
 596 //
 597
 598 void Instruction::setMetadata(StringRef Kind, MDNode *Node) {
 599   if (!Node && !hasMetadata())
 600     return;
 601   setMetadata(getContext().getMDKindID(Kind), Node);
 602 }
 603
 604 MDNode *Instruction::getMetadataImpl(StringRef Kind) const {
 605   return getMetadataImpl(getContext().getMDKindID(Kind));
 606 }
 607
 608 void Instruction::dropUnknownMetadata(ArrayRef<unsigned> KnownIDs) {
 609   SmallSet<unsigned, 5> KnownSet;
 610   KnownSet.insert(KnownIDs.begin(), KnownIDs.end());
 611
 612   // Drop debug if needed
 613   if (KnownSet.erase(LLVMContext::MD_dbg))
 614     DbgLoc = DebugLoc();
 615
 616   if (!hasMetadataHashEntry())
 617     return; // Nothing to remove!
 618
 619   DenseMap<const Instruction *, LLVMContextImpl::MDMapTy> &MetadataStore =
 620       getContext().pImpl->MetadataStore;
 621
 622   if (KnownSet.empty()) {
 623     // Just drop our entry at the store.
 624     MetadataStore.erase(this);
 625     setHasMetadataHashEntry(false);
 626     return;
 627   }
 628
 629   LLVMContextImpl::MDMapTy &Info = MetadataStore[this];
 630   unsigned I;
 631   unsigned E;
 632   // Walk the array and drop any metadata we don't know.
 633   for (I = 0, E = Info.size(); I != E;) {
 634     if (KnownSet.count(Info[I].first)) {
 635       ++I;
 636       continue;
 637     }
 638
 639     Info[I] = Info.back();
 640     Info.pop_back();
 641     --E;
 642   }
 643   assert(E == Info.size());
 644
 645   if (E == 0) {
 646     // Drop our entry at the store.
 647     MetadataStore.erase(this);
 648     setHasMetadataHashEntry(false);
 649   }
 650 }
 651
 652 /// setMetadata - Set the metadata of of the specified kind to the specified
 653 /// node.  This updates/replaces metadata if already present, or removes it if
 654 /// Node is null.
 655 void Instruction::setMetadata(unsigned KindID, MDNode *Node) {
 656   if (!Node && !hasMetadata())
 657     return;
 658
 659   // Handle 'dbg' as a special case since it is not stored in the hash table.
 660   if (KindID == LLVMContext::MD_dbg) {
 661     DbgLoc = DebugLoc::getFromDILocation(Node);
 662     return;
 663   }
 664
 665   // Handle the case when we're adding/updating metadata on an instruction.
 666   if (Node) {
 667     assert(!Node->isFunctionLocal() &&
 668            "Function-local metadata cannot be attached to instructions");
 669     LLVMContextImpl::MDMapTy &Info = getContext().pImpl->MetadataStore[this];
 670     assert(!Info.empty() == hasMetadataHashEntry() &&
 671            "HasMetadata bit is wonked");
 672     if (Info.empty()) {
 673       setHasMetadataHashEntry(true);
 674     } else {
 675       // Handle replacement of an existing value.
 676       for (auto &P : Info)
 677         if (P.first == KindID) {
 678           P.second = Node;
 679           return;
 680         }
 681     }
 682
 683     // No replacement, just add it to the list.
 684     Info.push_back(std::make_pair(KindID, Node));
 685     return;
 686   }
 687
 688   // Otherwise, we're removing metadata from an instruction.
 689   assert((hasMetadataHashEntry() ==
 690           (getContext().pImpl->MetadataStore.count(this) > 0)) &&
 691          "HasMetadata bit out of date!");
 692   if (!hasMetadataHashEntry())
 693     return;  // Nothing to remove!
 694   LLVMContextImpl::MDMapTy &Info = getContext().pImpl->MetadataStore[this];
 695
 696   // Common case is removing the only entry.
 697   if (Info.size() == 1 && Info[0].first == KindID) {
 698     getContext().pImpl->MetadataStore.erase(this);
 699     setHasMetadataHashEntry(false);
 700     return;
 701   }
 702
 703   // Handle removal of an existing value.
 704   for (unsigned i = 0, e = Info.size(); i != e; ++i)
 705     if (Info[i].first == KindID) {
 706       Info[i] = Info.back();
 707       Info.pop_back();
 708       assert(!Info.empty() && "Removing last entry should be handled above");
 709       return;
 710     }
 711   // Otherwise, removing an entry that doesn't exist on the instruction.
 712 }
 713
 714 void Instruction::setAAMetadata(const AAMDNodes &N) {
 715   setMetadata(LLVMContext::MD_tbaa, N.TBAA);
 716   setMetadata(LLVMContext::MD_alias_scope, N.Scope);
 717   setMetadata(LLVMContext::MD_noalias, N.NoAlias);
 718 }
 719
 720 MDNode *Instruction::getMetadataImpl(unsigned KindID) const {
 721   // Handle 'dbg' as a special case since it is not stored in the hash table.
 722   if (KindID == LLVMContext::MD_dbg)
 723     return DbgLoc.getAsMDNode(getContext());
 724
 725   if (!hasMetadataHashEntry()) return nullptr;
 726
 727   LLVMContextImpl::MDMapTy &Info = getContext().pImpl->MetadataStore[this];
 728   assert(!Info.empty() && "bit out of sync with hash table");
 729
 730   for (const auto &I : Info)
 731     if (I.first == KindID)
 732       return I.second;
 733   return nullptr;
 734 }
 735
 736 void Instruction::getAllMetadataImpl(
 737     SmallVectorImpl<std::pair<unsigned, MDNode *>> &Result) const {
 738   Result.clear();
 739
 740   // Handle 'dbg' as a special case since it is not stored in the hash table.
 741   if (!DbgLoc.isUnknown()) {
 742     Result.push_back(std::make_pair((unsigned)LLVMContext::MD_dbg,
 743                                     DbgLoc.getAsMDNode(getContext())));
 744     if (!hasMetadataHashEntry()) return;
 745   }
 746
 747   assert(hasMetadataHashEntry() &&
 748          getContext().pImpl->MetadataStore.count(this) &&
 749          "Shouldn't have called this");
 750   const LLVMContextImpl::MDMapTy &Info =
 751     getContext().pImpl->MetadataStore.find(this)->second;
 752   assert(!Info.empty() && "Shouldn't have called this");
 753
 754   Result.append(Info.begin(), Info.end());
 755
 756   // Sort the resulting array so it is stable.
 757   if (Result.size() > 1)
 758     array_pod_sort(Result.begin(), Result.end());
 759 }
 760
 761 void Instruction::getAllMetadataOtherThanDebugLocImpl(
 762     SmallVectorImpl<std::pair<unsigned, MDNode *>> &Result) const {
 763   Result.clear();
 764   assert(hasMetadataHashEntry() &&
 765          getContext().pImpl->MetadataStore.count(this) &&
 766          "Shouldn't have called this");
 767   const LLVMContextImpl::MDMapTy &Info =
 768     getContext().pImpl->MetadataStore.find(this)->second;
 769   assert(!Info.empty() && "Shouldn't have called this");
 770   Result.append(Info.begin(), Info.end());
 771
 772   // Sort the resulting array so it is stable.
 773   if (Result.size() > 1)
 774     array_pod_sort(Result.begin(), Result.end());
 775 }
 776
 777 /// clearMetadataHashEntries - Clear all hashtable-based metadata from
 778 /// this instruction.
 779 void Instruction::clearMetadataHashEntries() {
 780   assert(hasMetadataHashEntry() && "Caller should check");
 781   getContext().pImpl->MetadataStore.erase(this);
 782   setHasMetadataHashEntry(false);
 783 }
 784