lib/Bitcode/Writer/ValueEnumerator.cpp

   1 //===-- ValueEnumerator.cpp - Number values and types for bitcode writer --===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the ValueEnumerator class.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "ValueEnumerator.h"
  15 #include "llvm/ADT/STLExtras.h"
  16 #include "llvm/ADT/SmallPtrSet.h"
  17 #include "llvm/IR/Constants.h"
  18 #include "llvm/IR/DebugInfoMetadata.h"
  19 #include "llvm/IR/DerivedTypes.h"
  20 #include "llvm/IR/Instructions.h"
  21 #include "llvm/IR/Module.h"
  22 #include "llvm/IR/UseListOrder.h"
  23 #include "llvm/IR/ValueSymbolTable.h"
  24 #include "llvm/Support/Debug.h"
  25 #include "llvm/Support/raw_ostream.h"
  26 #include <algorithm>
  27 using namespace llvm;
  28
  29 namespace {
  30 struct OrderMap {
  31   DenseMap<const Value *, std::pair<unsigned, bool>> IDs;
  32   unsigned LastGlobalConstantID;
  33   unsigned LastGlobalValueID;
  34
  35   OrderMap() : LastGlobalConstantID(0), LastGlobalValueID(0) {}
  36
  37   bool isGlobalConstant(unsigned ID) const {
  38     return ID <= LastGlobalConstantID;
  39   }
  40   bool isGlobalValue(unsigned ID) const {
  41     return ID <= LastGlobalValueID && !isGlobalConstant(ID);
  42   }
  43
  44   unsigned size() const { return IDs.size(); }
  45   std::pair<unsigned, bool> &operator[](const Value *V) { return IDs[V]; }
  46   std::pair<unsigned, bool> lookup(const Value *V) const {
  47     return IDs.lookup(V);
  48   }
  49   void index(const Value *V) {
  50     // Explicitly sequence get-size and insert-value operations to avoid UB.
  51     unsigned ID = IDs.size() + 1;
  52     IDs[V].first = ID;
  53   }
  54 };
  55 }
  56
  57 static void orderValue(const Value *V, OrderMap &OM) {
  58   if (OM.lookup(V).first)
  59     return;
  60
  61   if (const Constant *C = dyn_cast<Constant>(V))
  62     if (C->getNumOperands() && !isa<GlobalValue>(C))
  63       for (const Value *Op : C->operands())
  64         if (!isa<BasicBlock>(Op) && !isa<GlobalValue>(Op))
  65           orderValue(Op, OM);
  66
  67   // Note: we cannot cache this lookup above, since inserting into the map
  68   // changes the map's size, and thus affects the other IDs.
  69   OM.index(V);
  70 }
  71
  72 static OrderMap orderModule(const Module &M) {
  73   // This needs to match the order used by ValueEnumerator::ValueEnumerator()
  74   // and ValueEnumerator::incorporateFunction().
  75   OrderMap OM;
  76
  77   // In the reader, initializers of GlobalValues are set *after* all the
  78   // globals have been read.  Rather than awkwardly modeling this behaviour
  79   // directly in predictValueUseListOrderImpl(), just assign IDs to
  80   // initializers of GlobalValues before GlobalValues themselves to model this
  81   // implicitly.
  82   for (const GlobalVariable &G : M.globals())
  83     if (G.hasInitializer())
  84       if (!isa<GlobalValue>(G.getInitializer()))
  85         orderValue(G.getInitializer(), OM);
  86   for (const GlobalAlias &A : M.aliases())
  87     if (!isa<GlobalValue>(A.getAliasee()))
  88       orderValue(A.getAliasee(), OM);
  89   for (const Function &F : M) {
  90     if (F.hasPrefixData())
  91       if (!isa<GlobalValue>(F.getPrefixData()))
  92         orderValue(F.getPrefixData(), OM);
  93     if (F.hasPrologueData())
  94       if (!isa<GlobalValue>(F.getPrologueData()))
  95         orderValue(F.getPrologueData(), OM);
  96   }
  97   OM.LastGlobalConstantID = OM.size();
  98
  99   // Initializers of GlobalValues are processed in
 100   // BitcodeReader::ResolveGlobalAndAliasInits().  Match the order there rather
 101   // than ValueEnumerator, and match the code in predictValueUseListOrderImpl()
 102   // by giving IDs in reverse order.
 103   //
 104   // Since GlobalValues never reference each other directly (just through
 105   // initializers), their relative IDs only matter for determining order of
 106   // uses in their initializers.
 107   for (const Function &F : M)
 108     orderValue(&F, OM);
 109   for (const GlobalAlias &A : M.aliases())
 110     orderValue(&A, OM);
 111   for (const GlobalVariable &G : M.globals())
 112     orderValue(&G, OM);
 113   OM.LastGlobalValueID = OM.size();
 114
 115   for (const Function &F : M) {
 116     if (F.isDeclaration())
 117       continue;
 118     // Here we need to match the union of ValueEnumerator::incorporateFunction()
 119     // and WriteFunction().  Basic blocks are implicitly declared before
 120     // anything else (by declaring their size).
 121     for (const BasicBlock &BB : F)
 122       orderValue(&BB, OM);
 123     for (const Argument &A : F.args())
 124       orderValue(&A, OM);
 125     for (const BasicBlock &BB : F)
 126       for (const Instruction &I : BB)
 127         for (const Value *Op : I.operands())
 128           if ((isa<Constant>(*Op) && !isa<GlobalValue>(*Op)) ||
 129               isa<InlineAsm>(*Op))
 130             orderValue(Op, OM);
 131     for (const BasicBlock &BB : F)
 132       for (const Instruction &I : BB)
 133         orderValue(&I, OM);
 134   }
 135   return OM;
 136 }
 137
 138 static void predictValueUseListOrderImpl(const Value *V, const Function *F,
 139                                          unsigned ID, const OrderMap &OM,
 140                                          UseListOrderStack &Stack) {
 141   // Predict use-list order for this one.
 142   typedef std::pair<const Use *, unsigned> Entry;
 143   SmallVector<Entry, 64> List;
 144   for (const Use &U : V->uses())
 145     // Check if this user will be serialized.
 146     if (OM.lookup(U.getUser()).first)
 147       List.push_back(std::make_pair(&U, List.size()));
 148
 149   if (List.size() < 2)
 150     // We may have lost some users.
 151     return;
 152
 153   bool IsGlobalValue = OM.isGlobalValue(ID);
 154   std::sort(List.begin(), List.end(), [&](const Entry &L, const Entry &R) {
 155     const Use *LU = L.first;
 156     const Use *RU = R.first;
 157     if (LU == RU)
 158       return false;
 159
 160     auto LID = OM.lookup(LU->getUser()).first;
 161     auto RID = OM.lookup(RU->getUser()).first;
 162
 163     // Global values are processed in reverse order.
 164     //
 165     // Moreover, initializers of GlobalValues are set *after* all the globals
 166     // have been read (despite having earlier IDs).  Rather than awkwardly
 167     // modeling this behaviour here, orderModule() has assigned IDs to
 168     // initializers of GlobalValues before GlobalValues themselves.
 169     if (OM.isGlobalValue(LID) && OM.isGlobalValue(RID))
 170       return LID < RID;
 171
 172     // If ID is 4, then expect: 7 6 5 1 2 3.
 173     if (LID < RID) {
 174       if (RID <= ID)
 175         if (!IsGlobalValue) // GlobalValue uses don't get reversed.
 176           return true;
 177       return false;
 178     }
 179     if (RID < LID) {
 180       if (LID <= ID)
 181         if (!IsGlobalValue) // GlobalValue uses don't get reversed.
 182           return false;
 183       return true;
 184     }
 185
 186     // LID and RID are equal, so we have different operands of the same user.
 187     // Assume operands are added in order for all instructions.
 188     if (LID <= ID)
 189       if (!IsGlobalValue) // GlobalValue uses don't get reversed.
 190         return LU->getOperandNo() < RU->getOperandNo();
 191     return LU->getOperandNo() > RU->getOperandNo();
 192   });
 193
 194   if (std::is_sorted(
 195           List.begin(), List.end(),
 196           [](const Entry &L, const Entry &R) { return L.second < R.second; }))
 197     // Order is already correct.
 198     return;
 199
 200   // Store the shuffle.
 201   Stack.emplace_back(V, F, List.size());
 202   assert(List.size() == Stack.back().Shuffle.size() && "Wrong size");
 203   for (size_t I = 0, E = List.size(); I != E; ++I)
 204     Stack.back().Shuffle[I] = List[I].second;
 205 }
 206
 207 static void predictValueUseListOrder(const Value *V, const Function *F,
 208                                      OrderMap &OM, UseListOrderStack &Stack) {
 209   auto &IDPair = OM[V];
 210   assert(IDPair.first && "Unmapped value");
 211   if (IDPair.second)
 212     // Already predicted.
 213     return;
 214
 215   // Do the actual prediction.
 216   IDPair.second = true;
 217   if (!V->use_empty() && std::next(V->use_begin()) != V->use_end())
 218     predictValueUseListOrderImpl(V, F, IDPair.first, OM, Stack);
 219
 220   // Recursive descent into constants.
 221   if (const Constant *C = dyn_cast<Constant>(V))
 222     if (C->getNumOperands()) // Visit GlobalValues.
 223       for (const Value *Op : C->operands())
 224         if (isa<Constant>(Op)) // Visit GlobalValues.
 225           predictValueUseListOrder(Op, F, OM, Stack);
 226 }
 227
 228 static UseListOrderStack predictUseListOrder(const Module &M) {
 229   OrderMap OM = orderModule(M);
 230
 231   // Use-list orders need to be serialized after all the users have been added
 232   // to a value, or else the shuffles will be incomplete.  Store them per
 233   // function in a stack.
 234   //
 235   // Aside from function order, the order of values doesn't matter much here.
 236   UseListOrderStack Stack;
 237
 238   // We want to visit the functions backward now so we can list function-local
 239   // constants in the last Function they're used in.  Module-level constants
 240   // have already been visited above.
 241   for (auto I = M.rbegin(), E = M.rend(); I != E; ++I) {
 242     const Function &F = *I;
 243     if (F.isDeclaration())
 244       continue;
 245     for (const BasicBlock &BB : F)
 246       predictValueUseListOrder(&BB, &F, OM, Stack);
 247     for (const Argument &A : F.args())
 248       predictValueUseListOrder(&A, &F, OM, Stack);
 249     for (const BasicBlock &BB : F)
 250       for (const Instruction &I : BB)
 251         for (const Value *Op : I.operands())
 252           if (isa<Constant>(*Op) || isa<InlineAsm>(*Op)) // Visit GlobalValues.
 253             predictValueUseListOrder(Op, &F, OM, Stack);
 254     for (const BasicBlock &BB : F)
 255       for (const Instruction &I : BB)
 256         predictValueUseListOrder(&I, &F, OM, Stack);
 257   }
 258
 259   // Visit globals last, since the module-level use-list block will be seen
 260   // before the function bodies are processed.
 261   for (const GlobalVariable &G : M.globals())
 262     predictValueUseListOrder(&G, nullptr, OM, Stack);
 263   for (const Function &F : M)
 264     predictValueUseListOrder(&F, nullptr, OM, Stack);
 265   for (const GlobalAlias &A : M.aliases())
 266     predictValueUseListOrder(&A, nullptr, OM, Stack);
 267   for (const GlobalVariable &G : M.globals())
 268     if (G.hasInitializer())
 269       predictValueUseListOrder(G.getInitializer(), nullptr, OM, Stack);
 270   for (const GlobalAlias &A : M.aliases())
 271     predictValueUseListOrder(A.getAliasee(), nullptr, OM, Stack);
 272   for (const Function &F : M) {
 273     if (F.hasPrefixData())
 274       predictValueUseListOrder(F.getPrefixData(), nullptr, OM, Stack);
 275     if (F.hasPrologueData())
 276       predictValueUseListOrder(F.getPrologueData(), nullptr, OM, Stack);
 277   }
 278
 279   return Stack;
 280 }
 281
 282 static bool isIntOrIntVectorValue(const std::pair<const Value*, unsigned> &V) {
 283   return V.first->getType()->isIntOrIntVectorTy();
 284 }
 285
 286 ValueEnumerator::ValueEnumerator(const Module &M)
 287     : HasMDString(false), HasMDLocation(false) {
 288   if (shouldPreserveBitcodeUseListOrder())
 289     UseListOrders = predictUseListOrder(M);
 290
 291   // Enumerate the global variables.
 292   for (Module::const_global_iterator I = M.global_begin(), E = M.global_end();
 293        I != E; ++I)
 294     EnumerateValue(I);
 295
 296   // Enumerate the functions.
 297   for (Module::const_iterator I = M.begin(), E = M.end(); I != E; ++I) {
 298     EnumerateValue(I);
 299     EnumerateAttributes(cast<Function>(I)->getAttributes());
 300   }
 301
 302   // Enumerate the aliases.
 303   for (Module::const_alias_iterator I = M.alias_begin(), E = M.alias_end();
 304        I != E; ++I)
 305     EnumerateValue(I);
 306
 307   // Remember what is the cutoff between globalvalue's and other constants.
 308   unsigned FirstConstant = Values.size();
 309
 310   // Enumerate the global variable initializers.
 311   for (Module::const_global_iterator I = M.global_begin(), E = M.global_end();
 312        I != E; ++I)
 313     if (I->hasInitializer())
 314       EnumerateValue(I->getInitializer());
 315
 316   // Enumerate the aliasees.
 317   for (Module::const_alias_iterator I = M.alias_begin(), E = M.alias_end();
 318        I != E; ++I)
 319     EnumerateValue(I->getAliasee());
 320
 321   // Enumerate the prefix data constants.
 322   for (Module::const_iterator I = M.begin(), E = M.end(); I != E; ++I)
 323     if (I->hasPrefixData())
 324       EnumerateValue(I->getPrefixData());
 325
 326   // Enumerate the prologue data constants.
 327   for (Module::const_iterator I = M.begin(), E = M.end(); I != E; ++I)
 328     if (I->hasPrologueData())
 329       EnumerateValue(I->getPrologueData());
 330
 331   // Enumerate the metadata type.
 332   //
 333   // TODO: Move this to ValueEnumerator::EnumerateOperandType() once bitcode
 334   // only encodes the metadata type when it's used as a value.
 335   EnumerateType(Type::getMetadataTy(M.getContext()));
 336
 337   // Insert constants and metadata that are named at module level into the slot
 338   // pool so that the module symbol table can refer to them...
 339   EnumerateValueSymbolTable(M.getValueSymbolTable());
 340   EnumerateNamedMetadata(M);
 341
 342   SmallVector<std::pair<unsigned, MDNode *>, 8> MDs;
 343
 344   // Enumerate types used by function bodies and argument lists.
 345   for (const Function &F : M) {
 346     for (const Argument &A : F.args())
 347       EnumerateType(A.getType());
 348
 349     for (const BasicBlock &BB : F)
 350       for (const Instruction &I : BB) {
 351         for (const Use &Op : I.operands()) {
 352           auto *MD = dyn_cast<MetadataAsValue>(&Op);
 353           if (!MD) {
 354             EnumerateOperandType(Op);
 355             continue;
 356           }
 357
 358           // Local metadata is enumerated during function-incorporation.
 359           if (isa<LocalAsMetadata>(MD->getMetadata()))
 360             continue;
 361
 362           EnumerateMetadata(MD->getMetadata());
 363         }
 364         EnumerateType(I.getType());
 365         if (const CallInst *CI = dyn_cast<CallInst>(&I))
 366           EnumerateAttributes(CI->getAttributes());
 367         else if (const InvokeInst *II = dyn_cast<InvokeInst>(&I))
 368           EnumerateAttributes(II->getAttributes());
 369
 370         // Enumerate metadata attached with this instruction.
 371         MDs.clear();
 372         I.getAllMetadataOtherThanDebugLoc(MDs);
 373         for (unsigned i = 0, e = MDs.size(); i != e; ++i)
 374           EnumerateMetadata(MDs[i].second);
 375
 376         if (!I.getDebugLoc().isUnknown()) {
 377           MDNode *Scope, *IA;
 378           I.getDebugLoc().getScopeAndInlinedAt(Scope, IA, I.getContext());
 379           if (Scope) EnumerateMetadata(Scope);
 380           if (IA) EnumerateMetadata(IA);
 381         }
 382       }
 383   }
 384
 385   // Optimize constant ordering.
 386   OptimizeConstants(FirstConstant, Values.size());
 387 }
 388
 389 unsigned ValueEnumerator::getInstructionID(const Instruction *Inst) const {
 390   InstructionMapType::const_iterator I = InstructionMap.find(Inst);
 391   assert(I != InstructionMap.end() && "Instruction is not mapped!");
 392   return I->second;
 393 }
 394
 395 unsigned ValueEnumerator::getComdatID(const Comdat *C) const {
 396   unsigned ComdatID = Comdats.idFor(C);
 397   assert(ComdatID && "Comdat not found!");
 398   return ComdatID;
 399 }
 400
 401 void ValueEnumerator::setInstructionID(const Instruction *I) {
 402   InstructionMap[I] = InstructionCount++;
 403 }
 404
 405 unsigned ValueEnumerator::getValueID(const Value *V) const {
 406   if (auto *MD = dyn_cast<MetadataAsValue>(V))
 407     return getMetadataID(MD->getMetadata());
 408
 409   ValueMapType::const_iterator I = ValueMap.find(V);
 410   assert(I != ValueMap.end() && "Value not in slotcalculator!");
 411   return I->second-1;
 412 }
 413
 414 void ValueEnumerator::dump() const {
 415   print(dbgs(), ValueMap, "Default");
 416   dbgs() << '\n';
 417   print(dbgs(), MDValueMap, "MetaData");
 418   dbgs() << '\n';
 419 }
 420
 421 void ValueEnumerator::print(raw_ostream &OS, const ValueMapType &Map,
 422                             const char *Name) const {
 423
 424   OS << "Map Name: " << Name << "\n";
 425   OS << "Size: " << Map.size() << "\n";
 426   for (ValueMapType::const_iterator I = Map.begin(),
 427          E = Map.end(); I != E; ++I) {
 428
 429     const Value *V = I->first;
 430     if (V->hasName())
 431       OS << "Value: " << V->getName();
 432     else
 433       OS << "Value: [null]\n";
 434     V->dump();
 435
 436     OS << " Uses(" << std::distance(V->use_begin(),V->use_end()) << "):";
 437     for (const Use &U : V->uses()) {
 438       if (&U != &*V->use_begin())
 439         OS << ",";
 440       if(U->hasName())
 441         OS << " " << U->getName();
 442       else
 443         OS << " [null]";
 444
 445     }
 446     OS <<  "\n\n";
 447   }
 448 }
 449
 450 void ValueEnumerator::print(raw_ostream &OS, const MetadataMapType &Map,
 451                             const char *Name) const {
 452
 453   OS << "Map Name: " << Name << "\n";
 454   OS << "Size: " << Map.size() << "\n";
 455   for (auto I = Map.begin(), E = Map.end(); I != E; ++I) {
 456     const Metadata *MD = I->first;
 457     OS << "Metadata: slot = " << I->second << "\n";
 458     MD->print(OS);
 459   }
 460 }
 461
 462 /// OptimizeConstants - Reorder constant pool for denser encoding.
 463 void ValueEnumerator::OptimizeConstants(unsigned CstStart, unsigned CstEnd) {
 464   if (CstStart == CstEnd || CstStart+1 == CstEnd) return;
 465
 466   if (shouldPreserveBitcodeUseListOrder())
 467     // Optimizing constants makes the use-list order difficult to predict.
 468     // Disable it for now when trying to preserve the order.
 469     return;
 470
 471   std::stable_sort(Values.begin() + CstStart, Values.begin() + CstEnd,
 472                    [this](const std::pair<const Value *, unsigned> &LHS,
 473                           const std::pair<const Value *, unsigned> &RHS) {
 474     // Sort by plane.
 475     if (LHS.first->getType() != RHS.first->getType())
 476       return getTypeID(LHS.first->getType()) < getTypeID(RHS.first->getType());
 477     // Then by frequency.
 478     return LHS.second > RHS.second;
 479   });
 480
 481   // Ensure that integer and vector of integer constants are at the start of the
 482   // constant pool.  This is important so that GEP structure indices come before
 483   // gep constant exprs.
 484   std::partition(Values.begin()+CstStart, Values.begin()+CstEnd,
 485                  isIntOrIntVectorValue);
 486
 487   // Rebuild the modified portion of ValueMap.
 488   for (; CstStart != CstEnd; ++CstStart)
 489     ValueMap[Values[CstStart].first] = CstStart+1;
 490 }
 491
 492
 493 /// EnumerateValueSymbolTable - Insert all of the values in the specified symbol
 494 /// table into the values table.
 495 void ValueEnumerator::EnumerateValueSymbolTable(const ValueSymbolTable &VST) {
 496   for (ValueSymbolTable::const_iterator VI = VST.begin(), VE = VST.end();
 497        VI != VE; ++VI)
 498     EnumerateValue(VI->getValue());
 499 }
 500
 501 /// Insert all of the values referenced by named metadata in the specified
 502 /// module.
 503 void ValueEnumerator::EnumerateNamedMetadata(const Module &M) {
 504   for (Module::const_named_metadata_iterator I = M.named_metadata_begin(),
 505                                              E = M.named_metadata_end();
 506        I != E; ++I)
 507     EnumerateNamedMDNode(I);
 508 }
 509
 510 void ValueEnumerator::EnumerateNamedMDNode(const NamedMDNode *MD) {
 511   for (unsigned i = 0, e = MD->getNumOperands(); i != e; ++i)
 512     EnumerateMetadata(MD->getOperand(i));
 513 }
 514
 515 /// EnumerateMDNodeOperands - Enumerate all non-function-local values
 516 /// and types referenced by the given MDNode.
 517 void ValueEnumerator::EnumerateMDNodeOperands(const MDNode *N) {
 518   for (unsigned i = 0, e = N->getNumOperands(); i != e; ++i) {
 519     Metadata *MD = N->getOperand(i);
 520     if (!MD)
 521       continue;
 522     assert(!isa<LocalAsMetadata>(MD) && "MDNodes cannot be function-local");
 523     EnumerateMetadata(MD);
 524   }
 525 }
 526
 527 void ValueEnumerator::EnumerateMetadata(const Metadata *MD) {
 528   assert(
 529       (isa<MDNode>(MD) || isa<MDString>(MD) || isa<ConstantAsMetadata>(MD)) &&
 530       "Invalid metadata kind");
 531
 532   // Insert a dummy ID to block the co-recursive call to
 533   // EnumerateMDNodeOperands() from re-visiting MD in a cyclic graph.
 534   //
 535   // Return early if there's already an ID.
 536   if (!MDValueMap.insert(std::make_pair(MD, 0)).second)
 537     return;
 538
 539   // Visit operands first to minimize RAUW.
 540   if (auto *N = dyn_cast<MDNode>(MD))
 541     EnumerateMDNodeOperands(N);
 542   else if (auto *C = dyn_cast<ConstantAsMetadata>(MD))
 543     EnumerateValue(C->getValue());
 544
 545   HasMDString |= isa<MDString>(MD);
 546   HasMDLocation |= isa<MDLocation>(MD);
 547
 548   // Replace the dummy ID inserted above with the correct one.  MDValueMap may
 549   // have changed by inserting operands, so we need a fresh lookup here.
 550   MDs.push_back(MD);
 551   MDValueMap[MD] = MDs.size();
 552 }
 553
 554 /// EnumerateFunctionLocalMetadataa - Incorporate function-local metadata
 555 /// information reachable from the metadata.
 556 void ValueEnumerator::EnumerateFunctionLocalMetadata(
 557     const LocalAsMetadata *Local) {
 558   // Check to see if it's already in!
 559   unsigned &MDValueID = MDValueMap[Local];
 560   if (MDValueID)
 561     return;
 562
 563   MDs.push_back(Local);
 564   MDValueID = MDs.size();
 565
 566   EnumerateValue(Local->getValue());
 567
 568   // Also, collect all function-local metadata for easy access.
 569   FunctionLocalMDs.push_back(Local);
 570 }
 571
 572 void ValueEnumerator::EnumerateValue(const Value *V) {
 573   assert(!V->getType()->isVoidTy() && "Can't insert void values!");
 574   assert(!isa<MetadataAsValue>(V) && "EnumerateValue doesn't handle Metadata!");
 575
 576   // Check to see if it's already in!
 577   unsigned &ValueID = ValueMap[V];
 578   if (ValueID) {
 579     // Increment use count.
 580     Values[ValueID-1].second++;
 581     return;
 582   }
 583
 584   if (auto *GO = dyn_cast<GlobalObject>(V))
 585     if (const Comdat *C = GO->getComdat())
 586       Comdats.insert(C);
 587
 588   // Enumerate the type of this value.
 589   EnumerateType(V->getType());
 590
 591   if (const Constant *C = dyn_cast<Constant>(V)) {
 592     if (isa<GlobalValue>(C)) {
 593       // Initializers for globals are handled explicitly elsewhere.
 594     } else if (C->getNumOperands()) {
 595       // If a constant has operands, enumerate them.  This makes sure that if a
 596       // constant has uses (for example an array of const ints), that they are
 597       // inserted also.
 598
 599       // We prefer to enumerate them with values before we enumerate the user
 600       // itself.  This makes it more likely that we can avoid forward references
 601       // in the reader.  We know that there can be no cycles in the constants
 602       // graph that don't go through a global variable.
 603       for (User::const_op_iterator I = C->op_begin(), E = C->op_end();
 604            I != E; ++I)
 605         if (!isa<BasicBlock>(*I)) // Don't enumerate BB operand to BlockAddress.
 606           EnumerateValue(*I);
 607
 608       // Finally, add the value.  Doing this could make the ValueID reference be
 609       // dangling, don't reuse it.
 610       Values.push_back(std::make_pair(V, 1U));
 611       ValueMap[V] = Values.size();
 612       return;
 613     }
 614   }
 615
 616   // Add the value.
 617   Values.push_back(std::make_pair(V, 1U));
 618   ValueID = Values.size();
 619 }
 620
 621
 622 void ValueEnumerator::EnumerateType(Type *Ty) {
 623   unsigned *TypeID = &TypeMap[Ty];
 624
 625   // We've already seen this type.
 626   if (*TypeID)
 627     return;
 628
 629   // If it is a non-anonymous struct, mark the type as being visited so that we
 630   // don't recursively visit it.  This is safe because we allow forward
 631   // references of these in the bitcode reader.
 632   if (StructType *STy = dyn_cast<StructType>(Ty))
 633     if (!STy->isLiteral())
 634       *TypeID = ~0U;
 635
 636   // Enumerate all of the subtypes before we enumerate this type.  This ensures
 637   // that the type will be enumerated in an order that can be directly built.
 638   for (Type *SubTy : Ty->subtypes())
 639     EnumerateType(SubTy);
 640
 641   // Refresh the TypeID pointer in case the table rehashed.
 642   TypeID = &TypeMap[Ty];
 643
 644   // Check to see if we got the pointer another way.  This can happen when
 645   // enumerating recursive types that hit the base case deeper than they start.
 646   //
 647   // If this is actually a struct that we are treating as forward ref'able,
 648   // then emit the definition now that all of its contents are available.
 649   if (*TypeID && *TypeID != ~0U)
 650     return;
 651
 652   // Add this type now that its contents are all happily enumerated.
 653   Types.push_back(Ty);
 654
 655   *TypeID = Types.size();
 656 }
 657
 658 // Enumerate the types for the specified value.  If the value is a constant,
 659 // walk through it, enumerating the types of the constant.
 660 void ValueEnumerator::EnumerateOperandType(const Value *V) {
 661   EnumerateType(V->getType());
 662
 663   if (auto *MD = dyn_cast<MetadataAsValue>(V)) {
 664     assert(!isa<LocalAsMetadata>(MD->getMetadata()) &&
 665            "Function-local metadata should be left for later");
 666
 667     EnumerateMetadata(MD->getMetadata());
 668     return;
 669   }
 670
 671   const Constant *C = dyn_cast<Constant>(V);
 672   if (!C)
 673     return;
 674
 675   // If this constant is already enumerated, ignore it, we know its type must
 676   // be enumerated.
 677   if (ValueMap.count(C))
 678     return;
 679
 680   // This constant may have operands, make sure to enumerate the types in
 681   // them.
 682   for (unsigned i = 0, e = C->getNumOperands(); i != e; ++i) {
 683     const Value *Op = C->getOperand(i);
 684
 685     // Don't enumerate basic blocks here, this happens as operands to
 686     // blockaddress.
 687     if (isa<BasicBlock>(Op))
 688       continue;
 689
 690     EnumerateOperandType(Op);
 691   }
 692 }
 693
 694 void ValueEnumerator::EnumerateAttributes(AttributeSet PAL) {
 695   if (PAL.isEmpty()) return;  // null is always 0.
 696
 697   // Do a lookup.
 698   unsigned &Entry = AttributeMap[PAL];
 699   if (Entry == 0) {
 700     // Never saw this before, add it.
 701     Attribute.push_back(PAL);
 702     Entry = Attribute.size();
 703   }
 704
 705   // Do lookups for all attribute groups.
 706   for (unsigned i = 0, e = PAL.getNumSlots(); i != e; ++i) {
 707     AttributeSet AS = PAL.getSlotAttributes(i);
 708     unsigned &Entry = AttributeGroupMap[AS];
 709     if (Entry == 0) {
 710       AttributeGroups.push_back(AS);
 711       Entry = AttributeGroups.size();
 712     }
 713   }
 714 }
 715
 716 void ValueEnumerator::incorporateFunction(const Function &F) {
 717   InstructionCount = 0;
 718   NumModuleValues = Values.size();
 719   NumModuleMDs = MDs.size();
 720
 721   // Adding function arguments to the value table.
 722   for (Function::const_arg_iterator I = F.arg_begin(), E = F.arg_end();
 723        I != E; ++I)
 724     EnumerateValue(I);
 725
 726   FirstFuncConstantID = Values.size();
 727
 728   // Add all function-level constants to the value table.
 729   for (Function::const_iterator BB = F.begin(), E = F.end(); BB != E; ++BB) {
 730     for (BasicBlock::const_iterator I = BB->begin(), E = BB->end(); I!=E; ++I)
 731       for (User::const_op_iterator OI = I->op_begin(), E = I->op_end();
 732            OI != E; ++OI) {
 733         if ((isa<Constant>(*OI) && !isa<GlobalValue>(*OI)) ||
 734             isa<InlineAsm>(*OI))
 735           EnumerateValue(*OI);
 736       }
 737     BasicBlocks.push_back(BB);
 738     ValueMap[BB] = BasicBlocks.size();
 739   }
 740
 741   // Optimize the constant layout.
 742   OptimizeConstants(FirstFuncConstantID, Values.size());
 743
 744   // Add the function's parameter attributes so they are available for use in
 745   // the function's instruction.
 746   EnumerateAttributes(F.getAttributes());
 747
 748   FirstInstID = Values.size();
 749
 750   SmallVector<LocalAsMetadata *, 8> FnLocalMDVector;
 751   // Add all of the instructions.
 752   for (Function::const_iterator BB = F.begin(), E = F.end(); BB != E; ++BB) {
 753     for (BasicBlock::const_iterator I = BB->begin(), E = BB->end(); I!=E; ++I) {
 754       for (User::const_op_iterator OI = I->op_begin(), E = I->op_end();
 755            OI != E; ++OI) {
 756         if (auto *MD = dyn_cast<MetadataAsValue>(&*OI))
 757           if (auto *Local = dyn_cast<LocalAsMetadata>(MD->getMetadata()))
 758             // Enumerate metadata after the instructions they might refer to.
 759             FnLocalMDVector.push_back(Local);
 760       }
 761
 762       if (!I->getType()->isVoidTy())
 763         EnumerateValue(I);
 764     }
 765   }
 766
 767   // Add all of the function-local metadata.
 768   for (unsigned i = 0, e = FnLocalMDVector.size(); i != e; ++i)
 769     EnumerateFunctionLocalMetadata(FnLocalMDVector[i]);
 770 }
 771
 772 void ValueEnumerator::purgeFunction() {
 773   /// Remove purged values from the ValueMap.
 774   for (unsigned i = NumModuleValues, e = Values.size(); i != e; ++i)
 775     ValueMap.erase(Values[i].first);
 776   for (unsigned i = NumModuleMDs, e = MDs.size(); i != e; ++i)
 777     MDValueMap.erase(MDs[i]);
 778   for (unsigned i = 0, e = BasicBlocks.size(); i != e; ++i)
 779     ValueMap.erase(BasicBlocks[i]);
 780
 781   Values.resize(NumModuleValues);
 782   MDs.resize(NumModuleMDs);
 783   BasicBlocks.clear();
 784   FunctionLocalMDs.clear();
 785 }
 786
 787 static void IncorporateFunctionInfoGlobalBBIDs(const Function *F,
 788                                  DenseMap<const BasicBlock*, unsigned> &IDMap) {
 789   unsigned Counter = 0;
 790   for (Function::const_iterator BB = F->begin(), E = F->end(); BB != E; ++BB)
 791     IDMap[BB] = ++Counter;
 792 }
 793
 794 /// getGlobalBasicBlockID - This returns the function-specific ID for the
 795 /// specified basic block.  This is relatively expensive information, so it
 796 /// should only be used by rare constructs such as address-of-label.
 797 unsigned ValueEnumerator::getGlobalBasicBlockID(const BasicBlock *BB) const {
 798   unsigned &Idx = GlobalBasicBlockIDs[BB];
 799   if (Idx != 0)
 800     return Idx-1;
 801
 802   IncorporateFunctionInfoGlobalBBIDs(BB->getParent(), GlobalBasicBlockIDs);
 803   return getGlobalBasicBlockID(BB);
 804 }