lib/Bitcode/Writer/ValueEnumerator.cpp

   1 //===-- ValueEnumerator.cpp - Number values and types for bitcode writer --===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the ValueEnumerator class.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "ValueEnumerator.h"
  15 #include "llvm/ADT/STLExtras.h"
  16 #include "llvm/ADT/SmallPtrSet.h"
  17 #include "llvm/IR/Constants.h"
  18 #include "llvm/IR/DerivedTypes.h"
  19 #include "llvm/IR/Instructions.h"
  20 #include "llvm/IR/Module.h"
  21 #include "llvm/IR/UseListOrder.h"
  22 #include "llvm/IR/ValueSymbolTable.h"
  23 #include "llvm/Support/Debug.h"
  24 #include "llvm/Support/raw_ostream.h"
  25 #include <algorithm>
  26 using namespace llvm;
  27
  28 namespace {
  29 struct OrderMap {
  30   DenseMap<const Value *, std::pair<unsigned, bool>> IDs;
  31   unsigned LastGlobalConstantID;
  32   unsigned LastGlobalValueID;
  33
  34   OrderMap() : LastGlobalConstantID(0), LastGlobalValueID(0) {}
  35
  36   bool isGlobalConstant(unsigned ID) const {
  37     return ID <= LastGlobalConstantID;
  38   }
  39   bool isGlobalValue(unsigned ID) const {
  40     return ID <= LastGlobalValueID && !isGlobalConstant(ID);
  41   }
  42
  43   unsigned size() const { return IDs.size(); }
  44   std::pair<unsigned, bool> &operator[](const Value *V) { return IDs[V]; }
  45   std::pair<unsigned, bool> lookup(const Value *V) const {
  46     return IDs.lookup(V);
  47   }
  48   void index(const Value *V) {
  49     // Explicitly sequence get-size and insert-value operations to avoid UB.
  50     unsigned ID = IDs.size() + 1;
  51     IDs[V].first = ID;
  52   }
  53 };
  54 }
  55
  56 static void orderValue(const Value *V, OrderMap &OM) {
  57   if (OM.lookup(V).first)
  58     return;
  59
  60   if (const Constant *C = dyn_cast<Constant>(V))
  61     if (C->getNumOperands() && !isa<GlobalValue>(C))
  62       for (const Value *Op : C->operands())
  63         if (!isa<BasicBlock>(Op) && !isa<GlobalValue>(Op))
  64           orderValue(Op, OM);
  65
  66   // Note: we cannot cache this lookup above, since inserting into the map
  67   // changes the map's size, and thus affects the other IDs.
  68   OM.index(V);
  69 }
  70
  71 static OrderMap orderModule(const Module *M) {
  72   // This needs to match the order used by ValueEnumerator::ValueEnumerator()
  73   // and ValueEnumerator::incorporateFunction().
  74   OrderMap OM;
  75
  76   // In the reader, initializers of GlobalValues are set *after* all the
  77   // globals have been read.  Rather than awkwardly modeling this behaviour
  78   // directly in predictValueUseListOrderImpl(), just assign IDs to
  79   // initializers of GlobalValues before GlobalValues themselves to model this
  80   // implicitly.
  81   for (const GlobalVariable &G : M->globals())
  82     if (G.hasInitializer())
  83       if (!isa<GlobalValue>(G.getInitializer()))
  84         orderValue(G.getInitializer(), OM);
  85   for (const GlobalAlias &A : M->aliases())
  86     if (!isa<GlobalValue>(A.getAliasee()))
  87       orderValue(A.getAliasee(), OM);
  88   for (const Function &F : *M)
  89     if (F.hasPrefixData())
  90       if (!isa<GlobalValue>(F.getPrefixData()))
  91         orderValue(F.getPrefixData(), OM);
  92   OM.LastGlobalConstantID = OM.size();
  93
  94   // Initializers of GlobalValues are processed in
  95   // BitcodeReader::ResolveGlobalAndAliasInits().  Match the order there rather
  96   // than ValueEnumerator, and match the code in predictValueUseListOrderImpl()
  97   // by giving IDs in reverse order.
  98   //
  99   // Since GlobalValues never reference each other directly (just through
 100   // initializers), their relative IDs only matter for determining order of
 101   // uses in their initializers.
 102   for (const Function &F : *M)
 103     orderValue(&F, OM);
 104   for (const GlobalAlias &A : M->aliases())
 105     orderValue(&A, OM);
 106   for (const GlobalVariable &G : M->globals())
 107     orderValue(&G, OM);
 108   OM.LastGlobalValueID = OM.size();
 109
 110   for (const Function &F : *M) {
 111     if (F.isDeclaration())
 112       continue;
 113     // Here we need to match the union of ValueEnumerator::incorporateFunction()
 114     // and WriteFunction().  Basic blocks are implicitly declared before
 115     // anything else (by declaring their size).
 116     for (const BasicBlock &BB : F)
 117       orderValue(&BB, OM);
 118     for (const Argument &A : F.args())
 119       orderValue(&A, OM);
 120     for (const BasicBlock &BB : F)
 121       for (const Instruction &I : BB)
 122         for (const Value *Op : I.operands())
 123           if ((isa<Constant>(*Op) && !isa<GlobalValue>(*Op)) ||
 124               isa<InlineAsm>(*Op))
 125             orderValue(Op, OM);
 126     for (const BasicBlock &BB : F)
 127       for (const Instruction &I : BB)
 128         orderValue(&I, OM);
 129   }
 130   return OM;
 131 }
 132
 133 static void predictValueUseListOrderImpl(const Value *V, const Function *F,
 134                                          unsigned ID, const OrderMap &OM,
 135                                          UseListOrderStack &Stack) {
 136   // Predict use-list order for this one.
 137   typedef std::pair<const Use *, unsigned> Entry;
 138   SmallVector<Entry, 64> List;
 139   for (const Use &U : V->uses())
 140     // Check if this user will be serialized.
 141     if (OM.lookup(U.getUser()).first)
 142       List.push_back(std::make_pair(&U, List.size()));
 143
 144   if (List.size() < 2)
 145     // We may have lost some users.
 146     return;
 147
 148   bool IsGlobalValue = OM.isGlobalValue(ID);
 149   std::sort(List.begin(), List.end(), [&](const Entry &L, const Entry &R) {
 150     const Use *LU = L.first;
 151     const Use *RU = R.first;
 152     if (LU == RU)
 153       return false;
 154
 155     auto LID = OM.lookup(LU->getUser()).first;
 156     auto RID = OM.lookup(RU->getUser()).first;
 157
 158     // Global values are processed in reverse order.
 159     //
 160     // Moreover, initializers of GlobalValues are set *after* all the globals
 161     // have been read (despite having earlier IDs).  Rather than awkwardly
 162     // modeling this behaviour here, orderModule() has assigned IDs to
 163     // initializers of GlobalValues before GlobalValues themselves.
 164     if (OM.isGlobalValue(LID) && OM.isGlobalValue(RID))
 165       return LID < RID;
 166
 167     // If ID is 4, then expect: 7 6 5 1 2 3.
 168     if (LID < RID) {
 169       if (RID <= ID)
 170         if (!IsGlobalValue) // GlobalValue uses don't get reversed.
 171           return true;
 172       return false;
 173     }
 174     if (RID < LID) {
 175       if (LID <= ID)
 176         if (!IsGlobalValue) // GlobalValue uses don't get reversed.
 177           return false;
 178       return true;
 179     }
 180
 181     // LID and RID are equal, so we have different operands of the same user.
 182     // Assume operands are added in order for all instructions.
 183     if (LID <= ID)
 184       if (!IsGlobalValue) // GlobalValue uses don't get reversed.
 185         return LU->getOperandNo() < RU->getOperandNo();
 186     return LU->getOperandNo() > RU->getOperandNo();
 187   });
 188
 189   if (std::is_sorted(
 190           List.begin(), List.end(),
 191           [](const Entry &L, const Entry &R) { return L.second < R.second; }))
 192     // Order is already correct.
 193     return;
 194
 195   // Store the shuffle.
 196   Stack.emplace_back(V, F, List.size());
 197   assert(List.size() == Stack.back().Shuffle.size() && "Wrong size");
 198   for (size_t I = 0, E = List.size(); I != E; ++I)
 199     Stack.back().Shuffle[I] = List[I].second;
 200 }
 201
 202 static void predictValueUseListOrder(const Value *V, const Function *F,
 203                                      OrderMap &OM, UseListOrderStack &Stack) {
 204   auto &IDPair = OM[V];
 205   assert(IDPair.first && "Unmapped value");
 206   if (IDPair.second)
 207     // Already predicted.
 208     return;
 209
 210   // Do the actual prediction.
 211   IDPair.second = true;
 212   if (!V->use_empty() && std::next(V->use_begin()) != V->use_end())
 213     predictValueUseListOrderImpl(V, F, IDPair.first, OM, Stack);
 214
 215   // Recursive descent into constants.
 216   if (const Constant *C = dyn_cast<Constant>(V))
 217     if (C->getNumOperands()) // Visit GlobalValues.
 218       for (const Value *Op : C->operands())
 219         if (isa<Constant>(Op)) // Visit GlobalValues.
 220           predictValueUseListOrder(Op, F, OM, Stack);
 221 }
 222
 223 static UseListOrderStack predictUseListOrder(const Module *M) {
 224   OrderMap OM = orderModule(M);
 225
 226   // Use-list orders need to be serialized after all the users have been added
 227   // to a value, or else the shuffles will be incomplete.  Store them per
 228   // function in a stack.
 229   //
 230   // Aside from function order, the order of values doesn't matter much here.
 231   UseListOrderStack Stack;
 232
 233   // We want to visit the functions backward now so we can list function-local
 234   // constants in the last Function they're used in.  Module-level constants
 235   // have already been visited above.
 236   for (auto I = M->rbegin(), E = M->rend(); I != E; ++I) {
 237     const Function &F = *I;
 238     if (F.isDeclaration())
 239       continue;
 240     for (const BasicBlock &BB : F)
 241       predictValueUseListOrder(&BB, &F, OM, Stack);
 242     for (const Argument &A : F.args())
 243       predictValueUseListOrder(&A, &F, OM, Stack);
 244     for (const BasicBlock &BB : F)
 245       for (const Instruction &I : BB)
 246         for (const Value *Op : I.operands())
 247           if (isa<Constant>(*Op) || isa<InlineAsm>(*Op)) // Visit GlobalValues.
 248             predictValueUseListOrder(Op, &F, OM, Stack);
 249     for (const BasicBlock &BB : F)
 250       for (const Instruction &I : BB)
 251         predictValueUseListOrder(&I, &F, OM, Stack);
 252   }
 253
 254   // Visit globals last, since the module-level use-list block will be seen
 255   // before the function bodies are processed.
 256   for (const GlobalVariable &G : M->globals())
 257     predictValueUseListOrder(&G, nullptr, OM, Stack);
 258   for (const Function &F : *M)
 259     predictValueUseListOrder(&F, nullptr, OM, Stack);
 260   for (const GlobalAlias &A : M->aliases())
 261     predictValueUseListOrder(&A, nullptr, OM, Stack);
 262   for (const GlobalVariable &G : M->globals())
 263     if (G.hasInitializer())
 264       predictValueUseListOrder(G.getInitializer(), nullptr, OM, Stack);
 265   for (const GlobalAlias &A : M->aliases())
 266     predictValueUseListOrder(A.getAliasee(), nullptr, OM, Stack);
 267   for (const Function &F : *M)
 268     if (F.hasPrefixData())
 269       predictValueUseListOrder(F.getPrefixData(), nullptr, OM, Stack);
 270
 271   return Stack;
 272 }
 273
 274 static bool isIntOrIntVectorValue(const std::pair<const Value*, unsigned> &V) {
 275   return V.first->getType()->isIntOrIntVectorTy();
 276 }
 277
 278 /// ValueEnumerator - Enumerate module-level information.
 279 ValueEnumerator::ValueEnumerator(const Module *M) {
 280   if (shouldPreserveBitcodeUseListOrder())
 281     UseListOrders = predictUseListOrder(M);
 282
 283   // Enumerate the global variables.
 284   for (Module::const_global_iterator I = M->global_begin(),
 285
 286          E = M->global_end(); I != E; ++I)
 287     EnumerateValue(I);
 288
 289   // Enumerate the functions.
 290   for (Module::const_iterator I = M->begin(), E = M->end(); I != E; ++I) {
 291     EnumerateValue(I);
 292     EnumerateAttributes(cast<Function>(I)->getAttributes());
 293   }
 294
 295   // Enumerate the aliases.
 296   for (Module::const_alias_iterator I = M->alias_begin(), E = M->alias_end();
 297        I != E; ++I)
 298     EnumerateValue(I);
 299
 300   // Remember what is the cutoff between globalvalue's and other constants.
 301   unsigned FirstConstant = Values.size();
 302
 303   // Enumerate the global variable initializers.
 304   for (Module::const_global_iterator I = M->global_begin(),
 305          E = M->global_end(); I != E; ++I)
 306     if (I->hasInitializer())
 307       EnumerateValue(I->getInitializer());
 308
 309   // Enumerate the aliasees.
 310   for (Module::const_alias_iterator I = M->alias_begin(), E = M->alias_end();
 311        I != E; ++I)
 312     EnumerateValue(I->getAliasee());
 313
 314   // Enumerate the prefix data constants.
 315   for (Module::const_iterator I = M->begin(), E = M->end(); I != E; ++I)
 316     if (I->hasPrefixData())
 317       EnumerateValue(I->getPrefixData());
 318
 319   // Insert constants and metadata that are named at module level into the slot
 320   // pool so that the module symbol table can refer to them...
 321   EnumerateValueSymbolTable(M->getValueSymbolTable());
 322   EnumerateNamedMetadata(M);
 323
 324   SmallVector<std::pair<unsigned, MDNode *>, 8> MDs;
 325
 326   // Enumerate types used by function bodies and argument lists.
 327   for (const Function &F : *M) {
 328     for (const Argument &A : F.args())
 329       EnumerateType(A.getType());
 330
 331     for (const BasicBlock &BB : F)
 332       for (const Instruction &I : BB) {
 333         for (const Use &Op : I.operands()) {
 334           if (MDNode *MD = dyn_cast<MDNode>(&Op))
 335             if (MD->isFunctionLocal() && MD->getFunction())
 336               // These will get enumerated during function-incorporation.
 337               continue;
 338           EnumerateOperandType(Op);
 339         }
 340         EnumerateType(I.getType());
 341         if (const CallInst *CI = dyn_cast<CallInst>(&I))
 342           EnumerateAttributes(CI->getAttributes());
 343         else if (const InvokeInst *II = dyn_cast<InvokeInst>(&I))
 344           EnumerateAttributes(II->getAttributes());
 345
 346         // Enumerate metadata attached with this instruction.
 347         MDs.clear();
 348         I.getAllMetadataOtherThanDebugLoc(MDs);
 349         for (unsigned i = 0, e = MDs.size(); i != e; ++i)
 350           EnumerateMetadata(MDs[i].second);
 351
 352         if (!I.getDebugLoc().isUnknown()) {
 353           MDNode *Scope, *IA;
 354           I.getDebugLoc().getScopeAndInlinedAt(Scope, IA, I.getContext());
 355           if (Scope) EnumerateMetadata(Scope);
 356           if (IA) EnumerateMetadata(IA);
 357         }
 358       }
 359   }
 360
 361   // Optimize constant ordering.
 362   OptimizeConstants(FirstConstant, Values.size());
 363 }
 364
 365 unsigned ValueEnumerator::getInstructionID(const Instruction *Inst) const {
 366   InstructionMapType::const_iterator I = InstructionMap.find(Inst);
 367   assert(I != InstructionMap.end() && "Instruction is not mapped!");
 368   return I->second;
 369 }
 370
 371 unsigned ValueEnumerator::getComdatID(const Comdat *C) const {
 372   unsigned ComdatID = Comdats.idFor(C);
 373   assert(ComdatID && "Comdat not found!");
 374   return ComdatID;
 375 }
 376
 377 void ValueEnumerator::setInstructionID(const Instruction *I) {
 378   InstructionMap[I] = InstructionCount++;
 379 }
 380
 381 unsigned ValueEnumerator::getValueID(const Value *V) const {
 382   if (isa<MDNode>(V) || isa<MDString>(V)) {
 383     ValueMapType::const_iterator I = MDValueMap.find(V);
 384     assert(I != MDValueMap.end() && "Value not in slotcalculator!");
 385     return I->second-1;
 386   }
 387
 388   ValueMapType::const_iterator I = ValueMap.find(V);
 389   assert(I != ValueMap.end() && "Value not in slotcalculator!");
 390   return I->second-1;
 391 }
 392
 393 void ValueEnumerator::dump() const {
 394   print(dbgs(), ValueMap, "Default");
 395   dbgs() << '\n';
 396   print(dbgs(), MDValueMap, "MetaData");
 397   dbgs() << '\n';
 398 }
 399
 400 void ValueEnumerator::print(raw_ostream &OS, const ValueMapType &Map,
 401                             const char *Name) const {
 402
 403   OS << "Map Name: " << Name << "\n";
 404   OS << "Size: " << Map.size() << "\n";
 405   for (ValueMapType::const_iterator I = Map.begin(),
 406          E = Map.end(); I != E; ++I) {
 407
 408     const Value *V = I->first;
 409     if (V->hasName())
 410       OS << "Value: " << V->getName();
 411     else
 412       OS << "Value: [null]\n";
 413     V->dump();
 414
 415     OS << " Uses(" << std::distance(V->use_begin(),V->use_end()) << "):";
 416     for (const Use &U : V->uses()) {
 417       if (&U != &*V->use_begin())
 418         OS << ",";
 419       if(U->hasName())
 420         OS << " " << U->getName();
 421       else
 422         OS << " [null]";
 423
 424     }
 425     OS <<  "\n\n";
 426   }
 427 }
 428
 429 /// OptimizeConstants - Reorder constant pool for denser encoding.
 430 void ValueEnumerator::OptimizeConstants(unsigned CstStart, unsigned CstEnd) {
 431   if (CstStart == CstEnd || CstStart+1 == CstEnd) return;
 432
 433   if (shouldPreserveBitcodeUseListOrder())
 434     // Optimizing constants makes the use-list order difficult to predict.
 435     // Disable it for now when trying to preserve the order.
 436     return;
 437
 438   std::stable_sort(Values.begin() + CstStart, Values.begin() + CstEnd,
 439                    [this](const std::pair<const Value *, unsigned> &LHS,
 440                           const std::pair<const Value *, unsigned> &RHS) {
 441     // Sort by plane.
 442     if (LHS.first->getType() != RHS.first->getType())
 443       return getTypeID(LHS.first->getType()) < getTypeID(RHS.first->getType());
 444     // Then by frequency.
 445     return LHS.second > RHS.second;
 446   });
 447
 448   // Ensure that integer and vector of integer constants are at the start of the
 449   // constant pool.  This is important so that GEP structure indices come before
 450   // gep constant exprs.
 451   std::partition(Values.begin()+CstStart, Values.begin()+CstEnd,
 452                  isIntOrIntVectorValue);
 453
 454   // Rebuild the modified portion of ValueMap.
 455   for (; CstStart != CstEnd; ++CstStart)
 456     ValueMap[Values[CstStart].first] = CstStart+1;
 457 }
 458
 459
 460 /// EnumerateValueSymbolTable - Insert all of the values in the specified symbol
 461 /// table into the values table.
 462 void ValueEnumerator::EnumerateValueSymbolTable(const ValueSymbolTable &VST) {
 463   for (ValueSymbolTable::const_iterator VI = VST.begin(), VE = VST.end();
 464        VI != VE; ++VI)
 465     EnumerateValue(VI->getValue());
 466 }
 467
 468 /// EnumerateNamedMetadata - Insert all of the values referenced by
 469 /// named metadata in the specified module.
 470 void ValueEnumerator::EnumerateNamedMetadata(const Module *M) {
 471   for (Module::const_named_metadata_iterator I = M->named_metadata_begin(),
 472        E = M->named_metadata_end(); I != E; ++I)
 473     EnumerateNamedMDNode(I);
 474 }
 475
 476 void ValueEnumerator::EnumerateNamedMDNode(const NamedMDNode *MD) {
 477   for (unsigned i = 0, e = MD->getNumOperands(); i != e; ++i)
 478     EnumerateMetadata(MD->getOperand(i));
 479 }
 480
 481 /// EnumerateMDNodeOperands - Enumerate all non-function-local values
 482 /// and types referenced by the given MDNode.
 483 void ValueEnumerator::EnumerateMDNodeOperands(const MDNode *N) {
 484   for (unsigned i = 0, e = N->getNumOperands(); i != e; ++i) {
 485     if (Value *V = N->getOperand(i)) {
 486       if (isa<MDNode>(V) || isa<MDString>(V))
 487         EnumerateMetadata(V);
 488       else if (!isa<Instruction>(V) && !isa<Argument>(V))
 489         EnumerateValue(V);
 490     } else
 491       EnumerateType(Type::getVoidTy(N->getContext()));
 492   }
 493 }
 494
 495 void ValueEnumerator::EnumerateMetadata(const Value *MD) {
 496   assert((isa<MDNode>(MD) || isa<MDString>(MD)) && "Invalid metadata kind");
 497
 498   // Skip function-local nodes themselves, but walk their operands.
 499   const MDNode *N = dyn_cast<MDNode>(MD);
 500   if (N && N->isFunctionLocal() && N->getFunction()) {
 501     EnumerateMDNodeOperands(N);
 502     return;
 503   }
 504
 505   // Insert a dummy ID to block the co-recursive call to
 506   // EnumerateMDNodeOperands() from re-visiting MD in a cyclic graph.
 507   //
 508   // Return early if there's already an ID.
 509   if (!MDValueMap.insert(std::make_pair(MD, 0)).second)
 510     return;
 511
 512   // Enumerate the type of this value.
 513   EnumerateType(MD->getType());
 514
 515   // Visit operands first to minimize RAUW.
 516   if (N)
 517     EnumerateMDNodeOperands(N);
 518
 519   // Replace the dummy ID inserted above with the correct one.  MDValueMap may
 520   // have changed by inserting operands, so we need a fresh lookup here.
 521   MDValues.push_back(MD);
 522   MDValueMap[MD] = MDValues.size();
 523 }
 524
 525 /// EnumerateFunctionLocalMetadataa - Incorporate function-local metadata
 526 /// information reachable from the given MDNode.
 527 void ValueEnumerator::EnumerateFunctionLocalMetadata(const MDNode *N) {
 528   assert(N->isFunctionLocal() && N->getFunction() &&
 529          "EnumerateFunctionLocalMetadata called on non-function-local mdnode!");
 530
 531   // Enumerate the type of this value.
 532   EnumerateType(N->getType());
 533
 534   // Check to see if it's already in!
 535   unsigned &MDValueID = MDValueMap[N];
 536   if (MDValueID)
 537     return;
 538
 539   MDValues.push_back(N);
 540   MDValueID = MDValues.size();
 541
 542   // To incoroporate function-local information visit all function-local
 543   // MDNodes and all function-local values they reference.
 544   for (unsigned i = 0, e = N->getNumOperands(); i != e; ++i)
 545     if (Value *V = N->getOperand(i)) {
 546       if (MDNode *O = dyn_cast<MDNode>(V)) {
 547         if (O->isFunctionLocal() && O->getFunction())
 548           EnumerateFunctionLocalMetadata(O);
 549       } else if (isa<Instruction>(V) || isa<Argument>(V))
 550         EnumerateValue(V);
 551     }
 552
 553   // Also, collect all function-local MDNodes for easy access.
 554   FunctionLocalMDs.push_back(N);
 555 }
 556
 557 void ValueEnumerator::EnumerateValue(const Value *V) {
 558   assert(!V->getType()->isVoidTy() && "Can't insert void values!");
 559   assert(!isa<MDNode>(V) && !isa<MDString>(V) &&
 560          "EnumerateValue doesn't handle Metadata!");
 561
 562   // Check to see if it's already in!
 563   unsigned &ValueID = ValueMap[V];
 564   if (ValueID) {
 565     // Increment use count.
 566     Values[ValueID-1].second++;
 567     return;
 568   }
 569
 570   if (auto *GO = dyn_cast<GlobalObject>(V))
 571     if (const Comdat *C = GO->getComdat())
 572       Comdats.insert(C);
 573
 574   // Enumerate the type of this value.
 575   EnumerateType(V->getType());
 576
 577   if (const Constant *C = dyn_cast<Constant>(V)) {
 578     if (isa<GlobalValue>(C)) {
 579       // Initializers for globals are handled explicitly elsewhere.
 580     } else if (C->getNumOperands()) {
 581       // If a constant has operands, enumerate them.  This makes sure that if a
 582       // constant has uses (for example an array of const ints), that they are
 583       // inserted also.
 584
 585       // We prefer to enumerate them with values before we enumerate the user
 586       // itself.  This makes it more likely that we can avoid forward references
 587       // in the reader.  We know that there can be no cycles in the constants
 588       // graph that don't go through a global variable.
 589       for (User::const_op_iterator I = C->op_begin(), E = C->op_end();
 590            I != E; ++I)
 591         if (!isa<BasicBlock>(*I)) // Don't enumerate BB operand to BlockAddress.
 592           EnumerateValue(*I);
 593
 594       // Finally, add the value.  Doing this could make the ValueID reference be
 595       // dangling, don't reuse it.
 596       Values.push_back(std::make_pair(V, 1U));
 597       ValueMap[V] = Values.size();
 598       return;
 599     }
 600   }
 601
 602   // Add the value.
 603   Values.push_back(std::make_pair(V, 1U));
 604   ValueID = Values.size();
 605 }
 606
 607
 608 void ValueEnumerator::EnumerateType(Type *Ty) {
 609   unsigned *TypeID = &TypeMap[Ty];
 610
 611   // We've already seen this type.
 612   if (*TypeID)
 613     return;
 614
 615   // If it is a non-anonymous struct, mark the type as being visited so that we
 616   // don't recursively visit it.  This is safe because we allow forward
 617   // references of these in the bitcode reader.
 618   if (StructType *STy = dyn_cast<StructType>(Ty))
 619     if (!STy->isLiteral())
 620       *TypeID = ~0U;
 621
 622   // Enumerate all of the subtypes before we enumerate this type.  This ensures
 623   // that the type will be enumerated in an order that can be directly built.
 624   for (Type::subtype_iterator I = Ty->subtype_begin(), E = Ty->subtype_end();
 625        I != E; ++I)
 626     EnumerateType(*I);
 627
 628   // Refresh the TypeID pointer in case the table rehashed.
 629   TypeID = &TypeMap[Ty];
 630
 631   // Check to see if we got the pointer another way.  This can happen when
 632   // enumerating recursive types that hit the base case deeper than they start.
 633   //
 634   // If this is actually a struct that we are treating as forward ref'able,
 635   // then emit the definition now that all of its contents are available.
 636   if (*TypeID && *TypeID != ~0U)
 637     return;
 638
 639   // Add this type now that its contents are all happily enumerated.
 640   Types.push_back(Ty);
 641
 642   *TypeID = Types.size();
 643 }
 644
 645 // Enumerate the types for the specified value.  If the value is a constant,
 646 // walk through it, enumerating the types of the constant.
 647 void ValueEnumerator::EnumerateOperandType(const Value *V) {
 648   EnumerateType(V->getType());
 649
 650   if (const Constant *C = dyn_cast<Constant>(V)) {
 651     // If this constant is already enumerated, ignore it, we know its type must
 652     // be enumerated.
 653     if (ValueMap.count(V)) return;
 654
 655     // This constant may have operands, make sure to enumerate the types in
 656     // them.
 657     for (unsigned i = 0, e = C->getNumOperands(); i != e; ++i) {
 658       const Value *Op = C->getOperand(i);
 659
 660       // Don't enumerate basic blocks here, this happens as operands to
 661       // blockaddress.
 662       if (isa<BasicBlock>(Op)) continue;
 663
 664       EnumerateOperandType(Op);
 665     }
 666
 667     if (const MDNode *N = dyn_cast<MDNode>(V)) {
 668       for (unsigned i = 0, e = N->getNumOperands(); i != e; ++i)
 669         if (Value *Elem = N->getOperand(i))
 670           EnumerateOperandType(Elem);
 671     }
 672   } else if (isa<MDString>(V) || isa<MDNode>(V))
 673     EnumerateMetadata(V);
 674 }
 675
 676 void ValueEnumerator::EnumerateAttributes(AttributeSet PAL) {
 677   if (PAL.isEmpty()) return;  // null is always 0.
 678
 679   // Do a lookup.
 680   unsigned &Entry = AttributeMap[PAL];
 681   if (Entry == 0) {
 682     // Never saw this before, add it.
 683     Attribute.push_back(PAL);
 684     Entry = Attribute.size();
 685   }
 686
 687   // Do lookups for all attribute groups.
 688   for (unsigned i = 0, e = PAL.getNumSlots(); i != e; ++i) {
 689     AttributeSet AS = PAL.getSlotAttributes(i);
 690     unsigned &Entry = AttributeGroupMap[AS];
 691     if (Entry == 0) {
 692       AttributeGroups.push_back(AS);
 693       Entry = AttributeGroups.size();
 694     }
 695   }
 696 }
 697
 698 void ValueEnumerator::incorporateFunction(const Function &F) {
 699   InstructionCount = 0;
 700   NumModuleValues = Values.size();
 701   NumModuleMDValues = MDValues.size();
 702
 703   // Adding function arguments to the value table.
 704   for (Function::const_arg_iterator I = F.arg_begin(), E = F.arg_end();
 705        I != E; ++I)
 706     EnumerateValue(I);
 707
 708   FirstFuncConstantID = Values.size();
 709
 710   // Add all function-level constants to the value table.
 711   for (Function::const_iterator BB = F.begin(), E = F.end(); BB != E; ++BB) {
 712     for (BasicBlock::const_iterator I = BB->begin(), E = BB->end(); I!=E; ++I)
 713       for (User::const_op_iterator OI = I->op_begin(), E = I->op_end();
 714            OI != E; ++OI) {
 715         if ((isa<Constant>(*OI) && !isa<GlobalValue>(*OI)) ||
 716             isa<InlineAsm>(*OI))
 717           EnumerateValue(*OI);
 718       }
 719     BasicBlocks.push_back(BB);
 720     ValueMap[BB] = BasicBlocks.size();
 721   }
 722
 723   // Optimize the constant layout.
 724   OptimizeConstants(FirstFuncConstantID, Values.size());
 725
 726   // Add the function's parameter attributes so they are available for use in
 727   // the function's instruction.
 728   EnumerateAttributes(F.getAttributes());
 729
 730   FirstInstID = Values.size();
 731
 732   SmallVector<MDNode *, 8> FnLocalMDVector;
 733   // Add all of the instructions.
 734   for (Function::const_iterator BB = F.begin(), E = F.end(); BB != E; ++BB) {
 735     for (BasicBlock::const_iterator I = BB->begin(), E = BB->end(); I!=E; ++I) {
 736       for (User::const_op_iterator OI = I->op_begin(), E = I->op_end();
 737            OI != E; ++OI) {
 738         if (MDNode *MD = dyn_cast<MDNode>(*OI))
 739           if (MD->isFunctionLocal() && MD->getFunction())
 740             // Enumerate metadata after the instructions they might refer to.
 741             FnLocalMDVector.push_back(MD);
 742       }
 743
 744       SmallVector<std::pair<unsigned, MDNode *>, 8> MDs;
 745       I->getAllMetadataOtherThanDebugLoc(MDs);
 746       for (unsigned i = 0, e = MDs.size(); i != e; ++i) {
 747         MDNode *N = MDs[i].second;
 748         if (N->isFunctionLocal() && N->getFunction())
 749           FnLocalMDVector.push_back(N);
 750       }
 751
 752       if (!I->getType()->isVoidTy())
 753         EnumerateValue(I);
 754     }
 755   }
 756
 757   // Add all of the function-local metadata.
 758   for (unsigned i = 0, e = FnLocalMDVector.size(); i != e; ++i)
 759     EnumerateFunctionLocalMetadata(FnLocalMDVector[i]);
 760 }
 761
 762 void ValueEnumerator::purgeFunction() {
 763   /// Remove purged values from the ValueMap.
 764   for (unsigned i = NumModuleValues, e = Values.size(); i != e; ++i)
 765     ValueMap.erase(Values[i].first);
 766   for (unsigned i = NumModuleMDValues, e = MDValues.size(); i != e; ++i)
 767     MDValueMap.erase(MDValues[i]);
 768   for (unsigned i = 0, e = BasicBlocks.size(); i != e; ++i)
 769     ValueMap.erase(BasicBlocks[i]);
 770
 771   Values.resize(NumModuleValues);
 772   MDValues.resize(NumModuleMDValues);
 773   BasicBlocks.clear();
 774   FunctionLocalMDs.clear();
 775 }
 776
 777 static void IncorporateFunctionInfoGlobalBBIDs(const Function *F,
 778                                  DenseMap<const BasicBlock*, unsigned> &IDMap) {
 779   unsigned Counter = 0;
 780   for (Function::const_iterator BB = F->begin(), E = F->end(); BB != E; ++BB)
 781     IDMap[BB] = ++Counter;
 782 }
 783
 784 /// getGlobalBasicBlockID - This returns the function-specific ID for the
 785 /// specified basic block.  This is relatively expensive information, so it
 786 /// should only be used by rare constructs such as address-of-label.
 787 unsigned ValueEnumerator::getGlobalBasicBlockID(const BasicBlock *BB) const {
 788   unsigned &Idx = GlobalBasicBlockIDs[BB];
 789   if (Idx != 0)
 790     return Idx-1;
 791
 792   IncorporateFunctionInfoGlobalBBIDs(BB->getParent(), GlobalBasicBlockIDs);
 793   return getGlobalBasicBlockID(BB);
 794 }
 795