lib/Transforms/Instrumentation/OptimalEdgeProfiling.cpp

   1 //===- OptimalEdgeProfiling.cpp - Insert counters for opt. edge profiling -===//
   2 //
   3 //                      The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This pass instruments the specified program with counters for edge profiling.
  11 // Edge profiling can give a reasonable approximation of the hot paths through a
  12 // program, and is used for a wide variety of program transformations.
  13 //
  14 //===----------------------------------------------------------------------===//
  15 #define DEBUG_TYPE "insert-optimal-edge-profiling"
  16 #include "llvm/Transforms/Instrumentation.h"
  17 #include "MaximumSpanningTree.h"
  18 #include "ProfilingUtils.h"
  19 #include "llvm/ADT/DenseSet.h"
  20 #include "llvm/ADT/Statistic.h"
  21 #include "llvm/Analysis/Passes.h"
  22 #include "llvm/Analysis/ProfileInfo.h"
  23 #include "llvm/Analysis/ProfileInfoLoader.h"
  24 #include "llvm/IR/Constants.h"
  25 #include "llvm/IR/LLVMContext.h"
  26 #include "llvm/IR/Module.h"
  27 #include "llvm/Pass.h"
  28 #include "llvm/Support/Debug.h"
  29 #include "llvm/Support/raw_ostream.h"
  30 #include "llvm/Transforms/Utils/BasicBlockUtils.h"
  31 using namespace llvm;
  32
  33 STATISTIC(NumEdgesInserted, "The # of edges inserted.");
  34
  35 namespace {
  36   class OptimalEdgeProfiler : public ModulePass {
  37     bool runOnModule(Module &M);
  38   public:
  39     static char ID; // Pass identification, replacement for typeid
  40     OptimalEdgeProfiler() : ModulePass(ID) {
  41       initializeOptimalEdgeProfilerPass(*PassRegistry::getPassRegistry());
  42     }
  43
  44     void getAnalysisUsage(AnalysisUsage &AU) const {
  45       AU.addRequiredID(ProfileEstimatorPassID);
  46       AU.addRequired<ProfileInfo>();
  47     }
  48
  49     virtual const char *getPassName() const {
  50       return "Optimal Edge Profiler";
  51     }
  52   };
  53 }
  54
  55 char OptimalEdgeProfiler::ID = 0;
  56 INITIALIZE_PASS_BEGIN(OptimalEdgeProfiler, "insert-optimal-edge-profiling",
  57                 "Insert optimal instrumentation for edge profiling",
  58                 false, false)
  59 INITIALIZE_PASS_DEPENDENCY(ProfileEstimatorPass)
  60 INITIALIZE_AG_DEPENDENCY(ProfileInfo)
  61 INITIALIZE_PASS_END(OptimalEdgeProfiler, "insert-optimal-edge-profiling",
  62                 "Insert optimal instrumentation for edge profiling",
  63                 false, false)
  64
  65 ModulePass *llvm::createOptimalEdgeProfilerPass() {
  66   return new OptimalEdgeProfiler();
  67 }
  68
  69 inline static void printEdgeCounter(ProfileInfo::Edge e,
  70                                     BasicBlock* b,
  71                                     unsigned i) {
  72   DEBUG(dbgs() << "--Edge Counter for " << (e) << " in " \
  73                << ((b)?(b)->getName():"0") << " (# " << (i) << ")\n");
  74 }
  75
  76 bool OptimalEdgeProfiler::runOnModule(Module &M) {
  77   Function *Main = M.getFunction("main");
  78   if (Main == 0) {
  79     M.getContext().emitWarning("cannot insert edge profiling into a module"
  80                                " with no main function");
  81     return false;  // No main, no instrumentation!
  82   }
  83
  84   // NumEdges counts all the edges that may be instrumented. Later on its
  85   // decided which edges to actually instrument, to achieve optimal profiling.
  86   // For the entry block a virtual edge (0,entry) is reserved, for each block
  87   // with no successors an edge (BB,0) is reserved. These edges are necessary
  88   // to calculate a truly optimal maximum spanning tree and thus an optimal
  89   // instrumentation.
  90   unsigned NumEdges = 0;
  91
  92   for (Module::iterator F = M.begin(), E = M.end(); F != E; ++F) {
  93     if (F->isDeclaration()) continue;
  94     // Reserve space for (0,entry) edge.
  95     ++NumEdges;
  96     for (Function::iterator BB = F->begin(), E = F->end(); BB != E; ++BB) {
  97       // Keep track of which blocks need to be instrumented.  We don't want to
  98       // instrument blocks that are added as the result of breaking critical
  99       // edges!
 100       if (BB->getTerminator()->getNumSuccessors() == 0) {
 101         // Reserve space for (BB,0) edge.
 102         ++NumEdges;
 103       } else {
 104         NumEdges += BB->getTerminator()->getNumSuccessors();
 105       }
 106     }
 107   }
 108
 109   // In the profiling output a counter for each edge is reserved, but only few
 110   // are used. This is done to be able to read back in the profile without
 111   // calulating the maximum spanning tree again, instead each edge counter that
 112   // is not used is initialised with -1 to signal that this edge counter has to
 113   // be calculated from other edge counters on reading the profile info back
 114   // in.
 115
 116   Type *Int32 = Type::getInt32Ty(M.getContext());
 117   ArrayType *ATy = ArrayType::get(Int32, NumEdges);
 118   GlobalVariable *Counters =
 119     new GlobalVariable(M, ATy, false, GlobalValue::InternalLinkage,
 120                        Constant::getNullValue(ATy), "OptEdgeProfCounters");
 121   NumEdgesInserted = 0;
 122
 123   std::vector<Constant*> Initializer(NumEdges);
 124   Constant *Zero = ConstantInt::get(Int32, 0);
 125   Constant *Uncounted = ConstantInt::get(Int32, ProfileInfoLoader::Uncounted);
 126
 127   // Instrument all of the edges not in MST...
 128   unsigned i = 0;
 129   for (Module::iterator F = M.begin(), E = M.end(); F != E; ++F) {
 130     if (F->isDeclaration()) continue;
 131     DEBUG(dbgs() << "Working on " << F->getName() << "\n");
 132
 133     // Calculate a Maximum Spanning Tree with the edge weights determined by
 134     // ProfileEstimator. ProfileEstimator also assign weights to the virtual
 135     // edges (0,entry) and (BB,0) (for blocks with no successors) and this
 136     // edges also participate in the maximum spanning tree calculation.
 137     // The third parameter of MaximumSpanningTree() has the effect that not the
 138     // actual MST is returned but the edges _not_ in the MST.
 139
 140     ProfileInfo::EdgeWeights ECs =
 141       getAnalysis<ProfileInfo>(*F).getEdgeWeights(F);
 142     std::vector<ProfileInfo::EdgeWeight> EdgeVector(ECs.begin(), ECs.end());
 143     MaximumSpanningTree<BasicBlock> MST(EdgeVector);
 144     std::stable_sort(MST.begin(), MST.end());
 145
 146     // Check if (0,entry) not in the MST. If not, instrument edge
 147     // (IncrementCounterInBlock()) and set the counter initially to zero, if
 148     // the edge is in the MST the counter is initialised to -1.
 149
 150     BasicBlock *entry = &(F->getEntryBlock());
 151     ProfileInfo::Edge edge = ProfileInfo::getEdge(0, entry);
 152     if (!std::binary_search(MST.begin(), MST.end(), edge)) {
 153       printEdgeCounter(edge, entry, i);
 154       IncrementCounterInBlock(entry, i, Counters); ++NumEdgesInserted;
 155       Initializer[i++] = (Zero);
 156     } else{
 157       Initializer[i++] = (Uncounted);
 158     }
 159
 160     // InsertedBlocks contains all blocks that were inserted for splitting an
 161     // edge, this blocks do not have to be instrumented.
 162     DenseSet<BasicBlock*> InsertedBlocks;
 163     for (Function::iterator BB = F->begin(), E = F->end(); BB != E; ++BB) {
 164       // Check if block was not inserted and thus does not have to be
 165       // instrumented.
 166       if (InsertedBlocks.count(BB)) continue;
 167
 168       // Okay, we have to add a counter of each outgoing edge not in MST. If
 169       // the outgoing edge is not critical don't split it, just insert the
 170       // counter in the source or destination of the edge. Also, if the block
 171       // has no successors, the virtual edge (BB,0) is processed.
 172       TerminatorInst *TI = BB->getTerminator();
 173       if (TI->getNumSuccessors() == 0) {
 174         ProfileInfo::Edge edge = ProfileInfo::getEdge(BB, 0);
 175         if (!std::binary_search(MST.begin(), MST.end(), edge)) {
 176           printEdgeCounter(edge, BB, i);
 177           IncrementCounterInBlock(BB, i, Counters); ++NumEdgesInserted;
 178           Initializer[i++] = (Zero);
 179         } else{
 180           Initializer[i++] = (Uncounted);
 181         }
 182       }
 183       for (unsigned s = 0, e = TI->getNumSuccessors(); s != e; ++s) {
 184         BasicBlock *Succ = TI->getSuccessor(s);
 185         ProfileInfo::Edge edge = ProfileInfo::getEdge(BB,Succ);
 186         if (!std::binary_search(MST.begin(), MST.end(), edge)) {
 187
 188           // If the edge is critical, split it.
 189           bool wasInserted = SplitCriticalEdge(TI, s, this);
 190           Succ = TI->getSuccessor(s);
 191           if (wasInserted)
 192             InsertedBlocks.insert(Succ);
 193
 194           // Okay, we are guaranteed that the edge is no longer critical.  If
 195           // we only have a single successor, insert the counter in this block,
 196           // otherwise insert it in the successor block.
 197           if (TI->getNumSuccessors() == 1) {
 198             // Insert counter at the start of the block
 199             printEdgeCounter(edge, BB, i);
 200             IncrementCounterInBlock(BB, i, Counters); ++NumEdgesInserted;
 201           } else {
 202             // Insert counter at the start of the block
 203             printEdgeCounter(edge, Succ, i);
 204             IncrementCounterInBlock(Succ, i, Counters); ++NumEdgesInserted;
 205           }
 206           Initializer[i++] = (Zero);
 207         } else {
 208           Initializer[i++] = (Uncounted);
 209         }
 210       }
 211     }
 212   }
 213
 214   // Check if the number of edges counted at first was the number of edges we
 215   // considered for instrumentation.
 216   assert(i == NumEdges && "the number of edges in counting array is wrong");
 217
 218   // Assign the now completely defined initialiser to the array.
 219   Constant *init = ConstantArray::get(ATy, Initializer);
 220   Counters->setInitializer(init);
 221
 222   // Add the initialization call to main.
 223   InsertProfilingInitCall(Main, "llvm_start_opt_edge_profiling", Counters);
 224   return true;
 225 }
 226