Give Instruction::isSameOperationAs a corresponding comment to note
[oota-llvm.git] / lib / Transforms / IPO / MergeFunctions.cpp
1 //===- MergeFunctions.cpp - Merge identical functions ---------------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This pass looks for equivalent functions that are mergable and folds them.
11 //
12 // A hash is computed from the function, based on its type and number of
13 // basic blocks.
14 //
15 // Once all hashes are computed, we perform an expensive equality comparison
16 // on each function pair. This takes n^2/2 comparisons per bucket, so it's
17 // important that the hash function be high quality. The equality comparison
18 // iterates through each instruction in each basic block.
19 //
20 // When a match is found, the functions are folded. We can only fold two
21 // functions when we know that the definition of one of them is not
22 // overridable.
23 //
24 //===----------------------------------------------------------------------===//
25 //
26 // Future work:
27 //
28 // * fold vector<T*>::push_back and vector<S*>::push_back.
29 //
30 // These two functions have different types, but in a way that doesn't matter
31 // to us. As long as we never see an S or T itself, using S* and S** is the
32 // same as using a T* and T**.
33 //
34 // * virtual functions.
35 //
36 // Many functions have their address taken by the virtual function table for
37 // the object they belong to. However, as long as it's only used for a lookup
38 // and call, this is irrelevant, and we'd like to fold such implementations.
39 //
40 //===----------------------------------------------------------------------===//
41
42 #define DEBUG_TYPE "mergefunc"
43 #include "llvm/Transforms/IPO.h"
44 #include "llvm/ADT/DenseMap.h"
45 #include "llvm/ADT/FoldingSet.h"
46 #include "llvm/ADT/Statistic.h"
47 #include "llvm/Constants.h"
48 #include "llvm/InlineAsm.h"
49 #include "llvm/Instructions.h"
50 #include "llvm/Module.h"
51 #include "llvm/Pass.h"
52 #include "llvm/Support/CallSite.h"
53 #include "llvm/Support/Compiler.h"
54 #include "llvm/Support/Debug.h"
55 #include <map>
56 #include <vector>
57 using namespace llvm;
58
59 STATISTIC(NumFunctionsMerged, "Number of functions merged");
60
61 namespace {
62   struct VISIBILITY_HIDDEN MergeFunctions : public ModulePass {
63     static char ID; // Pass identification, replacement for typeid
64     MergeFunctions() : ModulePass((intptr_t)&ID) {}
65
66     bool runOnModule(Module &M);
67   };
68 }
69
70 char MergeFunctions::ID = 0;
71 static RegisterPass<MergeFunctions>
72 X("mergefunc", "Merge Functions");
73
74 ModulePass *llvm::createMergeFunctionsPass() {
75   return new MergeFunctions();
76 }
77
78 // ===----------------------------------------------------------------------===
79 // Comparison of functions
80 // ===----------------------------------------------------------------------===
81
82 static unsigned long hash(const Function *F) {
83   const FunctionType *FTy = F->getFunctionType();
84
85   FoldingSetNodeID ID;
86   ID.AddInteger(F->size());
87   ID.AddInteger(F->getCallingConv());
88   ID.AddBoolean(F->hasGC());
89   ID.AddBoolean(FTy->isVarArg());
90   ID.AddInteger(FTy->getReturnType()->getTypeID());
91   for (unsigned i = 0, e = FTy->getNumParams(); i != e; ++i)
92     ID.AddInteger(FTy->getParamType(i)->getTypeID());
93   return ID.ComputeHash();
94 }
95
96 /// IgnoreBitcasts - given a bitcast, returns the first non-bitcast found by
97 /// walking the chain of cast operands. Otherwise, returns the argument.
98 static Value* IgnoreBitcasts(Value *V) {
99   while (BitCastInst *BC = dyn_cast<BitCastInst>(V))
100     V = BC->getOperand(0);
101
102   return V;
103 }
104
105 /// isEquivalentType - any two pointers are equivalent. Otherwise, standard
106 /// type equivalence rules apply.
107 static bool isEquivalentType(const Type *Ty1, const Type *Ty2) {
108   if (Ty1 == Ty2)
109     return true;
110   if (Ty1->getTypeID() != Ty2->getTypeID())
111     return false;
112
113   switch(Ty1->getTypeID()) {
114   case Type::VoidTyID:
115   case Type::FloatTyID:
116   case Type::DoubleTyID:
117   case Type::X86_FP80TyID:
118   case Type::FP128TyID:
119   case Type::PPC_FP128TyID:
120   case Type::LabelTyID:
121   case Type::MetadataTyID:
122     return true;
123
124   case Type::IntegerTyID:
125   case Type::OpaqueTyID:
126     // Ty1 == Ty2 would have returned true earlier.
127     return false;
128
129   default:
130     assert(0 && "Unknown type!");
131     return false;
132
133   case Type::PointerTyID: {
134     const PointerType *PTy1 = cast<PointerType>(Ty1);
135     const PointerType *PTy2 = cast<PointerType>(Ty2);
136     return PTy1->getAddressSpace() == PTy2->getAddressSpace();
137   }
138
139   case Type::StructTyID: {
140     const StructType *STy1 = cast<StructType>(Ty1);
141     const StructType *STy2 = cast<StructType>(Ty2);
142     if (STy1->getNumElements() != STy2->getNumElements())
143       return false;
144
145     if (STy1->isPacked() != STy2->isPacked())
146       return false;
147
148     for (unsigned i = 0, e = STy1->getNumElements(); i != e; ++i) {
149       if (!isEquivalentType(STy1->getElementType(i), STy2->getElementType(i)))
150         return false;
151     }
152     return true;
153   }
154
155   case Type::FunctionTyID: {
156     const FunctionType *FTy1 = cast<FunctionType>(Ty1);
157     const FunctionType *FTy2 = cast<FunctionType>(Ty2);
158     if (FTy1->getNumParams() != FTy2->getNumParams() ||
159         FTy1->isVarArg() != FTy2->isVarArg())
160       return false;
161
162     if (!isEquivalentType(FTy1->getReturnType(), FTy2->getReturnType()))
163       return false;
164
165     for (unsigned i = 0, e = FTy1->getNumParams(); i != e; ++i) {
166       if (!isEquivalentType(FTy1->getParamType(i), FTy2->getParamType(i)))
167         return false;
168     }
169     return true;
170   }
171
172   case Type::ArrayTyID:
173   case Type::VectorTyID: {
174     const SequentialType *STy1 = cast<SequentialType>(Ty1);
175     const SequentialType *STy2 = cast<SequentialType>(Ty2);
176     return isEquivalentType(STy1->getElementType(), STy2->getElementType());
177   }
178   }
179 }
180
181 /// isEquivalentOperation - determine whether the two operations are the same
182 /// except that pointer-to-A and pointer-to-B are equivalent. This should be
183 /// kept in sync with Instruction::isSameOperationAs.
184 static bool
185 isEquivalentOperation(const Instruction *I1, const Instruction *I2) {
186   if (I1->getOpcode() != I2->getOpcode() ||
187       I1->getNumOperands() != I2->getNumOperands() ||
188       !isEquivalentType(I1->getType(), I2->getType()))
189     return false;
190
191   // We have two instructions of identical opcode and #operands.  Check to see
192   // if all operands are the same type
193   for (unsigned i = 0, e = I1->getNumOperands(); i != e; ++i)
194     if (!isEquivalentType(I1->getOperand(i)->getType(),
195                           I2->getOperand(i)->getType()))
196       return false;
197
198   // Check special state that is a part of some instructions.
199   if (const LoadInst *LI = dyn_cast<LoadInst>(I1))
200     return LI->isVolatile() == cast<LoadInst>(I2)->isVolatile() &&
201            LI->getAlignment() == cast<LoadInst>(I2)->getAlignment();
202   if (const StoreInst *SI = dyn_cast<StoreInst>(I1))
203     return SI->isVolatile() == cast<StoreInst>(I2)->isVolatile() &&
204            SI->getAlignment() == cast<StoreInst>(I2)->getAlignment();
205   if (const CmpInst *CI = dyn_cast<CmpInst>(I1))
206     return CI->getPredicate() == cast<CmpInst>(I2)->getPredicate();
207   if (const CallInst *CI = dyn_cast<CallInst>(I1))
208     return CI->isTailCall() == cast<CallInst>(I2)->isTailCall() &&
209            CI->getCallingConv() == cast<CallInst>(I2)->getCallingConv() &&
210            CI->getAttributes().getRawPointer() ==
211              cast<CallInst>(I2)->getAttributes().getRawPointer();
212   if (const InvokeInst *CI = dyn_cast<InvokeInst>(I1))
213     return CI->getCallingConv() == cast<InvokeInst>(I2)->getCallingConv() &&
214            CI->getAttributes().getRawPointer() ==
215              cast<InvokeInst>(I2)->getAttributes().getRawPointer();
216   if (const InsertValueInst *IVI = dyn_cast<InsertValueInst>(I1)) {
217     if (IVI->getNumIndices() != cast<InsertValueInst>(I2)->getNumIndices())
218       return false;
219     for (unsigned i = 0, e = IVI->getNumIndices(); i != e; ++i)
220       if (IVI->idx_begin()[i] != cast<InsertValueInst>(I2)->idx_begin()[i])
221         return false;
222     return true;
223   }
224   if (const ExtractValueInst *EVI = dyn_cast<ExtractValueInst>(I1)) {
225     if (EVI->getNumIndices() != cast<ExtractValueInst>(I2)->getNumIndices())
226       return false;
227     for (unsigned i = 0, e = EVI->getNumIndices(); i != e; ++i)
228       if (EVI->idx_begin()[i] != cast<ExtractValueInst>(I2)->idx_begin()[i])
229         return false;
230     return true;
231   }
232
233   return true;
234 }
235
236 static bool compare(const Value *V, const Value *U) {
237   assert(!isa<BasicBlock>(V) && !isa<BasicBlock>(U) &&
238          "Must not compare basic blocks.");
239
240   assert(isEquivalentType(V->getType(), U->getType()) &&
241         "Two of the same operation have operands of different type.");
242
243   // TODO: If the constant is an expression of F, we should accept that it's
244   // equal to the same expression in terms of G.
245   if (isa<Constant>(V))
246     return V == U;
247
248   // The caller has ensured that ValueMap[V] != U. Since Arguments are
249   // pre-loaded into the ValueMap, and Instructions are added as we go, we know
250   // that this can only be a mis-match.
251   if (isa<Instruction>(V) || isa<Argument>(V))
252     return false;
253
254   if (isa<InlineAsm>(V) && isa<InlineAsm>(U)) {
255     const InlineAsm *IAF = cast<InlineAsm>(V);
256     const InlineAsm *IAG = cast<InlineAsm>(U);
257     return IAF->getAsmString() == IAG->getAsmString() &&
258            IAF->getConstraintString() == IAG->getConstraintString();
259   }
260
261   return false;
262 }
263
264 static bool equals(const BasicBlock *BB1, const BasicBlock *BB2,
265                    DenseMap<const Value *, const Value *> &ValueMap,
266                    DenseMap<const Value *, const Value *> &SpeculationMap) {
267   // Speculatively add it anyways. If it's false, we'll notice a difference
268   // later, and this won't matter.
269   ValueMap[BB1] = BB2;
270
271   BasicBlock::const_iterator FI = BB1->begin(), FE = BB1->end();
272   BasicBlock::const_iterator GI = BB2->begin(), GE = BB2->end();
273
274   do {
275     if (isa<BitCastInst>(FI)) {
276       ++FI;
277       continue;
278     }
279     if (isa<BitCastInst>(GI)) {
280       ++GI;
281       continue;
282     }
283
284     if (!isEquivalentOperation(FI, GI))
285       return false;
286
287     if (ValueMap[FI] == GI) {
288       ++FI, ++GI;
289       continue;
290     }
291
292     if (ValueMap[FI] != NULL)
293       return false;
294
295     for (unsigned i = 0, e = FI->getNumOperands(); i != e; ++i) {
296       Value *OpF = IgnoreBitcasts(FI->getOperand(i));
297       Value *OpG = IgnoreBitcasts(GI->getOperand(i));
298
299       if (ValueMap[OpF] == OpG)
300         continue;
301
302       if (ValueMap[OpF] != NULL)
303         return false;
304
305       if (OpF->getValueID() != OpG->getValueID() ||
306           !isEquivalentType(OpF->getType(), OpG->getType()))
307         return false;
308
309       if (isa<PHINode>(FI)) {
310         if (SpeculationMap[OpF] == NULL)
311           SpeculationMap[OpF] = OpG;
312         else if (SpeculationMap[OpF] != OpG)
313           return false;
314         continue;
315       } else if (isa<BasicBlock>(OpF)) {
316         assert(isa<TerminatorInst>(FI) &&
317                "BasicBlock referenced by non-Terminator non-PHI");
318         // This call changes the ValueMap, hence we can't use
319         // Value *& = ValueMap[...]
320         if (!equals(cast<BasicBlock>(OpF), cast<BasicBlock>(OpG), ValueMap,
321                     SpeculationMap))
322           return false;
323       } else {
324         if (!compare(OpF, OpG))
325           return false;
326       }
327
328       ValueMap[OpF] = OpG;
329     }
330
331     ValueMap[FI] = GI;
332     ++FI, ++GI;
333   } while (FI != FE && GI != GE);
334
335   return FI == FE && GI == GE;
336 }
337
338 static bool equals(const Function *F, const Function *G) {
339   // We need to recheck everything, but check the things that weren't included
340   // in the hash first.
341
342   if (F->getAttributes() != G->getAttributes())
343     return false;
344
345   if (F->hasGC() != G->hasGC())
346     return false;
347
348   if (F->hasGC() && F->getGC() != G->getGC())
349     return false;
350
351   if (F->hasSection() != G->hasSection())
352     return false;
353
354   if (F->hasSection() && F->getSection() != G->getSection())
355     return false;
356
357   if (F->isVarArg() != G->isVarArg())
358     return false;
359
360   // TODO: if it's internal and only used in direct calls, we could handle this
361   // case too.
362   if (F->getCallingConv() != G->getCallingConv())
363     return false;
364
365   if (!isEquivalentType(F->getFunctionType(), G->getFunctionType()))
366     return false;
367
368   DenseMap<const Value *, const Value *> ValueMap;
369   DenseMap<const Value *, const Value *> SpeculationMap;
370   ValueMap[F] = G;
371
372   assert(F->arg_size() == G->arg_size() &&
373          "Identical functions have a different number of args.");
374
375   for (Function::const_arg_iterator fi = F->arg_begin(), gi = G->arg_begin(),
376          fe = F->arg_end(); fi != fe; ++fi, ++gi)
377     ValueMap[fi] = gi;
378
379   if (!equals(&F->getEntryBlock(), &G->getEntryBlock(), ValueMap,
380               SpeculationMap))
381     return false;
382
383   for (DenseMap<const Value *, const Value *>::iterator
384          I = SpeculationMap.begin(), E = SpeculationMap.end(); I != E; ++I) {
385     if (ValueMap[I->first] != I->second)
386       return false;
387   }
388
389   return true;
390 }
391
392 // ===----------------------------------------------------------------------===
393 // Folding of functions
394 // ===----------------------------------------------------------------------===
395
396 // Cases:
397 // * F is external strong, G is external strong:
398 //   turn G into a thunk to F    (1)
399 // * F is external strong, G is external weak:
400 //   turn G into a thunk to F    (1)
401 // * F is external weak, G is external weak:
402 //   unfoldable
403 // * F is external strong, G is internal:
404 //   address of G taken:
405 //     turn G into a thunk to F  (1)
406 //   address of G not taken:
407 //     make G an alias to F      (2)
408 // * F is internal, G is external weak
409 //   address of F is taken:
410 //     turn G into a thunk to F  (1)
411 //   address of F is not taken:
412 //     make G an alias of F      (2)
413 // * F is internal, G is internal:
414 //   address of F and G are taken:
415 //     turn G into a thunk to F  (1)
416 //   address of G is not taken:
417 //     make G an alias to F      (2)
418 //
419 // alias requires linkage == (external,local,weak) fallback to creating a thunk
420 // external means 'externally visible' linkage != (internal,private)
421 // internal means linkage == (internal,private)
422 // weak means linkage mayBeOverridable
423 // being external implies that the address is taken
424 //
425 // 1. turn G into a thunk to F
426 // 2. make G an alias to F
427
428 enum LinkageCategory {
429   ExternalStrong,
430   ExternalWeak,
431   Internal
432 };
433
434 static LinkageCategory categorize(const Function *F) {
435   switch (F->getLinkage()) {
436   case GlobalValue::InternalLinkage:
437   case GlobalValue::PrivateLinkage:
438     return Internal;
439
440   case GlobalValue::WeakAnyLinkage:
441   case GlobalValue::WeakODRLinkage:
442   case GlobalValue::ExternalWeakLinkage:
443     return ExternalWeak;
444
445   case GlobalValue::ExternalLinkage:
446   case GlobalValue::AvailableExternallyLinkage:
447   case GlobalValue::LinkOnceAnyLinkage:
448   case GlobalValue::LinkOnceODRLinkage:
449   case GlobalValue::AppendingLinkage:
450   case GlobalValue::DLLImportLinkage:
451   case GlobalValue::DLLExportLinkage:
452   case GlobalValue::GhostLinkage:
453   case GlobalValue::CommonLinkage:
454     return ExternalStrong;
455   }
456
457   assert(0 && "Unknown LinkageType.");
458   return ExternalWeak;
459 }
460
461 static void ThunkGToF(Function *F, Function *G) {
462   Function *NewG = Function::Create(G->getFunctionType(), G->getLinkage(), "",
463                                     G->getParent());
464   BasicBlock *BB = BasicBlock::Create("", NewG);
465
466   std::vector<Value *> Args;
467   unsigned i = 0;
468   const FunctionType *FFTy = F->getFunctionType();
469   for (Function::arg_iterator AI = NewG->arg_begin(), AE = NewG->arg_end();
470        AI != AE; ++AI) {
471     if (FFTy->getParamType(i) == AI->getType())
472       Args.push_back(AI);
473     else {
474       Value *BCI = new BitCastInst(AI, FFTy->getParamType(i), "", BB);
475       Args.push_back(BCI);
476     }
477     ++i;
478   }
479
480   CallInst *CI = CallInst::Create(F, Args.begin(), Args.end(), "", BB);
481   CI->setTailCall();
482   CI->setCallingConv(F->getCallingConv());
483   if (NewG->getReturnType() == Type::VoidTy) {
484     ReturnInst::Create(BB);
485   } else if (CI->getType() != NewG->getReturnType()) {
486     Value *BCI = new BitCastInst(CI, NewG->getReturnType(), "", BB);
487     ReturnInst::Create(BCI, BB);
488   } else {
489     ReturnInst::Create(CI, BB);
490   }
491
492   NewG->copyAttributesFrom(G);
493   NewG->takeName(G);
494   G->replaceAllUsesWith(NewG);
495   G->eraseFromParent();
496
497   // TODO: look at direct callers to G and make them all direct callers to F.
498 }
499
500 static void AliasGToF(Function *F, Function *G) {
501   if (!G->hasExternalLinkage() && !G->hasLocalLinkage() && !G->hasWeakLinkage())
502     return ThunkGToF(F, G);
503
504   GlobalAlias *GA = new GlobalAlias(
505     G->getType(), G->getLinkage(), "",
506     ConstantExpr::getBitCast(F, G->getType()), G->getParent());
507   F->setAlignment(std::max(F->getAlignment(), G->getAlignment()));
508   GA->takeName(G);
509   GA->setVisibility(G->getVisibility());
510   G->replaceAllUsesWith(GA);
511   G->eraseFromParent();
512 }
513
514 static bool fold(std::vector<Function *> &FnVec, unsigned i, unsigned j) {
515   Function *F = FnVec[i];
516   Function *G = FnVec[j];
517
518   LinkageCategory catF = categorize(F);
519   LinkageCategory catG = categorize(G);
520
521   if (catF == ExternalWeak || (catF == Internal && catG == ExternalStrong)) {
522     std::swap(FnVec[i], FnVec[j]);
523     std::swap(F, G);
524     std::swap(catF, catG);
525   }
526
527   switch (catF) {
528     case ExternalStrong:
529       switch (catG) {
530         case ExternalStrong:
531         case ExternalWeak:
532           ThunkGToF(F, G);
533           break;
534         case Internal:
535           if (G->hasAddressTaken())
536             ThunkGToF(F, G);
537           else
538             AliasGToF(F, G);
539           break;
540       }
541       break;
542
543     case ExternalWeak: {
544       assert(catG == ExternalWeak);
545
546       // Make them both thunks to the same internal function.
547       F->setAlignment(std::max(F->getAlignment(), G->getAlignment()));
548       Function *H = Function::Create(F->getFunctionType(), F->getLinkage(), "",
549                                      F->getParent());
550       H->copyAttributesFrom(F);
551       H->takeName(F);
552       F->replaceAllUsesWith(H);
553
554       ThunkGToF(F, G);
555       ThunkGToF(F, H);
556
557       F->setLinkage(GlobalValue::InternalLinkage);
558     } break;
559
560     case Internal:
561       switch (catG) {
562         case ExternalStrong:
563           assert(0);
564           // fall-through
565         case ExternalWeak:
566           if (F->hasAddressTaken())
567             ThunkGToF(F, G);
568           else
569             AliasGToF(F, G);
570           break;
571         case Internal: {
572           bool addrTakenF = F->hasAddressTaken();
573           bool addrTakenG = G->hasAddressTaken();
574           if (!addrTakenF && addrTakenG) {
575             std::swap(FnVec[i], FnVec[j]);
576             std::swap(F, G);
577             std::swap(addrTakenF, addrTakenG);
578           }
579
580           if (addrTakenF && addrTakenG) {
581             ThunkGToF(F, G);
582           } else {
583             assert(!addrTakenG);
584             AliasGToF(F, G);
585           }
586         } break;
587       }
588       break;
589   }
590
591   ++NumFunctionsMerged;
592   return true;
593 }
594
595 // ===----------------------------------------------------------------------===
596 // Pass definition
597 // ===----------------------------------------------------------------------===
598
599 bool MergeFunctions::runOnModule(Module &M) {
600   bool Changed = false;
601
602   std::map<unsigned long, std::vector<Function *> > FnMap;
603
604   for (Module::iterator F = M.begin(), E = M.end(); F != E; ++F) {
605     if (F->isDeclaration() || F->isIntrinsic())
606       continue;
607
608     FnMap[hash(F)].push_back(F);
609   }
610
611   // TODO: instead of running in a loop, we could also fold functions in
612   // callgraph order. Constructing the CFG probably isn't cheaper than just
613   // running in a loop, unless it happened to already be available.
614
615   bool LocalChanged;
616   do {
617     LocalChanged = false;
618     DOUT << "size: " << FnMap.size() << "\n";
619     for (std::map<unsigned long, std::vector<Function *> >::iterator
620          I = FnMap.begin(), E = FnMap.end(); I != E; ++I) {
621       std::vector<Function *> &FnVec = I->second;
622       DOUT << "hash (" << I->first << "): " << FnVec.size() << "\n";
623
624       for (int i = 0, e = FnVec.size(); i != e; ++i) {
625         for (int j = i + 1; j != e; ++j) {
626           bool isEqual = equals(FnVec[i], FnVec[j]);
627
628           DOUT << "  " << FnVec[i]->getName()
629                << (isEqual ? " == " : " != ")
630                << FnVec[j]->getName() << "\n";
631
632           if (isEqual) {
633             if (fold(FnVec, i, j)) {
634               LocalChanged = true;
635               FnVec.erase(FnVec.begin() + j);
636               --j, --e;
637             }
638           }
639         }
640       }
641
642     }
643     Changed |= LocalChanged;
644   } while (LocalChanged);
645
646   return Changed;
647 }