tools/bugpoint/CrashDebugger.cpp

   1 //===- CrashDebugger.cpp - Debug compilation crashes ----------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file defines the bugpoint internals that narrow down compilation crashes
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "BugDriver.h"
  15 #include "ToolRunner.h"
  16 #include "ListReducer.h"
  17 #include "llvm/Constant.h"
  18 #include "llvm/DerivedTypes.h"
  19 #include "llvm/Instructions.h"
  20 #include "llvm/Module.h"
  21 #include "llvm/Pass.h"
  22 #include "llvm/PassManager.h"
  23 #include "llvm/ValueSymbolTable.h"
  24 #include "llvm/Analysis/Verifier.h"
  25 #include "llvm/Support/CFG.h"
  26 #include "llvm/Transforms/Scalar.h"
  27 #include "llvm/Transforms/Utils/Cloning.h"
  28 #include "llvm/Support/FileUtilities.h"
  29 #include "llvm/Support/CommandLine.h"
  30 #include <fstream>
  31 #include <set>
  32 using namespace llvm;
  33
  34 namespace {
  35   cl::opt<bool>
  36   KeepMain("keep-main",
  37            cl::desc("Force function reduction to keep main"),
  38            cl::init(false));
  39 }
  40
  41 namespace llvm {
  42   class ReducePassList : public ListReducer<const PassInfo*> {
  43     BugDriver &BD;
  44   public:
  45     ReducePassList(BugDriver &bd) : BD(bd) {}
  46
  47     // doTest - Return true iff running the "removed" passes succeeds, and
  48     // running the "Kept" passes fail when run on the output of the "removed"
  49     // passes.  If we return true, we update the current module of bugpoint.
  50     //
  51     virtual TestResult doTest(std::vector<const PassInfo*> &Removed,
  52                               std::vector<const PassInfo*> &Kept);
  53   };
  54 }
  55
  56 ReducePassList::TestResult
  57 ReducePassList::doTest(std::vector<const PassInfo*> &Prefix,
  58                        std::vector<const PassInfo*> &Suffix) {
  59   sys::Path PrefixOutput;
  60   Module *OrigProgram = 0;
  61   if (!Prefix.empty()) {
  62     std::cout << "Checking to see if these passes crash: "
  63               << getPassesString(Prefix) << ": ";
  64     std::string PfxOutput;
  65     if (BD.runPasses(Prefix, PfxOutput))
  66       return KeepPrefix;
  67
  68     PrefixOutput.set(PfxOutput);
  69     OrigProgram = BD.Program;
  70
  71     BD.Program = ParseInputFile(PrefixOutput.toString());
  72     if (BD.Program == 0) {
  73       std::cerr << BD.getToolName() << ": Error reading bitcode file '"
  74                 << PrefixOutput << "'!\n";
  75       exit(1);
  76     }
  77     PrefixOutput.eraseFromDisk();
  78   }
  79
  80   std::cout << "Checking to see if these passes crash: "
  81             << getPassesString(Suffix) << ": ";
  82
  83   if (BD.runPasses(Suffix)) {
  84     delete OrigProgram;            // The suffix crashes alone...
  85     return KeepSuffix;
  86   }
  87
  88   // Nothing failed, restore state...
  89   if (OrigProgram) {
  90     delete BD.Program;
  91     BD.Program = OrigProgram;
  92   }
  93   return NoFailure;
  94 }
  95
  96 namespace {
  97   /// ReduceCrashingGlobalVariables - This works by removing the global
  98   /// variable's initializer and seeing if the program still crashes. If it
  99   /// does, then we keep that program and try again.
 100   ///
 101   class ReduceCrashingGlobalVariables : public ListReducer<GlobalVariable*> {
 102     BugDriver &BD;
 103     bool (*TestFn)(BugDriver &, Module *);
 104   public:
 105     ReduceCrashingGlobalVariables(BugDriver &bd,
 106                                   bool (*testFn)(BugDriver&, Module*))
 107       : BD(bd), TestFn(testFn) {}
 108
 109     virtual TestResult doTest(std::vector<GlobalVariable*>& Prefix,
 110                               std::vector<GlobalVariable*>& Kept) {
 111       if (!Kept.empty() && TestGlobalVariables(Kept))
 112         return KeepSuffix;
 113
 114       if (!Prefix.empty() && TestGlobalVariables(Prefix))
 115         return KeepPrefix;
 116
 117       return NoFailure;
 118     }
 119
 120     bool TestGlobalVariables(std::vector<GlobalVariable*>& GVs);
 121   };
 122 }
 123
 124 bool
 125 ReduceCrashingGlobalVariables::TestGlobalVariables(
 126                               std::vector<GlobalVariable*>& GVs) {
 127   // Clone the program to try hacking it apart...
 128   DenseMap<const Value*, Value*> ValueMap;
 129   Module *M = CloneModule(BD.getProgram(), ValueMap);
 130
 131   // Convert list to set for fast lookup...
 132   std::set<GlobalVariable*> GVSet;
 133
 134   for (unsigned i = 0, e = GVs.size(); i != e; ++i) {
 135     GlobalVariable* CMGV = cast<GlobalVariable>(ValueMap[GVs[i]]);
 136     assert(CMGV && "Global Variable not in module?!");
 137     GVSet.insert(CMGV);
 138   }
 139
 140   std::cout << "Checking for crash with only these global variables: ";
 141   PrintGlobalVariableList(GVs);
 142   std::cout << ": ";
 143
 144   // Loop over and delete any global variables which we aren't supposed to be
 145   // playing with...
 146   for (Module::global_iterator I = M->global_begin(), E = M->global_end();
 147        I != E; ++I)
 148     if (I->hasInitializer()) {
 149       I->setInitializer(0);
 150       I->setLinkage(GlobalValue::ExternalLinkage);
 151     }
 152
 153   // Try running the hacked up program...
 154   if (TestFn(BD, M)) {
 155     BD.setNewProgram(M);        // It crashed, keep the trimmed version...
 156
 157     // Make sure to use global variable pointers that point into the now-current
 158     // module.
 159     GVs.assign(GVSet.begin(), GVSet.end());
 160     return true;
 161   }
 162
 163   delete M;
 164   return false;
 165 }
 166
 167 namespace llvm {
 168   /// ReduceCrashingFunctions reducer - This works by removing functions and
 169   /// seeing if the program still crashes. If it does, then keep the newer,
 170   /// smaller program.
 171   ///
 172   class ReduceCrashingFunctions : public ListReducer<Function*> {
 173     BugDriver &BD;
 174     bool (*TestFn)(BugDriver &, Module *);
 175   public:
 176     ReduceCrashingFunctions(BugDriver &bd,
 177                             bool (*testFn)(BugDriver &, Module *))
 178       : BD(bd), TestFn(testFn) {}
 179
 180     virtual TestResult doTest(std::vector<Function*> &Prefix,
 181                               std::vector<Function*> &Kept) {
 182       if (!Kept.empty() && TestFuncs(Kept))
 183         return KeepSuffix;
 184       if (!Prefix.empty() && TestFuncs(Prefix))
 185         return KeepPrefix;
 186       return NoFailure;
 187     }
 188
 189     bool TestFuncs(std::vector<Function*> &Prefix);
 190   };
 191 }
 192
 193 bool ReduceCrashingFunctions::TestFuncs(std::vector<Function*> &Funcs) {
 194
 195   //if main isn't present, claim there is no problem
 196   if (KeepMain && find(Funcs.begin(), Funcs.end(),
 197                        BD.getProgram()->getFunction("main")) == Funcs.end())
 198     return false;
 199
 200   // Clone the program to try hacking it apart...
 201   Module *M = CloneModule(BD.getProgram());
 202
 203   // Convert list to set for fast lookup...
 204   std::set<Function*> Functions;
 205   for (unsigned i = 0, e = Funcs.size(); i != e; ++i) {
 206     // FIXME: bugpoint should add names to all stripped symbols.
 207     assert(!Funcs[i]->getName().empty() &&
 208            "Bugpoint doesn't work on stripped modules yet PR718!");
 209     Function *CMF = M->getFunction(Funcs[i]->getName());
 210     assert(CMF && "Function not in module?!");
 211     assert(CMF->getFunctionType() == Funcs[i]->getFunctionType() && "wrong ty");
 212     Functions.insert(CMF);
 213   }
 214
 215   std::cout << "Checking for crash with only these functions: ";
 216   PrintFunctionList(Funcs);
 217   std::cout << ": ";
 218
 219   // Loop over and delete any functions which we aren't supposed to be playing
 220   // with...
 221   for (Module::iterator I = M->begin(), E = M->end(); I != E; ++I)
 222     if (!I->isDeclaration() && !Functions.count(I))
 223       DeleteFunctionBody(I);
 224
 225   // Try running the hacked up program...
 226   if (TestFn(BD, M)) {
 227     BD.setNewProgram(M);        // It crashed, keep the trimmed version...
 228
 229     // Make sure to use function pointers that point into the now-current
 230     // module.
 231     Funcs.assign(Functions.begin(), Functions.end());
 232     return true;
 233   }
 234   delete M;
 235   return false;
 236 }
 237
 238
 239 namespace {
 240   /// ReduceCrashingBlocks reducer - This works by setting the terminators of
 241   /// all terminators except the specified basic blocks to a 'ret' instruction,
 242   /// then running the simplify-cfg pass.  This has the effect of chopping up
 243   /// the CFG really fast which can reduce large functions quickly.
 244   ///
 245   class ReduceCrashingBlocks : public ListReducer<const BasicBlock*> {
 246     BugDriver &BD;
 247     bool (*TestFn)(BugDriver &, Module *);
 248   public:
 249     ReduceCrashingBlocks(BugDriver &bd, bool (*testFn)(BugDriver &, Module *))
 250       : BD(bd), TestFn(testFn) {}
 251
 252     virtual TestResult doTest(std::vector<const BasicBlock*> &Prefix,
 253                               std::vector<const BasicBlock*> &Kept) {
 254       if (!Kept.empty() && TestBlocks(Kept))
 255         return KeepSuffix;
 256       if (!Prefix.empty() && TestBlocks(Prefix))
 257         return KeepPrefix;
 258       return NoFailure;
 259     }
 260
 261     bool TestBlocks(std::vector<const BasicBlock*> &Prefix);
 262   };
 263 }
 264
 265 bool ReduceCrashingBlocks::TestBlocks(std::vector<const BasicBlock*> &BBs) {
 266   // Clone the program to try hacking it apart...
 267   Module *M = CloneModule(BD.getProgram());
 268
 269   // Convert list to set for fast lookup...
 270   std::set<BasicBlock*> Blocks;
 271   for (unsigned i = 0, e = BBs.size(); i != e; ++i) {
 272     // Convert the basic block from the original module to the new module...
 273     const Function *F = BBs[i]->getParent();
 274     Function *CMF = M->getFunction(F->getName());
 275     assert(CMF && "Function not in module?!");
 276     assert(CMF->getFunctionType() == F->getFunctionType() && "wrong type?");
 277
 278     // Get the mapped basic block...
 279     Function::iterator CBI = CMF->begin();
 280     std::advance(CBI, std::distance(F->begin(),
 281                                     Function::const_iterator(BBs[i])));
 282     Blocks.insert(CBI);
 283   }
 284
 285   std::cout << "Checking for crash with only these blocks:";
 286   unsigned NumPrint = Blocks.size();
 287   if (NumPrint > 10) NumPrint = 10;
 288   for (unsigned i = 0, e = NumPrint; i != e; ++i)
 289     std::cout << " " << BBs[i]->getName();
 290   if (NumPrint < Blocks.size())
 291     std::cout << "... <" << Blocks.size() << " total>";
 292   std::cout << ": ";
 293
 294   // Loop over and delete any hack up any blocks that are not listed...
 295   for (Module::iterator I = M->begin(), E = M->end(); I != E; ++I)
 296     for (Function::iterator BB = I->begin(), E = I->end(); BB != E; ++BB)
 297       if (!Blocks.count(BB) && BB->getTerminator()->getNumSuccessors()) {
 298         // Loop over all of the successors of this block, deleting any PHI nodes
 299         // that might include it.
 300         for (succ_iterator SI = succ_begin(BB), E = succ_end(BB); SI != E; ++SI)
 301           (*SI)->removePredecessor(BB);
 302
 303         if (BB->getTerminator()->getType() != Type::VoidTy)
 304           BB->getTerminator()->replaceAllUsesWith(
 305                       Constant::getNullValue(BB->getTerminator()->getType()));
 306
 307         // Delete the old terminator instruction...
 308         BB->getInstList().pop_back();
 309
 310         // Add a new return instruction of the appropriate type...
 311         const Type *RetTy = BB->getParent()->getReturnType();
 312         ReturnInst::Create(RetTy == Type::VoidTy ? 0 :
 313                            Constant::getNullValue(RetTy), BB);
 314       }
 315
 316   // The CFG Simplifier pass may delete one of the basic blocks we are
 317   // interested in.  If it does we need to take the block out of the list.  Make
 318   // a "persistent mapping" by turning basic blocks into <function, name> pairs.
 319   // This won't work well if blocks are unnamed, but that is just the risk we
 320   // have to take.
 321   std::vector<std::pair<Function*, std::string> > BlockInfo;
 322
 323   for (std::set<BasicBlock*>::iterator I = Blocks.begin(), E = Blocks.end();
 324        I != E; ++I)
 325     BlockInfo.push_back(std::make_pair((*I)->getParent(), (*I)->getName()));
 326
 327   // Now run the CFG simplify pass on the function...
 328   PassManager Passes;
 329   Passes.add(createCFGSimplificationPass());
 330   Passes.add(createVerifierPass());
 331   Passes.run(*M);
 332
 333   // Try running on the hacked up program...
 334   if (TestFn(BD, M)) {
 335     BD.setNewProgram(M);      // It crashed, keep the trimmed version...
 336
 337     // Make sure to use basic block pointers that point into the now-current
 338     // module, and that they don't include any deleted blocks.
 339     BBs.clear();
 340     for (unsigned i = 0, e = BlockInfo.size(); i != e; ++i) {
 341       ValueSymbolTable &ST = BlockInfo[i].first->getValueSymbolTable();
 342       Value* V = ST.lookup(BlockInfo[i].second);
 343       if (V && V->getType() == Type::LabelTy)
 344         BBs.push_back(cast<BasicBlock>(V));
 345     }
 346     return true;
 347   }
 348   delete M;  // It didn't crash, try something else.
 349   return false;
 350 }
 351
 352 /// DebugACrash - Given a predicate that determines whether a component crashes
 353 /// on a program, try to destructively reduce the program while still keeping
 354 /// the predicate true.
 355 static bool DebugACrash(BugDriver &BD,  bool (*TestFn)(BugDriver &, Module *)) {
 356   // See if we can get away with nuking some of the global variable initializers
 357   // in the program...
 358   if (BD.getProgram()->global_begin() != BD.getProgram()->global_end()) {
 359     // Now try to reduce the number of global variable initializers in the
 360     // module to something small.
 361     Module *M = CloneModule(BD.getProgram());
 362     bool DeletedInit = false;
 363
 364     for (Module::global_iterator I = M->global_begin(), E = M->global_end();
 365          I != E; ++I)
 366       if (I->hasInitializer()) {
 367         I->setInitializer(0);
 368         I->setLinkage(GlobalValue::ExternalLinkage);
 369         DeletedInit = true;
 370       }
 371
 372     if (!DeletedInit) {
 373       delete M;  // No change made...
 374     } else {
 375       // See if the program still causes a crash...
 376       std::cout << "\nChecking to see if we can delete global inits: ";
 377
 378       if (TestFn(BD, M)) {      // Still crashes?
 379         BD.setNewProgram(M);
 380         std::cout << "\n*** Able to remove all global initializers!\n";
 381       } else {                  // No longer crashes?
 382         std::cout << "  - Removing all global inits hides problem!\n";
 383         delete M;
 384
 385         std::vector<GlobalVariable*> GVs;
 386
 387         for (Module::global_iterator I = BD.getProgram()->global_begin(),
 388                E = BD.getProgram()->global_end(); I != E; ++I)
 389           if (I->hasInitializer())
 390             GVs.push_back(I);
 391
 392         if (GVs.size() > 1 && !BugpointIsInterrupted) {
 393           std::cout << "\n*** Attempting to reduce the number of global "
 394                     << "variables in the testcase\n";
 395
 396           unsigned OldSize = GVs.size();
 397           ReduceCrashingGlobalVariables(BD, TestFn).reduceList(GVs);
 398
 399           if (GVs.size() < OldSize)
 400             BD.EmitProgressBitcode("reduced-global-variables");
 401         }
 402       }
 403     }
 404   }
 405
 406   // Now try to reduce the number of functions in the module to something small.
 407   std::vector<Function*> Functions;
 408   for (Module::iterator I = BD.getProgram()->begin(),
 409          E = BD.getProgram()->end(); I != E; ++I)
 410     if (!I->isDeclaration())
 411       Functions.push_back(I);
 412
 413   if (Functions.size() > 1 && !BugpointIsInterrupted) {
 414     std::cout << "\n*** Attempting to reduce the number of functions "
 415       "in the testcase\n";
 416
 417     unsigned OldSize = Functions.size();
 418     ReduceCrashingFunctions(BD, TestFn).reduceList(Functions);
 419
 420     if (Functions.size() < OldSize)
 421       BD.EmitProgressBitcode("reduced-function");
 422   }
 423
 424   // Attempt to delete entire basic blocks at a time to speed up
 425   // convergence... this actually works by setting the terminator of the blocks
 426   // to a return instruction then running simplifycfg, which can potentially
 427   // shrinks the code dramatically quickly
 428   //
 429   if (!DisableSimplifyCFG && !BugpointIsInterrupted) {
 430     std::vector<const BasicBlock*> Blocks;
 431     for (Module::const_iterator I = BD.getProgram()->begin(),
 432            E = BD.getProgram()->end(); I != E; ++I)
 433       for (Function::const_iterator FI = I->begin(), E = I->end(); FI !=E; ++FI)
 434         Blocks.push_back(FI);
 435     ReduceCrashingBlocks(BD, TestFn).reduceList(Blocks);
 436   }
 437
 438   // FIXME: This should use the list reducer to converge faster by deleting
 439   // larger chunks of instructions at a time!
 440   unsigned Simplification = 2;
 441   do {
 442     if (BugpointIsInterrupted) break;
 443     --Simplification;
 444     std::cout << "\n*** Attempting to reduce testcase by deleting instruc"
 445               << "tions: Simplification Level #" << Simplification << '\n';
 446
 447     // Now that we have deleted the functions that are unnecessary for the
 448     // program, try to remove instructions that are not necessary to cause the
 449     // crash.  To do this, we loop through all of the instructions in the
 450     // remaining functions, deleting them (replacing any values produced with
 451     // nulls), and then running ADCE and SimplifyCFG.  If the transformed input
 452     // still triggers failure, keep deleting until we cannot trigger failure
 453     // anymore.
 454     //
 455     unsigned InstructionsToSkipBeforeDeleting = 0;
 456   TryAgain:
 457
 458     // Loop over all of the (non-terminator) instructions remaining in the
 459     // function, attempting to delete them.
 460     unsigned CurInstructionNum = 0;
 461     for (Module::const_iterator FI = BD.getProgram()->begin(),
 462            E = BD.getProgram()->end(); FI != E; ++FI)
 463       if (!FI->isDeclaration())
 464         for (Function::const_iterator BI = FI->begin(), E = FI->end(); BI != E;
 465              ++BI)
 466           for (BasicBlock::const_iterator I = BI->begin(), E = --BI->end();
 467                I != E; ++I, ++CurInstructionNum)
 468             if (InstructionsToSkipBeforeDeleting) {
 469               --InstructionsToSkipBeforeDeleting;
 470             } else {
 471               if (BugpointIsInterrupted) goto ExitLoops;
 472
 473               std::cout << "Checking instruction '" << I->getName() << "': ";
 474               Module *M = BD.deleteInstructionFromProgram(I, Simplification);
 475
 476               // Find out if the pass still crashes on this pass...
 477               if (TestFn(BD, M)) {
 478                 // Yup, it does, we delete the old module, and continue trying
 479                 // to reduce the testcase...
 480                 BD.setNewProgram(M);
 481                 InstructionsToSkipBeforeDeleting = CurInstructionNum;
 482                 goto TryAgain;  // I wish I had a multi-level break here!
 483               }
 484
 485               // This pass didn't crash without this instruction, try the next
 486               // one.
 487               delete M;
 488             }
 489
 490     if (InstructionsToSkipBeforeDeleting) {
 491       InstructionsToSkipBeforeDeleting = 0;
 492       goto TryAgain;
 493     }
 494
 495   } while (Simplification);
 496 ExitLoops:
 497
 498   // Try to clean up the testcase by running funcresolve and globaldce...
 499   if (!BugpointIsInterrupted) {
 500     std::cout << "\n*** Attempting to perform final cleanups: ";
 501     Module *M = CloneModule(BD.getProgram());
 502     M = BD.performFinalCleanups(M, true);
 503
 504     // Find out if the pass still crashes on the cleaned up program...
 505     if (TestFn(BD, M)) {
 506       BD.setNewProgram(M);     // Yup, it does, keep the reduced version...
 507     } else {
 508       delete M;
 509     }
 510   }
 511
 512   BD.EmitProgressBitcode("reduced-simplified");
 513
 514   return false;
 515 }
 516
 517 static bool TestForOptimizerCrash(BugDriver &BD, Module *M) {
 518   return BD.runPasses(M);
 519 }
 520
 521 /// debugOptimizerCrash - This method is called when some pass crashes on input.
 522 /// It attempts to prune down the testcase to something reasonable, and figure
 523 /// out exactly which pass is crashing.
 524 ///
 525 bool BugDriver::debugOptimizerCrash(const std::string &ID) {
 526   std::cout << "\n*** Debugging optimizer crash!\n";
 527
 528   // Reduce the list of passes which causes the optimizer to crash...
 529   if (!BugpointIsInterrupted)
 530     ReducePassList(*this).reduceList(PassesToRun);
 531
 532   std::cout << "\n*** Found crashing pass"
 533             << (PassesToRun.size() == 1 ? ": " : "es: ")
 534             << getPassesString(PassesToRun) << '\n';
 535
 536   EmitProgressBitcode(ID);
 537
 538   return DebugACrash(*this, TestForOptimizerCrash);
 539 }
 540
 541 static bool TestForCodeGenCrash(BugDriver &BD, Module *M) {
 542   try {
 543     std::cerr << '\n';
 544     BD.compileProgram(M);
 545     std::cerr << '\n';
 546     return false;
 547   } catch (ToolExecutionError &) {
 548     std::cerr << "<crash>\n";
 549     return true;  // Tool is still crashing.
 550   }
 551 }
 552
 553 /// debugCodeGeneratorCrash - This method is called when the code generator
 554 /// crashes on an input.  It attempts to reduce the input as much as possible
 555 /// while still causing the code generator to crash.
 556 bool BugDriver::debugCodeGeneratorCrash() {
 557   std::cerr << "*** Debugging code generator crash!\n";
 558
 559   return DebugACrash(*this, TestForCodeGenCrash);
 560 }