Generalize bugpoint's concept of a "safe" backend, and add options
[oota-llvm.git] / tools / bugpoint / BugDriver.cpp
1 //===- BugDriver.cpp - Top-Level BugPoint class implementation ------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This class contains all of the shared state and information that is used by
11 // the BugPoint tool to track down errors in optimizations.  This class is the
12 // main driver class that invokes all sub-functionality.
13 //
14 //===----------------------------------------------------------------------===//
15
16 #include "BugDriver.h"
17 #include "ToolRunner.h"
18 #include "llvm/Linker.h"
19 #include "llvm/Module.h"
20 #include "llvm/Pass.h"
21 #include "llvm/Assembly/Parser.h"
22 #include "llvm/Bitcode/ReaderWriter.h"
23 #include "llvm/Support/CommandLine.h"
24 #include "llvm/Support/FileUtilities.h"
25 #include "llvm/Support/MemoryBuffer.h"
26 #include <iostream>
27 #include <memory>
28 using namespace llvm;
29
30 // Anonymous namespace to define command line options for debugging.
31 //
32 namespace {
33   // Output - The user can specify a file containing the expected output of the
34   // program.  If this filename is set, it is used as the reference diff source,
35   // otherwise the raw input run through an interpreter is used as the reference
36   // source.
37   //
38   cl::opt<std::string>
39   OutputFile("output", cl::desc("Specify a reference program output "
40                                 "(for miscompilation detection)"));
41 }
42
43 /// setNewProgram - If we reduce or update the program somehow, call this method
44 /// to update bugdriver with it.  This deletes the old module and sets the
45 /// specified one as the current program.
46 void BugDriver::setNewProgram(Module *M) {
47   delete Program;
48   Program = M;
49 }
50
51
52 /// getPassesString - Turn a list of passes into a string which indicates the
53 /// command line options that must be passed to add the passes.
54 ///
55 std::string llvm::getPassesString(const std::vector<const PassInfo*> &Passes) {
56   std::string Result;
57   for (unsigned i = 0, e = Passes.size(); i != e; ++i) {
58     if (i) Result += " ";
59     Result += "-";
60     Result += Passes[i]->getPassArgument();
61   }
62   return Result;
63 }
64
65 BugDriver::BugDriver(const char *toolname, bool as_child, bool find_bugs,
66                      unsigned timeout, unsigned memlimit)
67   : ToolName(toolname), ReferenceOutputFile(OutputFile),
68     Program(0), Interpreter(0), SafeInterpreter(0), gcc(0),
69     run_as_child(as_child),
70     run_find_bugs(find_bugs), Timeout(timeout), MemoryLimit(memlimit) {}
71
72
73 /// ParseInputFile - Given a bitcode or assembly input filename, parse and
74 /// return it, or return null if not possible.
75 ///
76 Module *llvm::ParseInputFile(const std::string &Filename) {
77   std::auto_ptr<MemoryBuffer> Buffer(MemoryBuffer::getFileOrSTDIN(Filename));
78   Module *Result = 0;
79   if (Buffer.get())
80     Result = ParseBitcodeFile(Buffer.get());
81   
82   ParseError Err;
83   if (!Result && !(Result = ParseAssemblyFile(Filename, &Err))) {
84     std::cerr << "bugpoint: " << Err.getMessage() << "\n"; 
85     Result = 0;
86   }
87   
88   return Result;
89 }
90
91 // This method takes the specified list of LLVM input files, attempts to load
92 // them, either as assembly or bitcode, then link them together. It returns
93 // true on failure (if, for example, an input bitcode file could not be
94 // parsed), and false on success.
95 //
96 bool BugDriver::addSources(const std::vector<std::string> &Filenames) {
97   assert(Program == 0 && "Cannot call addSources multiple times!");
98   assert(!Filenames.empty() && "Must specify at least on input filename!");
99
100   try {
101     // Load the first input file.
102     Program = ParseInputFile(Filenames[0]);
103     if (Program == 0) return true;
104     
105     if (!run_as_child)
106       std::cout << "Read input file      : '" << Filenames[0] << "'\n";
107
108     for (unsigned i = 1, e = Filenames.size(); i != e; ++i) {
109       std::auto_ptr<Module> M(ParseInputFile(Filenames[i]));
110       if (M.get() == 0) return true;
111
112       if (!run_as_child)
113         std::cout << "Linking in input file: '" << Filenames[i] << "'\n";
114       std::string ErrorMessage;
115       if (Linker::LinkModules(Program, M.get(), &ErrorMessage)) {
116         std::cerr << ToolName << ": error linking in '" << Filenames[i] << "': "
117                   << ErrorMessage << '\n';
118         return true;
119       }
120     }
121   } catch (const std::string &Error) {
122     std::cerr << ToolName << ": error reading input '" << Error << "'\n";
123     return true;
124   }
125
126   if (!run_as_child)
127     std::cout << "*** All input ok\n";
128
129   // All input files read successfully!
130   return false;
131 }
132
133
134
135 /// run - The top level method that is invoked after all of the instance
136 /// variables are set up from command line arguments.
137 ///
138 bool BugDriver::run() {
139   // The first thing to do is determine if we're running as a child. If we are,
140   // then what to do is very narrow. This form of invocation is only called
141   // from the runPasses method to actually run those passes in a child process.
142   if (run_as_child) {
143     // Execute the passes
144     return runPassesAsChild(PassesToRun);
145   }
146   
147   if (run_find_bugs) {
148     // Rearrange the passes and apply them to the program. Repeat this process
149     // until the user kills the program or we find a bug.
150     return runManyPasses(PassesToRun);
151   }
152
153   // If we're not running as a child, the first thing that we must do is 
154   // determine what the problem is. Does the optimization series crash the 
155   // compiler, or does it produce illegal code?  We make the top-level 
156   // decision by trying to run all of the passes on the the input program, 
157   // which should generate a bitcode file.  If it does generate a bitcode 
158   // file, then we know the compiler didn't crash, so try to diagnose a 
159   // miscompilation.
160   if (!PassesToRun.empty()) {
161     std::cout << "Running selected passes on program to test for crash: ";
162     if (runPasses(PassesToRun))
163       return debugOptimizerCrash();
164   }
165
166   // Set up the execution environment, selecting a method to run LLVM bitcode.
167   if (initializeExecutionEnvironment()) return true;
168
169   // Test to see if we have a code generator crash.
170   std::cout << "Running the code generator to test for a crash: ";
171   try {
172     compileProgram(Program);
173     std::cout << '\n';
174   } catch (ToolExecutionError &TEE) {
175     std::cout << TEE.what();
176     return debugCodeGeneratorCrash();
177   }
178
179
180   // Run the raw input to see where we are coming from.  If a reference output
181   // was specified, make sure that the raw output matches it.  If not, it's a
182   // problem in the front-end or the code generator.
183   //
184   bool CreatedOutput = false;
185   if (ReferenceOutputFile.empty()) {
186     std::cout << "Generating reference output from raw program: ";
187     if(!createReferenceFile(Program)){
188       return debugCodeGeneratorCrash();
189     }
190     CreatedOutput = true;
191   }
192
193   // Make sure the reference output file gets deleted on exit from this
194   // function, if appropriate.
195   sys::Path ROF(ReferenceOutputFile);
196   FileRemover RemoverInstance(ROF, CreatedOutput);
197
198   // Diff the output of the raw program against the reference output.  If it
199   // matches, then we assume there is a miscompilation bug and try to 
200   // diagnose it.
201   std::cout << "*** Checking the code generator...\n";
202   try {
203     if (!diffProgram()) {
204       std::cout << "\n*** Debugging miscompilation!\n";
205       return debugMiscompilation();
206     }
207   } catch (ToolExecutionError &TEE) {
208     std::cerr << TEE.what();
209     return debugCodeGeneratorCrash();
210   }
211
212   std::cout << "\n*** Input program does not match reference diff!\n";
213   std::cout << "Debugging code generator problem!\n";
214   try {
215     return debugCodeGenerator();
216   } catch (ToolExecutionError &TEE) {
217     std::cerr << TEE.what();
218     return debugCodeGeneratorCrash();
219   }
220 }
221
222 void llvm::PrintFunctionList(const std::vector<Function*> &Funcs) {
223   unsigned NumPrint = Funcs.size();
224   if (NumPrint > 10) NumPrint = 10;
225   for (unsigned i = 0; i != NumPrint; ++i)
226     std::cout << " " << Funcs[i]->getName();
227   if (NumPrint < Funcs.size())
228     std::cout << "... <" << Funcs.size() << " total>";
229   std::cout << std::flush;
230 }
231
232 void llvm::PrintGlobalVariableList(const std::vector<GlobalVariable*> &GVs) {
233   unsigned NumPrint = GVs.size();
234   if (NumPrint > 10) NumPrint = 10;
235   for (unsigned i = 0; i != NumPrint; ++i)
236     std::cout << " " << GVs[i]->getName();
237   if (NumPrint < GVs.size())
238     std::cout << "... <" << GVs.size() << " total>";
239   std::cout << std::flush;
240 }