[fuzzer] add -runs=N to limit the number of runs per session. Also, make sure we...
[oota-llvm.git] / lib / Fuzzer / FuzzerMain.cpp
1 //===- FuzzerMain.cpp - main() function and flags -------------------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 // main() and flags.
10 //===----------------------------------------------------------------------===//
11
12 #include "FuzzerInternal.h"
13
14 #include <cstring>
15 #include <unistd.h>
16 #include <iostream>
17 #include <thread>
18 #include <atomic>
19 #include <mutex>
20
21 // ASAN options:
22 //   * don't dump the coverage to disk.
23 //   * enable coverage by default.
24 extern "C" const char *__asan_default_options() {
25   return "coverage_pcs=0:coverage=1";
26 }
27
28 // Program arguments.
29 struct FlagDescription {
30   const char *Name;
31   const char *Description;
32   int   Default;
33   int   *Flag;
34 };
35
36 struct {
37 #define FUZZER_FLAG(Type, Name, Default, Description) Type Name;
38 #include "FuzzerFlags.def"
39 #undef FUZZER_FLAG
40 } Flags;
41
42 static FlagDescription FlagDescriptions [] {
43 #define FUZZER_FLAG(Type, Name, Default, Description) {#Name, Description, Default, &Flags.Name},
44 #include "FuzzerFlags.def"
45 #undef FUZZER_FLAG
46 };
47
48 static const size_t kNumFlags =
49     sizeof(FlagDescriptions) / sizeof(FlagDescriptions[0]);
50
51 static std::vector<std::string> inputs;
52 static const char *ProgName;
53
54 static void PrintHelp() {
55   std::cerr << "Usage: " << ProgName
56             << " [-flag1=val1 [-flag2=val2 ...] ] [dir1 [dir2 ...] ]\n";
57   std::cerr << "\nFlags: (strictly in form -flag=value)\n";
58   size_t MaxFlagLen = 0;
59   for (size_t F = 0; F < kNumFlags; F++)
60     MaxFlagLen = std::max(strlen(FlagDescriptions[F].Name), MaxFlagLen);
61
62   for (size_t F = 0; F < kNumFlags; F++) {
63     const auto &D = FlagDescriptions[F];
64     std::cerr << "  " << D.Name;
65     for (size_t i = 0, n = MaxFlagLen - strlen(D.Name); i < n; i++)
66       std::cerr << " ";
67     std::cerr << "\t";
68     std::cerr << D.Default << "\t" << D.Description << "\n";
69   }
70 }
71
72 static const char *FlagValue(const char *Param, const char *Name) {
73   size_t Len = strlen(Name);
74   if (Param[0] == '-' && strstr(Param + 1, Name) == Param + 1 &&
75       Param[Len + 1] == '=')
76       return &Param[Len + 2];
77   return nullptr;
78 }
79
80 static bool ParseOneFlag(const char *Param) {
81   if (Param[0] != '-') return false;
82   for (size_t F = 0; F < kNumFlags; F++) {
83     const char *Name = FlagDescriptions[F].Name;
84     const char *Str = FlagValue(Param, Name);
85     if (Str)  {
86       int Val = std::stol(Str);
87       *FlagDescriptions[F].Flag = Val;
88       if (Flags.verbosity >= 2)
89         std::cerr << "Flag: " << Name << " " << Val << "\n";
90       return true;
91     }
92   }
93   PrintHelp();
94   exit(1);
95 }
96
97 // We don't use any library to minimize dependencies.
98 static void ParseFlags(int argc, char **argv) {
99   for (size_t F = 0; F < kNumFlags; F++)
100     *FlagDescriptions[F].Flag = FlagDescriptions[F].Default;
101   for (int A = 1; A < argc; A++) {
102     if (ParseOneFlag(argv[A])) continue;
103     inputs.push_back(argv[A]);
104   }
105 }
106
107 static void WorkerThread(const std::string &Cmd, std::atomic<int> *Counter,
108                         int NumJobs, std::atomic<bool> *HasErrors) {
109   static std::mutex CerrMutex;
110   while (true) {
111     int C = (*Counter)++;
112     if (C >= NumJobs) break;
113     std::string Log = "fuzz-" + std::to_string(C) + ".log";
114     std::string ToRun = Cmd + " > " + Log + " 2>&1\n";
115     if (Flags.verbosity)
116       std::cerr << ToRun;
117     int ExitCode = system(ToRun.c_str());
118     if (ExitCode != 0)
119       *HasErrors = true;
120     std::lock_guard<std::mutex> Lock(CerrMutex);
121     std::cerr << "================== Job " << C
122               << " exited with exit code " << ExitCode
123               << " =================\n";
124     fuzzer::CopyFileToErr(Log);
125   }
126 }
127
128 static int RunInMultipleProcesses(int argc, char **argv, int NumWorkers,
129                                   int NumJobs) {
130   std::atomic<int> Counter(0);
131   std::atomic<bool> HasErrors(false);
132   std::string Cmd;
133   for (int i = 0; i < argc; i++) {
134     if (FlagValue(argv[i], "jobs") || FlagValue(argv[i], "workers")) continue;
135     Cmd += argv[i];
136     Cmd += " ";
137   }
138   std::vector<std::thread> V;
139   for (int i = 0; i < NumWorkers; i++)
140     V.push_back(std::thread(WorkerThread, Cmd, &Counter, NumJobs, &HasErrors));
141   for (auto &T : V)
142     T.join();
143   return HasErrors ? 1 : 0;
144 }
145
146 int main(int argc, char **argv) {
147   using namespace fuzzer;
148
149   ProgName = argv[0];
150   ParseFlags(argc, argv);
151   if (Flags.help) {
152     PrintHelp();
153     return 0;
154   }
155
156   if (Flags.workers > 0 && Flags.jobs > 0)
157     return RunInMultipleProcesses(argc, argv, Flags.workers, Flags.jobs);
158
159   Fuzzer::FuzzingOptions Options;
160   Options.Verbosity = Flags.verbosity;
161   Options.MaxLen = Flags.max_len;
162   Options.DoCrossOver = Flags.cross_over;
163   Options.MutateDepth = Flags.mutate_depth;
164   Options.ExitOnFirst = Flags.exit_on_first;
165   Options.UseFullCoverageSet = Flags.use_full_coverage_set;
166   if (Flags.runs >= 0)
167     Options.MaxNumberOfRuns = Flags.runs;
168   if (!inputs.empty())
169     Options.OutputCorpus = inputs[0];
170   Fuzzer F(Options);
171
172   unsigned seed = Flags.seed;
173   // Initialize seed.
174   if (seed == 0)
175     seed = time(0) * 10000 + getpid();
176   if (Flags.verbosity)
177     std::cerr << "Seed: " << seed << "\n";
178   srand(seed);
179
180   // Timer
181   if (Flags.timeout > 0)
182     SetTimer(Flags.timeout);
183
184   for (auto &inp : inputs)
185     F.ReadDir(inp);
186
187   if (F.CorpusSize() == 0)
188     F.AddToCorpus(Unit());  // Can't fuzz empty corpus, so add an empty input.
189   F.ShuffleAndMinimize();
190   if (Flags.save_minimized_corpus)
191     F.SaveCorpus();
192   F.Loop(Flags.iterations < 0 ? INT_MAX : Flags.iterations);
193   if (Flags.verbosity)
194     std::cerr << "Done\n";
195   return 0;
196 }