lib/Fuzzer/FuzzerTraceState.cpp

   1 //===- FuzzerTraceState.cpp - Trace-based fuzzer mutator ------------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 // This file implements a mutation algorithm based on instruction traces and
  10 // on taint analysis feedback from DFSan.
  11 //
  12 // Instruction traces are special hooks inserted by the compiler around
  13 // interesting instructions. Currently supported traces:
  14 //   * __sanitizer_cov_trace_cmp -- inserted before every ICMP instruction,
  15 //    receives the type, size and arguments of ICMP.
  16 //
  17 // Every time a traced event is intercepted we analyse the data involved
  18 // in the event and suggest a mutation for future executions.
  19 // For example if 4 bytes of data that derive from input bytes {4,5,6,7}
  20 // are compared with a constant 12345,
  21 // we try to insert 12345, 12344, 12346 into bytes
  22 // {4,5,6,7} of the next fuzzed inputs.
  23 //
  24 // The fuzzer can work only with the traces, or with both traces and DFSan.
  25 //
  26 // DataFlowSanitizer (DFSan) is a tool for
  27 // generalised dynamic data flow (taint) analysis:
  28 // http://clang.llvm.org/docs/DataFlowSanitizer.html .
  29 //
  30 // The approach with DFSan-based fuzzing has some similarity to
  31 // "Taint-based Directed Whitebox Fuzzing"
  32 // by Vijay Ganesh & Tim Leek & Martin Rinard:
  33 // http://dspace.mit.edu/openaccess-disseminate/1721.1/59320,
  34 // but it uses a full blown LLVM IR taint analysis and separate instrumentation
  35 // to analyze all of the "attack points" at once.
  36 //
  37 // Workflow with DFSan:
  38 //   * lib/Fuzzer/Fuzzer*.cpp is compiled w/o any instrumentation.
  39 //   * The code under test is compiled with DFSan *and* with instruction traces.
  40 //   * Every call to HOOK(a,b) is replaced by DFSan with
  41 //     __dfsw_HOOK(a, b, label(a), label(b)) so that __dfsw_HOOK
  42 //     gets all the taint labels for the arguments.
  43 //   * At the Fuzzer startup we assign a unique DFSan label
  44 //     to every byte of the input string (Fuzzer::CurrentUnit) so that for any
  45 //     chunk of data we know which input bytes it has derived from.
  46 //   * The __dfsw_* functions (implemented in this file) record the
  47 //     parameters (i.e. the application data and the corresponding taint labels)
  48 //     in a global state.
  49 //   * Fuzzer::ApplyTraceBasedMutation() tries to use the data recorded
  50 //     by __dfsw_* hooks to guide the fuzzing towards new application states.
  51 //
  52 // Parts of this code will not function when DFSan is not linked in.
  53 // Instead of using ifdefs and thus requiring a separate build of lib/Fuzzer
  54 // we redeclare the dfsan_* interface functions as weak and check if they
  55 // are nullptr before calling.
  56 // If this approach proves to be useful we may add attribute(weak) to the
  57 // dfsan declarations in dfsan_interface.h
  58 //
  59 // This module is in the "proof of concept" stage.
  60 // It is capable of solving only the simplest puzzles
  61 // like test/dfsan/DFSanSimpleCmpTest.cpp.
  62 //===----------------------------------------------------------------------===//
  63
  64 /* Example of manual usage (-fsanitize=dataflow is optional):
  65 (
  66   cd $LLVM/lib/Fuzzer/
  67   clang  -fPIC -c -g -O2 -std=c++11 Fuzzer*.cpp
  68   clang++ -O0 -std=c++11 -fsanitize-coverage=edge,trace-cmp \
  69     -fsanitize=dataflow \
  70     test/dfsan/DFSanSimpleCmpTest.cpp Fuzzer*.o
  71   ./a.out
  72 )
  73 */
  74
  75 #include "FuzzerInternal.h"
  76 #include <sanitizer/dfsan_interface.h>
  77
  78 #include <algorithm>
  79 #include <cstring>
  80 #include <unordered_map>
  81
  82 extern "C" {
  83 __attribute__((weak))
  84 dfsan_label dfsan_create_label(const char *desc, void *userdata);
  85 __attribute__((weak))
  86 void dfsan_set_label(dfsan_label label, void *addr, size_t size);
  87 __attribute__((weak))
  88 void dfsan_add_label(dfsan_label label, void *addr, size_t size);
  89 __attribute__((weak))
  90 const struct dfsan_label_info *dfsan_get_label_info(dfsan_label label);
  91 __attribute__((weak))
  92 dfsan_label dfsan_read_label(const void *addr, size_t size);
  93 }  // extern "C"
  94
  95 namespace fuzzer {
  96
  97 static bool ReallyHaveDFSan() {
  98   return &dfsan_create_label != nullptr;
  99 }
 100
 101 // These values are copied from include/llvm/IR/InstrTypes.h.
 102 // We do not include the LLVM headers here to remain independent.
 103 // If these values ever change, an assertion in ComputeCmp will fail.
 104 enum Predicate {
 105   ICMP_EQ = 32,  ///< equal
 106   ICMP_NE = 33,  ///< not equal
 107   ICMP_UGT = 34, ///< unsigned greater than
 108   ICMP_UGE = 35, ///< unsigned greater or equal
 109   ICMP_ULT = 36, ///< unsigned less than
 110   ICMP_ULE = 37, ///< unsigned less or equal
 111   ICMP_SGT = 38, ///< signed greater than
 112   ICMP_SGE = 39, ///< signed greater or equal
 113   ICMP_SLT = 40, ///< signed less than
 114   ICMP_SLE = 41, ///< signed less or equal
 115 };
 116
 117 template <class U, class S>
 118 bool ComputeCmp(size_t CmpType, U Arg1, U Arg2) {
 119   switch(CmpType) {
 120     case ICMP_EQ : return Arg1 == Arg2;
 121     case ICMP_NE : return Arg1 != Arg2;
 122     case ICMP_UGT: return Arg1 > Arg2;
 123     case ICMP_UGE: return Arg1 >= Arg2;
 124     case ICMP_ULT: return Arg1 < Arg2;
 125     case ICMP_ULE: return Arg1 <= Arg2;
 126     case ICMP_SGT: return (S)Arg1 > (S)Arg2;
 127     case ICMP_SGE: return (S)Arg1 >= (S)Arg2;
 128     case ICMP_SLT: return (S)Arg1 < (S)Arg2;
 129     case ICMP_SLE: return (S)Arg1 <= (S)Arg2;
 130     default: assert(0 && "unsupported CmpType");
 131   }
 132   return false;
 133 }
 134
 135 static bool ComputeCmp(size_t CmpSize, size_t CmpType, uint64_t Arg1,
 136                        uint64_t Arg2) {
 137   if (CmpSize == 8) return ComputeCmp<uint64_t, int64_t>(CmpType, Arg1, Arg2);
 138   if (CmpSize == 4) return ComputeCmp<uint32_t, int32_t>(CmpType, Arg1, Arg2);
 139   if (CmpSize == 2) return ComputeCmp<uint16_t, int16_t>(CmpType, Arg1, Arg2);
 140   if (CmpSize == 1) return ComputeCmp<uint8_t, int8_t>(CmpType, Arg1, Arg2);
 141   // Other size, ==
 142   if (CmpType == ICMP_EQ) return Arg1 == Arg2;
 143   assert(0 && "unsupported cmp and type size combination");
 144   return true;
 145 }
 146
 147 // As a simplification we use the range of input bytes instead of a set of input
 148 // bytes.
 149 struct LabelRange {
 150   uint16_t Beg, End;  // Range is [Beg, End), thus Beg==End is an empty range.
 151
 152   LabelRange(uint16_t Beg = 0, uint16_t End = 0) : Beg(Beg), End(End) {}
 153
 154   static LabelRange Join(LabelRange LR1, LabelRange LR2) {
 155     if (LR1.Beg == LR1.End) return LR2;
 156     if (LR2.Beg == LR2.End) return LR1;
 157     return {std::min(LR1.Beg, LR2.Beg), std::max(LR1.End, LR2.End)};
 158   }
 159   LabelRange &Join(LabelRange LR) {
 160     return *this = Join(*this, LR);
 161   }
 162   static LabelRange Singleton(const dfsan_label_info *LI) {
 163     uint16_t Idx = (uint16_t)(uintptr_t)LI->userdata;
 164     assert(Idx > 0);
 165     return {(uint16_t)(Idx - 1), Idx};
 166   }
 167 };
 168
 169 // A passport for a CMP site. We want to keep track of where the given CMP is
 170 // and how many times it is evaluated to true or false.
 171 struct CmpSitePassport {
 172   uintptr_t PC;
 173   size_t Counter[2];
 174
 175   bool IsInterestingCmpTarget() {
 176     static const size_t kRareEnough = 50;
 177     size_t C0 = Counter[0];
 178     size_t C1 = Counter[1];
 179     return C0 > kRareEnough * (C1 + 1) || C1 > kRareEnough * (C0 + 1);
 180   }
 181 };
 182
 183 // For now, just keep a simple imprecise hash table PC => CmpSitePassport.
 184 // Potentially, will need to have a compiler support to have a precise mapping
 185 // and also thread-safety.
 186 struct CmpSitePassportTable {
 187   static const size_t kSize = 99991;  // Prime.
 188   CmpSitePassport Passports[kSize];
 189
 190   CmpSitePassport *GetPassport(uintptr_t PC) {
 191     uintptr_t Idx = PC & kSize;
 192     CmpSitePassport *Res = &Passports[Idx];
 193     if (Res->PC == 0)  // Not thread safe.
 194       Res->PC = PC;
 195     return Res->PC == PC ? Res : nullptr;
 196   }
 197 };
 198
 199 static CmpSitePassportTable CSPTable;  // Zero initialized.
 200
 201 // For now, very simple: put Size bytes of Data at position Pos.
 202 struct TraceBasedMutation {
 203   size_t Pos;
 204   size_t Size;
 205   uint64_t Data;
 206 };
 207
 208 class TraceState {
 209  public:
 210    TraceState(const Fuzzer::FuzzingOptions &Options, const Unit &CurrentUnit)
 211        : Options(Options), CurrentUnit(CurrentUnit) {}
 212
 213   LabelRange GetLabelRange(dfsan_label L);
 214   void DFSanCmpCallback(uintptr_t PC, size_t CmpSize, size_t CmpType,
 215                         uint64_t Arg1, uint64_t Arg2, dfsan_label L1,
 216                         dfsan_label L2);
 217   void TraceCmpCallback(uintptr_t PC, size_t CmpSize, size_t CmpType, uint64_t Arg1,
 218                         uint64_t Arg2);
 219   int TryToAddDesiredData(uint64_t PresentData, uint64_t DesiredData,
 220                            size_t DataSize);
 221
 222   void StartTraceRecording() {
 223     if (!Options.UseTraces) return;
 224     RecordingTraces = true;
 225     Mutations.clear();
 226   }
 227
 228   size_t StopTraceRecording(FuzzerRandomBase &Rand) {
 229     RecordingTraces = false;
 230     std::random_shuffle(Mutations.begin(), Mutations.end(), Rand);
 231     return Mutations.size();
 232   }
 233
 234   void ApplyTraceBasedMutation(size_t Idx, fuzzer::Unit *U);
 235
 236  private:
 237   bool IsTwoByteData(uint64_t Data) {
 238     int64_t Signed = static_cast<int64_t>(Data);
 239     Signed >>= 16;
 240     return Signed == 0 || Signed == -1L;
 241   }
 242   bool RecordingTraces = false;
 243   std::vector<TraceBasedMutation> Mutations;
 244   LabelRange LabelRanges[1 << (sizeof(dfsan_label) * 8)] = {};
 245   const Fuzzer::FuzzingOptions &Options;
 246   const Unit &CurrentUnit;
 247 };
 248
 249 LabelRange TraceState::GetLabelRange(dfsan_label L) {
 250   LabelRange &LR = LabelRanges[L];
 251   if (LR.Beg < LR.End || L == 0)
 252     return LR;
 253   const dfsan_label_info *LI = dfsan_get_label_info(L);
 254   if (LI->l1 || LI->l2)
 255     return LR = LabelRange::Join(GetLabelRange(LI->l1), GetLabelRange(LI->l2));
 256   return LR = LabelRange::Singleton(LI);
 257 }
 258
 259 void TraceState::ApplyTraceBasedMutation(size_t Idx, fuzzer::Unit *U) {
 260   assert(Idx < Mutations.size());
 261   auto &M = Mutations[Idx];
 262   if (Options.Verbosity >= 3)
 263     Printf("TBM %zd %zd %zd\n", M.Pos, M.Size, M.Data);
 264   if (M.Pos + M.Size > U->size()) return;
 265   memcpy(U->data() + M.Pos, &M.Data, M.Size);
 266 }
 267
 268 void TraceState::DFSanCmpCallback(uintptr_t PC, size_t CmpSize, size_t CmpType,
 269                                   uint64_t Arg1, uint64_t Arg2, dfsan_label L1,
 270                                   dfsan_label L2) {
 271   assert(ReallyHaveDFSan());
 272   if (!RecordingTraces) return;
 273   if (L1 == 0 && L2 == 0)
 274     return;  // Not actionable.
 275   if (L1 != 0 && L2 != 0)
 276     return;  // Probably still actionable.
 277   bool Res = ComputeCmp(CmpSize, CmpType, Arg1, Arg2);
 278   uint64_t Data = L1 ? Arg2 : Arg1;
 279   LabelRange LR = L1 ? GetLabelRange(L1) : GetLabelRange(L2);
 280
 281   for (size_t Pos = LR.Beg; Pos + CmpSize <= LR.End; Pos++) {
 282     Mutations.push_back({Pos, CmpSize, Data});
 283     Mutations.push_back({Pos, CmpSize, Data + 1});
 284     Mutations.push_back({Pos, CmpSize, Data - 1});
 285   }
 286
 287   if (CmpSize > LR.End - LR.Beg)
 288     Mutations.push_back({LR.Beg, (unsigned)(LR.End - LR.Beg), Data});
 289
 290
 291   if (Options.Verbosity >= 3)
 292     Printf("DFSanCmpCallback: PC %lx S %zd T %zd A1 %llx A2 %llx R %d L1 %d L2 "
 293            "%d MU %zd\n",
 294            PC, CmpSize, CmpType, Arg1, Arg2, Res, L1, L2, Mutations.size());
 295 }
 296
 297 int TraceState::TryToAddDesiredData(uint64_t PresentData, uint64_t DesiredData,
 298                                     size_t DataSize) {
 299   int Res = 0;
 300   const uint8_t *Beg = CurrentUnit.data();
 301   const uint8_t *End = Beg + CurrentUnit.size();
 302   for (const uint8_t *Cur = Beg; Cur < End; Cur += DataSize) {
 303     Cur = (uint8_t *)memmem(Cur, End - Cur, &PresentData, DataSize);
 304     if (!Cur)
 305       break;
 306     size_t Pos = Cur - Beg;
 307     assert(Pos < CurrentUnit.size());
 308     Mutations.push_back({Pos, DataSize, DesiredData});
 309     Mutations.push_back({Pos, DataSize, DesiredData + 1});
 310     Mutations.push_back({Pos, DataSize, DesiredData - 1});
 311     Cur += DataSize;
 312     Res++;
 313   }
 314   return Res;
 315 }
 316
 317 void TraceState::TraceCmpCallback(uintptr_t PC, size_t CmpSize, size_t CmpType, uint64_t Arg1,
 318                         uint64_t Arg2) {
 319   if (!RecordingTraces) return;
 320   int Added = 0;
 321   CmpSitePassport *CSP = CSPTable.GetPassport(PC);
 322   if (!CSP) return;
 323   CSP->Counter[ComputeCmp(CmpSize, CmpType, Arg1, Arg2)]++;
 324   size_t C0 = CSP->Counter[0];
 325   size_t C1 = CSP->Counter[1];
 326   if (!CSP->IsInterestingCmpTarget())
 327     return;
 328   if (Options.Verbosity >= 3)
 329     Printf("TraceCmp: %p %zd/%zd; %zd %zd\n", CSP->PC, C0, C1, Arg1, Arg2);
 330   Added += TryToAddDesiredData(Arg1, Arg2, CmpSize);
 331   Added += TryToAddDesiredData(Arg2, Arg1, CmpSize);
 332   if (!Added && CmpSize == 4 && IsTwoByteData(Arg1) && IsTwoByteData(Arg2)) {
 333     Added += TryToAddDesiredData(Arg1, Arg2, 2);
 334     Added += TryToAddDesiredData(Arg2, Arg1, 2);
 335   }
 336 }
 337
 338 static TraceState *TS;
 339
 340 void Fuzzer::StartTraceRecording() {
 341   if (!TS) return;
 342   TS->StartTraceRecording();
 343 }
 344
 345 size_t Fuzzer::StopTraceRecording() {
 346   if (!TS) return 0;
 347   return TS->StopTraceRecording(USF.GetRand());
 348 }
 349
 350 void Fuzzer::ApplyTraceBasedMutation(size_t Idx, Unit *U) {
 351   assert(TS);
 352   TS->ApplyTraceBasedMutation(Idx, U);
 353 }
 354
 355 void Fuzzer::InitializeTraceState() {
 356   if (!Options.UseTraces) return;
 357   TS = new TraceState(Options, CurrentUnit);
 358   CurrentUnit.resize(Options.MaxLen);
 359   // The rest really requires DFSan.
 360   if (!ReallyHaveDFSan()) return;
 361   for (size_t i = 0; i < static_cast<size_t>(Options.MaxLen); i++) {
 362     dfsan_label L = dfsan_create_label("input", (void*)(i + 1));
 363     // We assume that no one else has called dfsan_create_label before.
 364     assert(L == i + 1);
 365     dfsan_set_label(L, &CurrentUnit[i], 1);
 366   }
 367 }
 368
 369 static size_t InternalStrnlen(const char *S, size_t MaxLen) {
 370   size_t Len = 0;
 371   for (; Len < MaxLen && S[Len]; Len++) {}
 372   return Len;
 373 }
 374
 375 }  // namespace fuzzer
 376
 377 using fuzzer::TS;
 378
 379 extern "C" {
 380 void __dfsw___sanitizer_cov_trace_cmp(uint64_t SizeAndType, uint64_t Arg1,
 381                                       uint64_t Arg2, dfsan_label L0,
 382                                       dfsan_label L1, dfsan_label L2) {
 383   if (!TS) return;
 384   assert(L0 == 0);
 385   uintptr_t PC = reinterpret_cast<uintptr_t>(__builtin_return_address(0));
 386   uint64_t CmpSize = (SizeAndType >> 32) / 8;
 387   uint64_t Type = (SizeAndType << 32) >> 32;
 388   TS->DFSanCmpCallback(PC, CmpSize, Type, Arg1, Arg2, L1, L2);
 389 }
 390
 391 void dfsan_weak_hook_memcmp(void *caller_pc, const void *s1, const void *s2,
 392                             size_t n, dfsan_label s1_label,
 393                             dfsan_label s2_label, dfsan_label n_label) {
 394   if (!TS) return;
 395   uintptr_t PC = reinterpret_cast<uintptr_t>(caller_pc);
 396   uint64_t S1 = 0, S2 = 0;
 397   // Simplification: handle only first 8 bytes.
 398   memcpy(&S1, s1, std::min(n, sizeof(S1)));
 399   memcpy(&S2, s2, std::min(n, sizeof(S2)));
 400   dfsan_label L1 = dfsan_read_label(s1, n);
 401   dfsan_label L2 = dfsan_read_label(s2, n);
 402   TS->DFSanCmpCallback(PC, n, fuzzer::ICMP_EQ, S1, S2, L1, L2);
 403 }
 404
 405 void dfsan_weak_hook_strncmp(void *caller_pc, const char *s1, const char *s2,
 406                              size_t n, dfsan_label s1_label,
 407                              dfsan_label s2_label, dfsan_label n_label) {
 408   if (!TS) return;
 409   uintptr_t PC = reinterpret_cast<uintptr_t>(caller_pc);
 410   uint64_t S1 = 0, S2 = 0;
 411   n = std::min(n, fuzzer::InternalStrnlen(s1, n));
 412   n = std::min(n, fuzzer::InternalStrnlen(s2, n));
 413   // Simplification: handle only first 8 bytes.
 414   memcpy(&S1, s1, std::min(n, sizeof(S1)));
 415   memcpy(&S2, s2, std::min(n, sizeof(S2)));
 416   dfsan_label L1 = dfsan_read_label(s1, n);
 417   dfsan_label L2 = dfsan_read_label(s2, n);
 418   TS->DFSanCmpCallback(PC, n, fuzzer::ICMP_EQ, S1, S2, L1, L2);
 419 }
 420
 421 void __sanitizer_weak_hook_memcmp(void *caller_pc, const void *s1,
 422                                   const void *s2, size_t n) {
 423   if (!TS) return;
 424   uintptr_t PC = reinterpret_cast<uintptr_t>(caller_pc);
 425   uint64_t S1 = 0, S2 = 0;
 426   // Simplification: handle only first 8 bytes.
 427   memcpy(&S1, s1, std::min(n, sizeof(S1)));
 428   memcpy(&S2, s2, std::min(n, sizeof(S2)));
 429   TS->TraceCmpCallback(PC, n, fuzzer::ICMP_EQ, S1, S2);
 430 }
 431
 432 void __sanitizer_weak_hook_strncmp(void *caller_pc, const char *s1,
 433                                    const char *s2, size_t n) {
 434   if (!TS) return;
 435   uintptr_t PC = reinterpret_cast<uintptr_t>(caller_pc);
 436   uint64_t S1 = 0, S2 = 0;
 437   n = std::min(n, fuzzer::InternalStrnlen(s1, n));
 438   n = std::min(n, fuzzer::InternalStrnlen(s2, n));
 439   // Simplification: handle only first 8 bytes.
 440   memcpy(&S1, s1, std::min(n, sizeof(S1)));
 441   memcpy(&S2, s2, std::min(n, sizeof(S2)));
 442   TS->TraceCmpCallback(PC, n, fuzzer::ICMP_EQ, S1, S2);
 443 }
 444
 445 void __sanitizer_cov_trace_cmp(uint64_t SizeAndType, uint64_t Arg1,
 446                                uint64_t Arg2) {
 447   if (!TS) return;
 448   uintptr_t PC = reinterpret_cast<uintptr_t>(__builtin_return_address(0));
 449   uint64_t CmpSize = (SizeAndType >> 32) / 8;
 450   uint64_t Type = (SizeAndType << 32) >> 32;
 451   TS->TraceCmpCallback(PC, CmpSize, Type, Arg1, Arg2);
 452 }
 453
 454 }  // extern "C"