lib/Target/X86/AsmParser/X86AsmInstrumentation.cpp

   1 //===-- X86AsmInstrumentation.cpp - Instrument X86 inline assembly C++ -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 #include "MCTargetDesc/X86BaseInfo.h"
  11 #include "X86AsmInstrumentation.h"
  12 #include "X86Operand.h"
  13 #include "X86RegisterInfo.h"
  14 #include "llvm/ADT/StringExtras.h"
  15 #include "llvm/ADT/Triple.h"
  16 #include "llvm/CodeGen/MachineValueType.h"
  17 #include "llvm/IR/Function.h"
  18 #include "llvm/MC/MCContext.h"
  19 #include "llvm/MC/MCInst.h"
  20 #include "llvm/MC/MCInstBuilder.h"
  21 #include "llvm/MC/MCInstrInfo.h"
  22 #include "llvm/MC/MCParser/MCParsedAsmOperand.h"
  23 #include "llvm/MC/MCStreamer.h"
  24 #include "llvm/MC/MCSubtargetInfo.h"
  25 #include "llvm/MC/MCTargetAsmParser.h"
  26 #include "llvm/MC/MCTargetOptions.h"
  27 #include "llvm/Support/CommandLine.h"
  28
  29 namespace llvm {
  30 namespace {
  31
  32 static cl::opt<bool> ClAsanInstrumentAssembly(
  33     "asan-instrument-assembly",
  34     cl::desc("instrument assembly with AddressSanitizer checks"), cl::Hidden,
  35     cl::init(false));
  36
  37 bool IsStackReg(unsigned Reg) {
  38   return Reg == X86::RSP || Reg == X86::ESP || Reg == X86::SP;
  39 }
  40
  41 bool IsSmallMemAccess(unsigned AccessSize) { return AccessSize < 8; }
  42
  43 std::string FuncName(unsigned AccessSize, bool IsWrite) {
  44   return std::string("__asan_report_") + (IsWrite ? "store" : "load") +
  45          utostr(AccessSize);
  46 }
  47
  48 class X86AddressSanitizer : public X86AsmInstrumentation {
  49 public:
  50   struct RegisterContext {
  51     RegisterContext(unsigned AddressReg, unsigned ShadowReg,
  52                     unsigned ScratchReg)
  53         : AddressReg(AddressReg), ShadowReg(ShadowReg), ScratchReg(ScratchReg) {
  54     }
  55
  56     unsigned addressReg(MVT::SimpleValueType VT) const {
  57       return getX86SubSuperRegister(AddressReg, VT);
  58     }
  59
  60     unsigned shadowReg(MVT::SimpleValueType VT) const {
  61       return getX86SubSuperRegister(ShadowReg, VT);
  62     }
  63
  64     unsigned scratchReg(MVT::SimpleValueType VT) const {
  65       return getX86SubSuperRegister(ScratchReg, VT);
  66     }
  67
  68     const unsigned AddressReg;
  69     const unsigned ShadowReg;
  70     const unsigned ScratchReg;
  71   };
  72
  73   X86AddressSanitizer(const MCSubtargetInfo &STI)
  74       : X86AsmInstrumentation(STI), RepPrefix(false) {}
  75   virtual ~X86AddressSanitizer() {}
  76
  77   // X86AsmInstrumentation implementation:
  78   virtual void InstrumentAndEmitInstruction(const MCInst &Inst,
  79                                             OperandVector &Operands,
  80                                             MCContext &Ctx,
  81                                             const MCInstrInfo &MII,
  82                                             MCStreamer &Out) override {
  83     InstrumentMOVS(Inst, Operands, Ctx, MII, Out);
  84     if (RepPrefix)
  85       EmitInstruction(Out, MCInstBuilder(X86::REP_PREFIX));
  86
  87     InstrumentMOV(Inst, Operands, Ctx, MII, Out);
  88
  89     RepPrefix = (Inst.getOpcode() == X86::REP_PREFIX);
  90     if (!RepPrefix)
  91       EmitInstruction(Out, Inst);
  92   }
  93
  94   // Should be implemented differently in x86_32 and x86_64 subclasses.
  95   virtual void StoreFlags(MCStreamer &Out) = 0;
  96
  97   virtual void RestoreFlags(MCStreamer &Out) = 0;
  98
  99   // Adjusts up stack and saves all registers used in instrumentation.
 100   virtual void InstrumentMemOperandPrologue(const RegisterContext &RegCtx,
 101                                             MCContext &Ctx,
 102                                             MCStreamer &Out) = 0;
 103
 104   // Restores all registers used in instrumentation and adjusts stack.
 105   virtual void InstrumentMemOperandEpilogue(const RegisterContext &RegCtx,
 106                                             MCContext &Ctx,
 107                                             MCStreamer &Out) = 0;
 108
 109   virtual void InstrumentMemOperandSmall(X86Operand &Op, unsigned AccessSize,
 110                                          bool IsWrite,
 111                                          const RegisterContext &RegCtx,
 112                                          MCContext &Ctx, MCStreamer &Out) = 0;
 113   virtual void InstrumentMemOperandLarge(X86Operand &Op, unsigned AccessSize,
 114                                          bool IsWrite,
 115                                          const RegisterContext &RegCtx,
 116                                          MCContext &Ctx, MCStreamer &Out) = 0;
 117
 118   virtual void InstrumentMOVSImpl(unsigned AccessSize, MCContext &Ctx,
 119                                   MCStreamer &Out) = 0;
 120
 121   void InstrumentMemOperand(X86Operand &Op, unsigned AccessSize, bool IsWrite,
 122                             const RegisterContext &RegCtx, MCContext &Ctx,
 123                             MCStreamer &Out);
 124   void InstrumentMOVSBase(unsigned DstReg, unsigned SrcReg, unsigned CntReg,
 125                           unsigned AccessSize, MCContext &Ctx, MCStreamer &Out);
 126
 127   void InstrumentMOVS(const MCInst &Inst, OperandVector &Operands,
 128                       MCContext &Ctx, const MCInstrInfo &MII, MCStreamer &Out);
 129   void InstrumentMOV(const MCInst &Inst, OperandVector &Operands,
 130                      MCContext &Ctx, const MCInstrInfo &MII, MCStreamer &Out);
 131
 132 protected:
 133   void EmitLabel(MCStreamer &Out, MCSymbol *Label) { Out.EmitLabel(Label); }
 134
 135   // True when previous instruction was actually REP prefix.
 136   bool RepPrefix;
 137 };
 138
 139 void X86AddressSanitizer::InstrumentMemOperand(
 140     X86Operand &Op, unsigned AccessSize, bool IsWrite,
 141     const RegisterContext &RegCtx, MCContext &Ctx, MCStreamer &Out) {
 142   assert(Op.isMem() && "Op should be a memory operand.");
 143   assert((AccessSize & (AccessSize - 1)) == 0 && AccessSize <= 16 &&
 144          "AccessSize should be a power of two, less or equal than 16.");
 145   // FIXME: take into account load/store alignment.
 146   if (IsSmallMemAccess(AccessSize))
 147     InstrumentMemOperandSmall(Op, AccessSize, IsWrite, RegCtx, Ctx, Out);
 148   else
 149     InstrumentMemOperandLarge(Op, AccessSize, IsWrite, RegCtx, Ctx, Out);
 150 }
 151
 152 void X86AddressSanitizer::InstrumentMOVSBase(unsigned DstReg, unsigned SrcReg,
 153                                              unsigned CntReg,
 154                                              unsigned AccessSize,
 155                                              MCContext &Ctx, MCStreamer &Out) {
 156   // FIXME: check whole ranges [DstReg .. DstReg + AccessSize * (CntReg - 1)]
 157   // and [SrcReg .. SrcReg + AccessSize * (CntReg - 1)].
 158   RegisterContext RegCtx(X86::RDX /* AddressReg */, X86::RAX /* ShadowReg */,
 159                          IsSmallMemAccess(AccessSize)
 160                              ? X86::RBX
 161                              : X86::NoRegister /* ScratchReg */);
 162
 163   InstrumentMemOperandPrologue(RegCtx, Ctx, Out);
 164
 165   // Test (%SrcReg)
 166   {
 167     const MCExpr *Disp = MCConstantExpr::Create(0, Ctx);
 168     std::unique_ptr<X86Operand> Op(X86Operand::CreateMem(
 169         0, Disp, SrcReg, 0, AccessSize, SMLoc(), SMLoc()));
 170     InstrumentMemOperand(*Op, AccessSize, false /* IsWrite */, RegCtx, Ctx,
 171                          Out);
 172   }
 173
 174   // Test -1(%SrcReg, %CntReg, AccessSize)
 175   {
 176     const MCExpr *Disp = MCConstantExpr::Create(-1, Ctx);
 177     std::unique_ptr<X86Operand> Op(X86Operand::CreateMem(
 178         0, Disp, SrcReg, CntReg, AccessSize, SMLoc(), SMLoc()));
 179     InstrumentMemOperand(*Op, AccessSize, false /* IsWrite */, RegCtx, Ctx,
 180                          Out);
 181   }
 182
 183   // Test (%DstReg)
 184   {
 185     const MCExpr *Disp = MCConstantExpr::Create(0, Ctx);
 186     std::unique_ptr<X86Operand> Op(X86Operand::CreateMem(
 187         0, Disp, DstReg, 0, AccessSize, SMLoc(), SMLoc()));
 188     InstrumentMemOperand(*Op, AccessSize, true /* IsWrite */, RegCtx, Ctx, Out);
 189   }
 190
 191   // Test -1(%DstReg, %CntReg, AccessSize)
 192   {
 193     const MCExpr *Disp = MCConstantExpr::Create(-1, Ctx);
 194     std::unique_ptr<X86Operand> Op(X86Operand::CreateMem(
 195         0, Disp, DstReg, CntReg, AccessSize, SMLoc(), SMLoc()));
 196     InstrumentMemOperand(*Op, AccessSize, true /* IsWrite */, RegCtx, Ctx, Out);
 197   }
 198
 199   InstrumentMemOperandEpilogue(RegCtx, Ctx, Out);
 200 }
 201
 202 void X86AddressSanitizer::InstrumentMOVS(const MCInst &Inst,
 203                                          OperandVector &Operands,
 204                                          MCContext &Ctx, const MCInstrInfo &MII,
 205                                          MCStreamer &Out) {
 206   // Access size in bytes.
 207   unsigned AccessSize = 0;
 208
 209   switch (Inst.getOpcode()) {
 210   case X86::MOVSB:
 211     AccessSize = 1;
 212     break;
 213   case X86::MOVSW:
 214     AccessSize = 2;
 215     break;
 216   case X86::MOVSL:
 217     AccessSize = 4;
 218     break;
 219   case X86::MOVSQ:
 220     AccessSize = 8;
 221     break;
 222   default:
 223     return;
 224   }
 225
 226   InstrumentMOVSImpl(AccessSize, Ctx, Out);
 227 }
 228
 229 void X86AddressSanitizer::InstrumentMOV(const MCInst &Inst,
 230                                         OperandVector &Operands, MCContext &Ctx,
 231                                         const MCInstrInfo &MII,
 232                                         MCStreamer &Out) {
 233   // Access size in bytes.
 234   unsigned AccessSize = 0;
 235
 236   switch (Inst.getOpcode()) {
 237   case X86::MOV8mi:
 238   case X86::MOV8mr:
 239   case X86::MOV8rm:
 240     AccessSize = 1;
 241     break;
 242   case X86::MOV16mi:
 243   case X86::MOV16mr:
 244   case X86::MOV16rm:
 245     AccessSize = 2;
 246     break;
 247   case X86::MOV32mi:
 248   case X86::MOV32mr:
 249   case X86::MOV32rm:
 250     AccessSize = 4;
 251     break;
 252   case X86::MOV64mi32:
 253   case X86::MOV64mr:
 254   case X86::MOV64rm:
 255     AccessSize = 8;
 256     break;
 257   case X86::MOVAPDmr:
 258   case X86::MOVAPSmr:
 259   case X86::MOVAPDrm:
 260   case X86::MOVAPSrm:
 261     AccessSize = 16;
 262     break;
 263   default:
 264     return;
 265   }
 266
 267   const bool IsWrite = MII.get(Inst.getOpcode()).mayStore();
 268   RegisterContext RegCtx(X86::RDI /* AddressReg */, X86::RAX /* ShadowReg */,
 269                          IsSmallMemAccess(AccessSize)
 270                              ? X86::RCX
 271                              : X86::NoRegister /* ScratchReg */);
 272
 273   for (unsigned Ix = 0; Ix < Operands.size(); ++Ix) {
 274     assert(Operands[Ix]);
 275     MCParsedAsmOperand &Op = *Operands[Ix];
 276     if (Op.isMem()) {
 277       X86Operand &MemOp = static_cast<X86Operand &>(Op);
 278       // FIXME: get rid of this limitation.
 279       if (IsStackReg(MemOp.getMemBaseReg()) ||
 280           IsStackReg(MemOp.getMemIndexReg())) {
 281         continue;
 282       }
 283
 284       InstrumentMemOperandPrologue(RegCtx, Ctx, Out);
 285       InstrumentMemOperand(MemOp, AccessSize, IsWrite, RegCtx, Ctx, Out);
 286       InstrumentMemOperandEpilogue(RegCtx, Ctx, Out);
 287     }
 288   }
 289 }
 290
 291 class X86AddressSanitizer32 : public X86AddressSanitizer {
 292 public:
 293   static const long kShadowOffset = 0x20000000;
 294
 295   X86AddressSanitizer32(const MCSubtargetInfo &STI)
 296       : X86AddressSanitizer(STI) {}
 297
 298   virtual ~X86AddressSanitizer32() {}
 299
 300   virtual void StoreFlags(MCStreamer &Out) override {
 301     EmitInstruction(Out, MCInstBuilder(X86::PUSHF32));
 302   }
 303
 304   virtual void RestoreFlags(MCStreamer &Out) override {
 305     EmitInstruction(Out, MCInstBuilder(X86::POPF32));
 306   }
 307
 308   virtual void InstrumentMemOperandPrologue(const RegisterContext &RegCtx,
 309                                             MCContext &Ctx,
 310                                             MCStreamer &Out) override {
 311     const MCRegisterInfo* MRI = Ctx.getRegisterInfo();
 312     if (MRI && FrameReg != X86::NoRegister) {
 313       EmitInstruction(
 314           Out, MCInstBuilder(X86::PUSH32r).addReg(X86::EBP));
 315       if (FrameReg == X86::ESP) {
 316         Out.EmitCFIAdjustCfaOffset(4 /* byte size of the FrameReg */);
 317         Out.EmitCFIRelOffset(
 318             MRI->getDwarfRegNum(X86::EBP, true /* IsEH */), 0);
 319       }
 320       EmitInstruction(
 321           Out, MCInstBuilder(X86::MOV32rr).addReg(X86::EBP).addReg(FrameReg));
 322       Out.EmitCFIRememberState();
 323       Out.EmitCFIDefCfaRegister(
 324           MRI->getDwarfRegNum(X86::EBP, true /* IsEH */));
 325     }
 326
 327     EmitInstruction(
 328         Out, MCInstBuilder(X86::PUSH32r).addReg(RegCtx.addressReg(MVT::i32)));
 329     EmitInstruction(
 330         Out, MCInstBuilder(X86::PUSH32r).addReg(RegCtx.shadowReg(MVT::i32)));
 331     if (RegCtx.ScratchReg != X86::NoRegister) {
 332       EmitInstruction(
 333           Out, MCInstBuilder(X86::PUSH32r).addReg(RegCtx.scratchReg(MVT::i32)));
 334     }
 335     StoreFlags(Out);
 336   }
 337
 338   virtual void InstrumentMemOperandEpilogue(const RegisterContext &RegCtx,
 339                                             MCContext &Ctx,
 340                                             MCStreamer &Out) override {
 341     RestoreFlags(Out);
 342     if (RegCtx.ScratchReg != X86::NoRegister) {
 343       EmitInstruction(
 344           Out, MCInstBuilder(X86::POP32r).addReg(RegCtx.scratchReg(MVT::i32)));
 345     }
 346     EmitInstruction(
 347         Out, MCInstBuilder(X86::POP32r).addReg(RegCtx.shadowReg(MVT::i32)));
 348     EmitInstruction(
 349         Out, MCInstBuilder(X86::POP32r).addReg(RegCtx.addressReg(MVT::i32)));
 350
 351     if (Ctx.getRegisterInfo() && FrameReg != X86::NoRegister) {
 352       EmitInstruction(
 353           Out, MCInstBuilder(X86::POP32r).addReg(X86::EBP));
 354       Out.EmitCFIRestoreState();
 355       if (FrameReg == X86::ESP)
 356         Out.EmitCFIAdjustCfaOffset(-4 /* byte size of the FrameReg */);
 357     }
 358   }
 359
 360   virtual void InstrumentMemOperandSmall(X86Operand &Op, unsigned AccessSize,
 361                                          bool IsWrite,
 362                                          const RegisterContext &RegCtx,
 363                                          MCContext &Ctx,
 364                                          MCStreamer &Out) override;
 365   virtual void InstrumentMemOperandLarge(X86Operand &Op, unsigned AccessSize,
 366                                          bool IsWrite,
 367                                          const RegisterContext &RegCtx,
 368                                          MCContext &Ctx,
 369                                          MCStreamer &Out) override;
 370   virtual void InstrumentMOVSImpl(unsigned AccessSize, MCContext &Ctx,
 371                                   MCStreamer &Out) override;
 372
 373 private:
 374   void EmitCallAsanReport(unsigned AccessSize, bool IsWrite, MCContext &Ctx,
 375                           MCStreamer &Out, const RegisterContext &RegCtx) {
 376     EmitInstruction(Out, MCInstBuilder(X86::CLD));
 377     EmitInstruction(Out, MCInstBuilder(X86::MMX_EMMS));
 378
 379     EmitInstruction(Out, MCInstBuilder(X86::AND64ri8)
 380                              .addReg(X86::ESP)
 381                              .addReg(X86::ESP)
 382                              .addImm(-16));
 383     EmitInstruction(
 384         Out, MCInstBuilder(X86::PUSH32r).addReg(RegCtx.addressReg(MVT::i32)));
 385
 386     const std::string &Fn = FuncName(AccessSize, IsWrite);
 387     MCSymbol *FnSym = Ctx.GetOrCreateSymbol(StringRef(Fn));
 388     const MCSymbolRefExpr *FnExpr =
 389         MCSymbolRefExpr::Create(FnSym, MCSymbolRefExpr::VK_PLT, Ctx);
 390     EmitInstruction(Out, MCInstBuilder(X86::CALLpcrel32).addExpr(FnExpr));
 391   }
 392 };
 393
 394 void X86AddressSanitizer32::InstrumentMemOperandSmall(
 395     X86Operand &Op, unsigned AccessSize, bool IsWrite,
 396     const RegisterContext &RegCtx, MCContext &Ctx, MCStreamer &Out) {
 397   unsigned AddressRegI32 = RegCtx.addressReg(MVT::i32);
 398   unsigned ShadowRegI32 = RegCtx.shadowReg(MVT::i32);
 399   unsigned ShadowRegI8 = RegCtx.shadowReg(MVT::i8);
 400
 401   assert(RegCtx.ScratchReg != X86::NoRegister);
 402   unsigned ScratchRegI32 = RegCtx.scratchReg(MVT::i32);
 403
 404   {
 405     MCInst Inst;
 406     Inst.setOpcode(X86::LEA32r);
 407     Inst.addOperand(MCOperand::CreateReg(AddressRegI32));
 408     Op.addMemOperands(Inst, 5);
 409     EmitInstruction(Out, Inst);
 410   }
 411
 412   EmitInstruction(Out, MCInstBuilder(X86::MOV32rr).addReg(ShadowRegI32).addReg(
 413                            AddressRegI32));
 414   EmitInstruction(Out, MCInstBuilder(X86::SHR32ri)
 415                            .addReg(ShadowRegI32)
 416                            .addReg(ShadowRegI32)
 417                            .addImm(3));
 418
 419   {
 420     MCInst Inst;
 421     Inst.setOpcode(X86::MOV8rm);
 422     Inst.addOperand(MCOperand::CreateReg(ShadowRegI8));
 423     const MCExpr *Disp = MCConstantExpr::Create(kShadowOffset, Ctx);
 424     std::unique_ptr<X86Operand> Op(
 425         X86Operand::CreateMem(0, Disp, ShadowRegI32, 0, 1, SMLoc(), SMLoc()));
 426     Op->addMemOperands(Inst, 5);
 427     EmitInstruction(Out, Inst);
 428   }
 429
 430   EmitInstruction(
 431       Out, MCInstBuilder(X86::TEST8rr).addReg(ShadowRegI8).addReg(ShadowRegI8));
 432   MCSymbol *DoneSym = Ctx.CreateTempSymbol();
 433   const MCExpr *DoneExpr = MCSymbolRefExpr::Create(DoneSym, Ctx);
 434   EmitInstruction(Out, MCInstBuilder(X86::JE_4).addExpr(DoneExpr));
 435
 436   EmitInstruction(Out, MCInstBuilder(X86::MOV32rr).addReg(ScratchRegI32).addReg(
 437                            AddressRegI32));
 438   EmitInstruction(Out, MCInstBuilder(X86::AND32ri)
 439                            .addReg(ScratchRegI32)
 440                            .addReg(ScratchRegI32)
 441                            .addImm(7));
 442
 443   switch (AccessSize) {
 444   case 1:
 445     break;
 446   case 2: {
 447     MCInst Inst;
 448     Inst.setOpcode(X86::LEA32r);
 449     Inst.addOperand(MCOperand::CreateReg(ScratchRegI32));
 450
 451     const MCExpr *Disp = MCConstantExpr::Create(1, Ctx);
 452     std::unique_ptr<X86Operand> Op(
 453         X86Operand::CreateMem(0, Disp, ScratchRegI32, 0, 1, SMLoc(), SMLoc()));
 454     Op->addMemOperands(Inst, 5);
 455     EmitInstruction(Out, Inst);
 456     break;
 457   }
 458   case 4:
 459     EmitInstruction(Out, MCInstBuilder(X86::ADD32ri8)
 460                              .addReg(ScratchRegI32)
 461                              .addReg(ScratchRegI32)
 462                              .addImm(3));
 463     break;
 464   default:
 465     assert(false && "Incorrect access size");
 466     break;
 467   }
 468
 469   EmitInstruction(
 470       Out,
 471       MCInstBuilder(X86::MOVSX32rr8).addReg(ShadowRegI32).addReg(ShadowRegI8));
 472   EmitInstruction(Out, MCInstBuilder(X86::CMP32rr).addReg(ScratchRegI32).addReg(
 473                            ShadowRegI32));
 474   EmitInstruction(Out, MCInstBuilder(X86::JL_4).addExpr(DoneExpr));
 475
 476   EmitCallAsanReport(AccessSize, IsWrite, Ctx, Out, RegCtx);
 477   EmitLabel(Out, DoneSym);
 478 }
 479
 480 void X86AddressSanitizer32::InstrumentMemOperandLarge(
 481     X86Operand &Op, unsigned AccessSize, bool IsWrite,
 482     const RegisterContext &RegCtx, MCContext &Ctx, MCStreamer &Out) {
 483   unsigned AddressRegI32 = RegCtx.addressReg(MVT::i32);
 484   unsigned ShadowRegI32 = RegCtx.shadowReg(MVT::i32);
 485
 486   {
 487     MCInst Inst;
 488     Inst.setOpcode(X86::LEA32r);
 489     Inst.addOperand(MCOperand::CreateReg(AddressRegI32));
 490     Op.addMemOperands(Inst, 5);
 491     EmitInstruction(Out, Inst);
 492   }
 493
 494   EmitInstruction(Out, MCInstBuilder(X86::MOV32rr).addReg(ShadowRegI32).addReg(
 495                            AddressRegI32));
 496   EmitInstruction(Out, MCInstBuilder(X86::SHR32ri)
 497                            .addReg(ShadowRegI32)
 498                            .addReg(ShadowRegI32)
 499                            .addImm(3));
 500   {
 501     MCInst Inst;
 502     switch (AccessSize) {
 503     case 8:
 504       Inst.setOpcode(X86::CMP8mi);
 505       break;
 506     case 16:
 507       Inst.setOpcode(X86::CMP16mi);
 508       break;
 509     default:
 510       assert(false && "Incorrect access size");
 511       break;
 512     }
 513     const MCExpr *Disp = MCConstantExpr::Create(kShadowOffset, Ctx);
 514     std::unique_ptr<X86Operand> Op(
 515         X86Operand::CreateMem(0, Disp, ShadowRegI32, 0, 1, SMLoc(), SMLoc()));
 516     Op->addMemOperands(Inst, 5);
 517     Inst.addOperand(MCOperand::CreateImm(0));
 518     EmitInstruction(Out, Inst);
 519   }
 520   MCSymbol *DoneSym = Ctx.CreateTempSymbol();
 521   const MCExpr *DoneExpr = MCSymbolRefExpr::Create(DoneSym, Ctx);
 522   EmitInstruction(Out, MCInstBuilder(X86::JE_4).addExpr(DoneExpr));
 523
 524   EmitCallAsanReport(AccessSize, IsWrite, Ctx, Out, RegCtx);
 525   EmitLabel(Out, DoneSym);
 526 }
 527
 528 void X86AddressSanitizer32::InstrumentMOVSImpl(unsigned AccessSize,
 529                                                MCContext &Ctx,
 530                                                MCStreamer &Out) {
 531   StoreFlags(Out);
 532
 533   // No need to test when ECX is equals to zero.
 534   MCSymbol *DoneSym = Ctx.CreateTempSymbol();
 535   const MCExpr *DoneExpr = MCSymbolRefExpr::Create(DoneSym, Ctx);
 536   EmitInstruction(
 537       Out, MCInstBuilder(X86::TEST32rr).addReg(X86::ECX).addReg(X86::ECX));
 538   EmitInstruction(Out, MCInstBuilder(X86::JE_4).addExpr(DoneExpr));
 539
 540   // Instrument first and last elements in src and dst range.
 541   InstrumentMOVSBase(X86::EDI /* DstReg */, X86::ESI /* SrcReg */,
 542                      X86::ECX /* CntReg */, AccessSize, Ctx, Out);
 543
 544   EmitLabel(Out, DoneSym);
 545   RestoreFlags(Out);
 546 }
 547
 548 class X86AddressSanitizer64 : public X86AddressSanitizer {
 549 public:
 550   static const long kShadowOffset = 0x7fff8000;
 551
 552   X86AddressSanitizer64(const MCSubtargetInfo &STI)
 553       : X86AddressSanitizer(STI) {}
 554
 555   virtual ~X86AddressSanitizer64() {}
 556
 557   virtual void StoreFlags(MCStreamer &Out) override {
 558     EmitInstruction(Out, MCInstBuilder(X86::PUSHF64));
 559   }
 560
 561   virtual void RestoreFlags(MCStreamer &Out) override {
 562     EmitInstruction(Out, MCInstBuilder(X86::POPF64));
 563   }
 564
 565   virtual void InstrumentMemOperandPrologue(const RegisterContext &RegCtx,
 566                                             MCContext &Ctx,
 567                                             MCStreamer &Out) override {
 568     const MCRegisterInfo *RegisterInfo = Ctx.getRegisterInfo();
 569     if (RegisterInfo && FrameReg != X86::NoRegister) {
 570       EmitInstruction(Out, MCInstBuilder(X86::PUSH64r).addReg(X86::RBP));
 571       if (FrameReg == X86::RSP) {
 572         Out.EmitCFIAdjustCfaOffset(8 /* byte size of the FrameReg */);
 573         Out.EmitCFIRelOffset(
 574             RegisterInfo->getDwarfRegNum(X86::RBP, true /* IsEH */), 0);
 575       }
 576       EmitInstruction(
 577           Out, MCInstBuilder(X86::MOV64rr).addReg(X86::RBP).addReg(FrameReg));
 578       Out.EmitCFIRememberState();
 579       Out.EmitCFIDefCfaRegister(
 580           RegisterInfo->getDwarfRegNum(X86::RBP, true /* IsEH */));
 581     }
 582
 583     EmitAdjustRSP(Ctx, Out, -128);
 584     EmitInstruction(
 585         Out, MCInstBuilder(X86::PUSH64r).addReg(RegCtx.shadowReg(MVT::i64)));
 586     EmitInstruction(
 587         Out, MCInstBuilder(X86::PUSH64r).addReg(RegCtx.addressReg(MVT::i64)));
 588     if (RegCtx.ScratchReg != X86::NoRegister) {
 589       EmitInstruction(
 590           Out, MCInstBuilder(X86::PUSH64r).addReg(RegCtx.scratchReg(MVT::i64)));
 591     }
 592     StoreFlags(Out);
 593   }
 594
 595   virtual void InstrumentMemOperandEpilogue(const RegisterContext &RegCtx,
 596                                             MCContext &Ctx,
 597                                             MCStreamer &Out) override {
 598     RestoreFlags(Out);
 599     if (RegCtx.ScratchReg != X86::NoRegister) {
 600       EmitInstruction(
 601           Out, MCInstBuilder(X86::POP64r).addReg(RegCtx.scratchReg(MVT::i64)));
 602     }
 603     EmitInstruction(
 604         Out, MCInstBuilder(X86::POP64r).addReg(RegCtx.addressReg(MVT::i64)));
 605     EmitInstruction(
 606         Out, MCInstBuilder(X86::POP64r).addReg(RegCtx.shadowReg(MVT::i64)));
 607     EmitAdjustRSP(Ctx, Out, 128);
 608
 609     if (Ctx.getRegisterInfo() && FrameReg != X86::NoRegister) {
 610       EmitInstruction(
 611           Out, MCInstBuilder(X86::POP64r).addReg(X86::RBP));
 612       Out.EmitCFIRestoreState();
 613       if (FrameReg == X86::RSP)
 614         Out.EmitCFIAdjustCfaOffset(-8 /* byte size of the FrameReg */);
 615     }
 616   }
 617
 618   virtual void InstrumentMemOperandSmall(X86Operand &Op, unsigned AccessSize,
 619                                          bool IsWrite,
 620                                          const RegisterContext &RegCtx,
 621                                          MCContext &Ctx,
 622                                          MCStreamer &Out) override;
 623   virtual void InstrumentMemOperandLarge(X86Operand &Op, unsigned AccessSize,
 624                                          bool IsWrite,
 625                                          const RegisterContext &RegCtx,
 626                                          MCContext &Ctx,
 627                                          MCStreamer &Out) override;
 628   virtual void InstrumentMOVSImpl(unsigned AccessSize, MCContext &Ctx,
 629                                   MCStreamer &Out) override;
 630
 631 private:
 632   void EmitAdjustRSP(MCContext &Ctx, MCStreamer &Out, long Offset) {
 633     MCInst Inst;
 634     Inst.setOpcode(X86::LEA64r);
 635     Inst.addOperand(MCOperand::CreateReg(X86::RSP));
 636
 637     const MCExpr *Disp = MCConstantExpr::Create(Offset, Ctx);
 638     std::unique_ptr<X86Operand> Op(
 639         X86Operand::CreateMem(0, Disp, X86::RSP, 0, 1, SMLoc(), SMLoc()));
 640     Op->addMemOperands(Inst, 5);
 641     EmitInstruction(Out, Inst);
 642   }
 643
 644   void EmitCallAsanReport(unsigned AccessSize, bool IsWrite, MCContext &Ctx,
 645                           MCStreamer &Out, const RegisterContext &RegCtx) {
 646     EmitInstruction(Out, MCInstBuilder(X86::CLD));
 647     EmitInstruction(Out, MCInstBuilder(X86::MMX_EMMS));
 648
 649     EmitInstruction(Out, MCInstBuilder(X86::AND64ri8)
 650                              .addReg(X86::RSP)
 651                              .addReg(X86::RSP)
 652                              .addImm(-16));
 653
 654     if (RegCtx.AddressReg != X86::RDI) {
 655       EmitInstruction(Out, MCInstBuilder(X86::MOV64rr).addReg(X86::RDI).addReg(
 656                                RegCtx.addressReg(MVT::i64)));
 657     }
 658     const std::string &Fn = FuncName(AccessSize, IsWrite);
 659     MCSymbol *FnSym = Ctx.GetOrCreateSymbol(StringRef(Fn));
 660     const MCSymbolRefExpr *FnExpr =
 661         MCSymbolRefExpr::Create(FnSym, MCSymbolRefExpr::VK_PLT, Ctx);
 662     EmitInstruction(Out, MCInstBuilder(X86::CALL64pcrel32).addExpr(FnExpr));
 663   }
 664 };
 665
 666 void X86AddressSanitizer64::InstrumentMemOperandSmall(
 667     X86Operand &Op, unsigned AccessSize, bool IsWrite,
 668     const RegisterContext &RegCtx, MCContext &Ctx, MCStreamer &Out) {
 669   unsigned AddressRegI64 = RegCtx.addressReg(MVT::i64);
 670   unsigned AddressRegI32 = RegCtx.addressReg(MVT::i32);
 671   unsigned ShadowRegI64 = RegCtx.shadowReg(MVT::i64);
 672   unsigned ShadowRegI32 = RegCtx.shadowReg(MVT::i32);
 673   unsigned ShadowRegI8 = RegCtx.shadowReg(MVT::i8);
 674
 675   assert(RegCtx.ScratchReg != X86::NoRegister);
 676   unsigned ScratchRegI32 = RegCtx.scratchReg(MVT::i32);
 677
 678   {
 679     MCInst Inst;
 680     Inst.setOpcode(X86::LEA64r);
 681     Inst.addOperand(MCOperand::CreateReg(AddressRegI64));
 682     Op.addMemOperands(Inst, 5);
 683     EmitInstruction(Out, Inst);
 684   }
 685   EmitInstruction(Out, MCInstBuilder(X86::MOV64rr).addReg(ShadowRegI64).addReg(
 686                            AddressRegI64));
 687   EmitInstruction(Out, MCInstBuilder(X86::SHR64ri)
 688                            .addReg(ShadowRegI64)
 689                            .addReg(ShadowRegI64)
 690                            .addImm(3));
 691   {
 692     MCInst Inst;
 693     Inst.setOpcode(X86::MOV8rm);
 694     Inst.addOperand(MCOperand::CreateReg(ShadowRegI8));
 695     const MCExpr *Disp = MCConstantExpr::Create(kShadowOffset, Ctx);
 696     std::unique_ptr<X86Operand> Op(
 697         X86Operand::CreateMem(0, Disp, ShadowRegI64, 0, 1, SMLoc(), SMLoc()));
 698     Op->addMemOperands(Inst, 5);
 699     EmitInstruction(Out, Inst);
 700   }
 701
 702   EmitInstruction(
 703       Out, MCInstBuilder(X86::TEST8rr).addReg(ShadowRegI8).addReg(ShadowRegI8));
 704   MCSymbol *DoneSym = Ctx.CreateTempSymbol();
 705   const MCExpr *DoneExpr = MCSymbolRefExpr::Create(DoneSym, Ctx);
 706   EmitInstruction(Out, MCInstBuilder(X86::JE_4).addExpr(DoneExpr));
 707
 708   EmitInstruction(Out, MCInstBuilder(X86::MOV32rr).addReg(ScratchRegI32).addReg(
 709                            AddressRegI32));
 710   EmitInstruction(Out, MCInstBuilder(X86::AND32ri)
 711                            .addReg(ScratchRegI32)
 712                            .addReg(ScratchRegI32)
 713                            .addImm(7));
 714
 715   switch (AccessSize) {
 716   case 1:
 717     break;
 718   case 2: {
 719     MCInst Inst;
 720     Inst.setOpcode(X86::LEA32r);
 721     Inst.addOperand(MCOperand::CreateReg(ScratchRegI32));
 722
 723     const MCExpr *Disp = MCConstantExpr::Create(1, Ctx);
 724     std::unique_ptr<X86Operand> Op(
 725         X86Operand::CreateMem(0, Disp, ScratchRegI32, 0, 1, SMLoc(), SMLoc()));
 726     Op->addMemOperands(Inst, 5);
 727     EmitInstruction(Out, Inst);
 728     break;
 729   }
 730   case 4:
 731     EmitInstruction(Out, MCInstBuilder(X86::ADD32ri8)
 732                              .addReg(ScratchRegI32)
 733                              .addReg(ScratchRegI32)
 734                              .addImm(3));
 735     break;
 736   default:
 737     assert(false && "Incorrect access size");
 738     break;
 739   }
 740
 741   EmitInstruction(
 742       Out,
 743       MCInstBuilder(X86::MOVSX32rr8).addReg(ShadowRegI32).addReg(ShadowRegI8));
 744   EmitInstruction(Out, MCInstBuilder(X86::CMP32rr).addReg(ScratchRegI32).addReg(
 745                            ShadowRegI32));
 746   EmitInstruction(Out, MCInstBuilder(X86::JL_4).addExpr(DoneExpr));
 747
 748   EmitCallAsanReport(AccessSize, IsWrite, Ctx, Out, RegCtx);
 749   EmitLabel(Out, DoneSym);
 750 }
 751
 752 void X86AddressSanitizer64::InstrumentMemOperandLarge(
 753     X86Operand &Op, unsigned AccessSize, bool IsWrite,
 754     const RegisterContext &RegCtx, MCContext &Ctx, MCStreamer &Out) {
 755   unsigned AddressRegI64 = RegCtx.addressReg(MVT::i64);
 756   unsigned ShadowRegI64 = RegCtx.shadowReg(MVT::i64);
 757
 758   {
 759     MCInst Inst;
 760     Inst.setOpcode(X86::LEA64r);
 761     Inst.addOperand(MCOperand::CreateReg(AddressRegI64));
 762     Op.addMemOperands(Inst, 5);
 763     EmitInstruction(Out, Inst);
 764   }
 765   EmitInstruction(Out, MCInstBuilder(X86::MOV64rr).addReg(ShadowRegI64).addReg(
 766                            AddressRegI64));
 767   EmitInstruction(Out, MCInstBuilder(X86::SHR64ri)
 768                            .addReg(ShadowRegI64)
 769                            .addReg(ShadowRegI64)
 770                            .addImm(3));
 771   {
 772     MCInst Inst;
 773     switch (AccessSize) {
 774     case 8:
 775       Inst.setOpcode(X86::CMP8mi);
 776       break;
 777     case 16:
 778       Inst.setOpcode(X86::CMP16mi);
 779       break;
 780     default:
 781       assert(false && "Incorrect access size");
 782       break;
 783     }
 784     const MCExpr *Disp = MCConstantExpr::Create(kShadowOffset, Ctx);
 785     std::unique_ptr<X86Operand> Op(
 786         X86Operand::CreateMem(0, Disp, ShadowRegI64, 0, 1, SMLoc(), SMLoc()));
 787     Op->addMemOperands(Inst, 5);
 788     Inst.addOperand(MCOperand::CreateImm(0));
 789     EmitInstruction(Out, Inst);
 790   }
 791
 792   MCSymbol *DoneSym = Ctx.CreateTempSymbol();
 793   const MCExpr *DoneExpr = MCSymbolRefExpr::Create(DoneSym, Ctx);
 794   EmitInstruction(Out, MCInstBuilder(X86::JE_4).addExpr(DoneExpr));
 795
 796   EmitCallAsanReport(AccessSize, IsWrite, Ctx, Out, RegCtx);
 797   EmitLabel(Out, DoneSym);
 798 }
 799
 800 void X86AddressSanitizer64::InstrumentMOVSImpl(unsigned AccessSize,
 801                                                MCContext &Ctx,
 802                                                MCStreamer &Out) {
 803   StoreFlags(Out);
 804
 805   // No need to test when RCX is equals to zero.
 806   MCSymbol *DoneSym = Ctx.CreateTempSymbol();
 807   const MCExpr *DoneExpr = MCSymbolRefExpr::Create(DoneSym, Ctx);
 808   EmitInstruction(
 809       Out, MCInstBuilder(X86::TEST64rr).addReg(X86::RCX).addReg(X86::RCX));
 810   EmitInstruction(Out, MCInstBuilder(X86::JE_4).addExpr(DoneExpr));
 811
 812   // Instrument first and last elements in src and dst range.
 813   InstrumentMOVSBase(X86::RDI /* DstReg */, X86::RSI /* SrcReg */,
 814                      X86::RCX /* CntReg */, AccessSize, Ctx, Out);
 815
 816   EmitLabel(Out, DoneSym);
 817   RestoreFlags(Out);
 818 }
 819
 820 } // End anonymous namespace
 821
 822 X86AsmInstrumentation::X86AsmInstrumentation(const MCSubtargetInfo &STI)
 823     : STI(STI), FrameReg(X86::NoRegister) {}
 824
 825 X86AsmInstrumentation::~X86AsmInstrumentation() {}
 826
 827 void X86AsmInstrumentation::InstrumentAndEmitInstruction(
 828     const MCInst &Inst, OperandVector &Operands, MCContext &Ctx,
 829     const MCInstrInfo &MII, MCStreamer &Out) {
 830   EmitInstruction(Out, Inst);
 831 }
 832
 833 void X86AsmInstrumentation::EmitInstruction(MCStreamer &Out,
 834                                             const MCInst &Inst) {
 835   Out.EmitInstruction(Inst, STI);
 836 }
 837
 838 X86AsmInstrumentation *
 839 CreateX86AsmInstrumentation(const MCTargetOptions &MCOptions,
 840                             const MCContext &Ctx, const MCSubtargetInfo &STI) {
 841   Triple T(STI.getTargetTriple());
 842   const bool hasCompilerRTSupport = T.isOSLinux();
 843   if (ClAsanInstrumentAssembly && hasCompilerRTSupport &&
 844       MCOptions.SanitizeAddress) {
 845     if ((STI.getFeatureBits() & X86::Mode32Bit) != 0)
 846       return new X86AddressSanitizer32(STI);
 847     if ((STI.getFeatureBits() & X86::Mode64Bit) != 0)
 848       return new X86AddressSanitizer64(STI);
 849   }
 850   return new X86AsmInstrumentation(STI);
 851 }
 852
 853 } // End llvm namespace