lib/CodeGen/MIRParser/MIParser.cpp

   1 //===- MIParser.cpp - Machine instructions parser implementation ----------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the parsing of machine instructions.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "MIParser.h"
  15 #include "MILexer.h"
  16 #include "llvm/ADT/StringMap.h"
  17 #include "llvm/AsmParser/Parser.h"
  18 #include "llvm/AsmParser/SlotMapping.h"
  19 #include "llvm/CodeGen/MachineBasicBlock.h"
  20 #include "llvm/CodeGen/MachineFunction.h"
  21 #include "llvm/CodeGen/MachineFrameInfo.h"
  22 #include "llvm/CodeGen/MachineInstr.h"
  23 #include "llvm/CodeGen/MachineInstrBuilder.h"
  24 #include "llvm/CodeGen/MachineMemOperand.h"
  25 #include "llvm/CodeGen/MachineModuleInfo.h"
  26 #include "llvm/IR/Instructions.h"
  27 #include "llvm/IR/Constants.h"
  28 #include "llvm/IR/Module.h"
  29 #include "llvm/IR/ModuleSlotTracker.h"
  30 #include "llvm/IR/ValueSymbolTable.h"
  31 #include "llvm/Support/raw_ostream.h"
  32 #include "llvm/Support/SourceMgr.h"
  33 #include "llvm/Target/TargetSubtargetInfo.h"
  34 #include "llvm/Target/TargetInstrInfo.h"
  35
  36 using namespace llvm;
  37
  38 namespace {
  39
  40 /// A wrapper struct around the 'MachineOperand' struct that includes a source
  41 /// range.
  42 struct MachineOperandWithLocation {
  43   MachineOperand Operand;
  44   StringRef::iterator Begin;
  45   StringRef::iterator End;
  46
  47   MachineOperandWithLocation(const MachineOperand &Operand,
  48                              StringRef::iterator Begin, StringRef::iterator End)
  49       : Operand(Operand), Begin(Begin), End(End) {}
  50 };
  51
  52 class MIParser {
  53   SourceMgr &SM;
  54   MachineFunction &MF;
  55   SMDiagnostic &Error;
  56   StringRef Source, CurrentSource;
  57   MIToken Token;
  58   const PerFunctionMIParsingState &PFS;
  59   /// Maps from indices to unnamed global values and metadata nodes.
  60   const SlotMapping &IRSlots;
  61   /// Maps from instruction names to op codes.
  62   StringMap<unsigned> Names2InstrOpCodes;
  63   /// Maps from register names to registers.
  64   StringMap<unsigned> Names2Regs;
  65   /// Maps from register mask names to register masks.
  66   StringMap<const uint32_t *> Names2RegMasks;
  67   /// Maps from subregister names to subregister indices.
  68   StringMap<unsigned> Names2SubRegIndices;
  69   /// Maps from slot numbers to function's unnamed basic blocks.
  70   DenseMap<unsigned, const BasicBlock *> Slots2BasicBlocks;
  71   /// Maps from target index names to target indices.
  72   StringMap<int> Names2TargetIndices;
  73   /// Maps from direct target flag names to the direct target flag values.
  74   StringMap<unsigned> Names2DirectTargetFlags;
  75
  76 public:
  77   MIParser(SourceMgr &SM, MachineFunction &MF, SMDiagnostic &Error,
  78            StringRef Source, const PerFunctionMIParsingState &PFS,
  79            const SlotMapping &IRSlots);
  80
  81   void lex();
  82
  83   /// Report an error at the current location with the given message.
  84   ///
  85   /// This function always return true.
  86   bool error(const Twine &Msg);
  87
  88   /// Report an error at the given location with the given message.
  89   ///
  90   /// This function always return true.
  91   bool error(StringRef::iterator Loc, const Twine &Msg);
  92
  93   bool parse(MachineInstr *&MI);
  94   bool parseStandaloneMBB(MachineBasicBlock *&MBB);
  95   bool parseStandaloneNamedRegister(unsigned &Reg);
  96   bool parseStandaloneVirtualRegister(unsigned &Reg);
  97   bool parseStandaloneIRBlockReference(const BasicBlock *&BB);
  98
  99   bool parseRegister(unsigned &Reg);
 100   bool parseRegisterFlag(unsigned &Flags);
 101   bool parseSubRegisterIndex(unsigned &SubReg);
 102   bool parseRegisterOperand(MachineOperand &Dest, bool IsDef = false);
 103   bool parseImmediateOperand(MachineOperand &Dest);
 104   bool parseIRConstant(StringRef::iterator Loc, const Constant *&C);
 105   bool parseTypedImmediateOperand(MachineOperand &Dest);
 106   bool parseFPImmediateOperand(MachineOperand &Dest);
 107   bool parseMBBReference(MachineBasicBlock *&MBB);
 108   bool parseMBBOperand(MachineOperand &Dest);
 109   bool parseStackObjectOperand(MachineOperand &Dest);
 110   bool parseFixedStackFrameIndex(int &FI);
 111   bool parseFixedStackObjectOperand(MachineOperand &Dest);
 112   bool parseGlobalValue(GlobalValue *&GV);
 113   bool parseGlobalAddressOperand(MachineOperand &Dest);
 114   bool parseConstantPoolIndexOperand(MachineOperand &Dest);
 115   bool parseJumpTableIndexOperand(MachineOperand &Dest);
 116   bool parseExternalSymbolOperand(MachineOperand &Dest);
 117   bool parseMDNode(MDNode *&Node);
 118   bool parseMetadataOperand(MachineOperand &Dest);
 119   bool parseCFIOffset(int &Offset);
 120   bool parseCFIRegister(unsigned &Reg);
 121   bool parseCFIOperand(MachineOperand &Dest);
 122   bool parseIRBlock(BasicBlock *&BB, const Function &F);
 123   bool parseBlockAddressOperand(MachineOperand &Dest);
 124   bool parseTargetIndexOperand(MachineOperand &Dest);
 125   bool parseLiveoutRegisterMaskOperand(MachineOperand &Dest);
 126   bool parseMachineOperand(MachineOperand &Dest);
 127   bool parseMachineOperandAndTargetFlags(MachineOperand &Dest);
 128   bool parseOffset(int64_t &Offset);
 129   bool parseAlignment(unsigned &Alignment);
 130   bool parseOperandsOffset(MachineOperand &Op);
 131   bool parseIRValue(Value *&V);
 132   bool parseMemoryOperandFlag(unsigned &Flags);
 133   bool parseMemoryPseudoSourceValue(const PseudoSourceValue *&PSV);
 134   bool parseMachinePointerInfo(MachinePointerInfo &Dest);
 135   bool parseMachineMemoryOperand(MachineMemOperand *&Dest);
 136
 137 private:
 138   /// Convert the integer literal in the current token into an unsigned integer.
 139   ///
 140   /// Return true if an error occurred.
 141   bool getUnsigned(unsigned &Result);
 142
 143   /// Convert the integer literal in the current token into an uint64.
 144   ///
 145   /// Return true if an error occurred.
 146   bool getUint64(uint64_t &Result);
 147
 148   /// If the current token is of the given kind, consume it and return false.
 149   /// Otherwise report an error and return true.
 150   bool expectAndConsume(MIToken::TokenKind TokenKind);
 151
 152   void initNames2InstrOpCodes();
 153
 154   /// Try to convert an instruction name to an opcode. Return true if the
 155   /// instruction name is invalid.
 156   bool parseInstrName(StringRef InstrName, unsigned &OpCode);
 157
 158   bool parseInstruction(unsigned &OpCode, unsigned &Flags);
 159
 160   bool verifyImplicitOperands(ArrayRef<MachineOperandWithLocation> Operands,
 161                               const MCInstrDesc &MCID);
 162
 163   void initNames2Regs();
 164
 165   /// Try to convert a register name to a register number. Return true if the
 166   /// register name is invalid.
 167   bool getRegisterByName(StringRef RegName, unsigned &Reg);
 168
 169   void initNames2RegMasks();
 170
 171   /// Check if the given identifier is a name of a register mask.
 172   ///
 173   /// Return null if the identifier isn't a register mask.
 174   const uint32_t *getRegMask(StringRef Identifier);
 175
 176   void initNames2SubRegIndices();
 177
 178   /// Check if the given identifier is a name of a subregister index.
 179   ///
 180   /// Return 0 if the name isn't a subregister index class.
 181   unsigned getSubRegIndex(StringRef Name);
 182
 183   const BasicBlock *getIRBlock(unsigned Slot);
 184   const BasicBlock *getIRBlock(unsigned Slot, const Function &F);
 185
 186   void initNames2TargetIndices();
 187
 188   /// Try to convert a name of target index to the corresponding target index.
 189   ///
 190   /// Return true if the name isn't a name of a target index.
 191   bool getTargetIndex(StringRef Name, int &Index);
 192
 193   void initNames2DirectTargetFlags();
 194
 195   /// Try to convert a name of a direct target flag to the corresponding
 196   /// target flag.
 197   ///
 198   /// Return true if the name isn't a name of a direct flag.
 199   bool getDirectTargetFlag(StringRef Name, unsigned &Flag);
 200 };
 201
 202 } // end anonymous namespace
 203
 204 MIParser::MIParser(SourceMgr &SM, MachineFunction &MF, SMDiagnostic &Error,
 205                    StringRef Source, const PerFunctionMIParsingState &PFS,
 206                    const SlotMapping &IRSlots)
 207     : SM(SM), MF(MF), Error(Error), Source(Source), CurrentSource(Source),
 208       PFS(PFS), IRSlots(IRSlots) {}
 209
 210 void MIParser::lex() {
 211   CurrentSource = lexMIToken(
 212       CurrentSource, Token,
 213       [this](StringRef::iterator Loc, const Twine &Msg) { error(Loc, Msg); });
 214 }
 215
 216 bool MIParser::error(const Twine &Msg) { return error(Token.location(), Msg); }
 217
 218 bool MIParser::error(StringRef::iterator Loc, const Twine &Msg) {
 219   assert(Loc >= Source.data() && Loc <= (Source.data() + Source.size()));
 220   Error = SMDiagnostic(
 221       SM, SMLoc(),
 222       SM.getMemoryBuffer(SM.getMainFileID())->getBufferIdentifier(), 1,
 223       Loc - Source.data(), SourceMgr::DK_Error, Msg.str(), Source, None, None);
 224   return true;
 225 }
 226
 227 static const char *toString(MIToken::TokenKind TokenKind) {
 228   switch (TokenKind) {
 229   case MIToken::comma:
 230     return "','";
 231   case MIToken::equal:
 232     return "'='";
 233   case MIToken::lparen:
 234     return "'('";
 235   case MIToken::rparen:
 236     return "')'";
 237   default:
 238     return "<unknown token>";
 239   }
 240 }
 241
 242 bool MIParser::expectAndConsume(MIToken::TokenKind TokenKind) {
 243   if (Token.isNot(TokenKind))
 244     return error(Twine("expected ") + toString(TokenKind));
 245   lex();
 246   return false;
 247 }
 248
 249 bool MIParser::parse(MachineInstr *&MI) {
 250   lex();
 251
 252   // Parse any register operands before '='
 253   MachineOperand MO = MachineOperand::CreateImm(0);
 254   SmallVector<MachineOperandWithLocation, 8> Operands;
 255   while (Token.isRegister() || Token.isRegisterFlag()) {
 256     auto Loc = Token.location();
 257     if (parseRegisterOperand(MO, /*IsDef=*/true))
 258       return true;
 259     Operands.push_back(MachineOperandWithLocation(MO, Loc, Token.location()));
 260     if (Token.isNot(MIToken::comma))
 261       break;
 262     lex();
 263   }
 264   if (!Operands.empty() && expectAndConsume(MIToken::equal))
 265     return true;
 266
 267   unsigned OpCode, Flags = 0;
 268   if (Token.isError() || parseInstruction(OpCode, Flags))
 269     return true;
 270
 271   // TODO: Parse the bundle instruction flags.
 272
 273   // Parse the remaining machine operands.
 274   while (Token.isNot(MIToken::Eof) && Token.isNot(MIToken::kw_debug_location) &&
 275          Token.isNot(MIToken::coloncolon)) {
 276     auto Loc = Token.location();
 277     if (parseMachineOperandAndTargetFlags(MO))
 278       return true;
 279     Operands.push_back(MachineOperandWithLocation(MO, Loc, Token.location()));
 280     if (Token.is(MIToken::Eof) || Token.is(MIToken::coloncolon))
 281       break;
 282     if (Token.isNot(MIToken::comma))
 283       return error("expected ',' before the next machine operand");
 284     lex();
 285   }
 286
 287   DebugLoc DebugLocation;
 288   if (Token.is(MIToken::kw_debug_location)) {
 289     lex();
 290     if (Token.isNot(MIToken::exclaim))
 291       return error("expected a metadata node after 'debug-location'");
 292     MDNode *Node = nullptr;
 293     if (parseMDNode(Node))
 294       return true;
 295     DebugLocation = DebugLoc(Node);
 296   }
 297
 298   // Parse the machine memory operands.
 299   SmallVector<MachineMemOperand *, 2> MemOperands;
 300   if (Token.is(MIToken::coloncolon)) {
 301     lex();
 302     while (Token.isNot(MIToken::Eof)) {
 303       MachineMemOperand *MemOp = nullptr;
 304       if (parseMachineMemoryOperand(MemOp))
 305         return true;
 306       MemOperands.push_back(MemOp);
 307       if (Token.is(MIToken::Eof))
 308         break;
 309       if (Token.isNot(MIToken::comma))
 310         return error("expected ',' before the next machine memory operand");
 311       lex();
 312     }
 313   }
 314
 315   const auto &MCID = MF.getSubtarget().getInstrInfo()->get(OpCode);
 316   if (!MCID.isVariadic()) {
 317     // FIXME: Move the implicit operand verification to the machine verifier.
 318     if (verifyImplicitOperands(Operands, MCID))
 319       return true;
 320   }
 321
 322   // TODO: Check for extraneous machine operands.
 323   MI = MF.CreateMachineInstr(MCID, DebugLocation, /*NoImplicit=*/true);
 324   MI->setFlags(Flags);
 325   for (const auto &Operand : Operands)
 326     MI->addOperand(MF, Operand.Operand);
 327   if (MemOperands.empty())
 328     return false;
 329   MachineInstr::mmo_iterator MemRefs =
 330       MF.allocateMemRefsArray(MemOperands.size());
 331   std::copy(MemOperands.begin(), MemOperands.end(), MemRefs);
 332   MI->setMemRefs(MemRefs, MemRefs + MemOperands.size());
 333   return false;
 334 }
 335
 336 bool MIParser::parseStandaloneMBB(MachineBasicBlock *&MBB) {
 337   lex();
 338   if (Token.isNot(MIToken::MachineBasicBlock))
 339     return error("expected a machine basic block reference");
 340   if (parseMBBReference(MBB))
 341     return true;
 342   lex();
 343   if (Token.isNot(MIToken::Eof))
 344     return error(
 345         "expected end of string after the machine basic block reference");
 346   return false;
 347 }
 348
 349 bool MIParser::parseStandaloneNamedRegister(unsigned &Reg) {
 350   lex();
 351   if (Token.isNot(MIToken::NamedRegister))
 352     return error("expected a named register");
 353   if (parseRegister(Reg))
 354     return 0;
 355   lex();
 356   if (Token.isNot(MIToken::Eof))
 357     return error("expected end of string after the register reference");
 358   return false;
 359 }
 360
 361 bool MIParser::parseStandaloneVirtualRegister(unsigned &Reg) {
 362   lex();
 363   if (Token.isNot(MIToken::VirtualRegister))
 364     return error("expected a virtual register");
 365   if (parseRegister(Reg))
 366     return 0;
 367   lex();
 368   if (Token.isNot(MIToken::Eof))
 369     return error("expected end of string after the register reference");
 370   return false;
 371 }
 372
 373 bool MIParser::parseStandaloneIRBlockReference(const BasicBlock *&BB) {
 374   lex();
 375   if (Token.isNot(MIToken::IRBlock))
 376     return error("expected an IR block reference");
 377   unsigned SlotNumber = 0;
 378   if (getUnsigned(SlotNumber))
 379     return true;
 380   BB = getIRBlock(SlotNumber);
 381   if (!BB)
 382     return error(Twine("use of undefined IR block '%ir-block.") +
 383                  Twine(SlotNumber) + "'");
 384   lex();
 385   if (Token.isNot(MIToken::Eof))
 386     return error("expected end of string after the IR block reference");
 387   return false;
 388 }
 389
 390 static const char *printImplicitRegisterFlag(const MachineOperand &MO) {
 391   assert(MO.isImplicit());
 392   return MO.isDef() ? "implicit-def" : "implicit";
 393 }
 394
 395 static std::string getRegisterName(const TargetRegisterInfo *TRI,
 396                                    unsigned Reg) {
 397   assert(TargetRegisterInfo::isPhysicalRegister(Reg) && "expected phys reg");
 398   return StringRef(TRI->getName(Reg)).lower();
 399 }
 400
 401 bool MIParser::verifyImplicitOperands(
 402     ArrayRef<MachineOperandWithLocation> Operands, const MCInstrDesc &MCID) {
 403   if (MCID.isCall())
 404     // We can't verify call instructions as they can contain arbitrary implicit
 405     // register and register mask operands.
 406     return false;
 407
 408   // Gather all the expected implicit operands.
 409   SmallVector<MachineOperand, 4> ImplicitOperands;
 410   if (MCID.ImplicitDefs)
 411     for (const uint16_t *ImpDefs = MCID.getImplicitDefs(); *ImpDefs; ++ImpDefs)
 412       ImplicitOperands.push_back(
 413           MachineOperand::CreateReg(*ImpDefs, true, true));
 414   if (MCID.ImplicitUses)
 415     for (const uint16_t *ImpUses = MCID.getImplicitUses(); *ImpUses; ++ImpUses)
 416       ImplicitOperands.push_back(
 417           MachineOperand::CreateReg(*ImpUses, false, true));
 418
 419   const auto *TRI = MF.getSubtarget().getRegisterInfo();
 420   assert(TRI && "Expected target register info");
 421   size_t I = ImplicitOperands.size(), J = Operands.size();
 422   while (I) {
 423     --I;
 424     if (J) {
 425       --J;
 426       const auto &ImplicitOperand = ImplicitOperands[I];
 427       const auto &Operand = Operands[J].Operand;
 428       if (ImplicitOperand.isIdenticalTo(Operand))
 429         continue;
 430       if (Operand.isReg() && Operand.isImplicit()) {
 431         return error(Operands[J].Begin,
 432                      Twine("expected an implicit register operand '") +
 433                          printImplicitRegisterFlag(ImplicitOperand) + " %" +
 434                          getRegisterName(TRI, ImplicitOperand.getReg()) + "'");
 435       }
 436     }
 437     // TODO: Fix source location when Operands[J].end is right before '=', i.e:
 438     // insead of reporting an error at this location:
 439     //            %eax = MOV32r0
 440     //                 ^
 441     // report the error at the following location:
 442     //            %eax = MOV32r0
 443     //                          ^
 444     return error(J < Operands.size() ? Operands[J].End : Token.location(),
 445                  Twine("missing implicit register operand '") +
 446                      printImplicitRegisterFlag(ImplicitOperands[I]) + " %" +
 447                      getRegisterName(TRI, ImplicitOperands[I].getReg()) + "'");
 448   }
 449   return false;
 450 }
 451
 452 bool MIParser::parseInstruction(unsigned &OpCode, unsigned &Flags) {
 453   if (Token.is(MIToken::kw_frame_setup)) {
 454     Flags |= MachineInstr::FrameSetup;
 455     lex();
 456   }
 457   if (Token.isNot(MIToken::Identifier))
 458     return error("expected a machine instruction");
 459   StringRef InstrName = Token.stringValue();
 460   if (parseInstrName(InstrName, OpCode))
 461     return error(Twine("unknown machine instruction name '") + InstrName + "'");
 462   lex();
 463   return false;
 464 }
 465
 466 bool MIParser::parseRegister(unsigned &Reg) {
 467   switch (Token.kind()) {
 468   case MIToken::underscore:
 469     Reg = 0;
 470     break;
 471   case MIToken::NamedRegister: {
 472     StringRef Name = Token.stringValue();
 473     if (getRegisterByName(Name, Reg))
 474       return error(Twine("unknown register name '") + Name + "'");
 475     break;
 476   }
 477   case MIToken::VirtualRegister: {
 478     unsigned ID;
 479     if (getUnsigned(ID))
 480       return true;
 481     const auto RegInfo = PFS.VirtualRegisterSlots.find(ID);
 482     if (RegInfo == PFS.VirtualRegisterSlots.end())
 483       return error(Twine("use of undefined virtual register '%") + Twine(ID) +
 484                    "'");
 485     Reg = RegInfo->second;
 486     break;
 487   }
 488   // TODO: Parse other register kinds.
 489   default:
 490     llvm_unreachable("The current token should be a register");
 491   }
 492   return false;
 493 }
 494
 495 bool MIParser::parseRegisterFlag(unsigned &Flags) {
 496   const unsigned OldFlags = Flags;
 497   switch (Token.kind()) {
 498   case MIToken::kw_implicit:
 499     Flags |= RegState::Implicit;
 500     break;
 501   case MIToken::kw_implicit_define:
 502     Flags |= RegState::ImplicitDefine;
 503     break;
 504   case MIToken::kw_dead:
 505     Flags |= RegState::Dead;
 506     break;
 507   case MIToken::kw_killed:
 508     Flags |= RegState::Kill;
 509     break;
 510   case MIToken::kw_undef:
 511     Flags |= RegState::Undef;
 512     break;
 513   case MIToken::kw_early_clobber:
 514     Flags |= RegState::EarlyClobber;
 515     break;
 516   case MIToken::kw_debug_use:
 517     Flags |= RegState::Debug;
 518     break;
 519   // TODO: parse the other register flags.
 520   default:
 521     llvm_unreachable("The current token should be a register flag");
 522   }
 523   if (OldFlags == Flags)
 524     // We know that the same flag is specified more than once when the flags
 525     // weren't modified.
 526     return error("duplicate '" + Token.stringValue() + "' register flag");
 527   lex();
 528   return false;
 529 }
 530
 531 bool MIParser::parseSubRegisterIndex(unsigned &SubReg) {
 532   assert(Token.is(MIToken::colon));
 533   lex();
 534   if (Token.isNot(MIToken::Identifier))
 535     return error("expected a subregister index after ':'");
 536   auto Name = Token.stringValue();
 537   SubReg = getSubRegIndex(Name);
 538   if (!SubReg)
 539     return error(Twine("use of unknown subregister index '") + Name + "'");
 540   lex();
 541   return false;
 542 }
 543
 544 bool MIParser::parseRegisterOperand(MachineOperand &Dest, bool IsDef) {
 545   unsigned Reg;
 546   unsigned Flags = IsDef ? RegState::Define : 0;
 547   while (Token.isRegisterFlag()) {
 548     if (parseRegisterFlag(Flags))
 549       return true;
 550   }
 551   if (!Token.isRegister())
 552     return error("expected a register after register flags");
 553   if (parseRegister(Reg))
 554     return true;
 555   lex();
 556   unsigned SubReg = 0;
 557   if (Token.is(MIToken::colon)) {
 558     if (parseSubRegisterIndex(SubReg))
 559       return true;
 560   }
 561   Dest = MachineOperand::CreateReg(
 562       Reg, Flags & RegState::Define, Flags & RegState::Implicit,
 563       Flags & RegState::Kill, Flags & RegState::Dead, Flags & RegState::Undef,
 564       Flags & RegState::EarlyClobber, SubReg, Flags & RegState::Debug);
 565   return false;
 566 }
 567
 568 bool MIParser::parseImmediateOperand(MachineOperand &Dest) {
 569   assert(Token.is(MIToken::IntegerLiteral));
 570   const APSInt &Int = Token.integerValue();
 571   if (Int.getMinSignedBits() > 64)
 572     return error("integer literal is too large to be an immediate operand");
 573   Dest = MachineOperand::CreateImm(Int.getExtValue());
 574   lex();
 575   return false;
 576 }
 577
 578 bool MIParser::parseIRConstant(StringRef::iterator Loc, const Constant *&C) {
 579   auto Source = StringRef(Loc, Token.range().end() - Loc).str();
 580   lex();
 581   SMDiagnostic Err;
 582   C = parseConstantValue(Source.c_str(), Err, *MF.getFunction()->getParent());
 583   if (!C)
 584     return error(Loc + Err.getColumnNo(), Err.getMessage());
 585   return false;
 586 }
 587
 588 bool MIParser::parseTypedImmediateOperand(MachineOperand &Dest) {
 589   assert(Token.is(MIToken::IntegerType));
 590   auto Loc = Token.location();
 591   lex();
 592   if (Token.isNot(MIToken::IntegerLiteral))
 593     return error("expected an integer literal");
 594   const Constant *C = nullptr;
 595   if (parseIRConstant(Loc, C))
 596     return true;
 597   Dest = MachineOperand::CreateCImm(cast<ConstantInt>(C));
 598   return false;
 599 }
 600
 601 bool MIParser::parseFPImmediateOperand(MachineOperand &Dest) {
 602   auto Loc = Token.location();
 603   lex();
 604   if (Token.isNot(MIToken::FloatingPointLiteral))
 605     return error("expected a floating point literal");
 606   const Constant *C = nullptr;
 607   if (parseIRConstant(Loc, C))
 608     return true;
 609   Dest = MachineOperand::CreateFPImm(cast<ConstantFP>(C));
 610   return false;
 611 }
 612
 613 bool MIParser::getUnsigned(unsigned &Result) {
 614   assert(Token.hasIntegerValue() && "Expected a token with an integer value");
 615   const uint64_t Limit = uint64_t(std::numeric_limits<unsigned>::max()) + 1;
 616   uint64_t Val64 = Token.integerValue().getLimitedValue(Limit);
 617   if (Val64 == Limit)
 618     return error("expected 32-bit integer (too large)");
 619   Result = Val64;
 620   return false;
 621 }
 622
 623 bool MIParser::parseMBBReference(MachineBasicBlock *&MBB) {
 624   assert(Token.is(MIToken::MachineBasicBlock));
 625   unsigned Number;
 626   if (getUnsigned(Number))
 627     return true;
 628   auto MBBInfo = PFS.MBBSlots.find(Number);
 629   if (MBBInfo == PFS.MBBSlots.end())
 630     return error(Twine("use of undefined machine basic block #") +
 631                  Twine(Number));
 632   MBB = MBBInfo->second;
 633   if (!Token.stringValue().empty() && Token.stringValue() != MBB->getName())
 634     return error(Twine("the name of machine basic block #") + Twine(Number) +
 635                  " isn't '" + Token.stringValue() + "'");
 636   return false;
 637 }
 638
 639 bool MIParser::parseMBBOperand(MachineOperand &Dest) {
 640   MachineBasicBlock *MBB;
 641   if (parseMBBReference(MBB))
 642     return true;
 643   Dest = MachineOperand::CreateMBB(MBB);
 644   lex();
 645   return false;
 646 }
 647
 648 bool MIParser::parseStackObjectOperand(MachineOperand &Dest) {
 649   assert(Token.is(MIToken::StackObject));
 650   unsigned ID;
 651   if (getUnsigned(ID))
 652     return true;
 653   auto ObjectInfo = PFS.StackObjectSlots.find(ID);
 654   if (ObjectInfo == PFS.StackObjectSlots.end())
 655     return error(Twine("use of undefined stack object '%stack.") + Twine(ID) +
 656                  "'");
 657   StringRef Name;
 658   if (const auto *Alloca =
 659           MF.getFrameInfo()->getObjectAllocation(ObjectInfo->second))
 660     Name = Alloca->getName();
 661   if (!Token.stringValue().empty() && Token.stringValue() != Name)
 662     return error(Twine("the name of the stack object '%stack.") + Twine(ID) +
 663                  "' isn't '" + Token.stringValue() + "'");
 664   lex();
 665   Dest = MachineOperand::CreateFI(ObjectInfo->second);
 666   return false;
 667 }
 668
 669 bool MIParser::parseFixedStackFrameIndex(int &FI) {
 670   assert(Token.is(MIToken::FixedStackObject));
 671   unsigned ID;
 672   if (getUnsigned(ID))
 673     return true;
 674   auto ObjectInfo = PFS.FixedStackObjectSlots.find(ID);
 675   if (ObjectInfo == PFS.FixedStackObjectSlots.end())
 676     return error(Twine("use of undefined fixed stack object '%fixed-stack.") +
 677                  Twine(ID) + "'");
 678   lex();
 679   FI = ObjectInfo->second;
 680   return false;
 681 }
 682
 683 bool MIParser::parseFixedStackObjectOperand(MachineOperand &Dest) {
 684   int FI;
 685   if (parseFixedStackFrameIndex(FI))
 686     return true;
 687   Dest = MachineOperand::CreateFI(FI);
 688   return false;
 689 }
 690
 691 bool MIParser::parseGlobalValue(GlobalValue *&GV) {
 692   switch (Token.kind()) {
 693   case MIToken::NamedGlobalValue: {
 694     const Module *M = MF.getFunction()->getParent();
 695     GV = M->getNamedValue(Token.stringValue());
 696     if (!GV)
 697       return error(Twine("use of undefined global value '") + Token.range() +
 698                    "'");
 699     break;
 700   }
 701   case MIToken::GlobalValue: {
 702     unsigned GVIdx;
 703     if (getUnsigned(GVIdx))
 704       return true;
 705     if (GVIdx >= IRSlots.GlobalValues.size())
 706       return error(Twine("use of undefined global value '@") + Twine(GVIdx) +
 707                    "'");
 708     GV = IRSlots.GlobalValues[GVIdx];
 709     break;
 710   }
 711   default:
 712     llvm_unreachable("The current token should be a global value");
 713   }
 714   return false;
 715 }
 716
 717 bool MIParser::parseGlobalAddressOperand(MachineOperand &Dest) {
 718   GlobalValue *GV = nullptr;
 719   if (parseGlobalValue(GV))
 720     return true;
 721   lex();
 722   Dest = MachineOperand::CreateGA(GV, /*Offset=*/0);
 723   if (parseOperandsOffset(Dest))
 724     return true;
 725   return false;
 726 }
 727
 728 bool MIParser::parseConstantPoolIndexOperand(MachineOperand &Dest) {
 729   assert(Token.is(MIToken::ConstantPoolItem));
 730   unsigned ID;
 731   if (getUnsigned(ID))
 732     return true;
 733   auto ConstantInfo = PFS.ConstantPoolSlots.find(ID);
 734   if (ConstantInfo == PFS.ConstantPoolSlots.end())
 735     return error("use of undefined constant '%const." + Twine(ID) + "'");
 736   lex();
 737   Dest = MachineOperand::CreateCPI(ID, /*Offset=*/0);
 738   if (parseOperandsOffset(Dest))
 739     return true;
 740   return false;
 741 }
 742
 743 bool MIParser::parseJumpTableIndexOperand(MachineOperand &Dest) {
 744   assert(Token.is(MIToken::JumpTableIndex));
 745   unsigned ID;
 746   if (getUnsigned(ID))
 747     return true;
 748   auto JumpTableEntryInfo = PFS.JumpTableSlots.find(ID);
 749   if (JumpTableEntryInfo == PFS.JumpTableSlots.end())
 750     return error("use of undefined jump table '%jump-table." + Twine(ID) + "'");
 751   lex();
 752   Dest = MachineOperand::CreateJTI(JumpTableEntryInfo->second);
 753   return false;
 754 }
 755
 756 bool MIParser::parseExternalSymbolOperand(MachineOperand &Dest) {
 757   assert(Token.is(MIToken::ExternalSymbol));
 758   const char *Symbol = MF.createExternalSymbolName(Token.stringValue());
 759   lex();
 760   Dest = MachineOperand::CreateES(Symbol);
 761   if (parseOperandsOffset(Dest))
 762     return true;
 763   return false;
 764 }
 765
 766 bool MIParser::parseMDNode(MDNode *&Node) {
 767   assert(Token.is(MIToken::exclaim));
 768   auto Loc = Token.location();
 769   lex();
 770   if (Token.isNot(MIToken::IntegerLiteral) || Token.integerValue().isSigned())
 771     return error("expected metadata id after '!'");
 772   unsigned ID;
 773   if (getUnsigned(ID))
 774     return true;
 775   auto NodeInfo = IRSlots.MetadataNodes.find(ID);
 776   if (NodeInfo == IRSlots.MetadataNodes.end())
 777     return error(Loc, "use of undefined metadata '!" + Twine(ID) + "'");
 778   lex();
 779   Node = NodeInfo->second.get();
 780   return false;
 781 }
 782
 783 bool MIParser::parseMetadataOperand(MachineOperand &Dest) {
 784   MDNode *Node = nullptr;
 785   if (parseMDNode(Node))
 786     return true;
 787   Dest = MachineOperand::CreateMetadata(Node);
 788   return false;
 789 }
 790
 791 bool MIParser::parseCFIOffset(int &Offset) {
 792   if (Token.isNot(MIToken::IntegerLiteral))
 793     return error("expected a cfi offset");
 794   if (Token.integerValue().getMinSignedBits() > 32)
 795     return error("expected a 32 bit integer (the cfi offset is too large)");
 796   Offset = (int)Token.integerValue().getExtValue();
 797   lex();
 798   return false;
 799 }
 800
 801 bool MIParser::parseCFIRegister(unsigned &Reg) {
 802   if (Token.isNot(MIToken::NamedRegister))
 803     return error("expected a cfi register");
 804   unsigned LLVMReg;
 805   if (parseRegister(LLVMReg))
 806     return true;
 807   const auto *TRI = MF.getSubtarget().getRegisterInfo();
 808   assert(TRI && "Expected target register info");
 809   int DwarfReg = TRI->getDwarfRegNum(LLVMReg, true);
 810   if (DwarfReg < 0)
 811     return error("invalid DWARF register");
 812   Reg = (unsigned)DwarfReg;
 813   lex();
 814   return false;
 815 }
 816
 817 bool MIParser::parseCFIOperand(MachineOperand &Dest) {
 818   auto Kind = Token.kind();
 819   lex();
 820   auto &MMI = MF.getMMI();
 821   int Offset;
 822   unsigned Reg;
 823   unsigned CFIIndex;
 824   switch (Kind) {
 825   case MIToken::kw_cfi_offset:
 826     if (parseCFIRegister(Reg) || expectAndConsume(MIToken::comma) ||
 827         parseCFIOffset(Offset))
 828       return true;
 829     CFIIndex =
 830         MMI.addFrameInst(MCCFIInstruction::createOffset(nullptr, Reg, Offset));
 831     break;
 832   case MIToken::kw_cfi_def_cfa_register:
 833     if (parseCFIRegister(Reg))
 834       return true;
 835     CFIIndex =
 836         MMI.addFrameInst(MCCFIInstruction::createDefCfaRegister(nullptr, Reg));
 837     break;
 838   case MIToken::kw_cfi_def_cfa_offset:
 839     if (parseCFIOffset(Offset))
 840       return true;
 841     // NB: MCCFIInstruction::createDefCfaOffset negates the offset.
 842     CFIIndex = MMI.addFrameInst(
 843         MCCFIInstruction::createDefCfaOffset(nullptr, -Offset));
 844     break;
 845   case MIToken::kw_cfi_def_cfa:
 846     if (parseCFIRegister(Reg) || expectAndConsume(MIToken::comma) ||
 847         parseCFIOffset(Offset))
 848       return true;
 849     // NB: MCCFIInstruction::createDefCfa negates the offset.
 850     CFIIndex =
 851         MMI.addFrameInst(MCCFIInstruction::createDefCfa(nullptr, Reg, -Offset));
 852     break;
 853   default:
 854     // TODO: Parse the other CFI operands.
 855     llvm_unreachable("The current token should be a cfi operand");
 856   }
 857   Dest = MachineOperand::CreateCFIIndex(CFIIndex);
 858   return false;
 859 }
 860
 861 bool MIParser::parseIRBlock(BasicBlock *&BB, const Function &F) {
 862   switch (Token.kind()) {
 863   case MIToken::NamedIRBlock: {
 864     BB = dyn_cast_or_null<BasicBlock>(
 865         F.getValueSymbolTable().lookup(Token.stringValue()));
 866     if (!BB)
 867       return error(Twine("use of undefined IR block '") + Token.range() + "'");
 868     break;
 869   }
 870   case MIToken::IRBlock: {
 871     unsigned SlotNumber = 0;
 872     if (getUnsigned(SlotNumber))
 873       return true;
 874     BB = const_cast<BasicBlock *>(getIRBlock(SlotNumber, F));
 875     if (!BB)
 876       return error(Twine("use of undefined IR block '%ir-block.") +
 877                    Twine(SlotNumber) + "'");
 878     break;
 879   }
 880   default:
 881     llvm_unreachable("The current token should be an IR block reference");
 882   }
 883   return false;
 884 }
 885
 886 bool MIParser::parseBlockAddressOperand(MachineOperand &Dest) {
 887   assert(Token.is(MIToken::kw_blockaddress));
 888   lex();
 889   if (expectAndConsume(MIToken::lparen))
 890     return true;
 891   if (Token.isNot(MIToken::GlobalValue) &&
 892       Token.isNot(MIToken::NamedGlobalValue))
 893     return error("expected a global value");
 894   GlobalValue *GV = nullptr;
 895   if (parseGlobalValue(GV))
 896     return true;
 897   auto *F = dyn_cast<Function>(GV);
 898   if (!F)
 899     return error("expected an IR function reference");
 900   lex();
 901   if (expectAndConsume(MIToken::comma))
 902     return true;
 903   BasicBlock *BB = nullptr;
 904   if (Token.isNot(MIToken::IRBlock) && Token.isNot(MIToken::NamedIRBlock))
 905     return error("expected an IR block reference");
 906   if (parseIRBlock(BB, *F))
 907     return true;
 908   lex();
 909   if (expectAndConsume(MIToken::rparen))
 910     return true;
 911   Dest = MachineOperand::CreateBA(BlockAddress::get(F, BB), /*Offset=*/0);
 912   if (parseOperandsOffset(Dest))
 913     return true;
 914   return false;
 915 }
 916
 917 bool MIParser::parseTargetIndexOperand(MachineOperand &Dest) {
 918   assert(Token.is(MIToken::kw_target_index));
 919   lex();
 920   if (expectAndConsume(MIToken::lparen))
 921     return true;
 922   if (Token.isNot(MIToken::Identifier))
 923     return error("expected the name of the target index");
 924   int Index = 0;
 925   if (getTargetIndex(Token.stringValue(), Index))
 926     return error("use of undefined target index '" + Token.stringValue() + "'");
 927   lex();
 928   if (expectAndConsume(MIToken::rparen))
 929     return true;
 930   Dest = MachineOperand::CreateTargetIndex(unsigned(Index), /*Offset=*/0);
 931   if (parseOperandsOffset(Dest))
 932     return true;
 933   return false;
 934 }
 935
 936 bool MIParser::parseLiveoutRegisterMaskOperand(MachineOperand &Dest) {
 937   assert(Token.is(MIToken::kw_liveout));
 938   const auto *TRI = MF.getSubtarget().getRegisterInfo();
 939   assert(TRI && "Expected target register info");
 940   uint32_t *Mask = MF.allocateRegisterMask(TRI->getNumRegs());
 941   lex();
 942   if (expectAndConsume(MIToken::lparen))
 943     return true;
 944   while (true) {
 945     if (Token.isNot(MIToken::NamedRegister))
 946       return error("expected a named register");
 947     unsigned Reg = 0;
 948     if (parseRegister(Reg))
 949       return true;
 950     lex();
 951     Mask[Reg / 32] |= 1U << (Reg % 32);
 952     // TODO: Report an error if the same register is used more than once.
 953     if (Token.isNot(MIToken::comma))
 954       break;
 955     lex();
 956   }
 957   if (expectAndConsume(MIToken::rparen))
 958     return true;
 959   Dest = MachineOperand::CreateRegLiveOut(Mask);
 960   return false;
 961 }
 962
 963 bool MIParser::parseMachineOperand(MachineOperand &Dest) {
 964   switch (Token.kind()) {
 965   case MIToken::kw_implicit:
 966   case MIToken::kw_implicit_define:
 967   case MIToken::kw_dead:
 968   case MIToken::kw_killed:
 969   case MIToken::kw_undef:
 970   case MIToken::kw_early_clobber:
 971   case MIToken::kw_debug_use:
 972   case MIToken::underscore:
 973   case MIToken::NamedRegister:
 974   case MIToken::VirtualRegister:
 975     return parseRegisterOperand(Dest);
 976   case MIToken::IntegerLiteral:
 977     return parseImmediateOperand(Dest);
 978   case MIToken::IntegerType:
 979     return parseTypedImmediateOperand(Dest);
 980   case MIToken::kw_half:
 981   case MIToken::kw_float:
 982   case MIToken::kw_double:
 983   case MIToken::kw_x86_fp80:
 984   case MIToken::kw_fp128:
 985   case MIToken::kw_ppc_fp128:
 986     return parseFPImmediateOperand(Dest);
 987   case MIToken::MachineBasicBlock:
 988     return parseMBBOperand(Dest);
 989   case MIToken::StackObject:
 990     return parseStackObjectOperand(Dest);
 991   case MIToken::FixedStackObject:
 992     return parseFixedStackObjectOperand(Dest);
 993   case MIToken::GlobalValue:
 994   case MIToken::NamedGlobalValue:
 995     return parseGlobalAddressOperand(Dest);
 996   case MIToken::ConstantPoolItem:
 997     return parseConstantPoolIndexOperand(Dest);
 998   case MIToken::JumpTableIndex:
 999     return parseJumpTableIndexOperand(Dest);
1000   case MIToken::ExternalSymbol:
1001     return parseExternalSymbolOperand(Dest);
1002   case MIToken::exclaim:
1003     return parseMetadataOperand(Dest);
1004   case MIToken::kw_cfi_offset:
1005   case MIToken::kw_cfi_def_cfa_register:
1006   case MIToken::kw_cfi_def_cfa_offset:
1007   case MIToken::kw_cfi_def_cfa:
1008     return parseCFIOperand(Dest);
1009   case MIToken::kw_blockaddress:
1010     return parseBlockAddressOperand(Dest);
1011   case MIToken::kw_target_index:
1012     return parseTargetIndexOperand(Dest);
1013   case MIToken::kw_liveout:
1014     return parseLiveoutRegisterMaskOperand(Dest);
1015   case MIToken::Error:
1016     return true;
1017   case MIToken::Identifier:
1018     if (const auto *RegMask = getRegMask(Token.stringValue())) {
1019       Dest = MachineOperand::CreateRegMask(RegMask);
1020       lex();
1021       break;
1022     }
1023   // fallthrough
1024   default:
1025     // TODO: parse the other machine operands.
1026     return error("expected a machine operand");
1027   }
1028   return false;
1029 }
1030
1031 bool MIParser::parseMachineOperandAndTargetFlags(MachineOperand &Dest) {
1032   unsigned TF = 0;
1033   bool HasTargetFlags = false;
1034   if (Token.is(MIToken::kw_target_flags)) {
1035     HasTargetFlags = true;
1036     lex();
1037     if (expectAndConsume(MIToken::lparen))
1038       return true;
1039     if (Token.isNot(MIToken::Identifier))
1040       return error("expected the name of the target flag");
1041     if (getDirectTargetFlag(Token.stringValue(), TF))
1042       return error("use of undefined target flag '" + Token.stringValue() +
1043                    "'");
1044     lex();
1045     // TODO: Parse target's bit target flags.
1046     if (expectAndConsume(MIToken::rparen))
1047       return true;
1048   }
1049   auto Loc = Token.location();
1050   if (parseMachineOperand(Dest))
1051     return true;
1052   if (!HasTargetFlags)
1053     return false;
1054   if (Dest.isReg())
1055     return error(Loc, "register operands can't have target flags");
1056   Dest.setTargetFlags(TF);
1057   return false;
1058 }
1059
1060 bool MIParser::parseOffset(int64_t &Offset) {
1061   if (Token.isNot(MIToken::plus) && Token.isNot(MIToken::minus))
1062     return false;
1063   StringRef Sign = Token.range();
1064   bool IsNegative = Token.is(MIToken::minus);
1065   lex();
1066   if (Token.isNot(MIToken::IntegerLiteral))
1067     return error("expected an integer literal after '" + Sign + "'");
1068   if (Token.integerValue().getMinSignedBits() > 64)
1069     return error("expected 64-bit integer (too large)");
1070   Offset = Token.integerValue().getExtValue();
1071   if (IsNegative)
1072     Offset = -Offset;
1073   lex();
1074   return false;
1075 }
1076
1077 bool MIParser::parseAlignment(unsigned &Alignment) {
1078   assert(Token.is(MIToken::kw_align));
1079   lex();
1080   if (Token.isNot(MIToken::IntegerLiteral))
1081     return error("expected an integer literal after 'align'");
1082   if (getUnsigned(Alignment))
1083     return true;
1084   lex();
1085   return false;
1086 }
1087
1088 bool MIParser::parseOperandsOffset(MachineOperand &Op) {
1089   int64_t Offset = 0;
1090   if (parseOffset(Offset))
1091     return true;
1092   Op.setOffset(Offset);
1093   return false;
1094 }
1095
1096 bool MIParser::parseIRValue(Value *&V) {
1097   switch (Token.kind()) {
1098   case MIToken::NamedIRValue: {
1099     V = MF.getFunction()->getValueSymbolTable().lookup(Token.stringValue());
1100     if (!V)
1101       V = MF.getFunction()->getParent()->getValueSymbolTable().lookup(
1102           Token.stringValue());
1103     if (!V)
1104       return error(Twine("use of undefined IR value '") + Token.range() + "'");
1105     break;
1106   }
1107   // TODO: Parse unnamed IR value references.
1108   default:
1109     llvm_unreachable("The current token should be an IR block reference");
1110   }
1111   return false;
1112 }
1113
1114 bool MIParser::getUint64(uint64_t &Result) {
1115   assert(Token.hasIntegerValue());
1116   if (Token.integerValue().getActiveBits() > 64)
1117     return error("expected 64-bit integer (too large)");
1118   Result = Token.integerValue().getZExtValue();
1119   return false;
1120 }
1121
1122 bool MIParser::parseMemoryOperandFlag(unsigned &Flags) {
1123   const unsigned OldFlags = Flags;
1124   switch (Token.kind()) {
1125   case MIToken::kw_volatile:
1126     Flags |= MachineMemOperand::MOVolatile;
1127     break;
1128   case MIToken::kw_non_temporal:
1129     Flags |= MachineMemOperand::MONonTemporal;
1130     break;
1131   case MIToken::kw_invariant:
1132     Flags |= MachineMemOperand::MOInvariant;
1133     break;
1134   // TODO: parse the target specific memory operand flags.
1135   default:
1136     llvm_unreachable("The current token should be a memory operand flag");
1137   }
1138   if (OldFlags == Flags)
1139     // We know that the same flag is specified more than once when the flags
1140     // weren't modified.
1141     return error("duplicate '" + Token.stringValue() + "' memory operand flag");
1142   lex();
1143   return false;
1144 }
1145
1146 bool MIParser::parseMemoryPseudoSourceValue(const PseudoSourceValue *&PSV) {
1147   switch (Token.kind()) {
1148   case MIToken::kw_stack:
1149     PSV = MF.getPSVManager().getStack();
1150     break;
1151   case MIToken::kw_got:
1152     PSV = MF.getPSVManager().getGOT();
1153     break;
1154   case MIToken::kw_jump_table:
1155     PSV = MF.getPSVManager().getJumpTable();
1156     break;
1157   case MIToken::kw_constant_pool:
1158     PSV = MF.getPSVManager().getConstantPool();
1159     break;
1160   case MIToken::FixedStackObject: {
1161     int FI;
1162     if (parseFixedStackFrameIndex(FI))
1163       return true;
1164     PSV = MF.getPSVManager().getFixedStack(FI);
1165     // The token was already consumed, so use return here instead of break.
1166     return false;
1167   }
1168   // TODO: Parse the other pseudo source values.
1169   default:
1170     llvm_unreachable("The current token should be pseudo source value");
1171   }
1172   lex();
1173   return false;
1174 }
1175
1176 bool MIParser::parseMachinePointerInfo(MachinePointerInfo &Dest) {
1177   if (Token.is(MIToken::kw_constant_pool) || Token.is(MIToken::kw_stack) ||
1178       Token.is(MIToken::kw_got) || Token.is(MIToken::kw_jump_table) ||
1179       Token.is(MIToken::FixedStackObject)) {
1180     const PseudoSourceValue *PSV = nullptr;
1181     if (parseMemoryPseudoSourceValue(PSV))
1182       return true;
1183     int64_t Offset = 0;
1184     if (parseOffset(Offset))
1185       return true;
1186     Dest = MachinePointerInfo(PSV, Offset);
1187     return false;
1188   }
1189   if (Token.isNot(MIToken::NamedIRValue))
1190     return error("expected an IR value reference");
1191   Value *V = nullptr;
1192   if (parseIRValue(V))
1193     return true;
1194   if (!V->getType()->isPointerTy())
1195     return error("expected a pointer IR value");
1196   lex();
1197   int64_t Offset = 0;
1198   if (parseOffset(Offset))
1199     return true;
1200   Dest = MachinePointerInfo(V, Offset);
1201   return false;
1202 }
1203
1204 bool MIParser::parseMachineMemoryOperand(MachineMemOperand *&Dest) {
1205   if (expectAndConsume(MIToken::lparen))
1206     return true;
1207   unsigned Flags = 0;
1208   while (Token.isMemoryOperandFlag()) {
1209     if (parseMemoryOperandFlag(Flags))
1210       return true;
1211   }
1212   if (Token.isNot(MIToken::Identifier) ||
1213       (Token.stringValue() != "load" && Token.stringValue() != "store"))
1214     return error("expected 'load' or 'store' memory operation");
1215   if (Token.stringValue() == "load")
1216     Flags |= MachineMemOperand::MOLoad;
1217   else
1218     Flags |= MachineMemOperand::MOStore;
1219   lex();
1220
1221   if (Token.isNot(MIToken::IntegerLiteral))
1222     return error("expected the size integer literal after memory operation");
1223   uint64_t Size;
1224   if (getUint64(Size))
1225     return true;
1226   lex();
1227
1228   const char *Word = Flags & MachineMemOperand::MOLoad ? "from" : "into";
1229   if (Token.isNot(MIToken::Identifier) || Token.stringValue() != Word)
1230     return error(Twine("expected '") + Word + "'");
1231   lex();
1232
1233   MachinePointerInfo Ptr = MachinePointerInfo();
1234   if (parseMachinePointerInfo(Ptr))
1235     return true;
1236   unsigned BaseAlignment = Size;
1237   if (Token.is(MIToken::comma)) {
1238     lex();
1239     if (Token.isNot(MIToken::kw_align))
1240       return error("expected 'align'");
1241     if (parseAlignment(BaseAlignment))
1242       return true;
1243   }
1244   // TODO: Parse the attached metadata nodes.
1245   if (expectAndConsume(MIToken::rparen))
1246     return true;
1247   Dest = MF.getMachineMemOperand(Ptr, Flags, Size, BaseAlignment);
1248   return false;
1249 }
1250
1251 void MIParser::initNames2InstrOpCodes() {
1252   if (!Names2InstrOpCodes.empty())
1253     return;
1254   const auto *TII = MF.getSubtarget().getInstrInfo();
1255   assert(TII && "Expected target instruction info");
1256   for (unsigned I = 0, E = TII->getNumOpcodes(); I < E; ++I)
1257     Names2InstrOpCodes.insert(std::make_pair(StringRef(TII->getName(I)), I));
1258 }
1259
1260 bool MIParser::parseInstrName(StringRef InstrName, unsigned &OpCode) {
1261   initNames2InstrOpCodes();
1262   auto InstrInfo = Names2InstrOpCodes.find(InstrName);
1263   if (InstrInfo == Names2InstrOpCodes.end())
1264     return true;
1265   OpCode = InstrInfo->getValue();
1266   return false;
1267 }
1268
1269 void MIParser::initNames2Regs() {
1270   if (!Names2Regs.empty())
1271     return;
1272   // The '%noreg' register is the register 0.
1273   Names2Regs.insert(std::make_pair("noreg", 0));
1274   const auto *TRI = MF.getSubtarget().getRegisterInfo();
1275   assert(TRI && "Expected target register info");
1276   for (unsigned I = 0, E = TRI->getNumRegs(); I < E; ++I) {
1277     bool WasInserted =
1278         Names2Regs.insert(std::make_pair(StringRef(TRI->getName(I)).lower(), I))
1279             .second;
1280     (void)WasInserted;
1281     assert(WasInserted && "Expected registers to be unique case-insensitively");
1282   }
1283 }
1284
1285 bool MIParser::getRegisterByName(StringRef RegName, unsigned &Reg) {
1286   initNames2Regs();
1287   auto RegInfo = Names2Regs.find(RegName);
1288   if (RegInfo == Names2Regs.end())
1289     return true;
1290   Reg = RegInfo->getValue();
1291   return false;
1292 }
1293
1294 void MIParser::initNames2RegMasks() {
1295   if (!Names2RegMasks.empty())
1296     return;
1297   const auto *TRI = MF.getSubtarget().getRegisterInfo();
1298   assert(TRI && "Expected target register info");
1299   ArrayRef<const uint32_t *> RegMasks = TRI->getRegMasks();
1300   ArrayRef<const char *> RegMaskNames = TRI->getRegMaskNames();
1301   assert(RegMasks.size() == RegMaskNames.size());
1302   for (size_t I = 0, E = RegMasks.size(); I < E; ++I)
1303     Names2RegMasks.insert(
1304         std::make_pair(StringRef(RegMaskNames[I]).lower(), RegMasks[I]));
1305 }
1306
1307 const uint32_t *MIParser::getRegMask(StringRef Identifier) {
1308   initNames2RegMasks();
1309   auto RegMaskInfo = Names2RegMasks.find(Identifier);
1310   if (RegMaskInfo == Names2RegMasks.end())
1311     return nullptr;
1312   return RegMaskInfo->getValue();
1313 }
1314
1315 void MIParser::initNames2SubRegIndices() {
1316   if (!Names2SubRegIndices.empty())
1317     return;
1318   const TargetRegisterInfo *TRI = MF.getSubtarget().getRegisterInfo();
1319   for (unsigned I = 1, E = TRI->getNumSubRegIndices(); I < E; ++I)
1320     Names2SubRegIndices.insert(
1321         std::make_pair(StringRef(TRI->getSubRegIndexName(I)).lower(), I));
1322 }
1323
1324 unsigned MIParser::getSubRegIndex(StringRef Name) {
1325   initNames2SubRegIndices();
1326   auto SubRegInfo = Names2SubRegIndices.find(Name);
1327   if (SubRegInfo == Names2SubRegIndices.end())
1328     return 0;
1329   return SubRegInfo->getValue();
1330 }
1331
1332 static void initSlots2BasicBlocks(
1333     const Function &F,
1334     DenseMap<unsigned, const BasicBlock *> &Slots2BasicBlocks) {
1335   ModuleSlotTracker MST(F.getParent(), /*ShouldInitializeAllMetadata=*/false);
1336   MST.incorporateFunction(F);
1337   for (auto &BB : F) {
1338     if (BB.hasName())
1339       continue;
1340     int Slot = MST.getLocalSlot(&BB);
1341     if (Slot == -1)
1342       continue;
1343     Slots2BasicBlocks.insert(std::make_pair(unsigned(Slot), &BB));
1344   }
1345 }
1346
1347 static const BasicBlock *getIRBlockFromSlot(
1348     unsigned Slot,
1349     const DenseMap<unsigned, const BasicBlock *> &Slots2BasicBlocks) {
1350   auto BlockInfo = Slots2BasicBlocks.find(Slot);
1351   if (BlockInfo == Slots2BasicBlocks.end())
1352     return nullptr;
1353   return BlockInfo->second;
1354 }
1355
1356 const BasicBlock *MIParser::getIRBlock(unsigned Slot) {
1357   if (Slots2BasicBlocks.empty())
1358     initSlots2BasicBlocks(*MF.getFunction(), Slots2BasicBlocks);
1359   return getIRBlockFromSlot(Slot, Slots2BasicBlocks);
1360 }
1361
1362 const BasicBlock *MIParser::getIRBlock(unsigned Slot, const Function &F) {
1363   if (&F == MF.getFunction())
1364     return getIRBlock(Slot);
1365   DenseMap<unsigned, const BasicBlock *> CustomSlots2BasicBlocks;
1366   initSlots2BasicBlocks(F, CustomSlots2BasicBlocks);
1367   return getIRBlockFromSlot(Slot, CustomSlots2BasicBlocks);
1368 }
1369
1370 void MIParser::initNames2TargetIndices() {
1371   if (!Names2TargetIndices.empty())
1372     return;
1373   const auto *TII = MF.getSubtarget().getInstrInfo();
1374   assert(TII && "Expected target instruction info");
1375   auto Indices = TII->getSerializableTargetIndices();
1376   for (const auto &I : Indices)
1377     Names2TargetIndices.insert(std::make_pair(StringRef(I.second), I.first));
1378 }
1379
1380 bool MIParser::getTargetIndex(StringRef Name, int &Index) {
1381   initNames2TargetIndices();
1382   auto IndexInfo = Names2TargetIndices.find(Name);
1383   if (IndexInfo == Names2TargetIndices.end())
1384     return true;
1385   Index = IndexInfo->second;
1386   return false;
1387 }
1388
1389 void MIParser::initNames2DirectTargetFlags() {
1390   if (!Names2DirectTargetFlags.empty())
1391     return;
1392   const auto *TII = MF.getSubtarget().getInstrInfo();
1393   assert(TII && "Expected target instruction info");
1394   auto Flags = TII->getSerializableDirectMachineOperandTargetFlags();
1395   for (const auto &I : Flags)
1396     Names2DirectTargetFlags.insert(
1397         std::make_pair(StringRef(I.second), I.first));
1398 }
1399
1400 bool MIParser::getDirectTargetFlag(StringRef Name, unsigned &Flag) {
1401   initNames2DirectTargetFlags();
1402   auto FlagInfo = Names2DirectTargetFlags.find(Name);
1403   if (FlagInfo == Names2DirectTargetFlags.end())
1404     return true;
1405   Flag = FlagInfo->second;
1406   return false;
1407 }
1408
1409 bool llvm::parseMachineInstr(MachineInstr *&MI, SourceMgr &SM,
1410                              MachineFunction &MF, StringRef Src,
1411                              const PerFunctionMIParsingState &PFS,
1412                              const SlotMapping &IRSlots, SMDiagnostic &Error) {
1413   return MIParser(SM, MF, Error, Src, PFS, IRSlots).parse(MI);
1414 }
1415
1416 bool llvm::parseMBBReference(MachineBasicBlock *&MBB, SourceMgr &SM,
1417                              MachineFunction &MF, StringRef Src,
1418                              const PerFunctionMIParsingState &PFS,
1419                              const SlotMapping &IRSlots, SMDiagnostic &Error) {
1420   return MIParser(SM, MF, Error, Src, PFS, IRSlots).parseStandaloneMBB(MBB);
1421 }
1422
1423 bool llvm::parseNamedRegisterReference(unsigned &Reg, SourceMgr &SM,
1424                                        MachineFunction &MF, StringRef Src,
1425                                        const PerFunctionMIParsingState &PFS,
1426                                        const SlotMapping &IRSlots,
1427                                        SMDiagnostic &Error) {
1428   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1429       .parseStandaloneNamedRegister(Reg);
1430 }
1431
1432 bool llvm::parseVirtualRegisterReference(unsigned &Reg, SourceMgr &SM,
1433                                          MachineFunction &MF, StringRef Src,
1434                                          const PerFunctionMIParsingState &PFS,
1435                                          const SlotMapping &IRSlots,
1436                                          SMDiagnostic &Error) {
1437   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1438       .parseStandaloneVirtualRegister(Reg);
1439 }
1440
1441 bool llvm::parseIRBlockReference(const BasicBlock *&BB, SourceMgr &SM,
1442                                  MachineFunction &MF, StringRef Src,
1443                                  const PerFunctionMIParsingState &PFS,
1444                                  const SlotMapping &IRSlots,
1445                                  SMDiagnostic &Error) {
1446   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1447       .parseStandaloneIRBlockReference(BB);
1448 }