lib/CodeGen/MIRParser/MIParser.cpp

   1 //===- MIParser.cpp - Machine instructions parser implementation ----------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements the parsing of machine instructions.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 #include "MIParser.h"
  15 #include "MILexer.h"
  16 #include "llvm/ADT/StringMap.h"
  17 #include "llvm/AsmParser/Parser.h"
  18 #include "llvm/AsmParser/SlotMapping.h"
  19 #include "llvm/CodeGen/MachineBasicBlock.h"
  20 #include "llvm/CodeGen/MachineFunction.h"
  21 #include "llvm/CodeGen/MachineFrameInfo.h"
  22 #include "llvm/CodeGen/MachineInstr.h"
  23 #include "llvm/CodeGen/MachineInstrBuilder.h"
  24 #include "llvm/CodeGen/MachineMemOperand.h"
  25 #include "llvm/CodeGen/MachineModuleInfo.h"
  26 #include "llvm/IR/Instructions.h"
  27 #include "llvm/IR/Constants.h"
  28 #include "llvm/IR/Module.h"
  29 #include "llvm/IR/ModuleSlotTracker.h"
  30 #include "llvm/IR/ValueSymbolTable.h"
  31 #include "llvm/Support/raw_ostream.h"
  32 #include "llvm/Support/SourceMgr.h"
  33 #include "llvm/Target/TargetSubtargetInfo.h"
  34 #include "llvm/Target/TargetInstrInfo.h"
  35
  36 using namespace llvm;
  37
  38 namespace {
  39
  40 /// A wrapper struct around the 'MachineOperand' struct that includes a source
  41 /// range and other attributes.
  42 struct ParsedMachineOperand {
  43   MachineOperand Operand;
  44   StringRef::iterator Begin;
  45   StringRef::iterator End;
  46   Optional<unsigned> TiedDefIdx;
  47
  48   ParsedMachineOperand(const MachineOperand &Operand, StringRef::iterator Begin,
  49                        StringRef::iterator End, Optional<unsigned> &TiedDefIdx)
  50       : Operand(Operand), Begin(Begin), End(End), TiedDefIdx(TiedDefIdx) {
  51     if (TiedDefIdx)
  52       assert(Operand.isReg() && Operand.isUse() &&
  53              "Only used register operands can be tied");
  54   }
  55 };
  56
  57 class MIParser {
  58   SourceMgr &SM;
  59   MachineFunction &MF;
  60   SMDiagnostic &Error;
  61   StringRef Source, CurrentSource;
  62   MIToken Token;
  63   const PerFunctionMIParsingState &PFS;
  64   /// Maps from indices to unnamed global values and metadata nodes.
  65   const SlotMapping &IRSlots;
  66   /// Maps from instruction names to op codes.
  67   StringMap<unsigned> Names2InstrOpCodes;
  68   /// Maps from register names to registers.
  69   StringMap<unsigned> Names2Regs;
  70   /// Maps from register mask names to register masks.
  71   StringMap<const uint32_t *> Names2RegMasks;
  72   /// Maps from subregister names to subregister indices.
  73   StringMap<unsigned> Names2SubRegIndices;
  74   /// Maps from slot numbers to function's unnamed basic blocks.
  75   DenseMap<unsigned, const BasicBlock *> Slots2BasicBlocks;
  76   /// Maps from target index names to target indices.
  77   StringMap<int> Names2TargetIndices;
  78   /// Maps from direct target flag names to the direct target flag values.
  79   StringMap<unsigned> Names2DirectTargetFlags;
  80   /// Maps from direct target flag names to the bitmask target flag values.
  81   StringMap<unsigned> Names2BitmaskTargetFlags;
  82
  83 public:
  84   MIParser(SourceMgr &SM, MachineFunction &MF, SMDiagnostic &Error,
  85            StringRef Source, const PerFunctionMIParsingState &PFS,
  86            const SlotMapping &IRSlots);
  87
  88   void lex();
  89
  90   /// Report an error at the current location with the given message.
  91   ///
  92   /// This function always return true.
  93   bool error(const Twine &Msg);
  94
  95   /// Report an error at the given location with the given message.
  96   ///
  97   /// This function always return true.
  98   bool error(StringRef::iterator Loc, const Twine &Msg);
  99
 100   bool
 101   parseBasicBlockDefinitions(DenseMap<unsigned, MachineBasicBlock *> &MBBSlots);
 102   bool parseBasicBlocks();
 103   bool parse(MachineInstr *&MI);
 104   bool parseStandaloneMBB(MachineBasicBlock *&MBB);
 105   bool parseStandaloneNamedRegister(unsigned &Reg);
 106   bool parseStandaloneVirtualRegister(unsigned &Reg);
 107   bool parseStandaloneStackObject(int &FI);
 108   bool parseStandaloneMDNode(MDNode *&Node);
 109
 110   bool
 111   parseBasicBlockDefinition(DenseMap<unsigned, MachineBasicBlock *> &MBBSlots);
 112   bool parseBasicBlock(MachineBasicBlock &MBB);
 113   bool parseBasicBlockLiveins(MachineBasicBlock &MBB);
 114   bool parseBasicBlockSuccessors(MachineBasicBlock &MBB);
 115
 116   bool parseRegister(unsigned &Reg);
 117   bool parseRegisterFlag(unsigned &Flags);
 118   bool parseSubRegisterIndex(unsigned &SubReg);
 119   bool parseRegisterTiedDefIndex(unsigned &TiedDefIdx);
 120   bool parseRegisterOperand(MachineOperand &Dest,
 121                             Optional<unsigned> &TiedDefIdx, bool IsDef = false);
 122   bool parseImmediateOperand(MachineOperand &Dest);
 123   bool parseIRConstant(StringRef::iterator Loc, const Constant *&C);
 124   bool parseTypedImmediateOperand(MachineOperand &Dest);
 125   bool parseFPImmediateOperand(MachineOperand &Dest);
 126   bool parseMBBReference(MachineBasicBlock *&MBB);
 127   bool parseMBBOperand(MachineOperand &Dest);
 128   bool parseStackFrameIndex(int &FI);
 129   bool parseStackObjectOperand(MachineOperand &Dest);
 130   bool parseFixedStackFrameIndex(int &FI);
 131   bool parseFixedStackObjectOperand(MachineOperand &Dest);
 132   bool parseGlobalValue(GlobalValue *&GV);
 133   bool parseGlobalAddressOperand(MachineOperand &Dest);
 134   bool parseConstantPoolIndexOperand(MachineOperand &Dest);
 135   bool parseJumpTableIndexOperand(MachineOperand &Dest);
 136   bool parseExternalSymbolOperand(MachineOperand &Dest);
 137   bool parseMDNode(MDNode *&Node);
 138   bool parseMetadataOperand(MachineOperand &Dest);
 139   bool parseCFIOffset(int &Offset);
 140   bool parseCFIRegister(unsigned &Reg);
 141   bool parseCFIOperand(MachineOperand &Dest);
 142   bool parseIRBlock(BasicBlock *&BB, const Function &F);
 143   bool parseBlockAddressOperand(MachineOperand &Dest);
 144   bool parseTargetIndexOperand(MachineOperand &Dest);
 145   bool parseLiveoutRegisterMaskOperand(MachineOperand &Dest);
 146   bool parseMachineOperand(MachineOperand &Dest,
 147                            Optional<unsigned> &TiedDefIdx);
 148   bool parseMachineOperandAndTargetFlags(MachineOperand &Dest,
 149                                          Optional<unsigned> &TiedDefIdx);
 150   bool parseOffset(int64_t &Offset);
 151   bool parseAlignment(unsigned &Alignment);
 152   bool parseOperandsOffset(MachineOperand &Op);
 153   bool parseIRValue(Value *&V);
 154   bool parseMemoryOperandFlag(unsigned &Flags);
 155   bool parseMemoryPseudoSourceValue(const PseudoSourceValue *&PSV);
 156   bool parseMachinePointerInfo(MachinePointerInfo &Dest);
 157   bool parseMachineMemoryOperand(MachineMemOperand *&Dest);
 158
 159 private:
 160   /// Convert the integer literal in the current token into an unsigned integer.
 161   ///
 162   /// Return true if an error occurred.
 163   bool getUnsigned(unsigned &Result);
 164
 165   /// Convert the integer literal in the current token into an uint64.
 166   ///
 167   /// Return true if an error occurred.
 168   bool getUint64(uint64_t &Result);
 169
 170   /// If the current token is of the given kind, consume it and return false.
 171   /// Otherwise report an error and return true.
 172   bool expectAndConsume(MIToken::TokenKind TokenKind);
 173
 174   /// If the current token is of the given kind, consume it and return true.
 175   /// Otherwise return false.
 176   bool consumeIfPresent(MIToken::TokenKind TokenKind);
 177
 178   void initNames2InstrOpCodes();
 179
 180   /// Try to convert an instruction name to an opcode. Return true if the
 181   /// instruction name is invalid.
 182   bool parseInstrName(StringRef InstrName, unsigned &OpCode);
 183
 184   bool parseInstruction(unsigned &OpCode, unsigned &Flags);
 185
 186   bool assignRegisterTies(MachineInstr &MI,
 187                           ArrayRef<ParsedMachineOperand> Operands);
 188
 189   bool verifyImplicitOperands(ArrayRef<ParsedMachineOperand> Operands,
 190                               const MCInstrDesc &MCID);
 191
 192   void initNames2Regs();
 193
 194   /// Try to convert a register name to a register number. Return true if the
 195   /// register name is invalid.
 196   bool getRegisterByName(StringRef RegName, unsigned &Reg);
 197
 198   void initNames2RegMasks();
 199
 200   /// Check if the given identifier is a name of a register mask.
 201   ///
 202   /// Return null if the identifier isn't a register mask.
 203   const uint32_t *getRegMask(StringRef Identifier);
 204
 205   void initNames2SubRegIndices();
 206
 207   /// Check if the given identifier is a name of a subregister index.
 208   ///
 209   /// Return 0 if the name isn't a subregister index class.
 210   unsigned getSubRegIndex(StringRef Name);
 211
 212   const BasicBlock *getIRBlock(unsigned Slot);
 213   const BasicBlock *getIRBlock(unsigned Slot, const Function &F);
 214
 215   void initNames2TargetIndices();
 216
 217   /// Try to convert a name of target index to the corresponding target index.
 218   ///
 219   /// Return true if the name isn't a name of a target index.
 220   bool getTargetIndex(StringRef Name, int &Index);
 221
 222   void initNames2DirectTargetFlags();
 223
 224   /// Try to convert a name of a direct target flag to the corresponding
 225   /// target flag.
 226   ///
 227   /// Return true if the name isn't a name of a direct flag.
 228   bool getDirectTargetFlag(StringRef Name, unsigned &Flag);
 229
 230   void initNames2BitmaskTargetFlags();
 231
 232   /// Try to convert a name of a bitmask target flag to the corresponding
 233   /// target flag.
 234   ///
 235   /// Return true if the name isn't a name of a bitmask target flag.
 236   bool getBitmaskTargetFlag(StringRef Name, unsigned &Flag);
 237 };
 238
 239 } // end anonymous namespace
 240
 241 MIParser::MIParser(SourceMgr &SM, MachineFunction &MF, SMDiagnostic &Error,
 242                    StringRef Source, const PerFunctionMIParsingState &PFS,
 243                    const SlotMapping &IRSlots)
 244     : SM(SM), MF(MF), Error(Error), Source(Source), CurrentSource(Source),
 245       PFS(PFS), IRSlots(IRSlots) {}
 246
 247 void MIParser::lex() {
 248   CurrentSource = lexMIToken(
 249       CurrentSource, Token,
 250       [this](StringRef::iterator Loc, const Twine &Msg) { error(Loc, Msg); });
 251 }
 252
 253 bool MIParser::error(const Twine &Msg) { return error(Token.location(), Msg); }
 254
 255 bool MIParser::error(StringRef::iterator Loc, const Twine &Msg) {
 256   assert(Loc >= Source.data() && Loc <= (Source.data() + Source.size()));
 257   const MemoryBuffer &Buffer = *SM.getMemoryBuffer(SM.getMainFileID());
 258   if (Loc >= Buffer.getBufferStart() && Loc <= Buffer.getBufferEnd()) {
 259     // Create an ordinary diagnostic when the source manager's buffer is the
 260     // source string.
 261     Error = SM.GetMessage(SMLoc::getFromPointer(Loc), SourceMgr::DK_Error, Msg);
 262     return true;
 263   }
 264   // Create a diagnostic for a YAML string literal.
 265   Error = SMDiagnostic(SM, SMLoc(), Buffer.getBufferIdentifier(), 1,
 266                        Loc - Source.data(), SourceMgr::DK_Error, Msg.str(),
 267                        Source, None, None);
 268   return true;
 269 }
 270
 271 static const char *toString(MIToken::TokenKind TokenKind) {
 272   switch (TokenKind) {
 273   case MIToken::comma:
 274     return "','";
 275   case MIToken::equal:
 276     return "'='";
 277   case MIToken::colon:
 278     return "':'";
 279   case MIToken::lparen:
 280     return "'('";
 281   case MIToken::rparen:
 282     return "')'";
 283   default:
 284     return "<unknown token>";
 285   }
 286 }
 287
 288 bool MIParser::expectAndConsume(MIToken::TokenKind TokenKind) {
 289   if (Token.isNot(TokenKind))
 290     return error(Twine("expected ") + toString(TokenKind));
 291   lex();
 292   return false;
 293 }
 294
 295 bool MIParser::consumeIfPresent(MIToken::TokenKind TokenKind) {
 296   if (Token.isNot(TokenKind))
 297     return false;
 298   lex();
 299   return true;
 300 }
 301
 302 bool MIParser::parseBasicBlockDefinition(
 303     DenseMap<unsigned, MachineBasicBlock *> &MBBSlots) {
 304   assert(Token.is(MIToken::MachineBasicBlockLabel));
 305   unsigned ID = 0;
 306   if (getUnsigned(ID))
 307     return true;
 308   auto Loc = Token.location();
 309   auto Name = Token.stringValue();
 310   lex();
 311   bool HasAddressTaken = false;
 312   bool IsLandingPad = false;
 313   unsigned Alignment = 0;
 314   BasicBlock *BB = nullptr;
 315   if (consumeIfPresent(MIToken::lparen)) {
 316     do {
 317       // TODO: Report an error when multiple same attributes are specified.
 318       switch (Token.kind()) {
 319       case MIToken::kw_address_taken:
 320         HasAddressTaken = true;
 321         lex();
 322         break;
 323       case MIToken::kw_landing_pad:
 324         IsLandingPad = true;
 325         lex();
 326         break;
 327       case MIToken::kw_align:
 328         if (parseAlignment(Alignment))
 329           return true;
 330         break;
 331       case MIToken::IRBlock:
 332         // TODO: Report an error when both name and ir block are specified.
 333         if (parseIRBlock(BB, *MF.getFunction()))
 334           return true;
 335         lex();
 336         break;
 337       default:
 338         break;
 339       }
 340     } while (consumeIfPresent(MIToken::comma));
 341     if (expectAndConsume(MIToken::rparen))
 342       return true;
 343   }
 344   if (expectAndConsume(MIToken::colon))
 345     return true;
 346
 347   if (!Name.empty()) {
 348     BB = dyn_cast_or_null<BasicBlock>(
 349         MF.getFunction()->getValueSymbolTable().lookup(Name));
 350     if (!BB)
 351       return error(Loc, Twine("basic block '") + Name +
 352                             "' is not defined in the function '" +
 353                             MF.getName() + "'");
 354   }
 355   auto *MBB = MF.CreateMachineBasicBlock(BB);
 356   MF.insert(MF.end(), MBB);
 357   bool WasInserted = MBBSlots.insert(std::make_pair(ID, MBB)).second;
 358   if (!WasInserted)
 359     return error(Loc, Twine("redefinition of machine basic block with id #") +
 360                           Twine(ID));
 361   if (Alignment)
 362     MBB->setAlignment(Alignment);
 363   if (HasAddressTaken)
 364     MBB->setHasAddressTaken();
 365   MBB->setIsLandingPad(IsLandingPad);
 366   return false;
 367 }
 368
 369 bool MIParser::parseBasicBlockDefinitions(
 370     DenseMap<unsigned, MachineBasicBlock *> &MBBSlots) {
 371   lex();
 372   // Skip until the first machine basic block.
 373   while (Token.is(MIToken::Newline))
 374     lex();
 375   if (Token.isErrorOrEOF())
 376     return Token.isError();
 377   if (Token.isNot(MIToken::MachineBasicBlockLabel))
 378     return error("expected a basic block definition before instructions");
 379   unsigned BraceDepth = 0;
 380   do {
 381     if (parseBasicBlockDefinition(MBBSlots))
 382       return true;
 383     bool IsAfterNewline = false;
 384     // Skip until the next machine basic block.
 385     while (true) {
 386       if ((Token.is(MIToken::MachineBasicBlockLabel) && IsAfterNewline) ||
 387           Token.isErrorOrEOF())
 388         break;
 389       else if (Token.is(MIToken::MachineBasicBlockLabel))
 390         return error("basic block definition should be located at the start of "
 391                      "the line");
 392       else if (consumeIfPresent(MIToken::Newline)) {
 393         IsAfterNewline = true;
 394         continue;
 395       }
 396       IsAfterNewline = false;
 397       if (Token.is(MIToken::lbrace))
 398         ++BraceDepth;
 399       if (Token.is(MIToken::rbrace)) {
 400         if (!BraceDepth)
 401           return error("extraneous closing brace ('}')");
 402         --BraceDepth;
 403       }
 404       lex();
 405     }
 406     // Verify that we closed all of the '{' at the end of a file or a block.
 407     if (!Token.isError() && BraceDepth)
 408       return error("expected '}'"); // FIXME: Report a note that shows '{'.
 409   } while (!Token.isErrorOrEOF());
 410   return Token.isError();
 411 }
 412
 413 bool MIParser::parseBasicBlockLiveins(MachineBasicBlock &MBB) {
 414   assert(Token.is(MIToken::kw_liveins));
 415   lex();
 416   if (expectAndConsume(MIToken::colon))
 417     return true;
 418   if (Token.isNewlineOrEOF()) // Allow an empty list of liveins.
 419     return false;
 420   do {
 421     if (Token.isNot(MIToken::NamedRegister))
 422       return error("expected a named register");
 423     unsigned Reg = 0;
 424     if (parseRegister(Reg))
 425       return true;
 426     MBB.addLiveIn(Reg);
 427     lex();
 428   } while (consumeIfPresent(MIToken::comma));
 429   return false;
 430 }
 431
 432 bool MIParser::parseBasicBlockSuccessors(MachineBasicBlock &MBB) {
 433   assert(Token.is(MIToken::kw_successors));
 434   lex();
 435   if (expectAndConsume(MIToken::colon))
 436     return true;
 437   if (Token.isNewlineOrEOF()) // Allow an empty list of successors.
 438     return false;
 439   do {
 440     if (Token.isNot(MIToken::MachineBasicBlock))
 441       return error("expected a machine basic block reference");
 442     MachineBasicBlock *SuccMBB = nullptr;
 443     if (parseMBBReference(SuccMBB))
 444       return true;
 445     lex();
 446     unsigned Weight = 0;
 447     if (consumeIfPresent(MIToken::lparen)) {
 448       if (Token.isNot(MIToken::IntegerLiteral))
 449         return error("expected an integer literal after '('");
 450       if (getUnsigned(Weight))
 451         return true;
 452       lex();
 453       if (expectAndConsume(MIToken::rparen))
 454         return true;
 455     }
 456     MBB.addSuccessor(SuccMBB, Weight);
 457   } while (consumeIfPresent(MIToken::comma));
 458   return false;
 459 }
 460
 461 bool MIParser::parseBasicBlock(MachineBasicBlock &MBB) {
 462   // Skip the definition.
 463   assert(Token.is(MIToken::MachineBasicBlockLabel));
 464   lex();
 465   if (consumeIfPresent(MIToken::lparen)) {
 466     while (Token.isNot(MIToken::rparen) && !Token.isErrorOrEOF())
 467       lex();
 468     consumeIfPresent(MIToken::rparen);
 469   }
 470   consumeIfPresent(MIToken::colon);
 471
 472   // Parse the liveins and successors.
 473   // N.B: Multiple lists of successors and liveins are allowed and they're
 474   // merged into one.
 475   // Example:
 476   //   liveins: %edi
 477   //   liveins: %esi
 478   //
 479   // is equivalent to
 480   //   liveins: %edi, %esi
 481   while (true) {
 482     if (Token.is(MIToken::kw_successors)) {
 483       if (parseBasicBlockSuccessors(MBB))
 484         return true;
 485     } else if (Token.is(MIToken::kw_liveins)) {
 486       if (parseBasicBlockLiveins(MBB))
 487         return true;
 488     } else if (consumeIfPresent(MIToken::Newline)) {
 489       continue;
 490     } else
 491       break;
 492     if (!Token.isNewlineOrEOF())
 493       return error("expected line break at the end of a list");
 494     lex();
 495   }
 496
 497   // Parse the instructions.
 498   bool IsInBundle = false;
 499   MachineInstr *PrevMI = nullptr;
 500   while (true) {
 501     if (Token.is(MIToken::MachineBasicBlockLabel) || Token.is(MIToken::Eof))
 502       return false;
 503     else if (consumeIfPresent(MIToken::Newline))
 504       continue;
 505     if (consumeIfPresent(MIToken::rbrace)) {
 506       // The first parsing pass should verify that all closing '}' have an
 507       // opening '{'.
 508       assert(IsInBundle);
 509       IsInBundle = false;
 510       continue;
 511     }
 512     MachineInstr *MI = nullptr;
 513     if (parse(MI))
 514       return true;
 515     MBB.insert(MBB.end(), MI);
 516     if (IsInBundle) {
 517       PrevMI->setFlag(MachineInstr::BundledSucc);
 518       MI->setFlag(MachineInstr::BundledPred);
 519     }
 520     PrevMI = MI;
 521     if (Token.is(MIToken::lbrace)) {
 522       if (IsInBundle)
 523         return error("nested instruction bundles are not allowed");
 524       lex();
 525       // This instruction is the start of the bundle.
 526       MI->setFlag(MachineInstr::BundledSucc);
 527       IsInBundle = true;
 528       if (!Token.is(MIToken::Newline))
 529         // The next instruction can be on the same line.
 530         continue;
 531     }
 532     assert(Token.isNewlineOrEOF() && "MI is not fully parsed");
 533     lex();
 534   }
 535   return false;
 536 }
 537
 538 bool MIParser::parseBasicBlocks() {
 539   lex();
 540   // Skip until the first machine basic block.
 541   while (Token.is(MIToken::Newline))
 542     lex();
 543   if (Token.isErrorOrEOF())
 544     return Token.isError();
 545   // The first parsing pass should have verified that this token is a MBB label
 546   // in the 'parseBasicBlockDefinitions' method.
 547   assert(Token.is(MIToken::MachineBasicBlockLabel));
 548   do {
 549     MachineBasicBlock *MBB = nullptr;
 550     if (parseMBBReference(MBB))
 551       return true;
 552     if (parseBasicBlock(*MBB))
 553       return true;
 554     // The method 'parseBasicBlock' should parse the whole block until the next
 555     // block or the end of file.
 556     assert(Token.is(MIToken::MachineBasicBlockLabel) || Token.is(MIToken::Eof));
 557   } while (Token.isNot(MIToken::Eof));
 558   return false;
 559 }
 560
 561 bool MIParser::parse(MachineInstr *&MI) {
 562   // Parse any register operands before '='
 563   MachineOperand MO = MachineOperand::CreateImm(0);
 564   SmallVector<ParsedMachineOperand, 8> Operands;
 565   while (Token.isRegister() || Token.isRegisterFlag()) {
 566     auto Loc = Token.location();
 567     Optional<unsigned> TiedDefIdx;
 568     if (parseRegisterOperand(MO, TiedDefIdx, /*IsDef=*/true))
 569       return true;
 570     Operands.push_back(
 571         ParsedMachineOperand(MO, Loc, Token.location(), TiedDefIdx));
 572     if (Token.isNot(MIToken::comma))
 573       break;
 574     lex();
 575   }
 576   if (!Operands.empty() && expectAndConsume(MIToken::equal))
 577     return true;
 578
 579   unsigned OpCode, Flags = 0;
 580   if (Token.isError() || parseInstruction(OpCode, Flags))
 581     return true;
 582
 583   // Parse the remaining machine operands.
 584   while (!Token.isNewlineOrEOF() && Token.isNot(MIToken::kw_debug_location) &&
 585          Token.isNot(MIToken::coloncolon) && Token.isNot(MIToken::lbrace)) {
 586     auto Loc = Token.location();
 587     Optional<unsigned> TiedDefIdx;
 588     if (parseMachineOperandAndTargetFlags(MO, TiedDefIdx))
 589       return true;
 590     Operands.push_back(
 591         ParsedMachineOperand(MO, Loc, Token.location(), TiedDefIdx));
 592     if (Token.isNewlineOrEOF() || Token.is(MIToken::coloncolon) ||
 593         Token.is(MIToken::lbrace))
 594       break;
 595     if (Token.isNot(MIToken::comma))
 596       return error("expected ',' before the next machine operand");
 597     lex();
 598   }
 599
 600   DebugLoc DebugLocation;
 601   if (Token.is(MIToken::kw_debug_location)) {
 602     lex();
 603     if (Token.isNot(MIToken::exclaim))
 604       return error("expected a metadata node after 'debug-location'");
 605     MDNode *Node = nullptr;
 606     if (parseMDNode(Node))
 607       return true;
 608     DebugLocation = DebugLoc(Node);
 609   }
 610
 611   // Parse the machine memory operands.
 612   SmallVector<MachineMemOperand *, 2> MemOperands;
 613   if (Token.is(MIToken::coloncolon)) {
 614     lex();
 615     while (!Token.isNewlineOrEOF()) {
 616       MachineMemOperand *MemOp = nullptr;
 617       if (parseMachineMemoryOperand(MemOp))
 618         return true;
 619       MemOperands.push_back(MemOp);
 620       if (Token.isNewlineOrEOF())
 621         break;
 622       if (Token.isNot(MIToken::comma))
 623         return error("expected ',' before the next machine memory operand");
 624       lex();
 625     }
 626   }
 627
 628   const auto &MCID = MF.getSubtarget().getInstrInfo()->get(OpCode);
 629   if (!MCID.isVariadic()) {
 630     // FIXME: Move the implicit operand verification to the machine verifier.
 631     if (verifyImplicitOperands(Operands, MCID))
 632       return true;
 633   }
 634
 635   // TODO: Check for extraneous machine operands.
 636   MI = MF.CreateMachineInstr(MCID, DebugLocation, /*NoImplicit=*/true);
 637   MI->setFlags(Flags);
 638   for (const auto &Operand : Operands)
 639     MI->addOperand(MF, Operand.Operand);
 640   if (assignRegisterTies(*MI, Operands))
 641     return true;
 642   if (MemOperands.empty())
 643     return false;
 644   MachineInstr::mmo_iterator MemRefs =
 645       MF.allocateMemRefsArray(MemOperands.size());
 646   std::copy(MemOperands.begin(), MemOperands.end(), MemRefs);
 647   MI->setMemRefs(MemRefs, MemRefs + MemOperands.size());
 648   return false;
 649 }
 650
 651 bool MIParser::parseStandaloneMBB(MachineBasicBlock *&MBB) {
 652   lex();
 653   if (Token.isNot(MIToken::MachineBasicBlock))
 654     return error("expected a machine basic block reference");
 655   if (parseMBBReference(MBB))
 656     return true;
 657   lex();
 658   if (Token.isNot(MIToken::Eof))
 659     return error(
 660         "expected end of string after the machine basic block reference");
 661   return false;
 662 }
 663
 664 bool MIParser::parseStandaloneNamedRegister(unsigned &Reg) {
 665   lex();
 666   if (Token.isNot(MIToken::NamedRegister))
 667     return error("expected a named register");
 668   if (parseRegister(Reg))
 669     return true;
 670   lex();
 671   if (Token.isNot(MIToken::Eof))
 672     return error("expected end of string after the register reference");
 673   return false;
 674 }
 675
 676 bool MIParser::parseStandaloneVirtualRegister(unsigned &Reg) {
 677   lex();
 678   if (Token.isNot(MIToken::VirtualRegister))
 679     return error("expected a virtual register");
 680   if (parseRegister(Reg))
 681     return true;
 682   lex();
 683   if (Token.isNot(MIToken::Eof))
 684     return error("expected end of string after the register reference");
 685   return false;
 686 }
 687
 688 bool MIParser::parseStandaloneStackObject(int &FI) {
 689   lex();
 690   if (Token.isNot(MIToken::StackObject))
 691     return error("expected a stack object");
 692   if (parseStackFrameIndex(FI))
 693     return true;
 694   if (Token.isNot(MIToken::Eof))
 695     return error("expected end of string after the stack object reference");
 696   return false;
 697 }
 698
 699 bool MIParser::parseStandaloneMDNode(MDNode *&Node) {
 700   lex();
 701   if (Token.isNot(MIToken::exclaim))
 702     return error("expected a metadata node");
 703   if (parseMDNode(Node))
 704     return true;
 705   if (Token.isNot(MIToken::Eof))
 706     return error("expected end of string after the metadata node");
 707   return false;
 708 }
 709
 710 static const char *printImplicitRegisterFlag(const MachineOperand &MO) {
 711   assert(MO.isImplicit());
 712   return MO.isDef() ? "implicit-def" : "implicit";
 713 }
 714
 715 static std::string getRegisterName(const TargetRegisterInfo *TRI,
 716                                    unsigned Reg) {
 717   assert(TargetRegisterInfo::isPhysicalRegister(Reg) && "expected phys reg");
 718   return StringRef(TRI->getName(Reg)).lower();
 719 }
 720
 721 bool MIParser::verifyImplicitOperands(ArrayRef<ParsedMachineOperand> Operands,
 722                                       const MCInstrDesc &MCID) {
 723   if (MCID.isCall())
 724     // We can't verify call instructions as they can contain arbitrary implicit
 725     // register and register mask operands.
 726     return false;
 727
 728   // Gather all the expected implicit operands.
 729   SmallVector<MachineOperand, 4> ImplicitOperands;
 730   if (MCID.ImplicitDefs)
 731     for (const uint16_t *ImpDefs = MCID.getImplicitDefs(); *ImpDefs; ++ImpDefs)
 732       ImplicitOperands.push_back(
 733           MachineOperand::CreateReg(*ImpDefs, true, true));
 734   if (MCID.ImplicitUses)
 735     for (const uint16_t *ImpUses = MCID.getImplicitUses(); *ImpUses; ++ImpUses)
 736       ImplicitOperands.push_back(
 737           MachineOperand::CreateReg(*ImpUses, false, true));
 738
 739   const auto *TRI = MF.getSubtarget().getRegisterInfo();
 740   assert(TRI && "Expected target register info");
 741   size_t I = ImplicitOperands.size(), J = Operands.size();
 742   while (I) {
 743     --I;
 744     if (J) {
 745       --J;
 746       const auto &ImplicitOperand = ImplicitOperands[I];
 747       const auto &Operand = Operands[J].Operand;
 748       if (ImplicitOperand.isIdenticalTo(Operand))
 749         continue;
 750       if (Operand.isReg() && Operand.isImplicit()) {
 751         // Check if this implicit register is a subregister of an explicit
 752         // register operand.
 753         bool IsImplicitSubRegister = false;
 754         for (size_t K = 0, E = Operands.size(); K < E; ++K) {
 755           const auto &Op = Operands[K].Operand;
 756           if (Op.isReg() && !Op.isImplicit() &&
 757               TRI->isSubRegister(Op.getReg(), Operand.getReg())) {
 758             IsImplicitSubRegister = true;
 759             break;
 760           }
 761         }
 762         if (IsImplicitSubRegister)
 763           continue;
 764         return error(Operands[J].Begin,
 765                      Twine("expected an implicit register operand '") +
 766                          printImplicitRegisterFlag(ImplicitOperand) + " %" +
 767                          getRegisterName(TRI, ImplicitOperand.getReg()) + "'");
 768       }
 769     }
 770     // TODO: Fix source location when Operands[J].end is right before '=', i.e:
 771     // insead of reporting an error at this location:
 772     //            %eax = MOV32r0
 773     //                 ^
 774     // report the error at the following location:
 775     //            %eax = MOV32r0
 776     //                          ^
 777     return error(J < Operands.size() ? Operands[J].End : Token.location(),
 778                  Twine("missing implicit register operand '") +
 779                      printImplicitRegisterFlag(ImplicitOperands[I]) + " %" +
 780                      getRegisterName(TRI, ImplicitOperands[I].getReg()) + "'");
 781   }
 782   return false;
 783 }
 784
 785 bool MIParser::parseInstruction(unsigned &OpCode, unsigned &Flags) {
 786   if (Token.is(MIToken::kw_frame_setup)) {
 787     Flags |= MachineInstr::FrameSetup;
 788     lex();
 789   }
 790   if (Token.isNot(MIToken::Identifier))
 791     return error("expected a machine instruction");
 792   StringRef InstrName = Token.stringValue();
 793   if (parseInstrName(InstrName, OpCode))
 794     return error(Twine("unknown machine instruction name '") + InstrName + "'");
 795   lex();
 796   return false;
 797 }
 798
 799 bool MIParser::parseRegister(unsigned &Reg) {
 800   switch (Token.kind()) {
 801   case MIToken::underscore:
 802     Reg = 0;
 803     break;
 804   case MIToken::NamedRegister: {
 805     StringRef Name = Token.stringValue();
 806     if (getRegisterByName(Name, Reg))
 807       return error(Twine("unknown register name '") + Name + "'");
 808     break;
 809   }
 810   case MIToken::VirtualRegister: {
 811     unsigned ID;
 812     if (getUnsigned(ID))
 813       return true;
 814     const auto RegInfo = PFS.VirtualRegisterSlots.find(ID);
 815     if (RegInfo == PFS.VirtualRegisterSlots.end())
 816       return error(Twine("use of undefined virtual register '%") + Twine(ID) +
 817                    "'");
 818     Reg = RegInfo->second;
 819     break;
 820   }
 821   // TODO: Parse other register kinds.
 822   default:
 823     llvm_unreachable("The current token should be a register");
 824   }
 825   return false;
 826 }
 827
 828 bool MIParser::parseRegisterFlag(unsigned &Flags) {
 829   const unsigned OldFlags = Flags;
 830   switch (Token.kind()) {
 831   case MIToken::kw_implicit:
 832     Flags |= RegState::Implicit;
 833     break;
 834   case MIToken::kw_implicit_define:
 835     Flags |= RegState::ImplicitDefine;
 836     break;
 837   case MIToken::kw_def:
 838     Flags |= RegState::Define;
 839     break;
 840   case MIToken::kw_dead:
 841     Flags |= RegState::Dead;
 842     break;
 843   case MIToken::kw_killed:
 844     Flags |= RegState::Kill;
 845     break;
 846   case MIToken::kw_undef:
 847     Flags |= RegState::Undef;
 848     break;
 849   case MIToken::kw_internal:
 850     Flags |= RegState::InternalRead;
 851     break;
 852   case MIToken::kw_early_clobber:
 853     Flags |= RegState::EarlyClobber;
 854     break;
 855   case MIToken::kw_debug_use:
 856     Flags |= RegState::Debug;
 857     break;
 858   default:
 859     llvm_unreachable("The current token should be a register flag");
 860   }
 861   if (OldFlags == Flags)
 862     // We know that the same flag is specified more than once when the flags
 863     // weren't modified.
 864     return error("duplicate '" + Token.stringValue() + "' register flag");
 865   lex();
 866   return false;
 867 }
 868
 869 bool MIParser::parseSubRegisterIndex(unsigned &SubReg) {
 870   assert(Token.is(MIToken::colon));
 871   lex();
 872   if (Token.isNot(MIToken::Identifier))
 873     return error("expected a subregister index after ':'");
 874   auto Name = Token.stringValue();
 875   SubReg = getSubRegIndex(Name);
 876   if (!SubReg)
 877     return error(Twine("use of unknown subregister index '") + Name + "'");
 878   lex();
 879   return false;
 880 }
 881
 882 bool MIParser::parseRegisterTiedDefIndex(unsigned &TiedDefIdx) {
 883   if (!consumeIfPresent(MIToken::kw_tied_def))
 884     return error("expected 'tied-def' after '('");
 885   if (Token.isNot(MIToken::IntegerLiteral))
 886     return error("expected an integer literal after 'tied-def'");
 887   if (getUnsigned(TiedDefIdx))
 888     return true;
 889   lex();
 890   if (expectAndConsume(MIToken::rparen))
 891     return true;
 892   return false;
 893 }
 894
 895 bool MIParser::assignRegisterTies(MachineInstr &MI,
 896                                   ArrayRef<ParsedMachineOperand> Operands) {
 897   SmallVector<std::pair<unsigned, unsigned>, 4> TiedRegisterPairs;
 898   for (unsigned I = 0, E = Operands.size(); I != E; ++I) {
 899     if (!Operands[I].TiedDefIdx)
 900       continue;
 901     // The parser ensures that this operand is a register use, so we just have
 902     // to check the tied-def operand.
 903     unsigned DefIdx = Operands[I].TiedDefIdx.getValue();
 904     if (DefIdx >= E)
 905       return error(Operands[I].Begin,
 906                    Twine("use of invalid tied-def operand index '" +
 907                          Twine(DefIdx) + "'; instruction has only ") +
 908                        Twine(E) + " operands");
 909     const auto &DefOperand = Operands[DefIdx].Operand;
 910     if (!DefOperand.isReg() || !DefOperand.isDef())
 911       // FIXME: add note with the def operand.
 912       return error(Operands[I].Begin,
 913                    Twine("use of invalid tied-def operand index '") +
 914                        Twine(DefIdx) + "'; the operand #" + Twine(DefIdx) +
 915                        " isn't a defined register");
 916     // Check that the tied-def operand wasn't tied elsewhere.
 917     for (const auto &TiedPair : TiedRegisterPairs) {
 918       if (TiedPair.first == DefIdx)
 919         return error(Operands[I].Begin,
 920                      Twine("the tied-def operand #") + Twine(DefIdx) +
 921                          " is already tied with another register operand");
 922     }
 923     TiedRegisterPairs.push_back(std::make_pair(DefIdx, I));
 924   }
 925   // FIXME: Verify that for non INLINEASM instructions, the def and use tied
 926   // indices must be less than tied max.
 927   for (const auto &TiedPair : TiedRegisterPairs)
 928     MI.tieOperands(TiedPair.first, TiedPair.second);
 929   return false;
 930 }
 931
 932 bool MIParser::parseRegisterOperand(MachineOperand &Dest,
 933                                     Optional<unsigned> &TiedDefIdx,
 934                                     bool IsDef) {
 935   unsigned Reg;
 936   unsigned Flags = IsDef ? RegState::Define : 0;
 937   while (Token.isRegisterFlag()) {
 938     if (parseRegisterFlag(Flags))
 939       return true;
 940   }
 941   if (!Token.isRegister())
 942     return error("expected a register after register flags");
 943   if (parseRegister(Reg))
 944     return true;
 945   lex();
 946   unsigned SubReg = 0;
 947   if (Token.is(MIToken::colon)) {
 948     if (parseSubRegisterIndex(SubReg))
 949       return true;
 950   }
 951   if ((Flags & RegState::Define) == 0 && consumeIfPresent(MIToken::lparen)) {
 952     unsigned Idx;
 953     if (parseRegisterTiedDefIndex(Idx))
 954       return true;
 955     TiedDefIdx = Idx;
 956   }
 957   Dest = MachineOperand::CreateReg(
 958       Reg, Flags & RegState::Define, Flags & RegState::Implicit,
 959       Flags & RegState::Kill, Flags & RegState::Dead, Flags & RegState::Undef,
 960       Flags & RegState::EarlyClobber, SubReg, Flags & RegState::Debug,
 961       Flags & RegState::InternalRead);
 962   return false;
 963 }
 964
 965 bool MIParser::parseImmediateOperand(MachineOperand &Dest) {
 966   assert(Token.is(MIToken::IntegerLiteral));
 967   const APSInt &Int = Token.integerValue();
 968   if (Int.getMinSignedBits() > 64)
 969     return error("integer literal is too large to be an immediate operand");
 970   Dest = MachineOperand::CreateImm(Int.getExtValue());
 971   lex();
 972   return false;
 973 }
 974
 975 bool MIParser::parseIRConstant(StringRef::iterator Loc, const Constant *&C) {
 976   auto Source = StringRef(Loc, Token.range().end() - Loc).str();
 977   lex();
 978   SMDiagnostic Err;
 979   C = parseConstantValue(Source.c_str(), Err, *MF.getFunction()->getParent());
 980   if (!C)
 981     return error(Loc + Err.getColumnNo(), Err.getMessage());
 982   return false;
 983 }
 984
 985 bool MIParser::parseTypedImmediateOperand(MachineOperand &Dest) {
 986   assert(Token.is(MIToken::IntegerType));
 987   auto Loc = Token.location();
 988   lex();
 989   if (Token.isNot(MIToken::IntegerLiteral))
 990     return error("expected an integer literal");
 991   const Constant *C = nullptr;
 992   if (parseIRConstant(Loc, C))
 993     return true;
 994   Dest = MachineOperand::CreateCImm(cast<ConstantInt>(C));
 995   return false;
 996 }
 997
 998 bool MIParser::parseFPImmediateOperand(MachineOperand &Dest) {
 999   auto Loc = Token.location();
1000   lex();
1001   if (Token.isNot(MIToken::FloatingPointLiteral))
1002     return error("expected a floating point literal");
1003   const Constant *C = nullptr;
1004   if (parseIRConstant(Loc, C))
1005     return true;
1006   Dest = MachineOperand::CreateFPImm(cast<ConstantFP>(C));
1007   return false;
1008 }
1009
1010 bool MIParser::getUnsigned(unsigned &Result) {
1011   assert(Token.hasIntegerValue() && "Expected a token with an integer value");
1012   const uint64_t Limit = uint64_t(std::numeric_limits<unsigned>::max()) + 1;
1013   uint64_t Val64 = Token.integerValue().getLimitedValue(Limit);
1014   if (Val64 == Limit)
1015     return error("expected 32-bit integer (too large)");
1016   Result = Val64;
1017   return false;
1018 }
1019
1020 bool MIParser::parseMBBReference(MachineBasicBlock *&MBB) {
1021   assert(Token.is(MIToken::MachineBasicBlock) ||
1022          Token.is(MIToken::MachineBasicBlockLabel));
1023   unsigned Number;
1024   if (getUnsigned(Number))
1025     return true;
1026   auto MBBInfo = PFS.MBBSlots.find(Number);
1027   if (MBBInfo == PFS.MBBSlots.end())
1028     return error(Twine("use of undefined machine basic block #") +
1029                  Twine(Number));
1030   MBB = MBBInfo->second;
1031   if (!Token.stringValue().empty() && Token.stringValue() != MBB->getName())
1032     return error(Twine("the name of machine basic block #") + Twine(Number) +
1033                  " isn't '" + Token.stringValue() + "'");
1034   return false;
1035 }
1036
1037 bool MIParser::parseMBBOperand(MachineOperand &Dest) {
1038   MachineBasicBlock *MBB;
1039   if (parseMBBReference(MBB))
1040     return true;
1041   Dest = MachineOperand::CreateMBB(MBB);
1042   lex();
1043   return false;
1044 }
1045
1046 bool MIParser::parseStackFrameIndex(int &FI) {
1047   assert(Token.is(MIToken::StackObject));
1048   unsigned ID;
1049   if (getUnsigned(ID))
1050     return true;
1051   auto ObjectInfo = PFS.StackObjectSlots.find(ID);
1052   if (ObjectInfo == PFS.StackObjectSlots.end())
1053     return error(Twine("use of undefined stack object '%stack.") + Twine(ID) +
1054                  "'");
1055   StringRef Name;
1056   if (const auto *Alloca =
1057           MF.getFrameInfo()->getObjectAllocation(ObjectInfo->second))
1058     Name = Alloca->getName();
1059   if (!Token.stringValue().empty() && Token.stringValue() != Name)
1060     return error(Twine("the name of the stack object '%stack.") + Twine(ID) +
1061                  "' isn't '" + Token.stringValue() + "'");
1062   lex();
1063   FI = ObjectInfo->second;
1064   return false;
1065 }
1066
1067 bool MIParser::parseStackObjectOperand(MachineOperand &Dest) {
1068   int FI;
1069   if (parseStackFrameIndex(FI))
1070     return true;
1071   Dest = MachineOperand::CreateFI(FI);
1072   return false;
1073 }
1074
1075 bool MIParser::parseFixedStackFrameIndex(int &FI) {
1076   assert(Token.is(MIToken::FixedStackObject));
1077   unsigned ID;
1078   if (getUnsigned(ID))
1079     return true;
1080   auto ObjectInfo = PFS.FixedStackObjectSlots.find(ID);
1081   if (ObjectInfo == PFS.FixedStackObjectSlots.end())
1082     return error(Twine("use of undefined fixed stack object '%fixed-stack.") +
1083                  Twine(ID) + "'");
1084   lex();
1085   FI = ObjectInfo->second;
1086   return false;
1087 }
1088
1089 bool MIParser::parseFixedStackObjectOperand(MachineOperand &Dest) {
1090   int FI;
1091   if (parseFixedStackFrameIndex(FI))
1092     return true;
1093   Dest = MachineOperand::CreateFI(FI);
1094   return false;
1095 }
1096
1097 bool MIParser::parseGlobalValue(GlobalValue *&GV) {
1098   switch (Token.kind()) {
1099   case MIToken::NamedGlobalValue: {
1100     const Module *M = MF.getFunction()->getParent();
1101     GV = M->getNamedValue(Token.stringValue());
1102     if (!GV)
1103       return error(Twine("use of undefined global value '") + Token.range() +
1104                    "'");
1105     break;
1106   }
1107   case MIToken::GlobalValue: {
1108     unsigned GVIdx;
1109     if (getUnsigned(GVIdx))
1110       return true;
1111     if (GVIdx >= IRSlots.GlobalValues.size())
1112       return error(Twine("use of undefined global value '@") + Twine(GVIdx) +
1113                    "'");
1114     GV = IRSlots.GlobalValues[GVIdx];
1115     break;
1116   }
1117   default:
1118     llvm_unreachable("The current token should be a global value");
1119   }
1120   return false;
1121 }
1122
1123 bool MIParser::parseGlobalAddressOperand(MachineOperand &Dest) {
1124   GlobalValue *GV = nullptr;
1125   if (parseGlobalValue(GV))
1126     return true;
1127   lex();
1128   Dest = MachineOperand::CreateGA(GV, /*Offset=*/0);
1129   if (parseOperandsOffset(Dest))
1130     return true;
1131   return false;
1132 }
1133
1134 bool MIParser::parseConstantPoolIndexOperand(MachineOperand &Dest) {
1135   assert(Token.is(MIToken::ConstantPoolItem));
1136   unsigned ID;
1137   if (getUnsigned(ID))
1138     return true;
1139   auto ConstantInfo = PFS.ConstantPoolSlots.find(ID);
1140   if (ConstantInfo == PFS.ConstantPoolSlots.end())
1141     return error("use of undefined constant '%const." + Twine(ID) + "'");
1142   lex();
1143   Dest = MachineOperand::CreateCPI(ID, /*Offset=*/0);
1144   if (parseOperandsOffset(Dest))
1145     return true;
1146   return false;
1147 }
1148
1149 bool MIParser::parseJumpTableIndexOperand(MachineOperand &Dest) {
1150   assert(Token.is(MIToken::JumpTableIndex));
1151   unsigned ID;
1152   if (getUnsigned(ID))
1153     return true;
1154   auto JumpTableEntryInfo = PFS.JumpTableSlots.find(ID);
1155   if (JumpTableEntryInfo == PFS.JumpTableSlots.end())
1156     return error("use of undefined jump table '%jump-table." + Twine(ID) + "'");
1157   lex();
1158   Dest = MachineOperand::CreateJTI(JumpTableEntryInfo->second);
1159   return false;
1160 }
1161
1162 bool MIParser::parseExternalSymbolOperand(MachineOperand &Dest) {
1163   assert(Token.is(MIToken::ExternalSymbol));
1164   const char *Symbol = MF.createExternalSymbolName(Token.stringValue());
1165   lex();
1166   Dest = MachineOperand::CreateES(Symbol);
1167   if (parseOperandsOffset(Dest))
1168     return true;
1169   return false;
1170 }
1171
1172 bool MIParser::parseMDNode(MDNode *&Node) {
1173   assert(Token.is(MIToken::exclaim));
1174   auto Loc = Token.location();
1175   lex();
1176   if (Token.isNot(MIToken::IntegerLiteral) || Token.integerValue().isSigned())
1177     return error("expected metadata id after '!'");
1178   unsigned ID;
1179   if (getUnsigned(ID))
1180     return true;
1181   auto NodeInfo = IRSlots.MetadataNodes.find(ID);
1182   if (NodeInfo == IRSlots.MetadataNodes.end())
1183     return error(Loc, "use of undefined metadata '!" + Twine(ID) + "'");
1184   lex();
1185   Node = NodeInfo->second.get();
1186   return false;
1187 }
1188
1189 bool MIParser::parseMetadataOperand(MachineOperand &Dest) {
1190   MDNode *Node = nullptr;
1191   if (parseMDNode(Node))
1192     return true;
1193   Dest = MachineOperand::CreateMetadata(Node);
1194   return false;
1195 }
1196
1197 bool MIParser::parseCFIOffset(int &Offset) {
1198   if (Token.isNot(MIToken::IntegerLiteral))
1199     return error("expected a cfi offset");
1200   if (Token.integerValue().getMinSignedBits() > 32)
1201     return error("expected a 32 bit integer (the cfi offset is too large)");
1202   Offset = (int)Token.integerValue().getExtValue();
1203   lex();
1204   return false;
1205 }
1206
1207 bool MIParser::parseCFIRegister(unsigned &Reg) {
1208   if (Token.isNot(MIToken::NamedRegister))
1209     return error("expected a cfi register");
1210   unsigned LLVMReg;
1211   if (parseRegister(LLVMReg))
1212     return true;
1213   const auto *TRI = MF.getSubtarget().getRegisterInfo();
1214   assert(TRI && "Expected target register info");
1215   int DwarfReg = TRI->getDwarfRegNum(LLVMReg, true);
1216   if (DwarfReg < 0)
1217     return error("invalid DWARF register");
1218   Reg = (unsigned)DwarfReg;
1219   lex();
1220   return false;
1221 }
1222
1223 bool MIParser::parseCFIOperand(MachineOperand &Dest) {
1224   auto Kind = Token.kind();
1225   lex();
1226   auto &MMI = MF.getMMI();
1227   int Offset;
1228   unsigned Reg;
1229   unsigned CFIIndex;
1230   switch (Kind) {
1231   case MIToken::kw_cfi_same_value:
1232     if (parseCFIRegister(Reg))
1233       return true;
1234     CFIIndex =
1235         MMI.addFrameInst(MCCFIInstruction::createSameValue(nullptr, Reg));
1236     break;
1237   case MIToken::kw_cfi_offset:
1238     if (parseCFIRegister(Reg) || expectAndConsume(MIToken::comma) ||
1239         parseCFIOffset(Offset))
1240       return true;
1241     CFIIndex =
1242         MMI.addFrameInst(MCCFIInstruction::createOffset(nullptr, Reg, Offset));
1243     break;
1244   case MIToken::kw_cfi_def_cfa_register:
1245     if (parseCFIRegister(Reg))
1246       return true;
1247     CFIIndex =
1248         MMI.addFrameInst(MCCFIInstruction::createDefCfaRegister(nullptr, Reg));
1249     break;
1250   case MIToken::kw_cfi_def_cfa_offset:
1251     if (parseCFIOffset(Offset))
1252       return true;
1253     // NB: MCCFIInstruction::createDefCfaOffset negates the offset.
1254     CFIIndex = MMI.addFrameInst(
1255         MCCFIInstruction::createDefCfaOffset(nullptr, -Offset));
1256     break;
1257   case MIToken::kw_cfi_def_cfa:
1258     if (parseCFIRegister(Reg) || expectAndConsume(MIToken::comma) ||
1259         parseCFIOffset(Offset))
1260       return true;
1261     // NB: MCCFIInstruction::createDefCfa negates the offset.
1262     CFIIndex =
1263         MMI.addFrameInst(MCCFIInstruction::createDefCfa(nullptr, Reg, -Offset));
1264     break;
1265   default:
1266     // TODO: Parse the other CFI operands.
1267     llvm_unreachable("The current token should be a cfi operand");
1268   }
1269   Dest = MachineOperand::CreateCFIIndex(CFIIndex);
1270   return false;
1271 }
1272
1273 bool MIParser::parseIRBlock(BasicBlock *&BB, const Function &F) {
1274   switch (Token.kind()) {
1275   case MIToken::NamedIRBlock: {
1276     BB = dyn_cast_or_null<BasicBlock>(
1277         F.getValueSymbolTable().lookup(Token.stringValue()));
1278     if (!BB)
1279       return error(Twine("use of undefined IR block '") + Token.range() + "'");
1280     break;
1281   }
1282   case MIToken::IRBlock: {
1283     unsigned SlotNumber = 0;
1284     if (getUnsigned(SlotNumber))
1285       return true;
1286     BB = const_cast<BasicBlock *>(getIRBlock(SlotNumber, F));
1287     if (!BB)
1288       return error(Twine("use of undefined IR block '%ir-block.") +
1289                    Twine(SlotNumber) + "'");
1290     break;
1291   }
1292   default:
1293     llvm_unreachable("The current token should be an IR block reference");
1294   }
1295   return false;
1296 }
1297
1298 bool MIParser::parseBlockAddressOperand(MachineOperand &Dest) {
1299   assert(Token.is(MIToken::kw_blockaddress));
1300   lex();
1301   if (expectAndConsume(MIToken::lparen))
1302     return true;
1303   if (Token.isNot(MIToken::GlobalValue) &&
1304       Token.isNot(MIToken::NamedGlobalValue))
1305     return error("expected a global value");
1306   GlobalValue *GV = nullptr;
1307   if (parseGlobalValue(GV))
1308     return true;
1309   auto *F = dyn_cast<Function>(GV);
1310   if (!F)
1311     return error("expected an IR function reference");
1312   lex();
1313   if (expectAndConsume(MIToken::comma))
1314     return true;
1315   BasicBlock *BB = nullptr;
1316   if (Token.isNot(MIToken::IRBlock) && Token.isNot(MIToken::NamedIRBlock))
1317     return error("expected an IR block reference");
1318   if (parseIRBlock(BB, *F))
1319     return true;
1320   lex();
1321   if (expectAndConsume(MIToken::rparen))
1322     return true;
1323   Dest = MachineOperand::CreateBA(BlockAddress::get(F, BB), /*Offset=*/0);
1324   if (parseOperandsOffset(Dest))
1325     return true;
1326   return false;
1327 }
1328
1329 bool MIParser::parseTargetIndexOperand(MachineOperand &Dest) {
1330   assert(Token.is(MIToken::kw_target_index));
1331   lex();
1332   if (expectAndConsume(MIToken::lparen))
1333     return true;
1334   if (Token.isNot(MIToken::Identifier))
1335     return error("expected the name of the target index");
1336   int Index = 0;
1337   if (getTargetIndex(Token.stringValue(), Index))
1338     return error("use of undefined target index '" + Token.stringValue() + "'");
1339   lex();
1340   if (expectAndConsume(MIToken::rparen))
1341     return true;
1342   Dest = MachineOperand::CreateTargetIndex(unsigned(Index), /*Offset=*/0);
1343   if (parseOperandsOffset(Dest))
1344     return true;
1345   return false;
1346 }
1347
1348 bool MIParser::parseLiveoutRegisterMaskOperand(MachineOperand &Dest) {
1349   assert(Token.is(MIToken::kw_liveout));
1350   const auto *TRI = MF.getSubtarget().getRegisterInfo();
1351   assert(TRI && "Expected target register info");
1352   uint32_t *Mask = MF.allocateRegisterMask(TRI->getNumRegs());
1353   lex();
1354   if (expectAndConsume(MIToken::lparen))
1355     return true;
1356   while (true) {
1357     if (Token.isNot(MIToken::NamedRegister))
1358       return error("expected a named register");
1359     unsigned Reg = 0;
1360     if (parseRegister(Reg))
1361       return true;
1362     lex();
1363     Mask[Reg / 32] |= 1U << (Reg % 32);
1364     // TODO: Report an error if the same register is used more than once.
1365     if (Token.isNot(MIToken::comma))
1366       break;
1367     lex();
1368   }
1369   if (expectAndConsume(MIToken::rparen))
1370     return true;
1371   Dest = MachineOperand::CreateRegLiveOut(Mask);
1372   return false;
1373 }
1374
1375 bool MIParser::parseMachineOperand(MachineOperand &Dest,
1376                                    Optional<unsigned> &TiedDefIdx) {
1377   switch (Token.kind()) {
1378   case MIToken::kw_implicit:
1379   case MIToken::kw_implicit_define:
1380   case MIToken::kw_def:
1381   case MIToken::kw_dead:
1382   case MIToken::kw_killed:
1383   case MIToken::kw_undef:
1384   case MIToken::kw_internal:
1385   case MIToken::kw_early_clobber:
1386   case MIToken::kw_debug_use:
1387   case MIToken::underscore:
1388   case MIToken::NamedRegister:
1389   case MIToken::VirtualRegister:
1390     return parseRegisterOperand(Dest, TiedDefIdx);
1391   case MIToken::IntegerLiteral:
1392     return parseImmediateOperand(Dest);
1393   case MIToken::IntegerType:
1394     return parseTypedImmediateOperand(Dest);
1395   case MIToken::kw_half:
1396   case MIToken::kw_float:
1397   case MIToken::kw_double:
1398   case MIToken::kw_x86_fp80:
1399   case MIToken::kw_fp128:
1400   case MIToken::kw_ppc_fp128:
1401     return parseFPImmediateOperand(Dest);
1402   case MIToken::MachineBasicBlock:
1403     return parseMBBOperand(Dest);
1404   case MIToken::StackObject:
1405     return parseStackObjectOperand(Dest);
1406   case MIToken::FixedStackObject:
1407     return parseFixedStackObjectOperand(Dest);
1408   case MIToken::GlobalValue:
1409   case MIToken::NamedGlobalValue:
1410     return parseGlobalAddressOperand(Dest);
1411   case MIToken::ConstantPoolItem:
1412     return parseConstantPoolIndexOperand(Dest);
1413   case MIToken::JumpTableIndex:
1414     return parseJumpTableIndexOperand(Dest);
1415   case MIToken::ExternalSymbol:
1416     return parseExternalSymbolOperand(Dest);
1417   case MIToken::exclaim:
1418     return parseMetadataOperand(Dest);
1419   case MIToken::kw_cfi_same_value:
1420   case MIToken::kw_cfi_offset:
1421   case MIToken::kw_cfi_def_cfa_register:
1422   case MIToken::kw_cfi_def_cfa_offset:
1423   case MIToken::kw_cfi_def_cfa:
1424     return parseCFIOperand(Dest);
1425   case MIToken::kw_blockaddress:
1426     return parseBlockAddressOperand(Dest);
1427   case MIToken::kw_target_index:
1428     return parseTargetIndexOperand(Dest);
1429   case MIToken::kw_liveout:
1430     return parseLiveoutRegisterMaskOperand(Dest);
1431   case MIToken::Error:
1432     return true;
1433   case MIToken::Identifier:
1434     if (const auto *RegMask = getRegMask(Token.stringValue())) {
1435       Dest = MachineOperand::CreateRegMask(RegMask);
1436       lex();
1437       break;
1438     }
1439   // fallthrough
1440   default:
1441     // TODO: parse the other machine operands.
1442     return error("expected a machine operand");
1443   }
1444   return false;
1445 }
1446
1447 bool MIParser::parseMachineOperandAndTargetFlags(
1448     MachineOperand &Dest, Optional<unsigned> &TiedDefIdx) {
1449   unsigned TF = 0;
1450   bool HasTargetFlags = false;
1451   if (Token.is(MIToken::kw_target_flags)) {
1452     HasTargetFlags = true;
1453     lex();
1454     if (expectAndConsume(MIToken::lparen))
1455       return true;
1456     if (Token.isNot(MIToken::Identifier))
1457       return error("expected the name of the target flag");
1458     if (getDirectTargetFlag(Token.stringValue(), TF)) {
1459       if (getBitmaskTargetFlag(Token.stringValue(), TF))
1460         return error("use of undefined target flag '" + Token.stringValue() +
1461                      "'");
1462     }
1463     lex();
1464     while (Token.is(MIToken::comma)) {
1465       lex();
1466       if (Token.isNot(MIToken::Identifier))
1467         return error("expected the name of the target flag");
1468       unsigned BitFlag = 0;
1469       if (getBitmaskTargetFlag(Token.stringValue(), BitFlag))
1470         return error("use of undefined target flag '" + Token.stringValue() +
1471                      "'");
1472       // TODO: Report an error when using a duplicate bit target flag.
1473       TF |= BitFlag;
1474       lex();
1475     }
1476     if (expectAndConsume(MIToken::rparen))
1477       return true;
1478   }
1479   auto Loc = Token.location();
1480   if (parseMachineOperand(Dest, TiedDefIdx))
1481     return true;
1482   if (!HasTargetFlags)
1483     return false;
1484   if (Dest.isReg())
1485     return error(Loc, "register operands can't have target flags");
1486   Dest.setTargetFlags(TF);
1487   return false;
1488 }
1489
1490 bool MIParser::parseOffset(int64_t &Offset) {
1491   if (Token.isNot(MIToken::plus) && Token.isNot(MIToken::minus))
1492     return false;
1493   StringRef Sign = Token.range();
1494   bool IsNegative = Token.is(MIToken::minus);
1495   lex();
1496   if (Token.isNot(MIToken::IntegerLiteral))
1497     return error("expected an integer literal after '" + Sign + "'");
1498   if (Token.integerValue().getMinSignedBits() > 64)
1499     return error("expected 64-bit integer (too large)");
1500   Offset = Token.integerValue().getExtValue();
1501   if (IsNegative)
1502     Offset = -Offset;
1503   lex();
1504   return false;
1505 }
1506
1507 bool MIParser::parseAlignment(unsigned &Alignment) {
1508   assert(Token.is(MIToken::kw_align));
1509   lex();
1510   if (Token.isNot(MIToken::IntegerLiteral) || Token.integerValue().isSigned())
1511     return error("expected an integer literal after 'align'");
1512   if (getUnsigned(Alignment))
1513     return true;
1514   lex();
1515   return false;
1516 }
1517
1518 bool MIParser::parseOperandsOffset(MachineOperand &Op) {
1519   int64_t Offset = 0;
1520   if (parseOffset(Offset))
1521     return true;
1522   Op.setOffset(Offset);
1523   return false;
1524 }
1525
1526 bool MIParser::parseIRValue(Value *&V) {
1527   switch (Token.kind()) {
1528   case MIToken::NamedIRValue: {
1529     V = MF.getFunction()->getValueSymbolTable().lookup(Token.stringValue());
1530     if (!V)
1531       V = MF.getFunction()->getParent()->getValueSymbolTable().lookup(
1532           Token.stringValue());
1533     if (!V)
1534       return error(Twine("use of undefined IR value '") + Token.range() + "'");
1535     break;
1536   }
1537   // TODO: Parse unnamed IR value references.
1538   default:
1539     llvm_unreachable("The current token should be an IR block reference");
1540   }
1541   return false;
1542 }
1543
1544 bool MIParser::getUint64(uint64_t &Result) {
1545   assert(Token.hasIntegerValue());
1546   if (Token.integerValue().getActiveBits() > 64)
1547     return error("expected 64-bit integer (too large)");
1548   Result = Token.integerValue().getZExtValue();
1549   return false;
1550 }
1551
1552 bool MIParser::parseMemoryOperandFlag(unsigned &Flags) {
1553   const unsigned OldFlags = Flags;
1554   switch (Token.kind()) {
1555   case MIToken::kw_volatile:
1556     Flags |= MachineMemOperand::MOVolatile;
1557     break;
1558   case MIToken::kw_non_temporal:
1559     Flags |= MachineMemOperand::MONonTemporal;
1560     break;
1561   case MIToken::kw_invariant:
1562     Flags |= MachineMemOperand::MOInvariant;
1563     break;
1564   // TODO: parse the target specific memory operand flags.
1565   default:
1566     llvm_unreachable("The current token should be a memory operand flag");
1567   }
1568   if (OldFlags == Flags)
1569     // We know that the same flag is specified more than once when the flags
1570     // weren't modified.
1571     return error("duplicate '" + Token.stringValue() + "' memory operand flag");
1572   lex();
1573   return false;
1574 }
1575
1576 bool MIParser::parseMemoryPseudoSourceValue(const PseudoSourceValue *&PSV) {
1577   switch (Token.kind()) {
1578   case MIToken::kw_stack:
1579     PSV = MF.getPSVManager().getStack();
1580     break;
1581   case MIToken::kw_got:
1582     PSV = MF.getPSVManager().getGOT();
1583     break;
1584   case MIToken::kw_jump_table:
1585     PSV = MF.getPSVManager().getJumpTable();
1586     break;
1587   case MIToken::kw_constant_pool:
1588     PSV = MF.getPSVManager().getConstantPool();
1589     break;
1590   case MIToken::FixedStackObject: {
1591     int FI;
1592     if (parseFixedStackFrameIndex(FI))
1593       return true;
1594     PSV = MF.getPSVManager().getFixedStack(FI);
1595     // The token was already consumed, so use return here instead of break.
1596     return false;
1597   }
1598   case MIToken::GlobalValue:
1599   case MIToken::NamedGlobalValue: {
1600     GlobalValue *GV = nullptr;
1601     if (parseGlobalValue(GV))
1602       return true;
1603     PSV = MF.getPSVManager().getGlobalValueCallEntry(GV);
1604     break;
1605   }
1606   case MIToken::ExternalSymbol:
1607     PSV = MF.getPSVManager().getExternalSymbolCallEntry(
1608         MF.createExternalSymbolName(Token.stringValue()));
1609     break;
1610   default:
1611     llvm_unreachable("The current token should be pseudo source value");
1612   }
1613   lex();
1614   return false;
1615 }
1616
1617 bool MIParser::parseMachinePointerInfo(MachinePointerInfo &Dest) {
1618   if (Token.is(MIToken::kw_constant_pool) || Token.is(MIToken::kw_stack) ||
1619       Token.is(MIToken::kw_got) || Token.is(MIToken::kw_jump_table) ||
1620       Token.is(MIToken::FixedStackObject) || Token.is(MIToken::GlobalValue) ||
1621       Token.is(MIToken::NamedGlobalValue) ||
1622       Token.is(MIToken::ExternalSymbol)) {
1623     const PseudoSourceValue *PSV = nullptr;
1624     if (parseMemoryPseudoSourceValue(PSV))
1625       return true;
1626     int64_t Offset = 0;
1627     if (parseOffset(Offset))
1628       return true;
1629     Dest = MachinePointerInfo(PSV, Offset);
1630     return false;
1631   }
1632   if (Token.isNot(MIToken::NamedIRValue))
1633     return error("expected an IR value reference");
1634   Value *V = nullptr;
1635   if (parseIRValue(V))
1636     return true;
1637   if (!V->getType()->isPointerTy())
1638     return error("expected a pointer IR value");
1639   lex();
1640   int64_t Offset = 0;
1641   if (parseOffset(Offset))
1642     return true;
1643   Dest = MachinePointerInfo(V, Offset);
1644   return false;
1645 }
1646
1647 bool MIParser::parseMachineMemoryOperand(MachineMemOperand *&Dest) {
1648   if (expectAndConsume(MIToken::lparen))
1649     return true;
1650   unsigned Flags = 0;
1651   while (Token.isMemoryOperandFlag()) {
1652     if (parseMemoryOperandFlag(Flags))
1653       return true;
1654   }
1655   if (Token.isNot(MIToken::Identifier) ||
1656       (Token.stringValue() != "load" && Token.stringValue() != "store"))
1657     return error("expected 'load' or 'store' memory operation");
1658   if (Token.stringValue() == "load")
1659     Flags |= MachineMemOperand::MOLoad;
1660   else
1661     Flags |= MachineMemOperand::MOStore;
1662   lex();
1663
1664   if (Token.isNot(MIToken::IntegerLiteral))
1665     return error("expected the size integer literal after memory operation");
1666   uint64_t Size;
1667   if (getUint64(Size))
1668     return true;
1669   lex();
1670
1671   const char *Word = Flags & MachineMemOperand::MOLoad ? "from" : "into";
1672   if (Token.isNot(MIToken::Identifier) || Token.stringValue() != Word)
1673     return error(Twine("expected '") + Word + "'");
1674   lex();
1675
1676   MachinePointerInfo Ptr = MachinePointerInfo();
1677   if (parseMachinePointerInfo(Ptr))
1678     return true;
1679   unsigned BaseAlignment = Size;
1680   AAMDNodes AAInfo;
1681   MDNode *Range = nullptr;
1682   while (consumeIfPresent(MIToken::comma)) {
1683     switch (Token.kind()) {
1684     case MIToken::kw_align:
1685       if (parseAlignment(BaseAlignment))
1686         return true;
1687       break;
1688     case MIToken::md_tbaa:
1689       lex();
1690       if (parseMDNode(AAInfo.TBAA))
1691         return true;
1692       break;
1693     case MIToken::md_alias_scope:
1694       lex();
1695       if (parseMDNode(AAInfo.Scope))
1696         return true;
1697       break;
1698     case MIToken::md_noalias:
1699       lex();
1700       if (parseMDNode(AAInfo.NoAlias))
1701         return true;
1702       break;
1703     case MIToken::md_range:
1704       lex();
1705       if (parseMDNode(Range))
1706         return true;
1707       break;
1708     // TODO: Report an error on duplicate metadata nodes.
1709     default:
1710       return error("expected 'align' or '!tbaa' or '!alias.scope' or "
1711                    "'!noalias' or '!range'");
1712     }
1713   }
1714   if (expectAndConsume(MIToken::rparen))
1715     return true;
1716   Dest =
1717       MF.getMachineMemOperand(Ptr, Flags, Size, BaseAlignment, AAInfo, Range);
1718   return false;
1719 }
1720
1721 void MIParser::initNames2InstrOpCodes() {
1722   if (!Names2InstrOpCodes.empty())
1723     return;
1724   const auto *TII = MF.getSubtarget().getInstrInfo();
1725   assert(TII && "Expected target instruction info");
1726   for (unsigned I = 0, E = TII->getNumOpcodes(); I < E; ++I)
1727     Names2InstrOpCodes.insert(std::make_pair(StringRef(TII->getName(I)), I));
1728 }
1729
1730 bool MIParser::parseInstrName(StringRef InstrName, unsigned &OpCode) {
1731   initNames2InstrOpCodes();
1732   auto InstrInfo = Names2InstrOpCodes.find(InstrName);
1733   if (InstrInfo == Names2InstrOpCodes.end())
1734     return true;
1735   OpCode = InstrInfo->getValue();
1736   return false;
1737 }
1738
1739 void MIParser::initNames2Regs() {
1740   if (!Names2Regs.empty())
1741     return;
1742   // The '%noreg' register is the register 0.
1743   Names2Regs.insert(std::make_pair("noreg", 0));
1744   const auto *TRI = MF.getSubtarget().getRegisterInfo();
1745   assert(TRI && "Expected target register info");
1746   for (unsigned I = 0, E = TRI->getNumRegs(); I < E; ++I) {
1747     bool WasInserted =
1748         Names2Regs.insert(std::make_pair(StringRef(TRI->getName(I)).lower(), I))
1749             .second;
1750     (void)WasInserted;
1751     assert(WasInserted && "Expected registers to be unique case-insensitively");
1752   }
1753 }
1754
1755 bool MIParser::getRegisterByName(StringRef RegName, unsigned &Reg) {
1756   initNames2Regs();
1757   auto RegInfo = Names2Regs.find(RegName);
1758   if (RegInfo == Names2Regs.end())
1759     return true;
1760   Reg = RegInfo->getValue();
1761   return false;
1762 }
1763
1764 void MIParser::initNames2RegMasks() {
1765   if (!Names2RegMasks.empty())
1766     return;
1767   const auto *TRI = MF.getSubtarget().getRegisterInfo();
1768   assert(TRI && "Expected target register info");
1769   ArrayRef<const uint32_t *> RegMasks = TRI->getRegMasks();
1770   ArrayRef<const char *> RegMaskNames = TRI->getRegMaskNames();
1771   assert(RegMasks.size() == RegMaskNames.size());
1772   for (size_t I = 0, E = RegMasks.size(); I < E; ++I)
1773     Names2RegMasks.insert(
1774         std::make_pair(StringRef(RegMaskNames[I]).lower(), RegMasks[I]));
1775 }
1776
1777 const uint32_t *MIParser::getRegMask(StringRef Identifier) {
1778   initNames2RegMasks();
1779   auto RegMaskInfo = Names2RegMasks.find(Identifier);
1780   if (RegMaskInfo == Names2RegMasks.end())
1781     return nullptr;
1782   return RegMaskInfo->getValue();
1783 }
1784
1785 void MIParser::initNames2SubRegIndices() {
1786   if (!Names2SubRegIndices.empty())
1787     return;
1788   const TargetRegisterInfo *TRI = MF.getSubtarget().getRegisterInfo();
1789   for (unsigned I = 1, E = TRI->getNumSubRegIndices(); I < E; ++I)
1790     Names2SubRegIndices.insert(
1791         std::make_pair(StringRef(TRI->getSubRegIndexName(I)).lower(), I));
1792 }
1793
1794 unsigned MIParser::getSubRegIndex(StringRef Name) {
1795   initNames2SubRegIndices();
1796   auto SubRegInfo = Names2SubRegIndices.find(Name);
1797   if (SubRegInfo == Names2SubRegIndices.end())
1798     return 0;
1799   return SubRegInfo->getValue();
1800 }
1801
1802 static void initSlots2BasicBlocks(
1803     const Function &F,
1804     DenseMap<unsigned, const BasicBlock *> &Slots2BasicBlocks) {
1805   ModuleSlotTracker MST(F.getParent(), /*ShouldInitializeAllMetadata=*/false);
1806   MST.incorporateFunction(F);
1807   for (auto &BB : F) {
1808     if (BB.hasName())
1809       continue;
1810     int Slot = MST.getLocalSlot(&BB);
1811     if (Slot == -1)
1812       continue;
1813     Slots2BasicBlocks.insert(std::make_pair(unsigned(Slot), &BB));
1814   }
1815 }
1816
1817 static const BasicBlock *getIRBlockFromSlot(
1818     unsigned Slot,
1819     const DenseMap<unsigned, const BasicBlock *> &Slots2BasicBlocks) {
1820   auto BlockInfo = Slots2BasicBlocks.find(Slot);
1821   if (BlockInfo == Slots2BasicBlocks.end())
1822     return nullptr;
1823   return BlockInfo->second;
1824 }
1825
1826 const BasicBlock *MIParser::getIRBlock(unsigned Slot) {
1827   if (Slots2BasicBlocks.empty())
1828     initSlots2BasicBlocks(*MF.getFunction(), Slots2BasicBlocks);
1829   return getIRBlockFromSlot(Slot, Slots2BasicBlocks);
1830 }
1831
1832 const BasicBlock *MIParser::getIRBlock(unsigned Slot, const Function &F) {
1833   if (&F == MF.getFunction())
1834     return getIRBlock(Slot);
1835   DenseMap<unsigned, const BasicBlock *> CustomSlots2BasicBlocks;
1836   initSlots2BasicBlocks(F, CustomSlots2BasicBlocks);
1837   return getIRBlockFromSlot(Slot, CustomSlots2BasicBlocks);
1838 }
1839
1840 void MIParser::initNames2TargetIndices() {
1841   if (!Names2TargetIndices.empty())
1842     return;
1843   const auto *TII = MF.getSubtarget().getInstrInfo();
1844   assert(TII && "Expected target instruction info");
1845   auto Indices = TII->getSerializableTargetIndices();
1846   for (const auto &I : Indices)
1847     Names2TargetIndices.insert(std::make_pair(StringRef(I.second), I.first));
1848 }
1849
1850 bool MIParser::getTargetIndex(StringRef Name, int &Index) {
1851   initNames2TargetIndices();
1852   auto IndexInfo = Names2TargetIndices.find(Name);
1853   if (IndexInfo == Names2TargetIndices.end())
1854     return true;
1855   Index = IndexInfo->second;
1856   return false;
1857 }
1858
1859 void MIParser::initNames2DirectTargetFlags() {
1860   if (!Names2DirectTargetFlags.empty())
1861     return;
1862   const auto *TII = MF.getSubtarget().getInstrInfo();
1863   assert(TII && "Expected target instruction info");
1864   auto Flags = TII->getSerializableDirectMachineOperandTargetFlags();
1865   for (const auto &I : Flags)
1866     Names2DirectTargetFlags.insert(
1867         std::make_pair(StringRef(I.second), I.first));
1868 }
1869
1870 bool MIParser::getDirectTargetFlag(StringRef Name, unsigned &Flag) {
1871   initNames2DirectTargetFlags();
1872   auto FlagInfo = Names2DirectTargetFlags.find(Name);
1873   if (FlagInfo == Names2DirectTargetFlags.end())
1874     return true;
1875   Flag = FlagInfo->second;
1876   return false;
1877 }
1878
1879 void MIParser::initNames2BitmaskTargetFlags() {
1880   if (!Names2BitmaskTargetFlags.empty())
1881     return;
1882   const auto *TII = MF.getSubtarget().getInstrInfo();
1883   assert(TII && "Expected target instruction info");
1884   auto Flags = TII->getSerializableBitmaskMachineOperandTargetFlags();
1885   for (const auto &I : Flags)
1886     Names2BitmaskTargetFlags.insert(
1887         std::make_pair(StringRef(I.second), I.first));
1888 }
1889
1890 bool MIParser::getBitmaskTargetFlag(StringRef Name, unsigned &Flag) {
1891   initNames2BitmaskTargetFlags();
1892   auto FlagInfo = Names2BitmaskTargetFlags.find(Name);
1893   if (FlagInfo == Names2BitmaskTargetFlags.end())
1894     return true;
1895   Flag = FlagInfo->second;
1896   return false;
1897 }
1898
1899 bool llvm::parseMachineBasicBlockDefinitions(MachineFunction &MF, StringRef Src,
1900                                              PerFunctionMIParsingState &PFS,
1901                                              const SlotMapping &IRSlots,
1902                                              SMDiagnostic &Error) {
1903   SourceMgr SM;
1904   SM.AddNewSourceBuffer(
1905       MemoryBuffer::getMemBuffer(Src, "", /*RequiresNullTerminator=*/false),
1906       SMLoc());
1907   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1908       .parseBasicBlockDefinitions(PFS.MBBSlots);
1909 }
1910
1911 bool llvm::parseMachineInstructions(MachineFunction &MF, StringRef Src,
1912                                     const PerFunctionMIParsingState &PFS,
1913                                     const SlotMapping &IRSlots,
1914                                     SMDiagnostic &Error) {
1915   SourceMgr SM;
1916   SM.AddNewSourceBuffer(
1917       MemoryBuffer::getMemBuffer(Src, "", /*RequiresNullTerminator=*/false),
1918       SMLoc());
1919   return MIParser(SM, MF, Error, Src, PFS, IRSlots).parseBasicBlocks();
1920 }
1921
1922 bool llvm::parseMBBReference(MachineBasicBlock *&MBB, SourceMgr &SM,
1923                              MachineFunction &MF, StringRef Src,
1924                              const PerFunctionMIParsingState &PFS,
1925                              const SlotMapping &IRSlots, SMDiagnostic &Error) {
1926   return MIParser(SM, MF, Error, Src, PFS, IRSlots).parseStandaloneMBB(MBB);
1927 }
1928
1929 bool llvm::parseNamedRegisterReference(unsigned &Reg, SourceMgr &SM,
1930                                        MachineFunction &MF, StringRef Src,
1931                                        const PerFunctionMIParsingState &PFS,
1932                                        const SlotMapping &IRSlots,
1933                                        SMDiagnostic &Error) {
1934   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1935       .parseStandaloneNamedRegister(Reg);
1936 }
1937
1938 bool llvm::parseVirtualRegisterReference(unsigned &Reg, SourceMgr &SM,
1939                                          MachineFunction &MF, StringRef Src,
1940                                          const PerFunctionMIParsingState &PFS,
1941                                          const SlotMapping &IRSlots,
1942                                          SMDiagnostic &Error) {
1943   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1944       .parseStandaloneVirtualRegister(Reg);
1945 }
1946
1947 bool llvm::parseStackObjectReference(int &FI, SourceMgr &SM,
1948                                      MachineFunction &MF, StringRef Src,
1949                                      const PerFunctionMIParsingState &PFS,
1950                                      const SlotMapping &IRSlots,
1951                                      SMDiagnostic &Error) {
1952   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1953       .parseStandaloneStackObject(FI);
1954 }
1955
1956 bool llvm::parseMDNode(MDNode *&Node, SourceMgr &SM, MachineFunction &MF,
1957                        StringRef Src, const PerFunctionMIParsingState &PFS,
1958                        const SlotMapping &IRSlots, SMDiagnostic &Error) {
1959   return MIParser(SM, MF, Error, Src, PFS, IRSlots).parseStandaloneMDNode(Node);
1960 }