MIR Serialization: Serialize the 'volatile' machine memory operand flag.
[oota-llvm.git] / lib / CodeGen / MIRParser / MIParser.cpp
1 //===- MIParser.cpp - Machine instructions parser implementation ----------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file implements the parsing of machine instructions.
11 //
12 //===----------------------------------------------------------------------===//
13
14 #include "MIParser.h"
15 #include "MILexer.h"
16 #include "llvm/ADT/StringMap.h"
17 #include "llvm/AsmParser/Parser.h"
18 #include "llvm/AsmParser/SlotMapping.h"
19 #include "llvm/CodeGen/MachineBasicBlock.h"
20 #include "llvm/CodeGen/MachineFunction.h"
21 #include "llvm/CodeGen/MachineFrameInfo.h"
22 #include "llvm/CodeGen/MachineInstr.h"
23 #include "llvm/CodeGen/MachineInstrBuilder.h"
24 #include "llvm/CodeGen/MachineMemOperand.h"
25 #include "llvm/CodeGen/MachineModuleInfo.h"
26 #include "llvm/IR/Instructions.h"
27 #include "llvm/IR/Constants.h"
28 #include "llvm/IR/Module.h"
29 #include "llvm/IR/ModuleSlotTracker.h"
30 #include "llvm/IR/ValueSymbolTable.h"
31 #include "llvm/Support/raw_ostream.h"
32 #include "llvm/Support/SourceMgr.h"
33 #include "llvm/Target/TargetSubtargetInfo.h"
34 #include "llvm/Target/TargetInstrInfo.h"
35
36 using namespace llvm;
37
38 namespace {
39
40 struct StringValueUtility {
41   StringRef String;
42   std::string UnescapedString;
43
44   StringValueUtility(const MIToken &Token) {
45     if (Token.isStringValueQuoted()) {
46       Token.unescapeQuotedStringValue(UnescapedString);
47       String = UnescapedString;
48       return;
49     }
50     String = Token.stringValue();
51   }
52
53   operator StringRef() const { return String; }
54 };
55
56 /// A wrapper struct around the 'MachineOperand' struct that includes a source
57 /// range.
58 struct MachineOperandWithLocation {
59   MachineOperand Operand;
60   StringRef::iterator Begin;
61   StringRef::iterator End;
62
63   MachineOperandWithLocation(const MachineOperand &Operand,
64                              StringRef::iterator Begin, StringRef::iterator End)
65       : Operand(Operand), Begin(Begin), End(End) {}
66 };
67
68 class MIParser {
69   SourceMgr &SM;
70   MachineFunction &MF;
71   SMDiagnostic &Error;
72   StringRef Source, CurrentSource;
73   MIToken Token;
74   const PerFunctionMIParsingState &PFS;
75   /// Maps from indices to unnamed global values and metadata nodes.
76   const SlotMapping &IRSlots;
77   /// Maps from instruction names to op codes.
78   StringMap<unsigned> Names2InstrOpCodes;
79   /// Maps from register names to registers.
80   StringMap<unsigned> Names2Regs;
81   /// Maps from register mask names to register masks.
82   StringMap<const uint32_t *> Names2RegMasks;
83   /// Maps from subregister names to subregister indices.
84   StringMap<unsigned> Names2SubRegIndices;
85   /// Maps from slot numbers to function's unnamed basic blocks.
86   DenseMap<unsigned, const BasicBlock *> Slots2BasicBlocks;
87   /// Maps from target index names to target indices.
88   StringMap<int> Names2TargetIndices;
89
90 public:
91   MIParser(SourceMgr &SM, MachineFunction &MF, SMDiagnostic &Error,
92            StringRef Source, const PerFunctionMIParsingState &PFS,
93            const SlotMapping &IRSlots);
94
95   void lex();
96
97   /// Report an error at the current location with the given message.
98   ///
99   /// This function always return true.
100   bool error(const Twine &Msg);
101
102   /// Report an error at the given location with the given message.
103   ///
104   /// This function always return true.
105   bool error(StringRef::iterator Loc, const Twine &Msg);
106
107   bool parse(MachineInstr *&MI);
108   bool parseStandaloneMBB(MachineBasicBlock *&MBB);
109   bool parseStandaloneNamedRegister(unsigned &Reg);
110   bool parseStandaloneVirtualRegister(unsigned &Reg);
111   bool parseStandaloneIRBlockReference(const BasicBlock *&BB);
112
113   bool parseRegister(unsigned &Reg);
114   bool parseRegisterFlag(unsigned &Flags);
115   bool parseSubRegisterIndex(unsigned &SubReg);
116   bool parseRegisterOperand(MachineOperand &Dest, bool IsDef = false);
117   bool parseImmediateOperand(MachineOperand &Dest);
118   bool parseFPImmediateOperand(MachineOperand &Dest);
119   bool parseMBBReference(MachineBasicBlock *&MBB);
120   bool parseMBBOperand(MachineOperand &Dest);
121   bool parseStackObjectOperand(MachineOperand &Dest);
122   bool parseFixedStackObjectOperand(MachineOperand &Dest);
123   bool parseGlobalValue(GlobalValue *&GV);
124   bool parseGlobalAddressOperand(MachineOperand &Dest);
125   bool parseConstantPoolIndexOperand(MachineOperand &Dest);
126   bool parseJumpTableIndexOperand(MachineOperand &Dest);
127   bool parseExternalSymbolOperand(MachineOperand &Dest);
128   bool parseMDNode(MDNode *&Node);
129   bool parseMetadataOperand(MachineOperand &Dest);
130   bool parseCFIOffset(int &Offset);
131   bool parseCFIRegister(unsigned &Reg);
132   bool parseCFIOperand(MachineOperand &Dest);
133   bool parseIRBlock(BasicBlock *&BB, const Function &F);
134   bool parseBlockAddressOperand(MachineOperand &Dest);
135   bool parseTargetIndexOperand(MachineOperand &Dest);
136   bool parseMachineOperand(MachineOperand &Dest);
137   bool parseIRValue(Value *&V);
138   bool parseMemoryOperandFlag(unsigned &Flags);
139   bool parseMachineMemoryOperand(MachineMemOperand *&Dest);
140
141 private:
142   /// Convert the integer literal in the current token into an unsigned integer.
143   ///
144   /// Return true if an error occurred.
145   bool getUnsigned(unsigned &Result);
146
147   /// Convert the integer literal in the current token into an uint64.
148   ///
149   /// Return true if an error occurred.
150   bool getUint64(uint64_t &Result);
151
152   /// If the current token is of the given kind, consume it and return false.
153   /// Otherwise report an error and return true.
154   bool expectAndConsume(MIToken::TokenKind TokenKind);
155
156   void initNames2InstrOpCodes();
157
158   /// Try to convert an instruction name to an opcode. Return true if the
159   /// instruction name is invalid.
160   bool parseInstrName(StringRef InstrName, unsigned &OpCode);
161
162   bool parseInstruction(unsigned &OpCode, unsigned &Flags);
163
164   bool verifyImplicitOperands(ArrayRef<MachineOperandWithLocation> Operands,
165                               const MCInstrDesc &MCID);
166
167   void initNames2Regs();
168
169   /// Try to convert a register name to a register number. Return true if the
170   /// register name is invalid.
171   bool getRegisterByName(StringRef RegName, unsigned &Reg);
172
173   void initNames2RegMasks();
174
175   /// Check if the given identifier is a name of a register mask.
176   ///
177   /// Return null if the identifier isn't a register mask.
178   const uint32_t *getRegMask(StringRef Identifier);
179
180   void initNames2SubRegIndices();
181
182   /// Check if the given identifier is a name of a subregister index.
183   ///
184   /// Return 0 if the name isn't a subregister index class.
185   unsigned getSubRegIndex(StringRef Name);
186
187   void initSlots2BasicBlocks();
188
189   const BasicBlock *getIRBlock(unsigned Slot);
190
191   void initNames2TargetIndices();
192
193   /// Try to convert a name of target index to the corresponding target index.
194   ///
195   /// Return true if the name isn't a name of a target index.
196   bool getTargetIndex(StringRef Name, int &Index);
197 };
198
199 } // end anonymous namespace
200
201 MIParser::MIParser(SourceMgr &SM, MachineFunction &MF, SMDiagnostic &Error,
202                    StringRef Source, const PerFunctionMIParsingState &PFS,
203                    const SlotMapping &IRSlots)
204     : SM(SM), MF(MF), Error(Error), Source(Source), CurrentSource(Source),
205       Token(MIToken::Error, StringRef()), PFS(PFS), IRSlots(IRSlots) {}
206
207 void MIParser::lex() {
208   CurrentSource = lexMIToken(
209       CurrentSource, Token,
210       [this](StringRef::iterator Loc, const Twine &Msg) { error(Loc, Msg); });
211 }
212
213 bool MIParser::error(const Twine &Msg) { return error(Token.location(), Msg); }
214
215 bool MIParser::error(StringRef::iterator Loc, const Twine &Msg) {
216   assert(Loc >= Source.data() && Loc <= (Source.data() + Source.size()));
217   Error = SMDiagnostic(
218       SM, SMLoc(),
219       SM.getMemoryBuffer(SM.getMainFileID())->getBufferIdentifier(), 1,
220       Loc - Source.data(), SourceMgr::DK_Error, Msg.str(), Source, None, None);
221   return true;
222 }
223
224 static const char *toString(MIToken::TokenKind TokenKind) {
225   switch (TokenKind) {
226   case MIToken::comma:
227     return "','";
228   case MIToken::equal:
229     return "'='";
230   case MIToken::lparen:
231     return "'('";
232   case MIToken::rparen:
233     return "')'";
234   default:
235     return "<unknown token>";
236   }
237 }
238
239 bool MIParser::expectAndConsume(MIToken::TokenKind TokenKind) {
240   if (Token.isNot(TokenKind))
241     return error(Twine("expected ") + toString(TokenKind));
242   lex();
243   return false;
244 }
245
246 bool MIParser::parse(MachineInstr *&MI) {
247   lex();
248
249   // Parse any register operands before '='
250   MachineOperand MO = MachineOperand::CreateImm(0);
251   SmallVector<MachineOperandWithLocation, 8> Operands;
252   while (Token.isRegister() || Token.isRegisterFlag()) {
253     auto Loc = Token.location();
254     if (parseRegisterOperand(MO, /*IsDef=*/true))
255       return true;
256     Operands.push_back(MachineOperandWithLocation(MO, Loc, Token.location()));
257     if (Token.isNot(MIToken::comma))
258       break;
259     lex();
260   }
261   if (!Operands.empty() && expectAndConsume(MIToken::equal))
262     return true;
263
264   unsigned OpCode, Flags = 0;
265   if (Token.isError() || parseInstruction(OpCode, Flags))
266     return true;
267
268   // TODO: Parse the bundle instruction flags.
269
270   // Parse the remaining machine operands.
271   while (Token.isNot(MIToken::Eof) && Token.isNot(MIToken::kw_debug_location) &&
272          Token.isNot(MIToken::coloncolon)) {
273     auto Loc = Token.location();
274     if (parseMachineOperand(MO))
275       return true;
276     Operands.push_back(MachineOperandWithLocation(MO, Loc, Token.location()));
277     if (Token.is(MIToken::Eof) || Token.is(MIToken::coloncolon))
278       break;
279     if (Token.isNot(MIToken::comma))
280       return error("expected ',' before the next machine operand");
281     lex();
282   }
283
284   DebugLoc DebugLocation;
285   if (Token.is(MIToken::kw_debug_location)) {
286     lex();
287     if (Token.isNot(MIToken::exclaim))
288       return error("expected a metadata node after 'debug-location'");
289     MDNode *Node = nullptr;
290     if (parseMDNode(Node))
291       return true;
292     DebugLocation = DebugLoc(Node);
293   }
294
295   // Parse the machine memory operands.
296   SmallVector<MachineMemOperand *, 2> MemOperands;
297   if (Token.is(MIToken::coloncolon)) {
298     lex();
299     while (Token.isNot(MIToken::Eof)) {
300       MachineMemOperand *MemOp = nullptr;
301       if (parseMachineMemoryOperand(MemOp))
302         return true;
303       MemOperands.push_back(MemOp);
304       if (Token.is(MIToken::Eof))
305         break;
306       if (Token.isNot(MIToken::comma))
307         return error("expected ',' before the next machine memory operand");
308       lex();
309     }
310   }
311
312   const auto &MCID = MF.getSubtarget().getInstrInfo()->get(OpCode);
313   if (!MCID.isVariadic()) {
314     // FIXME: Move the implicit operand verification to the machine verifier.
315     if (verifyImplicitOperands(Operands, MCID))
316       return true;
317   }
318
319   // TODO: Check for extraneous machine operands.
320   MI = MF.CreateMachineInstr(MCID, DebugLocation, /*NoImplicit=*/true);
321   MI->setFlags(Flags);
322   for (const auto &Operand : Operands)
323     MI->addOperand(MF, Operand.Operand);
324   if (MemOperands.empty())
325     return false;
326   MachineInstr::mmo_iterator MemRefs =
327       MF.allocateMemRefsArray(MemOperands.size());
328   std::copy(MemOperands.begin(), MemOperands.end(), MemRefs);
329   MI->setMemRefs(MemRefs, MemRefs + MemOperands.size());
330   return false;
331 }
332
333 bool MIParser::parseStandaloneMBB(MachineBasicBlock *&MBB) {
334   lex();
335   if (Token.isNot(MIToken::MachineBasicBlock))
336     return error("expected a machine basic block reference");
337   if (parseMBBReference(MBB))
338     return true;
339   lex();
340   if (Token.isNot(MIToken::Eof))
341     return error(
342         "expected end of string after the machine basic block reference");
343   return false;
344 }
345
346 bool MIParser::parseStandaloneNamedRegister(unsigned &Reg) {
347   lex();
348   if (Token.isNot(MIToken::NamedRegister))
349     return error("expected a named register");
350   if (parseRegister(Reg))
351     return 0;
352   lex();
353   if (Token.isNot(MIToken::Eof))
354     return error("expected end of string after the register reference");
355   return false;
356 }
357
358 bool MIParser::parseStandaloneVirtualRegister(unsigned &Reg) {
359   lex();
360   if (Token.isNot(MIToken::VirtualRegister))
361     return error("expected a virtual register");
362   if (parseRegister(Reg))
363     return 0;
364   lex();
365   if (Token.isNot(MIToken::Eof))
366     return error("expected end of string after the register reference");
367   return false;
368 }
369
370 bool MIParser::parseStandaloneIRBlockReference(const BasicBlock *&BB) {
371   lex();
372   if (Token.isNot(MIToken::IRBlock))
373     return error("expected an IR block reference");
374   unsigned SlotNumber = 0;
375   if (getUnsigned(SlotNumber))
376     return true;
377   BB = getIRBlock(SlotNumber);
378   if (!BB)
379     return error(Twine("use of undefined IR block '%ir-block.") +
380                  Twine(SlotNumber) + "'");
381   lex();
382   if (Token.isNot(MIToken::Eof))
383     return error("expected end of string after the IR block reference");
384   return false;
385 }
386
387 static const char *printImplicitRegisterFlag(const MachineOperand &MO) {
388   assert(MO.isImplicit());
389   return MO.isDef() ? "implicit-def" : "implicit";
390 }
391
392 static std::string getRegisterName(const TargetRegisterInfo *TRI,
393                                    unsigned Reg) {
394   assert(TargetRegisterInfo::isPhysicalRegister(Reg) && "expected phys reg");
395   return StringRef(TRI->getName(Reg)).lower();
396 }
397
398 bool MIParser::verifyImplicitOperands(
399     ArrayRef<MachineOperandWithLocation> Operands, const MCInstrDesc &MCID) {
400   if (MCID.isCall())
401     // We can't verify call instructions as they can contain arbitrary implicit
402     // register and register mask operands.
403     return false;
404
405   // Gather all the expected implicit operands.
406   SmallVector<MachineOperand, 4> ImplicitOperands;
407   if (MCID.ImplicitDefs)
408     for (const uint16_t *ImpDefs = MCID.getImplicitDefs(); *ImpDefs; ++ImpDefs)
409       ImplicitOperands.push_back(
410           MachineOperand::CreateReg(*ImpDefs, true, true));
411   if (MCID.ImplicitUses)
412     for (const uint16_t *ImpUses = MCID.getImplicitUses(); *ImpUses; ++ImpUses)
413       ImplicitOperands.push_back(
414           MachineOperand::CreateReg(*ImpUses, false, true));
415
416   const auto *TRI = MF.getSubtarget().getRegisterInfo();
417   assert(TRI && "Expected target register info");
418   size_t I = ImplicitOperands.size(), J = Operands.size();
419   while (I) {
420     --I;
421     if (J) {
422       --J;
423       const auto &ImplicitOperand = ImplicitOperands[I];
424       const auto &Operand = Operands[J].Operand;
425       if (ImplicitOperand.isIdenticalTo(Operand))
426         continue;
427       if (Operand.isReg() && Operand.isImplicit()) {
428         return error(Operands[J].Begin,
429                      Twine("expected an implicit register operand '") +
430                          printImplicitRegisterFlag(ImplicitOperand) + " %" +
431                          getRegisterName(TRI, ImplicitOperand.getReg()) + "'");
432       }
433     }
434     // TODO: Fix source location when Operands[J].end is right before '=', i.e:
435     // insead of reporting an error at this location:
436     //            %eax = MOV32r0
437     //                 ^
438     // report the error at the following location:
439     //            %eax = MOV32r0
440     //                          ^
441     return error(J < Operands.size() ? Operands[J].End : Token.location(),
442                  Twine("missing implicit register operand '") +
443                      printImplicitRegisterFlag(ImplicitOperands[I]) + " %" +
444                      getRegisterName(TRI, ImplicitOperands[I].getReg()) + "'");
445   }
446   return false;
447 }
448
449 bool MIParser::parseInstruction(unsigned &OpCode, unsigned &Flags) {
450   if (Token.is(MIToken::kw_frame_setup)) {
451     Flags |= MachineInstr::FrameSetup;
452     lex();
453   }
454   if (Token.isNot(MIToken::Identifier))
455     return error("expected a machine instruction");
456   StringRef InstrName = Token.stringValue();
457   if (parseInstrName(InstrName, OpCode))
458     return error(Twine("unknown machine instruction name '") + InstrName + "'");
459   lex();
460   return false;
461 }
462
463 bool MIParser::parseRegister(unsigned &Reg) {
464   switch (Token.kind()) {
465   case MIToken::underscore:
466     Reg = 0;
467     break;
468   case MIToken::NamedRegister: {
469     StringRef Name = Token.stringValue();
470     if (getRegisterByName(Name, Reg))
471       return error(Twine("unknown register name '") + Name + "'");
472     break;
473   }
474   case MIToken::VirtualRegister: {
475     unsigned ID;
476     if (getUnsigned(ID))
477       return true;
478     const auto RegInfo = PFS.VirtualRegisterSlots.find(ID);
479     if (RegInfo == PFS.VirtualRegisterSlots.end())
480       return error(Twine("use of undefined virtual register '%") + Twine(ID) +
481                    "'");
482     Reg = RegInfo->second;
483     break;
484   }
485   // TODO: Parse other register kinds.
486   default:
487     llvm_unreachable("The current token should be a register");
488   }
489   return false;
490 }
491
492 bool MIParser::parseRegisterFlag(unsigned &Flags) {
493   switch (Token.kind()) {
494   case MIToken::kw_implicit:
495     Flags |= RegState::Implicit;
496     break;
497   case MIToken::kw_implicit_define:
498     Flags |= RegState::ImplicitDefine;
499     break;
500   case MIToken::kw_dead:
501     Flags |= RegState::Dead;
502     break;
503   case MIToken::kw_killed:
504     Flags |= RegState::Kill;
505     break;
506   case MIToken::kw_undef:
507     Flags |= RegState::Undef;
508     break;
509   // TODO: report an error when we specify the same flag more than once.
510   // TODO: parse the other register flags.
511   default:
512     llvm_unreachable("The current token should be a register flag");
513   }
514   lex();
515   return false;
516 }
517
518 bool MIParser::parseSubRegisterIndex(unsigned &SubReg) {
519   assert(Token.is(MIToken::colon));
520   lex();
521   if (Token.isNot(MIToken::Identifier))
522     return error("expected a subregister index after ':'");
523   auto Name = Token.stringValue();
524   SubReg = getSubRegIndex(Name);
525   if (!SubReg)
526     return error(Twine("use of unknown subregister index '") + Name + "'");
527   lex();
528   return false;
529 }
530
531 bool MIParser::parseRegisterOperand(MachineOperand &Dest, bool IsDef) {
532   unsigned Reg;
533   unsigned Flags = IsDef ? RegState::Define : 0;
534   while (Token.isRegisterFlag()) {
535     if (parseRegisterFlag(Flags))
536       return true;
537   }
538   if (!Token.isRegister())
539     return error("expected a register after register flags");
540   if (parseRegister(Reg))
541     return true;
542   lex();
543   unsigned SubReg = 0;
544   if (Token.is(MIToken::colon)) {
545     if (parseSubRegisterIndex(SubReg))
546       return true;
547   }
548   Dest = MachineOperand::CreateReg(
549       Reg, Flags & RegState::Define, Flags & RegState::Implicit,
550       Flags & RegState::Kill, Flags & RegState::Dead, Flags & RegState::Undef,
551       /*isEarlyClobber=*/false, SubReg);
552   return false;
553 }
554
555 bool MIParser::parseImmediateOperand(MachineOperand &Dest) {
556   assert(Token.is(MIToken::IntegerLiteral));
557   const APSInt &Int = Token.integerValue();
558   if (Int.getMinSignedBits() > 64)
559     // TODO: Replace this with an error when we can parse CIMM Machine Operands.
560     llvm_unreachable("Can't parse large integer literals yet!");
561   Dest = MachineOperand::CreateImm(Int.getExtValue());
562   lex();
563   return false;
564 }
565
566 bool MIParser::parseFPImmediateOperand(MachineOperand &Dest) {
567   auto Loc = Token.location();
568   lex();
569   if (Token.isNot(MIToken::FloatingPointLiteral))
570     return error("expected a floating point literal");
571   auto Source = StringRef(Loc, Token.stringValue().end() - Loc).str();
572   lex();
573   SMDiagnostic Err;
574   const Constant *C =
575       parseConstantValue(Source.c_str(), Err, *MF.getFunction()->getParent());
576   if (!C)
577     return error(Loc + Err.getColumnNo(), Err.getMessage());
578   Dest = MachineOperand::CreateFPImm(cast<ConstantFP>(C));
579   return false;
580 }
581
582 bool MIParser::getUnsigned(unsigned &Result) {
583   assert(Token.hasIntegerValue() && "Expected a token with an integer value");
584   const uint64_t Limit = uint64_t(std::numeric_limits<unsigned>::max()) + 1;
585   uint64_t Val64 = Token.integerValue().getLimitedValue(Limit);
586   if (Val64 == Limit)
587     return error("expected 32-bit integer (too large)");
588   Result = Val64;
589   return false;
590 }
591
592 bool MIParser::parseMBBReference(MachineBasicBlock *&MBB) {
593   assert(Token.is(MIToken::MachineBasicBlock));
594   unsigned Number;
595   if (getUnsigned(Number))
596     return true;
597   auto MBBInfo = PFS.MBBSlots.find(Number);
598   if (MBBInfo == PFS.MBBSlots.end())
599     return error(Twine("use of undefined machine basic block #") +
600                  Twine(Number));
601   MBB = MBBInfo->second;
602   if (!Token.stringValue().empty() && Token.stringValue() != MBB->getName())
603     return error(Twine("the name of machine basic block #") + Twine(Number) +
604                  " isn't '" + Token.stringValue() + "'");
605   return false;
606 }
607
608 bool MIParser::parseMBBOperand(MachineOperand &Dest) {
609   MachineBasicBlock *MBB;
610   if (parseMBBReference(MBB))
611     return true;
612   Dest = MachineOperand::CreateMBB(MBB);
613   lex();
614   return false;
615 }
616
617 bool MIParser::parseStackObjectOperand(MachineOperand &Dest) {
618   assert(Token.is(MIToken::StackObject));
619   unsigned ID;
620   if (getUnsigned(ID))
621     return true;
622   auto ObjectInfo = PFS.StackObjectSlots.find(ID);
623   if (ObjectInfo == PFS.StackObjectSlots.end())
624     return error(Twine("use of undefined stack object '%stack.") + Twine(ID) +
625                  "'");
626   StringRef Name;
627   if (const auto *Alloca =
628           MF.getFrameInfo()->getObjectAllocation(ObjectInfo->second))
629     Name = Alloca->getName();
630   if (!Token.stringValue().empty() && Token.stringValue() != Name)
631     return error(Twine("the name of the stack object '%stack.") + Twine(ID) +
632                  "' isn't '" + Token.stringValue() + "'");
633   lex();
634   Dest = MachineOperand::CreateFI(ObjectInfo->second);
635   return false;
636 }
637
638 bool MIParser::parseFixedStackObjectOperand(MachineOperand &Dest) {
639   assert(Token.is(MIToken::FixedStackObject));
640   unsigned ID;
641   if (getUnsigned(ID))
642     return true;
643   auto ObjectInfo = PFS.FixedStackObjectSlots.find(ID);
644   if (ObjectInfo == PFS.FixedStackObjectSlots.end())
645     return error(Twine("use of undefined fixed stack object '%fixed-stack.") +
646                  Twine(ID) + "'");
647   lex();
648   Dest = MachineOperand::CreateFI(ObjectInfo->second);
649   return false;
650 }
651
652 bool MIParser::parseGlobalValue(GlobalValue *&GV) {
653   switch (Token.kind()) {
654   case MIToken::NamedGlobalValue:
655   case MIToken::QuotedNamedGlobalValue: {
656     StringValueUtility Name(Token);
657     const Module *M = MF.getFunction()->getParent();
658     GV = M->getNamedValue(Name);
659     if (!GV)
660       return error(Twine("use of undefined global value '@") +
661                    Token.rawStringValue() + "'");
662     break;
663   }
664   case MIToken::GlobalValue: {
665     unsigned GVIdx;
666     if (getUnsigned(GVIdx))
667       return true;
668     if (GVIdx >= IRSlots.GlobalValues.size())
669       return error(Twine("use of undefined global value '@") + Twine(GVIdx) +
670                    "'");
671     GV = IRSlots.GlobalValues[GVIdx];
672     break;
673   }
674   default:
675     llvm_unreachable("The current token should be a global value");
676   }
677   return false;
678 }
679
680 bool MIParser::parseGlobalAddressOperand(MachineOperand &Dest) {
681   GlobalValue *GV = nullptr;
682   if (parseGlobalValue(GV))
683     return true;
684   Dest = MachineOperand::CreateGA(GV, /*Offset=*/0);
685   // TODO: Parse offset and target flags.
686   lex();
687   return false;
688 }
689
690 bool MIParser::parseConstantPoolIndexOperand(MachineOperand &Dest) {
691   assert(Token.is(MIToken::ConstantPoolItem));
692   unsigned ID;
693   if (getUnsigned(ID))
694     return true;
695   auto ConstantInfo = PFS.ConstantPoolSlots.find(ID);
696   if (ConstantInfo == PFS.ConstantPoolSlots.end())
697     return error("use of undefined constant '%const." + Twine(ID) + "'");
698   lex();
699   // TODO: Parse offset and target flags.
700   Dest = MachineOperand::CreateCPI(ID, /*Offset=*/0);
701   return false;
702 }
703
704 bool MIParser::parseJumpTableIndexOperand(MachineOperand &Dest) {
705   assert(Token.is(MIToken::JumpTableIndex));
706   unsigned ID;
707   if (getUnsigned(ID))
708     return true;
709   auto JumpTableEntryInfo = PFS.JumpTableSlots.find(ID);
710   if (JumpTableEntryInfo == PFS.JumpTableSlots.end())
711     return error("use of undefined jump table '%jump-table." + Twine(ID) + "'");
712   lex();
713   // TODO: Parse target flags.
714   Dest = MachineOperand::CreateJTI(JumpTableEntryInfo->second);
715   return false;
716 }
717
718 bool MIParser::parseExternalSymbolOperand(MachineOperand &Dest) {
719   assert(Token.is(MIToken::ExternalSymbol) ||
720          Token.is(MIToken::QuotedExternalSymbol));
721   StringValueUtility Name(Token);
722   const char *Symbol = MF.createExternalSymbolName(Name);
723   lex();
724   // TODO: Parse the target flags.
725   Dest = MachineOperand::CreateES(Symbol);
726   return false;
727 }
728
729 bool MIParser::parseMDNode(MDNode *&Node) {
730   assert(Token.is(MIToken::exclaim));
731   auto Loc = Token.location();
732   lex();
733   if (Token.isNot(MIToken::IntegerLiteral) || Token.integerValue().isSigned())
734     return error("expected metadata id after '!'");
735   unsigned ID;
736   if (getUnsigned(ID))
737     return true;
738   auto NodeInfo = IRSlots.MetadataNodes.find(ID);
739   if (NodeInfo == IRSlots.MetadataNodes.end())
740     return error(Loc, "use of undefined metadata '!" + Twine(ID) + "'");
741   lex();
742   Node = NodeInfo->second.get();
743   return false;
744 }
745
746 bool MIParser::parseMetadataOperand(MachineOperand &Dest) {
747   MDNode *Node = nullptr;
748   if (parseMDNode(Node))
749     return true;
750   Dest = MachineOperand::CreateMetadata(Node);
751   return false;
752 }
753
754 bool MIParser::parseCFIOffset(int &Offset) {
755   if (Token.isNot(MIToken::IntegerLiteral))
756     return error("expected a cfi offset");
757   if (Token.integerValue().getMinSignedBits() > 32)
758     return error("expected a 32 bit integer (the cfi offset is too large)");
759   Offset = (int)Token.integerValue().getExtValue();
760   lex();
761   return false;
762 }
763
764 bool MIParser::parseCFIRegister(unsigned &Reg) {
765   if (Token.isNot(MIToken::NamedRegister))
766     return error("expected a cfi register");
767   unsigned LLVMReg;
768   if (parseRegister(LLVMReg))
769     return true;
770   const auto *TRI = MF.getSubtarget().getRegisterInfo();
771   assert(TRI && "Expected target register info");
772   int DwarfReg = TRI->getDwarfRegNum(LLVMReg, true);
773   if (DwarfReg < 0)
774     return error("invalid DWARF register");
775   Reg = (unsigned)DwarfReg;
776   lex();
777   return false;
778 }
779
780 bool MIParser::parseCFIOperand(MachineOperand &Dest) {
781   auto Kind = Token.kind();
782   lex();
783   auto &MMI = MF.getMMI();
784   int Offset;
785   unsigned Reg;
786   unsigned CFIIndex;
787   switch (Kind) {
788   case MIToken::kw_cfi_offset:
789     if (parseCFIRegister(Reg) || expectAndConsume(MIToken::comma) ||
790         parseCFIOffset(Offset))
791       return true;
792     CFIIndex =
793         MMI.addFrameInst(MCCFIInstruction::createOffset(nullptr, Reg, Offset));
794     break;
795   case MIToken::kw_cfi_def_cfa_register:
796     if (parseCFIRegister(Reg))
797       return true;
798     CFIIndex =
799         MMI.addFrameInst(MCCFIInstruction::createDefCfaRegister(nullptr, Reg));
800     break;
801   case MIToken::kw_cfi_def_cfa_offset:
802     if (parseCFIOffset(Offset))
803       return true;
804     // NB: MCCFIInstruction::createDefCfaOffset negates the offset.
805     CFIIndex = MMI.addFrameInst(
806         MCCFIInstruction::createDefCfaOffset(nullptr, -Offset));
807     break;
808   case MIToken::kw_cfi_def_cfa:
809     if (parseCFIRegister(Reg) || expectAndConsume(MIToken::comma) ||
810         parseCFIOffset(Offset))
811       return true;
812     // NB: MCCFIInstruction::createDefCfa negates the offset.
813     CFIIndex =
814         MMI.addFrameInst(MCCFIInstruction::createDefCfa(nullptr, Reg, -Offset));
815     break;
816   default:
817     // TODO: Parse the other CFI operands.
818     llvm_unreachable("The current token should be a cfi operand");
819   }
820   Dest = MachineOperand::CreateCFIIndex(CFIIndex);
821   return false;
822 }
823
824 bool MIParser::parseIRBlock(BasicBlock *&BB, const Function &F) {
825   switch (Token.kind()) {
826   case MIToken::NamedIRBlock:
827   case MIToken::QuotedNamedIRBlock: {
828     StringValueUtility Name(Token);
829     BB = dyn_cast_or_null<BasicBlock>(F.getValueSymbolTable().lookup(Name));
830     if (!BB)
831       return error(Twine("use of undefined IR block '%ir-block.") +
832                    Token.rawStringValue() + "'");
833     break;
834   }
835   case MIToken::IRBlock: {
836     unsigned SlotNumber = 0;
837     if (getUnsigned(SlotNumber))
838       return true;
839     BB = const_cast<BasicBlock *>(getIRBlock(SlotNumber));
840     if (!BB)
841       return error(Twine("use of undefined IR block '%ir-block.") +
842                    Twine(SlotNumber) + "'");
843     break;
844   }
845   default:
846     llvm_unreachable("The current token should be an IR block reference");
847   }
848   return false;
849 }
850
851 bool MIParser::parseBlockAddressOperand(MachineOperand &Dest) {
852   assert(Token.is(MIToken::kw_blockaddress));
853   lex();
854   if (expectAndConsume(MIToken::lparen))
855     return true;
856   if (Token.isNot(MIToken::GlobalValue) &&
857       Token.isNot(MIToken::NamedGlobalValue) &&
858       Token.isNot(MIToken::QuotedNamedGlobalValue))
859     return error("expected a global value");
860   GlobalValue *GV = nullptr;
861   if (parseGlobalValue(GV))
862     return true;
863   auto *F = dyn_cast<Function>(GV);
864   if (!F)
865     return error("expected an IR function reference");
866   lex();
867   if (expectAndConsume(MIToken::comma))
868     return true;
869   BasicBlock *BB = nullptr;
870   if (Token.isNot(MIToken::IRBlock) && Token.isNot(MIToken::NamedIRBlock) &&
871       Token.isNot(MIToken::QuotedNamedIRBlock))
872     return error("expected an IR block reference");
873   if (parseIRBlock(BB, *F))
874     return true;
875   lex();
876   if (expectAndConsume(MIToken::rparen))
877     return true;
878   // TODO: parse offset and target flags.
879   Dest = MachineOperand::CreateBA(BlockAddress::get(F, BB), /*Offset=*/0);
880   return false;
881 }
882
883 bool MIParser::parseTargetIndexOperand(MachineOperand &Dest) {
884   assert(Token.is(MIToken::kw_target_index));
885   lex();
886   if (expectAndConsume(MIToken::lparen))
887     return true;
888   if (Token.isNot(MIToken::Identifier))
889     return error("expected the name of the target index");
890   int Index = 0;
891   if (getTargetIndex(Token.stringValue(), Index))
892     return error("use of undefined target index '" + Token.stringValue() + "'");
893   lex();
894   if (expectAndConsume(MIToken::rparen))
895     return true;
896   // TODO: Parse the offset and target flags.
897   Dest = MachineOperand::CreateTargetIndex(unsigned(Index), /*Offset=*/0);
898   return false;
899 }
900
901 bool MIParser::parseMachineOperand(MachineOperand &Dest) {
902   switch (Token.kind()) {
903   case MIToken::kw_implicit:
904   case MIToken::kw_implicit_define:
905   case MIToken::kw_dead:
906   case MIToken::kw_killed:
907   case MIToken::kw_undef:
908   case MIToken::underscore:
909   case MIToken::NamedRegister:
910   case MIToken::VirtualRegister:
911     return parseRegisterOperand(Dest);
912   case MIToken::IntegerLiteral:
913     return parseImmediateOperand(Dest);
914   case MIToken::kw_half:
915   case MIToken::kw_float:
916   case MIToken::kw_double:
917   case MIToken::kw_x86_fp80:
918   case MIToken::kw_fp128:
919   case MIToken::kw_ppc_fp128:
920     return parseFPImmediateOperand(Dest);
921   case MIToken::MachineBasicBlock:
922     return parseMBBOperand(Dest);
923   case MIToken::StackObject:
924     return parseStackObjectOperand(Dest);
925   case MIToken::FixedStackObject:
926     return parseFixedStackObjectOperand(Dest);
927   case MIToken::GlobalValue:
928   case MIToken::NamedGlobalValue:
929   case MIToken::QuotedNamedGlobalValue:
930     return parseGlobalAddressOperand(Dest);
931   case MIToken::ConstantPoolItem:
932     return parseConstantPoolIndexOperand(Dest);
933   case MIToken::JumpTableIndex:
934     return parseJumpTableIndexOperand(Dest);
935   case MIToken::ExternalSymbol:
936   case MIToken::QuotedExternalSymbol:
937     return parseExternalSymbolOperand(Dest);
938   case MIToken::exclaim:
939     return parseMetadataOperand(Dest);
940   case MIToken::kw_cfi_offset:
941   case MIToken::kw_cfi_def_cfa_register:
942   case MIToken::kw_cfi_def_cfa_offset:
943   case MIToken::kw_cfi_def_cfa:
944     return parseCFIOperand(Dest);
945   case MIToken::kw_blockaddress:
946     return parseBlockAddressOperand(Dest);
947   case MIToken::kw_target_index:
948     return parseTargetIndexOperand(Dest);
949   case MIToken::Error:
950     return true;
951   case MIToken::Identifier:
952     if (const auto *RegMask = getRegMask(Token.stringValue())) {
953       Dest = MachineOperand::CreateRegMask(RegMask);
954       lex();
955       break;
956     }
957   // fallthrough
958   default:
959     // TODO: parse the other machine operands.
960     return error("expected a machine operand");
961   }
962   return false;
963 }
964
965 bool MIParser::parseIRValue(Value *&V) {
966   switch (Token.kind()) {
967   case MIToken::NamedIRValue:
968   case MIToken::QuotedNamedIRValue: {
969     StringValueUtility Name(Token);
970     V = MF.getFunction()->getValueSymbolTable().lookup(Name);
971     if (!V)
972       return error(Twine("use of undefined IR value '%ir.") +
973                    Token.rawStringValue() + "'");
974     break;
975   }
976   // TODO: Parse unnamed IR value references.
977   default:
978     llvm_unreachable("The current token should be an IR block reference");
979   }
980   return false;
981 }
982
983 bool MIParser::getUint64(uint64_t &Result) {
984   assert(Token.hasIntegerValue());
985   if (Token.integerValue().getActiveBits() > 64)
986     return error("expected 64-bit integer (too large)");
987   Result = Token.integerValue().getZExtValue();
988   return false;
989 }
990
991 bool MIParser::parseMemoryOperandFlag(unsigned &Flags) {
992   switch (Token.kind()) {
993   case MIToken::kw_volatile:
994     Flags |= MachineMemOperand::MOVolatile;
995     break;
996   // TODO: report an error when we specify the same flag more than once.
997   // TODO: parse the other memory operand flags.
998   default:
999     llvm_unreachable("The current token should be a memory operand flag");
1000   }
1001   lex();
1002   return false;
1003 }
1004
1005 bool MIParser::parseMachineMemoryOperand(MachineMemOperand *&Dest) {
1006   if (expectAndConsume(MIToken::lparen))
1007     return true;
1008   unsigned Flags = 0;
1009   while (Token.isMemoryOperandFlag()) {
1010     if (parseMemoryOperandFlag(Flags))
1011       return true;
1012   }
1013   if (Token.isNot(MIToken::Identifier) ||
1014       (Token.stringValue() != "load" && Token.stringValue() != "store"))
1015     return error("expected 'load' or 'store' memory operation");
1016   if (Token.stringValue() == "load")
1017     Flags |= MachineMemOperand::MOLoad;
1018   else
1019     Flags |= MachineMemOperand::MOStore;
1020   lex();
1021
1022   if (Token.isNot(MIToken::IntegerLiteral))
1023     return error("expected the size integer literal after memory operation");
1024   uint64_t Size;
1025   if (getUint64(Size))
1026     return true;
1027   lex();
1028
1029   const char *Word = Flags & MachineMemOperand::MOLoad ? "from" : "into";
1030   if (Token.isNot(MIToken::Identifier) || Token.stringValue() != Word)
1031     return error(Twine("expected '") + Word + "'");
1032   lex();
1033
1034   // TODO: Parse pseudo source values.
1035   if (Token.isNot(MIToken::NamedIRValue) &&
1036       Token.isNot(MIToken::QuotedNamedIRValue))
1037     return error("expected an IR value reference");
1038   Value *V = nullptr;
1039   if (parseIRValue(V))
1040     return true;
1041   if (!V->getType()->isPointerTy())
1042     return error("expected a pointer IR value");
1043   lex();
1044   // TODO: Parse the base alignment.
1045   // TODO: Parse the attached metadata nodes.
1046   if (expectAndConsume(MIToken::rparen))
1047     return true;
1048
1049   Dest = MF.getMachineMemOperand(MachinePointerInfo(V), Flags, Size, Size);
1050   return false;
1051 }
1052
1053 void MIParser::initNames2InstrOpCodes() {
1054   if (!Names2InstrOpCodes.empty())
1055     return;
1056   const auto *TII = MF.getSubtarget().getInstrInfo();
1057   assert(TII && "Expected target instruction info");
1058   for (unsigned I = 0, E = TII->getNumOpcodes(); I < E; ++I)
1059     Names2InstrOpCodes.insert(std::make_pair(StringRef(TII->getName(I)), I));
1060 }
1061
1062 bool MIParser::parseInstrName(StringRef InstrName, unsigned &OpCode) {
1063   initNames2InstrOpCodes();
1064   auto InstrInfo = Names2InstrOpCodes.find(InstrName);
1065   if (InstrInfo == Names2InstrOpCodes.end())
1066     return true;
1067   OpCode = InstrInfo->getValue();
1068   return false;
1069 }
1070
1071 void MIParser::initNames2Regs() {
1072   if (!Names2Regs.empty())
1073     return;
1074   // The '%noreg' register is the register 0.
1075   Names2Regs.insert(std::make_pair("noreg", 0));
1076   const auto *TRI = MF.getSubtarget().getRegisterInfo();
1077   assert(TRI && "Expected target register info");
1078   for (unsigned I = 0, E = TRI->getNumRegs(); I < E; ++I) {
1079     bool WasInserted =
1080         Names2Regs.insert(std::make_pair(StringRef(TRI->getName(I)).lower(), I))
1081             .second;
1082     (void)WasInserted;
1083     assert(WasInserted && "Expected registers to be unique case-insensitively");
1084   }
1085 }
1086
1087 bool MIParser::getRegisterByName(StringRef RegName, unsigned &Reg) {
1088   initNames2Regs();
1089   auto RegInfo = Names2Regs.find(RegName);
1090   if (RegInfo == Names2Regs.end())
1091     return true;
1092   Reg = RegInfo->getValue();
1093   return false;
1094 }
1095
1096 void MIParser::initNames2RegMasks() {
1097   if (!Names2RegMasks.empty())
1098     return;
1099   const auto *TRI = MF.getSubtarget().getRegisterInfo();
1100   assert(TRI && "Expected target register info");
1101   ArrayRef<const uint32_t *> RegMasks = TRI->getRegMasks();
1102   ArrayRef<const char *> RegMaskNames = TRI->getRegMaskNames();
1103   assert(RegMasks.size() == RegMaskNames.size());
1104   for (size_t I = 0, E = RegMasks.size(); I < E; ++I)
1105     Names2RegMasks.insert(
1106         std::make_pair(StringRef(RegMaskNames[I]).lower(), RegMasks[I]));
1107 }
1108
1109 const uint32_t *MIParser::getRegMask(StringRef Identifier) {
1110   initNames2RegMasks();
1111   auto RegMaskInfo = Names2RegMasks.find(Identifier);
1112   if (RegMaskInfo == Names2RegMasks.end())
1113     return nullptr;
1114   return RegMaskInfo->getValue();
1115 }
1116
1117 void MIParser::initNames2SubRegIndices() {
1118   if (!Names2SubRegIndices.empty())
1119     return;
1120   const TargetRegisterInfo *TRI = MF.getSubtarget().getRegisterInfo();
1121   for (unsigned I = 1, E = TRI->getNumSubRegIndices(); I < E; ++I)
1122     Names2SubRegIndices.insert(
1123         std::make_pair(StringRef(TRI->getSubRegIndexName(I)).lower(), I));
1124 }
1125
1126 unsigned MIParser::getSubRegIndex(StringRef Name) {
1127   initNames2SubRegIndices();
1128   auto SubRegInfo = Names2SubRegIndices.find(Name);
1129   if (SubRegInfo == Names2SubRegIndices.end())
1130     return 0;
1131   return SubRegInfo->getValue();
1132 }
1133
1134 void MIParser::initSlots2BasicBlocks() {
1135   if (!Slots2BasicBlocks.empty())
1136     return;
1137   const auto &F = *MF.getFunction();
1138   ModuleSlotTracker MST(F.getParent());
1139   MST.incorporateFunction(F);
1140   for (auto &BB : F) {
1141     if (BB.hasName())
1142       continue;
1143     int Slot = MST.getLocalSlot(&BB);
1144     if (Slot == -1)
1145       continue;
1146     Slots2BasicBlocks.insert(std::make_pair(unsigned(Slot), &BB));
1147   }
1148 }
1149
1150 const BasicBlock *MIParser::getIRBlock(unsigned Slot) {
1151   initSlots2BasicBlocks();
1152   auto BlockInfo = Slots2BasicBlocks.find(Slot);
1153   if (BlockInfo == Slots2BasicBlocks.end())
1154     return nullptr;
1155   return BlockInfo->second;
1156 }
1157
1158 void MIParser::initNames2TargetIndices() {
1159   if (!Names2TargetIndices.empty())
1160     return;
1161   const auto *TII = MF.getSubtarget().getInstrInfo();
1162   assert(TII && "Expected target instruction info");
1163   auto Indices = TII->getSerializableTargetIndices();
1164   for (const auto &I : Indices)
1165     Names2TargetIndices.insert(std::make_pair(StringRef(I.second), I.first));
1166 }
1167
1168 bool MIParser::getTargetIndex(StringRef Name, int &Index) {
1169   initNames2TargetIndices();
1170   auto IndexInfo = Names2TargetIndices.find(Name);
1171   if (IndexInfo == Names2TargetIndices.end())
1172     return true;
1173   Index = IndexInfo->second;
1174   return false;
1175 }
1176
1177 bool llvm::parseMachineInstr(MachineInstr *&MI, SourceMgr &SM,
1178                              MachineFunction &MF, StringRef Src,
1179                              const PerFunctionMIParsingState &PFS,
1180                              const SlotMapping &IRSlots, SMDiagnostic &Error) {
1181   return MIParser(SM, MF, Error, Src, PFS, IRSlots).parse(MI);
1182 }
1183
1184 bool llvm::parseMBBReference(MachineBasicBlock *&MBB, SourceMgr &SM,
1185                              MachineFunction &MF, StringRef Src,
1186                              const PerFunctionMIParsingState &PFS,
1187                              const SlotMapping &IRSlots, SMDiagnostic &Error) {
1188   return MIParser(SM, MF, Error, Src, PFS, IRSlots).parseStandaloneMBB(MBB);
1189 }
1190
1191 bool llvm::parseNamedRegisterReference(unsigned &Reg, SourceMgr &SM,
1192                                        MachineFunction &MF, StringRef Src,
1193                                        const PerFunctionMIParsingState &PFS,
1194                                        const SlotMapping &IRSlots,
1195                                        SMDiagnostic &Error) {
1196   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1197       .parseStandaloneNamedRegister(Reg);
1198 }
1199
1200 bool llvm::parseVirtualRegisterReference(unsigned &Reg, SourceMgr &SM,
1201                                          MachineFunction &MF, StringRef Src,
1202                                          const PerFunctionMIParsingState &PFS,
1203                                          const SlotMapping &IRSlots,
1204                                          SMDiagnostic &Error) {
1205   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1206       .parseStandaloneVirtualRegister(Reg);
1207 }
1208
1209 bool llvm::parseIRBlockReference(const BasicBlock *&BB, SourceMgr &SM,
1210                                  MachineFunction &MF, StringRef Src,
1211                                  const PerFunctionMIParsingState &PFS,
1212                                  const SlotMapping &IRSlots,
1213                                  SMDiagnostic &Error) {
1214   return MIParser(SM, MF, Error, Src, PFS, IRSlots)
1215       .parseStandaloneIRBlockReference(BB);
1216 }