Masked Load / Store Intrinsics - the CodeGen part.
[oota-llvm.git] / lib / IR / Verifier.cpp
1 //===-- Verifier.cpp - Implement the Module Verifier -----------------------==//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines the function verifier interface, that can be used for some
11 // sanity checking of input to the system.
12 //
13 // Note that this does not provide full `Java style' security and verifications,
14 // instead it just tries to ensure that code is well-formed.
15 //
16 //  * Both of a binary operator's parameters are of the same type
17 //  * Verify that the indices of mem access instructions match other operands
18 //  * Verify that arithmetic and other things are only performed on first-class
19 //    types.  Verify that shifts & logicals only happen on integrals f.e.
20 //  * All of the constants in a switch statement are of the correct type
21 //  * The code is in valid SSA form
22 //  * It should be illegal to put a label into any other type (like a structure)
23 //    or to return one. [except constant arrays!]
24 //  * Only phi nodes can be self referential: 'add i32 %0, %0 ; <int>:0' is bad
25 //  * PHI nodes must have an entry for each predecessor, with no extras.
26 //  * PHI nodes must be the first thing in a basic block, all grouped together
27 //  * PHI nodes must have at least one entry
28 //  * All basic blocks should only end with terminator insts, not contain them
29 //  * The entry node to a function must not have predecessors
30 //  * All Instructions must be embedded into a basic block
31 //  * Functions cannot take a void-typed parameter
32 //  * Verify that a function's argument list agrees with it's declared type.
33 //  * It is illegal to specify a name for a void value.
34 //  * It is illegal to have a internal global value with no initializer
35 //  * It is illegal to have a ret instruction that returns a value that does not
36 //    agree with the function return value type.
37 //  * Function call argument types match the function prototype
38 //  * A landing pad is defined by a landingpad instruction, and can be jumped to
39 //    only by the unwind edge of an invoke instruction.
40 //  * A landingpad instruction must be the first non-PHI instruction in the
41 //    block.
42 //  * All landingpad instructions must use the same personality function with
43 //    the same function.
44 //  * All other things that are tested by asserts spread about the code...
45 //
46 //===----------------------------------------------------------------------===//
47
48 #include "llvm/IR/Verifier.h"
49 #include "llvm/ADT/STLExtras.h"
50 #include "llvm/ADT/SetVector.h"
51 #include "llvm/ADT/SmallPtrSet.h"
52 #include "llvm/ADT/SmallVector.h"
53 #include "llvm/ADT/StringExtras.h"
54 #include "llvm/IR/CFG.h"
55 #include "llvm/IR/CallSite.h"
56 #include "llvm/IR/CallingConv.h"
57 #include "llvm/IR/ConstantRange.h"
58 #include "llvm/IR/Constants.h"
59 #include "llvm/IR/DataLayout.h"
60 #include "llvm/IR/DebugInfo.h"
61 #include "llvm/IR/DerivedTypes.h"
62 #include "llvm/IR/Dominators.h"
63 #include "llvm/IR/InlineAsm.h"
64 #include "llvm/IR/InstIterator.h"
65 #include "llvm/IR/InstVisitor.h"
66 #include "llvm/IR/IntrinsicInst.h"
67 #include "llvm/IR/LLVMContext.h"
68 #include "llvm/IR/Metadata.h"
69 #include "llvm/IR/Module.h"
70 #include "llvm/IR/PassManager.h"
71 #include "llvm/IR/Statepoint.h"
72 #include "llvm/Pass.h"
73 #include "llvm/Support/CommandLine.h"
74 #include "llvm/Support/Debug.h"
75 #include "llvm/Support/ErrorHandling.h"
76 #include "llvm/Support/raw_ostream.h"
77 #include <algorithm>
78 #include <cstdarg>
79 using namespace llvm;
80
81 static cl::opt<bool> VerifyDebugInfo("verify-debug-info", cl::init(false));
82
83 namespace {
84 struct VerifierSupport {
85   raw_ostream &OS;
86   const Module *M;
87
88   /// \brief Track the brokenness of the module while recursively visiting.
89   bool Broken;
90
91   explicit VerifierSupport(raw_ostream &OS)
92       : OS(OS), M(nullptr), Broken(false) {}
93
94   void WriteValue(const Value *V) {
95     if (!V)
96       return;
97     if (isa<Instruction>(V)) {
98       OS << *V << '\n';
99     } else {
100       V->printAsOperand(OS, true, M);
101       OS << '\n';
102     }
103   }
104
105   void WriteType(Type *T) {
106     if (!T)
107       return;
108     OS << ' ' << *T;
109   }
110
111   void WriteComdat(const Comdat *C) {
112     if (!C)
113       return;
114     OS << *C;
115   }
116
117   // CheckFailed - A check failed, so print out the condition and the message
118   // that failed.  This provides a nice place to put a breakpoint if you want
119   // to see why something is not correct.
120   void CheckFailed(const Twine &Message, const Value *V1 = nullptr,
121                    const Value *V2 = nullptr, const Value *V3 = nullptr,
122                    const Value *V4 = nullptr) {
123     OS << Message.str() << "\n";
124     WriteValue(V1);
125     WriteValue(V2);
126     WriteValue(V3);
127     WriteValue(V4);
128     Broken = true;
129   }
130
131   void CheckFailed(const Twine &Message, const Value *V1, Type *T2,
132                    const Value *V3 = nullptr) {
133     OS << Message.str() << "\n";
134     WriteValue(V1);
135     WriteType(T2);
136     WriteValue(V3);
137     Broken = true;
138   }
139
140   void CheckFailed(const Twine &Message, Type *T1, Type *T2 = nullptr,
141                    Type *T3 = nullptr) {
142     OS << Message.str() << "\n";
143     WriteType(T1);
144     WriteType(T2);
145     WriteType(T3);
146     Broken = true;
147   }
148
149   void CheckFailed(const Twine &Message, const Comdat *C) {
150     OS << Message.str() << "\n";
151     WriteComdat(C);
152     Broken = true;
153   }
154 };
155 class Verifier : public InstVisitor<Verifier>, VerifierSupport {
156   friend class InstVisitor<Verifier>;
157
158   LLVMContext *Context;
159   const DataLayout *DL;
160   DominatorTree DT;
161
162   /// \brief When verifying a basic block, keep track of all of the
163   /// instructions we have seen so far.
164   ///
165   /// This allows us to do efficient dominance checks for the case when an
166   /// instruction has an operand that is an instruction in the same block.
167   SmallPtrSet<Instruction *, 16> InstsInThisBlock;
168
169   /// \brief Keep track of the metadata nodes that have been checked already.
170   SmallPtrSet<MDNode *, 32> MDNodes;
171
172   /// \brief The personality function referenced by the LandingPadInsts.
173   /// All LandingPadInsts within the same function must use the same
174   /// personality function.
175   const Value *PersonalityFn;
176
177 public:
178   explicit Verifier(raw_ostream &OS = dbgs())
179       : VerifierSupport(OS), Context(nullptr), DL(nullptr),
180         PersonalityFn(nullptr) {}
181
182   bool verify(const Function &F) {
183     M = F.getParent();
184     Context = &M->getContext();
185
186     // First ensure the function is well-enough formed to compute dominance
187     // information.
188     if (F.empty()) {
189       OS << "Function '" << F.getName()
190          << "' does not contain an entry block!\n";
191       return false;
192     }
193     for (Function::const_iterator I = F.begin(), E = F.end(); I != E; ++I) {
194       if (I->empty() || !I->back().isTerminator()) {
195         OS << "Basic Block in function '" << F.getName()
196            << "' does not have terminator!\n";
197         I->printAsOperand(OS, true);
198         OS << "\n";
199         return false;
200       }
201     }
202
203     // Now directly compute a dominance tree. We don't rely on the pass
204     // manager to provide this as it isolates us from a potentially
205     // out-of-date dominator tree and makes it significantly more complex to
206     // run this code outside of a pass manager.
207     // FIXME: It's really gross that we have to cast away constness here.
208     DT.recalculate(const_cast<Function &>(F));
209
210     Broken = false;
211     // FIXME: We strip const here because the inst visitor strips const.
212     visit(const_cast<Function &>(F));
213     InstsInThisBlock.clear();
214     PersonalityFn = nullptr;
215
216     return !Broken;
217   }
218
219   bool verify(const Module &M) {
220     this->M = &M;
221     Context = &M.getContext();
222     Broken = false;
223
224     // Scan through, checking all of the external function's linkage now...
225     for (Module::const_iterator I = M.begin(), E = M.end(); I != E; ++I) {
226       visitGlobalValue(*I);
227
228       // Check to make sure function prototypes are okay.
229       if (I->isDeclaration())
230         visitFunction(*I);
231     }
232
233     for (Module::const_global_iterator I = M.global_begin(), E = M.global_end();
234          I != E; ++I)
235       visitGlobalVariable(*I);
236
237     for (Module::const_alias_iterator I = M.alias_begin(), E = M.alias_end();
238          I != E; ++I)
239       visitGlobalAlias(*I);
240
241     for (Module::const_named_metadata_iterator I = M.named_metadata_begin(),
242                                                E = M.named_metadata_end();
243          I != E; ++I)
244       visitNamedMDNode(*I);
245
246     for (const StringMapEntry<Comdat> &SMEC : M.getComdatSymbolTable())
247       visitComdat(SMEC.getValue());
248
249     visitModuleFlags(M);
250     visitModuleIdents(M);
251
252     return !Broken;
253   }
254
255 private:
256   // Verification methods...
257   void visitGlobalValue(const GlobalValue &GV);
258   void visitGlobalVariable(const GlobalVariable &GV);
259   void visitGlobalAlias(const GlobalAlias &GA);
260   void visitAliaseeSubExpr(const GlobalAlias &A, const Constant &C);
261   void visitAliaseeSubExpr(SmallPtrSetImpl<const GlobalAlias *> &Visited,
262                            const GlobalAlias &A, const Constant &C);
263   void visitNamedMDNode(const NamedMDNode &NMD);
264   void visitMDNode(MDNode &MD, Function *F);
265   void visitComdat(const Comdat &C);
266   void visitModuleIdents(const Module &M);
267   void visitModuleFlags(const Module &M);
268   void visitModuleFlag(const MDNode *Op,
269                        DenseMap<const MDString *, const MDNode *> &SeenIDs,
270                        SmallVectorImpl<const MDNode *> &Requirements);
271   void visitFunction(const Function &F);
272   void visitBasicBlock(BasicBlock &BB);
273   void visitRangeMetadata(Instruction& I, MDNode* Range, Type* Ty);
274
275
276   // InstVisitor overrides...
277   using InstVisitor<Verifier>::visit;
278   void visit(Instruction &I);
279
280   void visitTruncInst(TruncInst &I);
281   void visitZExtInst(ZExtInst &I);
282   void visitSExtInst(SExtInst &I);
283   void visitFPTruncInst(FPTruncInst &I);
284   void visitFPExtInst(FPExtInst &I);
285   void visitFPToUIInst(FPToUIInst &I);
286   void visitFPToSIInst(FPToSIInst &I);
287   void visitUIToFPInst(UIToFPInst &I);
288   void visitSIToFPInst(SIToFPInst &I);
289   void visitIntToPtrInst(IntToPtrInst &I);
290   void visitPtrToIntInst(PtrToIntInst &I);
291   void visitBitCastInst(BitCastInst &I);
292   void visitAddrSpaceCastInst(AddrSpaceCastInst &I);
293   void visitPHINode(PHINode &PN);
294   void visitBinaryOperator(BinaryOperator &B);
295   void visitICmpInst(ICmpInst &IC);
296   void visitFCmpInst(FCmpInst &FC);
297   void visitExtractElementInst(ExtractElementInst &EI);
298   void visitInsertElementInst(InsertElementInst &EI);
299   void visitShuffleVectorInst(ShuffleVectorInst &EI);
300   void visitVAArgInst(VAArgInst &VAA) { visitInstruction(VAA); }
301   void visitCallInst(CallInst &CI);
302   void visitInvokeInst(InvokeInst &II);
303   void visitGetElementPtrInst(GetElementPtrInst &GEP);
304   void visitLoadInst(LoadInst &LI);
305   void visitStoreInst(StoreInst &SI);
306   void verifyDominatesUse(Instruction &I, unsigned i);
307   void visitInstruction(Instruction &I);
308   void visitTerminatorInst(TerminatorInst &I);
309   void visitBranchInst(BranchInst &BI);
310   void visitReturnInst(ReturnInst &RI);
311   void visitSwitchInst(SwitchInst &SI);
312   void visitIndirectBrInst(IndirectBrInst &BI);
313   void visitSelectInst(SelectInst &SI);
314   void visitUserOp1(Instruction &I);
315   void visitUserOp2(Instruction &I) { visitUserOp1(I); }
316   void visitIntrinsicFunctionCall(Intrinsic::ID ID, CallInst &CI);
317   void visitAtomicCmpXchgInst(AtomicCmpXchgInst &CXI);
318   void visitAtomicRMWInst(AtomicRMWInst &RMWI);
319   void visitFenceInst(FenceInst &FI);
320   void visitAllocaInst(AllocaInst &AI);
321   void visitExtractValueInst(ExtractValueInst &EVI);
322   void visitInsertValueInst(InsertValueInst &IVI);
323   void visitLandingPadInst(LandingPadInst &LPI);
324
325   void VerifyCallSite(CallSite CS);
326   void verifyMustTailCall(CallInst &CI);
327   bool PerformTypeCheck(Intrinsic::ID ID, Function *F, Type *Ty, int VT,
328                         unsigned ArgNo, std::string &Suffix);
329   bool VerifyIntrinsicType(Type *Ty, ArrayRef<Intrinsic::IITDescriptor> &Infos,
330                            SmallVectorImpl<Type *> &ArgTys);
331   bool VerifyIntrinsicIsVarArg(bool isVarArg,
332                                ArrayRef<Intrinsic::IITDescriptor> &Infos);
333   bool VerifyAttributeCount(AttributeSet Attrs, unsigned Params);
334   void VerifyAttributeTypes(AttributeSet Attrs, unsigned Idx, bool isFunction,
335                             const Value *V);
336   void VerifyParameterAttrs(AttributeSet Attrs, unsigned Idx, Type *Ty,
337                             bool isReturnValue, const Value *V);
338   void VerifyFunctionAttrs(FunctionType *FT, AttributeSet Attrs,
339                            const Value *V);
340
341   void VerifyBitcastType(const Value *V, Type *DestTy, Type *SrcTy);
342   void VerifyConstantExprBitcastType(const ConstantExpr *CE);
343 };
344 class DebugInfoVerifier : public VerifierSupport {
345 public:
346   explicit DebugInfoVerifier(raw_ostream &OS = dbgs()) : VerifierSupport(OS) {}
347
348   bool verify(const Module &M) {
349     this->M = &M;
350     verifyDebugInfo();
351     return !Broken;
352   }
353
354 private:
355   void verifyDebugInfo();
356   void processInstructions(DebugInfoFinder &Finder);
357   void processCallInst(DebugInfoFinder &Finder, const CallInst &CI);
358 };
359 } // End anonymous namespace
360
361 // Assert - We know that cond should be true, if not print an error message.
362 #define Assert(C, M) \
363   do { if (!(C)) { CheckFailed(M); return; } } while (0)
364 #define Assert1(C, M, V1) \
365   do { if (!(C)) { CheckFailed(M, V1); return; } } while (0)
366 #define Assert2(C, M, V1, V2) \
367   do { if (!(C)) { CheckFailed(M, V1, V2); return; } } while (0)
368 #define Assert3(C, M, V1, V2, V3) \
369   do { if (!(C)) { CheckFailed(M, V1, V2, V3); return; } } while (0)
370 #define Assert4(C, M, V1, V2, V3, V4) \
371   do { if (!(C)) { CheckFailed(M, V1, V2, V3, V4); return; } } while (0)
372
373 void Verifier::visit(Instruction &I) {
374   for (unsigned i = 0, e = I.getNumOperands(); i != e; ++i)
375     Assert1(I.getOperand(i) != nullptr, "Operand is null", &I);
376   InstVisitor<Verifier>::visit(I);
377 }
378
379
380 void Verifier::visitGlobalValue(const GlobalValue &GV) {
381   Assert1(!GV.isDeclaration() || GV.hasExternalLinkage() ||
382               GV.hasExternalWeakLinkage(),
383           "Global is external, but doesn't have external or weak linkage!",
384           &GV);
385
386   Assert1(GV.getAlignment() <= Value::MaximumAlignment,
387           "huge alignment values are unsupported", &GV);
388   Assert1(!GV.hasAppendingLinkage() || isa<GlobalVariable>(GV),
389           "Only global variables can have appending linkage!", &GV);
390
391   if (GV.hasAppendingLinkage()) {
392     const GlobalVariable *GVar = dyn_cast<GlobalVariable>(&GV);
393     Assert1(GVar && GVar->getType()->getElementType()->isArrayTy(),
394             "Only global arrays can have appending linkage!", GVar);
395   }
396 }
397
398 void Verifier::visitGlobalVariable(const GlobalVariable &GV) {
399   if (GV.hasInitializer()) {
400     Assert1(GV.getInitializer()->getType() == GV.getType()->getElementType(),
401             "Global variable initializer type does not match global "
402             "variable type!", &GV);
403
404     // If the global has common linkage, it must have a zero initializer and
405     // cannot be constant.
406     if (GV.hasCommonLinkage()) {
407       Assert1(GV.getInitializer()->isNullValue(),
408               "'common' global must have a zero initializer!", &GV);
409       Assert1(!GV.isConstant(), "'common' global may not be marked constant!",
410               &GV);
411       Assert1(!GV.hasComdat(), "'common' global may not be in a Comdat!", &GV);
412     }
413   } else {
414     Assert1(GV.hasExternalLinkage() || GV.hasExternalWeakLinkage(),
415             "invalid linkage type for global declaration", &GV);
416   }
417
418   if (GV.hasName() && (GV.getName() == "llvm.global_ctors" ||
419                        GV.getName() == "llvm.global_dtors")) {
420     Assert1(!GV.hasInitializer() || GV.hasAppendingLinkage(),
421             "invalid linkage for intrinsic global variable", &GV);
422     // Don't worry about emitting an error for it not being an array,
423     // visitGlobalValue will complain on appending non-array.
424     if (ArrayType *ATy = dyn_cast<ArrayType>(GV.getType()->getElementType())) {
425       StructType *STy = dyn_cast<StructType>(ATy->getElementType());
426       PointerType *FuncPtrTy =
427           FunctionType::get(Type::getVoidTy(*Context), false)->getPointerTo();
428       // FIXME: Reject the 2-field form in LLVM 4.0.
429       Assert1(STy && (STy->getNumElements() == 2 ||
430                       STy->getNumElements() == 3) &&
431               STy->getTypeAtIndex(0u)->isIntegerTy(32) &&
432               STy->getTypeAtIndex(1) == FuncPtrTy,
433               "wrong type for intrinsic global variable", &GV);
434       if (STy->getNumElements() == 3) {
435         Type *ETy = STy->getTypeAtIndex(2);
436         Assert1(ETy->isPointerTy() &&
437                     cast<PointerType>(ETy)->getElementType()->isIntegerTy(8),
438                 "wrong type for intrinsic global variable", &GV);
439       }
440     }
441   }
442
443   if (GV.hasName() && (GV.getName() == "llvm.used" ||
444                        GV.getName() == "llvm.compiler.used")) {
445     Assert1(!GV.hasInitializer() || GV.hasAppendingLinkage(),
446             "invalid linkage for intrinsic global variable", &GV);
447     Type *GVType = GV.getType()->getElementType();
448     if (ArrayType *ATy = dyn_cast<ArrayType>(GVType)) {
449       PointerType *PTy = dyn_cast<PointerType>(ATy->getElementType());
450       Assert1(PTy, "wrong type for intrinsic global variable", &GV);
451       if (GV.hasInitializer()) {
452         const Constant *Init = GV.getInitializer();
453         const ConstantArray *InitArray = dyn_cast<ConstantArray>(Init);
454         Assert1(InitArray, "wrong initalizer for intrinsic global variable",
455                 Init);
456         for (unsigned i = 0, e = InitArray->getNumOperands(); i != e; ++i) {
457           Value *V = Init->getOperand(i)->stripPointerCastsNoFollowAliases();
458           Assert1(
459               isa<GlobalVariable>(V) || isa<Function>(V) || isa<GlobalAlias>(V),
460               "invalid llvm.used member", V);
461           Assert1(V->hasName(), "members of llvm.used must be named", V);
462         }
463       }
464     }
465   }
466
467   Assert1(!GV.hasDLLImportStorageClass() ||
468           (GV.isDeclaration() && GV.hasExternalLinkage()) ||
469           GV.hasAvailableExternallyLinkage(),
470           "Global is marked as dllimport, but not external", &GV);
471
472   if (!GV.hasInitializer()) {
473     visitGlobalValue(GV);
474     return;
475   }
476
477   // Walk any aggregate initializers looking for bitcasts between address spaces
478   SmallPtrSet<const Value *, 4> Visited;
479   SmallVector<const Value *, 4> WorkStack;
480   WorkStack.push_back(cast<Value>(GV.getInitializer()));
481
482   while (!WorkStack.empty()) {
483     const Value *V = WorkStack.pop_back_val();
484     if (!Visited.insert(V).second)
485       continue;
486
487     if (const User *U = dyn_cast<User>(V)) {
488       for (unsigned I = 0, N = U->getNumOperands(); I != N; ++I)
489         WorkStack.push_back(U->getOperand(I));
490     }
491
492     if (const ConstantExpr *CE = dyn_cast<ConstantExpr>(V)) {
493       VerifyConstantExprBitcastType(CE);
494       if (Broken)
495         return;
496     }
497   }
498
499   visitGlobalValue(GV);
500 }
501
502 void Verifier::visitAliaseeSubExpr(const GlobalAlias &GA, const Constant &C) {
503   SmallPtrSet<const GlobalAlias*, 4> Visited;
504   Visited.insert(&GA);
505   visitAliaseeSubExpr(Visited, GA, C);
506 }
507
508 void Verifier::visitAliaseeSubExpr(SmallPtrSetImpl<const GlobalAlias*> &Visited,
509                                    const GlobalAlias &GA, const Constant &C) {
510   if (const auto *GV = dyn_cast<GlobalValue>(&C)) {
511     Assert1(!GV->isDeclaration(), "Alias must point to a definition", &GA);
512
513     if (const auto *GA2 = dyn_cast<GlobalAlias>(GV)) {
514       Assert1(Visited.insert(GA2).second, "Aliases cannot form a cycle", &GA);
515
516       Assert1(!GA2->mayBeOverridden(), "Alias cannot point to a weak alias",
517               &GA);
518     } else {
519       // Only continue verifying subexpressions of GlobalAliases.
520       // Do not recurse into global initializers.
521       return;
522     }
523   }
524
525   if (const auto *CE = dyn_cast<ConstantExpr>(&C))
526     VerifyConstantExprBitcastType(CE);
527
528   for (const Use &U : C.operands()) {
529     Value *V = &*U;
530     if (const auto *GA2 = dyn_cast<GlobalAlias>(V))
531       visitAliaseeSubExpr(Visited, GA, *GA2->getAliasee());
532     else if (const auto *C2 = dyn_cast<Constant>(V))
533       visitAliaseeSubExpr(Visited, GA, *C2);
534   }
535 }
536
537 void Verifier::visitGlobalAlias(const GlobalAlias &GA) {
538   Assert1(!GA.getName().empty(),
539           "Alias name cannot be empty!", &GA);
540   Assert1(GlobalAlias::isValidLinkage(GA.getLinkage()),
541           "Alias should have private, internal, linkonce, weak, linkonce_odr, "
542           "weak_odr, or external linkage!",
543           &GA);
544   const Constant *Aliasee = GA.getAliasee();
545   Assert1(Aliasee, "Aliasee cannot be NULL!", &GA);
546   Assert1(GA.getType() == Aliasee->getType(),
547           "Alias and aliasee types should match!", &GA);
548
549   Assert1(isa<GlobalValue>(Aliasee) || isa<ConstantExpr>(Aliasee),
550           "Aliasee should be either GlobalValue or ConstantExpr", &GA);
551
552   visitAliaseeSubExpr(GA, *Aliasee);
553
554   visitGlobalValue(GA);
555 }
556
557 void Verifier::visitNamedMDNode(const NamedMDNode &NMD) {
558   for (unsigned i = 0, e = NMD.getNumOperands(); i != e; ++i) {
559     MDNode *MD = NMD.getOperand(i);
560     if (!MD)
561       continue;
562
563     Assert1(!MD->isFunctionLocal(),
564             "Named metadata operand cannot be function local!", MD);
565     visitMDNode(*MD, nullptr);
566   }
567 }
568
569 void Verifier::visitMDNode(MDNode &MD, Function *F) {
570   // Only visit each node once.  Metadata can be mutually recursive, so this
571   // avoids infinite recursion here, as well as being an optimization.
572   if (!MDNodes.insert(&MD).second)
573     return;
574
575   for (unsigned i = 0, e = MD.getNumOperands(); i != e; ++i) {
576     Value *Op = MD.getOperand(i);
577     if (!Op)
578       continue;
579     if (isa<Constant>(Op) || isa<MDString>(Op))
580       continue;
581     if (MDNode *N = dyn_cast<MDNode>(Op)) {
582       Assert2(MD.isFunctionLocal() || !N->isFunctionLocal(),
583               "Global metadata operand cannot be function local!", &MD, N);
584       visitMDNode(*N, F);
585       continue;
586     }
587     Assert2(MD.isFunctionLocal(), "Invalid operand for global metadata!", &MD, Op);
588
589     // If this was an instruction, bb, or argument, verify that it is in the
590     // function that we expect.
591     Function *ActualF = nullptr;
592     if (Instruction *I = dyn_cast<Instruction>(Op))
593       ActualF = I->getParent()->getParent();
594     else if (BasicBlock *BB = dyn_cast<BasicBlock>(Op))
595       ActualF = BB->getParent();
596     else if (Argument *A = dyn_cast<Argument>(Op))
597       ActualF = A->getParent();
598     assert(ActualF && "Unimplemented function local metadata case!");
599
600     Assert2(ActualF == F, "function-local metadata used in wrong function",
601             &MD, Op);
602   }
603 }
604
605 void Verifier::visitComdat(const Comdat &C) {
606   // All Comdat::SelectionKind values other than Comdat::Any require a
607   // GlobalValue with the same name as the Comdat.
608   const GlobalValue *GV = M->getNamedValue(C.getName());
609   if (C.getSelectionKind() != Comdat::Any)
610     Assert1(GV,
611             "comdat selection kind requires a global value with the same name",
612             &C);
613   // The Module is invalid if the GlobalValue has private linkage.  Entities
614   // with private linkage don't have entries in the symbol table.
615   if (GV)
616     Assert1(!GV->hasPrivateLinkage(), "comdat global value has private linkage",
617             GV);
618 }
619
620 void Verifier::visitModuleIdents(const Module &M) {
621   const NamedMDNode *Idents = M.getNamedMetadata("llvm.ident");
622   if (!Idents) 
623     return;
624   
625   // llvm.ident takes a list of metadata entry. Each entry has only one string.
626   // Scan each llvm.ident entry and make sure that this requirement is met.
627   for (unsigned i = 0, e = Idents->getNumOperands(); i != e; ++i) {
628     const MDNode *N = Idents->getOperand(i);
629     Assert1(N->getNumOperands() == 1,
630             "incorrect number of operands in llvm.ident metadata", N);
631     Assert1(isa<MDString>(N->getOperand(0)),
632             ("invalid value for llvm.ident metadata entry operand"
633              "(the operand should be a string)"),
634             N->getOperand(0));
635   } 
636 }
637
638 void Verifier::visitModuleFlags(const Module &M) {
639   const NamedMDNode *Flags = M.getModuleFlagsMetadata();
640   if (!Flags) return;
641
642   // Scan each flag, and track the flags and requirements.
643   DenseMap<const MDString*, const MDNode*> SeenIDs;
644   SmallVector<const MDNode*, 16> Requirements;
645   for (unsigned I = 0, E = Flags->getNumOperands(); I != E; ++I) {
646     visitModuleFlag(Flags->getOperand(I), SeenIDs, Requirements);
647   }
648
649   // Validate that the requirements in the module are valid.
650   for (unsigned I = 0, E = Requirements.size(); I != E; ++I) {
651     const MDNode *Requirement = Requirements[I];
652     const MDString *Flag = cast<MDString>(Requirement->getOperand(0));
653     const Value *ReqValue = Requirement->getOperand(1);
654
655     const MDNode *Op = SeenIDs.lookup(Flag);
656     if (!Op) {
657       CheckFailed("invalid requirement on flag, flag is not present in module",
658                   Flag);
659       continue;
660     }
661
662     if (Op->getOperand(2) != ReqValue) {
663       CheckFailed(("invalid requirement on flag, "
664                    "flag does not have the required value"),
665                   Flag);
666       continue;
667     }
668   }
669 }
670
671 void
672 Verifier::visitModuleFlag(const MDNode *Op,
673                           DenseMap<const MDString *, const MDNode *> &SeenIDs,
674                           SmallVectorImpl<const MDNode *> &Requirements) {
675   // Each module flag should have three arguments, the merge behavior (a
676   // constant int), the flag ID (an MDString), and the value.
677   Assert1(Op->getNumOperands() == 3,
678           "incorrect number of operands in module flag", Op);
679   Module::ModFlagBehavior MFB;
680   if (!Module::isValidModFlagBehavior(Op->getOperand(0), MFB)) {
681     Assert1(
682         dyn_cast<ConstantInt>(Op->getOperand(0)),
683         "invalid behavior operand in module flag (expected constant integer)",
684         Op->getOperand(0));
685     Assert1(false,
686             "invalid behavior operand in module flag (unexpected constant)",
687             Op->getOperand(0));
688   }
689   MDString *ID = dyn_cast<MDString>(Op->getOperand(1));
690   Assert1(ID,
691           "invalid ID operand in module flag (expected metadata string)",
692           Op->getOperand(1));
693
694   // Sanity check the values for behaviors with additional requirements.
695   switch (MFB) {
696   case Module::Error:
697   case Module::Warning:
698   case Module::Override:
699     // These behavior types accept any value.
700     break;
701
702   case Module::Require: {
703     // The value should itself be an MDNode with two operands, a flag ID (an
704     // MDString), and a value.
705     MDNode *Value = dyn_cast<MDNode>(Op->getOperand(2));
706     Assert1(Value && Value->getNumOperands() == 2,
707             "invalid value for 'require' module flag (expected metadata pair)",
708             Op->getOperand(2));
709     Assert1(isa<MDString>(Value->getOperand(0)),
710             ("invalid value for 'require' module flag "
711              "(first value operand should be a string)"),
712             Value->getOperand(0));
713
714     // Append it to the list of requirements, to check once all module flags are
715     // scanned.
716     Requirements.push_back(Value);
717     break;
718   }
719
720   case Module::Append:
721   case Module::AppendUnique: {
722     // These behavior types require the operand be an MDNode.
723     Assert1(isa<MDNode>(Op->getOperand(2)),
724             "invalid value for 'append'-type module flag "
725             "(expected a metadata node)", Op->getOperand(2));
726     break;
727   }
728   }
729
730   // Unless this is a "requires" flag, check the ID is unique.
731   if (MFB != Module::Require) {
732     bool Inserted = SeenIDs.insert(std::make_pair(ID, Op)).second;
733     Assert1(Inserted,
734             "module flag identifiers must be unique (or of 'require' type)",
735             ID);
736   }
737 }
738
739 void Verifier::VerifyAttributeTypes(AttributeSet Attrs, unsigned Idx,
740                                     bool isFunction, const Value *V) {
741   unsigned Slot = ~0U;
742   for (unsigned I = 0, E = Attrs.getNumSlots(); I != E; ++I)
743     if (Attrs.getSlotIndex(I) == Idx) {
744       Slot = I;
745       break;
746     }
747
748   assert(Slot != ~0U && "Attribute set inconsistency!");
749
750   for (AttributeSet::iterator I = Attrs.begin(Slot), E = Attrs.end(Slot);
751          I != E; ++I) {
752     if (I->isStringAttribute())
753       continue;
754
755     if (I->getKindAsEnum() == Attribute::NoReturn ||
756         I->getKindAsEnum() == Attribute::NoUnwind ||
757         I->getKindAsEnum() == Attribute::NoInline ||
758         I->getKindAsEnum() == Attribute::AlwaysInline ||
759         I->getKindAsEnum() == Attribute::OptimizeForSize ||
760         I->getKindAsEnum() == Attribute::StackProtect ||
761         I->getKindAsEnum() == Attribute::StackProtectReq ||
762         I->getKindAsEnum() == Attribute::StackProtectStrong ||
763         I->getKindAsEnum() == Attribute::NoRedZone ||
764         I->getKindAsEnum() == Attribute::NoImplicitFloat ||
765         I->getKindAsEnum() == Attribute::Naked ||
766         I->getKindAsEnum() == Attribute::InlineHint ||
767         I->getKindAsEnum() == Attribute::StackAlignment ||
768         I->getKindAsEnum() == Attribute::UWTable ||
769         I->getKindAsEnum() == Attribute::NonLazyBind ||
770         I->getKindAsEnum() == Attribute::ReturnsTwice ||
771         I->getKindAsEnum() == Attribute::SanitizeAddress ||
772         I->getKindAsEnum() == Attribute::SanitizeThread ||
773         I->getKindAsEnum() == Attribute::SanitizeMemory ||
774         I->getKindAsEnum() == Attribute::MinSize ||
775         I->getKindAsEnum() == Attribute::NoDuplicate ||
776         I->getKindAsEnum() == Attribute::Builtin ||
777         I->getKindAsEnum() == Attribute::NoBuiltin ||
778         I->getKindAsEnum() == Attribute::Cold ||
779         I->getKindAsEnum() == Attribute::OptimizeNone ||
780         I->getKindAsEnum() == Attribute::JumpTable) {
781       if (!isFunction) {
782         CheckFailed("Attribute '" + I->getAsString() +
783                     "' only applies to functions!", V);
784         return;
785       }
786     } else if (I->getKindAsEnum() == Attribute::ReadOnly ||
787                I->getKindAsEnum() == Attribute::ReadNone) {
788       if (Idx == 0) {
789         CheckFailed("Attribute '" + I->getAsString() +
790                     "' does not apply to function returns");
791         return;
792       }
793     } else if (isFunction) {
794       CheckFailed("Attribute '" + I->getAsString() +
795                   "' does not apply to functions!", V);
796       return;
797     }
798   }
799 }
800
801 // VerifyParameterAttrs - Check the given attributes for an argument or return
802 // value of the specified type.  The value V is printed in error messages.
803 void Verifier::VerifyParameterAttrs(AttributeSet Attrs, unsigned Idx, Type *Ty,
804                                     bool isReturnValue, const Value *V) {
805   if (!Attrs.hasAttributes(Idx))
806     return;
807
808   VerifyAttributeTypes(Attrs, Idx, false, V);
809
810   if (isReturnValue)
811     Assert1(!Attrs.hasAttribute(Idx, Attribute::ByVal) &&
812             !Attrs.hasAttribute(Idx, Attribute::Nest) &&
813             !Attrs.hasAttribute(Idx, Attribute::StructRet) &&
814             !Attrs.hasAttribute(Idx, Attribute::NoCapture) &&
815             !Attrs.hasAttribute(Idx, Attribute::Returned) &&
816             !Attrs.hasAttribute(Idx, Attribute::InAlloca),
817             "Attributes 'byval', 'inalloca', 'nest', 'sret', 'nocapture', and "
818             "'returned' do not apply to return values!", V);
819
820   // Check for mutually incompatible attributes.  Only inreg is compatible with
821   // sret.
822   unsigned AttrCount = 0;
823   AttrCount += Attrs.hasAttribute(Idx, Attribute::ByVal);
824   AttrCount += Attrs.hasAttribute(Idx, Attribute::InAlloca);
825   AttrCount += Attrs.hasAttribute(Idx, Attribute::StructRet) ||
826                Attrs.hasAttribute(Idx, Attribute::InReg);
827   AttrCount += Attrs.hasAttribute(Idx, Attribute::Nest);
828   Assert1(AttrCount <= 1, "Attributes 'byval', 'inalloca', 'inreg', 'nest', "
829                           "and 'sret' are incompatible!", V);
830
831   Assert1(!(Attrs.hasAttribute(Idx, Attribute::InAlloca) &&
832             Attrs.hasAttribute(Idx, Attribute::ReadOnly)), "Attributes "
833           "'inalloca and readonly' are incompatible!", V);
834
835   Assert1(!(Attrs.hasAttribute(Idx, Attribute::StructRet) &&
836             Attrs.hasAttribute(Idx, Attribute::Returned)), "Attributes "
837           "'sret and returned' are incompatible!", V);
838
839   Assert1(!(Attrs.hasAttribute(Idx, Attribute::ZExt) &&
840             Attrs.hasAttribute(Idx, Attribute::SExt)), "Attributes "
841           "'zeroext and signext' are incompatible!", V);
842
843   Assert1(!(Attrs.hasAttribute(Idx, Attribute::ReadNone) &&
844             Attrs.hasAttribute(Idx, Attribute::ReadOnly)), "Attributes "
845           "'readnone and readonly' are incompatible!", V);
846
847   Assert1(!(Attrs.hasAttribute(Idx, Attribute::NoInline) &&
848             Attrs.hasAttribute(Idx, Attribute::AlwaysInline)), "Attributes "
849           "'noinline and alwaysinline' are incompatible!", V);
850
851   Assert1(!AttrBuilder(Attrs, Idx).
852             hasAttributes(AttributeFuncs::typeIncompatible(Ty, Idx), Idx),
853           "Wrong types for attribute: " +
854           AttributeFuncs::typeIncompatible(Ty, Idx).getAsString(Idx), V);
855
856   if (PointerType *PTy = dyn_cast<PointerType>(Ty)) {
857     if (!PTy->getElementType()->isSized()) {
858       Assert1(!Attrs.hasAttribute(Idx, Attribute::ByVal) &&
859               !Attrs.hasAttribute(Idx, Attribute::InAlloca),
860               "Attributes 'byval' and 'inalloca' do not support unsized types!",
861               V);
862     }
863   } else {
864     Assert1(!Attrs.hasAttribute(Idx, Attribute::ByVal),
865             "Attribute 'byval' only applies to parameters with pointer type!",
866             V);
867   }
868 }
869
870 // VerifyFunctionAttrs - Check parameter attributes against a function type.
871 // The value V is printed in error messages.
872 void Verifier::VerifyFunctionAttrs(FunctionType *FT, AttributeSet Attrs,
873                                    const Value *V) {
874   if (Attrs.isEmpty())
875     return;
876
877   bool SawNest = false;
878   bool SawReturned = false;
879   bool SawSRet = false;
880
881   for (unsigned i = 0, e = Attrs.getNumSlots(); i != e; ++i) {
882     unsigned Idx = Attrs.getSlotIndex(i);
883
884     Type *Ty;
885     if (Idx == 0)
886       Ty = FT->getReturnType();
887     else if (Idx-1 < FT->getNumParams())
888       Ty = FT->getParamType(Idx-1);
889     else
890       break;  // VarArgs attributes, verified elsewhere.
891
892     VerifyParameterAttrs(Attrs, Idx, Ty, Idx == 0, V);
893
894     if (Idx == 0)
895       continue;
896
897     if (Attrs.hasAttribute(Idx, Attribute::Nest)) {
898       Assert1(!SawNest, "More than one parameter has attribute nest!", V);
899       SawNest = true;
900     }
901
902     if (Attrs.hasAttribute(Idx, Attribute::Returned)) {
903       Assert1(!SawReturned, "More than one parameter has attribute returned!",
904               V);
905       Assert1(Ty->canLosslesslyBitCastTo(FT->getReturnType()), "Incompatible "
906               "argument and return types for 'returned' attribute", V);
907       SawReturned = true;
908     }
909
910     if (Attrs.hasAttribute(Idx, Attribute::StructRet)) {
911       Assert1(!SawSRet, "Cannot have multiple 'sret' parameters!", V);
912       Assert1(Idx == 1 || Idx == 2,
913               "Attribute 'sret' is not on first or second parameter!", V);
914       SawSRet = true;
915     }
916
917     if (Attrs.hasAttribute(Idx, Attribute::InAlloca)) {
918       Assert1(Idx == FT->getNumParams(),
919               "inalloca isn't on the last parameter!", V);
920     }
921   }
922
923   if (!Attrs.hasAttributes(AttributeSet::FunctionIndex))
924     return;
925
926   VerifyAttributeTypes(Attrs, AttributeSet::FunctionIndex, true, V);
927
928   Assert1(!(Attrs.hasAttribute(AttributeSet::FunctionIndex,
929                                Attribute::ReadNone) &&
930             Attrs.hasAttribute(AttributeSet::FunctionIndex,
931                                Attribute::ReadOnly)),
932           "Attributes 'readnone and readonly' are incompatible!", V);
933
934   Assert1(!(Attrs.hasAttribute(AttributeSet::FunctionIndex,
935                                Attribute::NoInline) &&
936             Attrs.hasAttribute(AttributeSet::FunctionIndex,
937                                Attribute::AlwaysInline)),
938           "Attributes 'noinline and alwaysinline' are incompatible!", V);
939
940   if (Attrs.hasAttribute(AttributeSet::FunctionIndex, 
941                          Attribute::OptimizeNone)) {
942     Assert1(Attrs.hasAttribute(AttributeSet::FunctionIndex,
943                                Attribute::NoInline),
944             "Attribute 'optnone' requires 'noinline'!", V);
945
946     Assert1(!Attrs.hasAttribute(AttributeSet::FunctionIndex,
947                                 Attribute::OptimizeForSize),
948             "Attributes 'optsize and optnone' are incompatible!", V);
949
950     Assert1(!Attrs.hasAttribute(AttributeSet::FunctionIndex,
951                                 Attribute::MinSize),
952             "Attributes 'minsize and optnone' are incompatible!", V);
953   }
954
955   if (Attrs.hasAttribute(AttributeSet::FunctionIndex,
956                          Attribute::JumpTable)) {
957     const GlobalValue *GV = cast<GlobalValue>(V);
958     Assert1(GV->hasUnnamedAddr(),
959             "Attribute 'jumptable' requires 'unnamed_addr'", V);
960
961   }
962 }
963
964 void Verifier::VerifyBitcastType(const Value *V, Type *DestTy, Type *SrcTy) {
965   // Get the size of the types in bits, we'll need this later
966   unsigned SrcBitSize = SrcTy->getPrimitiveSizeInBits();
967   unsigned DestBitSize = DestTy->getPrimitiveSizeInBits();
968
969   // BitCast implies a no-op cast of type only. No bits change.
970   // However, you can't cast pointers to anything but pointers.
971   Assert1(SrcTy->isPointerTy() == DestTy->isPointerTy(),
972           "Bitcast requires both operands to be pointer or neither", V);
973   Assert1(SrcBitSize == DestBitSize,
974           "Bitcast requires types of same width", V);
975
976   // Disallow aggregates.
977   Assert1(!SrcTy->isAggregateType(),
978           "Bitcast operand must not be aggregate", V);
979   Assert1(!DestTy->isAggregateType(),
980           "Bitcast type must not be aggregate", V);
981
982   // Without datalayout, assume all address spaces are the same size.
983   // Don't check if both types are not pointers.
984   // Skip casts between scalars and vectors.
985   if (!DL ||
986       !SrcTy->isPtrOrPtrVectorTy() ||
987       !DestTy->isPtrOrPtrVectorTy() ||
988       SrcTy->isVectorTy() != DestTy->isVectorTy()) {
989     return;
990   }
991
992   unsigned SrcAS = SrcTy->getPointerAddressSpace();
993   unsigned DstAS = DestTy->getPointerAddressSpace();
994
995   Assert1(SrcAS == DstAS,
996           "Bitcasts between pointers of different address spaces is not legal."
997           "Use AddrSpaceCast instead.", V);
998 }
999
1000 void Verifier::VerifyConstantExprBitcastType(const ConstantExpr *CE) {
1001   if (CE->getOpcode() == Instruction::BitCast) {
1002     Type *SrcTy = CE->getOperand(0)->getType();
1003     Type *DstTy = CE->getType();
1004     VerifyBitcastType(CE, DstTy, SrcTy);
1005   }
1006 }
1007
1008 bool Verifier::VerifyAttributeCount(AttributeSet Attrs, unsigned Params) {
1009   if (Attrs.getNumSlots() == 0)
1010     return true;
1011
1012   unsigned LastSlot = Attrs.getNumSlots() - 1;
1013   unsigned LastIndex = Attrs.getSlotIndex(LastSlot);
1014   if (LastIndex <= Params
1015       || (LastIndex == AttributeSet::FunctionIndex
1016           && (LastSlot == 0 || Attrs.getSlotIndex(LastSlot - 1) <= Params)))
1017     return true;
1018
1019   return false;
1020 }
1021
1022 // visitFunction - Verify that a function is ok.
1023 //
1024 void Verifier::visitFunction(const Function &F) {
1025   // Check function arguments.
1026   FunctionType *FT = F.getFunctionType();
1027   unsigned NumArgs = F.arg_size();
1028
1029   Assert1(Context == &F.getContext(),
1030           "Function context does not match Module context!", &F);
1031
1032   Assert1(!F.hasCommonLinkage(), "Functions may not have common linkage", &F);
1033   Assert2(FT->getNumParams() == NumArgs,
1034           "# formal arguments must match # of arguments for function type!",
1035           &F, FT);
1036   Assert1(F.getReturnType()->isFirstClassType() ||
1037           F.getReturnType()->isVoidTy() ||
1038           F.getReturnType()->isStructTy(),
1039           "Functions cannot return aggregate values!", &F);
1040
1041   Assert1(!F.hasStructRetAttr() || F.getReturnType()->isVoidTy(),
1042           "Invalid struct return type!", &F);
1043
1044   AttributeSet Attrs = F.getAttributes();
1045
1046   Assert1(VerifyAttributeCount(Attrs, FT->getNumParams()),
1047           "Attribute after last parameter!", &F);
1048
1049   // Check function attributes.
1050   VerifyFunctionAttrs(FT, Attrs, &F);
1051
1052   // On function declarations/definitions, we do not support the builtin
1053   // attribute. We do not check this in VerifyFunctionAttrs since that is
1054   // checking for Attributes that can/can not ever be on functions.
1055   Assert1(!Attrs.hasAttribute(AttributeSet::FunctionIndex,
1056                               Attribute::Builtin),
1057           "Attribute 'builtin' can only be applied to a callsite.", &F);
1058
1059   // Check that this function meets the restrictions on this calling convention.
1060   // Sometimes varargs is used for perfectly forwarding thunks, so some of these
1061   // restrictions can be lifted.
1062   switch (F.getCallingConv()) {
1063   default:
1064   case CallingConv::C:
1065     break;
1066   case CallingConv::Fast:
1067   case CallingConv::Cold:
1068   case CallingConv::Intel_OCL_BI:
1069   case CallingConv::PTX_Kernel:
1070   case CallingConv::PTX_Device:
1071     Assert1(!F.isVarArg(), "Calling convention does not support varargs or "
1072                            "perfect forwarding!", &F);
1073     break;
1074   }
1075
1076   bool isLLVMdotName = F.getName().size() >= 5 &&
1077                        F.getName().substr(0, 5) == "llvm.";
1078
1079   // Check that the argument values match the function type for this function...
1080   unsigned i = 0;
1081   for (Function::const_arg_iterator I = F.arg_begin(), E = F.arg_end(); I != E;
1082        ++I, ++i) {
1083     Assert2(I->getType() == FT->getParamType(i),
1084             "Argument value does not match function argument type!",
1085             I, FT->getParamType(i));
1086     Assert1(I->getType()->isFirstClassType(),
1087             "Function arguments must have first-class types!", I);
1088     if (!isLLVMdotName)
1089       Assert2(!I->getType()->isMetadataTy(),
1090               "Function takes metadata but isn't an intrinsic", I, &F);
1091   }
1092
1093   if (F.isMaterializable()) {
1094     // Function has a body somewhere we can't see.
1095   } else if (F.isDeclaration()) {
1096     Assert1(F.hasExternalLinkage() || F.hasExternalWeakLinkage(),
1097             "invalid linkage type for function declaration", &F);
1098   } else {
1099     // Verify that this function (which has a body) is not named "llvm.*".  It
1100     // is not legal to define intrinsics.
1101     Assert1(!isLLVMdotName, "llvm intrinsics cannot be defined!", &F);
1102
1103     // Check the entry node
1104     const BasicBlock *Entry = &F.getEntryBlock();
1105     Assert1(pred_begin(Entry) == pred_end(Entry),
1106             "Entry block to function must not have predecessors!", Entry);
1107
1108     // The address of the entry block cannot be taken, unless it is dead.
1109     if (Entry->hasAddressTaken()) {
1110       Assert1(!BlockAddress::lookup(Entry)->isConstantUsed(),
1111               "blockaddress may not be used with the entry block!", Entry);
1112     }
1113   }
1114
1115   // If this function is actually an intrinsic, verify that it is only used in
1116   // direct call/invokes, never having its "address taken".
1117   if (F.getIntrinsicID()) {
1118     const User *U;
1119     if (F.hasAddressTaken(&U))
1120       Assert1(0, "Invalid user of intrinsic instruction!", U);
1121   }
1122
1123   Assert1(!F.hasDLLImportStorageClass() ||
1124           (F.isDeclaration() && F.hasExternalLinkage()) ||
1125           F.hasAvailableExternallyLinkage(),
1126           "Function is marked as dllimport, but not external.", &F);
1127 }
1128
1129 // verifyBasicBlock - Verify that a basic block is well formed...
1130 //
1131 void Verifier::visitBasicBlock(BasicBlock &BB) {
1132   InstsInThisBlock.clear();
1133
1134   // Ensure that basic blocks have terminators!
1135   Assert1(BB.getTerminator(), "Basic Block does not have terminator!", &BB);
1136
1137   // Check constraints that this basic block imposes on all of the PHI nodes in
1138   // it.
1139   if (isa<PHINode>(BB.front())) {
1140     SmallVector<BasicBlock*, 8> Preds(pred_begin(&BB), pred_end(&BB));
1141     SmallVector<std::pair<BasicBlock*, Value*>, 8> Values;
1142     std::sort(Preds.begin(), Preds.end());
1143     PHINode *PN;
1144     for (BasicBlock::iterator I = BB.begin(); (PN = dyn_cast<PHINode>(I));++I) {
1145       // Ensure that PHI nodes have at least one entry!
1146       Assert1(PN->getNumIncomingValues() != 0,
1147               "PHI nodes must have at least one entry.  If the block is dead, "
1148               "the PHI should be removed!", PN);
1149       Assert1(PN->getNumIncomingValues() == Preds.size(),
1150               "PHINode should have one entry for each predecessor of its "
1151               "parent basic block!", PN);
1152
1153       // Get and sort all incoming values in the PHI node...
1154       Values.clear();
1155       Values.reserve(PN->getNumIncomingValues());
1156       for (unsigned i = 0, e = PN->getNumIncomingValues(); i != e; ++i)
1157         Values.push_back(std::make_pair(PN->getIncomingBlock(i),
1158                                         PN->getIncomingValue(i)));
1159       std::sort(Values.begin(), Values.end());
1160
1161       for (unsigned i = 0, e = Values.size(); i != e; ++i) {
1162         // Check to make sure that if there is more than one entry for a
1163         // particular basic block in this PHI node, that the incoming values are
1164         // all identical.
1165         //
1166         Assert4(i == 0 || Values[i].first  != Values[i-1].first ||
1167                 Values[i].second == Values[i-1].second,
1168                 "PHI node has multiple entries for the same basic block with "
1169                 "different incoming values!", PN, Values[i].first,
1170                 Values[i].second, Values[i-1].second);
1171
1172         // Check to make sure that the predecessors and PHI node entries are
1173         // matched up.
1174         Assert3(Values[i].first == Preds[i],
1175                 "PHI node entries do not match predecessors!", PN,
1176                 Values[i].first, Preds[i]);
1177       }
1178     }
1179   }
1180
1181   // Check that all instructions have their parent pointers set up correctly.
1182   for (auto &I : BB)
1183   {
1184     Assert(I.getParent() == &BB, "Instruction has bogus parent pointer!");
1185   }
1186 }
1187
1188 void Verifier::visitTerminatorInst(TerminatorInst &I) {
1189   // Ensure that terminators only exist at the end of the basic block.
1190   Assert1(&I == I.getParent()->getTerminator(),
1191           "Terminator found in the middle of a basic block!", I.getParent());
1192   visitInstruction(I);
1193 }
1194
1195 void Verifier::visitBranchInst(BranchInst &BI) {
1196   if (BI.isConditional()) {
1197     Assert2(BI.getCondition()->getType()->isIntegerTy(1),
1198             "Branch condition is not 'i1' type!", &BI, BI.getCondition());
1199   }
1200   visitTerminatorInst(BI);
1201 }
1202
1203 void Verifier::visitReturnInst(ReturnInst &RI) {
1204   Function *F = RI.getParent()->getParent();
1205   unsigned N = RI.getNumOperands();
1206   if (F->getReturnType()->isVoidTy())
1207     Assert2(N == 0,
1208             "Found return instr that returns non-void in Function of void "
1209             "return type!", &RI, F->getReturnType());
1210   else
1211     Assert2(N == 1 && F->getReturnType() == RI.getOperand(0)->getType(),
1212             "Function return type does not match operand "
1213             "type of return inst!", &RI, F->getReturnType());
1214
1215   // Check to make sure that the return value has necessary properties for
1216   // terminators...
1217   visitTerminatorInst(RI);
1218 }
1219
1220 void Verifier::visitSwitchInst(SwitchInst &SI) {
1221   // Check to make sure that all of the constants in the switch instruction
1222   // have the same type as the switched-on value.
1223   Type *SwitchTy = SI.getCondition()->getType();
1224   SmallPtrSet<ConstantInt*, 32> Constants;
1225   for (SwitchInst::CaseIt i = SI.case_begin(), e = SI.case_end(); i != e; ++i) {
1226     Assert1(i.getCaseValue()->getType() == SwitchTy,
1227             "Switch constants must all be same type as switch value!", &SI);
1228     Assert2(Constants.insert(i.getCaseValue()).second,
1229             "Duplicate integer as switch case", &SI, i.getCaseValue());
1230   }
1231
1232   visitTerminatorInst(SI);
1233 }
1234
1235 void Verifier::visitIndirectBrInst(IndirectBrInst &BI) {
1236   Assert1(BI.getAddress()->getType()->isPointerTy(),
1237           "Indirectbr operand must have pointer type!", &BI);
1238   for (unsigned i = 0, e = BI.getNumDestinations(); i != e; ++i)
1239     Assert1(BI.getDestination(i)->getType()->isLabelTy(),
1240             "Indirectbr destinations must all have pointer type!", &BI);
1241
1242   visitTerminatorInst(BI);
1243 }
1244
1245 void Verifier::visitSelectInst(SelectInst &SI) {
1246   Assert1(!SelectInst::areInvalidOperands(SI.getOperand(0), SI.getOperand(1),
1247                                           SI.getOperand(2)),
1248           "Invalid operands for select instruction!", &SI);
1249
1250   Assert1(SI.getTrueValue()->getType() == SI.getType(),
1251           "Select values must have same type as select instruction!", &SI);
1252   visitInstruction(SI);
1253 }
1254
1255 /// visitUserOp1 - User defined operators shouldn't live beyond the lifetime of
1256 /// a pass, if any exist, it's an error.
1257 ///
1258 void Verifier::visitUserOp1(Instruction &I) {
1259   Assert1(0, "User-defined operators should not live outside of a pass!", &I);
1260 }
1261
1262 void Verifier::visitTruncInst(TruncInst &I) {
1263   // Get the source and destination types
1264   Type *SrcTy = I.getOperand(0)->getType();
1265   Type *DestTy = I.getType();
1266
1267   // Get the size of the types in bits, we'll need this later
1268   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
1269   unsigned DestBitSize = DestTy->getScalarSizeInBits();
1270
1271   Assert1(SrcTy->isIntOrIntVectorTy(), "Trunc only operates on integer", &I);
1272   Assert1(DestTy->isIntOrIntVectorTy(), "Trunc only produces integer", &I);
1273   Assert1(SrcTy->isVectorTy() == DestTy->isVectorTy(),
1274           "trunc source and destination must both be a vector or neither", &I);
1275   Assert1(SrcBitSize > DestBitSize,"DestTy too big for Trunc", &I);
1276
1277   visitInstruction(I);
1278 }
1279
1280 void Verifier::visitZExtInst(ZExtInst &I) {
1281   // Get the source and destination types
1282   Type *SrcTy = I.getOperand(0)->getType();
1283   Type *DestTy = I.getType();
1284
1285   // Get the size of the types in bits, we'll need this later
1286   Assert1(SrcTy->isIntOrIntVectorTy(), "ZExt only operates on integer", &I);
1287   Assert1(DestTy->isIntOrIntVectorTy(), "ZExt only produces an integer", &I);
1288   Assert1(SrcTy->isVectorTy() == DestTy->isVectorTy(),
1289           "zext source and destination must both be a vector or neither", &I);
1290   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
1291   unsigned DestBitSize = DestTy->getScalarSizeInBits();
1292
1293   Assert1(SrcBitSize < DestBitSize,"Type too small for ZExt", &I);
1294
1295   visitInstruction(I);
1296 }
1297
1298 void Verifier::visitSExtInst(SExtInst &I) {
1299   // Get the source and destination types
1300   Type *SrcTy = I.getOperand(0)->getType();
1301   Type *DestTy = I.getType();
1302
1303   // Get the size of the types in bits, we'll need this later
1304   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
1305   unsigned DestBitSize = DestTy->getScalarSizeInBits();
1306
1307   Assert1(SrcTy->isIntOrIntVectorTy(), "SExt only operates on integer", &I);
1308   Assert1(DestTy->isIntOrIntVectorTy(), "SExt only produces an integer", &I);
1309   Assert1(SrcTy->isVectorTy() == DestTy->isVectorTy(),
1310           "sext source and destination must both be a vector or neither", &I);
1311   Assert1(SrcBitSize < DestBitSize,"Type too small for SExt", &I);
1312
1313   visitInstruction(I);
1314 }
1315
1316 void Verifier::visitFPTruncInst(FPTruncInst &I) {
1317   // Get the source and destination types
1318   Type *SrcTy = I.getOperand(0)->getType();
1319   Type *DestTy = I.getType();
1320   // Get the size of the types in bits, we'll need this later
1321   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
1322   unsigned DestBitSize = DestTy->getScalarSizeInBits();
1323
1324   Assert1(SrcTy->isFPOrFPVectorTy(),"FPTrunc only operates on FP", &I);
1325   Assert1(DestTy->isFPOrFPVectorTy(),"FPTrunc only produces an FP", &I);
1326   Assert1(SrcTy->isVectorTy() == DestTy->isVectorTy(),
1327           "fptrunc source and destination must both be a vector or neither",&I);
1328   Assert1(SrcBitSize > DestBitSize,"DestTy too big for FPTrunc", &I);
1329
1330   visitInstruction(I);
1331 }
1332
1333 void Verifier::visitFPExtInst(FPExtInst &I) {
1334   // Get the source and destination types
1335   Type *SrcTy = I.getOperand(0)->getType();
1336   Type *DestTy = I.getType();
1337
1338   // Get the size of the types in bits, we'll need this later
1339   unsigned SrcBitSize = SrcTy->getScalarSizeInBits();
1340   unsigned DestBitSize = DestTy->getScalarSizeInBits();
1341
1342   Assert1(SrcTy->isFPOrFPVectorTy(),"FPExt only operates on FP", &I);
1343   Assert1(DestTy->isFPOrFPVectorTy(),"FPExt only produces an FP", &I);
1344   Assert1(SrcTy->isVectorTy() == DestTy->isVectorTy(),
1345           "fpext source and destination must both be a vector or neither", &I);
1346   Assert1(SrcBitSize < DestBitSize,"DestTy too small for FPExt", &I);
1347
1348   visitInstruction(I);
1349 }
1350
1351 void Verifier::visitUIToFPInst(UIToFPInst &I) {
1352   // Get the source and destination types
1353   Type *SrcTy = I.getOperand(0)->getType();
1354   Type *DestTy = I.getType();
1355
1356   bool SrcVec = SrcTy->isVectorTy();
1357   bool DstVec = DestTy->isVectorTy();
1358
1359   Assert1(SrcVec == DstVec,
1360           "UIToFP source and dest must both be vector or scalar", &I);
1361   Assert1(SrcTy->isIntOrIntVectorTy(),
1362           "UIToFP source must be integer or integer vector", &I);
1363   Assert1(DestTy->isFPOrFPVectorTy(),
1364           "UIToFP result must be FP or FP vector", &I);
1365
1366   if (SrcVec && DstVec)
1367     Assert1(cast<VectorType>(SrcTy)->getNumElements() ==
1368             cast<VectorType>(DestTy)->getNumElements(),
1369             "UIToFP source and dest vector length mismatch", &I);
1370
1371   visitInstruction(I);
1372 }
1373
1374 void Verifier::visitSIToFPInst(SIToFPInst &I) {
1375   // Get the source and destination types
1376   Type *SrcTy = I.getOperand(0)->getType();
1377   Type *DestTy = I.getType();
1378
1379   bool SrcVec = SrcTy->isVectorTy();
1380   bool DstVec = DestTy->isVectorTy();
1381
1382   Assert1(SrcVec == DstVec,
1383           "SIToFP source and dest must both be vector or scalar", &I);
1384   Assert1(SrcTy->isIntOrIntVectorTy(),
1385           "SIToFP source must be integer or integer vector", &I);
1386   Assert1(DestTy->isFPOrFPVectorTy(),
1387           "SIToFP result must be FP or FP vector", &I);
1388
1389   if (SrcVec && DstVec)
1390     Assert1(cast<VectorType>(SrcTy)->getNumElements() ==
1391             cast<VectorType>(DestTy)->getNumElements(),
1392             "SIToFP source and dest vector length mismatch", &I);
1393
1394   visitInstruction(I);
1395 }
1396
1397 void Verifier::visitFPToUIInst(FPToUIInst &I) {
1398   // Get the source and destination types
1399   Type *SrcTy = I.getOperand(0)->getType();
1400   Type *DestTy = I.getType();
1401
1402   bool SrcVec = SrcTy->isVectorTy();
1403   bool DstVec = DestTy->isVectorTy();
1404
1405   Assert1(SrcVec == DstVec,
1406           "FPToUI source and dest must both be vector or scalar", &I);
1407   Assert1(SrcTy->isFPOrFPVectorTy(), "FPToUI source must be FP or FP vector",
1408           &I);
1409   Assert1(DestTy->isIntOrIntVectorTy(),
1410           "FPToUI result must be integer or integer vector", &I);
1411
1412   if (SrcVec && DstVec)
1413     Assert1(cast<VectorType>(SrcTy)->getNumElements() ==
1414             cast<VectorType>(DestTy)->getNumElements(),
1415             "FPToUI source and dest vector length mismatch", &I);
1416
1417   visitInstruction(I);
1418 }
1419
1420 void Verifier::visitFPToSIInst(FPToSIInst &I) {
1421   // Get the source and destination types
1422   Type *SrcTy = I.getOperand(0)->getType();
1423   Type *DestTy = I.getType();
1424
1425   bool SrcVec = SrcTy->isVectorTy();
1426   bool DstVec = DestTy->isVectorTy();
1427
1428   Assert1(SrcVec == DstVec,
1429           "FPToSI source and dest must both be vector or scalar", &I);
1430   Assert1(SrcTy->isFPOrFPVectorTy(),
1431           "FPToSI source must be FP or FP vector", &I);
1432   Assert1(DestTy->isIntOrIntVectorTy(),
1433           "FPToSI result must be integer or integer vector", &I);
1434
1435   if (SrcVec && DstVec)
1436     Assert1(cast<VectorType>(SrcTy)->getNumElements() ==
1437             cast<VectorType>(DestTy)->getNumElements(),
1438             "FPToSI source and dest vector length mismatch", &I);
1439
1440   visitInstruction(I);
1441 }
1442
1443 void Verifier::visitPtrToIntInst(PtrToIntInst &I) {
1444   // Get the source and destination types
1445   Type *SrcTy = I.getOperand(0)->getType();
1446   Type *DestTy = I.getType();
1447
1448   Assert1(SrcTy->getScalarType()->isPointerTy(),
1449           "PtrToInt source must be pointer", &I);
1450   Assert1(DestTy->getScalarType()->isIntegerTy(),
1451           "PtrToInt result must be integral", &I);
1452   Assert1(SrcTy->isVectorTy() == DestTy->isVectorTy(),
1453           "PtrToInt type mismatch", &I);
1454
1455   if (SrcTy->isVectorTy()) {
1456     VectorType *VSrc = dyn_cast<VectorType>(SrcTy);
1457     VectorType *VDest = dyn_cast<VectorType>(DestTy);
1458     Assert1(VSrc->getNumElements() == VDest->getNumElements(),
1459           "PtrToInt Vector width mismatch", &I);
1460   }
1461
1462   visitInstruction(I);
1463 }
1464
1465 void Verifier::visitIntToPtrInst(IntToPtrInst &I) {
1466   // Get the source and destination types
1467   Type *SrcTy = I.getOperand(0)->getType();
1468   Type *DestTy = I.getType();
1469
1470   Assert1(SrcTy->getScalarType()->isIntegerTy(),
1471           "IntToPtr source must be an integral", &I);
1472   Assert1(DestTy->getScalarType()->isPointerTy(),
1473           "IntToPtr result must be a pointer",&I);
1474   Assert1(SrcTy->isVectorTy() == DestTy->isVectorTy(),
1475           "IntToPtr type mismatch", &I);
1476   if (SrcTy->isVectorTy()) {
1477     VectorType *VSrc = dyn_cast<VectorType>(SrcTy);
1478     VectorType *VDest = dyn_cast<VectorType>(DestTy);
1479     Assert1(VSrc->getNumElements() == VDest->getNumElements(),
1480           "IntToPtr Vector width mismatch", &I);
1481   }
1482   visitInstruction(I);
1483 }
1484
1485 void Verifier::visitBitCastInst(BitCastInst &I) {
1486   Type *SrcTy = I.getOperand(0)->getType();
1487   Type *DestTy = I.getType();
1488   VerifyBitcastType(&I, DestTy, SrcTy);
1489   visitInstruction(I);
1490 }
1491
1492 void Verifier::visitAddrSpaceCastInst(AddrSpaceCastInst &I) {
1493   Type *SrcTy = I.getOperand(0)->getType();
1494   Type *DestTy = I.getType();
1495
1496   Assert1(SrcTy->isPtrOrPtrVectorTy(),
1497           "AddrSpaceCast source must be a pointer", &I);
1498   Assert1(DestTy->isPtrOrPtrVectorTy(),
1499           "AddrSpaceCast result must be a pointer", &I);
1500   Assert1(SrcTy->getPointerAddressSpace() != DestTy->getPointerAddressSpace(),
1501           "AddrSpaceCast must be between different address spaces", &I);
1502   if (SrcTy->isVectorTy())
1503     Assert1(SrcTy->getVectorNumElements() == DestTy->getVectorNumElements(),
1504             "AddrSpaceCast vector pointer number of elements mismatch", &I);
1505   visitInstruction(I);
1506 }
1507
1508 /// visitPHINode - Ensure that a PHI node is well formed.
1509 ///
1510 void Verifier::visitPHINode(PHINode &PN) {
1511   // Ensure that the PHI nodes are all grouped together at the top of the block.
1512   // This can be tested by checking whether the instruction before this is
1513   // either nonexistent (because this is begin()) or is a PHI node.  If not,
1514   // then there is some other instruction before a PHI.
1515   Assert2(&PN == &PN.getParent()->front() ||
1516           isa<PHINode>(--BasicBlock::iterator(&PN)),
1517           "PHI nodes not grouped at top of basic block!",
1518           &PN, PN.getParent());
1519
1520   // Check that all of the values of the PHI node have the same type as the
1521   // result, and that the incoming blocks are really basic blocks.
1522   for (unsigned i = 0, e = PN.getNumIncomingValues(); i != e; ++i) {
1523     Assert1(PN.getType() == PN.getIncomingValue(i)->getType(),
1524             "PHI node operands are not the same type as the result!", &PN);
1525   }
1526
1527   // All other PHI node constraints are checked in the visitBasicBlock method.
1528
1529   visitInstruction(PN);
1530 }
1531
1532 void Verifier::VerifyCallSite(CallSite CS) {
1533   Instruction *I = CS.getInstruction();
1534
1535   Assert1(CS.getCalledValue()->getType()->isPointerTy(),
1536           "Called function must be a pointer!", I);
1537   PointerType *FPTy = cast<PointerType>(CS.getCalledValue()->getType());
1538
1539   Assert1(FPTy->getElementType()->isFunctionTy(),
1540           "Called function is not pointer to function type!", I);
1541   FunctionType *FTy = cast<FunctionType>(FPTy->getElementType());
1542
1543   // Verify that the correct number of arguments are being passed
1544   if (FTy->isVarArg())
1545     Assert1(CS.arg_size() >= FTy->getNumParams(),
1546             "Called function requires more parameters than were provided!",I);
1547   else
1548     Assert1(CS.arg_size() == FTy->getNumParams(),
1549             "Incorrect number of arguments passed to called function!", I);
1550
1551   // Verify that all arguments to the call match the function type.
1552   for (unsigned i = 0, e = FTy->getNumParams(); i != e; ++i)
1553     Assert3(CS.getArgument(i)->getType() == FTy->getParamType(i),
1554             "Call parameter type does not match function signature!",
1555             CS.getArgument(i), FTy->getParamType(i), I);
1556
1557   AttributeSet Attrs = CS.getAttributes();
1558
1559   Assert1(VerifyAttributeCount(Attrs, CS.arg_size()),
1560           "Attribute after last parameter!", I);
1561
1562   // Verify call attributes.
1563   VerifyFunctionAttrs(FTy, Attrs, I);
1564
1565   // Conservatively check the inalloca argument.
1566   // We have a bug if we can find that there is an underlying alloca without
1567   // inalloca.
1568   if (CS.hasInAllocaArgument()) {
1569     Value *InAllocaArg = CS.getArgument(FTy->getNumParams() - 1);
1570     if (auto AI = dyn_cast<AllocaInst>(InAllocaArg->stripInBoundsOffsets()))
1571       Assert2(AI->isUsedWithInAlloca(),
1572               "inalloca argument for call has mismatched alloca", AI, I);
1573   }
1574
1575   if (FTy->isVarArg()) {
1576     // FIXME? is 'nest' even legal here?
1577     bool SawNest = false;
1578     bool SawReturned = false;
1579
1580     for (unsigned Idx = 1; Idx < 1 + FTy->getNumParams(); ++Idx) {
1581       if (Attrs.hasAttribute(Idx, Attribute::Nest))
1582         SawNest = true;
1583       if (Attrs.hasAttribute(Idx, Attribute::Returned))
1584         SawReturned = true;
1585     }
1586
1587     // Check attributes on the varargs part.
1588     for (unsigned Idx = 1 + FTy->getNumParams(); Idx <= CS.arg_size(); ++Idx) {
1589       Type *Ty = CS.getArgument(Idx-1)->getType();
1590       VerifyParameterAttrs(Attrs, Idx, Ty, false, I);
1591
1592       if (Attrs.hasAttribute(Idx, Attribute::Nest)) {
1593         Assert1(!SawNest, "More than one parameter has attribute nest!", I);
1594         SawNest = true;
1595       }
1596
1597       if (Attrs.hasAttribute(Idx, Attribute::Returned)) {
1598         Assert1(!SawReturned, "More than one parameter has attribute returned!",
1599                 I);
1600         Assert1(Ty->canLosslesslyBitCastTo(FTy->getReturnType()),
1601                 "Incompatible argument and return types for 'returned' "
1602                 "attribute", I);
1603         SawReturned = true;
1604       }
1605
1606       Assert1(!Attrs.hasAttribute(Idx, Attribute::StructRet),
1607               "Attribute 'sret' cannot be used for vararg call arguments!", I);
1608
1609       if (Attrs.hasAttribute(Idx, Attribute::InAlloca))
1610         Assert1(Idx == CS.arg_size(), "inalloca isn't on the last argument!",
1611                 I);
1612     }
1613   }
1614
1615   // Verify that there's no metadata unless it's a direct call to an intrinsic.
1616   if (CS.getCalledFunction() == nullptr ||
1617       !CS.getCalledFunction()->getName().startswith("llvm.")) {
1618     for (FunctionType::param_iterator PI = FTy->param_begin(),
1619            PE = FTy->param_end(); PI != PE; ++PI)
1620       Assert1(!(*PI)->isMetadataTy(),
1621               "Function has metadata parameter but isn't an intrinsic", I);
1622   }
1623
1624   visitInstruction(*I);
1625 }
1626
1627 /// Two types are "congruent" if they are identical, or if they are both pointer
1628 /// types with different pointee types and the same address space.
1629 static bool isTypeCongruent(Type *L, Type *R) {
1630   if (L == R)
1631     return true;
1632   PointerType *PL = dyn_cast<PointerType>(L);
1633   PointerType *PR = dyn_cast<PointerType>(R);
1634   if (!PL || !PR)
1635     return false;
1636   return PL->getAddressSpace() == PR->getAddressSpace();
1637 }
1638
1639 static AttrBuilder getParameterABIAttributes(int I, AttributeSet Attrs) {
1640   static const Attribute::AttrKind ABIAttrs[] = {
1641       Attribute::StructRet, Attribute::ByVal, Attribute::InAlloca,
1642       Attribute::InReg, Attribute::Returned};
1643   AttrBuilder Copy;
1644   for (auto AK : ABIAttrs) {
1645     if (Attrs.hasAttribute(I + 1, AK))
1646       Copy.addAttribute(AK);
1647   }
1648   if (Attrs.hasAttribute(I + 1, Attribute::Alignment))
1649     Copy.addAlignmentAttr(Attrs.getParamAlignment(I + 1));
1650   return Copy;
1651 }
1652
1653 void Verifier::verifyMustTailCall(CallInst &CI) {
1654   Assert1(!CI.isInlineAsm(), "cannot use musttail call with inline asm", &CI);
1655
1656   // - The caller and callee prototypes must match.  Pointer types of
1657   //   parameters or return types may differ in pointee type, but not
1658   //   address space.
1659   Function *F = CI.getParent()->getParent();
1660   auto GetFnTy = [](Value *V) {
1661     return cast<FunctionType>(
1662         cast<PointerType>(V->getType())->getElementType());
1663   };
1664   FunctionType *CallerTy = GetFnTy(F);
1665   FunctionType *CalleeTy = GetFnTy(CI.getCalledValue());
1666   Assert1(CallerTy->getNumParams() == CalleeTy->getNumParams(),
1667           "cannot guarantee tail call due to mismatched parameter counts", &CI);
1668   Assert1(CallerTy->isVarArg() == CalleeTy->isVarArg(),
1669           "cannot guarantee tail call due to mismatched varargs", &CI);
1670   Assert1(isTypeCongruent(CallerTy->getReturnType(), CalleeTy->getReturnType()),
1671           "cannot guarantee tail call due to mismatched return types", &CI);
1672   for (int I = 0, E = CallerTy->getNumParams(); I != E; ++I) {
1673     Assert1(
1674         isTypeCongruent(CallerTy->getParamType(I), CalleeTy->getParamType(I)),
1675         "cannot guarantee tail call due to mismatched parameter types", &CI);
1676   }
1677
1678   // - The calling conventions of the caller and callee must match.
1679   Assert1(F->getCallingConv() == CI.getCallingConv(),
1680           "cannot guarantee tail call due to mismatched calling conv", &CI);
1681
1682   // - All ABI-impacting function attributes, such as sret, byval, inreg,
1683   //   returned, and inalloca, must match.
1684   AttributeSet CallerAttrs = F->getAttributes();
1685   AttributeSet CalleeAttrs = CI.getAttributes();
1686   for (int I = 0, E = CallerTy->getNumParams(); I != E; ++I) {
1687     AttrBuilder CallerABIAttrs = getParameterABIAttributes(I, CallerAttrs);
1688     AttrBuilder CalleeABIAttrs = getParameterABIAttributes(I, CalleeAttrs);
1689     Assert2(CallerABIAttrs == CalleeABIAttrs,
1690             "cannot guarantee tail call due to mismatched ABI impacting "
1691             "function attributes", &CI, CI.getOperand(I));
1692   }
1693
1694   // - The call must immediately precede a :ref:`ret <i_ret>` instruction,
1695   //   or a pointer bitcast followed by a ret instruction.
1696   // - The ret instruction must return the (possibly bitcasted) value
1697   //   produced by the call or void.
1698   Value *RetVal = &CI;
1699   Instruction *Next = CI.getNextNode();
1700
1701   // Handle the optional bitcast.
1702   if (BitCastInst *BI = dyn_cast_or_null<BitCastInst>(Next)) {
1703     Assert1(BI->getOperand(0) == RetVal,
1704             "bitcast following musttail call must use the call", BI);
1705     RetVal = BI;
1706     Next = BI->getNextNode();
1707   }
1708
1709   // Check the return.
1710   ReturnInst *Ret = dyn_cast_or_null<ReturnInst>(Next);
1711   Assert1(Ret, "musttail call must be precede a ret with an optional bitcast",
1712           &CI);
1713   Assert1(!Ret->getReturnValue() || Ret->getReturnValue() == RetVal,
1714           "musttail call result must be returned", Ret);
1715 }
1716
1717 void Verifier::visitCallInst(CallInst &CI) {
1718   VerifyCallSite(&CI);
1719
1720   if (CI.isMustTailCall())
1721     verifyMustTailCall(CI);
1722
1723   if (Function *F = CI.getCalledFunction())
1724     if (Intrinsic::ID ID = (Intrinsic::ID)F->getIntrinsicID())
1725       visitIntrinsicFunctionCall(ID, CI);
1726 }
1727
1728 void Verifier::visitInvokeInst(InvokeInst &II) {
1729   VerifyCallSite(&II);
1730
1731   // Verify that there is a landingpad instruction as the first non-PHI
1732   // instruction of the 'unwind' destination.
1733   Assert1(II.getUnwindDest()->isLandingPad(),
1734           "The unwind destination does not have a landingpad instruction!",&II);
1735
1736   visitTerminatorInst(II);
1737 }
1738
1739 /// visitBinaryOperator - Check that both arguments to the binary operator are
1740 /// of the same type!
1741 ///
1742 void Verifier::visitBinaryOperator(BinaryOperator &B) {
1743   Assert1(B.getOperand(0)->getType() == B.getOperand(1)->getType(),
1744           "Both operands to a binary operator are not of the same type!", &B);
1745
1746   switch (B.getOpcode()) {
1747   // Check that integer arithmetic operators are only used with
1748   // integral operands.
1749   case Instruction::Add:
1750   case Instruction::Sub:
1751   case Instruction::Mul:
1752   case Instruction::SDiv:
1753   case Instruction::UDiv:
1754   case Instruction::SRem:
1755   case Instruction::URem:
1756     Assert1(B.getType()->isIntOrIntVectorTy(),
1757             "Integer arithmetic operators only work with integral types!", &B);
1758     Assert1(B.getType() == B.getOperand(0)->getType(),
1759             "Integer arithmetic operators must have same type "
1760             "for operands and result!", &B);
1761     break;
1762   // Check that floating-point arithmetic operators are only used with
1763   // floating-point operands.
1764   case Instruction::FAdd:
1765   case Instruction::FSub:
1766   case Instruction::FMul:
1767   case Instruction::FDiv:
1768   case Instruction::FRem:
1769     Assert1(B.getType()->isFPOrFPVectorTy(),
1770             "Floating-point arithmetic operators only work with "
1771             "floating-point types!", &B);
1772     Assert1(B.getType() == B.getOperand(0)->getType(),
1773             "Floating-point arithmetic operators must have same type "
1774             "for operands and result!", &B);
1775     break;
1776   // Check that logical operators are only used with integral operands.
1777   case Instruction::And:
1778   case Instruction::Or:
1779   case Instruction::Xor:
1780     Assert1(B.getType()->isIntOrIntVectorTy(),
1781             "Logical operators only work with integral types!", &B);
1782     Assert1(B.getType() == B.getOperand(0)->getType(),
1783             "Logical operators must have same type for operands and result!",
1784             &B);
1785     break;
1786   case Instruction::Shl:
1787   case Instruction::LShr:
1788   case Instruction::AShr:
1789     Assert1(B.getType()->isIntOrIntVectorTy(),
1790             "Shifts only work with integral types!", &B);
1791     Assert1(B.getType() == B.getOperand(0)->getType(),
1792             "Shift return type must be same as operands!", &B);
1793     break;
1794   default:
1795     llvm_unreachable("Unknown BinaryOperator opcode!");
1796   }
1797
1798   visitInstruction(B);
1799 }
1800
1801 void Verifier::visitICmpInst(ICmpInst &IC) {
1802   // Check that the operands are the same type
1803   Type *Op0Ty = IC.getOperand(0)->getType();
1804   Type *Op1Ty = IC.getOperand(1)->getType();
1805   Assert1(Op0Ty == Op1Ty,
1806           "Both operands to ICmp instruction are not of the same type!", &IC);
1807   // Check that the operands are the right type
1808   Assert1(Op0Ty->isIntOrIntVectorTy() || Op0Ty->getScalarType()->isPointerTy(),
1809           "Invalid operand types for ICmp instruction", &IC);
1810   // Check that the predicate is valid.
1811   Assert1(IC.getPredicate() >= CmpInst::FIRST_ICMP_PREDICATE &&
1812           IC.getPredicate() <= CmpInst::LAST_ICMP_PREDICATE,
1813           "Invalid predicate in ICmp instruction!", &IC);
1814
1815   visitInstruction(IC);
1816 }
1817
1818 void Verifier::visitFCmpInst(FCmpInst &FC) {
1819   // Check that the operands are the same type
1820   Type *Op0Ty = FC.getOperand(0)->getType();
1821   Type *Op1Ty = FC.getOperand(1)->getType();
1822   Assert1(Op0Ty == Op1Ty,
1823           "Both operands to FCmp instruction are not of the same type!", &FC);
1824   // Check that the operands are the right type
1825   Assert1(Op0Ty->isFPOrFPVectorTy(),
1826           "Invalid operand types for FCmp instruction", &FC);
1827   // Check that the predicate is valid.
1828   Assert1(FC.getPredicate() >= CmpInst::FIRST_FCMP_PREDICATE &&
1829           FC.getPredicate() <= CmpInst::LAST_FCMP_PREDICATE,
1830           "Invalid predicate in FCmp instruction!", &FC);
1831
1832   visitInstruction(FC);
1833 }
1834
1835 void Verifier::visitExtractElementInst(ExtractElementInst &EI) {
1836   Assert1(ExtractElementInst::isValidOperands(EI.getOperand(0),
1837                                               EI.getOperand(1)),
1838           "Invalid extractelement operands!", &EI);
1839   visitInstruction(EI);
1840 }
1841
1842 void Verifier::visitInsertElementInst(InsertElementInst &IE) {
1843   Assert1(InsertElementInst::isValidOperands(IE.getOperand(0),
1844                                              IE.getOperand(1),
1845                                              IE.getOperand(2)),
1846           "Invalid insertelement operands!", &IE);
1847   visitInstruction(IE);
1848 }
1849
1850 void Verifier::visitShuffleVectorInst(ShuffleVectorInst &SV) {
1851   Assert1(ShuffleVectorInst::isValidOperands(SV.getOperand(0), SV.getOperand(1),
1852                                              SV.getOperand(2)),
1853           "Invalid shufflevector operands!", &SV);
1854   visitInstruction(SV);
1855 }
1856
1857 void Verifier::visitGetElementPtrInst(GetElementPtrInst &GEP) {
1858   Type *TargetTy = GEP.getPointerOperandType()->getScalarType();
1859
1860   Assert1(isa<PointerType>(TargetTy),
1861     "GEP base pointer is not a vector or a vector of pointers", &GEP);
1862   Assert1(cast<PointerType>(TargetTy)->getElementType()->isSized(),
1863           "GEP into unsized type!", &GEP);
1864   Assert1(GEP.getPointerOperandType()->isVectorTy() ==
1865           GEP.getType()->isVectorTy(), "Vector GEP must return a vector value",
1866           &GEP);
1867
1868   SmallVector<Value*, 16> Idxs(GEP.idx_begin(), GEP.idx_end());
1869   Type *ElTy =
1870     GetElementPtrInst::getIndexedType(GEP.getPointerOperandType(), Idxs);
1871   Assert1(ElTy, "Invalid indices for GEP pointer type!", &GEP);
1872
1873   Assert2(GEP.getType()->getScalarType()->isPointerTy() &&
1874           cast<PointerType>(GEP.getType()->getScalarType())->getElementType()
1875           == ElTy, "GEP is not of right type for indices!", &GEP, ElTy);
1876
1877   if (GEP.getPointerOperandType()->isVectorTy()) {
1878     // Additional checks for vector GEPs.
1879     unsigned GepWidth = GEP.getPointerOperandType()->getVectorNumElements();
1880     Assert1(GepWidth == GEP.getType()->getVectorNumElements(),
1881             "Vector GEP result width doesn't match operand's", &GEP);
1882     for (unsigned i = 0, e = Idxs.size(); i != e; ++i) {
1883       Type *IndexTy = Idxs[i]->getType();
1884       Assert1(IndexTy->isVectorTy(),
1885               "Vector GEP must have vector indices!", &GEP);
1886       unsigned IndexWidth = IndexTy->getVectorNumElements();
1887       Assert1(IndexWidth == GepWidth, "Invalid GEP index vector width", &GEP);
1888     }
1889   }
1890   visitInstruction(GEP);
1891 }
1892
1893 static bool isContiguous(const ConstantRange &A, const ConstantRange &B) {
1894   return A.getUpper() == B.getLower() || A.getLower() == B.getUpper();
1895 }
1896
1897 void Verifier::visitRangeMetadata(Instruction& I,
1898                                   MDNode* Range, Type* Ty) {
1899   assert(Range &&
1900          Range == I.getMetadata(LLVMContext::MD_range) &&
1901          "precondition violation");
1902
1903   unsigned NumOperands = Range->getNumOperands();
1904   Assert1(NumOperands % 2 == 0, "Unfinished range!", Range);
1905   unsigned NumRanges = NumOperands / 2;
1906   Assert1(NumRanges >= 1, "It should have at least one range!", Range);
1907   
1908   ConstantRange LastRange(1); // Dummy initial value
1909   for (unsigned i = 0; i < NumRanges; ++i) {
1910     ConstantInt *Low = dyn_cast<ConstantInt>(Range->getOperand(2*i));
1911     Assert1(Low, "The lower limit must be an integer!", Low);
1912     ConstantInt *High = dyn_cast<ConstantInt>(Range->getOperand(2*i + 1));
1913     Assert1(High, "The upper limit must be an integer!", High);
1914     Assert1(High->getType() == Low->getType() &&
1915             High->getType() == Ty, "Range types must match instruction type!",
1916             &I);
1917     
1918     APInt HighV = High->getValue();
1919     APInt LowV = Low->getValue();
1920     ConstantRange CurRange(LowV, HighV);
1921     Assert1(!CurRange.isEmptySet() && !CurRange.isFullSet(),
1922             "Range must not be empty!", Range);
1923     if (i != 0) {
1924       Assert1(CurRange.intersectWith(LastRange).isEmptySet(),
1925               "Intervals are overlapping", Range);
1926       Assert1(LowV.sgt(LastRange.getLower()), "Intervals are not in order",
1927               Range);
1928       Assert1(!isContiguous(CurRange, LastRange), "Intervals are contiguous",
1929               Range);
1930     }
1931     LastRange = ConstantRange(LowV, HighV);
1932   }
1933   if (NumRanges > 2) {
1934     APInt FirstLow =
1935       dyn_cast<ConstantInt>(Range->getOperand(0))->getValue();
1936     APInt FirstHigh =
1937       dyn_cast<ConstantInt>(Range->getOperand(1))->getValue();
1938     ConstantRange FirstRange(FirstLow, FirstHigh);
1939     Assert1(FirstRange.intersectWith(LastRange).isEmptySet(),
1940             "Intervals are overlapping", Range);
1941     Assert1(!isContiguous(FirstRange, LastRange), "Intervals are contiguous",
1942             Range);
1943   }
1944 }
1945
1946 void Verifier::visitLoadInst(LoadInst &LI) {
1947   PointerType *PTy = dyn_cast<PointerType>(LI.getOperand(0)->getType());
1948   Assert1(PTy, "Load operand must be a pointer.", &LI);
1949   Type *ElTy = PTy->getElementType();
1950   Assert2(ElTy == LI.getType(),
1951           "Load result type does not match pointer operand type!", &LI, ElTy);
1952   Assert1(LI.getAlignment() <= Value::MaximumAlignment,
1953           "huge alignment values are unsupported", &LI);
1954   if (LI.isAtomic()) {
1955     Assert1(LI.getOrdering() != Release && LI.getOrdering() != AcquireRelease,
1956             "Load cannot have Release ordering", &LI);
1957     Assert1(LI.getAlignment() != 0,
1958             "Atomic load must specify explicit alignment", &LI);
1959     if (!ElTy->isPointerTy()) {
1960       Assert2(ElTy->isIntegerTy(),
1961               "atomic load operand must have integer type!",
1962               &LI, ElTy);
1963       unsigned Size = ElTy->getPrimitiveSizeInBits();
1964       Assert2(Size >= 8 && !(Size & (Size - 1)),
1965               "atomic load operand must be power-of-two byte-sized integer",
1966               &LI, ElTy);
1967     }
1968   } else {
1969     Assert1(LI.getSynchScope() == CrossThread,
1970             "Non-atomic load cannot have SynchronizationScope specified", &LI);
1971   }
1972
1973   visitInstruction(LI);
1974 }
1975
1976 void Verifier::visitStoreInst(StoreInst &SI) {
1977   PointerType *PTy = dyn_cast<PointerType>(SI.getOperand(1)->getType());
1978   Assert1(PTy, "Store operand must be a pointer.", &SI);
1979   Type *ElTy = PTy->getElementType();
1980   Assert2(ElTy == SI.getOperand(0)->getType(),
1981           "Stored value type does not match pointer operand type!",
1982           &SI, ElTy);
1983   Assert1(SI.getAlignment() <= Value::MaximumAlignment,
1984           "huge alignment values are unsupported", &SI);
1985   if (SI.isAtomic()) {
1986     Assert1(SI.getOrdering() != Acquire && SI.getOrdering() != AcquireRelease,
1987             "Store cannot have Acquire ordering", &SI);
1988     Assert1(SI.getAlignment() != 0,
1989             "Atomic store must specify explicit alignment", &SI);
1990     if (!ElTy->isPointerTy()) {
1991       Assert2(ElTy->isIntegerTy(),
1992               "atomic store operand must have integer type!",
1993               &SI, ElTy);
1994       unsigned Size = ElTy->getPrimitiveSizeInBits();
1995       Assert2(Size >= 8 && !(Size & (Size - 1)),
1996               "atomic store operand must be power-of-two byte-sized integer",
1997               &SI, ElTy);
1998     }
1999   } else {
2000     Assert1(SI.getSynchScope() == CrossThread,
2001             "Non-atomic store cannot have SynchronizationScope specified", &SI);
2002   }
2003   visitInstruction(SI);
2004 }
2005
2006 void Verifier::visitAllocaInst(AllocaInst &AI) {
2007   SmallPtrSet<const Type*, 4> Visited;
2008   PointerType *PTy = AI.getType();
2009   Assert1(PTy->getAddressSpace() == 0,
2010           "Allocation instruction pointer not in the generic address space!",
2011           &AI);
2012   Assert1(PTy->getElementType()->isSized(&Visited), "Cannot allocate unsized type",
2013           &AI);
2014   Assert1(AI.getArraySize()->getType()->isIntegerTy(),
2015           "Alloca array size must have integer type", &AI);
2016   Assert1(AI.getAlignment() <= Value::MaximumAlignment,
2017           "huge alignment values are unsupported", &AI);
2018
2019   visitInstruction(AI);
2020 }
2021
2022 void Verifier::visitAtomicCmpXchgInst(AtomicCmpXchgInst &CXI) {
2023
2024   // FIXME: more conditions???
2025   Assert1(CXI.getSuccessOrdering() != NotAtomic,
2026           "cmpxchg instructions must be atomic.", &CXI);
2027   Assert1(CXI.getFailureOrdering() != NotAtomic,
2028           "cmpxchg instructions must be atomic.", &CXI);
2029   Assert1(CXI.getSuccessOrdering() != Unordered,
2030           "cmpxchg instructions cannot be unordered.", &CXI);
2031   Assert1(CXI.getFailureOrdering() != Unordered,
2032           "cmpxchg instructions cannot be unordered.", &CXI);
2033   Assert1(CXI.getSuccessOrdering() >= CXI.getFailureOrdering(),
2034           "cmpxchg instructions be at least as constrained on success as fail",
2035           &CXI);
2036   Assert1(CXI.getFailureOrdering() != Release &&
2037               CXI.getFailureOrdering() != AcquireRelease,
2038           "cmpxchg failure ordering cannot include release semantics", &CXI);
2039
2040   PointerType *PTy = dyn_cast<PointerType>(CXI.getOperand(0)->getType());
2041   Assert1(PTy, "First cmpxchg operand must be a pointer.", &CXI);
2042   Type *ElTy = PTy->getElementType();
2043   Assert2(ElTy->isIntegerTy(),
2044           "cmpxchg operand must have integer type!",
2045           &CXI, ElTy);
2046   unsigned Size = ElTy->getPrimitiveSizeInBits();
2047   Assert2(Size >= 8 && !(Size & (Size - 1)),
2048           "cmpxchg operand must be power-of-two byte-sized integer",
2049           &CXI, ElTy);
2050   Assert2(ElTy == CXI.getOperand(1)->getType(),
2051           "Expected value type does not match pointer operand type!",
2052           &CXI, ElTy);
2053   Assert2(ElTy == CXI.getOperand(2)->getType(),
2054           "Stored value type does not match pointer operand type!",
2055           &CXI, ElTy);
2056   visitInstruction(CXI);
2057 }
2058
2059 void Verifier::visitAtomicRMWInst(AtomicRMWInst &RMWI) {
2060   Assert1(RMWI.getOrdering() != NotAtomic,
2061           "atomicrmw instructions must be atomic.", &RMWI);
2062   Assert1(RMWI.getOrdering() != Unordered,
2063           "atomicrmw instructions cannot be unordered.", &RMWI);
2064   PointerType *PTy = dyn_cast<PointerType>(RMWI.getOperand(0)->getType());
2065   Assert1(PTy, "First atomicrmw operand must be a pointer.", &RMWI);
2066   Type *ElTy = PTy->getElementType();
2067   Assert2(ElTy->isIntegerTy(),
2068           "atomicrmw operand must have integer type!",
2069           &RMWI, ElTy);
2070   unsigned Size = ElTy->getPrimitiveSizeInBits();
2071   Assert2(Size >= 8 && !(Size & (Size - 1)),
2072           "atomicrmw operand must be power-of-two byte-sized integer",
2073           &RMWI, ElTy);
2074   Assert2(ElTy == RMWI.getOperand(1)->getType(),
2075           "Argument value type does not match pointer operand type!",
2076           &RMWI, ElTy);
2077   Assert1(AtomicRMWInst::FIRST_BINOP <= RMWI.getOperation() &&
2078           RMWI.getOperation() <= AtomicRMWInst::LAST_BINOP,
2079           "Invalid binary operation!", &RMWI);
2080   visitInstruction(RMWI);
2081 }
2082
2083 void Verifier::visitFenceInst(FenceInst &FI) {
2084   const AtomicOrdering Ordering = FI.getOrdering();
2085   Assert1(Ordering == Acquire || Ordering == Release ||
2086           Ordering == AcquireRelease || Ordering == SequentiallyConsistent,
2087           "fence instructions may only have "
2088           "acquire, release, acq_rel, or seq_cst ordering.", &FI);
2089   visitInstruction(FI);
2090 }
2091
2092 void Verifier::visitExtractValueInst(ExtractValueInst &EVI) {
2093   Assert1(ExtractValueInst::getIndexedType(EVI.getAggregateOperand()->getType(),
2094                                            EVI.getIndices()) ==
2095           EVI.getType(),
2096           "Invalid ExtractValueInst operands!", &EVI);
2097
2098   visitInstruction(EVI);
2099 }
2100
2101 void Verifier::visitInsertValueInst(InsertValueInst &IVI) {
2102   Assert1(ExtractValueInst::getIndexedType(IVI.getAggregateOperand()->getType(),
2103                                            IVI.getIndices()) ==
2104           IVI.getOperand(1)->getType(),
2105           "Invalid InsertValueInst operands!", &IVI);
2106
2107   visitInstruction(IVI);
2108 }
2109
2110 void Verifier::visitLandingPadInst(LandingPadInst &LPI) {
2111   BasicBlock *BB = LPI.getParent();
2112
2113   // The landingpad instruction is ill-formed if it doesn't have any clauses and
2114   // isn't a cleanup.
2115   Assert1(LPI.getNumClauses() > 0 || LPI.isCleanup(),
2116           "LandingPadInst needs at least one clause or to be a cleanup.", &LPI);
2117
2118   // The landingpad instruction defines its parent as a landing pad block. The
2119   // landing pad block may be branched to only by the unwind edge of an invoke.
2120   for (pred_iterator I = pred_begin(BB), E = pred_end(BB); I != E; ++I) {
2121     const InvokeInst *II = dyn_cast<InvokeInst>((*I)->getTerminator());
2122     Assert1(II && II->getUnwindDest() == BB && II->getNormalDest() != BB,
2123             "Block containing LandingPadInst must be jumped to "
2124             "only by the unwind edge of an invoke.", &LPI);
2125   }
2126
2127   // The landingpad instruction must be the first non-PHI instruction in the
2128   // block.
2129   Assert1(LPI.getParent()->getLandingPadInst() == &LPI,
2130           "LandingPadInst not the first non-PHI instruction in the block.",
2131           &LPI);
2132
2133   // The personality functions for all landingpad instructions within the same
2134   // function should match.
2135   if (PersonalityFn)
2136     Assert1(LPI.getPersonalityFn() == PersonalityFn,
2137             "Personality function doesn't match others in function", &LPI);
2138   PersonalityFn = LPI.getPersonalityFn();
2139
2140   // All operands must be constants.
2141   Assert1(isa<Constant>(PersonalityFn), "Personality function is not constant!",
2142           &LPI);
2143   for (unsigned i = 0, e = LPI.getNumClauses(); i < e; ++i) {
2144     Constant *Clause = LPI.getClause(i);
2145     if (LPI.isCatch(i)) {
2146       Assert1(isa<PointerType>(Clause->getType()),
2147               "Catch operand does not have pointer type!", &LPI);
2148     } else {
2149       Assert1(LPI.isFilter(i), "Clause is neither catch nor filter!", &LPI);
2150       Assert1(isa<ConstantArray>(Clause) || isa<ConstantAggregateZero>(Clause),
2151               "Filter operand is not an array of constants!", &LPI);
2152     }
2153   }
2154
2155   visitInstruction(LPI);
2156 }
2157
2158 void Verifier::verifyDominatesUse(Instruction &I, unsigned i) {
2159   Instruction *Op = cast<Instruction>(I.getOperand(i));
2160   // If the we have an invalid invoke, don't try to compute the dominance.
2161   // We already reject it in the invoke specific checks and the dominance
2162   // computation doesn't handle multiple edges.
2163   if (InvokeInst *II = dyn_cast<InvokeInst>(Op)) {
2164     if (II->getNormalDest() == II->getUnwindDest())
2165       return;
2166   }
2167
2168   const Use &U = I.getOperandUse(i);
2169   Assert2(InstsInThisBlock.count(Op) || DT.dominates(Op, U),
2170           "Instruction does not dominate all uses!", Op, &I);
2171 }
2172
2173 /// verifyInstruction - Verify that an instruction is well formed.
2174 ///
2175 void Verifier::visitInstruction(Instruction &I) {
2176   BasicBlock *BB = I.getParent();
2177   Assert1(BB, "Instruction not embedded in basic block!", &I);
2178
2179   if (!isa<PHINode>(I)) {   // Check that non-phi nodes are not self referential
2180     for (User *U : I.users()) {
2181       Assert1(U != (User*)&I || !DT.isReachableFromEntry(BB),
2182               "Only PHI nodes may reference their own value!", &I);
2183     }
2184   }
2185
2186   // Check that void typed values don't have names
2187   Assert1(!I.getType()->isVoidTy() || !I.hasName(),
2188           "Instruction has a name, but provides a void value!", &I);
2189
2190   // Check that the return value of the instruction is either void or a legal
2191   // value type.
2192   Assert1(I.getType()->isVoidTy() ||
2193           I.getType()->isFirstClassType(),
2194           "Instruction returns a non-scalar type!", &I);
2195
2196   // Check that the instruction doesn't produce metadata. Calls are already
2197   // checked against the callee type.
2198   Assert1(!I.getType()->isMetadataTy() ||
2199           isa<CallInst>(I) || isa<InvokeInst>(I),
2200           "Invalid use of metadata!", &I);
2201
2202   // Check that all uses of the instruction, if they are instructions
2203   // themselves, actually have parent basic blocks.  If the use is not an
2204   // instruction, it is an error!
2205   for (Use &U : I.uses()) {
2206     if (Instruction *Used = dyn_cast<Instruction>(U.getUser()))
2207       Assert2(Used->getParent() != nullptr, "Instruction referencing"
2208               " instruction not embedded in a basic block!", &I, Used);
2209     else {
2210       CheckFailed("Use of instruction is not an instruction!", U);
2211       return;
2212     }
2213   }
2214
2215   for (unsigned i = 0, e = I.getNumOperands(); i != e; ++i) {
2216     Assert1(I.getOperand(i) != nullptr, "Instruction has null operand!", &I);
2217
2218     // Check to make sure that only first-class-values are operands to
2219     // instructions.
2220     if (!I.getOperand(i)->getType()->isFirstClassType()) {
2221       Assert1(0, "Instruction operands must be first-class values!", &I);
2222     }
2223
2224     if (Function *F = dyn_cast<Function>(I.getOperand(i))) {
2225       // Check to make sure that the "address of" an intrinsic function is never
2226       // taken.
2227       Assert1(!F->isIntrinsic() || i == (isa<CallInst>(I) ? e-1 :
2228                                          isa<InvokeInst>(I) ? e-3 : 0),
2229               "Cannot take the address of an intrinsic!", &I);
2230       Assert1(!F->isIntrinsic() || isa<CallInst>(I) ||
2231               F->getIntrinsicID() == Intrinsic::donothing ||
2232               F->getIntrinsicID() == Intrinsic::experimental_patchpoint_void ||
2233               F->getIntrinsicID() == Intrinsic::experimental_patchpoint_i64,
2234               "Cannot invoke an intrinsinc other than"
2235               " donothing or patchpoint", &I);
2236       Assert1(F->getParent() == M, "Referencing function in another module!",
2237               &I);
2238     } else if (BasicBlock *OpBB = dyn_cast<BasicBlock>(I.getOperand(i))) {
2239       Assert1(OpBB->getParent() == BB->getParent(),
2240               "Referring to a basic block in another function!", &I);
2241     } else if (Argument *OpArg = dyn_cast<Argument>(I.getOperand(i))) {
2242       Assert1(OpArg->getParent() == BB->getParent(),
2243               "Referring to an argument in another function!", &I);
2244     } else if (GlobalValue *GV = dyn_cast<GlobalValue>(I.getOperand(i))) {
2245       Assert1(GV->getParent() == M, "Referencing global in another module!",
2246               &I);
2247     } else if (isa<Instruction>(I.getOperand(i))) {
2248       verifyDominatesUse(I, i);
2249     } else if (isa<InlineAsm>(I.getOperand(i))) {
2250       Assert1((i + 1 == e && isa<CallInst>(I)) ||
2251               (i + 3 == e && isa<InvokeInst>(I)),
2252               "Cannot take the address of an inline asm!", &I);
2253     } else if (ConstantExpr *CE = dyn_cast<ConstantExpr>(I.getOperand(i))) {
2254       if (CE->getType()->isPtrOrPtrVectorTy()) {
2255         // If we have a ConstantExpr pointer, we need to see if it came from an
2256         // illegal bitcast (inttoptr <constant int> )
2257         SmallVector<const ConstantExpr *, 4> Stack;
2258         SmallPtrSet<const ConstantExpr *, 4> Visited;
2259         Stack.push_back(CE);
2260
2261         while (!Stack.empty()) {
2262           const ConstantExpr *V = Stack.pop_back_val();
2263           if (!Visited.insert(V).second)
2264             continue;
2265
2266           VerifyConstantExprBitcastType(V);
2267
2268           for (unsigned I = 0, N = V->getNumOperands(); I != N; ++I) {
2269             if (ConstantExpr *Op = dyn_cast<ConstantExpr>(V->getOperand(I)))
2270               Stack.push_back(Op);
2271           }
2272         }
2273       }
2274     }
2275   }
2276
2277   if (MDNode *MD = I.getMetadata(LLVMContext::MD_fpmath)) {
2278     Assert1(I.getType()->isFPOrFPVectorTy(),
2279             "fpmath requires a floating point result!", &I);
2280     Assert1(MD->getNumOperands() == 1, "fpmath takes one operand!", &I);
2281     Value *Op0 = MD->getOperand(0);
2282     if (ConstantFP *CFP0 = dyn_cast_or_null<ConstantFP>(Op0)) {
2283       APFloat Accuracy = CFP0->getValueAPF();
2284       Assert1(Accuracy.isFiniteNonZero() && !Accuracy.isNegative(),
2285               "fpmath accuracy not a positive number!", &I);
2286     } else {
2287       Assert1(false, "invalid fpmath accuracy!", &I);
2288     }
2289   }
2290
2291   if (MDNode *Range = I.getMetadata(LLVMContext::MD_range)) {
2292     Assert1(isa<LoadInst>(I) || isa<CallInst>(I) || isa<InvokeInst>(I),
2293             "Ranges are only for loads, calls and invokes!", &I);
2294     visitRangeMetadata(I, Range, I.getType());
2295   }
2296
2297   if (I.getMetadata(LLVMContext::MD_nonnull)) {
2298     Assert1(I.getType()->isPointerTy(),
2299             "nonnull applies only to pointer types", &I);
2300     Assert1(isa<LoadInst>(I),
2301             "nonnull applies only to load instructions, use attributes"
2302             " for calls or invokes", &I);
2303   }
2304
2305   InstsInThisBlock.insert(&I);
2306 }
2307
2308 /// VerifyIntrinsicType - Verify that the specified type (which comes from an
2309 /// intrinsic argument or return value) matches the type constraints specified
2310 /// by the .td file (e.g. an "any integer" argument really is an integer).
2311 ///
2312 /// This return true on error but does not print a message.
2313 bool Verifier::VerifyIntrinsicType(Type *Ty,
2314                                    ArrayRef<Intrinsic::IITDescriptor> &Infos,
2315                                    SmallVectorImpl<Type*> &ArgTys) {
2316   using namespace Intrinsic;
2317
2318   // If we ran out of descriptors, there are too many arguments.
2319   if (Infos.empty()) return true;
2320   IITDescriptor D = Infos.front();
2321   Infos = Infos.slice(1);
2322
2323   switch (D.Kind) {
2324   case IITDescriptor::Void: return !Ty->isVoidTy();
2325   case IITDescriptor::VarArg: return true;
2326   case IITDescriptor::MMX:  return !Ty->isX86_MMXTy();
2327   case IITDescriptor::Metadata: return !Ty->isMetadataTy();
2328   case IITDescriptor::Half: return !Ty->isHalfTy();
2329   case IITDescriptor::Float: return !Ty->isFloatTy();
2330   case IITDescriptor::Double: return !Ty->isDoubleTy();
2331   case IITDescriptor::Integer: return !Ty->isIntegerTy(D.Integer_Width);
2332   case IITDescriptor::Vector: {
2333     VectorType *VT = dyn_cast<VectorType>(Ty);
2334     return !VT || VT->getNumElements() != D.Vector_Width ||
2335            VerifyIntrinsicType(VT->getElementType(), Infos, ArgTys);
2336   }
2337   case IITDescriptor::Pointer: {
2338     PointerType *PT = dyn_cast<PointerType>(Ty);
2339     return !PT || PT->getAddressSpace() != D.Pointer_AddressSpace ||
2340            VerifyIntrinsicType(PT->getElementType(), Infos, ArgTys);
2341   }
2342
2343   case IITDescriptor::Struct: {
2344     StructType *ST = dyn_cast<StructType>(Ty);
2345     if (!ST || ST->getNumElements() != D.Struct_NumElements)
2346       return true;
2347
2348     for (unsigned i = 0, e = D.Struct_NumElements; i != e; ++i)
2349       if (VerifyIntrinsicType(ST->getElementType(i), Infos, ArgTys))
2350         return true;
2351     return false;
2352   }
2353
2354   case IITDescriptor::Argument:
2355     // Two cases here - If this is the second occurrence of an argument, verify
2356     // that the later instance matches the previous instance.
2357     if (D.getArgumentNumber() < ArgTys.size())
2358       return Ty != ArgTys[D.getArgumentNumber()];
2359
2360     // Otherwise, if this is the first instance of an argument, record it and
2361     // verify the "Any" kind.
2362     assert(D.getArgumentNumber() == ArgTys.size() && "Table consistency error");
2363     ArgTys.push_back(Ty);
2364
2365     switch (D.getArgumentKind()) {
2366     case IITDescriptor::AK_AnyInteger: return !Ty->isIntOrIntVectorTy();
2367     case IITDescriptor::AK_AnyFloat:   return !Ty->isFPOrFPVectorTy();
2368     case IITDescriptor::AK_AnyVector:  return !isa<VectorType>(Ty);
2369     case IITDescriptor::AK_AnyPointer: return !isa<PointerType>(Ty);
2370     }
2371     llvm_unreachable("all argument kinds not covered");
2372
2373   case IITDescriptor::ExtendArgument: {
2374     // This may only be used when referring to a previous vector argument.
2375     if (D.getArgumentNumber() >= ArgTys.size())
2376       return true;
2377
2378     Type *NewTy = ArgTys[D.getArgumentNumber()];
2379     if (VectorType *VTy = dyn_cast<VectorType>(NewTy))
2380       NewTy = VectorType::getExtendedElementVectorType(VTy);
2381     else if (IntegerType *ITy = dyn_cast<IntegerType>(NewTy))
2382       NewTy = IntegerType::get(ITy->getContext(), 2 * ITy->getBitWidth());
2383     else
2384       return true;
2385
2386     return Ty != NewTy;
2387   }
2388   case IITDescriptor::TruncArgument: {
2389     // This may only be used when referring to a previous vector argument.
2390     if (D.getArgumentNumber() >= ArgTys.size())
2391       return true;
2392
2393     Type *NewTy = ArgTys[D.getArgumentNumber()];
2394     if (VectorType *VTy = dyn_cast<VectorType>(NewTy))
2395       NewTy = VectorType::getTruncatedElementVectorType(VTy);
2396     else if (IntegerType *ITy = dyn_cast<IntegerType>(NewTy))
2397       NewTy = IntegerType::get(ITy->getContext(), ITy->getBitWidth() / 2);
2398     else
2399       return true;
2400
2401     return Ty != NewTy;
2402   }
2403   case IITDescriptor::HalfVecArgument:
2404     // This may only be used when referring to a previous vector argument.
2405     return D.getArgumentNumber() >= ArgTys.size() ||
2406            !isa<VectorType>(ArgTys[D.getArgumentNumber()]) ||
2407            VectorType::getHalfElementsVectorType(
2408                          cast<VectorType>(ArgTys[D.getArgumentNumber()])) != Ty;
2409   case IITDescriptor::SameVecWidthArgument: {
2410     if (D.getArgumentNumber() >= ArgTys.size())
2411       return true;
2412     VectorType * ReferenceType =
2413       dyn_cast<VectorType>(ArgTys[D.getArgumentNumber()]);
2414     VectorType *ThisArgType = dyn_cast<VectorType>(Ty);
2415     if (!ThisArgType || !ReferenceType || 
2416         (ReferenceType->getVectorNumElements() !=
2417          ThisArgType->getVectorNumElements()))
2418       return true;
2419     return VerifyIntrinsicType(ThisArgType->getVectorElementType(),
2420                                Infos, ArgTys);
2421   }
2422   }
2423   llvm_unreachable("unhandled");
2424 }
2425
2426 /// \brief Verify if the intrinsic has variable arguments.
2427 /// This method is intended to be called after all the fixed arguments have been
2428 /// verified first.
2429 ///
2430 /// This method returns true on error and does not print an error message.
2431 bool
2432 Verifier::VerifyIntrinsicIsVarArg(bool isVarArg,
2433                                   ArrayRef<Intrinsic::IITDescriptor> &Infos) {
2434   using namespace Intrinsic;
2435
2436   // If there are no descriptors left, then it can't be a vararg.
2437   if (Infos.empty())
2438     return isVarArg ? true : false;
2439
2440   // There should be only one descriptor remaining at this point.
2441   if (Infos.size() != 1)
2442     return true;
2443
2444   // Check and verify the descriptor.
2445   IITDescriptor D = Infos.front();
2446   Infos = Infos.slice(1);
2447   if (D.Kind == IITDescriptor::VarArg)
2448     return isVarArg ? false : true;
2449
2450   return true;
2451 }
2452
2453 /// visitIntrinsicFunction - Allow intrinsics to be verified in different ways.
2454 ///
2455 void Verifier::visitIntrinsicFunctionCall(Intrinsic::ID ID, CallInst &CI) {
2456   Function *IF = CI.getCalledFunction();
2457   Assert1(IF->isDeclaration(), "Intrinsic functions should never be defined!",
2458           IF);
2459
2460   // Verify that the intrinsic prototype lines up with what the .td files
2461   // describe.
2462   FunctionType *IFTy = IF->getFunctionType();
2463   bool IsVarArg = IFTy->isVarArg();
2464
2465   SmallVector<Intrinsic::IITDescriptor, 8> Table;
2466   getIntrinsicInfoTableEntries(ID, Table);
2467   ArrayRef<Intrinsic::IITDescriptor> TableRef = Table;
2468
2469   SmallVector<Type *, 4> ArgTys;
2470   Assert1(!VerifyIntrinsicType(IFTy->getReturnType(), TableRef, ArgTys),
2471           "Intrinsic has incorrect return type!", IF);
2472   for (unsigned i = 0, e = IFTy->getNumParams(); i != e; ++i)
2473     Assert1(!VerifyIntrinsicType(IFTy->getParamType(i), TableRef, ArgTys),
2474             "Intrinsic has incorrect argument type!", IF);
2475
2476   // Verify if the intrinsic call matches the vararg property.
2477   if (IsVarArg)
2478     Assert1(!VerifyIntrinsicIsVarArg(IsVarArg, TableRef),
2479             "Intrinsic was not defined with variable arguments!", IF);
2480   else
2481     Assert1(!VerifyIntrinsicIsVarArg(IsVarArg, TableRef),
2482             "Callsite was not defined with variable arguments!", IF);
2483
2484   // All descriptors should be absorbed by now.
2485   Assert1(TableRef.empty(), "Intrinsic has too few arguments!", IF);
2486
2487   // Now that we have the intrinsic ID and the actual argument types (and we
2488   // know they are legal for the intrinsic!) get the intrinsic name through the
2489   // usual means.  This allows us to verify the mangling of argument types into
2490   // the name.
2491   const std::string ExpectedName = Intrinsic::getName(ID, ArgTys);
2492   Assert1(ExpectedName == IF->getName(),
2493           "Intrinsic name not mangled correctly for type arguments! "
2494           "Should be: " + ExpectedName, IF);
2495
2496   // If the intrinsic takes MDNode arguments, verify that they are either global
2497   // or are local to *this* function.
2498   for (unsigned i = 0, e = CI.getNumArgOperands(); i != e; ++i)
2499     if (MDNode *MD = dyn_cast<MDNode>(CI.getArgOperand(i)))
2500       visitMDNode(*MD, CI.getParent()->getParent());
2501
2502   switch (ID) {
2503   default:
2504     break;
2505   case Intrinsic::ctlz:  // llvm.ctlz
2506   case Intrinsic::cttz:  // llvm.cttz
2507     Assert1(isa<ConstantInt>(CI.getArgOperand(1)),
2508             "is_zero_undef argument of bit counting intrinsics must be a "
2509             "constant int", &CI);
2510     break;
2511   case Intrinsic::dbg_declare: {  // llvm.dbg.declare
2512     Assert1(CI.getArgOperand(0) && isa<MDNode>(CI.getArgOperand(0)),
2513                 "invalid llvm.dbg.declare intrinsic call 1", &CI);
2514     MDNode *MD = cast<MDNode>(CI.getArgOperand(0));
2515     Assert1(MD->getNumOperands() == 1,
2516                 "invalid llvm.dbg.declare intrinsic call 2", &CI);
2517   } break;
2518   case Intrinsic::memcpy:
2519   case Intrinsic::memmove:
2520   case Intrinsic::memset:
2521     Assert1(isa<ConstantInt>(CI.getArgOperand(3)),
2522             "alignment argument of memory intrinsics must be a constant int",
2523             &CI);
2524     Assert1(isa<ConstantInt>(CI.getArgOperand(4)),
2525             "isvolatile argument of memory intrinsics must be a constant int",
2526             &CI);
2527     break;
2528   case Intrinsic::gcroot:
2529   case Intrinsic::gcwrite:
2530   case Intrinsic::gcread:
2531     if (ID == Intrinsic::gcroot) {
2532       AllocaInst *AI =
2533         dyn_cast<AllocaInst>(CI.getArgOperand(0)->stripPointerCasts());
2534       Assert1(AI, "llvm.gcroot parameter #1 must be an alloca.", &CI);
2535       Assert1(isa<Constant>(CI.getArgOperand(1)),
2536               "llvm.gcroot parameter #2 must be a constant.", &CI);
2537       if (!AI->getType()->getElementType()->isPointerTy()) {
2538         Assert1(!isa<ConstantPointerNull>(CI.getArgOperand(1)),
2539                 "llvm.gcroot parameter #1 must either be a pointer alloca, "
2540                 "or argument #2 must be a non-null constant.", &CI);
2541       }
2542     }
2543
2544     Assert1(CI.getParent()->getParent()->hasGC(),
2545             "Enclosing function does not use GC.", &CI);
2546     break;
2547   case Intrinsic::init_trampoline:
2548     Assert1(isa<Function>(CI.getArgOperand(1)->stripPointerCasts()),
2549             "llvm.init_trampoline parameter #2 must resolve to a function.",
2550             &CI);
2551     break;
2552   case Intrinsic::prefetch:
2553     Assert1(isa<ConstantInt>(CI.getArgOperand(1)) &&
2554             isa<ConstantInt>(CI.getArgOperand(2)) &&
2555             cast<ConstantInt>(CI.getArgOperand(1))->getZExtValue() < 2 &&
2556             cast<ConstantInt>(CI.getArgOperand(2))->getZExtValue() < 4,
2557             "invalid arguments to llvm.prefetch",
2558             &CI);
2559     break;
2560   case Intrinsic::stackprotector:
2561     Assert1(isa<AllocaInst>(CI.getArgOperand(1)->stripPointerCasts()),
2562             "llvm.stackprotector parameter #2 must resolve to an alloca.",
2563             &CI);
2564     break;
2565   case Intrinsic::lifetime_start:
2566   case Intrinsic::lifetime_end:
2567   case Intrinsic::invariant_start:
2568     Assert1(isa<ConstantInt>(CI.getArgOperand(0)),
2569             "size argument of memory use markers must be a constant integer",
2570             &CI);
2571     break;
2572   case Intrinsic::invariant_end:
2573     Assert1(isa<ConstantInt>(CI.getArgOperand(1)),
2574             "llvm.invariant.end parameter #2 must be a constant integer", &CI);
2575     break;
2576  
2577   case Intrinsic::experimental_gc_statepoint: {
2578     Assert1(!CI.doesNotAccessMemory() &&
2579             !CI.onlyReadsMemory(),
2580             "gc.statepoint must read and write memory to preserve "
2581             "reordering restrictions required by safepoint semantics", &CI);
2582     Assert1(!CI.isInlineAsm(),
2583             "gc.statepoint support for inline assembly unimplemented", &CI);
2584     
2585     const Value *Target = CI.getArgOperand(0);
2586     const PointerType *PT = dyn_cast<PointerType>(Target->getType());
2587     Assert2(PT && PT->getElementType()->isFunctionTy(),
2588             "gc.statepoint callee must be of function pointer type",
2589             &CI, Target);
2590     FunctionType *TargetFuncType = cast<FunctionType>(PT->getElementType());
2591     Assert1(!TargetFuncType->isVarArg(),
2592             "gc.statepoint support for var arg functions not implemented", &CI);
2593
2594     const Value *NumCallArgsV = CI.getArgOperand(1);
2595     Assert1(isa<ConstantInt>(NumCallArgsV),
2596             "gc.statepoint number of arguments to underlying call "
2597             "must be constant integer", &CI);
2598     const int NumCallArgs = cast<ConstantInt>(NumCallArgsV)->getZExtValue();
2599     Assert1(NumCallArgs >= 0,
2600             "gc.statepoint number of arguments to underlying call "
2601             "must be positive", &CI);
2602     Assert1(NumCallArgs == (int)TargetFuncType->getNumParams(),
2603             "gc.statepoint mismatch in number of call args", &CI);
2604
2605     const Value *Unused = CI.getArgOperand(2);
2606     Assert1(isa<ConstantInt>(Unused) &&
2607             cast<ConstantInt>(Unused)->isNullValue(),
2608             "gc.statepoint parameter #3 must be zero", &CI);
2609
2610     // Verify that the types of the call parameter arguments match
2611     // the type of the wrapped callee.
2612     for (int i = 0; i < NumCallArgs; i++) {
2613       Type *ParamType = TargetFuncType->getParamType(i);
2614       Type *ArgType = CI.getArgOperand(3+i)->getType();
2615       Assert1(ArgType == ParamType,
2616               "gc.statepoint call argument does not match wrapped "
2617               "function type", &CI);
2618     }
2619     const int EndCallArgsInx = 2+NumCallArgs;
2620     const Value *NumDeoptArgsV = CI.getArgOperand(EndCallArgsInx+1);
2621     Assert1(isa<ConstantInt>(NumDeoptArgsV),
2622             "gc.statepoint number of deoptimization arguments "
2623             "must be constant integer", &CI);
2624     const int NumDeoptArgs = cast<ConstantInt>(NumDeoptArgsV)->getZExtValue();
2625     Assert1(NumDeoptArgs >= 0,
2626             "gc.statepoint number of deoptimization arguments "
2627             "must be positive", &CI);
2628
2629     Assert1(4 + NumCallArgs + NumDeoptArgs <= (int)CI.getNumArgOperands(),
2630             "gc.statepoint too few arguments according to length fields", &CI);
2631     
2632     // Check that the only uses of this gc.statepoint are gc.result or 
2633     // gc.relocate calls which are tied to this statepoint and thus part
2634     // of the same statepoint sequence
2635     for (User *U : CI.users()) {
2636       const CallInst *Call = dyn_cast<const CallInst>(U);
2637       Assert2(Call, "illegal use of statepoint token", &CI, U);
2638       if (!Call) continue;
2639       Assert2(isGCRelocate(Call) || isGCResult(Call),
2640               "gc.result or gc.relocate are the only value uses"
2641               "of a gc.statepoint", &CI, U);
2642       if (isGCResult(Call)) {
2643         Assert2(Call->getArgOperand(0) == &CI,
2644                 "gc.result connected to wrong gc.statepoint",
2645                 &CI, Call);
2646       } else if (isGCRelocate(Call)) {
2647         Assert2(Call->getArgOperand(0) == &CI,
2648                 "gc.relocate connected to wrong gc.statepoint",
2649                 &CI, Call);
2650       }
2651     }
2652
2653     // Note: It is legal for a single derived pointer to be listed multiple
2654     // times.  It's non-optimal, but it is legal.  It can also happen after
2655     // insertion if we strip a bitcast away.
2656     // Note: It is really tempting to check that each base is relocated and
2657     // that a derived pointer is never reused as a base pointer.  This turns
2658     // out to be problematic since optimizations run after safepoint insertion
2659     // can recognize equality properties that the insertion logic doesn't know
2660     // about.  See example statepoint.ll in the verifier subdirectory
2661     break;
2662   }
2663   case Intrinsic::experimental_gc_result_int:
2664   case Intrinsic::experimental_gc_result_float:
2665   case Intrinsic::experimental_gc_result_ptr: {
2666     // Are we tied to a statepoint properly?
2667     CallSite StatepointCS(CI.getArgOperand(0));
2668     const Function *StatepointFn = StatepointCS.getCalledFunction();
2669     Assert2(StatepointFn && StatepointFn->isDeclaration() &&
2670             StatepointFn->getIntrinsicID() == Intrinsic::experimental_gc_statepoint,
2671             "token must be from a statepoint", &CI, CI.getArgOperand(0));
2672
2673     // Assert that result type matches wrapped callee.
2674     const Value *Target = StatepointCS.getArgument(0);
2675     const PointerType *PT = cast<PointerType>(Target->getType());
2676     const FunctionType *TargetFuncType =
2677       cast<FunctionType>(PT->getElementType());
2678     Assert1(CI.getType() == TargetFuncType->getReturnType(),
2679             "gc.result result type does not match wrapped callee",
2680             &CI);
2681     break;
2682   }
2683   case Intrinsic::experimental_gc_relocate: {
2684     // Are we tied to a statepoint properly?
2685     CallSite StatepointCS(CI.getArgOperand(0));
2686     const Function *StatepointFn =
2687         StatepointCS.getInstruction() ? StatepointCS.getCalledFunction() : NULL;
2688     Assert2(StatepointFn && StatepointFn->isDeclaration() &&
2689             StatepointFn->getIntrinsicID() == Intrinsic::experimental_gc_statepoint,
2690             "token must be from a statepoint", &CI, CI.getArgOperand(0));
2691
2692     // Both the base and derived must be piped through the safepoint
2693     Value* Base = CI.getArgOperand(1);
2694     Assert1( isa<ConstantInt>(Base), "must be integer offset", &CI);
2695     
2696     Value* Derived = CI.getArgOperand(2);
2697     Assert1( isa<ConstantInt>(Derived), "must be integer offset", &CI);
2698
2699     const int BaseIndex = cast<ConstantInt>(Base)->getZExtValue();
2700     const int DerivedIndex = cast<ConstantInt>(Derived)->getZExtValue();
2701     // Check the bounds
2702     Assert1(0 <= BaseIndex &&
2703             BaseIndex < (int)StatepointCS.arg_size(),
2704             "index out of bounds", &CI);
2705     Assert1(0 <= DerivedIndex &&
2706             DerivedIndex < (int)StatepointCS.arg_size(),
2707             "index out of bounds", &CI);
2708
2709     // Assert that the result type matches the type of the relocated pointer
2710     GCRelocateOperands Operands(&CI);
2711     Assert1(Operands.derivedPtr()->getType() == CI.getType(),
2712             "gc.relocate: relocating a pointer shouldn't change it's type",
2713             &CI);
2714     break;
2715   }
2716   };
2717 }
2718
2719 void DebugInfoVerifier::verifyDebugInfo() {
2720   if (!VerifyDebugInfo)
2721     return;
2722
2723   DebugInfoFinder Finder;
2724   Finder.processModule(*M);
2725   processInstructions(Finder);
2726
2727   // Verify Debug Info.
2728   //
2729   // NOTE:  The loud braces are necessary for MSVC compatibility.
2730   for (DICompileUnit CU : Finder.compile_units()) {
2731     Assert1(CU.Verify(), "DICompileUnit does not Verify!", CU);
2732   }
2733   for (DISubprogram S : Finder.subprograms()) {
2734     Assert1(S.Verify(), "DISubprogram does not Verify!", S);
2735   }
2736   for (DIGlobalVariable GV : Finder.global_variables()) {
2737     Assert1(GV.Verify(), "DIGlobalVariable does not Verify!", GV);
2738   }
2739   for (DIType T : Finder.types()) {
2740     Assert1(T.Verify(), "DIType does not Verify!", T);
2741   }
2742   for (DIScope S : Finder.scopes()) {
2743     Assert1(S.Verify(), "DIScope does not Verify!", S);
2744   }
2745 }
2746
2747 void DebugInfoVerifier::processInstructions(DebugInfoFinder &Finder) {
2748   for (const Function &F : *M)
2749     for (auto I = inst_begin(&F), E = inst_end(&F); I != E; ++I) {
2750       if (MDNode *MD = I->getMetadata(LLVMContext::MD_dbg))
2751         Finder.processLocation(*M, DILocation(MD));
2752       if (const CallInst *CI = dyn_cast<CallInst>(&*I))
2753         processCallInst(Finder, *CI);
2754     }
2755 }
2756
2757 void DebugInfoVerifier::processCallInst(DebugInfoFinder &Finder,
2758                                         const CallInst &CI) {
2759   if (Function *F = CI.getCalledFunction())
2760     if (Intrinsic::ID ID = (Intrinsic::ID)F->getIntrinsicID())
2761       switch (ID) {
2762       case Intrinsic::dbg_declare:
2763         Finder.processDeclare(*M, cast<DbgDeclareInst>(&CI));
2764         break;
2765       case Intrinsic::dbg_value:
2766         Finder.processValue(*M, cast<DbgValueInst>(&CI));
2767         break;
2768       default:
2769         break;
2770       }
2771 }
2772
2773 //===----------------------------------------------------------------------===//
2774 //  Implement the public interfaces to this file...
2775 //===----------------------------------------------------------------------===//
2776
2777 bool llvm::verifyFunction(const Function &f, raw_ostream *OS) {
2778   Function &F = const_cast<Function &>(f);
2779   assert(!F.isDeclaration() && "Cannot verify external functions");
2780
2781   raw_null_ostream NullStr;
2782   Verifier V(OS ? *OS : NullStr);
2783
2784   // Note that this function's return value is inverted from what you would
2785   // expect of a function called "verify".
2786   return !V.verify(F);
2787 }
2788
2789 bool llvm::verifyModule(const Module &M, raw_ostream *OS) {
2790   raw_null_ostream NullStr;
2791   Verifier V(OS ? *OS : NullStr);
2792
2793   bool Broken = false;
2794   for (Module::const_iterator I = M.begin(), E = M.end(); I != E; ++I)
2795     if (!I->isDeclaration() && !I->isMaterializable())
2796       Broken |= !V.verify(*I);
2797
2798   // Note that this function's return value is inverted from what you would
2799   // expect of a function called "verify".
2800   DebugInfoVerifier DIV(OS ? *OS : NullStr);
2801   return !V.verify(M) || !DIV.verify(M) || Broken;
2802 }
2803
2804 namespace {
2805 struct VerifierLegacyPass : public FunctionPass {
2806   static char ID;
2807
2808   Verifier V;
2809   bool FatalErrors;
2810
2811   VerifierLegacyPass() : FunctionPass(ID), FatalErrors(true) {
2812     initializeVerifierLegacyPassPass(*PassRegistry::getPassRegistry());
2813   }
2814   explicit VerifierLegacyPass(bool FatalErrors)
2815       : FunctionPass(ID), V(dbgs()), FatalErrors(FatalErrors) {
2816     initializeVerifierLegacyPassPass(*PassRegistry::getPassRegistry());
2817   }
2818
2819   bool runOnFunction(Function &F) override {
2820     if (!V.verify(F) && FatalErrors)
2821       report_fatal_error("Broken function found, compilation aborted!");
2822
2823     return false;
2824   }
2825
2826   bool doFinalization(Module &M) override {
2827     if (!V.verify(M) && FatalErrors)
2828       report_fatal_error("Broken module found, compilation aborted!");
2829
2830     return false;
2831   }
2832
2833   void getAnalysisUsage(AnalysisUsage &AU) const override {
2834     AU.setPreservesAll();
2835   }
2836 };
2837 struct DebugInfoVerifierLegacyPass : public ModulePass {
2838   static char ID;
2839
2840   DebugInfoVerifier V;
2841   bool FatalErrors;
2842
2843   DebugInfoVerifierLegacyPass() : ModulePass(ID), FatalErrors(true) {
2844     initializeDebugInfoVerifierLegacyPassPass(*PassRegistry::getPassRegistry());
2845   }
2846   explicit DebugInfoVerifierLegacyPass(bool FatalErrors)
2847       : ModulePass(ID), V(dbgs()), FatalErrors(FatalErrors) {
2848     initializeDebugInfoVerifierLegacyPassPass(*PassRegistry::getPassRegistry());
2849   }
2850
2851   bool runOnModule(Module &M) override {
2852     if (!V.verify(M) && FatalErrors)
2853       report_fatal_error("Broken debug info found, compilation aborted!");
2854
2855     return false;
2856   }
2857
2858   void getAnalysisUsage(AnalysisUsage &AU) const override {
2859     AU.setPreservesAll();
2860   }
2861 };
2862 }
2863
2864 char VerifierLegacyPass::ID = 0;
2865 INITIALIZE_PASS(VerifierLegacyPass, "verify", "Module Verifier", false, false)
2866
2867 char DebugInfoVerifierLegacyPass::ID = 0;
2868 INITIALIZE_PASS(DebugInfoVerifierLegacyPass, "verify-di", "Debug Info Verifier",
2869                 false, false)
2870
2871 FunctionPass *llvm::createVerifierPass(bool FatalErrors) {
2872   return new VerifierLegacyPass(FatalErrors);
2873 }
2874
2875 ModulePass *llvm::createDebugInfoVerifierPass(bool FatalErrors) {
2876   return new DebugInfoVerifierLegacyPass(FatalErrors);
2877 }
2878
2879 PreservedAnalyses VerifierPass::run(Module *M) {
2880   if (verifyModule(*M, &dbgs()) && FatalErrors)
2881     report_fatal_error("Broken module found, compilation aborted!");
2882
2883   return PreservedAnalyses::all();
2884 }
2885
2886 PreservedAnalyses VerifierPass::run(Function *F) {
2887   if (verifyFunction(*F, &dbgs()) && FatalErrors)
2888     report_fatal_error("Broken function found, compilation aborted!");
2889
2890   return PreservedAnalyses::all();
2891 }