Removing LLVM_DELETED_FUNCTION, as MSVC 2012 was the last reason for requiring the...
[oota-llvm.git] / examples / Kaleidoscope / MCJIT / lazy / toy.cpp
1 #define MINIMAL_STDERR_OUTPUT
2
3 #include "llvm/Analysis/Passes.h"
4 #include "llvm/ExecutionEngine/ExecutionEngine.h"
5 #include "llvm/ExecutionEngine/MCJIT.h"
6 #include "llvm/ExecutionEngine/SectionMemoryManager.h"
7 #include "llvm/IR/DataLayout.h"
8 #include "llvm/IR/DerivedTypes.h"
9 #include "llvm/IR/IRBuilder.h"
10 #include "llvm/IR/LLVMContext.h"
11 #include "llvm/IR/LegacyPassManager.h"
12 #include "llvm/IR/Module.h"
13 #include "llvm/IR/Verifier.h"
14 #include "llvm/Support/TargetSelect.h"
15 #include "llvm/Transforms/Scalar.h"
16 #include <cctype>
17 #include <cstdio>
18 #include <map>
19 #include <string>
20 #include <vector>
21 using namespace llvm;
22
23 //===----------------------------------------------------------------------===//
24 // Lexer
25 //===----------------------------------------------------------------------===//
26
27 // The lexer returns tokens [0-255] if it is an unknown character, otherwise one
28 // of these for known things.
29 enum Token {
30   tok_eof = -1,
31
32   // commands
33   tok_def = -2, tok_extern = -3,
34
35   // primary
36   tok_identifier = -4, tok_number = -5,
37
38   // control
39   tok_if = -6, tok_then = -7, tok_else = -8,
40   tok_for = -9, tok_in = -10,
41
42   // operators
43   tok_binary = -11, tok_unary = -12,
44
45   // var definition
46   tok_var = -13
47 };
48
49 static std::string IdentifierStr;  // Filled in if tok_identifier
50 static double NumVal;              // Filled in if tok_number
51
52 /// gettok - Return the next token from standard input.
53 static int gettok() {
54   static int LastChar = ' ';
55
56   // Skip any whitespace.
57   while (isspace(LastChar))
58     LastChar = getchar();
59
60   if (isalpha(LastChar)) { // identifier: [a-zA-Z][a-zA-Z0-9]*
61     IdentifierStr = LastChar;
62     while (isalnum((LastChar = getchar())))
63       IdentifierStr += LastChar;
64
65     if (IdentifierStr == "def") return tok_def;
66     if (IdentifierStr == "extern") return tok_extern;
67     if (IdentifierStr == "if") return tok_if;
68     if (IdentifierStr == "then") return tok_then;
69     if (IdentifierStr == "else") return tok_else;
70     if (IdentifierStr == "for") return tok_for;
71     if (IdentifierStr == "in") return tok_in;
72     if (IdentifierStr == "binary") return tok_binary;
73     if (IdentifierStr == "unary") return tok_unary;
74     if (IdentifierStr == "var") return tok_var;
75     return tok_identifier;
76   }
77
78   if (isdigit(LastChar) || LastChar == '.') {   // Number: [0-9.]+
79     std::string NumStr;
80     do {
81       NumStr += LastChar;
82       LastChar = getchar();
83     } while (isdigit(LastChar) || LastChar == '.');
84
85     NumVal = strtod(NumStr.c_str(), 0);
86     return tok_number;
87   }
88
89   if (LastChar == '#') {
90     // Comment until end of line.
91     do LastChar = getchar();
92     while (LastChar != EOF && LastChar != '\n' && LastChar != '\r');
93
94     if (LastChar != EOF)
95       return gettok();
96   }
97
98   // Check for end of file.  Don't eat the EOF.
99   if (LastChar == EOF)
100     return tok_eof;
101
102   // Otherwise, just return the character as its ascii value.
103   int ThisChar = LastChar;
104   LastChar = getchar();
105   return ThisChar;
106 }
107
108 //===----------------------------------------------------------------------===//
109 // Abstract Syntax Tree (aka Parse Tree)
110 //===----------------------------------------------------------------------===//
111
112 /// ExprAST - Base class for all expression nodes.
113 class ExprAST {
114 public:
115   virtual ~ExprAST() {}
116   virtual Value *Codegen() = 0;
117 };
118
119 /// NumberExprAST - Expression class for numeric literals like "1.0".
120 class NumberExprAST : public ExprAST {
121   double Val;
122 public:
123   NumberExprAST(double val) : Val(val) {}
124   virtual Value *Codegen();
125 };
126
127 /// VariableExprAST - Expression class for referencing a variable, like "a".
128 class VariableExprAST : public ExprAST {
129   std::string Name;
130 public:
131   VariableExprAST(const std::string &name) : Name(name) {}
132   const std::string &getName() const { return Name; }
133   virtual Value *Codegen();
134 };
135
136 /// UnaryExprAST - Expression class for a unary operator.
137 class UnaryExprAST : public ExprAST {
138   char Opcode;
139   ExprAST *Operand;
140 public:
141   UnaryExprAST(char opcode, ExprAST *operand)
142     : Opcode(opcode), Operand(operand) {}
143   virtual Value *Codegen();
144 };
145
146 /// BinaryExprAST - Expression class for a binary operator.
147 class BinaryExprAST : public ExprAST {
148   char Op;
149   ExprAST *LHS, *RHS;
150 public:
151   BinaryExprAST(char op, ExprAST *lhs, ExprAST *rhs)
152     : Op(op), LHS(lhs), RHS(rhs) {}
153   virtual Value *Codegen();
154 };
155
156 /// CallExprAST - Expression class for function calls.
157 class CallExprAST : public ExprAST {
158   std::string Callee;
159   std::vector<ExprAST*> Args;
160 public:
161   CallExprAST(const std::string &callee, std::vector<ExprAST*> &args)
162     : Callee(callee), Args(args) {}
163   virtual Value *Codegen();
164 };
165
166 /// IfExprAST - Expression class for if/then/else.
167 class IfExprAST : public ExprAST {
168   ExprAST *Cond, *Then, *Else;
169 public:
170   IfExprAST(ExprAST *cond, ExprAST *then, ExprAST *_else)
171   : Cond(cond), Then(then), Else(_else) {}
172   virtual Value *Codegen();
173 };
174
175 /// ForExprAST - Expression class for for/in.
176 class ForExprAST : public ExprAST {
177   std::string VarName;
178   ExprAST *Start, *End, *Step, *Body;
179 public:
180   ForExprAST(const std::string &varname, ExprAST *start, ExprAST *end,
181              ExprAST *step, ExprAST *body)
182     : VarName(varname), Start(start), End(end), Step(step), Body(body) {}
183   virtual Value *Codegen();
184 };
185
186 /// VarExprAST - Expression class for var/in
187 class VarExprAST : public ExprAST {
188   std::vector<std::pair<std::string, ExprAST*> > VarNames;
189   ExprAST *Body;
190 public:
191   VarExprAST(const std::vector<std::pair<std::string, ExprAST*> > &varnames,
192              ExprAST *body)
193   : VarNames(varnames), Body(body) {}
194
195   virtual Value *Codegen();
196 };
197
198 /// PrototypeAST - This class represents the "prototype" for a function,
199 /// which captures its argument names as well as if it is an operator.
200 class PrototypeAST {
201   std::string Name;
202   std::vector<std::string> Args;
203   bool isOperator;
204   unsigned Precedence;  // Precedence if a binary op.
205 public:
206   PrototypeAST(const std::string &name, const std::vector<std::string> &args,
207                bool isoperator = false, unsigned prec = 0)
208   : Name(name), Args(args), isOperator(isoperator), Precedence(prec) {}
209
210   bool isUnaryOp() const { return isOperator && Args.size() == 1; }
211   bool isBinaryOp() const { return isOperator && Args.size() == 2; }
212
213   char getOperatorName() const {
214     assert(isUnaryOp() || isBinaryOp());
215     return Name[Name.size()-1];
216   }
217
218   unsigned getBinaryPrecedence() const { return Precedence; }
219
220   Function *Codegen();
221
222   void CreateArgumentAllocas(Function *F);
223 };
224
225 /// FunctionAST - This class represents a function definition itself.
226 class FunctionAST {
227   PrototypeAST *Proto;
228   ExprAST *Body;
229 public:
230   FunctionAST(PrototypeAST *proto, ExprAST *body)
231     : Proto(proto), Body(body) {}
232
233   Function *Codegen();
234 };
235
236 //===----------------------------------------------------------------------===//
237 // Parser
238 //===----------------------------------------------------------------------===//
239
240 /// CurTok/getNextToken - Provide a simple token buffer.  CurTok is the current
241 /// token the parser is looking at.  getNextToken reads another token from the
242 /// lexer and updates CurTok with its results.
243 static int CurTok;
244 static int getNextToken() {
245   return CurTok = gettok();
246 }
247
248 /// BinopPrecedence - This holds the precedence for each binary operator that is
249 /// defined.
250 static std::map<char, int> BinopPrecedence;
251
252 /// GetTokPrecedence - Get the precedence of the pending binary operator token.
253 static int GetTokPrecedence() {
254   if (!isascii(CurTok))
255     return -1;
256
257   // Make sure it's a declared binop.
258   int TokPrec = BinopPrecedence[CurTok];
259   if (TokPrec <= 0) return -1;
260   return TokPrec;
261 }
262
263 /// Error* - These are little helper functions for error handling.
264 ExprAST *Error(const char *Str) { fprintf(stderr, "Error: %s\n", Str);return 0;}
265 PrototypeAST *ErrorP(const char *Str) { Error(Str); return 0; }
266 FunctionAST *ErrorF(const char *Str) { Error(Str); return 0; }
267
268 static ExprAST *ParseExpression();
269
270 /// identifierexpr
271 ///   ::= identifier
272 ///   ::= identifier '(' expression* ')'
273 static ExprAST *ParseIdentifierExpr() {
274   std::string IdName = IdentifierStr;
275
276   getNextToken();  // eat identifier.
277
278   if (CurTok != '(') // Simple variable ref.
279     return new VariableExprAST(IdName);
280
281   // Call.
282   getNextToken();  // eat (
283   std::vector<ExprAST*> Args;
284   if (CurTok != ')') {
285     while (1) {
286       ExprAST *Arg = ParseExpression();
287       if (!Arg) return 0;
288       Args.push_back(Arg);
289
290       if (CurTok == ')') break;
291
292       if (CurTok != ',')
293         return Error("Expected ')' or ',' in argument list");
294       getNextToken();
295     }
296   }
297
298   // Eat the ')'.
299   getNextToken();
300
301   return new CallExprAST(IdName, Args);
302 }
303
304 /// numberexpr ::= number
305 static ExprAST *ParseNumberExpr() {
306   ExprAST *Result = new NumberExprAST(NumVal);
307   getNextToken(); // consume the number
308   return Result;
309 }
310
311 /// parenexpr ::= '(' expression ')'
312 static ExprAST *ParseParenExpr() {
313   getNextToken();  // eat (.
314   ExprAST *V = ParseExpression();
315   if (!V) return 0;
316
317   if (CurTok != ')')
318     return Error("expected ')'");
319   getNextToken();  // eat ).
320   return V;
321 }
322
323 /// ifexpr ::= 'if' expression 'then' expression 'else' expression
324 static ExprAST *ParseIfExpr() {
325   getNextToken();  // eat the if.
326
327   // condition.
328   ExprAST *Cond = ParseExpression();
329   if (!Cond) return 0;
330
331   if (CurTok != tok_then)
332     return Error("expected then");
333   getNextToken();  // eat the then
334
335   ExprAST *Then = ParseExpression();
336   if (Then == 0) return 0;
337
338   if (CurTok != tok_else)
339     return Error("expected else");
340
341   getNextToken();
342
343   ExprAST *Else = ParseExpression();
344   if (!Else) return 0;
345
346   return new IfExprAST(Cond, Then, Else);
347 }
348
349 /// forexpr ::= 'for' identifier '=' expr ',' expr (',' expr)? 'in' expression
350 static ExprAST *ParseForExpr() {
351   getNextToken();  // eat the for.
352
353   if (CurTok != tok_identifier)
354     return Error("expected identifier after for");
355
356   std::string IdName = IdentifierStr;
357   getNextToken();  // eat identifier.
358
359   if (CurTok != '=')
360     return Error("expected '=' after for");
361   getNextToken();  // eat '='.
362
363
364   ExprAST *Start = ParseExpression();
365   if (Start == 0) return 0;
366   if (CurTok != ',')
367     return Error("expected ',' after for start value");
368   getNextToken();
369
370   ExprAST *End = ParseExpression();
371   if (End == 0) return 0;
372
373   // The step value is optional.
374   ExprAST *Step = 0;
375   if (CurTok == ',') {
376     getNextToken();
377     Step = ParseExpression();
378     if (Step == 0) return 0;
379   }
380
381   if (CurTok != tok_in)
382     return Error("expected 'in' after for");
383   getNextToken();  // eat 'in'.
384
385   ExprAST *Body = ParseExpression();
386   if (Body == 0) return 0;
387
388   return new ForExprAST(IdName, Start, End, Step, Body);
389 }
390
391 /// varexpr ::= 'var' identifier ('=' expression)?
392 //                    (',' identifier ('=' expression)?)* 'in' expression
393 static ExprAST *ParseVarExpr() {
394   getNextToken();  // eat the var.
395
396   std::vector<std::pair<std::string, ExprAST*> > VarNames;
397
398   // At least one variable name is required.
399   if (CurTok != tok_identifier)
400     return Error("expected identifier after var");
401
402   while (1) {
403     std::string Name = IdentifierStr;
404     getNextToken();  // eat identifier.
405
406     // Read the optional initializer.
407     ExprAST *Init = 0;
408     if (CurTok == '=') {
409       getNextToken(); // eat the '='.
410
411       Init = ParseExpression();
412       if (Init == 0) return 0;
413     }
414
415     VarNames.push_back(std::make_pair(Name, Init));
416
417     // End of var list, exit loop.
418     if (CurTok != ',') break;
419     getNextToken(); // eat the ','.
420
421     if (CurTok != tok_identifier)
422       return Error("expected identifier list after var");
423   }
424
425   // At this point, we have to have 'in'.
426   if (CurTok != tok_in)
427     return Error("expected 'in' keyword after 'var'");
428   getNextToken();  // eat 'in'.
429
430   ExprAST *Body = ParseExpression();
431   if (Body == 0) return 0;
432
433   return new VarExprAST(VarNames, Body);
434 }
435
436 /// primary
437 ///   ::= identifierexpr
438 ///   ::= numberexpr
439 ///   ::= parenexpr
440 ///   ::= ifexpr
441 ///   ::= forexpr
442 ///   ::= varexpr
443 static ExprAST *ParsePrimary() {
444   switch (CurTok) {
445   default: return Error("unknown token when expecting an expression");
446   case tok_identifier: return ParseIdentifierExpr();
447   case tok_number:     return ParseNumberExpr();
448   case '(':            return ParseParenExpr();
449   case tok_if:         return ParseIfExpr();
450   case tok_for:        return ParseForExpr();
451   case tok_var:        return ParseVarExpr();
452   }
453 }
454
455 /// unary
456 ///   ::= primary
457 ///   ::= '!' unary
458 static ExprAST *ParseUnary() {
459   // If the current token is not an operator, it must be a primary expr.
460   if (!isascii(CurTok) || CurTok == '(' || CurTok == ',')
461     return ParsePrimary();
462
463   // If this is a unary operator, read it.
464   int Opc = CurTok;
465   getNextToken();
466   if (ExprAST *Operand = ParseUnary())
467     return new UnaryExprAST(Opc, Operand);
468   return 0;
469 }
470
471 /// binoprhs
472 ///   ::= ('+' unary)*
473 static ExprAST *ParseBinOpRHS(int ExprPrec, ExprAST *LHS) {
474   // If this is a binop, find its precedence.
475   while (1) {
476     int TokPrec = GetTokPrecedence();
477
478     // If this is a binop that binds at least as tightly as the current binop,
479     // consume it, otherwise we are done.
480     if (TokPrec < ExprPrec)
481       return LHS;
482
483     // Okay, we know this is a binop.
484     int BinOp = CurTok;
485     getNextToken();  // eat binop
486
487     // Parse the unary expression after the binary operator.
488     ExprAST *RHS = ParseUnary();
489     if (!RHS) return 0;
490
491     // If BinOp binds less tightly with RHS than the operator after RHS, let
492     // the pending operator take RHS as its LHS.
493     int NextPrec = GetTokPrecedence();
494     if (TokPrec < NextPrec) {
495       RHS = ParseBinOpRHS(TokPrec+1, RHS);
496       if (RHS == 0) return 0;
497     }
498
499     // Merge LHS/RHS.
500     LHS = new BinaryExprAST(BinOp, LHS, RHS);
501   }
502 }
503
504 /// expression
505 ///   ::= unary binoprhs
506 ///
507 static ExprAST *ParseExpression() {
508   ExprAST *LHS = ParseUnary();
509   if (!LHS) return 0;
510
511   return ParseBinOpRHS(0, LHS);
512 }
513
514 /// prototype
515 ///   ::= id '(' id* ')'
516 ///   ::= binary LETTER number? (id, id)
517 ///   ::= unary LETTER (id)
518 static PrototypeAST *ParsePrototype() {
519   std::string FnName;
520
521   unsigned Kind = 0; // 0 = identifier, 1 = unary, 2 = binary.
522   unsigned BinaryPrecedence = 30;
523
524   switch (CurTok) {
525   default:
526     return ErrorP("Expected function name in prototype");
527   case tok_identifier:
528     FnName = IdentifierStr;
529     Kind = 0;
530     getNextToken();
531     break;
532   case tok_unary:
533     getNextToken();
534     if (!isascii(CurTok))
535       return ErrorP("Expected unary operator");
536     FnName = "unary";
537     FnName += (char)CurTok;
538     Kind = 1;
539     getNextToken();
540     break;
541   case tok_binary:
542     getNextToken();
543     if (!isascii(CurTok))
544       return ErrorP("Expected binary operator");
545     FnName = "binary";
546     FnName += (char)CurTok;
547     Kind = 2;
548     getNextToken();
549
550     // Read the precedence if present.
551     if (CurTok == tok_number) {
552       if (NumVal < 1 || NumVal > 100)
553         return ErrorP("Invalid precedecnce: must be 1..100");
554       BinaryPrecedence = (unsigned)NumVal;
555       getNextToken();
556     }
557     break;
558   }
559
560   if (CurTok != '(')
561     return ErrorP("Expected '(' in prototype");
562
563   std::vector<std::string> ArgNames;
564   while (getNextToken() == tok_identifier)
565     ArgNames.push_back(IdentifierStr);
566   if (CurTok != ')')
567     return ErrorP("Expected ')' in prototype");
568
569   // success.
570   getNextToken();  // eat ')'.
571
572   // Verify right number of names for operator.
573   if (Kind && ArgNames.size() != Kind)
574     return ErrorP("Invalid number of operands for operator");
575
576   return new PrototypeAST(FnName, ArgNames, Kind != 0, BinaryPrecedence);
577 }
578
579 /// definition ::= 'def' prototype expression
580 static FunctionAST *ParseDefinition() {
581   getNextToken();  // eat def.
582   PrototypeAST *Proto = ParsePrototype();
583   if (Proto == 0) return 0;
584
585   if (ExprAST *E = ParseExpression())
586     return new FunctionAST(Proto, E);
587   return 0;
588 }
589
590 /// toplevelexpr ::= expression
591 static FunctionAST *ParseTopLevelExpr() {
592   if (ExprAST *E = ParseExpression()) {
593     // Make an anonymous proto.
594     PrototypeAST *Proto = new PrototypeAST("", std::vector<std::string>());
595     return new FunctionAST(Proto, E);
596   }
597   return 0;
598 }
599
600 /// external ::= 'extern' prototype
601 static PrototypeAST *ParseExtern() {
602   getNextToken();  // eat extern.
603   return ParsePrototype();
604 }
605
606 //===----------------------------------------------------------------------===//
607 // Quick and dirty hack
608 //===----------------------------------------------------------------------===//
609
610 // FIXME: Obviously we can do better than this
611 std::string GenerateUniqueName(const char *root)
612 {
613   static int i = 0;
614   char s[16];
615   sprintf(s, "%s%d", root, i++);
616   std::string S = s;
617   return S;
618 }
619
620 std::string MakeLegalFunctionName(std::string Name)
621 {
622   std::string NewName;
623   if (!Name.length())
624       return GenerateUniqueName("anon_func_");
625
626   // Start with what we have
627   NewName = Name;
628
629   // Look for a numberic first character
630   if (NewName.find_first_of("0123456789") == 0) {
631     NewName.insert(0, 1, 'n');
632   }
633
634   // Replace illegal characters with their ASCII equivalent
635   std::string legal_elements = "_abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789";
636   size_t pos;
637   while ((pos = NewName.find_first_not_of(legal_elements)) != std::string::npos) {
638     char old_c = NewName.at(pos);
639     char new_str[16];
640     sprintf(new_str, "%d", (int)old_c);
641     NewName = NewName.replace(pos, 1, new_str);
642   }
643
644   return NewName;
645 }
646
647 //===----------------------------------------------------------------------===//
648 // MCJIT helper class
649 //===----------------------------------------------------------------------===//
650
651 class MCJITHelper
652 {
653 public:
654   MCJITHelper(LLVMContext& C) : Context(C), OpenModule(NULL) {}
655   ~MCJITHelper();
656
657   Function *getFunction(const std::string FnName);
658   Module *getModuleForNewFunction();
659   void *getPointerToFunction(Function* F);
660   void *getPointerToNamedFunction(const std::string &Name);
661   ExecutionEngine *compileModule(Module *M);
662   void closeCurrentModule();
663   void dump();
664
665 private:
666   typedef std::vector<Module*> ModuleVector;
667
668   LLVMContext  &Context;
669   Module       *OpenModule;
670   ModuleVector  Modules;
671   std::map<Module *, ExecutionEngine *> EngineMap;
672 };
673
674 class HelpingMemoryManager : public SectionMemoryManager
675 {
676   HelpingMemoryManager(const HelpingMemoryManager&) = delete;
677   void operator=(const HelpingMemoryManager&) = delete;
678
679 public:
680   HelpingMemoryManager(MCJITHelper *Helper) : MasterHelper(Helper) {}
681   virtual ~HelpingMemoryManager() {}
682
683   /// This method returns the address of the specified function.
684   /// Our implementation will attempt to find functions in other
685   /// modules associated with the MCJITHelper to cross link functions
686   /// from one generated module to another.
687   ///
688   /// If \p AbortOnFailure is false and no function with the given name is
689   /// found, this function returns a null pointer. Otherwise, it prints a
690   /// message to stderr and aborts.
691   virtual void *getPointerToNamedFunction(const std::string &Name,
692                                           bool AbortOnFailure = true);
693 private:
694   MCJITHelper *MasterHelper;
695 };
696
697 void *HelpingMemoryManager::getPointerToNamedFunction(const std::string &Name,
698                                         bool AbortOnFailure)
699 {
700   // Try the standard symbol resolution first, but ask it not to abort.
701   void *pfn = SectionMemoryManager::getPointerToNamedFunction(Name, false);
702   if (pfn)
703     return pfn;
704
705   pfn = MasterHelper->getPointerToNamedFunction(Name);
706   if (!pfn && AbortOnFailure)
707     report_fatal_error("Program used external function '" + Name +
708                         "' which could not be resolved!");
709   return pfn;
710 }
711
712 MCJITHelper::~MCJITHelper()
713 {
714   // Walk the vector of modules.
715   ModuleVector::iterator it, end;
716   for (it = Modules.begin(), end = Modules.end();
717        it != end; ++it) {
718     // See if we have an execution engine for this module.
719     std::map<Module*, ExecutionEngine*>::iterator mapIt = EngineMap.find(*it);
720     // If we have an EE, the EE owns the module so just delete the EE.
721     if (mapIt != EngineMap.end()) {
722       delete mapIt->second;
723     } else {
724       // Otherwise, we still own the module.  Delete it now.
725       delete *it;
726     }
727   }
728 }
729
730 Function *MCJITHelper::getFunction(const std::string FnName) {
731   ModuleVector::iterator begin = Modules.begin();
732   ModuleVector::iterator end = Modules.end();
733   ModuleVector::iterator it;
734   for (it = begin; it != end; ++it) {
735     Function *F = (*it)->getFunction(FnName);
736     if (F) {
737       if (*it == OpenModule)
738           return F;
739
740       assert(OpenModule != NULL);
741
742       // This function is in a module that has already been JITed.
743       // We need to generate a new prototype for external linkage.
744       Function *PF = OpenModule->getFunction(FnName);
745       if (PF && !PF->empty()) {
746         ErrorF("redefinition of function across modules");
747         return 0;
748       }
749
750       // If we don't have a prototype yet, create one.
751       if (!PF)
752         PF = Function::Create(F->getFunctionType(),
753                                       Function::ExternalLinkage,
754                                       FnName,
755                                       OpenModule);
756       return PF;
757     }
758   }
759   return NULL;
760 }
761
762 Module *MCJITHelper::getModuleForNewFunction() {
763   // If we have a Module that hasn't been JITed, use that.
764   if (OpenModule)
765     return OpenModule;
766
767   // Otherwise create a new Module.
768   std::string ModName = GenerateUniqueName("mcjit_module_");
769   Module *M = new Module(ModName, Context);
770   Modules.push_back(M);
771   OpenModule = M;
772   return M;
773 }
774
775 void *MCJITHelper::getPointerToFunction(Function* F) {
776   // Look for this function in an existing module
777   ModuleVector::iterator begin = Modules.begin();
778   ModuleVector::iterator end = Modules.end();
779   ModuleVector::iterator it;
780   std::string FnName = F->getName();
781   for (it = begin; it != end; ++it) {
782     Function *MF = (*it)->getFunction(FnName);
783     if (MF == F) {
784       std::map<Module*, ExecutionEngine*>::iterator eeIt = EngineMap.find(*it);
785       if (eeIt != EngineMap.end()) {
786         void *P = eeIt->second->getPointerToFunction(F);
787         if (P)
788           return P;
789       } else {
790         ExecutionEngine *EE = compileModule(*it);
791         void *P = EE->getPointerToFunction(F);
792         if (P)
793           return P;
794       }
795     }
796   }
797   return NULL;
798 }
799
800 void MCJITHelper::closeCurrentModule() {
801   OpenModule = NULL;
802 }
803
804 ExecutionEngine *MCJITHelper::compileModule(Module *M) {
805   if (M == OpenModule)
806     closeCurrentModule();
807
808   std::string ErrStr;
809   ExecutionEngine *NewEngine = EngineBuilder(M)
810                                             .setErrorStr(&ErrStr)
811                                             .setMCJITMemoryManager(new HelpingMemoryManager(this))
812                                             .create();
813   if (!NewEngine) {
814     fprintf(stderr, "Could not create ExecutionEngine: %s\n", ErrStr.c_str());
815     exit(1);
816   }
817
818   // Create a function pass manager for this engine
819   FunctionPassManager *FPM = new FunctionPassManager(M);
820
821   // Set up the optimizer pipeline.  Start with registering info about how the
822   // target lays out data structures.
823   FPM->add(new DataLayout(*NewEngine->getDataLayout()));
824   // Provide basic AliasAnalysis support for GVN.
825   FPM->add(createBasicAliasAnalysisPass());
826   // Promote allocas to registers.
827   FPM->add(createPromoteMemoryToRegisterPass());
828   // Do simple "peephole" optimizations and bit-twiddling optzns.
829   FPM->add(createInstructionCombiningPass());
830   // Reassociate expressions.
831   FPM->add(createReassociatePass());
832   // Eliminate Common SubExpressions.
833   FPM->add(createGVNPass());
834   // Simplify the control flow graph (deleting unreachable blocks, etc).
835   FPM->add(createCFGSimplificationPass());
836   FPM->doInitialization();
837
838   // For each function in the module
839   Module::iterator it;
840   Module::iterator end = M->end();
841   for (it = M->begin(); it != end; ++it) {
842     // Run the FPM on this function
843     FPM->run(*it);
844   }
845
846   // We don't need this anymore
847   delete FPM;
848
849   // Store this engine
850   EngineMap[M] = NewEngine;
851   NewEngine->finalizeObject();
852
853   return NewEngine;
854 }
855
856 void *MCJITHelper::getPointerToNamedFunction(const std::string &Name)
857 {
858   // Look for the functions in our modules, compiling only as necessary
859   ModuleVector::iterator begin = Modules.begin();
860   ModuleVector::iterator end = Modules.end();
861   ModuleVector::iterator it;
862   for (it = begin; it != end; ++it) {
863     Function *F = (*it)->getFunction(Name);
864     if (F && !F->empty()) {
865       std::map<Module*, ExecutionEngine*>::iterator eeIt = EngineMap.find(*it);
866       if (eeIt != EngineMap.end()) {
867         void *P = eeIt->second->getPointerToFunction(F);
868         if (P)
869           return P;
870       } else {
871         ExecutionEngine *EE = compileModule(*it);
872         void *P = EE->getPointerToFunction(F);
873         if (P)
874           return P;
875       }
876     }
877   }
878   return NULL;
879 }
880
881 void MCJITHelper::dump()
882 {
883   ModuleVector::iterator begin = Modules.begin();
884   ModuleVector::iterator end = Modules.end();
885   ModuleVector::iterator it;
886   for (it = begin; it != end; ++it)
887     (*it)->dump();
888 }
889
890 //===----------------------------------------------------------------------===//
891 // Code Generation
892 //===----------------------------------------------------------------------===//
893
894 static MCJITHelper *TheHelper;
895 static IRBuilder<> Builder(getGlobalContext());
896 static std::map<std::string, AllocaInst*> NamedValues;
897
898 Value *ErrorV(const char *Str) { Error(Str); return 0; }
899
900 /// CreateEntryBlockAlloca - Create an alloca instruction in the entry block of
901 /// the function.  This is used for mutable variables etc.
902 static AllocaInst *CreateEntryBlockAlloca(Function *TheFunction,
903                                           const std::string &VarName) {
904   IRBuilder<> TmpB(&TheFunction->getEntryBlock(),
905                  TheFunction->getEntryBlock().begin());
906   return TmpB.CreateAlloca(Type::getDoubleTy(getGlobalContext()), 0,
907                            VarName.c_str());
908 }
909
910 Value *NumberExprAST::Codegen() {
911   return ConstantFP::get(getGlobalContext(), APFloat(Val));
912 }
913
914 Value *VariableExprAST::Codegen() {
915   // Look this variable up in the function.
916   Value *V = NamedValues[Name];
917   char ErrStr[256];
918   sprintf(ErrStr, "Unknown variable name %s", Name.c_str());
919   if (V == 0) return ErrorV(ErrStr);
920
921   // Load the value.
922   return Builder.CreateLoad(V, Name.c_str());
923 }
924
925 Value *UnaryExprAST::Codegen() {
926   Value *OperandV = Operand->Codegen();
927   if (OperandV == 0) return 0;
928
929   Function *F = TheHelper->getFunction(MakeLegalFunctionName(std::string("unary")+Opcode));
930   if (F == 0)
931     return ErrorV("Unknown unary operator");
932
933   return Builder.CreateCall(F, OperandV, "unop");
934 }
935
936 Value *BinaryExprAST::Codegen() {
937   // Special case '=' because we don't want to emit the LHS as an expression.
938   if (Op == '=') {
939     // Assignment requires the LHS to be an identifier.
940     VariableExprAST *LHSE = reinterpret_cast<VariableExprAST*>(LHS);
941     if (!LHSE)
942       return ErrorV("destination of '=' must be a variable");
943     // Codegen the RHS.
944     Value *Val = RHS->Codegen();
945     if (Val == 0) return 0;
946
947     // Look up the name.
948     Value *Variable = NamedValues[LHSE->getName()];
949     if (Variable == 0) return ErrorV("Unknown variable name");
950
951     Builder.CreateStore(Val, Variable);
952     return Val;
953   }
954
955   Value *L = LHS->Codegen();
956   Value *R = RHS->Codegen();
957   if (L == 0 || R == 0) return 0;
958
959   switch (Op) {
960   case '+': return Builder.CreateFAdd(L, R, "addtmp");
961   case '-': return Builder.CreateFSub(L, R, "subtmp");
962   case '*': return Builder.CreateFMul(L, R, "multmp");
963   case '/': return Builder.CreateFDiv(L, R, "divtmp");
964   case '<':
965     L = Builder.CreateFCmpULT(L, R, "cmptmp");
966     // Convert bool 0/1 to double 0.0 or 1.0
967     return Builder.CreateUIToFP(L, Type::getDoubleTy(getGlobalContext()),
968                                 "booltmp");
969   default: break;
970   }
971
972   // If it wasn't a builtin binary operator, it must be a user defined one. Emit
973   // a call to it.
974   Function *F = TheHelper->getFunction(MakeLegalFunctionName(std::string("binary")+Op));
975   assert(F && "binary operator not found!");
976
977   Value *Ops[] = { L, R };
978   return Builder.CreateCall(F, Ops, "binop");
979 }
980
981 Value *CallExprAST::Codegen() {
982   // Look up the name in the global module table.
983   Function *CalleeF = TheHelper->getFunction(Callee);
984   if (CalleeF == 0)
985     return ErrorV("Unknown function referenced");
986
987   // If argument mismatch error.
988   if (CalleeF->arg_size() != Args.size())
989     return ErrorV("Incorrect # arguments passed");
990
991   std::vector<Value*> ArgsV;
992   for (unsigned i = 0, e = Args.size(); i != e; ++i) {
993     ArgsV.push_back(Args[i]->Codegen());
994     if (ArgsV.back() == 0) return 0;
995   }
996
997   return Builder.CreateCall(CalleeF, ArgsV, "calltmp");
998 }
999
1000 Value *IfExprAST::Codegen() {
1001   Value *CondV = Cond->Codegen();
1002   if (CondV == 0) return 0;
1003
1004   // Convert condition to a bool by comparing equal to 0.0.
1005   CondV = Builder.CreateFCmpONE(CondV,
1006                               ConstantFP::get(getGlobalContext(), APFloat(0.0)),
1007                                 "ifcond");
1008
1009   Function *TheFunction = Builder.GetInsertBlock()->getParent();
1010
1011   // Create blocks for the then and else cases.  Insert the 'then' block at the
1012   // end of the function.
1013   BasicBlock *ThenBB = BasicBlock::Create(getGlobalContext(), "then", TheFunction);
1014   BasicBlock *ElseBB = BasicBlock::Create(getGlobalContext(), "else");
1015   BasicBlock *MergeBB = BasicBlock::Create(getGlobalContext(), "ifcont");
1016
1017   Builder.CreateCondBr(CondV, ThenBB, ElseBB);
1018
1019   // Emit then value.
1020   Builder.SetInsertPoint(ThenBB);
1021
1022   Value *ThenV = Then->Codegen();
1023   if (ThenV == 0) return 0;
1024
1025   Builder.CreateBr(MergeBB);
1026   // Codegen of 'Then' can change the current block, update ThenBB for the PHI.
1027   ThenBB = Builder.GetInsertBlock();
1028
1029   // Emit else block.
1030   TheFunction->getBasicBlockList().push_back(ElseBB);
1031   Builder.SetInsertPoint(ElseBB);
1032
1033   Value *ElseV = Else->Codegen();
1034   if (ElseV == 0) return 0;
1035
1036   Builder.CreateBr(MergeBB);
1037   // Codegen of 'Else' can change the current block, update ElseBB for the PHI.
1038   ElseBB = Builder.GetInsertBlock();
1039
1040   // Emit merge block.
1041   TheFunction->getBasicBlockList().push_back(MergeBB);
1042   Builder.SetInsertPoint(MergeBB);
1043   PHINode *PN = Builder.CreatePHI(Type::getDoubleTy(getGlobalContext()), 2,
1044                                   "iftmp");
1045
1046   PN->addIncoming(ThenV, ThenBB);
1047   PN->addIncoming(ElseV, ElseBB);
1048   return PN;
1049 }
1050
1051 Value *ForExprAST::Codegen() {
1052   // Output this as:
1053   //   var = alloca double
1054   //   ...
1055   //   start = startexpr
1056   //   store start -> var
1057   //   goto loop
1058   // loop:
1059   //   ...
1060   //   bodyexpr
1061   //   ...
1062   // loopend:
1063   //   step = stepexpr
1064   //   endcond = endexpr
1065   //
1066   //   curvar = load var
1067   //   nextvar = curvar + step
1068   //   store nextvar -> var
1069   //   br endcond, loop, endloop
1070   // outloop:
1071
1072   Function *TheFunction = Builder.GetInsertBlock()->getParent();
1073
1074   // Create an alloca for the variable in the entry block.
1075   AllocaInst *Alloca = CreateEntryBlockAlloca(TheFunction, VarName);
1076
1077   // Emit the start code first, without 'variable' in scope.
1078   Value *StartVal = Start->Codegen();
1079   if (StartVal == 0) return 0;
1080
1081   // Store the value into the alloca.
1082   Builder.CreateStore(StartVal, Alloca);
1083
1084   // Make the new basic block for the loop header, inserting after current
1085   // block.
1086   BasicBlock *LoopBB = BasicBlock::Create(getGlobalContext(), "loop", TheFunction);
1087
1088   // Insert an explicit fall through from the current block to the LoopBB.
1089   Builder.CreateBr(LoopBB);
1090
1091   // Start insertion in LoopBB.
1092   Builder.SetInsertPoint(LoopBB);
1093
1094   // Within the loop, the variable is defined equal to the PHI node.  If it
1095   // shadows an existing variable, we have to restore it, so save it now.
1096   AllocaInst *OldVal = NamedValues[VarName];
1097   NamedValues[VarName] = Alloca;
1098
1099   // Emit the body of the loop.  This, like any other expr, can change the
1100   // current BB.  Note that we ignore the value computed by the body, but don't
1101   // allow an error.
1102   if (Body->Codegen() == 0)
1103     return 0;
1104
1105   // Emit the step value.
1106   Value *StepVal;
1107   if (Step) {
1108     StepVal = Step->Codegen();
1109     if (StepVal == 0) return 0;
1110   } else {
1111     // If not specified, use 1.0.
1112     StepVal = ConstantFP::get(getGlobalContext(), APFloat(1.0));
1113   }
1114
1115   // Compute the end condition.
1116   Value *EndCond = End->Codegen();
1117   if (EndCond == 0) return EndCond;
1118
1119   // Reload, increment, and restore the alloca.  This handles the case where
1120   // the body of the loop mutates the variable.
1121   Value *CurVar = Builder.CreateLoad(Alloca, VarName.c_str());
1122   Value *NextVar = Builder.CreateFAdd(CurVar, StepVal, "nextvar");
1123   Builder.CreateStore(NextVar, Alloca);
1124
1125   // Convert condition to a bool by comparing equal to 0.0.
1126   EndCond = Builder.CreateFCmpONE(EndCond,
1127                               ConstantFP::get(getGlobalContext(), APFloat(0.0)),
1128                                   "loopcond");
1129
1130   // Create the "after loop" block and insert it.
1131   BasicBlock *AfterBB = BasicBlock::Create(getGlobalContext(), "afterloop", TheFunction);
1132
1133   // Insert the conditional branch into the end of LoopEndBB.
1134   Builder.CreateCondBr(EndCond, LoopBB, AfterBB);
1135
1136   // Any new code will be inserted in AfterBB.
1137   Builder.SetInsertPoint(AfterBB);
1138
1139   // Restore the unshadowed variable.
1140   if (OldVal)
1141     NamedValues[VarName] = OldVal;
1142   else
1143     NamedValues.erase(VarName);
1144
1145
1146   // for expr always returns 0.0.
1147   return Constant::getNullValue(Type::getDoubleTy(getGlobalContext()));
1148 }
1149
1150 Value *VarExprAST::Codegen() {
1151   std::vector<AllocaInst *> OldBindings;
1152
1153   Function *TheFunction = Builder.GetInsertBlock()->getParent();
1154
1155   // Register all variables and emit their initializer.
1156   for (unsigned i = 0, e = VarNames.size(); i != e; ++i) {
1157     const std::string &VarName = VarNames[i].first;
1158     ExprAST *Init = VarNames[i].second;
1159
1160     // Emit the initializer before adding the variable to scope, this prevents
1161     // the initializer from referencing the variable itself, and permits stuff
1162     // like this:
1163     //  var a = 1 in
1164     //    var a = a in ...   # refers to outer 'a'.
1165     Value *InitVal;
1166     if (Init) {
1167       InitVal = Init->Codegen();
1168       if (InitVal == 0) return 0;
1169     } else { // If not specified, use 0.0.
1170       InitVal = ConstantFP::get(getGlobalContext(), APFloat(0.0));
1171     }
1172
1173     AllocaInst *Alloca = CreateEntryBlockAlloca(TheFunction, VarName);
1174     Builder.CreateStore(InitVal, Alloca);
1175
1176     // Remember the old variable binding so that we can restore the binding when
1177     // we unrecurse.
1178     OldBindings.push_back(NamedValues[VarName]);
1179
1180     // Remember this binding.
1181     NamedValues[VarName] = Alloca;
1182   }
1183
1184   // Codegen the body, now that all vars are in scope.
1185   Value *BodyVal = Body->Codegen();
1186   if (BodyVal == 0) return 0;
1187
1188   // Pop all our variables from scope.
1189   for (unsigned i = 0, e = VarNames.size(); i != e; ++i)
1190     NamedValues[VarNames[i].first] = OldBindings[i];
1191
1192   // Return the body computation.
1193   return BodyVal;
1194 }
1195
1196 Function *PrototypeAST::Codegen() {
1197   // Make the function type:  double(double,double) etc.
1198   std::vector<Type*> Doubles(Args.size(),
1199                              Type::getDoubleTy(getGlobalContext()));
1200   FunctionType *FT = FunctionType::get(Type::getDoubleTy(getGlobalContext()),
1201                                        Doubles, false);
1202
1203   std::string FnName = MakeLegalFunctionName(Name);
1204
1205   Module* M = TheHelper->getModuleForNewFunction();
1206
1207   Function *F = Function::Create(FT, Function::ExternalLinkage, FnName, M);
1208
1209   // If F conflicted, there was already something named 'FnName'.  If it has a
1210   // body, don't allow redefinition or reextern.
1211   if (F->getName() != FnName) {
1212     // Delete the one we just made and get the existing one.
1213     F->eraseFromParent();
1214     F = M->getFunction(Name);
1215
1216     // If F already has a body, reject this.
1217     if (!F->empty()) {
1218       ErrorF("redefinition of function");
1219       return 0;
1220     }
1221
1222     // If F took a different number of args, reject.
1223     if (F->arg_size() != Args.size()) {
1224       ErrorF("redefinition of function with different # args");
1225       return 0;
1226     }
1227   }
1228
1229   // Set names for all arguments.
1230   unsigned Idx = 0;
1231   for (Function::arg_iterator AI = F->arg_begin(); Idx != Args.size();
1232        ++AI, ++Idx)
1233     AI->setName(Args[Idx]);
1234
1235   return F;
1236 }
1237
1238 /// CreateArgumentAllocas - Create an alloca for each argument and register the
1239 /// argument in the symbol table so that references to it will succeed.
1240 void PrototypeAST::CreateArgumentAllocas(Function *F) {
1241   Function::arg_iterator AI = F->arg_begin();
1242   for (unsigned Idx = 0, e = Args.size(); Idx != e; ++Idx, ++AI) {
1243     // Create an alloca for this variable.
1244     AllocaInst *Alloca = CreateEntryBlockAlloca(F, Args[Idx]);
1245
1246     // Store the initial value into the alloca.
1247     Builder.CreateStore(AI, Alloca);
1248
1249     // Add arguments to variable symbol table.
1250     NamedValues[Args[Idx]] = Alloca;
1251   }
1252 }
1253
1254 Function *FunctionAST::Codegen() {
1255   NamedValues.clear();
1256
1257   Function *TheFunction = Proto->Codegen();
1258   if (TheFunction == 0)
1259     return 0;
1260
1261   // If this is an operator, install it.
1262   if (Proto->isBinaryOp())
1263     BinopPrecedence[Proto->getOperatorName()] = Proto->getBinaryPrecedence();
1264
1265   // Create a new basic block to start insertion into.
1266   BasicBlock *BB = BasicBlock::Create(getGlobalContext(), "entry", TheFunction);
1267   Builder.SetInsertPoint(BB);
1268
1269   // Add all arguments to the symbol table and create their allocas.
1270   Proto->CreateArgumentAllocas(TheFunction);
1271
1272   if (Value *RetVal = Body->Codegen()) {
1273     // Finish off the function.
1274     Builder.CreateRet(RetVal);
1275
1276     // Validate the generated code, checking for consistency.
1277     verifyFunction(*TheFunction);
1278
1279     return TheFunction;
1280   }
1281
1282   // Error reading body, remove function.
1283   TheFunction->eraseFromParent();
1284
1285   if (Proto->isBinaryOp())
1286     BinopPrecedence.erase(Proto->getOperatorName());
1287   return 0;
1288 }
1289
1290 //===----------------------------------------------------------------------===//
1291 // Top-Level parsing and JIT Driver
1292 //===----------------------------------------------------------------------===//
1293
1294 static void HandleDefinition() {
1295   if (FunctionAST *F = ParseDefinition()) {
1296     TheHelper->closeCurrentModule();
1297     if (Function *LF = F->Codegen()) {
1298 #ifndef MINIMAL_STDERR_OUTPUT
1299       fprintf(stderr, "Read function definition:");
1300       LF->dump();
1301 #endif
1302     }
1303   } else {
1304     // Skip token for error recovery.
1305     getNextToken();
1306   }
1307 }
1308
1309 static void HandleExtern() {
1310   if (PrototypeAST *P = ParseExtern()) {
1311     if (Function *F = P->Codegen()) {
1312 #ifndef MINIMAL_STDERR_OUTPUT
1313       fprintf(stderr, "Read extern: ");
1314       F->dump();
1315 #endif
1316     }
1317   } else {
1318     // Skip token for error recovery.
1319     getNextToken();
1320   }
1321 }
1322
1323 static void HandleTopLevelExpression() {
1324   // Evaluate a top-level expression into an anonymous function.
1325   if (FunctionAST *F = ParseTopLevelExpr()) {
1326     if (Function *LF = F->Codegen()) {
1327       // JIT the function, returning a function pointer.
1328       void *FPtr = TheHelper->getPointerToFunction(LF);
1329
1330       // Cast it to the right type (takes no arguments, returns a double) so we
1331       // can call it as a native function.
1332       double (*FP)() = (double (*)())(intptr_t)FPtr;
1333 #ifdef MINIMAL_STDERR_OUTPUT
1334       FP();
1335 #else
1336       fprintf(stderr, "Evaluated to %f\n", FP());
1337 #endif
1338     }
1339   } else {
1340     // Skip token for error recovery.
1341     getNextToken();
1342   }
1343 }
1344
1345 /// top ::= definition | external | expression | ';'
1346 static void MainLoop() {
1347   while (1) {
1348 #ifndef MINIMAL_STDERR_OUTPUT
1349     fprintf(stderr, "ready> ");
1350 #endif
1351     switch (CurTok) {
1352     case tok_eof:    return;
1353     case ';':        getNextToken(); break;  // ignore top-level semicolons.
1354     case tok_def:    HandleDefinition(); break;
1355     case tok_extern: HandleExtern(); break;
1356     default:         HandleTopLevelExpression(); break;
1357     }
1358   }
1359 }
1360
1361 //===----------------------------------------------------------------------===//
1362 // "Library" functions that can be "extern'd" from user code.
1363 //===----------------------------------------------------------------------===//
1364
1365 /// putchard - putchar that takes a double and returns 0.
1366 extern "C"
1367 double putchard(double X) {
1368   putchar((char)X);
1369   return 0;
1370 }
1371
1372 /// printd - printf that takes a double prints it as "%f\n", returning 0.
1373 extern "C"
1374 double printd(double X) {
1375   printf("%f", X);
1376   return 0;
1377 }
1378
1379 extern "C"
1380 double printlf() {
1381   printf("\n");
1382   return 0;
1383 }
1384
1385 //===----------------------------------------------------------------------===//
1386 // Main driver code.
1387 //===----------------------------------------------------------------------===//
1388
1389 int main() {
1390   InitializeNativeTarget();
1391   InitializeNativeTargetAsmPrinter();
1392   InitializeNativeTargetAsmParser();
1393   LLVMContext &Context = getGlobalContext();
1394
1395   // Install standard binary operators.
1396   // 1 is lowest precedence.
1397   BinopPrecedence['='] = 2;
1398   BinopPrecedence['<'] = 10;
1399   BinopPrecedence['+'] = 20;
1400   BinopPrecedence['-'] = 20;
1401   BinopPrecedence['/'] = 40;
1402   BinopPrecedence['*'] = 40;  // highest.
1403
1404   // Prime the first token.
1405 #ifndef MINIMAL_STDERR_OUTPUT
1406   fprintf(stderr, "ready> ");
1407 #endif
1408   getNextToken();
1409
1410   // Make the helper, which holds all the code.
1411   TheHelper = new MCJITHelper(Context);
1412
1413   // Run the main "interpreter loop" now.
1414   MainLoop();
1415
1416 #ifndef MINIMAL_STDERR_OUTPUT
1417   // Print out all of the generated code.
1418   TheHelper->dump();
1419 #endif
1420
1421   return 0;
1422 }