Preliminary support for systems which require changing JIT memory regions privilege...
[oota-llvm.git] / lib / ExecutionEngine / JIT / JITEmitter.cpp
1 //===-- JITEmitter.cpp - Write machine code to executable memory ----------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines a MachineCodeEmitter object that is used by the JIT to
11 // write machine code to memory and remember where relocatable values are.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #define DEBUG_TYPE "jit"
16 #include "JIT.h"
17 #include "JITDwarfEmitter.h"
18 #include "llvm/Constants.h"
19 #include "llvm/Module.h"
20 #include "llvm/DerivedTypes.h"
21 #include "llvm/CodeGen/MachineCodeEmitter.h"
22 #include "llvm/CodeGen/MachineFunction.h"
23 #include "llvm/CodeGen/MachineConstantPool.h"
24 #include "llvm/CodeGen/MachineJumpTableInfo.h"
25 #include "llvm/CodeGen/MachineModuleInfo.h"
26 #include "llvm/CodeGen/MachineRelocation.h"
27 #include "llvm/ExecutionEngine/JITMemoryManager.h"
28 #include "llvm/ExecutionEngine/GenericValue.h"
29 #include "llvm/Target/TargetData.h"
30 #include "llvm/Target/TargetJITInfo.h"
31 #include "llvm/Target/TargetMachine.h"
32 #include "llvm/Target/TargetOptions.h"
33 #include "llvm/Support/Debug.h"
34 #include "llvm/Support/MutexGuard.h"
35 #include "llvm/System/Disassembler.h"
36 #include "llvm/System/Memory.h"
37 #include "llvm/Target/TargetInstrInfo.h"
38 #include "llvm/ADT/Statistic.h"
39 #include <algorithm>
40 #include <set>
41 using namespace llvm;
42
43 STATISTIC(NumBytes, "Number of bytes of machine code compiled");
44 STATISTIC(NumRelos, "Number of relocations applied");
45 static JIT *TheJIT = 0;
46
47
48 //===----------------------------------------------------------------------===//
49 // JIT lazy compilation code.
50 //
51 namespace {
52   class JITResolverState {
53   private:
54     /// FunctionToStubMap - Keep track of the stub created for a particular
55     /// function so that we can reuse them if necessary.
56     std::map<Function*, void*> FunctionToStubMap;
57
58     /// StubToFunctionMap - Keep track of the function that each stub
59     /// corresponds to.
60     std::map<void*, Function*> StubToFunctionMap;
61
62     /// GlobalToLazyPtrMap - Keep track of the lazy pointer created for a
63     /// particular GlobalVariable so that we can reuse them if necessary.
64     std::map<GlobalValue*, void*> GlobalToLazyPtrMap;
65
66   public:
67     std::map<Function*, void*>& getFunctionToStubMap(const MutexGuard& locked) {
68       assert(locked.holds(TheJIT->lock));
69       return FunctionToStubMap;
70     }
71
72     std::map<void*, Function*>& getStubToFunctionMap(const MutexGuard& locked) {
73       assert(locked.holds(TheJIT->lock));
74       return StubToFunctionMap;
75     }
76
77     std::map<GlobalValue*, void*>&
78     getGlobalToLazyPtrMap(const MutexGuard& locked) {
79       assert(locked.holds(TheJIT->lock));
80       return GlobalToLazyPtrMap;
81     }
82   };
83
84   /// JITResolver - Keep track of, and resolve, call sites for functions that
85   /// have not yet been compiled.
86   class JITResolver {
87     /// LazyResolverFn - The target lazy resolver function that we actually
88     /// rewrite instructions to use.
89     TargetJITInfo::LazyResolverFn LazyResolverFn;
90
91     JITResolverState state;
92
93     /// ExternalFnToStubMap - This is the equivalent of FunctionToStubMap for
94     /// external functions.
95     std::map<void*, void*> ExternalFnToStubMap;
96
97     //map addresses to indexes in the GOT
98     std::map<void*, unsigned> revGOTMap;
99     unsigned nextGOTIndex;
100
101     static JITResolver *TheJITResolver;
102   public:
103     explicit JITResolver(JIT &jit) : nextGOTIndex(0) {
104       TheJIT = &jit;
105
106       LazyResolverFn = jit.getJITInfo().getLazyResolverFunction(JITCompilerFn);
107       assert(TheJITResolver == 0 && "Multiple JIT resolvers?");
108       TheJITResolver = this;
109     }
110     
111     ~JITResolver() {
112       TheJITResolver = 0;
113     }
114
115     /// getFunctionStub - This returns a pointer to a function stub, creating
116     /// one on demand as needed.
117     void *getFunctionStub(Function *F);
118
119     /// getExternalFunctionStub - Return a stub for the function at the
120     /// specified address, created lazily on demand.
121     void *getExternalFunctionStub(void *FnAddr);
122
123     /// getGlobalValueLazyPtr - Return a lazy pointer containing the specified
124     /// GV address.
125     void *getGlobalValueLazyPtr(GlobalValue *V, void *GVAddress);
126
127     /// AddCallbackAtLocation - If the target is capable of rewriting an
128     /// instruction without the use of a stub, record the location of the use so
129     /// we know which function is being used at the location.
130     void *AddCallbackAtLocation(Function *F, void *Location) {
131       MutexGuard locked(TheJIT->lock);
132       /// Get the target-specific JIT resolver function.
133       state.getStubToFunctionMap(locked)[Location] = F;
134       return (void*)(intptr_t)LazyResolverFn;
135     }
136
137     /// getGOTIndexForAddress - Return a new or existing index in the GOT for
138     /// an address.  This function only manages slots, it does not manage the
139     /// contents of the slots or the memory associated with the GOT.
140     unsigned getGOTIndexForAddr(void *addr);
141
142     /// JITCompilerFn - This function is called to resolve a stub to a compiled
143     /// address.  If the LLVM Function corresponding to the stub has not yet
144     /// been compiled, this function compiles it first.
145     static void *JITCompilerFn(void *Stub);
146   };
147 }
148
149 JITResolver *JITResolver::TheJITResolver = 0;
150
151 /// getFunctionStub - This returns a pointer to a function stub, creating
152 /// one on demand as needed.
153 void *JITResolver::getFunctionStub(Function *F) {
154   MutexGuard locked(TheJIT->lock);
155
156   // If we already have a stub for this function, recycle it.
157   void *&Stub = state.getFunctionToStubMap(locked)[F];
158   if (Stub) return Stub;
159
160   // Call the lazy resolver function unless we already KNOW it is an external
161   // function, in which case we just skip the lazy resolution step.
162   void *Actual = (void*)(intptr_t)LazyResolverFn;
163   if (F->isDeclaration() && !F->hasNotBeenReadFromBitcode())
164     Actual = TheJIT->getPointerToFunction(F);
165
166   // Otherwise, codegen a new stub.  For now, the stub will call the lazy
167   // resolver function.
168   Stub = TheJIT->getJITInfo().emitFunctionStub(F, Actual,
169                                                *TheJIT->getCodeEmitter());
170
171   if (Actual != (void*)(intptr_t)LazyResolverFn) {
172     // If we are getting the stub for an external function, we really want the
173     // address of the stub in the GlobalAddressMap for the JIT, not the address
174     // of the external function.
175     TheJIT->updateGlobalMapping(F, Stub);
176   }
177
178   DOUT << "JIT: Stub emitted at [" << Stub << "] for function '"
179        << F->getName() << "'\n";
180
181   // Finally, keep track of the stub-to-Function mapping so that the
182   // JITCompilerFn knows which function to compile!
183   state.getStubToFunctionMap(locked)[Stub] = F;
184   return Stub;
185 }
186
187 /// getGlobalValueLazyPtr - Return a lazy pointer containing the specified
188 /// GV address.
189 void *JITResolver::getGlobalValueLazyPtr(GlobalValue *GV, void *GVAddress) {
190   MutexGuard locked(TheJIT->lock);
191
192   // If we already have a stub for this global variable, recycle it.
193   void *&LazyPtr = state.getGlobalToLazyPtrMap(locked)[GV];
194   if (LazyPtr) return LazyPtr;
195
196   // Otherwise, codegen a new lazy pointer.
197   LazyPtr = TheJIT->getJITInfo().emitGlobalValueLazyPtr(GV, GVAddress,
198                                                     *TheJIT->getCodeEmitter());
199
200   DOUT << "JIT: Stub emitted at [" << LazyPtr << "] for GV '"
201        << GV->getName() << "'\n";
202
203   return LazyPtr;
204 }
205
206 /// getExternalFunctionStub - Return a stub for the function at the
207 /// specified address, created lazily on demand.
208 void *JITResolver::getExternalFunctionStub(void *FnAddr) {
209   // If we already have a stub for this function, recycle it.
210   void *&Stub = ExternalFnToStubMap[FnAddr];
211   if (Stub) return Stub;
212
213   Stub = TheJIT->getJITInfo().emitFunctionStub(0, FnAddr,
214                                                *TheJIT->getCodeEmitter());
215
216   DOUT << "JIT: Stub emitted at [" << Stub
217        << "] for external function at '" << FnAddr << "'\n";
218   return Stub;
219 }
220
221 unsigned JITResolver::getGOTIndexForAddr(void* addr) {
222   unsigned idx = revGOTMap[addr];
223   if (!idx) {
224     idx = ++nextGOTIndex;
225     revGOTMap[addr] = idx;
226     DOUT << "Adding GOT entry " << idx << " for addr " << addr << "\n";
227   }
228   return idx;
229 }
230
231 /// JITCompilerFn - This function is called when a lazy compilation stub has
232 /// been entered.  It looks up which function this stub corresponds to, compiles
233 /// it if necessary, then returns the resultant function pointer.
234 void *JITResolver::JITCompilerFn(void *Stub) {
235   JITResolver &JR = *TheJITResolver;
236
237   MutexGuard locked(TheJIT->lock);
238
239   // The address given to us for the stub may not be exactly right, it might be
240   // a little bit after the stub.  As such, use upper_bound to find it.
241   std::map<void*, Function*>::iterator I =
242     JR.state.getStubToFunctionMap(locked).upper_bound(Stub);
243   assert(I != JR.state.getStubToFunctionMap(locked).begin() &&
244          "This is not a known stub!");
245   Function *F = (--I)->second;
246
247   // If we have already code generated the function, just return the address.
248   void *Result = TheJIT->getPointerToGlobalIfAvailable(F);
249   
250   if (!Result) {
251     // Otherwise we don't have it, do lazy compilation now.
252     
253     // If lazy compilation is disabled, emit a useful error message and abort.
254     if (TheJIT->isLazyCompilationDisabled()) {
255       cerr << "LLVM JIT requested to do lazy compilation of function '"
256       << F->getName() << "' when lazy compiles are disabled!\n";
257       abort();
258     }
259   
260     // We might like to remove the stub from the StubToFunction map.
261     // We can't do that! Multiple threads could be stuck, waiting to acquire the
262     // lock above. As soon as the 1st function finishes compiling the function,
263     // the next one will be released, and needs to be able to find the function
264     // it needs to call.
265     //JR.state.getStubToFunctionMap(locked).erase(I);
266
267     DOUT << "JIT: Lazily resolving function '" << F->getName()
268          << "' In stub ptr = " << Stub << " actual ptr = "
269          << I->first << "\n";
270
271     Result = TheJIT->getPointerToFunction(F);
272   }
273
274   // We don't need to reuse this stub in the future, as F is now compiled.
275   JR.state.getFunctionToStubMap(locked).erase(F);
276
277   // FIXME: We could rewrite all references to this stub if we knew them.
278
279   // What we will do is set the compiled function address to map to the
280   // same GOT entry as the stub so that later clients may update the GOT
281   // if they see it still using the stub address.
282   // Note: this is done so the Resolver doesn't have to manage GOT memory
283   // Do this without allocating map space if the target isn't using a GOT
284   if(JR.revGOTMap.find(Stub) != JR.revGOTMap.end())
285     JR.revGOTMap[Result] = JR.revGOTMap[Stub];
286
287   return Result;
288 }
289
290 //===----------------------------------------------------------------------===//
291 // Function Index Support
292
293 // On MacOS we generate an index of currently JIT'd functions so that
294 // performance tools can determine a symbol name and accurate code range for a
295 // PC value.  Because performance tools are generally asynchronous, the code
296 // below is written with the hope that it could be interrupted at any time and
297 // have useful answers.  However, we don't go crazy with atomic operations, we
298 // just do a "reasonable effort".
299 #ifdef __APPLE__ 
300 #define ENABLE_JIT_SYMBOL_TABLE 0
301 #endif
302
303 /// JitSymbolEntry - Each function that is JIT compiled results in one of these
304 /// being added to an array of symbols.  This indicates the name of the function
305 /// as well as the address range it occupies.  This allows the client to map
306 /// from a PC value to the name of the function.
307 struct JitSymbolEntry {
308   const char *FnName;   // FnName - a strdup'd string.
309   void *FnStart;
310   intptr_t FnSize;
311 };
312
313
314 struct JitSymbolTable {
315   /// NextPtr - This forms a linked list of JitSymbolTable entries.  This
316   /// pointer is not used right now, but might be used in the future.  Consider
317   /// it reserved for future use.
318   JitSymbolTable *NextPtr;
319   
320   /// Symbols - This is an array of JitSymbolEntry entries.  Only the first
321   /// 'NumSymbols' symbols are valid.
322   JitSymbolEntry *Symbols;
323   
324   /// NumSymbols - This indicates the number entries in the Symbols array that
325   /// are valid.
326   unsigned NumSymbols;
327   
328   /// NumAllocated - This indicates the amount of space we have in the Symbols
329   /// array.  This is a private field that should not be read by external tools.
330   unsigned NumAllocated;
331 };
332
333 #if ENABLE_JIT_SYMBOL_TABLE 
334 JitSymbolTable *__jitSymbolTable;
335 #endif
336
337 static void AddFunctionToSymbolTable(const char *FnName, 
338                                      void *FnStart, intptr_t FnSize) {
339   assert(FnName != 0 && FnStart != 0 && "Bad symbol to add");
340   JitSymbolTable **SymTabPtrPtr = 0;
341 #if !ENABLE_JIT_SYMBOL_TABLE
342   return;
343 #else
344   SymTabPtrPtr = &__jitSymbolTable;
345 #endif
346   
347   // If this is the first entry in the symbol table, add the JitSymbolTable
348   // index.
349   if (*SymTabPtrPtr == 0) {
350     JitSymbolTable *New = new JitSymbolTable();
351     New->NextPtr = 0;
352     New->Symbols = 0;
353     New->NumSymbols = 0;
354     New->NumAllocated = 0;
355     *SymTabPtrPtr = New;
356   }
357   
358   JitSymbolTable *SymTabPtr = *SymTabPtrPtr;
359   
360   // If we have space in the table, reallocate the table.
361   if (SymTabPtr->NumSymbols >= SymTabPtr->NumAllocated) {
362     // If we don't have space, reallocate the table.
363     unsigned NewSize = std::max(64U, SymTabPtr->NumAllocated*2);
364     JitSymbolEntry *NewSymbols = new JitSymbolEntry[NewSize];
365     JitSymbolEntry *OldSymbols = SymTabPtr->Symbols;
366     
367     // Copy the old entries over.
368     memcpy(NewSymbols, OldSymbols,
369            SymTabPtr->NumSymbols*sizeof(OldSymbols[0]));
370     
371     // Swap the new symbols in, delete the old ones.
372     SymTabPtr->Symbols = NewSymbols;
373     SymTabPtr->NumAllocated = NewSize;
374     delete [] OldSymbols;
375   }
376   
377   // Otherwise, we have enough space, just tack it onto the end of the array.
378   JitSymbolEntry &Entry = SymTabPtr->Symbols[SymTabPtr->NumSymbols];
379   Entry.FnName = strdup(FnName);
380   Entry.FnStart = FnStart;
381   Entry.FnSize = FnSize;
382   ++SymTabPtr->NumSymbols;
383 }
384
385 static void RemoveFunctionFromSymbolTable(void *FnStart) {
386   assert(FnStart && "Invalid function pointer");
387   JitSymbolTable **SymTabPtrPtr = 0;
388 #if !ENABLE_JIT_SYMBOL_TABLE
389   return;
390 #else
391   SymTabPtrPtr = &__jitSymbolTable;
392 #endif
393   
394   JitSymbolTable *SymTabPtr = *SymTabPtrPtr;
395   JitSymbolEntry *Symbols = SymTabPtr->Symbols;
396   
397   // Scan the table to find its index.  The table is not sorted, so do a linear
398   // scan.
399   unsigned Index;
400   for (Index = 0; Symbols[Index].FnStart != FnStart; ++Index)
401     assert(Index != SymTabPtr->NumSymbols && "Didn't find function!");
402   
403   // Once we have an index, we know to nuke this entry, overwrite it with the
404   // entry at the end of the array, making the last entry redundant.
405   const char *OldName = Symbols[Index].FnName;
406   Symbols[Index] = Symbols[SymTabPtr->NumSymbols-1];
407   free((void*)OldName);
408   
409   // Drop the number of symbols in the table.
410   --SymTabPtr->NumSymbols;
411
412   // Finally, if we deleted the final symbol, deallocate the table itself.
413   if (SymTabPtr->NumSymbols != 0) 
414     return;
415   
416   *SymTabPtrPtr = 0;
417   delete [] Symbols;
418   delete SymTabPtr;
419 }
420
421 //===----------------------------------------------------------------------===//
422 // JITEmitter code.
423 //
424 namespace {
425   /// JITEmitter - The JIT implementation of the MachineCodeEmitter, which is
426   /// used to output functions to memory for execution.
427   class JITEmitter : public MachineCodeEmitter {
428     JITMemoryManager *MemMgr;
429
430     // When outputting a function stub in the context of some other function, we
431     // save BufferBegin/BufferEnd/CurBufferPtr here.
432     unsigned char *SavedBufferBegin, *SavedBufferEnd, *SavedCurBufferPtr;
433
434     /// Relocations - These are the relocations that the function needs, as
435     /// emitted.
436     std::vector<MachineRelocation> Relocations;
437     
438     /// MBBLocations - This vector is a mapping from MBB ID's to their address.
439     /// It is filled in by the StartMachineBasicBlock callback and queried by
440     /// the getMachineBasicBlockAddress callback.
441     std::vector<intptr_t> MBBLocations;
442
443     /// ConstantPool - The constant pool for the current function.
444     ///
445     MachineConstantPool *ConstantPool;
446
447     /// ConstantPoolBase - A pointer to the first entry in the constant pool.
448     ///
449     void *ConstantPoolBase;
450
451     /// JumpTable - The jump tables for the current function.
452     ///
453     MachineJumpTableInfo *JumpTable;
454     
455     /// JumpTableBase - A pointer to the first entry in the jump table.
456     ///
457     void *JumpTableBase;
458
459     /// Resolver - This contains info about the currently resolved functions.
460     JITResolver Resolver;
461     
462     /// DE - The dwarf emitter for the jit.
463     JITDwarfEmitter *DE;
464
465     /// LabelLocations - This vector is a mapping from Label ID's to their 
466     /// address.
467     std::vector<intptr_t> LabelLocations;
468
469     /// MMI - Machine module info for exception informations
470     MachineModuleInfo* MMI;
471
472     // GVSet - a set to keep track of which globals have been seen
473     std::set<const GlobalVariable*> GVSet;
474
475   public:
476     JITEmitter(JIT &jit, JITMemoryManager *JMM) : Resolver(jit) {
477       MemMgr = JMM ? JMM : JITMemoryManager::CreateDefaultMemManager();
478       if (jit.getJITInfo().needsGOT()) {
479         MemMgr->AllocateGOT();
480         DOUT << "JIT is managing a GOT\n";
481       }
482
483       if (ExceptionHandling) DE = new JITDwarfEmitter(jit);
484     }
485     ~JITEmitter() { 
486       delete MemMgr;
487       if (ExceptionHandling) delete DE;
488     }
489
490     /// classof - Methods for support type inquiry through isa, cast, and
491     /// dyn_cast:
492     ///
493     static inline bool classof(const JITEmitter*) { return true; }
494     static inline bool classof(const MachineCodeEmitter*) { return true; }
495     
496     JITResolver &getJITResolver() { return Resolver; }
497
498     virtual void startFunction(MachineFunction &F);
499     virtual bool finishFunction(MachineFunction &F);
500     
501     void emitConstantPool(MachineConstantPool *MCP);
502     void initJumpTableInfo(MachineJumpTableInfo *MJTI);
503     void emitJumpTableInfo(MachineJumpTableInfo *MJTI);
504     
505     virtual void startFunctionStub(const GlobalValue* F, unsigned StubSize,
506                                    unsigned Alignment = 1);
507     virtual void* finishFunctionStub(const GlobalValue *F);
508
509     virtual void addRelocation(const MachineRelocation &MR) {
510       Relocations.push_back(MR);
511     }
512     
513     virtual void StartMachineBasicBlock(MachineBasicBlock *MBB) {
514       if (MBBLocations.size() <= (unsigned)MBB->getNumber())
515         MBBLocations.resize((MBB->getNumber()+1)*2);
516       MBBLocations[MBB->getNumber()] = getCurrentPCValue();
517     }
518
519     virtual intptr_t getConstantPoolEntryAddress(unsigned Entry) const;
520     virtual intptr_t getJumpTableEntryAddress(unsigned Entry) const;
521
522     virtual intptr_t getMachineBasicBlockAddress(MachineBasicBlock *MBB) const {
523       assert(MBBLocations.size() > (unsigned)MBB->getNumber() && 
524              MBBLocations[MBB->getNumber()] && "MBB not emitted!");
525       return MBBLocations[MBB->getNumber()];
526     }
527
528     /// deallocateMemForFunction - Deallocate all memory for the specified
529     /// function body.
530     void deallocateMemForFunction(Function *F) {
531       MemMgr->deallocateMemForFunction(F);
532     }
533     
534     virtual void emitLabel(uint64_t LabelID) {
535       if (LabelLocations.size() <= LabelID)
536         LabelLocations.resize((LabelID+1)*2);
537       LabelLocations[LabelID] = getCurrentPCValue();
538     }
539
540     virtual intptr_t getLabelAddress(uint64_t LabelID) const {
541       assert(LabelLocations.size() > (unsigned)LabelID && 
542              LabelLocations[LabelID] && "Label not emitted!");
543       return LabelLocations[LabelID];
544     }
545  
546     virtual void setModuleInfo(MachineModuleInfo* Info) {
547       MMI = Info;
548       if (ExceptionHandling) DE->setModuleInfo(Info);
549     }
550
551   private:
552     void *getPointerToGlobal(GlobalValue *GV, void *Reference, bool NoNeedStub);
553     void *getPointerToGVLazyPtr(GlobalValue *V, void *Reference,
554                                 bool NoNeedStub);
555     unsigned addSizeOfGlobal(const GlobalVariable *GV, unsigned Size);
556     unsigned addSizeOfGlobalsInConstantVal(const Constant *C, unsigned Size);
557     unsigned addSizeOfGlobalsInInitializer(const Constant *Init, unsigned Size);
558     unsigned GetSizeOfGlobalsInBytes(MachineFunction &MF);
559   };
560 }
561
562 void *JITEmitter::getPointerToGlobal(GlobalValue *V, void *Reference,
563                                      bool DoesntNeedStub) {
564   if (GlobalVariable *GV = dyn_cast<GlobalVariable>(V)) {
565     /// FIXME: If we straightened things out, this could actually emit the
566     /// global immediately instead of queuing it for codegen later!
567     return TheJIT->getOrEmitGlobalVariable(GV);
568   }
569   if (GlobalAlias *GA = dyn_cast<GlobalAlias>(V))
570     return TheJIT->getPointerToGlobal(GA->resolveAliasedGlobal(false));
571
572   // If we have already compiled the function, return a pointer to its body.
573   Function *F = cast<Function>(V);
574   void *ResultPtr = TheJIT->getPointerToGlobalIfAvailable(F);
575   if (ResultPtr) return ResultPtr;
576
577   if (F->isDeclaration() && !F->hasNotBeenReadFromBitcode()) {
578     // If this is an external function pointer, we can force the JIT to
579     // 'compile' it, which really just adds it to the map.
580     if (DoesntNeedStub)
581       return TheJIT->getPointerToFunction(F);
582
583     return Resolver.getFunctionStub(F);
584   }
585
586   // Okay, the function has not been compiled yet, if the target callback
587   // mechanism is capable of rewriting the instruction directly, prefer to do
588   // that instead of emitting a stub.
589   if (DoesntNeedStub)
590     return Resolver.AddCallbackAtLocation(F, Reference);
591
592   // Otherwise, we have to emit a lazy resolving stub.
593   return Resolver.getFunctionStub(F);
594 }
595
596 void *JITEmitter::getPointerToGVLazyPtr(GlobalValue *V, void *Reference,
597                                         bool DoesntNeedStub) {
598   // Make sure GV is emitted first.
599   // FIXME: For now, if the GV is an external function we force the JIT to
600   // compile it so the lazy pointer will contain the fully resolved address.
601   void *GVAddress = getPointerToGlobal(V, Reference, true);
602   return Resolver.getGlobalValueLazyPtr(V, GVAddress);
603 }
604
605 static unsigned GetConstantPoolSizeInBytes(MachineConstantPool *MCP) {
606   const std::vector<MachineConstantPoolEntry> &Constants = MCP->getConstants();
607   if (Constants.empty()) return 0;
608
609   MachineConstantPoolEntry CPE = Constants.back();
610   unsigned Size = CPE.Offset;
611   const Type *Ty = CPE.isMachineConstantPoolEntry()
612     ? CPE.Val.MachineCPVal->getType() : CPE.Val.ConstVal->getType();
613   Size += TheJIT->getTargetData()->getABITypeSize(Ty);
614   return Size;
615 }
616
617 static unsigned GetJumpTableSizeInBytes(MachineJumpTableInfo *MJTI) {
618   const std::vector<MachineJumpTableEntry> &JT = MJTI->getJumpTables();
619   if (JT.empty()) return 0;
620   
621   unsigned NumEntries = 0;
622   for (unsigned i = 0, e = JT.size(); i != e; ++i)
623     NumEntries += JT[i].MBBs.size();
624
625   unsigned EntrySize = MJTI->getEntrySize();
626
627   return NumEntries * EntrySize;
628 }
629
630 static uintptr_t RoundUpToAlign(uintptr_t Size, unsigned Alignment) {
631   if (Alignment == 0) Alignment = 1;
632   // Since we do not know where the buffer will be allocated, be pessimistic. 
633   return Size + Alignment;
634 }
635
636 /// addSizeOfGlobal - add the size of the global (plus any alignment padding)
637 /// into the running total Size.
638
639 unsigned JITEmitter::addSizeOfGlobal(const GlobalVariable *GV, unsigned Size) {
640   const Type *ElTy = GV->getType()->getElementType();
641   size_t GVSize = (size_t)TheJIT->getTargetData()->getABITypeSize(ElTy);
642   size_t GVAlign = 
643       (size_t)TheJIT->getTargetData()->getPreferredAlignment(GV);
644   DOUT << "Adding in size " << GVSize << " alignment " << GVAlign;
645   DEBUG(GV->dump());
646   // Assume code section ends with worst possible alignment, so first
647   // variable needs maximal padding.
648   if (Size==0)
649     Size = 1;
650   Size = ((Size+GVAlign-1)/GVAlign)*GVAlign;
651   Size += GVSize;
652   return Size;
653 }
654
655 /// addSizeOfGlobalsInConstantVal - find any globals that we haven't seen yet
656 /// but are referenced from the constant; put them in GVSet and add their
657 /// size into the running total Size.
658
659 unsigned JITEmitter::addSizeOfGlobalsInConstantVal(const Constant *C, 
660                                               unsigned Size) {
661   // If its undefined, return the garbage.
662   if (isa<UndefValue>(C))
663     return Size;
664
665   // If the value is a ConstantExpr
666   if (const ConstantExpr *CE = dyn_cast<ConstantExpr>(C)) {
667     Constant *Op0 = CE->getOperand(0);
668     switch (CE->getOpcode()) {
669     case Instruction::GetElementPtr:
670     case Instruction::Trunc:
671     case Instruction::ZExt:
672     case Instruction::SExt:
673     case Instruction::FPTrunc:
674     case Instruction::FPExt:
675     case Instruction::UIToFP:
676     case Instruction::SIToFP:
677     case Instruction::FPToUI:
678     case Instruction::FPToSI:
679     case Instruction::PtrToInt:
680     case Instruction::IntToPtr:
681     case Instruction::BitCast: {
682       Size = addSizeOfGlobalsInConstantVal(Op0, Size);
683       break;
684     }
685     case Instruction::Add:
686     case Instruction::Sub:
687     case Instruction::Mul:
688     case Instruction::UDiv:
689     case Instruction::SDiv:
690     case Instruction::URem:
691     case Instruction::SRem:
692     case Instruction::And:
693     case Instruction::Or:
694     case Instruction::Xor: {
695       Size = addSizeOfGlobalsInConstantVal(Op0, Size);
696       Size = addSizeOfGlobalsInConstantVal(CE->getOperand(1), Size);
697       break;
698     }
699     default: {
700        cerr << "ConstantExpr not handled: " << *CE << "\n";
701       abort();
702     }
703     }
704   }
705
706   if (C->getType()->getTypeID() == Type::PointerTyID)
707     if (const GlobalVariable* GV = dyn_cast<GlobalVariable>(C))
708       if (GVSet.insert(GV).second)
709         Size = addSizeOfGlobal(GV, Size);
710
711   return Size;
712 }
713
714 /// addSizeOfGLobalsInInitializer - handle any globals that we haven't seen yet
715 /// but are referenced from the given initializer.
716
717 unsigned JITEmitter::addSizeOfGlobalsInInitializer(const Constant *Init, 
718                                               unsigned Size) {
719   if (!isa<UndefValue>(Init) &&
720       !isa<ConstantVector>(Init) &&
721       !isa<ConstantAggregateZero>(Init) &&
722       !isa<ConstantArray>(Init) &&
723       !isa<ConstantStruct>(Init) &&
724       Init->getType()->isFirstClassType())
725     Size = addSizeOfGlobalsInConstantVal(Init, Size);
726   return Size;
727 }
728
729 /// GetSizeOfGlobalsInBytes - walk the code for the function, looking for
730 /// globals; then walk the initializers of those globals looking for more.
731 /// If their size has not been considered yet, add it into the running total
732 /// Size.
733
734 unsigned JITEmitter::GetSizeOfGlobalsInBytes(MachineFunction &MF) {
735   unsigned Size = 0;
736   GVSet.clear();
737
738   for (MachineFunction::iterator MBB = MF.begin(), E = MF.end(); 
739        MBB != E; ++MBB) {
740     for (MachineBasicBlock::const_iterator I = MBB->begin(), E = MBB->end();
741          I != E; ++I) {
742       const TargetInstrDesc &Desc = I->getDesc();
743       const MachineInstr &MI = *I;
744       unsigned NumOps = Desc.getNumOperands();
745       for (unsigned CurOp = 0; CurOp < NumOps; CurOp++) {
746         const MachineOperand &MO = MI.getOperand(CurOp);
747         if (MO.isGlobalAddress()) {
748           GlobalValue* V = MO.getGlobal();
749           const GlobalVariable *GV = dyn_cast<const GlobalVariable>(V);
750           if (!GV)
751             continue;
752           // If seen in previous function, it will have an entry here.
753           if (TheJIT->getPointerToGlobalIfAvailable(GV))
754             continue;
755           // If seen earlier in this function, it will have an entry here.
756           // FIXME: it should be possible to combine these tables, by
757           // assuming the addresses of the new globals in this module
758           // start at 0 (or something) and adjusting them after codegen
759           // complete.  Another possibility is to grab a marker bit in GV.
760           if (GVSet.insert(GV).second)
761             // A variable as yet unseen.  Add in its size.
762             Size = addSizeOfGlobal(GV, Size);
763         }
764       }
765     }
766   }
767   DOUT << "About to look through initializers\n";
768   // Look for more globals that are referenced only from initializers.
769   // GVSet.end is computed each time because the set can grow as we go.
770   for (std::set<const GlobalVariable *>::iterator I = GVSet.begin(); 
771        I != GVSet.end(); I++) {
772     const GlobalVariable* GV = *I;
773     if (GV->hasInitializer())
774       Size = addSizeOfGlobalsInInitializer(GV->getInitializer(), Size);
775   }
776
777   return Size;
778 }
779
780 void JITEmitter::startFunction(MachineFunction &F) {
781   uintptr_t ActualSize = 0;
782   if (MemMgr->NeedsExactSize()) {
783     DOUT << "ExactSize\n";
784     const TargetInstrInfo* TII = F.getTarget().getInstrInfo();
785     MachineJumpTableInfo *MJTI = F.getJumpTableInfo();
786     MachineConstantPool *MCP = F.getConstantPool();
787     
788     // Ensure the constant pool/jump table info is at least 4-byte aligned.
789     ActualSize = RoundUpToAlign(ActualSize, 16);
790     
791     // Add the alignment of the constant pool
792     ActualSize = RoundUpToAlign(ActualSize, 
793                                 1 << MCP->getConstantPoolAlignment());
794
795     // Add the constant pool size
796     ActualSize += GetConstantPoolSizeInBytes(MCP);
797
798     // Add the aligment of the jump table info
799     ActualSize = RoundUpToAlign(ActualSize, MJTI->getAlignment());
800
801     // Add the jump table size
802     ActualSize += GetJumpTableSizeInBytes(MJTI);
803     
804     // Add the alignment for the function
805     ActualSize = RoundUpToAlign(ActualSize,
806                                 std::max(F.getFunction()->getAlignment(), 8U));
807
808     // Add the function size
809     ActualSize += TII->GetFunctionSizeInBytes(F);
810
811     DOUT << "ActualSize before globals " << ActualSize << "\n";
812     // Add the size of the globals that will be allocated after this function.
813     // These are all the ones referenced from this function that were not
814     // previously allocated.
815     ActualSize += GetSizeOfGlobalsInBytes(F);
816     DOUT << "ActualSize after globals " << ActualSize << "\n";
817   }
818
819   BufferBegin = CurBufferPtr = MemMgr->startFunctionBody(F.getFunction(),
820                                                          ActualSize);
821   BufferEnd = BufferBegin+ActualSize;
822   
823   // Ensure the constant pool/jump table info is at least 4-byte aligned.
824   emitAlignment(16);
825
826   emitConstantPool(F.getConstantPool());
827   initJumpTableInfo(F.getJumpTableInfo());
828
829   // About to start emitting the machine code for the function.
830   emitAlignment(std::max(F.getFunction()->getAlignment(), 8U));
831   TheJIT->updateGlobalMapping(F.getFunction(), CurBufferPtr);
832
833   MBBLocations.clear();
834 }
835
836 bool JITEmitter::finishFunction(MachineFunction &F) {
837   if (CurBufferPtr == BufferEnd) {
838     // FIXME: Allocate more space, then try again.
839     cerr << "JIT: Ran out of space for generated machine code!\n";
840     abort();
841   }
842   
843   emitJumpTableInfo(F.getJumpTableInfo());
844   
845   // FnStart is the start of the text, not the start of the constant pool and
846   // other per-function data.
847   unsigned char *FnStart =
848     (unsigned char *)TheJIT->getPointerToGlobalIfAvailable(F.getFunction());
849
850   if (!Relocations.empty()) {
851     NumRelos += Relocations.size();
852
853     // Resolve the relocations to concrete pointers.
854     for (unsigned i = 0, e = Relocations.size(); i != e; ++i) {
855       MachineRelocation &MR = Relocations[i];
856       void *ResultPtr;
857       if (MR.isString()) {
858         ResultPtr = TheJIT->getPointerToNamedFunction(MR.getString());
859
860         // If the target REALLY wants a stub for this function, emit it now.
861         if (!MR.doesntNeedStub())
862           ResultPtr = Resolver.getExternalFunctionStub(ResultPtr);
863       } else if (MR.isGlobalValue()) {
864         ResultPtr = getPointerToGlobal(MR.getGlobalValue(),
865                                        BufferBegin+MR.getMachineCodeOffset(),
866                                        MR.doesntNeedStub());
867       } else if (MR.isGlobalValueLazyPtr()) {
868         ResultPtr = getPointerToGVLazyPtr(MR.getGlobalValue(),
869                                           BufferBegin+MR.getMachineCodeOffset(),
870                                           MR.doesntNeedStub());
871       } else if (MR.isBasicBlock()) {
872         ResultPtr = (void*)getMachineBasicBlockAddress(MR.getBasicBlock());
873       } else if (MR.isConstantPoolIndex()) {
874         ResultPtr=(void*)getConstantPoolEntryAddress(MR.getConstantPoolIndex());
875       } else {
876         assert(MR.isJumpTableIndex());
877         ResultPtr=(void*)getJumpTableEntryAddress(MR.getJumpTableIndex());
878       }
879
880       MR.setResultPointer(ResultPtr);
881
882       // if we are managing the GOT and the relocation wants an index,
883       // give it one
884       if (MR.isGOTRelative() && MemMgr->isManagingGOT()) {
885         unsigned idx = Resolver.getGOTIndexForAddr(ResultPtr);
886         MR.setGOTIndex(idx);
887         if (((void**)MemMgr->getGOTBase())[idx] != ResultPtr) {
888           DOUT << "GOT was out of date for " << ResultPtr
889                << " pointing at " << ((void**)MemMgr->getGOTBase())[idx]
890                << "\n";
891           ((void**)MemMgr->getGOTBase())[idx] = ResultPtr;
892         }
893       }
894     }
895
896     TheJIT->getJITInfo().relocate(BufferBegin, &Relocations[0],
897                                   Relocations.size(), MemMgr->getGOTBase());
898   }
899
900   unsigned char *FnEnd   = CurBufferPtr;
901   
902   MemMgr->endFunctionBody(F.getFunction(), BufferBegin, FnEnd);
903   NumBytes += FnEnd-FnStart;
904
905   // Update the GOT entry for F to point to the new code.
906   if (MemMgr->isManagingGOT()) {
907     unsigned idx = Resolver.getGOTIndexForAddr((void*)BufferBegin);
908     if (((void**)MemMgr->getGOTBase())[idx] != (void*)BufferBegin) {
909       DOUT << "GOT was out of date for " << (void*)BufferBegin
910            << " pointing at " << ((void**)MemMgr->getGOTBase())[idx] << "\n";
911       ((void**)MemMgr->getGOTBase())[idx] = (void*)BufferBegin;
912     }
913   }
914
915   // Invalidate the icache if necessary.
916   sys::Memory::InvalidateInstructionCache(FnStart, FnEnd-FnStart);
917   
918   // Add it to the JIT symbol table if the host wants it.
919   AddFunctionToSymbolTable(F.getFunction()->getNameStart(),
920                            FnStart, FnEnd-FnStart);
921
922   DOUT << "JIT: Finished CodeGen of [" << (void*)FnStart
923        << "] Function: " << F.getFunction()->getName()
924        << ": " << (FnEnd-FnStart) << " bytes of text, "
925        << Relocations.size() << " relocations\n";
926   Relocations.clear();
927
928   // Mark code region readable and executable if it's not so already.
929   sys::Memory::SetRXPrivilege(FnStart, FnEnd-FnStart);
930
931 #ifndef NDEBUG
932   {
933   DOUT << std::hex;
934   int i;
935   unsigned char* q = FnStart;
936   for (i=1; q!=FnEnd; q++, i++) {
937     if (i%8==1)
938       DOUT << "0x" << (long)q << ": ";
939     DOUT<< (unsigned short)*q << " ";
940     if (i%8==0)
941       DOUT<<"\n";
942   }
943   DOUT << std::dec;
944   if (sys::hasDisassembler())
945     DOUT << "Disassembled code:\n"
946          << sys::disassembleBuffer(FnStart, FnEnd-FnStart, (uintptr_t)FnStart);
947   }
948 #endif
949   if (ExceptionHandling) {
950     uintptr_t ActualSize = 0;
951     SavedBufferBegin = BufferBegin;
952     SavedBufferEnd = BufferEnd;
953     SavedCurBufferPtr = CurBufferPtr;
954     
955     if (MemMgr->NeedsExactSize()) {
956       ActualSize = DE->GetDwarfTableSizeInBytes(F, *this, FnStart, FnEnd);
957     }
958
959     BufferBegin = CurBufferPtr = MemMgr->startExceptionTable(F.getFunction(),
960                                                              ActualSize);
961     BufferEnd = BufferBegin+ActualSize;
962     unsigned char* FrameRegister = DE->EmitDwarfTable(F, *this, FnStart, FnEnd);
963     MemMgr->endExceptionTable(F.getFunction(), BufferBegin, CurBufferPtr,
964                               FrameRegister);
965     BufferBegin = SavedBufferBegin;
966     BufferEnd = SavedBufferEnd;
967     CurBufferPtr = SavedCurBufferPtr;
968
969     TheJIT->RegisterTable(FrameRegister);
970   }
971
972   if (MMI)
973     MMI->EndFunction();
974  
975   return false;
976 }
977
978 void JITEmitter::emitConstantPool(MachineConstantPool *MCP) {
979   const std::vector<MachineConstantPoolEntry> &Constants = MCP->getConstants();
980   if (Constants.empty()) return;
981
982   MachineConstantPoolEntry CPE = Constants.back();
983   unsigned Size = CPE.Offset;
984   const Type *Ty = CPE.isMachineConstantPoolEntry()
985     ? CPE.Val.MachineCPVal->getType() : CPE.Val.ConstVal->getType();
986   Size += TheJIT->getTargetData()->getABITypeSize(Ty);
987
988   unsigned Align = 1 << MCP->getConstantPoolAlignment();
989   ConstantPoolBase = allocateSpace(Size, Align);
990   ConstantPool = MCP;
991
992   if (ConstantPoolBase == 0) return;  // Buffer overflow.
993
994   DOUT << "JIT: Emitted constant pool at [" << ConstantPoolBase
995        << "] (size: " << Size << ", alignment: " << Align << ")\n";
996
997   // Initialize the memory for all of the constant pool entries.
998   for (unsigned i = 0, e = Constants.size(); i != e; ++i) {
999     void *CAddr = (char*)ConstantPoolBase+Constants[i].Offset;
1000     if (Constants[i].isMachineConstantPoolEntry()) {
1001       // FIXME: add support to lower machine constant pool values into bytes!
1002       cerr << "Initialize memory with machine specific constant pool entry"
1003            << " has not been implemented!\n";
1004       abort();
1005     }
1006     TheJIT->InitializeMemory(Constants[i].Val.ConstVal, CAddr);
1007     DOUT << "JIT:   CP" << i << " at [" << CAddr << "]\n";
1008   }
1009 }
1010
1011 void JITEmitter::initJumpTableInfo(MachineJumpTableInfo *MJTI) {
1012   const std::vector<MachineJumpTableEntry> &JT = MJTI->getJumpTables();
1013   if (JT.empty()) return;
1014   
1015   unsigned NumEntries = 0;
1016   for (unsigned i = 0, e = JT.size(); i != e; ++i)
1017     NumEntries += JT[i].MBBs.size();
1018
1019   unsigned EntrySize = MJTI->getEntrySize();
1020
1021   // Just allocate space for all the jump tables now.  We will fix up the actual
1022   // MBB entries in the tables after we emit the code for each block, since then
1023   // we will know the final locations of the MBBs in memory.
1024   JumpTable = MJTI;
1025   JumpTableBase = allocateSpace(NumEntries * EntrySize, MJTI->getAlignment());
1026 }
1027
1028 void JITEmitter::emitJumpTableInfo(MachineJumpTableInfo *MJTI) {
1029   const std::vector<MachineJumpTableEntry> &JT = MJTI->getJumpTables();
1030   if (JT.empty() || JumpTableBase == 0) return;
1031   
1032   if (TargetMachine::getRelocationModel() == Reloc::PIC_) {
1033     assert(MJTI->getEntrySize() == 4 && "Cross JIT'ing?");
1034     // For each jump table, place the offset from the beginning of the table
1035     // to the target address.
1036     int *SlotPtr = (int*)JumpTableBase;
1037
1038     for (unsigned i = 0, e = JT.size(); i != e; ++i) {
1039       const std::vector<MachineBasicBlock*> &MBBs = JT[i].MBBs;
1040       // Store the offset of the basic block for this jump table slot in the
1041       // memory we allocated for the jump table in 'initJumpTableInfo'
1042       intptr_t Base = (intptr_t)SlotPtr;
1043       for (unsigned mi = 0, me = MBBs.size(); mi != me; ++mi) {
1044         intptr_t MBBAddr = getMachineBasicBlockAddress(MBBs[mi]);
1045         *SlotPtr++ = TheJIT->getJITInfo().getPICJumpTableEntry(MBBAddr, Base);
1046       }
1047     }
1048   } else {
1049     assert(MJTI->getEntrySize() == sizeof(void*) && "Cross JIT'ing?");
1050     
1051     // For each jump table, map each target in the jump table to the address of 
1052     // an emitted MachineBasicBlock.
1053     intptr_t *SlotPtr = (intptr_t*)JumpTableBase;
1054
1055     for (unsigned i = 0, e = JT.size(); i != e; ++i) {
1056       const std::vector<MachineBasicBlock*> &MBBs = JT[i].MBBs;
1057       // Store the address of the basic block for this jump table slot in the
1058       // memory we allocated for the jump table in 'initJumpTableInfo'
1059       for (unsigned mi = 0, me = MBBs.size(); mi != me; ++mi)
1060         *SlotPtr++ = getMachineBasicBlockAddress(MBBs[mi]);
1061     }
1062   }
1063 }
1064
1065 void JITEmitter::startFunctionStub(const GlobalValue* F, unsigned StubSize,
1066                                    unsigned Alignment) {
1067   SavedBufferBegin = BufferBegin;
1068   SavedBufferEnd = BufferEnd;
1069   SavedCurBufferPtr = CurBufferPtr;
1070   
1071   BufferBegin = CurBufferPtr = MemMgr->allocateStub(F, StubSize, Alignment);
1072   BufferEnd = BufferBegin+StubSize+1;
1073 }
1074
1075 void *JITEmitter::finishFunctionStub(const GlobalValue* F) {
1076   NumBytes += getCurrentPCOffset();
1077   std::swap(SavedBufferBegin, BufferBegin);
1078   BufferEnd = SavedBufferEnd;
1079   CurBufferPtr = SavedCurBufferPtr;
1080   return SavedBufferBegin;
1081 }
1082
1083 // getConstantPoolEntryAddress - Return the address of the 'ConstantNum' entry
1084 // in the constant pool that was last emitted with the 'emitConstantPool'
1085 // method.
1086 //
1087 intptr_t JITEmitter::getConstantPoolEntryAddress(unsigned ConstantNum) const {
1088   assert(ConstantNum < ConstantPool->getConstants().size() &&
1089          "Invalid ConstantPoolIndex!");
1090   return (intptr_t)ConstantPoolBase +
1091          ConstantPool->getConstants()[ConstantNum].Offset;
1092 }
1093
1094 // getJumpTableEntryAddress - Return the address of the JumpTable with index
1095 // 'Index' in the jumpp table that was last initialized with 'initJumpTableInfo'
1096 //
1097 intptr_t JITEmitter::getJumpTableEntryAddress(unsigned Index) const {
1098   const std::vector<MachineJumpTableEntry> &JT = JumpTable->getJumpTables();
1099   assert(Index < JT.size() && "Invalid jump table index!");
1100   
1101   unsigned Offset = 0;
1102   unsigned EntrySize = JumpTable->getEntrySize();
1103   
1104   for (unsigned i = 0; i < Index; ++i)
1105     Offset += JT[i].MBBs.size();
1106   
1107    Offset *= EntrySize;
1108   
1109   return (intptr_t)((char *)JumpTableBase + Offset);
1110 }
1111
1112 //===----------------------------------------------------------------------===//
1113 //  Public interface to this file
1114 //===----------------------------------------------------------------------===//
1115
1116 MachineCodeEmitter *JIT::createEmitter(JIT &jit, JITMemoryManager *JMM) {
1117   return new JITEmitter(jit, JMM);
1118 }
1119
1120 // getPointerToNamedFunction - This function is used as a global wrapper to
1121 // JIT::getPointerToNamedFunction for the purpose of resolving symbols when
1122 // bugpoint is debugging the JIT. In that scenario, we are loading an .so and
1123 // need to resolve function(s) that are being mis-codegenerated, so we need to
1124 // resolve their addresses at runtime, and this is the way to do it.
1125 extern "C" {
1126   void *getPointerToNamedFunction(const char *Name) {
1127     if (Function *F = TheJIT->FindFunctionNamed(Name))
1128       return TheJIT->getPointerToFunction(F);
1129     return TheJIT->getPointerToNamedFunction(Name);
1130   }
1131 }
1132
1133 // getPointerToFunctionOrStub - If the specified function has been
1134 // code-gen'd, return a pointer to the function.  If not, compile it, or use
1135 // a stub to implement lazy compilation if available.
1136 //
1137 void *JIT::getPointerToFunctionOrStub(Function *F) {
1138   // If we have already code generated the function, just return the address.
1139   if (void *Addr = getPointerToGlobalIfAvailable(F))
1140     return Addr;
1141   
1142   // Get a stub if the target supports it.
1143   assert(isa<JITEmitter>(MCE) && "Unexpected MCE?");
1144   JITEmitter *JE = cast<JITEmitter>(getCodeEmitter());
1145   return JE->getJITResolver().getFunctionStub(F);
1146 }
1147
1148 /// freeMachineCodeForFunction - release machine code memory for given Function.
1149 ///
1150 void JIT::freeMachineCodeForFunction(Function *F) {
1151
1152   // Delete translation for this from the ExecutionEngine, so it will get
1153   // retranslated next time it is used.
1154   void *OldPtr = updateGlobalMapping(F, 0);
1155
1156   if (OldPtr)
1157     RemoveFunctionFromSymbolTable(OldPtr);
1158
1159   // Free the actual memory for the function body and related stuff.
1160   assert(isa<JITEmitter>(MCE) && "Unexpected MCE?");
1161   cast<JITEmitter>(MCE)->deallocateMemForFunction(F);
1162 }
1163