Remove dlsym stubs, with Nate Begeman's permission.
[oota-llvm.git] / lib / ExecutionEngine / ExecutionEngine.cpp
1 //===-- ExecutionEngine.cpp - Common Implementation shared by EEs ---------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines the common interface used by the various execution engine
11 // subclasses.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #define DEBUG_TYPE "jit"
16 #include "llvm/ExecutionEngine/ExecutionEngine.h"
17
18 #include "llvm/Constants.h"
19 #include "llvm/DerivedTypes.h"
20 #include "llvm/Module.h"
21 #include "llvm/ModuleProvider.h"
22 #include "llvm/ExecutionEngine/GenericValue.h"
23 #include "llvm/ADT/Statistic.h"
24 #include "llvm/Support/Debug.h"
25 #include "llvm/Support/ErrorHandling.h"
26 #include "llvm/Support/MutexGuard.h"
27 #include "llvm/Support/ValueHandle.h"
28 #include "llvm/Support/raw_ostream.h"
29 #include "llvm/System/DynamicLibrary.h"
30 #include "llvm/System/Host.h"
31 #include "llvm/Target/TargetData.h"
32 #include <cmath>
33 #include <cstring>
34 using namespace llvm;
35
36 STATISTIC(NumInitBytes, "Number of bytes of global vars initialized");
37 STATISTIC(NumGlobals  , "Number of global vars initialized");
38
39 ExecutionEngine *(*ExecutionEngine::JITCtor)(ModuleProvider *MP,
40                                              std::string *ErrorStr,
41                                              JITMemoryManager *JMM,
42                                              CodeGenOpt::Level OptLevel,
43                                              bool GVsWithCode) = 0;
44 ExecutionEngine *(*ExecutionEngine::InterpCtor)(ModuleProvider *MP,
45                                                 std::string *ErrorStr) = 0;
46 ExecutionEngine::EERegisterFn ExecutionEngine::ExceptionTableRegister = 0;
47
48
49 ExecutionEngine::ExecutionEngine(ModuleProvider *P)
50   : EEState(*this),
51     LazyFunctionCreator(0) {
52   CompilingLazily         = false;
53   GVCompilationDisabled   = false;
54   SymbolSearchingDisabled = false;
55   Modules.push_back(P);
56   assert(P && "ModuleProvider is null?");
57 }
58
59 ExecutionEngine::~ExecutionEngine() {
60   clearAllGlobalMappings();
61   for (unsigned i = 0, e = Modules.size(); i != e; ++i)
62     delete Modules[i];
63 }
64
65 char* ExecutionEngine::getMemoryForGV(const GlobalVariable* GV) {
66   const Type *ElTy = GV->getType()->getElementType();
67   size_t GVSize = (size_t)getTargetData()->getTypeAllocSize(ElTy);
68   return new char[GVSize];
69 }
70
71 /// removeModuleProvider - Remove a ModuleProvider from the list of modules.
72 /// Relases the Module from the ModuleProvider, materializing it in the
73 /// process, and returns the materialized Module.
74 Module* ExecutionEngine::removeModuleProvider(ModuleProvider *P, 
75                                               std::string *ErrInfo) {
76   for(SmallVector<ModuleProvider *, 1>::iterator I = Modules.begin(), 
77         E = Modules.end(); I != E; ++I) {
78     ModuleProvider *MP = *I;
79     if (MP == P) {
80       Modules.erase(I);
81       clearGlobalMappingsFromModule(MP->getModule());
82       return MP->releaseModule(ErrInfo);
83     }
84   }
85   return NULL;
86 }
87
88 /// deleteModuleProvider - Remove a ModuleProvider from the list of modules,
89 /// and deletes the ModuleProvider and owned Module.  Avoids materializing 
90 /// the underlying module.
91 void ExecutionEngine::deleteModuleProvider(ModuleProvider *P, 
92                                            std::string *ErrInfo) {
93   for(SmallVector<ModuleProvider *, 1>::iterator I = Modules.begin(), 
94       E = Modules.end(); I != E; ++I) {
95     ModuleProvider *MP = *I;
96     if (MP == P) {
97       Modules.erase(I);
98       clearGlobalMappingsFromModule(MP->getModule());
99       delete MP;
100       return;
101     }
102   }
103 }
104
105 /// FindFunctionNamed - Search all of the active modules to find the one that
106 /// defines FnName.  This is very slow operation and shouldn't be used for
107 /// general code.
108 Function *ExecutionEngine::FindFunctionNamed(const char *FnName) {
109   for (unsigned i = 0, e = Modules.size(); i != e; ++i) {
110     if (Function *F = Modules[i]->getModule()->getFunction(FnName))
111       return F;
112   }
113   return 0;
114 }
115
116
117 void *ExecutionEngineState::RemoveMapping(
118   const MutexGuard &, const GlobalValue *ToUnmap) {
119   GlobalAddressMapTy::iterator I = GlobalAddressMap.find(ToUnmap);
120   void *OldVal;
121   if (I == GlobalAddressMap.end())
122     OldVal = 0;
123   else {
124     OldVal = I->second;
125     GlobalAddressMap.erase(I);
126   }
127
128   GlobalAddressReverseMap.erase(OldVal);
129   return OldVal;
130 }
131
132 /// addGlobalMapping - Tell the execution engine that the specified global is
133 /// at the specified location.  This is used internally as functions are JIT'd
134 /// and as global variables are laid out in memory.  It can and should also be
135 /// used by clients of the EE that want to have an LLVM global overlay
136 /// existing data in memory.
137 void ExecutionEngine::addGlobalMapping(const GlobalValue *GV, void *Addr) {
138   MutexGuard locked(lock);
139
140   DEBUG(errs() << "JIT: Map \'" << GV->getName() 
141         << "\' to [" << Addr << "]\n";);
142   void *&CurVal = EEState.getGlobalAddressMap(locked)[GV];
143   assert((CurVal == 0 || Addr == 0) && "GlobalMapping already established!");
144   CurVal = Addr;
145   
146   // If we are using the reverse mapping, add it too
147   if (!EEState.getGlobalAddressReverseMap(locked).empty()) {
148     AssertingVH<const GlobalValue> &V =
149       EEState.getGlobalAddressReverseMap(locked)[Addr];
150     assert((V == 0 || GV == 0) && "GlobalMapping already established!");
151     V = GV;
152   }
153 }
154
155 /// clearAllGlobalMappings - Clear all global mappings and start over again
156 /// use in dynamic compilation scenarios when you want to move globals
157 void ExecutionEngine::clearAllGlobalMappings() {
158   MutexGuard locked(lock);
159   
160   EEState.getGlobalAddressMap(locked).clear();
161   EEState.getGlobalAddressReverseMap(locked).clear();
162 }
163
164 /// clearGlobalMappingsFromModule - Clear all global mappings that came from a
165 /// particular module, because it has been removed from the JIT.
166 void ExecutionEngine::clearGlobalMappingsFromModule(Module *M) {
167   MutexGuard locked(lock);
168   
169   for (Module::iterator FI = M->begin(), FE = M->end(); FI != FE; ++FI) {
170     EEState.RemoveMapping(locked, FI);
171   }
172   for (Module::global_iterator GI = M->global_begin(), GE = M->global_end(); 
173        GI != GE; ++GI) {
174     EEState.RemoveMapping(locked, GI);
175   }
176 }
177
178 /// updateGlobalMapping - Replace an existing mapping for GV with a new
179 /// address.  This updates both maps as required.  If "Addr" is null, the
180 /// entry for the global is removed from the mappings.
181 void *ExecutionEngine::updateGlobalMapping(const GlobalValue *GV, void *Addr) {
182   MutexGuard locked(lock);
183
184   ExecutionEngineState::GlobalAddressMapTy &Map =
185     EEState.getGlobalAddressMap(locked);
186
187   // Deleting from the mapping?
188   if (Addr == 0) {
189     return EEState.RemoveMapping(locked, GV);
190   }
191   
192   void *&CurVal = Map[GV];
193   void *OldVal = CurVal;
194
195   if (CurVal && !EEState.getGlobalAddressReverseMap(locked).empty())
196     EEState.getGlobalAddressReverseMap(locked).erase(CurVal);
197   CurVal = Addr;
198   
199   // If we are using the reverse mapping, add it too
200   if (!EEState.getGlobalAddressReverseMap(locked).empty()) {
201     AssertingVH<const GlobalValue> &V =
202       EEState.getGlobalAddressReverseMap(locked)[Addr];
203     assert((V == 0 || GV == 0) && "GlobalMapping already established!");
204     V = GV;
205   }
206   return OldVal;
207 }
208
209 /// getPointerToGlobalIfAvailable - This returns the address of the specified
210 /// global value if it is has already been codegen'd, otherwise it returns null.
211 ///
212 void *ExecutionEngine::getPointerToGlobalIfAvailable(const GlobalValue *GV) {
213   MutexGuard locked(lock);
214   
215   ExecutionEngineState::GlobalAddressMapTy::iterator I =
216     EEState.getGlobalAddressMap(locked).find(GV);
217   return I != EEState.getGlobalAddressMap(locked).end() ? I->second : 0;
218 }
219
220 /// getGlobalValueAtAddress - Return the LLVM global value object that starts
221 /// at the specified address.
222 ///
223 const GlobalValue *ExecutionEngine::getGlobalValueAtAddress(void *Addr) {
224   MutexGuard locked(lock);
225
226   // If we haven't computed the reverse mapping yet, do so first.
227   if (EEState.getGlobalAddressReverseMap(locked).empty()) {
228     for (ExecutionEngineState::GlobalAddressMapTy::iterator
229          I = EEState.getGlobalAddressMap(locked).begin(),
230          E = EEState.getGlobalAddressMap(locked).end(); I != E; ++I)
231       EEState.getGlobalAddressReverseMap(locked).insert(std::make_pair(I->second,
232                                                                      I->first));
233   }
234
235   std::map<void *, AssertingVH<const GlobalValue> >::iterator I =
236     EEState.getGlobalAddressReverseMap(locked).find(Addr);
237   return I != EEState.getGlobalAddressReverseMap(locked).end() ? I->second : 0;
238 }
239
240 // CreateArgv - Turn a vector of strings into a nice argv style array of
241 // pointers to null terminated strings.
242 //
243 static void *CreateArgv(LLVMContext &C, ExecutionEngine *EE,
244                         const std::vector<std::string> &InputArgv) {
245   unsigned PtrSize = EE->getTargetData()->getPointerSize();
246   char *Result = new char[(InputArgv.size()+1)*PtrSize];
247
248   DEBUG(errs() << "JIT: ARGV = " << (void*)Result << "\n");
249   const Type *SBytePtr = Type::getInt8PtrTy(C);
250
251   for (unsigned i = 0; i != InputArgv.size(); ++i) {
252     unsigned Size = InputArgv[i].size()+1;
253     char *Dest = new char[Size];
254     DEBUG(errs() << "JIT: ARGV[" << i << "] = " << (void*)Dest << "\n");
255
256     std::copy(InputArgv[i].begin(), InputArgv[i].end(), Dest);
257     Dest[Size-1] = 0;
258
259     // Endian safe: Result[i] = (PointerTy)Dest;
260     EE->StoreValueToMemory(PTOGV(Dest), (GenericValue*)(Result+i*PtrSize),
261                            SBytePtr);
262   }
263
264   // Null terminate it
265   EE->StoreValueToMemory(PTOGV(0),
266                          (GenericValue*)(Result+InputArgv.size()*PtrSize),
267                          SBytePtr);
268   return Result;
269 }
270
271
272 /// runStaticConstructorsDestructors - This method is used to execute all of
273 /// the static constructors or destructors for a module, depending on the
274 /// value of isDtors.
275 void ExecutionEngine::runStaticConstructorsDestructors(Module *module,
276                                                        bool isDtors) {
277   const char *Name = isDtors ? "llvm.global_dtors" : "llvm.global_ctors";
278   
279   // Execute global ctors/dtors for each module in the program.
280   
281  GlobalVariable *GV = module->getNamedGlobal(Name);
282
283  // If this global has internal linkage, or if it has a use, then it must be
284  // an old-style (llvmgcc3) static ctor with __main linked in and in use.  If
285  // this is the case, don't execute any of the global ctors, __main will do
286  // it.
287  if (!GV || GV->isDeclaration() || GV->hasLocalLinkage()) return;
288  
289  // Should be an array of '{ int, void ()* }' structs.  The first value is
290  // the init priority, which we ignore.
291  ConstantArray *InitList = dyn_cast<ConstantArray>(GV->getInitializer());
292  if (!InitList) return;
293  for (unsigned i = 0, e = InitList->getNumOperands(); i != e; ++i)
294    if (ConstantStruct *CS = 
295        dyn_cast<ConstantStruct>(InitList->getOperand(i))) {
296      if (CS->getNumOperands() != 2) return; // Not array of 2-element structs.
297    
298      Constant *FP = CS->getOperand(1);
299      if (FP->isNullValue())
300        break;  // Found a null terminator, exit.
301    
302      if (ConstantExpr *CE = dyn_cast<ConstantExpr>(FP))
303        if (CE->isCast())
304          FP = CE->getOperand(0);
305      if (Function *F = dyn_cast<Function>(FP)) {
306        // Execute the ctor/dtor function!
307        runFunction(F, std::vector<GenericValue>());
308      }
309    }
310 }
311
312 /// runStaticConstructorsDestructors - This method is used to execute all of
313 /// the static constructors or destructors for a program, depending on the
314 /// value of isDtors.
315 void ExecutionEngine::runStaticConstructorsDestructors(bool isDtors) {
316   // Execute global ctors/dtors for each module in the program.
317   for (unsigned m = 0, e = Modules.size(); m != e; ++m)
318     runStaticConstructorsDestructors(Modules[m]->getModule(), isDtors);
319 }
320
321 #ifndef NDEBUG
322 /// isTargetNullPtr - Return whether the target pointer stored at Loc is null.
323 static bool isTargetNullPtr(ExecutionEngine *EE, void *Loc) {
324   unsigned PtrSize = EE->getTargetData()->getPointerSize();
325   for (unsigned i = 0; i < PtrSize; ++i)
326     if (*(i + (uint8_t*)Loc))
327       return false;
328   return true;
329 }
330 #endif
331
332 /// runFunctionAsMain - This is a helper function which wraps runFunction to
333 /// handle the common task of starting up main with the specified argc, argv,
334 /// and envp parameters.
335 int ExecutionEngine::runFunctionAsMain(Function *Fn,
336                                        const std::vector<std::string> &argv,
337                                        const char * const * envp) {
338   std::vector<GenericValue> GVArgs;
339   GenericValue GVArgc;
340   GVArgc.IntVal = APInt(32, argv.size());
341
342   // Check main() type
343   unsigned NumArgs = Fn->getFunctionType()->getNumParams();
344   const FunctionType *FTy = Fn->getFunctionType();
345   const Type* PPInt8Ty = 
346     PointerType::getUnqual(PointerType::getUnqual(
347           Type::getInt8Ty(Fn->getContext())));
348   switch (NumArgs) {
349   case 3:
350    if (FTy->getParamType(2) != PPInt8Ty) {
351      llvm_report_error("Invalid type for third argument of main() supplied");
352    }
353    // FALLS THROUGH
354   case 2:
355    if (FTy->getParamType(1) != PPInt8Ty) {
356      llvm_report_error("Invalid type for second argument of main() supplied");
357    }
358    // FALLS THROUGH
359   case 1:
360    if (FTy->getParamType(0) != Type::getInt32Ty(Fn->getContext())) {
361      llvm_report_error("Invalid type for first argument of main() supplied");
362    }
363    // FALLS THROUGH
364   case 0:
365    if (!isa<IntegerType>(FTy->getReturnType()) &&
366        FTy->getReturnType() != Type::getVoidTy(FTy->getContext())) {
367      llvm_report_error("Invalid return type of main() supplied");
368    }
369    break;
370   default:
371    llvm_report_error("Invalid number of arguments of main() supplied");
372   }
373   
374   if (NumArgs) {
375     GVArgs.push_back(GVArgc); // Arg #0 = argc.
376     if (NumArgs > 1) {
377       // Arg #1 = argv.
378       GVArgs.push_back(PTOGV(CreateArgv(Fn->getContext(), this, argv))); 
379       assert(!isTargetNullPtr(this, GVTOP(GVArgs[1])) &&
380              "argv[0] was null after CreateArgv");
381       if (NumArgs > 2) {
382         std::vector<std::string> EnvVars;
383         for (unsigned i = 0; envp[i]; ++i)
384           EnvVars.push_back(envp[i]);
385         // Arg #2 = envp.
386         GVArgs.push_back(PTOGV(CreateArgv(Fn->getContext(), this, EnvVars)));
387       }
388     }
389   }
390   return runFunction(Fn, GVArgs).IntVal.getZExtValue();
391 }
392
393 /// If possible, create a JIT, unless the caller specifically requests an
394 /// Interpreter or there's an error. If even an Interpreter cannot be created,
395 /// NULL is returned.
396 ///
397 ExecutionEngine *ExecutionEngine::create(ModuleProvider *MP,
398                                          bool ForceInterpreter,
399                                          std::string *ErrorStr,
400                                          CodeGenOpt::Level OptLevel,
401                                          bool GVsWithCode) {
402   return EngineBuilder(MP)
403       .setEngineKind(ForceInterpreter
404                      ? EngineKind::Interpreter
405                      : EngineKind::JIT)
406       .setErrorStr(ErrorStr)
407       .setOptLevel(OptLevel)
408       .setAllocateGVsWithCode(GVsWithCode)
409       .create();
410 }
411
412 ExecutionEngine *ExecutionEngine::create(Module *M) {
413   return EngineBuilder(M).create();
414 }
415
416 /// EngineBuilder - Overloaded constructor that automatically creates an
417 /// ExistingModuleProvider for an existing module.
418 EngineBuilder::EngineBuilder(Module *m) : MP(new ExistingModuleProvider(m)) {
419   InitEngine();
420 }
421
422 ExecutionEngine *EngineBuilder::create() {
423   // Make sure we can resolve symbols in the program as well. The zero arg
424   // to the function tells DynamicLibrary to load the program, not a library.
425   if (sys::DynamicLibrary::LoadLibraryPermanently(0, ErrorStr))
426     return 0;
427
428   // If the user specified a memory manager but didn't specify which engine to
429   // create, we assume they only want the JIT, and we fail if they only want
430   // the interpreter.
431   if (JMM) {
432     if (WhichEngine & EngineKind::JIT)
433       WhichEngine = EngineKind::JIT;
434     else {
435       if (ErrorStr)
436         *ErrorStr = "Cannot create an interpreter with a memory manager.";
437       return 0;
438     }
439   }
440
441   // Unless the interpreter was explicitly selected or the JIT is not linked,
442   // try making a JIT.
443   if (WhichEngine & EngineKind::JIT) {
444     if (ExecutionEngine::JITCtor) {
445       ExecutionEngine *EE =
446         ExecutionEngine::JITCtor(MP, ErrorStr, JMM, OptLevel,
447                                  AllocateGVsWithCode);
448       if (EE) return EE;
449     }
450   }
451
452   // If we can't make a JIT and we didn't request one specifically, try making
453   // an interpreter instead.
454   if (WhichEngine & EngineKind::Interpreter) {
455     if (ExecutionEngine::InterpCtor)
456       return ExecutionEngine::InterpCtor(MP, ErrorStr);
457     if (ErrorStr)
458       *ErrorStr = "Interpreter has not been linked in.";
459     return 0;
460   }
461
462   if ((WhichEngine & EngineKind::JIT) && ExecutionEngine::JITCtor == 0) {
463     if (ErrorStr)
464       *ErrorStr = "JIT has not been linked in.";
465   }    
466   return 0;
467 }
468
469 /// getPointerToGlobal - This returns the address of the specified global
470 /// value.  This may involve code generation if it's a function.
471 ///
472 void *ExecutionEngine::getPointerToGlobal(const GlobalValue *GV) {
473   if (Function *F = const_cast<Function*>(dyn_cast<Function>(GV)))
474     return getPointerToFunction(F);
475
476   MutexGuard locked(lock);
477   void *p = EEState.getGlobalAddressMap(locked)[GV];
478   if (p)
479     return p;
480
481   // Global variable might have been added since interpreter started.
482   if (GlobalVariable *GVar =
483           const_cast<GlobalVariable *>(dyn_cast<GlobalVariable>(GV)))
484     EmitGlobalVariable(GVar);
485   else
486     llvm_unreachable("Global hasn't had an address allocated yet!");
487   return EEState.getGlobalAddressMap(locked)[GV];
488 }
489
490 /// This function converts a Constant* into a GenericValue. The interesting 
491 /// part is if C is a ConstantExpr.
492 /// @brief Get a GenericValue for a Constant*
493 GenericValue ExecutionEngine::getConstantValue(const Constant *C) {
494   // If its undefined, return the garbage.
495   if (isa<UndefValue>(C)) 
496     return GenericValue();
497
498   // If the value is a ConstantExpr
499   if (const ConstantExpr *CE = dyn_cast<ConstantExpr>(C)) {
500     Constant *Op0 = CE->getOperand(0);
501     switch (CE->getOpcode()) {
502     case Instruction::GetElementPtr: {
503       // Compute the index 
504       GenericValue Result = getConstantValue(Op0);
505       SmallVector<Value*, 8> Indices(CE->op_begin()+1, CE->op_end());
506       uint64_t Offset =
507         TD->getIndexedOffset(Op0->getType(), &Indices[0], Indices.size());
508
509       char* tmp = (char*) Result.PointerVal;
510       Result = PTOGV(tmp + Offset);
511       return Result;
512     }
513     case Instruction::Trunc: {
514       GenericValue GV = getConstantValue(Op0);
515       uint32_t BitWidth = cast<IntegerType>(CE->getType())->getBitWidth();
516       GV.IntVal = GV.IntVal.trunc(BitWidth);
517       return GV;
518     }
519     case Instruction::ZExt: {
520       GenericValue GV = getConstantValue(Op0);
521       uint32_t BitWidth = cast<IntegerType>(CE->getType())->getBitWidth();
522       GV.IntVal = GV.IntVal.zext(BitWidth);
523       return GV;
524     }
525     case Instruction::SExt: {
526       GenericValue GV = getConstantValue(Op0);
527       uint32_t BitWidth = cast<IntegerType>(CE->getType())->getBitWidth();
528       GV.IntVal = GV.IntVal.sext(BitWidth);
529       return GV;
530     }
531     case Instruction::FPTrunc: {
532       // FIXME long double
533       GenericValue GV = getConstantValue(Op0);
534       GV.FloatVal = float(GV.DoubleVal);
535       return GV;
536     }
537     case Instruction::FPExt:{
538       // FIXME long double
539       GenericValue GV = getConstantValue(Op0);
540       GV.DoubleVal = double(GV.FloatVal);
541       return GV;
542     }
543     case Instruction::UIToFP: {
544       GenericValue GV = getConstantValue(Op0);
545       if (CE->getType()->isFloatTy())
546         GV.FloatVal = float(GV.IntVal.roundToDouble());
547       else if (CE->getType()->isDoubleTy())
548         GV.DoubleVal = GV.IntVal.roundToDouble();
549       else if (CE->getType()->isX86_FP80Ty()) {
550         const uint64_t zero[] = {0, 0};
551         APFloat apf = APFloat(APInt(80, 2, zero));
552         (void)apf.convertFromAPInt(GV.IntVal, 
553                                    false,
554                                    APFloat::rmNearestTiesToEven);
555         GV.IntVal = apf.bitcastToAPInt();
556       }
557       return GV;
558     }
559     case Instruction::SIToFP: {
560       GenericValue GV = getConstantValue(Op0);
561       if (CE->getType()->isFloatTy())
562         GV.FloatVal = float(GV.IntVal.signedRoundToDouble());
563       else if (CE->getType()->isDoubleTy())
564         GV.DoubleVal = GV.IntVal.signedRoundToDouble();
565       else if (CE->getType()->isX86_FP80Ty()) {
566         const uint64_t zero[] = { 0, 0};
567         APFloat apf = APFloat(APInt(80, 2, zero));
568         (void)apf.convertFromAPInt(GV.IntVal, 
569                                    true,
570                                    APFloat::rmNearestTiesToEven);
571         GV.IntVal = apf.bitcastToAPInt();
572       }
573       return GV;
574     }
575     case Instruction::FPToUI: // double->APInt conversion handles sign
576     case Instruction::FPToSI: {
577       GenericValue GV = getConstantValue(Op0);
578       uint32_t BitWidth = cast<IntegerType>(CE->getType())->getBitWidth();
579       if (Op0->getType()->isFloatTy())
580         GV.IntVal = APIntOps::RoundFloatToAPInt(GV.FloatVal, BitWidth);
581       else if (Op0->getType()->isDoubleTy())
582         GV.IntVal = APIntOps::RoundDoubleToAPInt(GV.DoubleVal, BitWidth);
583       else if (Op0->getType()->isX86_FP80Ty()) {
584         APFloat apf = APFloat(GV.IntVal);
585         uint64_t v;
586         bool ignored;
587         (void)apf.convertToInteger(&v, BitWidth,
588                                    CE->getOpcode()==Instruction::FPToSI, 
589                                    APFloat::rmTowardZero, &ignored);
590         GV.IntVal = v; // endian?
591       }
592       return GV;
593     }
594     case Instruction::PtrToInt: {
595       GenericValue GV = getConstantValue(Op0);
596       uint32_t PtrWidth = TD->getPointerSizeInBits();
597       GV.IntVal = APInt(PtrWidth, uintptr_t(GV.PointerVal));
598       return GV;
599     }
600     case Instruction::IntToPtr: {
601       GenericValue GV = getConstantValue(Op0);
602       uint32_t PtrWidth = TD->getPointerSizeInBits();
603       if (PtrWidth != GV.IntVal.getBitWidth())
604         GV.IntVal = GV.IntVal.zextOrTrunc(PtrWidth);
605       assert(GV.IntVal.getBitWidth() <= 64 && "Bad pointer width");
606       GV.PointerVal = PointerTy(uintptr_t(GV.IntVal.getZExtValue()));
607       return GV;
608     }
609     case Instruction::BitCast: {
610       GenericValue GV = getConstantValue(Op0);
611       const Type* DestTy = CE->getType();
612       switch (Op0->getType()->getTypeID()) {
613         default: llvm_unreachable("Invalid bitcast operand");
614         case Type::IntegerTyID:
615           assert(DestTy->isFloatingPoint() && "invalid bitcast");
616           if (DestTy->isFloatTy())
617             GV.FloatVal = GV.IntVal.bitsToFloat();
618           else if (DestTy->isDoubleTy())
619             GV.DoubleVal = GV.IntVal.bitsToDouble();
620           break;
621         case Type::FloatTyID: 
622           assert(DestTy == Type::getInt32Ty(DestTy->getContext()) &&
623                  "Invalid bitcast");
624           GV.IntVal.floatToBits(GV.FloatVal);
625           break;
626         case Type::DoubleTyID:
627           assert(DestTy == Type::getInt64Ty(DestTy->getContext()) &&
628                  "Invalid bitcast");
629           GV.IntVal.doubleToBits(GV.DoubleVal);
630           break;
631         case Type::PointerTyID:
632           assert(isa<PointerType>(DestTy) && "Invalid bitcast");
633           break; // getConstantValue(Op0)  above already converted it
634       }
635       return GV;
636     }
637     case Instruction::Add:
638     case Instruction::FAdd:
639     case Instruction::Sub:
640     case Instruction::FSub:
641     case Instruction::Mul:
642     case Instruction::FMul:
643     case Instruction::UDiv:
644     case Instruction::SDiv:
645     case Instruction::URem:
646     case Instruction::SRem:
647     case Instruction::And:
648     case Instruction::Or:
649     case Instruction::Xor: {
650       GenericValue LHS = getConstantValue(Op0);
651       GenericValue RHS = getConstantValue(CE->getOperand(1));
652       GenericValue GV;
653       switch (CE->getOperand(0)->getType()->getTypeID()) {
654       default: llvm_unreachable("Bad add type!");
655       case Type::IntegerTyID:
656         switch (CE->getOpcode()) {
657           default: llvm_unreachable("Invalid integer opcode");
658           case Instruction::Add: GV.IntVal = LHS.IntVal + RHS.IntVal; break;
659           case Instruction::Sub: GV.IntVal = LHS.IntVal - RHS.IntVal; break;
660           case Instruction::Mul: GV.IntVal = LHS.IntVal * RHS.IntVal; break;
661           case Instruction::UDiv:GV.IntVal = LHS.IntVal.udiv(RHS.IntVal); break;
662           case Instruction::SDiv:GV.IntVal = LHS.IntVal.sdiv(RHS.IntVal); break;
663           case Instruction::URem:GV.IntVal = LHS.IntVal.urem(RHS.IntVal); break;
664           case Instruction::SRem:GV.IntVal = LHS.IntVal.srem(RHS.IntVal); break;
665           case Instruction::And: GV.IntVal = LHS.IntVal & RHS.IntVal; break;
666           case Instruction::Or:  GV.IntVal = LHS.IntVal | RHS.IntVal; break;
667           case Instruction::Xor: GV.IntVal = LHS.IntVal ^ RHS.IntVal; break;
668         }
669         break;
670       case Type::FloatTyID:
671         switch (CE->getOpcode()) {
672           default: llvm_unreachable("Invalid float opcode");
673           case Instruction::FAdd:
674             GV.FloatVal = LHS.FloatVal + RHS.FloatVal; break;
675           case Instruction::FSub:
676             GV.FloatVal = LHS.FloatVal - RHS.FloatVal; break;
677           case Instruction::FMul:
678             GV.FloatVal = LHS.FloatVal * RHS.FloatVal; break;
679           case Instruction::FDiv: 
680             GV.FloatVal = LHS.FloatVal / RHS.FloatVal; break;
681           case Instruction::FRem: 
682             GV.FloatVal = ::fmodf(LHS.FloatVal,RHS.FloatVal); break;
683         }
684         break;
685       case Type::DoubleTyID:
686         switch (CE->getOpcode()) {
687           default: llvm_unreachable("Invalid double opcode");
688           case Instruction::FAdd:
689             GV.DoubleVal = LHS.DoubleVal + RHS.DoubleVal; break;
690           case Instruction::FSub:
691             GV.DoubleVal = LHS.DoubleVal - RHS.DoubleVal; break;
692           case Instruction::FMul:
693             GV.DoubleVal = LHS.DoubleVal * RHS.DoubleVal; break;
694           case Instruction::FDiv: 
695             GV.DoubleVal = LHS.DoubleVal / RHS.DoubleVal; break;
696           case Instruction::FRem: 
697             GV.DoubleVal = ::fmod(LHS.DoubleVal,RHS.DoubleVal); break;
698         }
699         break;
700       case Type::X86_FP80TyID:
701       case Type::PPC_FP128TyID:
702       case Type::FP128TyID: {
703         APFloat apfLHS = APFloat(LHS.IntVal);
704         switch (CE->getOpcode()) {
705           default: llvm_unreachable("Invalid long double opcode");llvm_unreachable(0);
706           case Instruction::FAdd:
707             apfLHS.add(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
708             GV.IntVal = apfLHS.bitcastToAPInt();
709             break;
710           case Instruction::FSub:
711             apfLHS.subtract(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
712             GV.IntVal = apfLHS.bitcastToAPInt();
713             break;
714           case Instruction::FMul:
715             apfLHS.multiply(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
716             GV.IntVal = apfLHS.bitcastToAPInt();
717             break;
718           case Instruction::FDiv: 
719             apfLHS.divide(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
720             GV.IntVal = apfLHS.bitcastToAPInt();
721             break;
722           case Instruction::FRem: 
723             apfLHS.mod(APFloat(RHS.IntVal), APFloat::rmNearestTiesToEven);
724             GV.IntVal = apfLHS.bitcastToAPInt();
725             break;
726           }
727         }
728         break;
729       }
730       return GV;
731     }
732     default:
733       break;
734     }
735     std::string msg;
736     raw_string_ostream Msg(msg);
737     Msg << "ConstantExpr not handled: " << *CE;
738     llvm_report_error(Msg.str());
739   }
740
741   GenericValue Result;
742   switch (C->getType()->getTypeID()) {
743   case Type::FloatTyID: 
744     Result.FloatVal = cast<ConstantFP>(C)->getValueAPF().convertToFloat(); 
745     break;
746   case Type::DoubleTyID:
747     Result.DoubleVal = cast<ConstantFP>(C)->getValueAPF().convertToDouble();
748     break;
749   case Type::X86_FP80TyID:
750   case Type::FP128TyID:
751   case Type::PPC_FP128TyID:
752     Result.IntVal = cast <ConstantFP>(C)->getValueAPF().bitcastToAPInt();
753     break;
754   case Type::IntegerTyID:
755     Result.IntVal = cast<ConstantInt>(C)->getValue();
756     break;
757   case Type::PointerTyID:
758     if (isa<ConstantPointerNull>(C))
759       Result.PointerVal = 0;
760     else if (const Function *F = dyn_cast<Function>(C))
761       Result = PTOGV(getPointerToFunctionOrStub(const_cast<Function*>(F)));
762     else if (const GlobalVariable *GV = dyn_cast<GlobalVariable>(C))
763       Result = PTOGV(getOrEmitGlobalVariable(const_cast<GlobalVariable*>(GV)));
764     else if (const BlockAddress *BA = dyn_cast<BlockAddress>(C))
765       Result = PTOGV(getPointerToBasicBlock(const_cast<BasicBlock*>(
766                                                         BA->getBasicBlock())));
767     else
768       llvm_unreachable("Unknown constant pointer type!");
769     break;
770   default:
771     std::string msg;
772     raw_string_ostream Msg(msg);
773     Msg << "ERROR: Constant unimplemented for type: " << *C->getType();
774     llvm_report_error(Msg.str());
775   }
776   return Result;
777 }
778
779 /// StoreIntToMemory - Fills the StoreBytes bytes of memory starting from Dst
780 /// with the integer held in IntVal.
781 static void StoreIntToMemory(const APInt &IntVal, uint8_t *Dst,
782                              unsigned StoreBytes) {
783   assert((IntVal.getBitWidth()+7)/8 >= StoreBytes && "Integer too small!");
784   uint8_t *Src = (uint8_t *)IntVal.getRawData();
785
786   if (sys::isLittleEndianHost())
787     // Little-endian host - the source is ordered from LSB to MSB.  Order the
788     // destination from LSB to MSB: Do a straight copy.
789     memcpy(Dst, Src, StoreBytes);
790   else {
791     // Big-endian host - the source is an array of 64 bit words ordered from
792     // LSW to MSW.  Each word is ordered from MSB to LSB.  Order the destination
793     // from MSB to LSB: Reverse the word order, but not the bytes in a word.
794     while (StoreBytes > sizeof(uint64_t)) {
795       StoreBytes -= sizeof(uint64_t);
796       // May not be aligned so use memcpy.
797       memcpy(Dst + StoreBytes, Src, sizeof(uint64_t));
798       Src += sizeof(uint64_t);
799     }
800
801     memcpy(Dst, Src + sizeof(uint64_t) - StoreBytes, StoreBytes);
802   }
803 }
804
805 /// StoreValueToMemory - Stores the data in Val of type Ty at address Ptr.  Ptr
806 /// is the address of the memory at which to store Val, cast to GenericValue *.
807 /// It is not a pointer to a GenericValue containing the address at which to
808 /// store Val.
809 void ExecutionEngine::StoreValueToMemory(const GenericValue &Val,
810                                          GenericValue *Ptr, const Type *Ty) {
811   const unsigned StoreBytes = getTargetData()->getTypeStoreSize(Ty);
812
813   switch (Ty->getTypeID()) {
814   case Type::IntegerTyID:
815     StoreIntToMemory(Val.IntVal, (uint8_t*)Ptr, StoreBytes);
816     break;
817   case Type::FloatTyID:
818     *((float*)Ptr) = Val.FloatVal;
819     break;
820   case Type::DoubleTyID:
821     *((double*)Ptr) = Val.DoubleVal;
822     break;
823   case Type::X86_FP80TyID:
824     memcpy(Ptr, Val.IntVal.getRawData(), 10);
825     break;
826   case Type::PointerTyID:
827     // Ensure 64 bit target pointers are fully initialized on 32 bit hosts.
828     if (StoreBytes != sizeof(PointerTy))
829       memset(Ptr, 0, StoreBytes);
830
831     *((PointerTy*)Ptr) = Val.PointerVal;
832     break;
833   default:
834     errs() << "Cannot store value of type " << *Ty << "!\n";
835   }
836
837   if (sys::isLittleEndianHost() != getTargetData()->isLittleEndian())
838     // Host and target are different endian - reverse the stored bytes.
839     std::reverse((uint8_t*)Ptr, StoreBytes + (uint8_t*)Ptr);
840 }
841
842 /// LoadIntFromMemory - Loads the integer stored in the LoadBytes bytes starting
843 /// from Src into IntVal, which is assumed to be wide enough and to hold zero.
844 static void LoadIntFromMemory(APInt &IntVal, uint8_t *Src, unsigned LoadBytes) {
845   assert((IntVal.getBitWidth()+7)/8 >= LoadBytes && "Integer too small!");
846   uint8_t *Dst = (uint8_t *)IntVal.getRawData();
847
848   if (sys::isLittleEndianHost())
849     // Little-endian host - the destination must be ordered from LSB to MSB.
850     // The source is ordered from LSB to MSB: Do a straight copy.
851     memcpy(Dst, Src, LoadBytes);
852   else {
853     // Big-endian - the destination is an array of 64 bit words ordered from
854     // LSW to MSW.  Each word must be ordered from MSB to LSB.  The source is
855     // ordered from MSB to LSB: Reverse the word order, but not the bytes in
856     // a word.
857     while (LoadBytes > sizeof(uint64_t)) {
858       LoadBytes -= sizeof(uint64_t);
859       // May not be aligned so use memcpy.
860       memcpy(Dst, Src + LoadBytes, sizeof(uint64_t));
861       Dst += sizeof(uint64_t);
862     }
863
864     memcpy(Dst + sizeof(uint64_t) - LoadBytes, Src, LoadBytes);
865   }
866 }
867
868 /// FIXME: document
869 ///
870 void ExecutionEngine::LoadValueFromMemory(GenericValue &Result,
871                                           GenericValue *Ptr,
872                                           const Type *Ty) {
873   const unsigned LoadBytes = getTargetData()->getTypeStoreSize(Ty);
874
875   switch (Ty->getTypeID()) {
876   case Type::IntegerTyID:
877     // An APInt with all words initially zero.
878     Result.IntVal = APInt(cast<IntegerType>(Ty)->getBitWidth(), 0);
879     LoadIntFromMemory(Result.IntVal, (uint8_t*)Ptr, LoadBytes);
880     break;
881   case Type::FloatTyID:
882     Result.FloatVal = *((float*)Ptr);
883     break;
884   case Type::DoubleTyID:
885     Result.DoubleVal = *((double*)Ptr);
886     break;
887   case Type::PointerTyID:
888     Result.PointerVal = *((PointerTy*)Ptr);
889     break;
890   case Type::X86_FP80TyID: {
891     // This is endian dependent, but it will only work on x86 anyway.
892     // FIXME: Will not trap if loading a signaling NaN.
893     uint64_t y[2];
894     memcpy(y, Ptr, 10);
895     Result.IntVal = APInt(80, 2, y);
896     break;
897   }
898   default:
899     std::string msg;
900     raw_string_ostream Msg(msg);
901     Msg << "Cannot load value of type " << *Ty << "!";
902     llvm_report_error(Msg.str());
903   }
904 }
905
906 // InitializeMemory - Recursive function to apply a Constant value into the
907 // specified memory location...
908 //
909 void ExecutionEngine::InitializeMemory(const Constant *Init, void *Addr) {
910   DEBUG(errs() << "JIT: Initializing " << Addr << " ");
911   DEBUG(Init->dump());
912   if (isa<UndefValue>(Init)) {
913     return;
914   } else if (const ConstantVector *CP = dyn_cast<ConstantVector>(Init)) {
915     unsigned ElementSize =
916       getTargetData()->getTypeAllocSize(CP->getType()->getElementType());
917     for (unsigned i = 0, e = CP->getNumOperands(); i != e; ++i)
918       InitializeMemory(CP->getOperand(i), (char*)Addr+i*ElementSize);
919     return;
920   } else if (isa<ConstantAggregateZero>(Init)) {
921     memset(Addr, 0, (size_t)getTargetData()->getTypeAllocSize(Init->getType()));
922     return;
923   } else if (const ConstantArray *CPA = dyn_cast<ConstantArray>(Init)) {
924     unsigned ElementSize =
925       getTargetData()->getTypeAllocSize(CPA->getType()->getElementType());
926     for (unsigned i = 0, e = CPA->getNumOperands(); i != e; ++i)
927       InitializeMemory(CPA->getOperand(i), (char*)Addr+i*ElementSize);
928     return;
929   } else if (const ConstantStruct *CPS = dyn_cast<ConstantStruct>(Init)) {
930     const StructLayout *SL =
931       getTargetData()->getStructLayout(cast<StructType>(CPS->getType()));
932     for (unsigned i = 0, e = CPS->getNumOperands(); i != e; ++i)
933       InitializeMemory(CPS->getOperand(i), (char*)Addr+SL->getElementOffset(i));
934     return;
935   } else if (Init->getType()->isFirstClassType()) {
936     GenericValue Val = getConstantValue(Init);
937     StoreValueToMemory(Val, (GenericValue*)Addr, Init->getType());
938     return;
939   }
940
941   errs() << "Bad Type: " << *Init->getType() << "\n";
942   llvm_unreachable("Unknown constant type to initialize memory with!");
943 }
944
945 /// EmitGlobals - Emit all of the global variables to memory, storing their
946 /// addresses into GlobalAddress.  This must make sure to copy the contents of
947 /// their initializers into the memory.
948 ///
949 void ExecutionEngine::emitGlobals() {
950
951   // Loop over all of the global variables in the program, allocating the memory
952   // to hold them.  If there is more than one module, do a prepass over globals
953   // to figure out how the different modules should link together.
954   //
955   std::map<std::pair<std::string, const Type*>,
956            const GlobalValue*> LinkedGlobalsMap;
957
958   if (Modules.size() != 1) {
959     for (unsigned m = 0, e = Modules.size(); m != e; ++m) {
960       Module &M = *Modules[m]->getModule();
961       for (Module::const_global_iterator I = M.global_begin(),
962            E = M.global_end(); I != E; ++I) {
963         const GlobalValue *GV = I;
964         if (GV->hasLocalLinkage() || GV->isDeclaration() ||
965             GV->hasAppendingLinkage() || !GV->hasName())
966           continue;// Ignore external globals and globals with internal linkage.
967           
968         const GlobalValue *&GVEntry = 
969           LinkedGlobalsMap[std::make_pair(GV->getName(), GV->getType())];
970
971         // If this is the first time we've seen this global, it is the canonical
972         // version.
973         if (!GVEntry) {
974           GVEntry = GV;
975           continue;
976         }
977         
978         // If the existing global is strong, never replace it.
979         if (GVEntry->hasExternalLinkage() ||
980             GVEntry->hasDLLImportLinkage() ||
981             GVEntry->hasDLLExportLinkage())
982           continue;
983         
984         // Otherwise, we know it's linkonce/weak, replace it if this is a strong
985         // symbol.  FIXME is this right for common?
986         if (GV->hasExternalLinkage() || GVEntry->hasExternalWeakLinkage())
987           GVEntry = GV;
988       }
989     }
990   }
991   
992   std::vector<const GlobalValue*> NonCanonicalGlobals;
993   for (unsigned m = 0, e = Modules.size(); m != e; ++m) {
994     Module &M = *Modules[m]->getModule();
995     for (Module::const_global_iterator I = M.global_begin(), E = M.global_end();
996          I != E; ++I) {
997       // In the multi-module case, see what this global maps to.
998       if (!LinkedGlobalsMap.empty()) {
999         if (const GlobalValue *GVEntry = 
1000               LinkedGlobalsMap[std::make_pair(I->getName(), I->getType())]) {
1001           // If something else is the canonical global, ignore this one.
1002           if (GVEntry != &*I) {
1003             NonCanonicalGlobals.push_back(I);
1004             continue;
1005           }
1006         }
1007       }
1008       
1009       if (!I->isDeclaration()) {
1010         addGlobalMapping(I, getMemoryForGV(I));
1011       } else {
1012         // External variable reference. Try to use the dynamic loader to
1013         // get a pointer to it.
1014         if (void *SymAddr =
1015             sys::DynamicLibrary::SearchForAddressOfSymbol(I->getName()))
1016           addGlobalMapping(I, SymAddr);
1017         else {
1018           llvm_report_error("Could not resolve external global address: "
1019                             +I->getName());
1020         }
1021       }
1022     }
1023     
1024     // If there are multiple modules, map the non-canonical globals to their
1025     // canonical location.
1026     if (!NonCanonicalGlobals.empty()) {
1027       for (unsigned i = 0, e = NonCanonicalGlobals.size(); i != e; ++i) {
1028         const GlobalValue *GV = NonCanonicalGlobals[i];
1029         const GlobalValue *CGV =
1030           LinkedGlobalsMap[std::make_pair(GV->getName(), GV->getType())];
1031         void *Ptr = getPointerToGlobalIfAvailable(CGV);
1032         assert(Ptr && "Canonical global wasn't codegen'd!");
1033         addGlobalMapping(GV, Ptr);
1034       }
1035     }
1036     
1037     // Now that all of the globals are set up in memory, loop through them all 
1038     // and initialize their contents.
1039     for (Module::const_global_iterator I = M.global_begin(), E = M.global_end();
1040          I != E; ++I) {
1041       if (!I->isDeclaration()) {
1042         if (!LinkedGlobalsMap.empty()) {
1043           if (const GlobalValue *GVEntry = 
1044                 LinkedGlobalsMap[std::make_pair(I->getName(), I->getType())])
1045             if (GVEntry != &*I)  // Not the canonical variable.
1046               continue;
1047         }
1048         EmitGlobalVariable(I);
1049       }
1050     }
1051   }
1052 }
1053
1054 // EmitGlobalVariable - This method emits the specified global variable to the
1055 // address specified in GlobalAddresses, or allocates new memory if it's not
1056 // already in the map.
1057 void ExecutionEngine::EmitGlobalVariable(const GlobalVariable *GV) {
1058   void *GA = getPointerToGlobalIfAvailable(GV);
1059
1060   if (GA == 0) {
1061     // If it's not already specified, allocate memory for the global.
1062     GA = getMemoryForGV(GV);
1063     addGlobalMapping(GV, GA);
1064   }
1065   
1066   // Don't initialize if it's thread local, let the client do it.
1067   if (!GV->isThreadLocal())
1068     InitializeMemory(GV->getInitializer(), GA);
1069   
1070   const Type *ElTy = GV->getType()->getElementType();
1071   size_t GVSize = (size_t)getTargetData()->getTypeAllocSize(ElTy);
1072   NumInitBytes += (unsigned)GVSize;
1073   ++NumGlobals;
1074 }
1075
1076 ExecutionEngineState::ExecutionEngineState(ExecutionEngine &EE)
1077   : EE(EE), GlobalAddressMap(this) {
1078 }
1079
1080 sys::Mutex *ExecutionEngineState::AddressMapConfig::getMutex(
1081   ExecutionEngineState *EES) {
1082   return &EES->EE.lock;
1083 }
1084 void ExecutionEngineState::AddressMapConfig::onDelete(
1085   ExecutionEngineState *EES, const GlobalValue *Old) {
1086   void *OldVal = EES->GlobalAddressMap.lookup(Old);
1087   EES->GlobalAddressReverseMap.erase(OldVal);
1088 }
1089
1090 void ExecutionEngineState::AddressMapConfig::onRAUW(
1091   ExecutionEngineState *, const GlobalValue *, const GlobalValue *) {
1092   assert(false && "The ExecutionEngine doesn't know how to handle a"
1093          " RAUW on a value it has a global mapping for.");
1094 }