lib/Linker/LinkArchives.cpp

   1 //===- Linker.cpp - Link together LLVM objects and libraries --------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file was developed by the LLVM research group and is distributed under
   6 // the University of Illinois Open Source License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file contains routines to handle linking together LLVM bytecode files,
  11 // and to handle annoying things like static libraries.
  12 //
  13 //===----------------------------------------------------------------------===//
  14
  15 #include "gccld.h"
  16 #include "llvm/Module.h"
  17 #include "llvm/PassManager.h"
  18 #include "llvm/Bytecode/Reader.h"
  19 #include "llvm/Bytecode/WriteBytecodePass.h"
  20 #include "llvm/Target/TargetData.h"
  21 #include "llvm/Transforms/IPO.h"
  22 #include "llvm/Transforms/Scalar.h"
  23 #include "llvm/Transforms/Utils/Linker.h"
  24 #include "Support/CommandLine.h"
  25 #include "Support/FileUtilities.h"
  26 #include "Support/Signals.h"
  27 #include "Support/SystemUtils.h"
  28 #include <algorithm>
  29 #include <fstream>
  30 #include <memory>
  31 #include <set>
  32 using namespace llvm;
  33
  34 /// FindLib - Try to convert Filename into the name of a file that we can open,
  35 /// if it does not already name a file we can open, by first trying to open
  36 /// Filename, then libFilename.<suffix> for each of a set of several common
  37 /// library suffixes, in each of the directories in Paths and the directory
  38 /// named by the value of the environment variable LLVM_LIB_SEARCH_PATH. Returns
  39 /// an empty string if no matching file can be found.
  40 ///
  41 std::string llvm::FindLib(const std::string &Filename,
  42                           const std::vector<std::string> &Paths,
  43                           bool SharedObjectOnly) {
  44   // Determine if the pathname can be found as it stands.
  45   if (FileOpenable(Filename))
  46     return Filename;
  47
  48   // If that doesn't work, convert the name into a library name.
  49   std::string LibName = "lib" + Filename;
  50
  51   // Iterate over the directories in Paths to see if we can find the library
  52   // there.
  53   for (unsigned Index = 0; Index != Paths.size(); ++Index) {
  54     std::string Directory = Paths[Index] + "/";
  55
  56     if (!SharedObjectOnly && FileOpenable(Directory + LibName + ".bc"))
  57       return Directory + LibName + ".bc";
  58
  59     if (FileOpenable(Directory + LibName + ".so"))
  60       return Directory + LibName + ".so";
  61
  62     if (!SharedObjectOnly && FileOpenable(Directory + LibName + ".a"))
  63       return Directory + LibName + ".a";
  64   }
  65
  66   // One last hope: Check LLVM_LIB_SEARCH_PATH.
  67   char *SearchPath = getenv("LLVM_LIB_SEARCH_PATH");
  68   if (SearchPath == NULL)
  69     return std::string();
  70
  71   LibName = std::string(SearchPath) + "/" + LibName;
  72   if (FileOpenable(LibName))
  73     return LibName;
  74
  75   return std::string();
  76 }
  77
  78 /// GetAllDefinedSymbols - Modifies its parameter DefinedSymbols to contain the
  79 /// name of each externally-visible symbol defined in M.
  80 ///
  81 void llvm::GetAllDefinedSymbols(Module *M,
  82                                 std::set<std::string> &DefinedSymbols) {
  83   for (Module::iterator I = M->begin(), E = M->end(); I != E; ++I)
  84     if (I->hasName() && !I->isExternal() && !I->hasInternalLinkage())
  85       DefinedSymbols.insert(I->getName());
  86   for (Module::giterator I = M->gbegin(), E = M->gend(); I != E; ++I)
  87     if (I->hasName() && !I->isExternal() && !I->hasInternalLinkage())
  88       DefinedSymbols.insert(I->getName());
  89 }
  90
  91 /// GetAllUndefinedSymbols - calculates the set of undefined symbols that still
  92 /// exist in an LLVM module. This is a bit tricky because there may be two
  93 /// symbols with the same name but different LLVM types that will be resolved to
  94 /// each other but aren't currently (thus we need to treat it as resolved).
  95 ///
  96 /// Inputs:
  97 ///  M - The module in which to find undefined symbols.
  98 ///
  99 /// Outputs:
 100 ///  UndefinedSymbols - A set of C++ strings containing the name of all
 101 ///                     undefined symbols.
 102 ///
 103 void
 104 llvm::GetAllUndefinedSymbols(Module *M,
 105                              std::set<std::string> &UndefinedSymbols) {
 106   std::set<std::string> DefinedSymbols;
 107   UndefinedSymbols.clear();   // Start out empty
 108
 109   for (Module::iterator I = M->begin(), E = M->end(); I != E; ++I)
 110     if (I->hasName()) {
 111       if (I->isExternal())
 112         UndefinedSymbols.insert(I->getName());
 113       else if (!I->hasInternalLinkage())
 114         DefinedSymbols.insert(I->getName());
 115     }
 116   for (Module::giterator I = M->gbegin(), E = M->gend(); I != E; ++I)
 117     if (I->hasName()) {
 118       if (I->isExternal())
 119         UndefinedSymbols.insert(I->getName());
 120       else if (!I->hasInternalLinkage())
 121         DefinedSymbols.insert(I->getName());
 122     }
 123
 124   // Prune out any defined symbols from the undefined symbols set...
 125   for (std::set<std::string>::iterator I = UndefinedSymbols.begin();
 126        I != UndefinedSymbols.end(); )
 127     if (DefinedSymbols.count(*I))
 128       UndefinedSymbols.erase(I++);  // This symbol really is defined!
 129     else
 130       ++I; // Keep this symbol in the undefined symbols list
 131 }
 132
 133
 134 /// LoadObject - Read in and parse the bytecode file named by FN and return the
 135 /// module it contains (wrapped in an auto_ptr), or 0 and set ErrorMessage if an
 136 /// error occurs.
 137 ///
 138 std::auto_ptr<Module> llvm::LoadObject(const std::string &FN,
 139                                        std::string &ErrorMessage) {
 140   std::string ParserErrorMessage;
 141   Module *Result = ParseBytecodeFile(FN, &ParserErrorMessage);
 142   if (Result) return std::auto_ptr<Module>(Result);
 143   ErrorMessage = "Bytecode file '" + FN + "' could not be loaded";
 144   if (ParserErrorMessage.size()) ErrorMessage += ": " + ParserErrorMessage;
 145   return std::auto_ptr<Module>();
 146 }
 147
 148 /// LinkInArchive - opens an archive library and link in all objects which
 149 /// provide symbols that are currently undefined.
 150 ///
 151 /// Inputs:
 152 ///  M        - The module in which to link the archives.
 153 ///  Filename - The pathname of the archive.
 154 ///  Verbose  - Flags whether verbose messages should be printed.
 155 ///
 156 /// Outputs:
 157 ///  ErrorMessage - A C++ string detailing what error occurred, if any.
 158 ///
 159 /// Return Value:
 160 ///  TRUE  - An error occurred.
 161 ///  FALSE - No errors.
 162 ///
 163 static bool LinkInArchive(Module *M,
 164                           const std::string &Filename,
 165                           std::string &ErrorMessage,
 166                           bool Verbose)
 167 {
 168   // Find all of the symbols currently undefined in the bytecode program.
 169   // If all the symbols are defined, the program is complete, and there is
 170   // no reason to link in any archive files.
 171   std::set<std::string> UndefinedSymbols;
 172   GetAllUndefinedSymbols(M, UndefinedSymbols);
 173   if (UndefinedSymbols.empty()) {
 174     if (Verbose) std::cerr << "  No symbols undefined, don't link library!\n";
 175     return false;  // No need to link anything in!
 176   }
 177
 178   // Load in the archive objects.
 179   if (Verbose) std::cerr << "  Loading archive file '" << Filename << "'\n";
 180   std::vector<Module*> Objects;
 181   if (ReadArchiveFile(Filename, Objects, &ErrorMessage))
 182     return true;
 183
 184   // Figure out which symbols are defined by all of the modules in the archive.
 185   std::vector<std::set<std::string> > DefinedSymbols;
 186   DefinedSymbols.resize(Objects.size());
 187   for (unsigned i = 0; i != Objects.size(); ++i) {
 188     GetAllDefinedSymbols(Objects[i], DefinedSymbols[i]);
 189   }
 190
 191   // While we are linking in object files, loop.
 192   bool Linked = true;
 193   while (Linked) {
 194     Linked = false;
 195
 196     for (unsigned i = 0; i != Objects.size(); ++i) {
 197       // Consider whether we need to link in this module...  we only need to
 198       // link it in if it defines some symbol which is so far undefined.
 199       //
 200       const std::set<std::string> &DefSymbols = DefinedSymbols[i];
 201
 202       bool ObjectRequired = false;
 203
 204       //
 205       // If the object defines main() and the program currently has main()
 206       // undefined, then automatically link in the module.  Otherwise, look to
 207       // see if it defines a symbol that is currently undefined.
 208       //
 209       if ((M->getMainFunction() == NULL) &&
 210           ((DefSymbols.find ("main")) != DefSymbols.end())) {
 211         ObjectRequired = true;
 212       } else {
 213         for (std::set<std::string>::iterator I = UndefinedSymbols.begin(),
 214                E = UndefinedSymbols.end(); I != E; ++I)
 215           if (DefSymbols.count(*I)) {
 216             if (Verbose)
 217               std::cerr << "  Found object '"
 218                         << Objects[i]->getModuleIdentifier ()
 219                         << "' providing symbol '" << *I << "'...\n";
 220             ObjectRequired = true;
 221             break;
 222           }
 223       }
 224
 225       // We DO need to link this object into the program...
 226       if (ObjectRequired) {
 227         if (LinkModules(M, Objects[i], &ErrorMessage))
 228           return true;   // Couldn't link in the right object file...
 229
 230         // Since we have linked in this object, delete it from the list of
 231         // objects to consider in this archive file.
 232         std::swap(Objects[i], Objects.back());
 233         std::swap(DefinedSymbols[i], DefinedSymbols.back());
 234         Objects.pop_back();
 235         DefinedSymbols.pop_back();
 236         --i;   // Do not skip an entry
 237
 238         // The undefined symbols set should have shrunk.
 239         GetAllUndefinedSymbols(M, UndefinedSymbols);
 240         Linked = true;  // We have linked something in!
 241       }
 242     }
 243   }
 244
 245   return false;
 246 }
 247
 248 /// LinkInFile - opens a bytecode file and links in all objects which
 249 /// provide symbols that are currently undefined.
 250 ///
 251 /// Inputs:
 252 ///  HeadModule - The module in which to link the bytecode file.
 253 ///  Filename   - The pathname of the bytecode file.
 254 ///  Verbose    - Flags whether verbose messages should be printed.
 255 ///
 256 /// Outputs:
 257 ///  ErrorMessage - A C++ string detailing what error occurred, if any.
 258 ///
 259 /// Return Value:
 260 ///  TRUE  - An error occurred.
 261 ///  FALSE - No errors.
 262 ///
 263 static bool LinkInFile(Module *HeadModule,
 264                        const std::string &Filename,
 265                        std::string &ErrorMessage,
 266                        bool Verbose)
 267 {
 268   std::auto_ptr<Module> M(LoadObject(Filename, ErrorMessage));
 269   if (M.get() == 0) return true;
 270   bool Result = LinkModules(HeadModule, M.get(), &ErrorMessage);
 271   if (Verbose) std::cerr << "Linked in bytecode file '" << Filename << "'\n";
 272   return Result;
 273 }
 274
 275 /// LinkFiles - takes a module and a list of files and links them all together.
 276 /// It locates the file either in the current directory, as its absolute
 277 /// or relative pathname, or as a file somewhere in LLVM_LIB_SEARCH_PATH.
 278 ///
 279 /// Inputs:
 280 ///  progname   - The name of the program (infamous argv[0]).
 281 ///  HeadModule - The module under which all files will be linked.
 282 ///  Files      - A vector of C++ strings indicating the LLVM bytecode filenames
 283 ///               to be linked.  The names can refer to a mixture of pure LLVM
 284 ///               bytecode files and archive (ar) formatted files.
 285 ///  Verbose    - Flags whether verbose output should be printed while linking.
 286 ///
 287 /// Outputs:
 288 ///  HeadModule - The module will have the specified LLVM bytecode files linked
 289 ///               in.
 290 ///
 291 /// Return value:
 292 ///  FALSE - No errors.
 293 ///  TRUE  - Some error occurred.
 294 ///
 295 bool llvm::LinkFiles(const char *progname, Module *HeadModule,
 296                      const std::vector<std::string> &Files, bool Verbose) {
 297   // String in which to receive error messages.
 298   std::string ErrorMessage;
 299
 300   // Full pathname of the file
 301   std::string Pathname;
 302
 303   // Get the library search path from the environment
 304   char *SearchPath = getenv("LLVM_LIB_SEARCH_PATH");
 305
 306   for (unsigned i = 0; i < Files.size(); ++i) {
 307     // Determine where this file lives.
 308     if (FileOpenable(Files[i])) {
 309       Pathname = Files[i];
 310     } else {
 311       if (SearchPath == NULL) {
 312         std::cerr << progname << ": Cannot find linker input file '"
 313                   << Files[i] << "'\n";
 314         std::cerr << progname
 315                   << ": Warning: Your LLVM_LIB_SEARCH_PATH is unset.\n";
 316         return true;
 317       }
 318
 319       Pathname = std::string(SearchPath)+"/"+Files[i];
 320       if (!FileOpenable(Pathname)) {
 321         std::cerr << progname << ": Cannot find linker input file '"
 322                   << Files[i] << "'\n";
 323         return true;
 324       }
 325     }
 326
 327     // A user may specify an ar archive without -l, perhaps because it
 328     // is not installed as a library. Detect that and link the library.
 329     if (IsArchive(Pathname)) {
 330       if (Verbose)
 331         std::cerr << "Trying to link archive '" << Pathname << "'\n";
 332
 333       if (LinkInArchive(HeadModule, Pathname, ErrorMessage, Verbose)) {
 334         PrintAndReturn(progname, ErrorMessage,
 335                        ": Error linking in archive '" + Pathname + "'");
 336         return true;
 337       }
 338     } else if (IsBytecode(Pathname)) {
 339       if (Verbose)
 340         std::cerr << "Trying to link bytecode file '" << Pathname << "'\n";
 341
 342       if (LinkInFile(HeadModule, Pathname, ErrorMessage, Verbose)) {
 343         PrintAndReturn(progname, ErrorMessage,
 344                        ": Error linking in bytecode file '" + Pathname + "'");
 345         return true;
 346       }
 347     }
 348   }
 349
 350   return false;
 351 }
 352
 353 /// LinkLibraries - takes the specified library files and links them into the
 354 /// main bytecode object file.
 355 ///
 356 /// Inputs:
 357 ///  progname   - The name of the program (infamous argv[0]).
 358 ///  HeadModule - The module into which all necessary libraries will be linked.
 359 ///  Libraries  - The list of libraries to link into the module.
 360 ///  LibPaths   - The list of library paths in which to find libraries.
 361 ///  Verbose    - Flags whether verbose messages should be printed.
 362 ///  Native     - Flags whether native code is being generated.
 363 ///
 364 /// Outputs:
 365 ///  HeadModule - The module will have all necessary libraries linked in.
 366 ///
 367 /// Return value:
 368 ///  FALSE - No error.
 369 ///  TRUE  - Error.
 370 ///
 371 void llvm::LinkLibraries(const char *progname, Module *HeadModule,
 372                          const std::vector<std::string> &Libraries,
 373                          const std::vector<std::string> &LibPaths,
 374                          bool Verbose, bool Native) {
 375   // String in which to receive error messages.
 376   std::string ErrorMessage;
 377
 378   for (unsigned i = 0; i < Libraries.size(); ++i) {
 379     // Determine where this library lives.
 380     std::string Pathname = FindLib(Libraries[i], LibPaths);
 381     if (Pathname.empty()) {
 382       // If the pathname does not exist, then continue to the next one if
 383       // we're doing a native link and give an error if we're doing a bytecode
 384       // link.
 385       if (!Native) {
 386         std::cerr << progname << ": WARNING: Cannot find library -l"
 387                   << Libraries[i] << "\n";
 388         continue;
 389       }
 390     }
 391
 392     // A user may specify an ar archive without -l, perhaps because it
 393     // is not installed as a library. Detect that and link the library.
 394     if (IsArchive(Pathname)) {
 395       if (Verbose)
 396         std::cerr << "Trying to link archive '" << Pathname << "' (-l"
 397                   << Libraries[i] << ")\n";
 398
 399       if (LinkInArchive(HeadModule, Pathname, ErrorMessage, Verbose)) {
 400         std::cerr << progname << ": " << ErrorMessage
 401                   << ": Error linking in archive '" << Pathname << "' (-l"
 402                   << Libraries[i] << ")\n";
 403         exit(1);
 404       }
 405     } else if (IsBytecode(Pathname)) {
 406       if (Verbose)
 407         std::cerr << "Trying to link bytecode file '" << Pathname
 408                   << "' (-l" << Libraries[i] << ")\n";
 409
 410       if (LinkInFile(HeadModule, Pathname, ErrorMessage, Verbose)) {
 411         std::cerr << progname << ": " << ErrorMessage
 412                   << ": error linking in bytecode file '" << Pathname << "' (-l"
 413                   << Libraries[i] << ")\n";
 414         exit(1);
 415       }
 416     }
 417   }
 418 }