Remove the 'N' modifier from llvm-ar.
[oota-llvm.git] / tools / llvm-ar / llvm-ar.cpp
1 //===-- llvm-ar.cpp - LLVM archive librarian utility ----------------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // Builds up (relatively) standard unix archive files (.a) containing LLVM
11 // bitcode or other files.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #include "Archive.h"
16 #include "llvm/IR/LLVMContext.h"
17 #include "llvm/IR/Module.h"
18 #include "llvm/Support/CommandLine.h"
19 #include "llvm/Support/FileSystem.h"
20 #include "llvm/Support/Format.h"
21 #include "llvm/Support/ManagedStatic.h"
22 #include "llvm/Support/PrettyStackTrace.h"
23 #include "llvm/Support/Signals.h"
24 #include "llvm/Support/raw_ostream.h"
25 #include <algorithm>
26 #include <cstdlib>
27 #include <fcntl.h>
28 #include <memory>
29
30 #if !defined(_MSC_VER) && !defined(__MINGW32__)
31 #include <unistd.h>
32 #else
33 #include <io.h>
34 #endif
35
36 using namespace llvm;
37
38 // Option for compatibility with AIX, not used but must allow it to be present.
39 static cl::opt<bool>
40 X32Option ("X32_64", cl::Hidden,
41             cl::desc("Ignored option for compatibility with AIX"));
42
43 // llvm-ar operation code and modifier flags. This must come first.
44 static cl::opt<std::string>
45 Options(cl::Positional, cl::Required, cl::desc("{operation}[modifiers]..."));
46
47 // llvm-ar remaining positional arguments.
48 static cl::list<std::string>
49 RestOfArgs(cl::Positional, cl::OneOrMore,
50     cl::desc("[relpos] [count] <archive-file> [members]..."));
51
52 // MoreHelp - Provide additional help output explaining the operations and
53 // modifiers of llvm-ar. This object instructs the CommandLine library
54 // to print the text of the constructor when the --help option is given.
55 static cl::extrahelp MoreHelp(
56   "\nOPERATIONS:\n"
57   "  d[NsS]       - delete file(s) from the archive\n"
58   "  m[abiSs]     - move file(s) in the archive\n"
59   "  p[kN]        - print file(s) found in the archive\n"
60   "  q[ufsS]      - quick append file(s) to the archive\n"
61   "  r[abfiuRsS]  - replace or insert file(s) into the archive\n"
62   "  t            - display contents of archive\n"
63   "  x[No]        - extract file(s) from the archive\n"
64   "\nMODIFIERS (operation specific):\n"
65   "  [a] - put file(s) after [relpos]\n"
66   "  [b] - put file(s) before [relpos] (same as [i])\n"
67   "  [i] - put file(s) before [relpos] (same as [b])\n"
68   "  [N] - use instance [count] of name\n"
69   "  [o] - preserve original dates\n"
70   "  [s] - create an archive index (cf. ranlib)\n"
71   "  [S] - do not build a symbol table\n"
72   "  [u] - update only files newer than archive contents\n"
73   "\nMODIFIERS (generic):\n"
74   "  [c] - do not warn if the library had to be created\n"
75   "  [v] - be verbose about actions taken\n"
76 );
77
78 // This enumeration delineates the kinds of operations on an archive
79 // that are permitted.
80 enum ArchiveOperation {
81   Print,            ///< Print the contents of the archive
82   Delete,           ///< Delete the specified members
83   Move,             ///< Move members to end or as given by {a,b,i} modifiers
84   QuickAppend,      ///< Quickly append to end of archive
85   ReplaceOrInsert,  ///< Replace or Insert members
86   DisplayTable,     ///< Display the table of contents
87   Extract           ///< Extract files back to file system
88 };
89
90 // Modifiers to follow operation to vary behavior
91 bool AddAfter = false;           ///< 'a' modifier
92 bool AddBefore = false;          ///< 'b' modifier
93 bool Create = false;             ///< 'c' modifier
94 bool InsertBefore = false;       ///< 'i' modifier
95 bool OriginalDates = false;      ///< 'o' modifier
96 bool SymTable = true;            ///< 's' & 'S' modifiers
97 bool OnlyUpdate = false;         ///< 'u' modifier
98 bool Verbose = false;            ///< 'v' modifier
99
100 // Relative Positional Argument (for insert/move). This variable holds
101 // the name of the archive member to which the 'a', 'b' or 'i' modifier
102 // refers. Only one of 'a', 'b' or 'i' can be specified so we only need
103 // one variable.
104 std::string RelPos;
105
106 // This variable holds the name of the archive file as given on the
107 // command line.
108 std::string ArchiveName;
109
110 // This variable holds the list of member files to proecess, as given
111 // on the command line.
112 std::vector<std::string> Members;
113
114 // This variable holds the (possibly expanded) list of path objects that
115 // correspond to files we will
116 std::set<std::string> Paths;
117
118 // The Archive object to which all the editing operations will be sent.
119 Archive* TheArchive = 0;
120
121 // The name this program was invoked as.
122 static const char *program_name;
123
124 // show_help - Show the error message, the help message and exit.
125 LLVM_ATTRIBUTE_NORETURN static void
126 show_help(const std::string &msg) {
127   errs() << program_name << ": " << msg << "\n\n";
128   cl::PrintHelpMessage();
129   if (TheArchive)
130     delete TheArchive;
131   std::exit(1);
132 }
133
134 // fail - Show the error message and exit.
135 LLVM_ATTRIBUTE_NORETURN static void
136 fail(const std::string &msg) {
137   errs() << program_name << ": " << msg << "\n\n";
138   if (TheArchive)
139     delete TheArchive;
140   std::exit(1);
141 }
142
143 // getRelPos - Extract the member filename from the command line for
144 // the [relpos] argument associated with a, b, and i modifiers
145 void getRelPos() {
146   if(RestOfArgs.size() == 0)
147     show_help("Expected [relpos] for a, b, or i modifier");
148   RelPos = RestOfArgs[0];
149   RestOfArgs.erase(RestOfArgs.begin());
150 }
151
152 // getArchive - Get the archive file name from the command line
153 void getArchive() {
154   if(RestOfArgs.size() == 0)
155     show_help("An archive name must be specified");
156   ArchiveName = RestOfArgs[0];
157   RestOfArgs.erase(RestOfArgs.begin());
158 }
159
160 // getMembers - Copy over remaining items in RestOfArgs to our Members vector
161 // This is just for clarity.
162 void getMembers() {
163   if(RestOfArgs.size() > 0)
164     Members = std::vector<std::string>(RestOfArgs);
165 }
166
167 // parseCommandLine - Parse the command line options as presented and return the
168 // operation specified. Process all modifiers and check to make sure that
169 // constraints on modifier/operation pairs have not been violated.
170 ArchiveOperation parseCommandLine() {
171
172   // Keep track of number of operations. We can only specify one
173   // per execution.
174   unsigned NumOperations = 0;
175
176   // Keep track of the number of positional modifiers (a,b,i). Only
177   // one can be specified.
178   unsigned NumPositional = 0;
179
180   // Keep track of which operation was requested
181   ArchiveOperation Operation;
182
183   for(unsigned i=0; i<Options.size(); ++i) {
184     switch(Options[i]) {
185     case 'd': ++NumOperations; Operation = Delete; break;
186     case 'm': ++NumOperations; Operation = Move ; break;
187     case 'p': ++NumOperations; Operation = Print; break;
188     case 'q': ++NumOperations; Operation = QuickAppend; break;
189     case 'r': ++NumOperations; Operation = ReplaceOrInsert; break;
190     case 't': ++NumOperations; Operation = DisplayTable; break;
191     case 'x': ++NumOperations; Operation = Extract; break;
192     case 'c': Create = true; break;
193     case 'l': /* accepted but unused */ break;
194     case 'o': OriginalDates = true; break;
195     case 's': break; // Ignore for now.
196     case 'S': break; // Ignore for now.
197     case 'u': OnlyUpdate = true; break;
198     case 'v': Verbose = true; break;
199     case 'a':
200       getRelPos();
201       AddAfter = true;
202       NumPositional++;
203       break;
204     case 'b':
205       getRelPos();
206       AddBefore = true;
207       NumPositional++;
208       break;
209     case 'i':
210       getRelPos();
211       InsertBefore = true;
212       NumPositional++;
213       break;
214     default:
215       cl::PrintHelpMessage();
216     }
217   }
218
219   // At this point, the next thing on the command line must be
220   // the archive name.
221   getArchive();
222
223   // Everything on the command line at this point is a member.
224   getMembers();
225
226   // Perform various checks on the operation/modifier specification
227   // to make sure we are dealing with a legal request.
228   if (NumOperations == 0)
229     show_help("You must specify at least one of the operations");
230   if (NumOperations > 1)
231     show_help("Only one operation may be specified");
232   if (NumPositional > 1)
233     show_help("You may only specify one of a, b, and i modifiers");
234   if (AddAfter || AddBefore || InsertBefore) {
235     if (Operation != Move && Operation != ReplaceOrInsert)
236       show_help("The 'a', 'b' and 'i' modifiers can only be specified with "
237             "the 'm' or 'r' operations");
238   }
239   if (OriginalDates && Operation != Extract)
240     show_help("The 'o' modifier is only applicable to the 'x' operation");
241   if (OnlyUpdate && Operation != ReplaceOrInsert)
242     show_help("The 'u' modifier is only applicable to the 'r' operation");
243
244   // Return the parsed operation to the caller
245   return Operation;
246 }
247
248 // buildPaths - Convert the strings in the Members vector to sys::Path objects
249 // and make sure they are valid and exist exist. This check is only needed for
250 // the operations that add/replace files to the archive ('q' and 'r')
251 bool buildPaths(bool checkExistence, std::string* ErrMsg) {
252   for (unsigned i = 0; i < Members.size(); i++) {
253     std::string aPath = Members[i];
254     if (checkExistence) {
255       bool IsDirectory;
256       error_code EC = sys::fs::is_directory(aPath, IsDirectory);
257       if (EC)
258         fail(aPath + ": " + EC.message());
259       if (IsDirectory)
260         fail(aPath + " Is a directory");
261
262       Paths.insert(aPath);
263     } else {
264       Paths.insert(aPath);
265     }
266   }
267   return false;
268 }
269
270 // doPrint - Implements the 'p' operation. This function traverses the archive
271 // looking for members that match the path list. It is careful to uncompress
272 // things that should be and to skip bitcode files unless the 'k' modifier was
273 // given.
274 bool doPrint(std::string* ErrMsg) {
275   if (buildPaths(false, ErrMsg))
276     return true;
277   for (Archive::iterator I = TheArchive->begin(), E = TheArchive->end();
278        I != E; ++I ) {
279     if (Paths.empty() ||
280         (std::find(Paths.begin(), Paths.end(), I->getPath()) != Paths.end())) {
281       const char *data = reinterpret_cast<const char *>(I->getData());
282
283       // Skip things that don't make sense to print
284       if (I->isSVR4SymbolTable() || I->isBSD4SymbolTable())
285         continue;
286
287       if (Verbose)
288         outs() << "Printing " << I->getPath().str() << "\n";
289
290       unsigned len = I->getSize();
291       outs().write(data, len);
292     }
293   }
294   return false;
295 }
296
297 // putMode - utility function for printing out the file mode when the 't'
298 // operation is in verbose mode.
299 void
300 printMode(unsigned mode) {
301   if (mode & 004)
302     outs() << "r";
303   else
304     outs() << "-";
305   if (mode & 002)
306     outs() << "w";
307   else
308     outs() << "-";
309   if (mode & 001)
310     outs() << "x";
311   else
312     outs() << "-";
313 }
314
315 // doDisplayTable - Implement the 't' operation. This function prints out just
316 // the file names of each of the members. However, if verbose mode is requested
317 // ('v' modifier) then the file type, permission mode, user, group, size, and
318 // modification time are also printed.
319 bool
320 doDisplayTable(std::string* ErrMsg) {
321   if (buildPaths(false, ErrMsg))
322     return true;
323   for (Archive::iterator I = TheArchive->begin(), E = TheArchive->end();
324        I != E; ++I ) {
325     if (Paths.empty() ||
326         (std::find(Paths.begin(), Paths.end(), I->getPath()) != Paths.end())) {
327       if (Verbose) {
328         // FIXME: Output should be this format:
329         // Zrw-r--r--  500/ 500    525 Nov  8 17:42 2004 Makefile
330         outs() << " ";
331         unsigned mode = I->getMode();
332         printMode((mode >> 6) & 007);
333         printMode((mode >> 3) & 007);
334         printMode(mode & 007);
335         outs() << " " << format("%4u", I->getUser());
336         outs() << "/" << format("%4u", I->getGroup());
337         outs() << " " << format("%8u", I->getSize());
338         outs() << " " << format("%20s", I->getModTime().str().substr(4).c_str());
339         outs() << " " << I->getPath().str() << "\n";
340       } else {
341         outs() << I->getPath().str() << "\n";
342       }
343     }
344   }
345   return false;
346 }
347
348 // doExtract - Implement the 'x' operation. This function extracts files back to
349 // the file system.
350 bool
351 doExtract(std::string* ErrMsg) {
352   if (buildPaths(false, ErrMsg))
353     return true;
354   for (Archive::iterator I = TheArchive->begin(), E = TheArchive->end();
355        I != E; ++I ) {
356     if (Paths.empty() ||
357         (std::find(Paths.begin(), Paths.end(), I->getPath()) != Paths.end())) {
358
359       // Open up a file stream for writing
360       int OpenFlags = O_TRUNC | O_WRONLY | O_CREAT;
361 #ifdef O_BINARY
362       OpenFlags |= O_BINARY;
363 #endif
364
365       // Retain the original mode.
366       sys::fs::perms Mode = sys::fs::perms(I->getMode());
367
368       int FD = open(I->getPath().str().c_str(), OpenFlags, Mode);
369       if (FD < 0)
370         return true;
371
372       {
373         raw_fd_ostream file(FD, false);
374
375         // Get the data and its length
376         const char* data = reinterpret_cast<const char*>(I->getData());
377         unsigned len = I->getSize();
378
379         // Write the data.
380         file.write(data, len);
381       }
382
383       // If we're supposed to retain the original modification times, etc. do so
384       // now.
385       if (OriginalDates) {
386         error_code EC =
387             sys::fs::setLastModificationAndAccessTime(FD, I->getModTime());
388         if (EC)
389           fail(EC.message());
390       }
391       if (close(FD))
392         return true;
393     }
394   }
395   return false;
396 }
397
398 // doDelete - Implement the delete operation. This function deletes zero or more
399 // members from the archive. Note that if the count is specified, there should
400 // be no more than one path in the Paths list or else this algorithm breaks.
401 // That check is enforced in parseCommandLine (above).
402 bool
403 doDelete(std::string* ErrMsg) {
404   if (buildPaths(false, ErrMsg))
405     return true;
406   if (Paths.empty())
407     return false;
408   for (Archive::iterator I = TheArchive->begin(), E = TheArchive->end();
409        I != E; ) {
410     if (std::find(Paths.begin(), Paths.end(), I->getPath()) != Paths.end()) {
411       Archive::iterator J = I;
412       ++I;
413       TheArchive->erase(J);
414     } else {
415       ++I;
416     }
417   }
418
419   // We're done editting, reconstruct the archive.
420   if (TheArchive->writeToDisk(ErrMsg))
421     return true;
422   return false;
423 }
424
425 // doMore - Implement the move operation. This function re-arranges just the
426 // order of the archive members so that when the archive is written the move
427 // of the members is accomplished. Note the use of the RelPos variable to
428 // determine where the items should be moved to.
429 bool
430 doMove(std::string* ErrMsg) {
431   if (buildPaths(false, ErrMsg))
432     return true;
433
434   // By default and convention the place to move members to is the end of the
435   // archive.
436   Archive::iterator moveto_spot = TheArchive->end();
437
438   // However, if the relative positioning modifiers were used, we need to scan
439   // the archive to find the member in question. If we don't find it, its no
440   // crime, we just move to the end.
441   if (AddBefore || InsertBefore || AddAfter) {
442     for (Archive::iterator I = TheArchive->begin(), E= TheArchive->end();
443          I != E; ++I ) {
444       if (RelPos == I->getPath().str()) {
445         if (AddAfter) {
446           moveto_spot = I;
447           moveto_spot++;
448         } else {
449           moveto_spot = I;
450         }
451         break;
452       }
453     }
454   }
455
456   // Keep a list of the paths remaining to be moved
457   std::set<std::string> remaining(Paths);
458
459   // Scan the archive again, this time looking for the members to move to the
460   // moveto_spot.
461   for (Archive::iterator I = TheArchive->begin(), E= TheArchive->end();
462        I != E && !remaining.empty(); ++I ) {
463     std::set<std::string>::iterator found =
464       std::find(remaining.begin(),remaining.end(), I->getPath());
465     if (found != remaining.end()) {
466       if (I != moveto_spot)
467         TheArchive->splice(moveto_spot,*TheArchive,I);
468       remaining.erase(found);
469     }
470   }
471
472   // We're done editting, reconstruct the archive.
473   if (TheArchive->writeToDisk(ErrMsg))
474     return true;
475   return false;
476 }
477
478 // doQuickAppend - Implements the 'q' operation. This function just
479 // indiscriminantly adds the members to the archive and rebuilds it.
480 bool
481 doQuickAppend(std::string* ErrMsg) {
482   // Get the list of paths to append.
483   if (buildPaths(true, ErrMsg))
484     return true;
485   if (Paths.empty())
486     return false;
487
488   // Append them quickly.
489   for (std::set<std::string>::iterator PI = Paths.begin(), PE = Paths.end();
490        PI != PE; ++PI) {
491     if (TheArchive->addFileBefore(*PI, TheArchive->end(), ErrMsg))
492       return true;
493   }
494
495   // We're done editting, reconstruct the archive.
496   if (TheArchive->writeToDisk(ErrMsg))
497     return true;
498   return false;
499 }
500
501 // doReplaceOrInsert - Implements the 'r' operation. This function will replace
502 // any existing files or insert new ones into the archive.
503 bool
504 doReplaceOrInsert(std::string* ErrMsg) {
505
506   // Build the list of files to be added/replaced.
507   if (buildPaths(true, ErrMsg))
508     return true;
509   if (Paths.empty())
510     return false;
511
512   // Keep track of the paths that remain to be inserted.
513   std::set<std::string> remaining(Paths);
514
515   // Default the insertion spot to the end of the archive
516   Archive::iterator insert_spot = TheArchive->end();
517
518   // Iterate over the archive contents
519   for (Archive::iterator I = TheArchive->begin(), E = TheArchive->end();
520        I != E && !remaining.empty(); ++I ) {
521
522     // Determine if this archive member matches one of the paths we're trying
523     // to replace.
524
525     std::set<std::string>::iterator found = remaining.end();
526     for (std::set<std::string>::iterator RI = remaining.begin(),
527          RE = remaining.end(); RI != RE; ++RI ) {
528       std::string compare(sys::path::filename(*RI));
529       if (compare == I->getPath().str()) {
530         found = RI;
531         break;
532       }
533     }
534
535     if (found != remaining.end()) {
536       sys::fs::file_status Status;
537       error_code EC = sys::fs::status(*found, Status);
538       if (EC)
539         return true;
540       if (!sys::fs::is_directory(Status)) {
541         if (OnlyUpdate) {
542           // Replace the item only if it is newer.
543           if (Status.getLastModificationTime() > I->getModTime())
544             if (I->replaceWith(*found, ErrMsg))
545               return true;
546         } else {
547           // Replace the item regardless of time stamp
548           if (I->replaceWith(*found, ErrMsg))
549             return true;
550         }
551       } else {
552         // We purposefully ignore directories.
553       }
554
555       // Remove it from our "to do" list
556       remaining.erase(found);
557     }
558
559     // Determine if this is the place where we should insert
560     if ((AddBefore || InsertBefore) && RelPos == I->getPath().str())
561       insert_spot = I;
562     else if (AddAfter && RelPos == I->getPath().str()) {
563       insert_spot = I;
564       insert_spot++;
565     }
566   }
567
568   // If we didn't replace all the members, some will remain and need to be
569   // inserted at the previously computed insert-spot.
570   if (!remaining.empty()) {
571     for (std::set<std::string>::iterator PI = remaining.begin(),
572          PE = remaining.end(); PI != PE; ++PI) {
573       if (TheArchive->addFileBefore(*PI, insert_spot, ErrMsg))
574         return true;
575     }
576   }
577
578   // We're done editting, reconstruct the archive.
579   if (TheArchive->writeToDisk(ErrMsg))
580     return true;
581   return false;
582 }
583
584 bool shouldCreateArchive(ArchiveOperation Op) {
585   switch (Op) {
586   case Print:
587   case Delete:
588   case Move:
589   case DisplayTable:
590   case Extract:
591     return false;
592
593   case QuickAppend:
594   case ReplaceOrInsert:
595     return true;
596   }
597
598   llvm_unreachable("Missing entry in covered switch.");
599 }
600
601 // main - main program for llvm-ar .. see comments in the code
602 int main(int argc, char **argv) {
603   program_name = argv[0];
604   // Print a stack trace if we signal out.
605   sys::PrintStackTraceOnErrorSignal();
606   PrettyStackTraceProgram X(argc, argv);
607   LLVMContext &Context = getGlobalContext();
608   llvm_shutdown_obj Y;  // Call llvm_shutdown() on exit.
609
610   // Have the command line options parsed and handle things
611   // like --help and --version.
612   cl::ParseCommandLineOptions(argc, argv,
613     "LLVM Archiver (llvm-ar)\n\n"
614     "  This program archives bitcode files into single libraries\n"
615   );
616
617   int exitCode = 0;
618
619   // Do our own parsing of the command line because the CommandLine utility
620   // can't handle the grouped positional parameters without a dash.
621   ArchiveOperation Operation = parseCommandLine();
622
623   // Create or open the archive object.
624   if (shouldCreateArchive(Operation) && !llvm::sys::fs::exists(ArchiveName)) {
625     // Produce a warning if we should and we're creating the archive
626     if (!Create)
627       errs() << argv[0] << ": creating " << ArchiveName << "\n";
628     TheArchive = Archive::CreateEmpty(ArchiveName, Context);
629     TheArchive->writeToDisk();
630   }
631
632   if (!TheArchive) {
633     std::string Error;
634     TheArchive = Archive::OpenAndLoad(ArchiveName, Context, &Error);
635     if (TheArchive == 0) {
636       errs() << argv[0] << ": error loading '" << ArchiveName << "': "
637              << Error << "!\n";
638       return 1;
639     }
640   }
641
642   // Make sure we're not fooling ourselves.
643   assert(TheArchive && "Unable to instantiate the archive");
644
645   // Perform the operation
646   std::string ErrMsg;
647   bool haveError = false;
648   switch (Operation) {
649     case Print:           haveError = doPrint(&ErrMsg); break;
650     case Delete:          haveError = doDelete(&ErrMsg); break;
651     case Move:            haveError = doMove(&ErrMsg); break;
652     case QuickAppend:     haveError = doQuickAppend(&ErrMsg); break;
653     case ReplaceOrInsert: haveError = doReplaceOrInsert(&ErrMsg); break;
654     case DisplayTable:    haveError = doDisplayTable(&ErrMsg); break;
655     case Extract:         haveError = doExtract(&ErrMsg); break;
656   }
657   if (haveError) {
658     errs() << argv[0] << ": " << ErrMsg << "\n";
659     return 1;
660   }
661
662   delete TheArchive;
663   TheArchive = 0;
664
665   // Return result code back to operating system.
666   return exitCode;
667 }