lib/Bytecode/Writer/Writer.cpp

   1 //===-- Writer.cpp - Library for writing LLVM bytecode files --------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file was developed by the LLVM research group and is distributed under
   6 // the University of Illinois Open Source License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This library implements the functionality defined in llvm/Bytecode/Writer.h
  11 //
  12 // Note that this file uses an unusual technique of outputting all the bytecode
  13 // to a vector of unsigned char, then copies the vector to an ostream.  The
  14 // reason for this is that we must do "seeking" in the stream to do back-
  15 // patching, and some very important ostreams that we want to support (like
  16 // pipes) do not support seeking.  :( :( :(
  17 //
  18 //===----------------------------------------------------------------------===//
  19
  20 #include "WriterInternals.h"
  21 #include "llvm/Bytecode/WriteBytecodePass.h"
  22 #include "llvm/Constants.h"
  23 #include "llvm/DerivedTypes.h"
  24 #include "llvm/Instructions.h"
  25 #include "llvm/Module.h"
  26 #include "llvm/SymbolTable.h"
  27 #include "llvm/Support/GetElementPtrTypeIterator.h"
  28 #include "llvm/Support/Compressor.h"
  29 #include "llvm/ADT/STLExtras.h"
  30 #include "llvm/ADT/Statistic.h"
  31 #include <cstring>
  32 #include <algorithm>
  33 using namespace llvm;
  34
  35 /// This value needs to be incremented every time the bytecode format changes
  36 /// so that the reader can distinguish which format of the bytecode file has
  37 /// been written.
  38 /// @brief The bytecode version number
  39 const unsigned BCVersionNum = 5;
  40
  41 static RegisterPass<WriteBytecodePass> X("emitbytecode", "Bytecode Writer");
  42
  43 static Statistic<>
  44 BytesWritten("bytecodewriter", "Number of bytecode bytes written");
  45
  46 //===----------------------------------------------------------------------===//
  47 //===                           Output Primitives                          ===//
  48 //===----------------------------------------------------------------------===//
  49
  50 // output - If a position is specified, it must be in the valid portion of the
  51 // string... note that this should be inlined always so only the relevant IF
  52 // body should be included.
  53 inline void BytecodeWriter::output(unsigned i, int pos) {
  54   if (pos == -1) { // Be endian clean, little endian is our friend
  55     Out.push_back((unsigned char)i);
  56     Out.push_back((unsigned char)(i >> 8));
  57     Out.push_back((unsigned char)(i >> 16));
  58     Out.push_back((unsigned char)(i >> 24));
  59   } else {
  60     Out[pos  ] = (unsigned char)i;
  61     Out[pos+1] = (unsigned char)(i >> 8);
  62     Out[pos+2] = (unsigned char)(i >> 16);
  63     Out[pos+3] = (unsigned char)(i >> 24);
  64   }
  65 }
  66
  67 inline void BytecodeWriter::output(int i) {
  68   output((unsigned)i);
  69 }
  70
  71 /// output_vbr - Output an unsigned value, by using the least number of bytes
  72 /// possible.  This is useful because many of our "infinite" values are really
  73 /// very small most of the time; but can be large a few times.
  74 /// Data format used:  If you read a byte with the high bit set, use the low
  75 /// seven bits as data and then read another byte.
  76 inline void BytecodeWriter::output_vbr(uint64_t i) {
  77   while (1) {
  78     if (i < 0x80) { // done?
  79       Out.push_back((unsigned char)i);   // We know the high bit is clear...
  80       return;
  81     }
  82
  83     // Nope, we are bigger than a character, output the next 7 bits and set the
  84     // high bit to say that there is more coming...
  85     Out.push_back(0x80 | ((unsigned char)i & 0x7F));
  86     i >>= 7;  // Shift out 7 bits now...
  87   }
  88 }
  89
  90 inline void BytecodeWriter::output_vbr(unsigned i) {
  91   while (1) {
  92     if (i < 0x80) { // done?
  93       Out.push_back((unsigned char)i);   // We know the high bit is clear...
  94       return;
  95     }
  96
  97     // Nope, we are bigger than a character, output the next 7 bits and set the
  98     // high bit to say that there is more coming...
  99     Out.push_back(0x80 | ((unsigned char)i & 0x7F));
 100     i >>= 7;  // Shift out 7 bits now...
 101   }
 102 }
 103
 104 inline void BytecodeWriter::output_typeid(unsigned i) {
 105   if (i <= 0x00FFFFFF)
 106     this->output_vbr(i);
 107   else {
 108     this->output_vbr(0x00FFFFFF);
 109     this->output_vbr(i);
 110   }
 111 }
 112
 113 inline void BytecodeWriter::output_vbr(int64_t i) {
 114   if (i < 0)
 115     output_vbr(((uint64_t)(-i) << 1) | 1); // Set low order sign bit...
 116   else
 117     output_vbr((uint64_t)i << 1);          // Low order bit is clear.
 118 }
 119
 120
 121 inline void BytecodeWriter::output_vbr(int i) {
 122   if (i < 0)
 123     output_vbr(((unsigned)(-i) << 1) | 1); // Set low order sign bit...
 124   else
 125     output_vbr((unsigned)i << 1);          // Low order bit is clear.
 126 }
 127
 128 inline void BytecodeWriter::output(const std::string &s) {
 129   unsigned Len = s.length();
 130   output_vbr(Len );             // Strings may have an arbitrary length...
 131   Out.insert(Out.end(), s.begin(), s.end());
 132 }
 133
 134 inline void BytecodeWriter::output_data(const void *Ptr, const void *End) {
 135   Out.insert(Out.end(), (const unsigned char*)Ptr, (const unsigned char*)End);
 136 }
 137
 138 inline void BytecodeWriter::output_float(float& FloatVal) {
 139   /// FIXME: This isn't optimal, it has size problems on some platforms
 140   /// where FP is not IEEE.
 141   union {
 142     float f;
 143     uint32_t i;
 144   } FloatUnion;
 145   FloatUnion.f = FloatVal;
 146   Out.push_back( static_cast<unsigned char>( (FloatUnion.i & 0xFF )));
 147   Out.push_back( static_cast<unsigned char>( (FloatUnion.i >> 8) & 0xFF));
 148   Out.push_back( static_cast<unsigned char>( (FloatUnion.i >> 16) & 0xFF));
 149   Out.push_back( static_cast<unsigned char>( (FloatUnion.i >> 24) & 0xFF));
 150 }
 151
 152 inline void BytecodeWriter::output_double(double& DoubleVal) {
 153   /// FIXME: This isn't optimal, it has size problems on some platforms
 154   /// where FP is not IEEE.
 155   union {
 156     double d;
 157     uint64_t i;
 158   } DoubleUnion;
 159   DoubleUnion.d = DoubleVal;
 160   Out.push_back( static_cast<unsigned char>( (DoubleUnion.i & 0xFF )));
 161   Out.push_back( static_cast<unsigned char>( (DoubleUnion.i >> 8) & 0xFF));
 162   Out.push_back( static_cast<unsigned char>( (DoubleUnion.i >> 16) & 0xFF));
 163   Out.push_back( static_cast<unsigned char>( (DoubleUnion.i >> 24) & 0xFF));
 164   Out.push_back( static_cast<unsigned char>( (DoubleUnion.i >> 32) & 0xFF));
 165   Out.push_back( static_cast<unsigned char>( (DoubleUnion.i >> 40) & 0xFF));
 166   Out.push_back( static_cast<unsigned char>( (DoubleUnion.i >> 48) & 0xFF));
 167   Out.push_back( static_cast<unsigned char>( (DoubleUnion.i >> 56) & 0xFF));
 168 }
 169
 170 inline BytecodeBlock::BytecodeBlock(unsigned ID, BytecodeWriter& w,
 171                                     bool elideIfEmpty, bool hasLongFormat )
 172   : Id(ID), Writer(w), ElideIfEmpty(elideIfEmpty), HasLongFormat(hasLongFormat){
 173
 174   if (HasLongFormat) {
 175     w.output(ID);
 176     w.output(0U); // For length in long format
 177   } else {
 178     w.output(0U); /// Place holder for ID and length for this block
 179   }
 180   Loc = w.size();
 181 }
 182
 183 inline BytecodeBlock::~BytecodeBlock() { // Do backpatch when block goes out
 184                                          // of scope...
 185   if (Loc == Writer.size() && ElideIfEmpty) {
 186     // If the block is empty, and we are allowed to, do not emit the block at
 187     // all!
 188     Writer.resize(Writer.size()-(HasLongFormat?8:4));
 189     return;
 190   }
 191
 192   if (HasLongFormat)
 193     Writer.output(unsigned(Writer.size()-Loc), int(Loc-4));
 194   else
 195     Writer.output(unsigned(Writer.size()-Loc) << 5 | (Id & 0x1F), int(Loc-4));
 196 }
 197
 198 //===----------------------------------------------------------------------===//
 199 //===                           Constant Output                            ===//
 200 //===----------------------------------------------------------------------===//
 201
 202 void BytecodeWriter::outputType(const Type *T) {
 203   output_vbr((unsigned)T->getTypeID());
 204
 205   // That's all there is to handling primitive types...
 206   if (T->isPrimitiveType()) {
 207     return;     // We might do this if we alias a prim type: %x = type int
 208   }
 209
 210   switch (T->getTypeID()) {   // Handle derived types now.
 211   case Type::FunctionTyID: {
 212     const FunctionType *MT = cast<FunctionType>(T);
 213     int Slot = Table.getSlot(MT->getReturnType());
 214     assert(Slot != -1 && "Type used but not available!!");
 215     output_typeid((unsigned)Slot);
 216
 217     // Output the number of arguments to function (+1 if varargs):
 218     output_vbr((unsigned)MT->getNumParams()+MT->isVarArg());
 219
 220     // Output all of the arguments...
 221     FunctionType::param_iterator I = MT->param_begin();
 222     for (; I != MT->param_end(); ++I) {
 223       Slot = Table.getSlot(*I);
 224       assert(Slot != -1 && "Type used but not available!!");
 225       output_typeid((unsigned)Slot);
 226     }
 227
 228     // Terminate list with VoidTy if we are a varargs function...
 229     if (MT->isVarArg())
 230       output_typeid((unsigned)Type::VoidTyID);
 231     break;
 232   }
 233
 234   case Type::ArrayTyID: {
 235     const ArrayType *AT = cast<ArrayType>(T);
 236     int Slot = Table.getSlot(AT->getElementType());
 237     assert(Slot != -1 && "Type used but not available!!");
 238     output_typeid((unsigned)Slot);
 239     output_vbr(AT->getNumElements());
 240     break;
 241   }
 242
 243  case Type::PackedTyID: {
 244     const PackedType *PT = cast<PackedType>(T);
 245     int Slot = Table.getSlot(PT->getElementType());
 246     assert(Slot != -1 && "Type used but not available!!");
 247     output_typeid((unsigned)Slot);
 248     output_vbr(PT->getNumElements());
 249     break;
 250   }
 251
 252
 253   case Type::StructTyID: {
 254     const StructType *ST = cast<StructType>(T);
 255
 256     // Output all of the element types...
 257     for (StructType::element_iterator I = ST->element_begin(),
 258            E = ST->element_end(); I != E; ++I) {
 259       int Slot = Table.getSlot(*I);
 260       assert(Slot != -1 && "Type used but not available!!");
 261       output_typeid((unsigned)Slot);
 262     }
 263
 264     // Terminate list with VoidTy
 265     output_typeid((unsigned)Type::VoidTyID);
 266     break;
 267   }
 268
 269   case Type::PointerTyID: {
 270     const PointerType *PT = cast<PointerType>(T);
 271     int Slot = Table.getSlot(PT->getElementType());
 272     assert(Slot != -1 && "Type used but not available!!");
 273     output_typeid((unsigned)Slot);
 274     break;
 275   }
 276
 277   case Type::OpaqueTyID:
 278     // No need to emit anything, just the count of opaque types is enough.
 279     break;
 280
 281   default:
 282     std::cerr << __FILE__ << ":" << __LINE__ << ": Don't know how to serialize"
 283               << " Type '" << T->getDescription() << "'\n";
 284     break;
 285   }
 286 }
 287
 288 void BytecodeWriter::outputConstant(const Constant *CPV) {
 289   assert((CPV->getType()->isPrimitiveType() || !CPV->isNullValue()) &&
 290          "Shouldn't output null constants!");
 291
 292   // We must check for a ConstantExpr before switching by type because
 293   // a ConstantExpr can be of any type, and has no explicit value.
 294   //
 295   if (const ConstantExpr *CE = dyn_cast<ConstantExpr>(CPV)) {
 296     // FIXME: Encoding of constant exprs could be much more compact!
 297     assert(CE->getNumOperands() > 0 && "ConstantExpr with 0 operands");
 298     assert(CE->getNumOperands() != 1 || CE->getOpcode() == Instruction::Cast);
 299     output_vbr(1+CE->getNumOperands());   // flags as an expr
 300     output_vbr(CE->getOpcode());        // flags as an expr
 301
 302     for (User::const_op_iterator OI = CE->op_begin(); OI != CE->op_end(); ++OI){
 303       int Slot = Table.getSlot(*OI);
 304       assert(Slot != -1 && "Unknown constant used in ConstantExpr!!");
 305       output_vbr((unsigned)Slot);
 306       Slot = Table.getSlot((*OI)->getType());
 307       output_typeid((unsigned)Slot);
 308     }
 309     return;
 310   } else if (isa<UndefValue>(CPV)) {
 311     output_vbr(1U);       // 1 -> UndefValue constant.
 312     return;
 313   } else {
 314     output_vbr(0U);       // flag as not a ConstantExpr
 315   }
 316
 317   switch (CPV->getType()->getTypeID()) {
 318   case Type::BoolTyID:    // Boolean Types
 319     if (cast<ConstantBool>(CPV)->getValue())
 320       output_vbr(1U);
 321     else
 322       output_vbr(0U);
 323     break;
 324
 325   case Type::UByteTyID:   // Unsigned integer types...
 326   case Type::UShortTyID:
 327   case Type::UIntTyID:
 328   case Type::ULongTyID:
 329     output_vbr(cast<ConstantUInt>(CPV)->getValue());
 330     break;
 331
 332   case Type::SByteTyID:   // Signed integer types...
 333   case Type::ShortTyID:
 334   case Type::IntTyID:
 335   case Type::LongTyID:
 336     output_vbr(cast<ConstantSInt>(CPV)->getValue());
 337     break;
 338
 339   case Type::ArrayTyID: {
 340     const ConstantArray *CPA = cast<ConstantArray>(CPV);
 341     assert(!CPA->isString() && "Constant strings should be handled specially!");
 342
 343     for (unsigned i = 0, e = CPA->getNumOperands(); i != e; ++i) {
 344       int Slot = Table.getSlot(CPA->getOperand(i));
 345       assert(Slot != -1 && "Constant used but not available!!");
 346       output_vbr((unsigned)Slot);
 347     }
 348     break;
 349   }
 350
 351   case Type::PackedTyID: {
 352     const ConstantPacked *CP = cast<ConstantPacked>(CPV);
 353
 354     for (unsigned i = 0, e = CP->getNumOperands(); i != e; ++i) {
 355       int Slot = Table.getSlot(CP->getOperand(i));
 356       assert(Slot != -1 && "Constant used but not available!!");
 357       output_vbr((unsigned)Slot);
 358     }
 359     break;
 360   }
 361
 362   case Type::StructTyID: {
 363     const ConstantStruct *CPS = cast<ConstantStruct>(CPV);
 364
 365     for (unsigned i = 0, e = CPS->getNumOperands(); i != e; ++i) {
 366       int Slot = Table.getSlot(CPS->getOperand(i));
 367       assert(Slot != -1 && "Constant used but not available!!");
 368       output_vbr((unsigned)Slot);
 369     }
 370     break;
 371   }
 372
 373   case Type::PointerTyID:
 374     assert(0 && "No non-null, non-constant-expr constants allowed!");
 375     abort();
 376
 377   case Type::FloatTyID: {   // Floating point types...
 378     float Tmp = (float)cast<ConstantFP>(CPV)->getValue();
 379     output_float(Tmp);
 380     break;
 381   }
 382   case Type::DoubleTyID: {
 383     double Tmp = cast<ConstantFP>(CPV)->getValue();
 384     output_double(Tmp);
 385     break;
 386   }
 387
 388   case Type::VoidTyID:
 389   case Type::LabelTyID:
 390   default:
 391     std::cerr << __FILE__ << ":" << __LINE__ << ": Don't know how to serialize"
 392               << " type '" << *CPV->getType() << "'\n";
 393     break;
 394   }
 395   return;
 396 }
 397
 398 void BytecodeWriter::outputConstantStrings() {
 399   SlotCalculator::string_iterator I = Table.string_begin();
 400   SlotCalculator::string_iterator E = Table.string_end();
 401   if (I == E) return;  // No strings to emit
 402
 403   // If we have != 0 strings to emit, output them now.  Strings are emitted into
 404   // the 'void' type plane.
 405   output_vbr(unsigned(E-I));
 406   output_typeid(Type::VoidTyID);
 407
 408   // Emit all of the strings.
 409   for (I = Table.string_begin(); I != E; ++I) {
 410     const ConstantArray *Str = *I;
 411     int Slot = Table.getSlot(Str->getType());
 412     assert(Slot != -1 && "Constant string of unknown type?");
 413     output_typeid((unsigned)Slot);
 414
 415     // Now that we emitted the type (which indicates the size of the string),
 416     // emit all of the characters.
 417     std::string Val = Str->getAsString();
 418     output_data(Val.c_str(), Val.c_str()+Val.size());
 419   }
 420 }
 421
 422 //===----------------------------------------------------------------------===//
 423 //===                           Instruction Output                         ===//
 424 //===----------------------------------------------------------------------===//
 425 typedef unsigned char uchar;
 426
 427 // outputInstructionFormat0 - Output those weird instructions that have a large
 428 // number of operands or have large operands themselves...
 429 //
 430 // Format: [opcode] [type] [numargs] [arg0] [arg1] ... [arg<numargs-1>]
 431 //
 432 void BytecodeWriter::outputInstructionFormat0(const Instruction *I,
 433                                               unsigned Opcode,
 434                                               const SlotCalculator &Table,
 435                                               unsigned Type) {
 436   // Opcode must have top two bits clear...
 437   output_vbr(Opcode << 2);                  // Instruction Opcode ID
 438   output_typeid(Type);                      // Result type
 439
 440   unsigned NumArgs = I->getNumOperands();
 441   output_vbr(NumArgs + (isa<CastInst>(I) || isa<VANextInst>(I) ||
 442                         isa<VAArgInst>(I)));
 443
 444   if (!isa<GetElementPtrInst>(&I)) {
 445     for (unsigned i = 0; i < NumArgs; ++i) {
 446       int Slot = Table.getSlot(I->getOperand(i));
 447       assert(Slot >= 0 && "No slot number for value!?!?");
 448       output_vbr((unsigned)Slot);
 449     }
 450
 451     if (isa<CastInst>(I) || isa<VAArgInst>(I)) {
 452       int Slot = Table.getSlot(I->getType());
 453       assert(Slot != -1 && "Cast return type unknown?");
 454       output_typeid((unsigned)Slot);
 455     } else if (const VANextInst *VAI = dyn_cast<VANextInst>(I)) {
 456       int Slot = Table.getSlot(VAI->getArgType());
 457       assert(Slot != -1 && "VarArg argument type unknown?");
 458       output_typeid((unsigned)Slot);
 459     }
 460
 461   } else {
 462     int Slot = Table.getSlot(I->getOperand(0));
 463     assert(Slot >= 0 && "No slot number for value!?!?");
 464     output_vbr(unsigned(Slot));
 465
 466     // We need to encode the type of sequential type indices into their slot #
 467     unsigned Idx = 1;
 468     for (gep_type_iterator TI = gep_type_begin(I), E = gep_type_end(I);
 469          Idx != NumArgs; ++TI, ++Idx) {
 470       Slot = Table.getSlot(I->getOperand(Idx));
 471       assert(Slot >= 0 && "No slot number for value!?!?");
 472
 473       if (isa<SequentialType>(*TI)) {
 474         unsigned IdxId;
 475         switch (I->getOperand(Idx)->getType()->getTypeID()) {
 476         default: assert(0 && "Unknown index type!");
 477         case Type::UIntTyID:  IdxId = 0; break;
 478         case Type::IntTyID:   IdxId = 1; break;
 479         case Type::ULongTyID: IdxId = 2; break;
 480         case Type::LongTyID:  IdxId = 3; break;
 481         }
 482         Slot = (Slot << 2) | IdxId;
 483       }
 484       output_vbr(unsigned(Slot));
 485     }
 486   }
 487 }
 488
 489
 490 // outputInstrVarArgsCall - Output the absurdly annoying varargs function calls.
 491 // This are more annoying than most because the signature of the call does not
 492 // tell us anything about the types of the arguments in the varargs portion.
 493 // Because of this, we encode (as type 0) all of the argument types explicitly
 494 // before the argument value.  This really sucks, but you shouldn't be using
 495 // varargs functions in your code! *death to printf*!
 496 //
 497 // Format: [opcode] [type] [numargs] [arg0] [arg1] ... [arg<numargs-1>]
 498 //
 499 void BytecodeWriter::outputInstrVarArgsCall(const Instruction *I,
 500                                             unsigned Opcode,
 501                                             const SlotCalculator &Table,
 502                                             unsigned Type) {
 503   assert(isa<CallInst>(I) || isa<InvokeInst>(I));
 504   // Opcode must have top two bits clear...
 505   output_vbr(Opcode << 2);                  // Instruction Opcode ID
 506   output_typeid(Type);                      // Result type (varargs type)
 507
 508   const PointerType *PTy = cast<PointerType>(I->getOperand(0)->getType());
 509   const FunctionType *FTy = cast<FunctionType>(PTy->getElementType());
 510   unsigned NumParams = FTy->getNumParams();
 511
 512   unsigned NumFixedOperands;
 513   if (isa<CallInst>(I)) {
 514     // Output an operand for the callee and each fixed argument, then two for
 515     // each variable argument.
 516     NumFixedOperands = 1+NumParams;
 517   } else {
 518     assert(isa<InvokeInst>(I) && "Not call or invoke??");
 519     // Output an operand for the callee and destinations, then two for each
 520     // variable argument.
 521     NumFixedOperands = 3+NumParams;
 522   }
 523   output_vbr(2 * I->getNumOperands()-NumFixedOperands);
 524
 525   // The type for the function has already been emitted in the type field of the
 526   // instruction.  Just emit the slot # now.
 527   for (unsigned i = 0; i != NumFixedOperands; ++i) {
 528     int Slot = Table.getSlot(I->getOperand(i));
 529     assert(Slot >= 0 && "No slot number for value!?!?");
 530     output_vbr((unsigned)Slot);
 531   }
 532
 533   for (unsigned i = NumFixedOperands, e = I->getNumOperands(); i != e; ++i) {
 534     // Output Arg Type ID
 535     int Slot = Table.getSlot(I->getOperand(i)->getType());
 536     assert(Slot >= 0 && "No slot number for value!?!?");
 537     output_typeid((unsigned)Slot);
 538
 539     // Output arg ID itself
 540     Slot = Table.getSlot(I->getOperand(i));
 541     assert(Slot >= 0 && "No slot number for value!?!?");
 542     output_vbr((unsigned)Slot);
 543   }
 544 }
 545
 546
 547 // outputInstructionFormat1 - Output one operand instructions, knowing that no
 548 // operand index is >= 2^12.
 549 //
 550 inline void BytecodeWriter::outputInstructionFormat1(const Instruction *I,
 551                                                      unsigned Opcode,
 552                                                      unsigned *Slots,
 553                                                      unsigned Type) {
 554   // bits   Instruction format:
 555   // --------------------------
 556   // 01-00: Opcode type, fixed to 1.
 557   // 07-02: Opcode
 558   // 19-08: Resulting type plane
 559   // 31-20: Operand #1 (if set to (2^12-1), then zero operands)
 560   //
 561   output(1 | (Opcode << 2) | (Type << 8) | (Slots[0] << 20));
 562 }
 563
 564
 565 // outputInstructionFormat2 - Output two operand instructions, knowing that no
 566 // operand index is >= 2^8.
 567 //
 568 inline void BytecodeWriter::outputInstructionFormat2(const Instruction *I,
 569                                                      unsigned Opcode,
 570                                                      unsigned *Slots,
 571                                                      unsigned Type) {
 572   // bits   Instruction format:
 573   // --------------------------
 574   // 01-00: Opcode type, fixed to 2.
 575   // 07-02: Opcode
 576   // 15-08: Resulting type plane
 577   // 23-16: Operand #1
 578   // 31-24: Operand #2
 579   //
 580   output(2 | (Opcode << 2) | (Type << 8) | (Slots[0] << 16) | (Slots[1] << 24));
 581 }
 582
 583
 584 // outputInstructionFormat3 - Output three operand instructions, knowing that no
 585 // operand index is >= 2^6.
 586 //
 587 inline void BytecodeWriter::outputInstructionFormat3(const Instruction *I,
 588                                                      unsigned Opcode,
 589                                                      unsigned *Slots,
 590                                                      unsigned Type) {
 591   // bits   Instruction format:
 592   // --------------------------
 593   // 01-00: Opcode type, fixed to 3.
 594   // 07-02: Opcode
 595   // 13-08: Resulting type plane
 596   // 19-14: Operand #1
 597   // 25-20: Operand #2
 598   // 31-26: Operand #3
 599   //
 600   output(3 | (Opcode << 2) | (Type << 8) |
 601           (Slots[0] << 14) | (Slots[1] << 20) | (Slots[2] << 26));
 602 }
 603
 604 void BytecodeWriter::outputInstruction(const Instruction &I) {
 605   assert(I.getOpcode() < 62 && "Opcode too big???");
 606   unsigned Opcode = I.getOpcode();
 607   unsigned NumOperands = I.getNumOperands();
 608
 609   // Encode 'tail call' as 61, 'volatile load' as 62, and 'volatile store' as
 610   // 63.
 611   if (isa<CallInst>(I) && cast<CallInst>(I).isTailCall())
 612     Opcode = 61;
 613   if (isa<LoadInst>(I) && cast<LoadInst>(I).isVolatile())
 614     Opcode = 62;
 615   if (isa<StoreInst>(I) && cast<StoreInst>(I).isVolatile())
 616     Opcode = 63;
 617
 618   // Figure out which type to encode with the instruction.  Typically we want
 619   // the type of the first parameter, as opposed to the type of the instruction
 620   // (for example, with setcc, we always know it returns bool, but the type of
 621   // the first param is actually interesting).  But if we have no arguments
 622   // we take the type of the instruction itself.
 623   //
 624   const Type *Ty;
 625   switch (I.getOpcode()) {
 626   case Instruction::Select:
 627   case Instruction::Malloc:
 628   case Instruction::Alloca:
 629     Ty = I.getType();  // These ALWAYS want to encode the return type
 630     break;
 631   case Instruction::Store:
 632     Ty = I.getOperand(1)->getType();  // Encode the pointer type...
 633     assert(isa<PointerType>(Ty) && "Store to nonpointer type!?!?");
 634     break;
 635   default:              // Otherwise use the default behavior...
 636     Ty = NumOperands ? I.getOperand(0)->getType() : I.getType();
 637     break;
 638   }
 639
 640   unsigned Type;
 641   int Slot = Table.getSlot(Ty);
 642   assert(Slot != -1 && "Type not available!!?!");
 643   Type = (unsigned)Slot;
 644
 645   // Varargs calls and invokes are encoded entirely different from any other
 646   // instructions.
 647   if (const CallInst *CI = dyn_cast<CallInst>(&I)){
 648     const PointerType *Ty =cast<PointerType>(CI->getCalledValue()->getType());
 649     if (cast<FunctionType>(Ty->getElementType())->isVarArg()) {
 650       outputInstrVarArgsCall(CI, Opcode, Table, Type);
 651       return;
 652     }
 653   } else if (const InvokeInst *II = dyn_cast<InvokeInst>(&I)) {
 654     const PointerType *Ty =cast<PointerType>(II->getCalledValue()->getType());
 655     if (cast<FunctionType>(Ty->getElementType())->isVarArg()) {
 656       outputInstrVarArgsCall(II, Opcode, Table, Type);
 657       return;
 658     }
 659   }
 660
 661   if (NumOperands <= 3) {
 662     // Make sure that we take the type number into consideration.  We don't want
 663     // to overflow the field size for the instruction format we select.
 664     //
 665     unsigned MaxOpSlot = Type;
 666     unsigned Slots[3]; Slots[0] = (1 << 12)-1;   // Marker to signify 0 operands
 667
 668     for (unsigned i = 0; i != NumOperands; ++i) {
 669       int slot = Table.getSlot(I.getOperand(i));
 670       assert(slot != -1 && "Broken bytecode!");
 671       if (unsigned(slot) > MaxOpSlot) MaxOpSlot = unsigned(slot);
 672       Slots[i] = unsigned(slot);
 673     }
 674
 675     // Handle the special cases for various instructions...
 676     if (isa<CastInst>(I) || isa<VAArgInst>(I)) {
 677       // Cast has to encode the destination type as the second argument in the
 678       // packet, or else we won't know what type to cast to!
 679       Slots[1] = Table.getSlot(I.getType());
 680       assert(Slots[1] != ~0U && "Cast return type unknown?");
 681       if (Slots[1] > MaxOpSlot) MaxOpSlot = Slots[1];
 682       NumOperands++;
 683     } else if (const VANextInst *VANI = dyn_cast<VANextInst>(&I)) {
 684       Slots[1] = Table.getSlot(VANI->getArgType());
 685       assert(Slots[1] != ~0U && "va_next return type unknown?");
 686       if (Slots[1] > MaxOpSlot) MaxOpSlot = Slots[1];
 687       NumOperands++;
 688     } else if (const GetElementPtrInst *GEP = dyn_cast<GetElementPtrInst>(&I)) {
 689       // We need to encode the type of sequential type indices into their slot #
 690       unsigned Idx = 1;
 691       for (gep_type_iterator I = gep_type_begin(GEP), E = gep_type_end(GEP);
 692            I != E; ++I, ++Idx)
 693         if (isa<SequentialType>(*I)) {
 694           unsigned IdxId;
 695           switch (GEP->getOperand(Idx)->getType()->getTypeID()) {
 696           default: assert(0 && "Unknown index type!");
 697           case Type::UIntTyID:  IdxId = 0; break;
 698           case Type::IntTyID:   IdxId = 1; break;
 699           case Type::ULongTyID: IdxId = 2; break;
 700           case Type::LongTyID:  IdxId = 3; break;
 701           }
 702           Slots[Idx] = (Slots[Idx] << 2) | IdxId;
 703           if (Slots[Idx] > MaxOpSlot) MaxOpSlot = Slots[Idx];
 704         }
 705     }
 706
 707     // Decide which instruction encoding to use.  This is determined primarily
 708     // by the number of operands, and secondarily by whether or not the max
 709     // operand will fit into the instruction encoding.  More operands == fewer
 710     // bits per operand.
 711     //
 712     switch (NumOperands) {
 713     case 0:
 714     case 1:
 715       if (MaxOpSlot < (1 << 12)-1) { // -1 because we use 4095 to indicate 0 ops
 716         outputInstructionFormat1(&I, Opcode, Slots, Type);
 717         return;
 718       }
 719       break;
 720
 721     case 2:
 722       if (MaxOpSlot < (1 << 8)) {
 723         outputInstructionFormat2(&I, Opcode, Slots, Type);
 724         return;
 725       }
 726       break;
 727
 728     case 3:
 729       if (MaxOpSlot < (1 << 6)) {
 730         outputInstructionFormat3(&I, Opcode, Slots, Type);
 731         return;
 732       }
 733       break;
 734     default:
 735       break;
 736     }
 737   }
 738
 739   // If we weren't handled before here, we either have a large number of
 740   // operands or a large operand index that we are referring to.
 741   outputInstructionFormat0(&I, Opcode, Table, Type);
 742 }
 743
 744 //===----------------------------------------------------------------------===//
 745 //===                              Block Output                            ===//
 746 //===----------------------------------------------------------------------===//
 747
 748 BytecodeWriter::BytecodeWriter(std::vector<unsigned char> &o, const Module *M)
 749   : Out(o), Table(M) {
 750
 751   // Emit the signature...
 752   static const unsigned char *Sig =  (const unsigned char*)"llvm";
 753   output_data(Sig, Sig+4);
 754
 755   // Emit the top level CLASS block.
 756   BytecodeBlock ModuleBlock(BytecodeFormat::ModuleBlockID, *this, false, true);
 757
 758   bool isBigEndian      = M->getEndianness() == Module::BigEndian;
 759   bool hasLongPointers  = M->getPointerSize() == Module::Pointer64;
 760   bool hasNoEndianness  = M->getEndianness() == Module::AnyEndianness;
 761   bool hasNoPointerSize = M->getPointerSize() == Module::AnyPointerSize;
 762
 763   // Output the version identifier and other information.
 764   unsigned Version = (BCVersionNum << 4) |
 765                      (unsigned)isBigEndian | (hasLongPointers << 1) |
 766                      (hasNoEndianness << 2) |
 767                      (hasNoPointerSize << 3);
 768   output_vbr(Version);
 769
 770   // The Global type plane comes first
 771   {
 772       BytecodeBlock CPool(BytecodeFormat::GlobalTypePlaneBlockID, *this );
 773       outputTypes(Type::FirstDerivedTyID);
 774   }
 775
 776   // The ModuleInfoBlock follows directly after the type information
 777   outputModuleInfoBlock(M);
 778
 779   // Output module level constants, used for global variable initializers
 780   outputConstants(false);
 781
 782   // Do the whole module now! Process each function at a time...
 783   for (Module::const_iterator I = M->begin(), E = M->end(); I != E; ++I)
 784     outputFunction(I);
 785
 786   // If needed, output the symbol table for the module...
 787   outputSymbolTable(M->getSymbolTable());
 788 }
 789
 790 void BytecodeWriter::outputTypes(unsigned TypeNum) {
 791   // Write the type plane for types first because earlier planes (e.g. for a
 792   // primitive type like float) may have constants constructed using types
 793   // coming later (e.g., via getelementptr from a pointer type).  The type
 794   // plane is needed before types can be fwd or bkwd referenced.
 795   const std::vector<const Type*>& Types = Table.getTypes();
 796   assert(!Types.empty() && "No types at all?");
 797   assert(TypeNum <= Types.size() && "Invalid TypeNo index");
 798
 799   unsigned NumEntries = Types.size() - TypeNum;
 800
 801   // Output type header: [num entries]
 802   output_vbr(NumEntries);
 803
 804   for (unsigned i = TypeNum; i < TypeNum+NumEntries; ++i)
 805     outputType(Types[i]);
 806 }
 807
 808 // Helper function for outputConstants().
 809 // Writes out all the constants in the plane Plane starting at entry StartNo.
 810 //
 811 void BytecodeWriter::outputConstantsInPlane(const std::vector<const Value*>
 812                                             &Plane, unsigned StartNo) {
 813   unsigned ValNo = StartNo;
 814
 815   // Scan through and ignore function arguments, global values, and constant
 816   // strings.
 817   for (; ValNo < Plane.size() &&
 818          (isa<Argument>(Plane[ValNo]) || isa<GlobalValue>(Plane[ValNo]) ||
 819           (isa<ConstantArray>(Plane[ValNo]) &&
 820            cast<ConstantArray>(Plane[ValNo])->isString())); ValNo++)
 821     /*empty*/;
 822
 823   unsigned NC = ValNo;              // Number of constants
 824   for (; NC < Plane.size() && (isa<Constant>(Plane[NC])); NC++)
 825     /*empty*/;
 826   NC -= ValNo;                      // Convert from index into count
 827   if (NC == 0) return;              // Skip empty type planes...
 828
 829   // FIXME: Most slabs only have 1 or 2 entries!  We should encode this much
 830   // more compactly.
 831
 832   // Output type header: [num entries][type id number]
 833   //
 834   output_vbr(NC);
 835
 836   // Output the Type ID Number...
 837   int Slot = Table.getSlot(Plane.front()->getType());
 838   assert (Slot != -1 && "Type in constant pool but not in function!!");
 839   output_typeid((unsigned)Slot);
 840
 841   for (unsigned i = ValNo; i < ValNo+NC; ++i) {
 842     const Value *V = Plane[i];
 843     if (const Constant *C = dyn_cast<Constant>(V)) {
 844       outputConstant(C);
 845     }
 846   }
 847 }
 848
 849 static inline bool hasNullValue(const Type *Ty) {
 850   return Ty != Type::LabelTy && Ty != Type::VoidTy && !isa<OpaqueType>(Ty);
 851 }
 852
 853 void BytecodeWriter::outputConstants(bool isFunction) {
 854   BytecodeBlock CPool(BytecodeFormat::ConstantPoolBlockID, *this,
 855                       true  /* Elide block if empty */);
 856
 857   unsigned NumPlanes = Table.getNumPlanes();
 858
 859   if (isFunction)
 860     // Output the type plane before any constants!
 861     outputTypes(Table.getModuleTypeLevel());
 862   else
 863     // Output module-level string constants before any other constants.
 864     outputConstantStrings();
 865
 866   for (unsigned pno = 0; pno != NumPlanes; pno++) {
 867     const std::vector<const Value*> &Plane = Table.getPlane(pno);
 868     if (!Plane.empty()) {              // Skip empty type planes...
 869       unsigned ValNo = 0;
 870       if (isFunction)                  // Don't re-emit module constants
 871         ValNo += Table.getModuleLevel(pno);
 872
 873       if (hasNullValue(Plane[0]->getType())) {
 874         // Skip zero initializer
 875         if (ValNo == 0)
 876           ValNo = 1;
 877       }
 878
 879       // Write out constants in the plane
 880       outputConstantsInPlane(Plane, ValNo);
 881     }
 882   }
 883 }
 884
 885 static unsigned getEncodedLinkage(const GlobalValue *GV) {
 886   switch (GV->getLinkage()) {
 887   default: assert(0 && "Invalid linkage!");
 888   case GlobalValue::ExternalLinkage:  return 0;
 889   case GlobalValue::WeakLinkage:      return 1;
 890   case GlobalValue::AppendingLinkage: return 2;
 891   case GlobalValue::InternalLinkage:  return 3;
 892   case GlobalValue::LinkOnceLinkage:  return 4;
 893   }
 894 }
 895
 896 void BytecodeWriter::outputModuleInfoBlock(const Module *M) {
 897   BytecodeBlock ModuleInfoBlock(BytecodeFormat::ModuleGlobalInfoBlockID, *this);
 898
 899   // Output the types for the global variables in the module...
 900   for (Module::const_global_iterator I = M->global_begin(), End = M->global_end(); I != End;++I) {
 901     int Slot = Table.getSlot(I->getType());
 902     assert(Slot != -1 && "Module global vars is broken!");
 903
 904     // Fields: bit0 = isConstant, bit1 = hasInitializer, bit2-4=Linkage,
 905     // bit5+ = Slot # for type
 906     unsigned oSlot = ((unsigned)Slot << 5) | (getEncodedLinkage(I) << 2) |
 907                      (I->hasInitializer() << 1) | (unsigned)I->isConstant();
 908     output_vbr(oSlot);
 909
 910     // If we have an initializer, output it now.
 911     if (I->hasInitializer()) {
 912       Slot = Table.getSlot((Value*)I->getInitializer());
 913       assert(Slot != -1 && "No slot for global var initializer!");
 914       output_vbr((unsigned)Slot);
 915     }
 916   }
 917   output_typeid((unsigned)Table.getSlot(Type::VoidTy));
 918
 919   // Output the types of the functions in this module.
 920   for (Module::const_iterator I = M->begin(), End = M->end(); I != End; ++I) {
 921     int Slot = Table.getSlot(I->getType());
 922     assert(Slot != -1 && "Module slot calculator is broken!");
 923     assert(Slot >= Type::FirstDerivedTyID && "Derived type not in range!");
 924     assert(((Slot << 5) >> 5) == Slot && "Slot # too big!");
 925     unsigned ID = (Slot << 5) + 1;
 926     if (I->isExternal())   // If external, we don't have an FunctionInfo block.
 927       ID |= 1 << 4;
 928     output_vbr(ID);
 929   }
 930   output_vbr((unsigned)Table.getSlot(Type::VoidTy) << 5);
 931
 932   // Emit the list of dependent libraries for the Module.
 933   Module::lib_iterator LI = M->lib_begin();
 934   Module::lib_iterator LE = M->lib_end();
 935   output_vbr(unsigned(LE - LI));   // Emit the number of dependent libraries.
 936   for (; LI != LE; ++LI)
 937     output(*LI);
 938
 939   // Output the target triple from the module
 940   output(M->getTargetTriple());
 941 }
 942
 943 void BytecodeWriter::outputInstructions(const Function *F) {
 944   BytecodeBlock ILBlock(BytecodeFormat::InstructionListBlockID, *this);
 945   for (Function::const_iterator BB = F->begin(), E = F->end(); BB != E; ++BB)
 946     for (BasicBlock::const_iterator I = BB->begin(), E = BB->end(); I!=E; ++I)
 947       outputInstruction(*I);
 948 }
 949
 950 void BytecodeWriter::outputFunction(const Function *F) {
 951   // If this is an external function, there is nothing else to emit!
 952   if (F->isExternal()) return;
 953
 954   BytecodeBlock FunctionBlock(BytecodeFormat::FunctionBlockID, *this);
 955   output_vbr(getEncodedLinkage(F));
 956
 957   // Get slot information about the function...
 958   Table.incorporateFunction(F);
 959
 960   if (Table.getCompactionTable().empty()) {
 961     // Output information about the constants in the function if the compaction
 962     // table is not being used.
 963     outputConstants(true);
 964   } else {
 965     // Otherwise, emit the compaction table.
 966     outputCompactionTable();
 967   }
 968
 969   // Output all of the instructions in the body of the function
 970   outputInstructions(F);
 971
 972   // If needed, output the symbol table for the function...
 973   outputSymbolTable(F->getSymbolTable());
 974
 975   Table.purgeFunction();
 976 }
 977
 978 void BytecodeWriter::outputCompactionTablePlane(unsigned PlaneNo,
 979                                          const std::vector<const Value*> &Plane,
 980                                                 unsigned StartNo) {
 981   unsigned End = Table.getModuleLevel(PlaneNo);
 982   if (Plane.empty() || StartNo == End || End == 0) return;   // Nothing to emit
 983   assert(StartNo < End && "Cannot emit negative range!");
 984   assert(StartNo < Plane.size() && End <= Plane.size());
 985
 986   // Do not emit the null initializer!
 987   ++StartNo;
 988
 989   // Figure out which encoding to use.  By far the most common case we have is
 990   // to emit 0-2 entries in a compaction table plane.
 991   switch (End-StartNo) {
 992   case 0:         // Avoid emitting two vbr's if possible.
 993   case 1:
 994   case 2:
 995     output_vbr((PlaneNo << 2) | End-StartNo);
 996     break;
 997   default:
 998     // Output the number of things.
 999     output_vbr((unsigned(End-StartNo) << 2) | 3);
1000     output_typeid(PlaneNo);                 // Emit the type plane this is
1001     break;
1002   }
1003
1004   for (unsigned i = StartNo; i != End; ++i)
1005     output_vbr(Table.getGlobalSlot(Plane[i]));
1006 }
1007
1008 void BytecodeWriter::outputCompactionTypes(unsigned StartNo) {
1009   // Get the compaction type table from the slot calculator
1010   const std::vector<const Type*> &CTypes = Table.getCompactionTypes();
1011
1012   // The compaction types may have been uncompactified back to the
1013   // global types. If so, we just write an empty table
1014   if (CTypes.size() == 0 ) {
1015     output_vbr(0U);
1016     return;
1017   }
1018
1019   assert(CTypes.size() >= StartNo && "Invalid compaction types start index");
1020
1021   // Determine how many types to write
1022   unsigned NumTypes = CTypes.size() - StartNo;
1023
1024   // Output the number of types.
1025   output_vbr(NumTypes);
1026
1027   for (unsigned i = StartNo; i < StartNo+NumTypes; ++i)
1028     output_typeid(Table.getGlobalSlot(CTypes[i]));
1029 }
1030
1031 void BytecodeWriter::outputCompactionTable() {
1032   // Avoid writing the compaction table at all if there is no content.
1033   if (Table.getCompactionTypes().size() >= Type::FirstDerivedTyID ||
1034       (!Table.CompactionTableIsEmpty())) {
1035     BytecodeBlock CTB(BytecodeFormat::CompactionTableBlockID, *this,
1036                       true/*ElideIfEmpty*/);
1037     const std::vector<std::vector<const Value*> > &CT =
1038       Table.getCompactionTable();
1039
1040     // First things first, emit the type compaction table if there is one.
1041     outputCompactionTypes(Type::FirstDerivedTyID);
1042
1043     for (unsigned i = 0, e = CT.size(); i != e; ++i)
1044       outputCompactionTablePlane(i, CT[i], 0);
1045   }
1046 }
1047
1048 void BytecodeWriter::outputSymbolTable(const SymbolTable &MST) {
1049   // Do not output the Bytecode block for an empty symbol table, it just wastes
1050   // space!
1051   if (MST.isEmpty()) return;
1052
1053   BytecodeBlock SymTabBlock(BytecodeFormat::SymbolTableBlockID, *this,
1054                             true/*ElideIfEmpty*/);
1055
1056   // Write the number of types
1057   output_vbr(MST.num_types());
1058
1059   // Write each of the types
1060   for (SymbolTable::type_const_iterator TI = MST.type_begin(),
1061        TE = MST.type_end(); TI != TE; ++TI ) {
1062     // Symtab entry:[def slot #][name]
1063     output_typeid((unsigned)Table.getSlot(TI->second));
1064     output(TI->first);
1065   }
1066
1067   // Now do each of the type planes in order.
1068   for (SymbolTable::plane_const_iterator PI = MST.plane_begin(),
1069        PE = MST.plane_end(); PI != PE;  ++PI) {
1070     SymbolTable::value_const_iterator I = MST.value_begin(PI->first);
1071     SymbolTable::value_const_iterator End = MST.value_end(PI->first);
1072     int Slot;
1073
1074     if (I == End) continue;  // Don't mess with an absent type...
1075
1076     // Write the number of values in this plane
1077     output_vbr((unsigned)PI->second.size());
1078
1079     // Write the slot number of the type for this plane
1080     Slot = Table.getSlot(PI->first);
1081     assert(Slot != -1 && "Type in symtab, but not in table!");
1082     output_typeid((unsigned)Slot);
1083
1084     // Write each of the values in this plane
1085     for (; I != End; ++I) {
1086       // Symtab entry: [def slot #][name]
1087       Slot = Table.getSlot(I->second);
1088       assert(Slot != -1 && "Value in symtab but has no slot number!!");
1089       output_vbr((unsigned)Slot);
1090       output(I->first);
1091     }
1092   }
1093 }
1094
1095 void llvm::WriteBytecodeToFile(const Module *M, std::ostream &Out,
1096                                bool compress ) {
1097   assert(M && "You can't write a null module!!");
1098
1099   // Create a vector of unsigned char for the bytecode output. We
1100   // reserve 256KBytes of space in the vector so that we avoid doing
1101   // lots of little allocations. 256KBytes is sufficient for a large
1102   // proportion of the bytecode files we will encounter. Larger files
1103   // will be automatically doubled in size as needed (std::vector
1104   // behavior).
1105   std::vector<unsigned char> Buffer;
1106   Buffer.reserve(256 * 1024);
1107
1108   // The BytecodeWriter populates Buffer for us.
1109   BytecodeWriter BCW(Buffer, M);
1110
1111   // Keep track of how much we've written
1112   BytesWritten += Buffer.size();
1113
1114   // Determine start and end points of the Buffer
1115   const unsigned char *FirstByte = &Buffer.front();
1116
1117   // If we're supposed to compress this mess ...
1118   if (compress) {
1119
1120     // We signal compression by using an alternate magic number for the
1121     // file. The compressed bytecode file's magic number is "llvc" instead
1122     // of "llvm".
1123     char compressed_magic[4];
1124     compressed_magic[0] = 'l';
1125     compressed_magic[1] = 'l';
1126     compressed_magic[2] = 'v';
1127     compressed_magic[3] = 'c';
1128
1129     Out.write(compressed_magic,4);
1130
1131     // Compress everything after the magic number (which we altered)
1132     uint64_t zipSize = Compressor::compressToStream(
1133       (char*)(FirstByte+4),        // Skip the magic number
1134       Buffer.size()-4,             // Skip the magic number
1135       Out                          // Where to write compressed data
1136     );
1137
1138   } else {
1139
1140     // We're not compressing, so just write the entire block.
1141     Out.write((char*)FirstByte, Buffer.size());
1142   }
1143
1144   // make sure it hits disk now
1145   Out.flush();
1146 }
1147