docs/HowToReleaseLLVM.html

   1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
   2                       "http://www.w3.org/TR/html4/strict.dtd">
   3 <html>
   4 <head>
   5   <title>How To Release LLVM To The Public</title>
   6   <link rel="stylesheet" href="llvm.css" type="text/css">
   7 </head>
   8 <body>
   9
  10 <div class="doc_title">How To Release LLVM To The Public</div>
  11 <p class="doc_warning">NOTE: THIS DOCUMENT IS A WORK IN PROGRESS!</p>
  12 <ol>
  13   <li><a href="#introduction">Introduction</a></li>
  14   <li><a href="#process">Release Process</a></li>
  15   <li><a href="#dist">Distribution Make Targets</a></li>
  16 </ol>
  17 <div class="doc_author">
  18   <p>Written by <a href="mailto:rspencer@x10sys.com">Reid Spencer</a>,
  19   <a href="mailto:criswell@cs.uiuc.edu">John Criswell</a></p>
  20 </div>
  21
  22 <!-- *********************************************************************** -->
  23 <div class="doc_section"><a name="introduction">Introduction</a></div>
  24 <!-- *********************************************************************** -->
  25
  26 <div class="doc_text">
  27 <p>This document collects information about successfully releasing LLVM to the
  28 public. It is the release manager's guide to ensuring that a high quality build
  29 of LLVM is released. Mostly, it's just a bunch of reminders of things to do at
  30 release time so we don't inadvertently ship something that is utility
  31 deficient.</p>
  32
  33 <p>
  34 There are three main tasks for building a release of LLVM:
  35 <ol>
  36   <li>Create the LLVM source distribution.</li>
  37   <li>Create the LLVM GCC source distribtuion.</li>
  38   <li>Create a set of LLVM GCC binary distribtuions for each supported
  39       platform.  These binary distributions must include compiled versions
  40       of the libraries found in <tt>llvm/runtime</tt> from the LLVM
  41       source distribution created in Step 1.</li>
  42 </ol>
  43 </p>
  44 </div>
  45
  46 <!-- *********************************************************************** -->
  47 <div class="doc_section"><a name="process">Release Process</a></div>
  48 <!-- *********************************************************************** -->
  49
  50 <!-- ======================================================================= -->
  51 <div class="doc_subsection"><a name="overview">Process Overview</a></div>
  52 <div class="doc_text">
  53   <ol>
  54     <li><a href="#updocs">Update Documentation</a></li>
  55     <li><a href="#merge">Merge Branches</a></li>
  56     <li><a href="#deps">Make LibDeps.txt</a></li>
  57     <li><a href="#settle">Settle LLVM HEAD</a></li>
  58     <li><a href="#tag">Tag LLVM and Create the Release Branch</a></li>
  59     <li><a href="#build">Build LLVM</a></li>
  60     <li><a href="#check">Run 'make check'</a></li>
  61     <li><a href="#test">Run LLVM Test Suite</a></li>
  62     <li><a href="#dist">Build the LLVM Source Distributions</a></li>
  63     <li><a href="#llvmgccbin">Build the LLVM GCC Binary Distribution</a></li>
  64   </ol>
  65 </div>
  66
  67 <!-- ======================================================================= -->
  68 <div class="doc_subsection"><a name="updocs">Update Documentation</a></div>
  69 <div class="doc_text">
  70   <p>
  71   Review the documentation and ensure that it is up to date.  The Release Notes
  72   must be updated to reflect bug fixes, new known issues, and changes in the
  73   list of supported platforms.  The Getting Started Guide should be updated to
  74   reflect the new release version number tag avaiable from CVS and changes in
  75   basic system requirements.
  76   </p>
  77 </div>
  78
  79 <!-- ======================================================================= -->
  80 <div class="doc_subsection"><a name="merge">Merge Branches</a></div>
  81 <div class="doc_text">
  82 <p>
  83 Merge any work done on branches intended for release into mainline. Finish and
  84 commit all new features or bug fixes that are scheduled to go into the release.
  85 Work that is not to be incorporated into the release should not be merged from
  86 branchs or commited from developer's working directories.
  87 </p>
  88
  89 <p>
  90 From this point until the release branch is created, developers should
  91 <em>not</em>
  92 commit changes to the llvm and llvm-gcc CVS repositories unless it is a bug
  93 fix <em>for the release</em>.
  94 </p>
  95 </div>
  96
  97 <!-- ======================================================================= -->
  98 <div class="doc_subsection"><a name="deps">Make LibDeps.txt</a></div>
  99 <div class="doc_text">
 100   <p>Rebuild the <tt>LibDeps.txt</tt> target in <tt>utils/llvm-config</tt>. This
 101   makes sure that the <tt>llvm-config</tt> utility remains relevant for the
 102   release, reflecting any changes in the library dependencies.</p>
 103 </div>
 104
 105
 106 <!-- ======================================================================= -->
 107 <div class="doc_subsection"><a name="settle">Settle CVS HEAD</a></div>
 108 <div class="doc_text">
 109   <p>
 110   Use the nightly test reports and 'make check' (deja-gnu based tests) to
 111   ensure that recent changes and merged branches have not destabilized LLVM.
 112   Platforms which are used less often should be given special attention as they
 113   are the most likely to break from commits from the previous step.
 114   </p>
 115 </div>
 116
 117 <!-- ======================================================================= -->
 118 <div class="doc_subsection"><a name="tag">CVS Tag And Branch</a></div>
 119 <div class="doc_text">
 120   <p>Tag and branch the CVS HEAD using the following procedure:</p>
 121   <ol>
 122     <li>
 123     Request all developers to refrain from committing. Offenders get commit
 124     rights taken away (temporarily).
 125     </li>
 126
 127     <li>
 128     The Release Manager updates his/her llvm, llvm-test, and llvm-gcc source
 129     trees with the
 130     latest sources from mainline CVS.  The Release Manage may want to consider
 131     using a new working directory for this to keep current uncommitted work
 132     separate from release work.
 133     </li>
 134
 135     <li>
 136     The Release Manager tags his/her llvm, llvm-test, and llvm-gcc working
 137     directories with
 138     "ROOT_RELEASE_XX" where XX is the major and minor
 139     release numbers (you can't have . in a cvs tag name). So, for Release 1.2,
 140     XX=12 and for Release 1.10, XX=110.
 141     </li>
 142
 143     <li>
 144     Immediately create cvs branches based on the ROOT_RELEASE_XX tag. The tag
 145     should be "release_XX" (where XX matches that used for the ROOT_RELEASE_XX
 146     tag).  This is where the release distribution will be created.
 147     </li>
 148
 149     <li>
 150     Advise developers they can work on CVS HEAD again.
 151     </li>
 152
 153     <li>
 154     The Release Manager and any developers working on the release should switch
 155     to the release branch (as all changes to the release will now be done in
 156     the branch).  The easiest way to do this is to grab another working copy
 157     using the following commands:
 158
 159     <p>
 160     <tt>cvs -d &lt;CVS Repository&gt; co -r release_XX llvm</tt><br>
 161     <tt>cvs -d &lt;CVS Repository&gt; co -r release_XX llvm-test</tt><br>
 162     <tt>cvs -d &lt;CVS Repository&gt; co -r release_XX llvm-gcc</tt><br>
 163     </p>
 164     </li>
 165 </div>
 166
 167 <!-- ======================================================================= -->
 168 <div class="doc_subsection"><a name="build">Build LLVM</a></div>
 169 <div class="doc_text">
 170   <p>
 171   Build both debug and release (optimized) versions of LLVM on all
 172   platforms. Ensure the build is warning and error free on each platform.
 173   </p>
 174
 175   <p>
 176   Build a new version of the LLVM GCC front-end after building the LLVM tools.
 177   Once that is complete, go back to the LLVM source tree and build and install
 178   the <tt>llvm/runtime</tt> libraries.
 179   </p>
 180 </div>
 181
 182 <!-- ======================================================================= -->
 183 <div class="doc_subsection"><a name="check">Run 'make check'</a></div>
 184 <div class="doc_text">
 185   <p>Run <tt>make check</tt> and ensure there are no unexpected failures. If
 186   there are, resolve the failures, commit them back into the release branch,
 187   and restart testing by <a href="#build">re-building LLVM</a>.
 188   </p>
 189
 190   <p>
 191   Ensure that 'make check' passes on all platforms for all targets. If certain
 192   failures cannot be resolved before release time, determine if marking them
 193   XFAIL is appropriate. If not, fix the bug and go back. The test suite must
 194   complete with "0 unexpected failures" for release.
 195   </p>
 196 </div>
 197
 198 <!-- ======================================================================= -->
 199 <div class="doc_subsection"><a name="test">LLVM Test Suite</a></div>
 200 <div class="doc_text">
 201   <p>Run the llvm-test suite and ensure there are no unacceptable failures.
 202   If there are, resolve the failures and go back to
 203   <a href="#build">re-building LLVM</a>. The test suite
 204   should be run in Nightly Test mode. All tests must pass.
 205 </div>
 206
 207 <!-- ======================================================================= -->
 208 <div class="doc_subsection"><a name="dist">Build the LLVM Source Distributions</a></div>
 209 <div class="doc_text">
 210   <p>
 211   Create source distributions for LLVM, LLVM GCC, and the LLVM Test Suite by
 212   exporting the source
 213   from CVS and archiving it.  This can be done with the following commands:
 214   </p>
 215
 216   <p>
 217   <tt>cvs -d &lt;CVS Repository&gt; export -r release_XX llvm</tt><br>
 218   <tt>cvs -d &lt;CVS Repository&gt; export -r release_XX llvm-test</tt><br>
 219   <tt>cvs -d &lt;CVS Repository&gt; export -r release_XX llvm-gcc</tt><br>
 220   <tt>mkdir cfrontend; mv llvm-gcc cfrontend/src</tt><br>
 221   <tt>tar -cvf - llvm          | gzip &gt; llvm-X.X.tar.gz</tt><br>
 222   <tt>tar -cvf - llvm-test     | gzip &gt; llvm-test-X.X.tar.gz</tt><br>
 223   <tt>tar -cvf - cfrontend/src | gzip &gt; cfrontend-X.X.source.tar.gz</tt><br>
 224   </p>
 225
 226   <!-- This is a
 227   two step process. First, use "make dist" to simply build the distribution. Any
 228   failures need to be corrected (on the branch). Once "make dist" can be
 229   successful, do "make dist-check". This target will do the same thing as the
 230   'dist' target but also test that distribution to make sure it works. This
 231   ensures that needed files are not missing and that the src tarball can be
 232   successfully unbacked, built, installed, and cleaned. This two-level testing
 233   needs to be done on each target platform.
 234   -->
 235 </div>
 236
 237 <!-- ======================================================================= -->
 238 <div class="doc_subsection"><a name="llvmgccbin">Build the LLVM GCC Binary Distribution</a></div>
 239 <div class="doc_text">
 240   <p>
 241   Creating the LLVM GCC binary distribution requires performing the following
 242   steps for each supported platform:
 243   </p>
 244
 245   <ol>
 246     <li>
 247     Build the LLVM GCC front-end.  The LLVM GCC front-end must be installed in
 248     a directory named <tt>cfrontend/&lt;platform&gt;/llvm-gcc</tt>.  For
 249     example, the Sparc/Solaris directory is named
 250     <tt>cfrontend/sparc/llvm-gcc</tt>.
 251     </li>
 252
 253     <li>
 254     Build the libraries in <tt>llvm/runtime</tt> and install them into the
 255     created LLVM GCC installation directory.
 256     </li>
 257
 258     <li>
 259     For systems with non-distributable header files (e.g. Solaris), manually
 260     remove header files that the GCC build process has "fixed."  This process
 261     is admittedly painful, but not as bad as it looks; these header files are
 262     almost always easily identifiable with simple grep expressions and are
 263     installed in only a few directories in the GCC installation directory.
 264     </li>
 265
 266     <li>
 267     Add the copyright files and header file fix script.
 268     </li>
 269
 270     <li>
 271     Archive and compress the installation directory.  These can be found in
 272     previous releases of the LLVM-GCC front-end.
 273     </li>
 274   </ol>
 275 </div>
 276
 277 <!--
 278 <div class="doc_subsection"><a name="release">Release</a></div>
 279 <div class="doc_text">
 280   <p>Release the distribution tarball to the public. This consists of generating
 281   several tarballs. The first set, the source distributions, are automatically
 282   generated by the "make dist" and "make dist-check". There are gzip, bzip2, and
 283   zip versions of these bundles.</p>
 284   <p>The second set of tarballs is the binary release. When "make dist-check"
 285   succeeds, it will have created an _install directory into which it installed
 286   the binary release. You need to rename that directory as "llvm" and then
 287   create tarballs from the contents of that "llvm" directory.</p>
 288   <p>Finally, use rpm to make an rpm package based on the llvm.spec file. Don't
 289   forget to update the version number, documentation, etc. in the llvm.spec
 290   file.</p>
 291 </div>
 292 -->
 293
 294 <!-- *********************************************************************** -->
 295 <div class="doc_section"><a name="dist">Distribution Make Targets</a></div>
 296 <!-- *********************************************************************** -->
 297 <!-- ======================================================================= -->
 298 <div class="doc_subsection">Overview</div>
 299 <div class="doc_text">
 300 <p>The first thing you need to understand is that there are multiple make
 301 targets to support this feature. Here's an overview, we'll delve into the
 302 details later.</p>
 303 <ul>
 304   <li><b>distdir</b> - builds the distribution directory from which the
 305   distribution will be packaged</li>
 306   <li><b>dist</b> - builds each of the distribution tarballs (tar.gz,
 307   tar.bzip2, .zip). These can be built individually as well, with separate
 308   targets.</li>
 309   <li><b>dist-check</b> - this is identical to <tt>dist</tt> but includes a
 310   check on the distribution that ensures the tarball can: unpack successfully,
 311   compile correctly, pass 'make check', and pass 'make clean'.</li>
 312   <li><b>dist-clean</b>- this just does a normal clean but also cleans up the
 313   stuff generated by the other three <tt>dist</tt> targets (above).</li>
 314 </ul>
 315 <p>Okay, that's the basic functionality. When making a release, we want to
 316 ensure that the tree you build the distribution from passes
 317 <tt>dist-check</tt>. Beyond fixing the usual bugs, there is generally one
 318 impediment to making the release in this fashion: missing files. The
 319 <tt>dist-check</tt> process guards against that possibility. It will either
 320 fail and that failure will indicate what's missing, or it will succeed
 321 meaning that it has proved that the tarballs can actually succeed in
 322 building LLVM correctly and that it passes <tt>make check</tt>.</p>
 323 <!-- ======================================================================= -->
 324 <div class="doc_subsection">distdir</div>
 325 <p>This target builds the distribution directory which is the directory from
 326 which the tarballs are generated. The distribution directory has the same
 327 name as the release, e.g. LLVM-1.7). This target goes through the following
 328 process:
 329 <ol>
 330   <li>First, if there was an old distribution directory (for the current
 331   release), it is removed in its entirety and you see <tt>Removing old
 332   LLVM-1.7</tt></li>
 333   <li>Second, it issues a <tt>make all ENABLE_OPTIMIZED=3D1</tt> to ensure
 334   that the everything in your tree can be built in release mode. Often times
 335   there are discrepancies in building between debug and release modes so it
 336   enforces release mode first. If that fails, the <tt>distdir</tt> target
 337   fails too. This is preceded by the message <tt>Making 'all' to verify
 338   build</tt>.</li>
 339   <li>Next, it traverses your source tree and copies it to a new directory
 340   that has the name of the release (<tt>LLVM-M.m</tt> in our current case).
 341   This is the directory that will get tar'd. It contains all the software
 342   that needs to be in the distribution. During the copying process, it omits
 343   generated files, CVS directories, and any other "cruft" that's in your
 344   build tree. This is done to eliminate the possibility of huge distribution
 345   tarballs that include useless or irrelevant stuff in them. This is the
 346   trickiest part of making the distribution. Done manually you will either
 347   include stuff that shouldn't be in the distribution or exclude stuff that
 348   should. This step is preceded by the message <tt>Building Distribution
 349   Directory LLVM-1.7</tt></li>
 350   <li>The distribution directory is then traversed and all <tt>CVS</tt> or
 351   <tt>.svn</tt> directories are removed. You see: <tt>Eliminating CVS/.svn
 352   directories from distribution</tt></li>
 353   <li>The recursive <tt>dist-hook</tt> target is executed. This gives each
 354   directory a chance to modify the distribution in some way (more on this
 355   below).</li>
 356   <li>The distribution directory is traversed and the correct file
 357   permissions and modes are set based on the type of file.</li>
 358 </ol>
 359 <p>To control the process of making the distribution directory correctly,
 360 each Makefile can utilize two features:</p>
 361 <ol>
 362   <li><b><tt>EXTRA_DIST</tt></B> - this make variable specifies which files
 363   it should distribute. By default, all source files are automatically
 364   included for distribution as well as certain <tt>well known</tt> files
 365   (see DistAlways variable in Makefile.rules for details). Each Makefile
 366   specifies, via the <tt>EXTRA_DIST</tt> variable, which additional files
 367   need to be distributed. Only those files that are needed to build LLVM
 368   should be added to <tt>EXTRA_DIST</tt>. <tt>EXTRA_DIST</tt> contains a
 369   list of file or directory names that should be distributed. For example,
 370   the top level Makefile contains
 371   <tt>EXTRA_DIST := test llvm.spec include</tt>.
 372   This means that in addition to regular things that are distributed at the
 373   top level (<tt>CREDITS.txt, LICENSE.txt</tt>, etc.) the distribution should
 374   contain the entire <tt>test</tt> and <tt>include</tt> directories as well
 375   as the <tt>llvm.spec</tt> file.</li>
 376   <li><b><tt>dist-hook</tt></B> - this make target can be used to alter the
 377   content of the distribution directory. For example, in the top level
 378   Makefile there is some logic to eliminate files in the <tt>include</tt>
 379   subtree that are generated by the configure script. These should not be
 380   distributed. Similarly, any <tt>dist-hook</tt> target found in any
 381   directory can add or remove or modify things just before it gets packaged.
 382   Any transformation is permitted. Generally, not much is needed.
 383 </ol>
 384 <p>You will see various messages if things go wrong:</p>
 385 <ol>
 386   <li>During the copying process, any files that are missing will be flagged
 387   with: <tt>===== WARNING: Distribution Source 'dir/file' Not Found!</tt>
 388   These must be corrected by either adding the file or removing it from
 389   <tt>EXTRA_DIST</tt>.
 390   <li>If you build the distribution with <tt>VERBOSE=1</tt>, then you might
 391   also see: <tt>Skipping non-existent 'dir/file'</tt> in certain cases where
 392   its okay to skip the file.</li>
 393   <li>The target can fail if any of the things it does fail. Error messages
 394   should indicate what went wrong.</li>
 395 </ol>
 396 <!-- ======================================================================= -->
 397 <div class="doc_subsection">dist</div>
 398 <p>This target does exactly what <tt>distdir</tt> target does, but also
 399 includes assembling the tarballs. There are actually four related targets
 400 here:<p>
 401   <ul>
 402     <li><b><tt>dist-gzip</tt></b>: package the gzipped distribution tar
 403     file. The distribution directory is packaged into a single file ending in
 404     <tt>.tar.gz</tt> which is gzip compressed.</li>
 405     <li><b><tt>dist-bzip2</tt></b>: package the bzip2 distribution tar file.
 406     The distribution directory is packaged into a single file ending in
 407     <tt>.tar.bzip2</tt> which is bzip2 compressed.</li>
 408     <li><b><tt>dist-zip</tt></b>: package the zip distribution file. The
 409     distribution directory is packaged into a single file ending in
 410     <tt>.zip</tt> which is zip compressed.</li>
 411     <li><b><tt>dist</tt></b>: does all three, dist-gzip, dist-bzip2,
 412     dist-zip</li>
 413   </ul>
 414 <!-- ======================================================================= -->
 415 <div class="doc_subsection">dist-check</div>
 416 <p>This target checks the distribution. The basic idea is that it unpacks the
 417 distribution tarball and ensures that it can build. It takes the following
 418 actions:</p>
 419 <ol>
 420   <li>It depends on the <tt>dist-gzip</tt> target which, if it hasn't already
 421   been built, builds the gzip tar bundle (see dist and distdir above).</li>
 422   <li>removes any pre-existing <tt>_distcheckdir</tt> at the top level.</li>
 423   <li>creates a new <tt>_distcheckdir</tt> directory at the top level.</li>
 424   <li>creates a <tt>build</tt> subdirectory and an <tt>install</tt>
 425   subdirectory under <tt>_distcheckdir</tt>.</li>
 426   <li>unzips and untars the release tarball into <tt>_distcheckdir</tt>,
 427   creating <tt>LLVM-1.7</tt> directory (from the tarball).</li>
 428   <li>in the build subdirectory, it configures with appropriate options to build
 429   from the unpacked source tarball into the <tt>build</tt> directory with
 430   installation in the <tt>install</tt> directory.</li>
 431   <li>runs <tt>make all</tt></li>
 432   <li>runs <tt>make </tt><tt>check</tt></li>
 433   <li>runs <tt>make install</tt></li>
 434   <li>runs <tt>make uninstall</tt></li>
 435   <li>runs <tt>make dist</tt></li>
 436   <li>runs <tt>make clean</tt></li>
 437   <li>runs <tt>make dist-clean</tt></li>
 438 </ol>
 439 <p>If it can pass all that, the distribution will be deemed distribution
 440 worth y and you will see:<p>
 441 <pre>===== LLVM-1.7.tar.gz Ready For Distribution =====</pre>
 442 <p>This means the tarball should then be tested on other platforms and have the
 443 nightly test run against it. If those all pass, THEN it is ready for
 444 distribution.</p>
 445 <p>
 446 A note about disk space: using <tt>dist-check</tt> will easily triple the
 447 amount of disk space your build tree is using. You might want to check
 448 available space before you begin.</p>
 449 <!-- ======================================================================= -->
 450 <div class="doc_subsection">dist-clean</div>
 451 <h2>dist-clean</h2>
 452 <p>In addition to doing a normal <tt>clean</tt>, this target will clean up the
 453 files and directories created by the distribution targets. In particular the
 454 distribution directory <tt>(LLVM-X.X</tt>), check directory
 455 (<tt>_distcheckdir</tt>), and the various tarballs will be removed. You do
 456 this after the release has shipped and you no longer need this stuff in your
 457 build tree.</p>
 458 </div>
 459
 460 <!-- *********************************************************************** -->
 461 <hr>
 462 <address>
 463   <a href="http://jigsaw.w3.org/css-validator/check/referer"><img
 464   src="http://jigsaw.w3.org/css-validator/images/vcss" alt="Valid CSS!"></a>
 465   <a href="http://validator.w3.org/check/referer"><img
 466   src="http://www.w3.org/Icons/valid-html401" alt="Valid HTML 4.01!" /></a>
 467
 468   <a href="mailto:rspencer@x10sys.com">Reid Spencer</a><br>
 469   <a href="http://llvm.cs.uiuc.edu">The LLVM Compiler Infrastructure</a>
 470   <br/>
 471   Last modified: $Date$
 472 </address>
 473 </body>
 474 </html>