utils/NightlyTestTemplate.html

   1
   2 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
   3 <html><head><title>LLVM Test Results for $DateString</title></head>
   4
   5 <body bgcolor=white>
   6 <center><font size=+3 face=Verdana><b>LLVM Test Results for $DateString</b></font></center>
   7 <hr height=1>
   8
   9 <table width=100%>
  10 <tr><td valign=top align=center>
  11
  12 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  13 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77">
  14 <font size=+1><b>Sections:</b></font><br>
  15 </td></tr><tr><td bgcolor="#FFCC99" align=center>
  16 <a href="#Overview">Overview</a><br>
  17 <a href="#Changes">Changes</a><br>
  18 <a href="#Trends">Trends</a><br>
  19 <a href="#Programs">Programs</a><br>
  20 <a href="#Regression">Regression</a><br>
  21 </td></tr></table></td></tr></table>
  22
  23 <p>
  24 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  25 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77"
  26 <font size=+1><b>Previous:</b></font><br>
  27 </td></tr><tr><td bgcolor="#FFCC99">
  28   $PrevDaysList
  29 </td></tr></table></td></tr></table>
  30 <p>
  31
  32 <font size=+1><b>Back to:</b></font><br>
  33 <a href="..">Test&nbsp;Results</a><br>
  34 <a href="../..">LLVM&nbsp;Page</a><p>
  35
  36 </td><td valign=top>
  37
  38 <center>
  39 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  40 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  41 <font size=+2 face=Verdana><b><a name="Overview">Today's Test Results Overview</font></b>
  42 </td></tr></table></td></tr></table></center><p>
  43
  44 <!-- Running LOC graph -->
  45 <table align=right>
  46 <tr><td>
  47 <a href="running_loc_large.png"
  48    ><img border=0 width=480 height=360 src="running_loc.png"></a>
  49 </td></tr>
  50 <tr><td align=center>Lines Of Code over Time<br>
  51 <font size=-1><a href="running_loc_large.png">Click for larger view</a></font>
  52 </td></tr>
  53 </table>
  54
  55 <h2>CVS Tree Overview:</h2>
  56 <ul>
  57 <li><a href="$DATE-CVS-Log.txt">CVS Checkout Log</a>
  58 <ul>
  59     <b>$NumDirsInCVS</b> dirs, <b>$NumFilesInCVS</b> files, <b>$LOC</b>
  60     lines of code, checked out in <b>$CVSCheckoutTime</b> seconds<br></ul>
  61 <li><a href="$DATE-Build-Log.txt">Compilation Log</a>
  62 <ul>
  63     $BuildError
  64     Time to configure CVS tree:      <b>$ConfigTime</b> seconds
  65                (<b>$ConfigWallTime</b> seconds wall time)<br>
  66     Time to build CVS tree:      <b>$BuildTime</b> seconds
  67                (<b>$BuildWallTime</b> seconds wall time)<br>
  68     Number of object files compiled: <b>$NumObjects</b><br>
  69     Number of libraries linked: <b>$NumLibraries</b><br>
  70     Number of executables linked:<b> $NumExecutables</b><br>
  71 </ul>
  72 </ul>
  73
  74 <h2>Warnings during the build:</h2>
  75 <ul>$WarningsList
  76 </ul><p>
  77
  78 <br><br><center>
  79 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  80 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  81 <font size=+2 face=Verdana><b><a name="Changes">Changes from Yesterday</font></b>
  82 </td></tr></table></td></tr></table></center><p>
  83
  84 <h2>Changes to CVS:</h2>
  85 <ul>
  86 <li>Users who committed to CVS: <b>$UserCommitList</b>
  87 <li>Users who updated from CVS: <b>$UserUpdateList</b>
  88 <li>Added Files:    $AddedFilesList
  89 <li>Modified Files: $ModifiedFilesList
  90 <li>Removed Files:  $RemovedFilesList
  91 </ul><p>
  92
  93 <h2>Changes to Warnings:</h2>
  94 <ul>
  95 <li>Warnings Added: $WarningsAdded
  96 <li>Warnings Removed: $WarningsRemoved
  97 </ul><p>
  98
  99 <h2>Changes in the test suite:</h2>
 100 <ul>
 101 <li>New Tests: $TestsAdded
 102 <li>Removed Tests: $TestsRemoved
 103 <li>Newly passing tests: $TestsFixed
 104 <li>Newly failing tests: $TestsBroken
 105 </ul>
 106
 107 <br><br><center>
 108 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 109 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 110 <font size=+2 face=Verdana><b><a name="Trends">Changes over Time</font></b>
 111 </td></tr></table></td></tr></table></center><p>
 112
 113 GNUplot <b>charts</b> showing a couple of things:
 114 <ol>
 115 <li>Compile Time
 116 <li>Testing Time
 117 <li>Time to run some programs, say all of Olden
 118 <li>Time to compile something, say Olden.
 119 <li>Size of bytecode files for Olden
 120 </ol>
 121
 122 <br><br><center>
 123 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 124 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 125 <font size=+2 face=Verdana><b><a name="Programs">Program Tests</font></b>
 126 </td></tr></table></td></tr></table></center><p>
 127
 128 This section tests LLVM on a variety of programs in the test suite.  This
 129 includes benchmark suites like the Olden, McCat, Ptrdist, and SPEC benchmarks as
 130 well as a few random programs with test inputs.  This section is meant to track
 131 how stable LLVM is as a whole. A failure in the execution of any test is marked
 132 with an asterisk: `*'. The columns of the tables are:<p>
 133
 134 <ol>
 135 <li><a name="Program">Program</a> - The name of the program for that row.</li>
 136 <li><a name="GCCAS">GCCAS</a> - Time to run LLVM optimizers on the program.</li>
 137 <li><a name="Bytecode">Bytecode</a> - The size of the bytecode for the
 138     program</li>
 139 <li><a name="Instrs">Instrs</a> - The number of LLVM instructions in the
 140     compiled bytecode</li>
 141 <li><a name="LLC<br>compile">LLC compile</a> - The time taken compile with
 142     LLC (the static backend)</li>
 143 <li><a name="JIT<br>codegen">JIT codegen</a> - The amount of time spent in the
 144     JIT itself, instead of executing the program.</li>
 145 <li><a name="Machine<br>code">Machine code</a> - The number of bytes of machine
 146     code generated by the JIT.</li>
 147 <li><a name="GCC">GCC</a> - The time taken to execute the program when compiled
 148     with GCC -O2.</li>
 149 <li><a name="CBE">CBE</a> - The time taken to execute the program after
 150     compilation through the C backend, compiled with -O2.</li>
 151 <li><a name="LLC">LLC</a> - How long does the program generated by the static
 152     backend LLC take to execute </li>
 153 <li><a name="JIT">JIT</a> - The amount of time spent running the
 154     program with the JIT; this includes the code generation phase (listed above)
 155     and actually running the program.</li>
 156 <li><a name="GCC/LLC">GCC/LLC</a> - The speed-up of the LLC output vs the native
 157     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 158 <li><a name="GCC/CBE">GCC/CBE</a> - The speed-up of the CBE output vs the native
 159     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 160 </ol><p>
 161
 162 A complete log of testing
 163 <a href="$DATE-SingleSource-ProgramTest.txt.gz">SingleSource</a>,
 164 <a href="$DATE-MultiSource-ProgramTest.txt.gz">MultiSource</a>, and
 165 <a href="$DATE-External-ProgramTest.txt.gz">External</a> programs are
 166 available</a> for further analysis.
 167
 168 <h2>Programs/External</h2>
 169
 170 <center>
 171 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 172 $ExternalProgramsTable
 173 </td></tr></table></center>
 174
 175 <h2>Programs/MultiSource</h2>
 176
 177 <center>
 178 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 179 $MultiSourceProgramsTable
 180 </td></tr></table></center>
 181
 182 <h2>Programs/SingleSource</h2>
 183
 184 <center>
 185 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 186 $SingleSourceProgramsTable
 187 </td></tr></table></center>
 188
 189
 190
 191 <br><br><center>
 192 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 193 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 194 <font size=+2 face=Verdana><b><a name="Regression">Regression Tests</font></b>
 195 </td></tr></table></td></tr></table></center><p>
 196
 197 Not yet implemented<p>
 198
 199 </td></tr>
 200
 201 </html>