utils/NightlyTestTemplate.html

   1
   2 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
   3 <html><head><title>LLVM Test Results for $DateString</title></head>
   4
   5 <body bgcolor=white>
   6 <center><font size=+3 face=Verdana><b>LLVM Test Results for $DateString</b></font></center>
   7 <hr height=1>
   8
   9 <table width=100%>
  10 <tr><td valign=top align=center>
  11
  12 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  13 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77">
  14 <font size=+1><b>Sections:</b></font><br>
  15 </td></tr><tr><td bgcolor="#FFCC99" align=center>
  16 <a href="#Overview">Overview</a><br>
  17 <a href="#Changes">Changes</a><br>
  18 <a href="#Trends">Trends</a><br>
  19 <a href="#Programs">Programs</a><br>
  20 <a href="#Feature">Feature</a><br>
  21 <a href="#Regression">Regression</a><br>
  22 </td></tr></table></td></tr></table>
  23
  24 <p>
  25 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  26 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77"
  27 <font size=+1><b>Previous:</b></font><br>
  28 </td></tr><tr><td bgcolor="#FFCC99">
  29   $PrevDaysList
  30 </td></tr></table></td></tr></table>
  31 <p>
  32
  33 <font size=+1><b>Back to:</b></font><br>
  34 <a href="..">Test&nbsp;Results</a><br>
  35 <a href="../..">LLVM&nbsp;Page</a><p>
  36
  37 </td><td valign=top>
  38
  39 <center>
  40 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  41 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  42 <font size=+2 face=Verdana><b><a name="Overview">Today's Test Results Overview</font></b>
  43 </td></tr></table></td></tr></table></center><p>
  44
  45 <!-- Running LOC graph -->
  46 <table align=right>
  47 <tr><td>
  48 <a href="running_loc_large.png"
  49    ><img border=0 width=480 height=360 src="running_loc.png"></a>
  50 </td></tr>
  51 <tr><td align=center>Lines Of Code over Time<br>
  52 <font size=-1><a href="running_loc_large.png">Click for larger view</a></font>
  53 </td></tr>
  54 </table>
  55
  56 <h2>CVS Tree Overview:</h2>
  57 <ul>
  58 <li><a href="$DATE-CVS-Log.txt">CVS Checkout Log</a>
  59 <ul>
  60     <b>$NumDirsInCVS</b> dirs, <b>$NumFilesInCVS</b> files, <b>$LOC</b>
  61     lines of code, checked out in <b>$CVSCheckoutTime</b> seconds<br></ul>
  62 <li><a href="$DATE-Build-Log.txt">Compilation Log</a>
  63 <ul>
  64     $BuildError
  65     Time to configure CVS tree:      <b>$ConfigTime</b> seconds
  66                (<b>$ConfigWallTime</b> seconds wall time)<br>
  67     Time to build CVS tree:      <b>$BuildTime</b> seconds
  68                (<b>$BuildWallTime</b> seconds wall time)<br>
  69     Time to run feature tests:      <b>$FeatureTime</b> seconds
  70                (<b>$FeatureWallTime</b> seconds wall time)<br>
  71     Time to run regression tests:   <b>$RegressionTime</b> seconds
  72                (<b>$RegressionWallTime</b> seconds wall time)<br>
  73     Number of object files compiled: <b>$NumObjects</b><br>
  74     Number of libraries linked: <b>$NumLibraries</b><br>
  75     Number of executables linked:<b> $NumExecutables</b><br>
  76 </ul>
  77 </ul>
  78
  79 <h2>Warnings during the build:</h2>
  80 <ul>$WarningsList
  81 </ul><p>
  82
  83 <br><br><center>
  84 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  85 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  86 <font size=+2 face=Verdana><b><a name="Changes">Changes from Yesterday</font></b>
  87 </td></tr></table></td></tr></table></center><p>
  88
  89 <h2>Changes to CVS:</h2>
  90 <ul>
  91 <li>Users who committed to CVS: <b>$UserCommitList</b>
  92 <li>Users who updated from CVS: <b>$UserUpdateList</b>
  93 <li>Added Files:    $AddedFilesList
  94 <li>Modified Files: $ModifiedFilesList
  95 <li>Removed Files:  $RemovedFilesList
  96 </ul><p>
  97
  98 <h2>Changes to Warnings:</h2>
  99 <ul>
 100 <li>Warnings Added: $WarningsAdded
 101 <li>Warnings Removed: $WarningsRemoved
 102 </ul><p>
 103
 104 <h2>Changes in the test suite:</h2>
 105 <ul>
 106 <li>New Tests: $TestsAdded
 107 <li>Removed Tests: $TestsRemoved
 108 <li>Newly passing tests: $TestsFixed
 109 <li>Newly failing tests: $TestsBroken
 110 </ul>
 111 </td></tr></tbody></table>
 112 <br><br><center>
 113 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 114 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 115 <font size=+2 face=Verdana><b><a name="Trends">Changes Over Time</font></b>
 116 </td></tr></table></td></tr></table></center><p>
 117
 118
 119 Here are some charts showing how the LLVM optimizer and code generators are
 120 changing over time.  For now we use the Olden benchmark suite to measure this,
 121 but eventually we will switch to using SPEC CPU2000.  All programs are run with
 122 "LARGE_PROBLEM_SIZE" enabled.  Click on any of the charts to get a larger
 123 version.<p>
 124
 125 <h2>Compilation Measurements:</h2>
 126
 127 <table border="0" align=center>
 128 <tr>
 129 <td width=50% align=center>
 130 <a href="running_Olden_bytecode_large.png"><img width=480 height=360 border=0 src="running_Olden_bytecode.png"></a><br>
 131 Size of LLVM bytecode files
 132 </td>
 133 <td width=50% align=center>
 134 <a href="running_Olden_machcode_large.png"><img width=480 height=360 border=0 src="running_Olden_machcode.png"></a><br>
 135 Size of native machine code for each program (generated by the JIT)
 136 </td></tr>
 137 <tr>
 138 <td align=center>
 139 <a href="running_Olden_opt_time_large.png"><img width=480 height=360 border=0 src="running_Olden_opt_time.png"></a><br>
 140 Time to run the LLVM optimizer on each program
 141 </td>
 142 <td></td></tr>
 143 </table>
 144
 145 <h2>Program Execution Measurements:</h2>
 146
 147 <table border="0" align=center>
 148 <tr>
 149 <td width=50% align=center>
 150 <a href="running_Olden_cbe_time_large.png"><img width=480 height=360 border=0 src="running_Olden_cbe_time.png"></a><br>
 151 Execution time for CBE generated executable
 152 </td>
 153 <td width=50% align=center>
 154 <a href="running_Olden_llc_time_large.png"><img width=480 height=360 border=0 src="running_Olden_llc_time.png"></a><br>
 155 Execution time for the LLC generated executable
 156 </td></tr>
 157
 158 <tr>
 159 <td align=center>
 160 <a href="running_Olden_jit_time_large.png"><img width=480 height=360 border=0 src="running_Olden_jit_time.png"></a><br>
 161 Execution time for program in the JIT
 162 </td>
 163 <td></td></tr>
 164 </table>
 165
 166
 167
 168
 169 <br><br><center>
 170 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 171 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 172 <font size=+2 face=Verdana><b><a name="Programs">Program Tests</font></b>
 173 </td></tr></table></td></tr></table></center><p>
 174
 175 This section tests LLVM on a variety of programs in the test suite.  This
 176 includes benchmark suites like the Olden, McCat, Ptrdist, and SPEC benchmarks as
 177 well as a few random programs with test inputs.  This section is meant to track
 178 how stable LLVM is as a whole. A failure in the execution of any test is marked
 179 with an asterisk: `*'. The columns of the tables are:<p>
 180
 181 <ol>
 182 <li><a name="Program">Program</a> - The name of the program for that row.</li>
 183 <li><a name="GCCAS">GCCAS</a> - Time to run LLVM optimizers on the program.</li>
 184 <li><a name="Bytecode">Bytecode</a> - The size of the bytecode for the
 185     program</li>
 186 <li><a name="Instrs">Instrs</a> - The number of LLVM instructions in the
 187     compiled bytecode</li>
 188 <li><a name="LLC<br>compile">LLC compile</a> - The time taken compile with
 189     LLC (the static backend)</li>
 190 <li><a name="JIT<br>codegen">JIT codegen</a> - The amount of time spent in the
 191     JIT itself, instead of executing the program.</li>
 192 <li><a name="Machine<br>code">Machine code</a> - The number of bytes of machine
 193     code generated by the JIT.</li>
 194 <li><a name="GCC">GCC</a> - The time taken to execute the program when compiled
 195     with GCC -O2.</li>
 196 <li><a name="CBE">CBE</a> - The time taken to execute the program after
 197     compilation through the C backend, compiled with -O2.</li>
 198 <li><a name="LLC">LLC</a> - How long does the program generated by the static
 199     backend LLC take to execute </li>
 200 <li><a name="JIT">JIT</a> - The amount of time spent running the
 201     program with the JIT; this includes the code generation phase (listed above)
 202     and actually running the program.</li>
 203 <li><a name="GCC/LLC">GCC/LLC</a> - The speed-up of the LLC output vs the native
 204     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 205 <li><a name="GCC/CBE">GCC/CBE</a> - The speed-up of the CBE output vs the native
 206     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 207 <li><a name="LLC-LS">LLC-LS</a> - How long does the program generated by the static
 208     backend LLC take to execute the program, when compiled with the linear scan
 209     register allocator.  This is temporary, for tuning.</li>
 210 </ol><p>
 211
 212 A complete log of testing
 213 <a href="$DATE-SingleSource-ProgramTest.txt.gz">SingleSource</a>,
 214 <a href="$DATE-MultiSource-ProgramTest.txt.gz">MultiSource</a>, and
 215 <a href="$DATE-External-ProgramTest.txt.gz">External</a> programs are
 216 available</a> for further analysis.
 217
 218 <h2>Programs/External</h2>
 219
 220 <center>
 221 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 222 $ExternalProgramsTable
 223 </td></tr></table></center>
 224
 225 <h2>Programs/MultiSource</h2>
 226
 227 <center>
 228 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 229 $MultiSourceProgramsTable
 230 </td></tr></table></center>
 231
 232 <h2>Programs/SingleSource</h2>
 233
 234 <center>
 235 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 236 $SingleSourceProgramsTable
 237 </td></tr></table></center>
 238
 239
 240
 241 <br/><br/><center>
 242 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 243 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 244 <font size=+2 face=Verdana><b><a name="Feature">Feature Test Results</font></b>
 245 </td></tr></table></td></tr></table></center>
 246 <br/>
 247 $FeatureTestResults
 248
 249 <br/><br/><center>
 250 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 251 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 252 <font size=+2 face=Verdana><b><a name="Regression">Regression Tests</font></b>
 253 </td></tr></table></td></tr></table></center>
 254 <br/>
 255 $RegressionTestResults
 256
 257 </td></tr>
 258
 259 </html>