utils/NightlyTestTemplate.html

   1
   2 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
   3 <html><head><title>LLVM Test Results for $DateString</title></head>
   4
   5 <body bgcolor=white>
   6 <center><font size=+3 face=Verdana><b>LLVM Test Results for $DateString</b></font></center>
   7 <hr height=1>
   8
   9 <table width=100%>
  10 <tr><td valign=top align=center>
  11
  12 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  13 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77">
  14 <font size=+1><b>Sections:</b></font><br>
  15 </td></tr><tr><td bgcolor="#FFCC99" align=center>
  16 <a href="#Overview">Overview</a><br>
  17 <a href="#Changes">Changes</a><br>
  18 <a href="#Trends">Trends</a><br>
  19 <a href="#Programs">Programs</a><br>
  20 <a href="#Regression">Regression</a><br>
  21 </td></tr></table></td></tr></table>
  22
  23 <p>
  24 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  25 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77"
  26 <font size=+1><b>Previous:</b></font><br>
  27 </td></tr><tr><td bgcolor="#FFCC99">
  28   $PrevDaysList
  29 </td></tr></table></td></tr></table>
  30 <p>
  31
  32 <font size=+1><b>Back to:</b></font><br>
  33 <a href="..">Test&nbsp;Results</a><br>
  34 <a href="../..">LLVM&nbsp;Page</a><p>
  35
  36 </td><td valign=top>
  37
  38 <center>
  39 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  40 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  41 <font size=+2 face=Verdana><b><a name="Overview">Today's Test Results Overview</font></b>
  42 </td></tr></table></td></tr></table></center><p>
  43
  44 <!-- Running LOC graph -->
  45 <table align=right>
  46 <tr><td>
  47 <a href="running_loc_large.png"
  48    ><img border=0 width=480 height=360 src="running_loc.png"></a>
  49 </td></tr>
  50 <tr><td align=center>Lines Of Code over Time<br>
  51 <font size=-1><a href="running_loc_large.png">Click for larger view</a></font>
  52 </td></tr>
  53 </table>
  54
  55 <h2>CVS Tree Overview:</h2>
  56 <ul>
  57 <li><a href="$DATE-CVS-Log.txt">CVS Checkout Log</a>
  58 <ul>
  59     <b>$NumDirsInCVS</b> dirs, <b>$NumFilesInCVS</b> files, <b>$LOC</b>
  60     lines of code, checked out in <b>$CVSCheckoutTime</b> seconds<br></ul>
  61 <li><a href="$DATE-Build-Log.txt">Compilation Log</a>
  62 <ul>
  63     $BuildError
  64     Time to configure CVS tree:      <b>$ConfigTime</b> seconds
  65                (<b>$ConfigWallTime</b> seconds wall time)<br>
  66     Time to build CVS tree:      <b>$BuildTime</b> seconds
  67                (<b>$BuildWallTime</b> seconds wall time)<br>
  68     Number of object files compiled: <b>$NumObjects</b><br>
  69     Number of libraries linked: <b>$NumLibraries</b><br>
  70     Number of executables linked:<b> $NumExecutables</b><br>
  71 </ul>
  72 </ul>
  73
  74 <h2>Warnings during the build:</h2>
  75 <ul>$WarningsList
  76 </ul><p>
  77
  78 <br><br><center>
  79 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  80 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  81 <font size=+2 face=Verdana><b><a name="Changes">Changes from Yesterday</font></b>
  82 </td></tr></table></td></tr></table></center><p>
  83
  84 <h2>Changes to CVS:</h2>
  85 <ul>
  86 <li>Users who committed to CVS: <b>$UserCommitList</b>
  87 <li>Users who updated from CVS: <b>$UserUpdateList</b>
  88 <li>Added Files:    $AddedFilesList
  89 <li>Modified Files: $ModifiedFilesList
  90 <li>Removed Files:  $RemovedFilesList
  91 </ul><p>
  92
  93 <h2>Changes to Warnings:</h2>
  94 <ul>
  95 <li>Warnings Added: $WarningsAdded
  96 <li>Warnings Removed: $WarningsRemoved
  97 </ul><p>
  98
  99 <h2>Changes in the test suite:</h2>
 100 <ul>
 101 <li>New Tests: $TestsAdded
 102 <li>Removed Tests: $TestsRemoved
 103 <li>Newly passing tests: $TestsFixed
 104 <li>Newly failing tests: $TestsBroken
 105 </ul>
 106
 107 <br><br><center>
 108 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 109 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 110 <font size=+2 face=Verdana><b><a name="Trends">Changes over Time</font></b>
 111 </td></tr></table></td></tr></table></center><p>
 112
 113
 114 Here are some charts showing how the LLVM optimizer and code generators are
 115 changing over time.  For now we use the Olden benchmark suite to measure this,
 116 but eventually we will switch to using SPEC CPU2000.  All programs are run with
 117 "LARGE_PROBLEM_SIZE" enabled.  Click on any of the charts to get a larger
 118 version.<p>
 119
 120 <h2>Compilation Measurements:</h2>
 121
 122 <table border="0" align=center>
 123 <tr>
 124 <td width=50% align=center>
 125 <a href="running_Olden_bytecode_large.png"><img width=480 height=360 border=0 src="running_Olden_bytecode.png"></a><br>
 126 Size of LLVM bytecode files
 127 </td>
 128 <td width=50% align=center>
 129 <a href="running_Olden_machcode_large.png"><img width=480 height=360 border=0 src="running_Olden_machcode.png"></a><br>
 130 Size of native machine code for each program (generated by the JIT)
 131 </td></tr>
 132 <tr>
 133 <td align=center>
 134 <a href="running_Olden_opt_time_large.png"><img width=480 height=360 border=0 src="running_Olden_opt_time.png"></a><br>
 135 Time to run the LLVM optimizer on each program
 136 </td>
 137 <td></td></tr>
 138 </table>
 139
 140 <h2>Program Execution Measurements:</h2>
 141
 142 <table border="0" align=center>
 143 <tr>
 144 <td width=50% align=center>
 145 <a href="running_Olden_cbe_time_large.png"><img width=480 height=360 border=0 src="running_Olden_cbe_time.png"></a><br>
 146 Execution time for CBE generated executable
 147 </td>
 148 <td width=50% align=center>
 149 <a href="running_Olden_llc_time_large.png"><img width=480 height=360 border=0 src="running_Olden_llc_time.png"></a><br>
 150 Execution time for the LLC generated executable
 151 </td></tr>
 152
 153 <tr>
 154 <td align=center>
 155 <a href="running_Olden_jit_time_large.png"><img width=480 height=360 border=0 src="running_Olden_jit_time.png"></a><br>
 156 Execution time for program in the JIT
 157 </td>
 158 <td></td></tr>
 159 </table>
 160
 161
 162
 163
 164 <br><br><center>
 165 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 166 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 167 <font size=+2 face=Verdana><b><a name="Programs">Program Tests</font></b>
 168 </td></tr></table></td></tr></table></center><p>
 169
 170 This section tests LLVM on a variety of programs in the test suite.  This
 171 includes benchmark suites like the Olden, McCat, Ptrdist, and SPEC benchmarks as
 172 well as a few random programs with test inputs.  This section is meant to track
 173 how stable LLVM is as a whole. A failure in the execution of any test is marked
 174 with an asterisk: `*'. The columns of the tables are:<p>
 175
 176 <ol>
 177 <li><a name="Program">Program</a> - The name of the program for that row.</li>
 178 <li><a name="GCCAS">GCCAS</a> - Time to run LLVM optimizers on the program.</li>
 179 <li><a name="Bytecode">Bytecode</a> - The size of the bytecode for the
 180     program</li>
 181 <li><a name="Instrs">Instrs</a> - The number of LLVM instructions in the
 182     compiled bytecode</li>
 183 <li><a name="LLC<br>compile">LLC compile</a> - The time taken compile with
 184     LLC (the static backend)</li>
 185 <li><a name="JIT<br>codegen">JIT codegen</a> - The amount of time spent in the
 186     JIT itself, instead of executing the program.</li>
 187 <li><a name="Machine<br>code">Machine code</a> - The number of bytes of machine
 188     code generated by the JIT.</li>
 189 <li><a name="GCC">GCC</a> - The time taken to execute the program when compiled
 190     with GCC -O2.</li>
 191 <li><a name="CBE">CBE</a> - The time taken to execute the program after
 192     compilation through the C backend, compiled with -O2.</li>
 193 <li><a name="LLC">LLC</a> - How long does the program generated by the static
 194     backend LLC take to execute </li>
 195 <li><a name="JIT">JIT</a> - The amount of time spent running the
 196     program with the JIT; this includes the code generation phase (listed above)
 197     and actually running the program.</li>
 198 <li><a name="GCC/LLC">GCC/LLC</a> - The speed-up of the LLC output vs the native
 199     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 200 <li><a name="GCC/CBE">GCC/CBE</a> - The speed-up of the CBE output vs the native
 201     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 202 </ol><p>
 203
 204 A complete log of testing
 205 <a href="$DATE-SingleSource-ProgramTest.txt.gz">SingleSource</a>,
 206 <a href="$DATE-MultiSource-ProgramTest.txt.gz">MultiSource</a>, and
 207 <a href="$DATE-External-ProgramTest.txt.gz">External</a> programs are
 208 available</a> for further analysis.
 209
 210 <h2>Programs/External</h2>
 211
 212 <center>
 213 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 214 $ExternalProgramsTable
 215 </td></tr></table></center>
 216
 217 <h2>Programs/MultiSource</h2>
 218
 219 <center>
 220 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 221 $MultiSourceProgramsTable
 222 </td></tr></table></center>
 223
 224 <h2>Programs/SingleSource</h2>
 225
 226 <center>
 227 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 228 $SingleSourceProgramsTable
 229 </td></tr></table></center>
 230
 231
 232
 233 <br><br><center>
 234 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 235 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 236 <font size=+2 face=Verdana><b><a name="Regression">Regression Tests</font></b>
 237 </td></tr></table></td></tr></table></center><p>
 238
 239 Not yet implemented<p>
 240
 241 </td></tr>
 242
 243 </html>