utils/NightlyTestTemplate.html

   1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
   2 <html><head><title>LLVM Test Results for $DateString</title></head>
   3
   4 <body bgcolor=white>
   5 <center><font size=+3 face=Verdana><b>LLVM Test Results for $DateString</b></font></center>
   6 <hr height=1>
   7
   8 <table width=100%>
   9 <tr><td valign=top align=center>
  10
  11 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  12 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77">
  13 <font size=+1><b>Sections:</b></font><br>
  14 </td></tr><tr><td bgcolor="#FFCC99" align=center>
  15 <a href="#Overview">Overview</a><br>
  16 <a href="#Changes">Changes</a><br>
  17 <a href="#Dejagnu">Dejagnu Tests</a><br>
  18 <a href="#Trends">Trends</a><br>
  19 <a href="#Programs">Programs</a><br>
  20 </td></tr></table></td></tr></table>
  21
  22 <p>
  23 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  24 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77"
  25 <font size=+1><b>Previous:</b></font><br>
  26 </td></tr><tr><td bgcolor="#FFCC99">
  27   $PrevDaysList
  28 </td></tr></table></td></tr></table>
  29 <p>
  30
  31 <font size=+1><b>Back to:</b></font><br>
  32 <a href="http://llvm.cs.uiuc.edu/testresults/">Test&nbsp;Results</a><br>
  33 <a href="http://llvm.cs.uiuc.edu/">LLVM&nbsp;Page</a><p>
  34
  35 </td><td valign=top>
  36
  37 <center>
  38 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  39 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  40 <font size=+2 face=Verdana><b><a name="Overview">Today's Test Results Overview</font></b>
  41 </td></tr></table></td></tr></table></center><p>
  42
  43 <!-- Running LOC graph -->
  44 <table align=right>
  45 <tr><td>
  46 <a href="running_loc_large.png"
  47    ><img border=0 width=480 height=360 src="running_loc.png"></a>
  48 </td></tr>
  49 <tr><td align=center>Lines Of Code over Time<br>
  50 <font size=-1><a href="running_loc_large.png">Click for larger view</a></font>
  51 </td></tr>
  52 </table>
  53
  54 <h2>Nightly Test Overview:</h2>
  55 <ul>
  56   <li>Start: <b>$TestStartTime</b></li>
  57   <li>Finish: <b>$TestFinishTime</b></li>
  58   <li>Platform: <b>$TestPlatform</b></li>
  59 </ul>
  60 <h2>CVS Tree Overview:</h2>
  61 <ul>
  62 <li><a href="$DATE-CVS-Log.txt">CVS Checkout Log</a>
  63 <ul>
  64     <b>$NumDirsInCVS</b> dirs, <b>$NumFilesInCVS</b> files, <b>$LOC</b>
  65     lines of code, checked out in <b>$CVSCheckoutTime</b> seconds<br></ul>
  66 <li><a href="$DATE-Build-Log.txt">Compilation Log</a>
  67 <table>
  68 <tr><td><b>Item</b></td><td><b>CPU Time</b></td><td><b>Wall Clock</b></td></tr>
  69 <tr><td>Configure CVS Tree</td><td>$ConfigTime</td><td>$ConfigWallTime</td></tr>
  70 <tr><td>Build CVS Tree</td><td>$BuildTime</td><td>$BuildWallTime</td></tr>
  71 <tr><td>Run Dejagnu Tests</td><td>$DejagnuTime</td><td>$DejagnuWallTime</td></tr>
  72 </table></li>
  73 <li>Number of object files compiled: <b>$NumObjects</b></li>
  74 <li>Number of libraries linked: <b>$NumLibraries</b></li>
  75 <li>Number of executables linked:<b> $NumExecutables</b></li>
  76 <li>Build Status: $BuildStatus</li>
  77 </ul>
  78
  79 <h2>Warnings during the build:</h2>
  80 <ul>$WarningsList
  81 </ul><p>
  82
  83 <br><br><center>
  84 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
  85 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
  86 <font size=+2 face=Verdana><b><a name="Changes">Changes from Yesterday</font></b>
  87 </td></tr></table></td></tr></table></center><p>
  88
  89 <h2>Changes to CVS:</h2>
  90 <ul>
  91 <li>Users who committed to CVS: <b>$UserCommitList</b>
  92 <li>Users who updated from CVS: <b>$UserUpdateList</b>
  93 <li>Added Files:    $AddedFilesList
  94 <li>Modified Files: $ModifiedFilesList
  95 <li>Removed Files:  $RemovedFilesList
  96 </ul><p>
  97
  98 <h2>Changes to Warnings:</h2>
  99 <ul>
 100 <li>Warnings Added: $WarningsAdded
 101 <li>Warnings Removed: $WarningsRemoved
 102 </ul><p>
 103
 104 <h2>Changes in the test suite:</h2>
 105 <ul>
 106 <li>New Tests: $TestsAdded
 107 <li>Removed Tests: $TestsRemoved
 108 <li>Newly passing tests: $TestsFixed
 109 <li>Newly failing tests: $TestsBroken
 110 </ul>
 111 </td></tr></tbody></table>
 112
 113
 114 <br/><br/><center>
 115 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 116 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 117 <font size=+2 face=Verdana><b><a name="Dejagnu">Dejagnu Test Results</font></b>
 118 </td></tr></table></td></tr></table></center>
 119 <br/>
 120 $DejagnuTestResults
 121 <p>A complete log of testing <a href="$DATE-Dejagnu-testrun.log">Feature and Regression</a> is available for further analysis.</p>
 122
 123 <br><br><center>
 124 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 125 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 126 <font size=+2 face=Verdana><b><a name="Trends">Changes Over Time</font></b>
 127 </td></tr></table></td></tr></table></center><p>
 128
 129
 130 Here are some charts showing how the LLVM optimizer and code generators are
 131 changing over time.  For now we use the Olden benchmark suite to measure this,
 132 but eventually we will switch to using SPEC CPU2000.  All programs are run with
 133 "LARGE_PROBLEM_SIZE" enabled.  Click on any of the charts to get a larger
 134 version.<p>
 135
 136 <h2>Compilation Measurements:</h2>
 137
 138 <table border="0" align=center>
 139 <tr>
 140 <td width=50% align=center>
 141 <a href="running_Olden_bytecode_large.png"><img width=480 height=360 border=0 src="running_Olden_bytecode.png"></a><br>
 142 Size of LLVM bytecode files
 143 </td>
 144 <td width=50% align=center>
 145 <a href="running_Olden_opt_time_large.png"><img width=480 height=360 border=0 src="running_Olden_opt_time.png"></a><br>
 146 Time to run the LLVM optimizer on each program
 147 </td></tr>
 148 </table>
 149
 150 <h2>Program Execution Measurements:</h2>
 151
 152 <table border="0" align=center>
 153 <tr>
 154 <td width=50% align=center>
 155 <a href="running_Olden_cbe_time_large.png"><img width=480 height=360 border=0 src="running_Olden_cbe_time.png"></a><br>
 156 Execution time for CBE generated executable
 157 </td>
 158 <td width=50% align=center>
 159 <a href="running_Olden_llc_time_large.png"><img width=480 height=360 border=0 src="running_Olden_llc_time.png"></a><br>
 160 Execution time for the LLC generated executable
 161 </td></tr>
 162
 163 <tr>
 164 <td align=center>
 165 <a href="running_Olden_jit_time_large.png"><img width=480 height=360 border=0 src="running_Olden_jit_time.png"></a><br>
 166 Execution time for program in the JIT
 167 </td>
 168 <td></td></tr>
 169 </table>
 170
 171
 172
 173
 174 <br><br><center>
 175 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 176 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
 177 <font size=+2 face=Verdana><b><a name="Programs">Program Tests</font></b>
 178 </td></tr></table></td></tr></table></center><p>
 179
 180 This section tests LLVM on a variety of programs in the test suite.  This
 181 includes benchmark suites like the Olden, McCat, Ptrdist, and SPEC benchmarks as
 182 well as a few random programs with test inputs.  This section is meant to track
 183 how stable LLVM is as a whole. A failure in the execution of any test is marked
 184 with an asterisk: `*'. The columns of the tables are:<p>
 185
 186 <ol>
 187 <li><a name="Program">Program</a> - The name of the program for that row.</li>
 188 <li><a name="GCCAS">GCCAS</a> - Time to run LLVM optimizers on the program.</li>
 189 <li><a name="Bytecode">Bytecode</a> - The size of the bytecode for the
 190     program</li>
 191 <li><a name="Instrs">Instrs</a> - The number of LLVM instructions in the
 192     compiled bytecode</li>
 193 <li><a name="LLC<br>compile">LLC compile</a> - The time taken compile with
 194     LLC (the static backend)</li>
 195 <li><a name="JIT<br>codegen">JIT codegen</a> - The amount of time spent in the
 196     JIT itself, instead of executing the program.</li>
 197 <li><a name="Machine<br>code">Machine code</a> - The number of bytes of machine
 198     code generated by the JIT.</li>
 199 <li><a name="GCC">GCC</a> - The time taken to execute the program when compiled
 200     with GCC -O2.</li>
 201 <li><a name="CBE">CBE</a> - The time taken to execute the program after
 202     compilation through the C backend, compiled with -O2.</li>
 203 <li><a name="LLC">LLC</a> - How long does the program generated by the static
 204     backend LLC take to execute </li>
 205 <li><a name="JIT">JIT</a> - The amount of time spent running the
 206     program with the JIT; this includes the code generation phase (listed above)
 207     and actually running the program.</li>
 208 <li><a name="GCC/LLC">GCC/LLC</a> - The speed-up of the LLC output vs the native
 209     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 210 <li><a name="GCC/CBE">GCC/CBE</a> - The speed-up of the CBE output vs the native
 211     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
 212 <li><a name="LLC-BETA">LLC-BETA</a> - How long does the program generated by the static
 213     backend LLC take to execute the program, when compiled with new experimental
 214     features.  This is temporary, for tuning.</li>
 215 </ol><p>
 216
 217 A complete log of testing
 218 <a href="$DATE-SingleSource-ProgramTest.txt.gz">SingleSource</a>,
 219 <a href="$DATE-MultiSource-ProgramTest.txt.gz">MultiSource</a>, and
 220 <a href="$DATE-External-ProgramTest.txt.gz">External</a> programs are
 221 available for further analysis.
 222
 223 <h2>Programs/External</h2>
 224
 225 <center>
 226 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 227 $ExternalProgramsTable
 228 </td></tr></table></center>
 229
 230 <h2>Programs/MultiSource</h2>
 231
 232 <center>
 233 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 234 $MultiSourceProgramsTable
 235 </td></tr></table></center>
 236
 237 <h2>Programs/SingleSource</h2>
 238
 239 <center>
 240 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000">
 241 $SingleSourceProgramsTable
 242 </td></tr></table></center>
 243
 244 </td></tr></html>
 245