d0d4bf0d0cc4bedf69f5bd6882cc927ab8247c4c
[oota-llvm.git] / utils / NightlyTestTemplate.html
1 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
2 <html><head><title>LLVM Test Results for $DateString</title></head>
3
4 <body bgcolor=white>
5 <center><font size=+3 face=Verdana><b>LLVM Test Results for $DateString</b></font></center>
6 <hr height=1>
7
8 <table width=100%>
9 <tr><td valign=top align=center>
10
11 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
12 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77">
13 <font size=+1><b>Sections:</b></font><br>
14 </td></tr><tr><td bgcolor="#FFCC99" align=center>
15 <a href="#Overview">Overview</a><br>
16 <a href="#Changes">Changes</a><br>
17 <a href="#Trends">Trends</a><br>
18 <a href="#Programs">Programs</a><br>
19 <a href="#Feature">Feature</a><br>
20 <a href="#Regression">Regression</a><br>
21 <a href="#Dejagnu">Dejagnu Tests</a><br>
22 </td></tr></table></td></tr></table>
23
24 <p>
25 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
26 <table border="0" cellpadding="5" cellspacing="0"><tr><td bgcolor="#DDAA77"
27 <font size=+1><b>Previous:</b></font><br>
28 </td></tr><tr><td bgcolor="#FFCC99">
29   $PrevDaysList
30 </td></tr></table></td></tr></table>
31 <p>
32
33 <font size=+1><b>Back to:</b></font><br>
34 <a href="http://llvm.cs.uiuc.edu/testresults/">Test&nbsp;Results</a><br>
35 <a href="http://llvm.cs.uiuc.edu/">LLVM&nbsp;Page</a><p>
36
37 </td><td valign=top>
38
39 <center>
40 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
41 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
42 <font size=+2 face=Verdana><b><a name="Overview">Today's Test Results Overview</font></b>
43 </td></tr></table></td></tr></table></center><p>
44
45 <!-- Running LOC graph -->
46 <table align=right>
47 <tr><td>
48 <a href="running_loc_large.png"
49    ><img border=0 width=480 height=360 src="running_loc.png"></a>
50 </td></tr>
51 <tr><td align=center>Lines Of Code over Time<br>
52 <font size=-1><a href="running_loc_large.png">Click for larger view</a></font>
53 </td></tr>
54 </table>
55
56 <h2>Nightly Test Overview:</h2>
57 <ul>
58   <li>Start: <b>$TestStartTime GMT</b></li>
59   <li>Finish: <b>$TestFinishTime GMT</b></li>
60   <li>Platform: <b>$TestPlatform</b></li>
61 </ul>
62 <h2>CVS Tree Overview:</h2>
63 <ul>
64 <li><a href="$DATE-CVS-Log.txt">CVS Checkout Log</a>
65 <ul>
66     <b>$NumDirsInCVS</b> dirs, <b>$NumFilesInCVS</b> files, <b>$LOC</b>
67     lines of code, checked out in <b>$CVSCheckoutTime</b> seconds<br></ul>
68 <li><a href="$DATE-Build-Log.txt">Compilation Log</a>
69 <table>
70 <tr><td><b>Item</b></td><td><b>CPU Time</b></td><td><b>Wall Clock</b></td></tr>
71 <tr><td>Configure CVS Tree</td><td>$ConfigTime</td><td>$ConfigWallTime</td></tr>
72 <tr><td>Build CVS Tree</td><td>$BuildTime</td><td>$BuildWallTime</td></tr>
73 <tr><td>Run Feature Tests</td><td>$FeatureTime</td><td>$FeatureWallTime</td></tr>
74 <tr><td>Run Regression Tests</td><td>$RegressionTime</td><td>$RegressionWallTime</td></tr>
75 <tr><td>Run Dejagnu Tests</td><td>$DejagnuTime</td><td>$DejagnuWallTime</td></tr>
76 </table></li>
77 <li>Number of object files compiled: <b>$NumObjects</b></li>
78 <li>Number of libraries linked: <b>$NumLibraries</b></li>
79 <li>Number of executables linked:<b> $NumExecutables</b></li>
80 <li>Build Error: $BuildError</li>
81 </ul>
82
83 <h2>Warnings during the build:</h2>
84 <ul>$WarningsList
85 </ul><p>
86
87 <br><br><center>
88 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
89 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
90 <font size=+2 face=Verdana><b><a name="Changes">Changes from Yesterday</font></b>
91 </td></tr></table></td></tr></table></center><p>
92
93 <h2>Changes to CVS:</h2>
94 <ul>
95 <li>Users who committed to CVS: <b>$UserCommitList</b>
96 <li>Users who updated from CVS: <b>$UserUpdateList</b>
97 <li>Added Files:    $AddedFilesList
98 <li>Modified Files: $ModifiedFilesList
99 <li>Removed Files:  $RemovedFilesList
100 </ul><p>
101
102 <h2>Changes to Warnings:</h2>
103 <ul>
104 <li>Warnings Added: $WarningsAdded
105 <li>Warnings Removed: $WarningsRemoved
106 </ul><p>
107
108 <h2>Changes in the test suite:</h2>
109 <ul>
110 <li>New Tests: $TestsAdded
111 <li>Removed Tests: $TestsRemoved
112 <li>Newly passing tests: $TestsFixed
113 <li>Newly failing tests: $TestsBroken
114 </ul>
115 </td></tr></tbody></table>
116 <br><br><center>
117 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
118 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
119 <font size=+2 face=Verdana><b><a name="Trends">Changes Over Time</font></b>
120 </td></tr></table></td></tr></table></center><p>
121
122
123 Here are some charts showing how the LLVM optimizer and code generators are
124 changing over time.  For now we use the Olden benchmark suite to measure this,
125 but eventually we will switch to using SPEC CPU2000.  All programs are run with
126 "LARGE_PROBLEM_SIZE" enabled.  Click on any of the charts to get a larger
127 version.<p>
128
129 <h2>Compilation Measurements:</h2>
130
131 <table border="0" align=center>
132 <tr>
133 <td width=50% align=center>
134 <a href="running_Olden_bytecode_large.png"><img width=480 height=360 border=0 src="running_Olden_bytecode.png"></a><br>
135 Size of LLVM bytecode files
136 </td>
137 <td width=50% align=center>
138 <a href="running_Olden_machcode_large.png"><img width=480 height=360 border=0 src="running_Olden_machcode.png"></a><br>
139 Size of native machine code for each program (generated by the JIT)
140 </td></tr>
141 <tr>
142 <td align=center>
143 <a href="running_Olden_opt_time_large.png"><img width=480 height=360 border=0 src="running_Olden_opt_time.png"></a><br>
144 Time to run the LLVM optimizer on each program
145 </td>
146 <td></td></tr>
147 </table>
148
149 <h2>Program Execution Measurements:</h2>
150
151 <table border="0" align=center>
152 <tr>
153 <td width=50% align=center>
154 <a href="running_Olden_cbe_time_large.png"><img width=480 height=360 border=0 src="running_Olden_cbe_time.png"></a><br>
155 Execution time for CBE generated executable
156 </td>
157 <td width=50% align=center>
158 <a href="running_Olden_llc_time_large.png"><img width=480 height=360 border=0 src="running_Olden_llc_time.png"></a><br>
159 Execution time for the LLC generated executable
160 </td></tr>
161
162 <tr>
163 <td align=center>
164 <a href="running_Olden_jit_time_large.png"><img width=480 height=360 border=0 src="running_Olden_jit_time.png"></a><br>
165 Execution time for program in the JIT
166 </td>
167 <td></td></tr>
168 </table>
169
170
171
172
173 <br><br><center>
174 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
175 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
176 <font size=+2 face=Verdana><b><a name="Programs">Program Tests</font></b>
177 </td></tr></table></td></tr></table></center><p>
178
179 This section tests LLVM on a variety of programs in the test suite.  This
180 includes benchmark suites like the Olden, McCat, Ptrdist, and SPEC benchmarks as
181 well as a few random programs with test inputs.  This section is meant to track
182 how stable LLVM is as a whole. A failure in the execution of any test is marked
183 with an asterisk: `*'. The columns of the tables are:<p>
184
185 <ol>
186 <li><a name="Program">Program</a> - The name of the program for that row.</li>
187 <li><a name="GCCAS">GCCAS</a> - Time to run LLVM optimizers on the program.</li>
188 <li><a name="Bytecode">Bytecode</a> - The size of the bytecode for the
189     program</li>
190 <li><a name="Instrs">Instrs</a> - The number of LLVM instructions in the
191     compiled bytecode</li>
192 <li><a name="LLC<br>compile">LLC compile</a> - The time taken compile with
193     LLC (the static backend)</li>
194 <li><a name="JIT<br>codegen">JIT codegen</a> - The amount of time spent in the
195     JIT itself, instead of executing the program.</li>
196 <li><a name="Machine<br>code">Machine code</a> - The number of bytes of machine
197     code generated by the JIT.</li>
198 <li><a name="GCC">GCC</a> - The time taken to execute the program when compiled
199     with GCC -O2.</li>
200 <li><a name="CBE">CBE</a> - The time taken to execute the program after
201     compilation through the C backend, compiled with -O2.</li>
202 <li><a name="LLC">LLC</a> - How long does the program generated by the static
203     backend LLC take to execute </li>
204 <li><a name="JIT">JIT</a> - The amount of time spent running the
205     program with the JIT; this includes the code generation phase (listed above)
206     and actually running the program.</li>
207 <li><a name="GCC/LLC">GCC/LLC</a> - The speed-up of the LLC output vs the native 
208     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
209 <li><a name="GCC/CBE">GCC/CBE</a> - The speed-up of the CBE output vs the native 
210     GCC output: greater than 1 is a speedup, less than 1 is a slowdown.</li>
211 <li><a name="LLC-BETA">LLC-BETA</a> - How long does the program generated by the static
212     backend LLC take to execute the program, when compiled with new experimental 
213     features.  This is temporary, for tuning.</li>
214 </ol><p>
215
216 A complete log of testing 
217 <a href="$DATE-SingleSource-ProgramTest.txt.gz">SingleSource</a>, 
218 <a href="$DATE-MultiSource-ProgramTest.txt.gz">MultiSource</a>, and
219 <a href="$DATE-External-ProgramTest.txt.gz">External</a> programs are
220 available for further analysis.
221
222 <h2>Programs/External</h2>
223
224 <center>
225 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
226 $ExternalProgramsTable
227 </td></tr></table></center>
228
229 <h2>Programs/MultiSource</h2>
230
231 <center>
232 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
233 $MultiSourceProgramsTable
234 </td></tr></table></center>
235
236 <h2>Programs/SingleSource</h2>
237
238 <center>
239 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
240 $SingleSourceProgramsTable
241 </td></tr></table></center>
242
243
244
245 <br/><br/><center>
246 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
247 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
248 <font size=+2 face=Verdana><b><a name="Feature">Feature Test Results</font></b>
249 </td></tr></table></td></tr></table></center>
250 <br/>
251 $FeatureTestResults
252
253 <br/><br/><center>
254 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
255 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
256 <font size=+2 face=Verdana><b><a name="Regression">Regression Test Results</font></b>
257 </td></tr></table></td></tr></table></center>
258 <br/>
259 $RegressionTestResults
260
261 <br/><br/><center>
262 <table border="0" cellspacing="0" cellpadding="2"><tr><td bgcolor="#000000"> 
263 <table border="0" cellpadding="10" cellspacing="0"><tr><td bgcolor="#DDAA77"
264 <font size=+2 face=Verdana><b><a name="Dejagnu">Dejagnu Test Results</font></b>
265 </td></tr></table></td></tr></table></center>
266 <br/>
267 $DejagnuTestResults
268
269 </td></tr></html>
270