test/Makefile

   1 #===- test/Makefile ----------------------------------------*- Makefile -*--===#
   2 #
   3 #                     The LLVM Compiler Infrastructure
   4 #
   5 # This file is distributed under the University of Illinois Open Source
   6 # License. See LICENSE.TXT for details.
   7 #
   8 #===------------------------------------------------------------------------===#
   9
  10 LEVEL = ..
  11 DIRS  =
  12
  13 #
  14 # Make Dejagnu the default for testing
  15 #
  16 all:: check-local
  17
  18 # Include other test rules
  19 include Makefile.tests
  20
  21 #===------------------------------------------------------------------------===#
  22 # DejaGNU testing support
  23 #===------------------------------------------------------------------------===#
  24
  25 ifneq ($(GREP_OPTIONS),)
  26 $(warning GREP_OPTIONS environment variable may interfere with test results)
  27 endif
  28
  29 ifdef VERBOSE
  30 RUNTESTFLAGS := $(VERBOSE)
  31 LIT_ARGS := -v
  32 else
  33 LIT_ARGS := -s -v
  34 endif
  35
  36 ifdef TESTSUITE
  37 LIT_TESTSUITE := $(TESTSUITE)
  38 CLEANED_TESTSUITE := $(patsubst %/,%,$(TESTSUITE))
  39 CLEANED_TESTSUITE := $(patsubst test/%,%,$(CLEANED_TESTSUITE))
  40 RUNTESTFLAGS += --tool $(CLEANED_TESTSUITE)
  41 else
  42 LIT_TESTSUITE := .
  43 endif
  44
  45 ifdef VG
  46 VALGRIND := valgrind --tool=memcheck --quiet --trace-children=yes --error-exitcode=3 --leak-check=full $(VALGRIND_EXTRA_ARGS)
  47 endif
  48
  49 # Check what to run for -all
  50 EXTRA_LIT_SITE_CFGS :=
  51 LIT_ALL_TESTSUITES := $(LIT_TESTSUITE)
  52 ifndef TESTSUITE
  53 ifeq ($(shell test -d $(PROJ_SRC_DIR)/../tools/clang && echo OK), OK)
  54 LIT_ALL_TESTSUITES += $(PROJ_OBJ_DIR)/../tools/clang/test
  55 endif
  56 endif
  57
  58 IGNORE_TESTS :=
  59
  60 ifndef RUNLLVM2CPP
  61 IGNORE_TESTS += llvm2cpp.exp
  62 endif
  63
  64 ifdef IGNORE_TESTS
  65 RUNTESTFLAGS += --ignore "$(strip $(IGNORE_TESTS))"
  66 endif
  67
  68 # Both AuroraUX & Solaris do not have the -m flag for ulimit
  69 ifeq ($(HOST_OS),SunOS)
  70 ULIMIT=ulimit -t 600 ; ulimit -d 512000 ; ulimit -v 512000 ;
  71 else
  72 ULIMIT=ulimit -t 600 ; ulimit -d 512000 ; ulimit -m 512000 ; ulimit -v 512000 ;
  73 endif
  74
  75 ifneq ($(RUNTEST),)
  76 check-local:: site.exp
  77         ( $(ULIMIT) \
  78           PATH="$(LLVMToolDir):$(LLVM_SRC_ROOT)/test/Scripts:$(LLVMGCCDIR)/bin:$(PATH)" \
  79           $(RUNTEST) $(RUNTESTFLAGS) )
  80 else
  81 check-local:: site.exp
  82         @echo "*** dejagnu not found.  Make sure 'runtest' is in your PATH, then reconfigure LLVM."
  83 endif
  84
  85 check-local-lit:: lit.site.cfg Unit/lit.site.cfg
  86         ( $(ULIMIT) \
  87           $(LLVM_SRC_ROOT)/utils/lit/lit.py \
  88                 --path "$(LLVMToolDir)" \
  89                 --path "$(LLVM_SRC_ROOT)/test/Scripts" \
  90                 --path "$(LLVMGCCDIR)/bin" \
  91                 $(LIT_ARGS) $(LIT_TESTSUITE) )
  92
  93 check-local-all:: lit.site.cfg Unit/lit.site.cfg $(EXTRA_LIT_SITE_CFGS)
  94         ( $(ULIMIT) \
  95           $(LLVM_SRC_ROOT)/utils/lit/lit.py \
  96                 --path "$(LLVMToolDir)" \
  97                 --path "$(LLVM_SRC_ROOT)/test/Scripts" \
  98                 --path "$(LLVMGCCDIR)/bin" \
  99                 $(LIT_ARGS) $(LIT_ALL_TESTSUITES) )
 100
 101 ifdef TESTONE
 102 CLEANED_TESTONE := $(patsubst %/,%,$(TESTONE))
 103 CLEANED_TESTONE := $(patsubst test/%,%,$(CLEANED_TESTONE))
 104 SUBDIR := $(shell dirname $(CLEANED_TESTONE))
 105 TESTPATH := $(LLVM_SRC_ROOT)/test/$(CLEANED_TESTONE)
 106 check-one: site.exp $(TCLSH)
 107         $(Verb)( echo "source $(LLVM_OBJ_ROOT)/test/site.exp" ; \
 108           echo "set subdir $(SUBDIR)" ; \
 109           echo "proc pass  { msg } { puts \"PASS: \$$msg\" } "; \
 110           echo "proc fail  { msg } { puts \"FAIL: \$$msg\" }" ; \
 111           echo "proc xfail { msg } { puts \"XFAIL: \$$msg\" }" ; \
 112           echo "proc xpass { msg } { puts \"XPASS: \$$msg\" }" ; \
 113           echo "proc verbose args { }" ; \
 114           echo "source $(LLVM_SRC_ROOT)/test/lib/llvm.exp" ; \
 115           echo "RunLLVMTests $(TESTPATH)" ) | \
 116         ( $(ULIMIT) \
 117           PATH="$(LLVMToolDir):$(LLVM_SRC_ROOT)/test/Scripts:$(PATH)" \
 118           $(TCLSH) )
 119 endif
 120
 121 clean::
 122         $(RM) -rf `find $(LLVM_OBJ_ROOT)/test -name Output -type d -print`
 123
 124 # dsymutil is used on the Darwin to manipulate DWARF debugging information.
 125 ifeq ($(TARGET_OS),Darwin)
 126 DSYMUTIL=dsymutil
 127 else
 128 DSYMUTIL=true
 129 endif
 130 ifdef TargetCommonOpts
 131 BUGPOINT_TOPTS="-gcc-tool-args $(TargetCommonOpts)"
 132 else
 133 BUGPOINT_TOPTS=""
 134 endif
 135
 136 ifneq ($(OCAMLOPT),)
 137 CC_FOR_OCAMLOPT := $(shell $(OCAMLOPT) -config | grep native_c_compiler | sed -e 's/native_c_compiler: //')
 138 CXX_FOR_OCAMLOPT := $(subst gcc,g++,$(CC_FOR_OCAMLOPT))
 139 endif
 140
 141 FORCE:
 142
 143 site.exp: FORCE
 144         @echo 'Making a new site.exp file...'
 145         @echo '## these variables are automatically generated by make ##' >site.tmp
 146         @echo '# Do not edit here.  If you wish to override these values' >>site.tmp
 147         @echo '# edit the last section' >>site.tmp
 148         @echo 'set target_triplet "$(TARGET_TRIPLE)"' >> site.tmp
 149         @echo 'set TARGETS_TO_BUILD "$(TARGETS_TO_BUILD)"' >> site.tmp
 150         @echo 'set llvmgcc_langs "$(LLVMGCC_LANGS)"' >> site.tmp
 151         @echo 'set llvmgcc_version "$(LLVMGCC_VERSION)"' >> site.tmp
 152         @echo 'set llvmtoolsdir "$(ToolDir)"' >>site.tmp
 153         @echo 'set llvmlibsdir "$(LibDir)"' >>site.tmp
 154         @echo 'set llvm_bindings "$(BINDINGS_TO_BUILD)"' >> site.tmp
 155         @echo 'set srcroot "$(LLVM_SRC_ROOT)"' >>site.tmp
 156         @echo 'set objroot "$(LLVM_OBJ_ROOT)"' >>site.tmp
 157         @echo 'set srcdir "$(LLVM_SRC_ROOT)/test"' >>site.tmp
 158         @echo 'set objdir "$(LLVM_OBJ_ROOT)/test"' >>site.tmp
 159         @echo 'set gccpath "$(CC)"' >>site.tmp
 160         @echo 'set gxxpath "$(CXX)"' >>site.tmp
 161         @echo 'set compile_c "' $(CC) $(CPP.Flags) $(TargetCommonOpts) $(CompileCommonOpts) -c '"' >>site.tmp
 162         @echo 'set compile_cxx "' $(CXX) $(CPP.Flags) $(CXX.Flags) $(TargetCommonOpts) $(CompileCommonOpts) -c '"' >> site.tmp
 163         @echo 'set link "' $(CXX) $(CPP.Flags) $(CXX.Flags) $(TargetCommonOpts) $(CompileCommonOpts) $(LD.Flags) '"' >>site.tmp
 164         @echo 'set llvmgcc "$(LLVMGCC) $(TargetCommonOpts) $(EXTRA_OPTIONS)"' >> site.tmp
 165         @echo 'set llvmgxx "$(LLVMGCC) $(TargetCommonOpts) $(EXTRA_OPTIONS)"' >> site.tmp
 166         @echo 'set llvmgccmajvers "$(LLVMGCC_MAJVERS)"' >> site.tmp
 167         @echo 'set bugpoint_topts $(BUGPOINT_TOPTS)' >> site.tmp
 168         @echo 'set shlibext "$(SHLIBEXT)"' >> site.tmp
 169         @echo 'set ocamlopt "$(OCAMLOPT) -cc \"$(CXX_FOR_OCAMLOPT)\" -I $(LibDir)/ocaml"' >> site.tmp
 170         @echo 'set valgrind "$(VALGRIND)"' >> site.tmp
 171         @echo 'set grep "$(GREP)"' >>site.tmp
 172         @echo 'set gas "$(GAS)"' >>site.tmp
 173         @echo 'set llvmdsymutil "$(DSYMUTIL)"' >>site.tmp
 174         @echo '## All variables above are generated by configure. Do Not Edit ## ' >>site.tmp
 175         @test ! -f site.exp || \
 176         sed '1,/^## All variables above are.*##/ d' site.exp >> site.tmp
 177         @-rm -f site.bak
 178         @test ! -f site.exp || mv site.exp site.bak
 179         @mv site.tmp site.exp
 180
 181 lit.site.cfg: site.exp
 182         @echo "Making 'lit.site.cfg' file..."
 183         @echo "## Autogenerated by Makefile ##" > $@
 184         @echo "# Do not edit!" >> $@
 185         @echo >> $@
 186         @echo "# Preserve some key paths for use by main LLVM test suite config." >> $@
 187         @echo "config.llvm_obj_root = \"\"\"$(LLVM_OBJ_ROOT)\"\"\"" >> $@
 188         @echo >> $@
 189         @echo "# Let the main config do the real work." >> $@
 190         @echo "lit.load_config(config, \"\"\"$(LLVM_SRC_ROOT)/test/lit.cfg\"\"\")" >> $@
 191
 192 Unit/lit.site.cfg: Unit/.dir FORCE
 193         @echo "Making unittest 'lit.site.cfg' file..."
 194         @echo "## Autogenerated by Makefile ##" > $@
 195         @echo "# Do not edit!" >> $@
 196         @echo >> $@
 197         @echo "# Preserve some key paths for use by main LLVM test suite config." >> $@
 198         @echo "config.llvm_obj_root = \"\"\"$(LLVM_OBJ_ROOT)\"\"\"" >> $@
 199         @echo >> $@
 200         @echo "# Remember the build mode." >> $@
 201         @echo "config.llvm_build_mode = \"\"\"$(BuildMode)\"\"\"" >> $@
 202         @echo >> $@
 203         @echo "# Let the main config do the real work." >> $@
 204         @echo "lit.load_config(config, \"\"\"$(LLVM_SRC_ROOT)/test/Unit/lit.cfg\"\"\")" >> $@
 205