utils/lit/tests/shtest-format.py

   1 # Check the various features of the ShTest format.
   2 #
   3 # RUN: not %{lit} -j 1 -v %{inputs}/shtest-format > %t.out
   4 # RUN: FileCheck < %t.out %s
   5 #
   6 # END.
   7
   8 # CHECK: -- Testing:
   9
  10 # CHECK: PASS: shtest-format :: argv0.txt
  11 # CHECK: FAIL: shtest-format :: external_shell/fail.txt
  12 # CHECK-NEXT: *** TEST 'shtest-format :: external_shell/fail.txt' FAILED ***
  13 # CHECK: Command Output (stdout):
  14 # CHECK-NEXT: --
  15 # CHECK-NEXT: line 1: failed test output on stdout
  16 # CHECK-NEXT: line 2: failed test output on stdout
  17 # CHECK: Command Output (stderr):
  18 # CHECK-NEXT: --
  19 # CHECK-NEXT: cat: does-not-exist: No such file or directory
  20 # CHECK: --
  21
  22 # CHECK: FAIL: shtest-format :: external_shell/fail_with_bad_encoding.txt
  23 # CHECK-NEXT: *** TEST 'shtest-format :: external_shell/fail_with_bad_encoding.txt' FAILED ***
  24 # CHECK: Command Output (stdout):
  25 # CHECK-NEXT: --
  26 # CHECK-NEXT: a line with bad encoding:
  27 # CHECK: --
  28
  29 # CHECK: PASS: shtest-format :: external_shell/pass.txt
  30
  31 # CHECK: FAIL: shtest-format :: fail.txt
  32 # CHECK-NEXT: *** TEST 'shtest-format :: fail.txt' FAILED ***
  33 # CHECK-NEXT: Script:
  34 # CHECK-NEXT: --
  35 # CHECK-NEXT: printf "line 1
  36 # CHECK-NEXT: false
  37 # CHECK-NEXT: --
  38 # CHECK-NEXT: Exit Code: 1
  39 #
  40 # CHECK: Command Output (stdout):
  41 # CHECK-NEXT: --
  42 # CHECK-NEXT: Command 0: "printf"
  43 # CHECK-NEXT: Command 0 Result: 0
  44 # CHECK-NEXT: Command 0 Output:
  45 # CHECK-NEXT: line 1: failed test output on stdout
  46 # CHECK-NEXT: line 2: failed test output on stdout
  47
  48 # CHECK: UNRESOLVED: shtest-format :: no-test-line.txt
  49 # CHECK: PASS: shtest-format :: pass.txt
  50 # CHECK: UNSUPPORTED: shtest-format :: requires-missing.txt
  51 # CHECK: PASS: shtest-format :: requires-present.txt
  52 # CHECK: UNSUPPORTED: shtest-format :: unsupported_dir/some-test.txt
  53 # CHECK: XFAIL: shtest-format :: xfail-feature.txt
  54 # CHECK: XFAIL: shtest-format :: xfail-target.txt
  55 # CHECK: XFAIL: shtest-format :: xfail.txt
  56 # CHECK: XPASS: shtest-format :: xpass.txt
  57 # CHECK-NEXT: *** TEST 'shtest-format :: xpass.txt' FAILED ***
  58 # CHECK-NEXT: Script
  59 # CHECK-NEXT: --
  60 # CHECK-NEXT: true
  61 # CHECK-NEXT: --
  62 # CHECK: Testing Time
  63
  64 # CHECK: Unexpected Passing Tests (1)
  65 # CHECK: shtest-format :: xpass.txt
  66
  67 # CHECK: Failing Tests (3)
  68 # CHECK: shtest-format :: external_shell/fail.txt
  69 # CHECK: shtest-format :: external_shell/fail_with_bad_encoding.txt
  70 # CHECK: shtest-format :: fail.txt
  71
  72 # CHECK: Expected Passes    : 4
  73 # CHECK: Expected Failures  : 3
  74 # CHECK: Unsupported Tests  : 2
  75 # CHECK: Unresolved Tests   : 1
  76 # CHECK: Unexpected Passes  : 1
  77 # CHECK: Unexpected Failures: 3