home *** CD-ROM | disk | FTP | other *** search
/ OS/2 Shareware BBS: 10 Tools / 10-Tools.zip / lifeos2.zip / LIFE-1.02 / TESTS / README < prev    next >
Text File  |  1996-06-04  |  2KB  |  71 lines
  1. Richard Meyer                            Feb. 15th 1994
  2.  
  3.  
  4.  
  5.  
  6.             Test-Suite for Wild-LIFE
  7.             ========================
  8.  
  9.  
  10. If you want to check that the Wild-LIFE interpreter has been correctly compiled
  11. and conforms to expected behaviour, then run the script: 'check_all'.  This will
  12. generate the log file 'check.log' containing a list of all test files and
  13. which ones failed.
  14.  
  15. The test-suite consists of more than 300 LIFE programs of all sizes and
  16. complexities.  The "check" script runs the programs and compares both the
  17. output and error messages to the 'reference' data. This suite is run each time
  18. a change is made to the system to ensure that nothing has been broken or that
  19. all differences in behaviour are explainable and correct.
  20.  
  21. The largest failing of the test suite is that it cannot check programs that
  22. use the X interface.
  23.  
  24. Certain files may have unavoidably different output depending on your system.
  25. In most cases this is benign. We have made sure that no absolute path names
  26. or CPU times are compared.  Notable differences are:
  27.  
  28.   - Floating point calculations: NaN, Infinity etc... may not be supported
  29.     or may be displayed differently (for example, as NAN or INF or Inf).
  30.  
  31.   - Word size: on Alpha (and other 64-bit CPUs) some of the tests which check
  32.     the encoding of the type hierarchy produce codes of different lengths. This
  33.     test-suite is configured for a 32-bit system.
  34.  
  35.   - Differences due to asynchrony between the stdin input to the tests (which
  36.     is echoed to stdout) and the stdout output from the tests.  This
  37.     occasionally shows itself as slight reordering of the characters in the
  38.     output.
  39.  
  40. As a result, do not be surprised if the following tests result in different
  41. output on an Alpha:
  42.  
  43.   babcode.lf
  44.   caret.lf
  45.   t.lf
  46.   t8104.lf
  47.   z_gctoken1.lf
  48.  
  49.  
  50. Directories & files:
  51.  
  52. LF        : source of test programs
  53. IN        : terminal input to test programs
  54.  
  55. OUT        : stdout of last test run
  56. REFOUT        : reference output
  57. REFDIFF        : difference between output and reference output
  58.  
  59. ERR        : stderr of last run
  60. REFERR        : reference error output
  61. ERRDIFF        : difference between error output and reference error output
  62.  
  63. FILES        : auxiliary files used by certain tests
  64.  
  65. check        : script to run one or several tests
  66. approve        : script to approve the output of a test
  67. showdiff    : script to display the differences graphically
  68. check_all    : script to run all the tests
  69. check.log    : log of all tests (created by "check_all")
  70. README        : don't read this file if you don't have an occurs-check ;o)
  71.