home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #26 / NN_1992_26.iso / spool / comp / sys / atari / st / 16546 < prev    next >
Encoding:
Internet Message Format  |  1992-11-12  |  3.2 KB
  1. Path: sparky!uunet!mcsun!uknet!yorkohm!minster!mjl-b
  2. From: mjl-b@minster.york.ac.uk
  3. Newsgroups: comp.sys.atari.st
  4. Subject: Benchmarking (Was: Re: ST FORMAT DO IT AGAIN..)
  5. Message-ID: <721569048.8500@minster.york.ac.uk>
  6. Date: 12 Nov 92 11:50:50 GMT
  7. References: <1992Nov9.103328.24501@dcs.warwick.ac.uk> <1992Nov9.185921.9035@beaver.cs.washington.edu> <1992Nov10.152620.1302@dcs.warwick.ac.uk>
  8. Reply-To: mjl-b@minster.york.ac.uk (Mathew Lodge)
  9. Organization: Department of Computer Science, University of York, England
  10. Lines: 56
  11.  
  12. In article <1992Nov10.152620.1302@dcs.warwick.ac.uk> leo@dcs.warwick.ac.uk (Leo Hendry) writes:
  13. >In article <1992Nov9.185921.9035@beaver.cs.washington.edu> bgilbert@cs.washington.edu (Ben Gilbert) writes:
  14. >>Just remember that MIPS stands for "Meaningless Indicator of Processor Speed"
  15. >>(and various similar things :-).  Although the DSP is rated somewhere above
  16. >
  17. >I compiled a Drhystone test the other day which gave a rating of appoximately
  18. >1500 (Using Lattice C5 compiler).  I was reading an Amiga newsgroup for
  19. >details of the A1200 and somebody quoted a figure of appox 1250 d'stones which
  20. >they said is 2.2 times faster than a standard Amiga 500.
  21.  
  22. >  Does anybody know of an accurate speed test which works across a variety of
  23. >machines?
  24.  
  25. Now _there's_ a can of worms! Devising an accurate indication of performance
  26. that works across a variety of machines is extremely hard. It's the goal of
  27. "the general benchmark", and it may be an unattainable goal.
  28.  
  29. Dhrystone is not a good general benchmark for a number of reasons:
  30.  
  31. 1) It contains few loops. Studies have shown that most programs contain a
  32. high percentage of loops, and that code inside loops is significantly
  33. different to that found outside.
  34. 2) Large parts of the V1 benchmark can be optimised away by "dead code"
  35. removal.
  36. 3) Dhrystone was originally written in Ada, then converted to C. The
  37. conversion is not faithful to the Ada original, particularly when it comes
  38. to string operations
  39. 4) The poor analysis of operators lead to the inclusion of a number of
  40. string operations. These string operations introduce a significant amount of
  41. computation and looping into a program that contains few loops. Hence,
  42. Dhrystone results depend very much on the efficiency of the string
  43. operations in your prticular library.
  44.  
  45. If you want to read a discussion of why general benchmarking is hard, and 
  46. a critique of various benchmarks, you could check out the following
  47. (sorry, couldn't resist):
  48.  
  49. MJ Lodge, "Benchmarking and Ada", 3rd year MEng Project Report, University
  50. of York, UK.
  51.  
  52. About the best benchmarks around are the SPEC suite, a set of application
  53. based benchmarks. Most "high end" manufacturers (Atari isn't one of them)
  54. are members of SPEC, and the benchmarks tend to be written in C for Unix
  55. machines.
  56.  
  57. In summary: determining "general" performance is hard, and error prone. If
  58. you do need to measure performance, then base it on the relative performance
  59. of a given application that is relevant to your area of interest.
  60.  
  61. >- Leo
  62.  
  63. Mat
  64.  
  65. | Mathew Lodge                      | "I don't care how many times they go    |
  66. | mjl-b@minster.york.ac.uk          |  up-tiddly-up-up. They're still gits."  |
  67. | Langwith College, Uni of York, UK |  -- Blackadder Goes Forth               |
  68.