home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / benchmar / 1867 < prev    next >
Encoding:
Text File  |  1992-12-15  |  3.1 KB  |  122 lines
  1. Newsgroups: comp.benchmarks
  2. Path: sparky!uunet!spool.mu.edu!agate!ames!data.nas.nasa.gov!amelia.nas.nasa.gov!eugene
  3. From: eugene@amelia.nas.nasa.gov (Eugene N. Miya)
  4. Subject: [l/m 3/17/91] Ways to fool the masses with benchmarks    (15/28) c.be. FAQ
  5. Keywords: who, what, where, when, why, how
  6. Sender: news@nas.nasa.gov (News Administrator)
  7. Organization: NAS Program, NASA Ames Research Center, Moffett Field, CA
  8. Date: Tue, 15 Dec 92 12:25:10 GMT
  9. Message-ID: <1992Dec15.122510.21215@nas.nasa.gov>
  10. Reply-To: eugene@amelia.nas.nasa.gov (Eugene N. Miya)
  11. Lines: 109
  12.  
  13. 15    12 Ways to Fool the Masses with Benchmarks    <This panel>
  14. 16    SPEC
  15. 17    Benchmark invalidation methods
  16. 18
  17. 19    WPI Benchmark
  18. 20    Equivalence
  19. 21    TPC
  20. 22
  21. 23
  22. 24
  23. 25    Ridiculously short benchmarks
  24. 26    Other miscellaneous benchmarks
  25. 27
  26. 28    References
  27. 1    Introduction to the FAQ chain and netiquette
  28. 2
  29. 3    PERFECT Club
  30. 4
  31. 5    Performance Metrics
  32. 6
  33. 7    Music to benchmark by
  34. 8    Benchmark types
  35. 9    Linpack
  36. 10
  37. 11    NIST source and .orgs
  38. 12    Measurement Environments
  39. 13    SLALOM
  40. 14
  41.  
  42. From David Bailey et al.
  43.  
  44. Quote only 32-bit performance results, not 64-bit results.
  45.  
  46. Present performance figures for an inner kernel as the performance of the
  47. entire application.
  48.  
  49. Quietly employ assembly code and other low-level language constructs.
  50.  
  51. Scale up the problem size with the number of processors, but omit any
  52. mention of this fact.
  53.  
  54. Quote performance results projected to a full system.
  55.  
  56. Compare your results against scalar, unoptimized code on Crays.
  57.  
  58. When direct run time comparisons are required, compare with an old code
  59. on an obsolete system.
  60.  
  61. If megaFLOPS rates must be quoted, base the operation count on the parallel
  62. implementation, not on the best sequential implementation.
  63.  
  64. Quote performance in terms of processor utilization, parallel speedup or
  65. megaFLOPS per dollar.
  66.  
  67. Multilate the algorithm used in the parallel implementation to match
  68. the architecture.
  69.  
  70. Measure parallel run times on a dedicated system, but measure conventional
  71. run times in a busy environment.
  72.  
  73. If all else fails, show pretty pictures and animated videos, and don't talk
  74. about performance.
  75.  
  76. Ref. 1
  77. NAS TR #
  78.  
  79. Ref. 2
  80. %A David Bailey
  81. %T Twelve Ways to Fool the Masses when Giving Performance Results on
  82. Parallel Computers
  83. %J Supercomputing Review
  84. %V 4
  85. %N 8
  86. %D August 1991
  87. %P 54-55
  88.  
  89. References
  90. Darrell Huff, How to Lie with Statistics
  91.     How to Lie with Maps
  92.  
  93. Gordon Bell's 11 rules of supercomputer design:
  94.  
  95. 1) Performance, performance, performance.
  96. 2) Everything matters.
  97. 3) Scalar matter most.
  98. 4) Provide vectors as price allows.
  99. 5) Avoid holes in performance.
  100. 6) Place peaks in performance.
  101.  
  102. 7) Provide a decade of addressing.
  103. 8) Make it easy to use.
  104. 9) Build on others work.
  105. 10) Design for the next one (and do it again) [three times]
  106. 11) Have slack resources.
  107.  
  108.                    ^ A  
  109.                 s / \ r                
  110.                m /   \ c              
  111.               h /     \ h            
  112.              t /       \ i          
  113.             i /         \ t        
  114.            r /           \ e      
  115.           o /             \ c    
  116.          g /               \ t  
  117.         l /                 \ u
  118.        A /                   \ r
  119.         <_____________________> e   
  120.                 Language
  121.  
  122.