home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #1 / NN_1993_1.iso / spool / comp / benchmar / 1930 < prev    next >
Encoding:
Text File  |  1993-01-12  |  3.0 KB  |  94 lines
  1. Newsgroups: comp.benchmarks
  2. Path: sparky!uunet!zaphod.mps.ohio-state.edu!saimiri.primate.wisc.edu!ames!data.nas.nasa.gov!amelia.nas.nasa.gov!eugene
  3. From: eugene@amelia.nas.nasa.gov (Eugene N. Miya)
  4. Subject: [l/m 3/17/92] Measurement environments        (12/28) c.be FAQ
  5. Keywords: who, what, where, when, why, how
  6. Sender: news@nas.nasa.gov (News Administrator)
  7. Organization: NAS Program, NASA Ames Research Center, Moffett Field, CA
  8. Date: Tue, 12 Jan 93 12:25:18 GMT
  9. Message-ID: <1993Jan12.122518.203@nas.nasa.gov>
  10. Reply-To: eugene@amelia.nas.nasa.gov (Eugene N. Miya)
  11. Lines: 81
  12.  
  13. 12    Measurement environments            <This panel>
  14. 13    SLALOM
  15. 14
  16. 15    12 Ways to Fool the Masses with Benchmarks
  17. 16    SPEC
  18. 17    Benchmark invalidation methods
  19. 18
  20. 19    WPI Benchmark
  21. 20    Equivalence
  22. 21    TPC
  23. 22
  24. 23
  25. 24
  26. 25    Ridiculously short benchmarks
  27. 26    Other miscellaneous benchmarks
  28. 27
  29. 28    References
  30. 1    Introduction to FAQ chain and netiquette
  31. 2
  32. 3    PERFECT
  33. 4
  34. 5    Performance Metrics
  35. 6    Temporary scaffold of New FAQ material
  36. 7    Music to benchmark by
  37. 8    Benchmark types
  38. 9    Linpack
  39. 10
  40. 11    NIST source and .orgs
  41.  
  42. Benchmarking environments
  43. Taxonomy described by: A, B, C, D, E
  44. Examples:
  45.     A Cray Y-MP or better with integrated hardware performance monitor
  46.     B Cray-2, Convex C-1/C-2...
  47.     C VAX-11/780, IBM PC, IBM 370-class
  48.     D Apple II, Timex Sinclair
  49.     E Incomplete hardware, chip, module, board-level
  50.  
  51. An A environment should have state of the art hardware and
  52. software to aid benchmarking.  Hardware should be minimally or non-intrusive.
  53. This category should change with time.  The SS-1 should have a
  54. more programmable HPM, this would lower the Y-MP down into
  55. a B environment (can stay A if no other HPM type hardware becomes
  56. predominant).  This is akin to high-precision Cesium clocks.
  57.  
  58. A B environment is a "good" environment to do benchmarking.
  59. It has as a minimal, a near cycle-time clock, profiling software,
  60. etc.  The environment at this level or higher may also be more hostile
  61. for measurement.  Good performance is likely to be an issue, so the
  62. compilers will have good optimizers.
  63.  
  64. A C environment is an "average" benchmarking environment.
  65. This is just typical: a 60 or 100 Hz clock.  Some profiling software.
  66.  
  67. A D environment is a difficult environment to do benchmarking.
  68. This environment may not have a clock or software to help the poor
  69. benchmarker.  Timing by wrist watch or maybe oscilliscope.
  70. Software? What software?
  71.  
  72. An E environment:
  73. Another difficult environment to do benchmarking.  It might have software.
  74. It might be an incomplete computer: a processing using of a larger
  75. multiprocessor: it touches on the issue of composition.
  76.  
  77. If dealing with a simulator:
  78. there maybe an F category for simulated timing.
  79.  
  80.                    ^ A  
  81.                 s / \ r                
  82.                m /   \ c              
  83.               h /     \ h            
  84.              t /       \ i          
  85.             i /         \ t        
  86.            r /           \ e      
  87.           o /             \ c    
  88.          g /               \ t  
  89.         l /                 \ u
  90.        A /                   \ r
  91.         <_____________________> e   
  92.                 Language
  93.  
  94.