home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #19 / NN_1992_19.iso / spool / comp / benchmar / 1355 < prev    next >
Encoding:
Text File  |  1992-09-02  |  6.0 KB  |  170 lines
  1. Newsgroups: comp.benchmarks
  2. Path: sparky!uunet!sun-barr!ames!data.nas.nasa.gov!amelia!eugene
  3. From: eugene@amelia.nas.nasa.gov (Eugene N. Miya)
  4. Subject: [l/m 4/23/92] good conceptual benchmarking    (2/28) c.be FAQ
  5. Keywords: who, what, where, when, why, how
  6. Sender: news@nas.nasa.gov (News Administrator)
  7. Organization: NAS Program, NASA Ames Research Center, Moffett Field, CA
  8. Date: Wed, 2 Sep 92 11:25:10 GMT
  9. Message-ID: <1992Sep2.112510.576@nas.nasa.gov>
  10. Reply-To: eugene@amelia.nas.nasa.gov (Eugene N. Miya)
  11. Lines: 157
  12.  
  13. 2    Benchmarking concepts                    <this panel>
  14. 3    PERFECT Club/Suite
  15. 4
  16. 5    Performance Metrics
  17. 6    Temporary scaffold of New FAQ material
  18. 7    Music to benchmark by
  19. 8    Benchmark types
  20. 9    Linpack
  21. 10
  22. 11
  23. 12    Benchmark Environments
  24. 13
  25. 14
  26. 15    12 Ways to Fool the Masses with Benchmarks
  27. 16    SPEC
  28. 17    Benchmark invalidation methods
  29. 18
  30. 19    WPI Benchmark
  31. 20    Equivalence
  32. 21    TPC
  33. 22
  34. 23    RFC 1242 terminology (network benchmarking)
  35. 24
  36. 25    Ridiculously short benchmarks
  37. 26    Other miscellaneous benchmarks
  38. 27
  39. 28    References
  40. 1    Introduction to FAQ chain and netiquette
  41.  
  42. Benchmarking
  43. is difficult black art which combines several technical and social
  44. problems.  It is a juggling act,
  45. as such, the solutions must attempt to combine several components
  46. to the solutions: technical and social.
  47.  
  48. In particular the social problems require some degree of consensus
  49. very much like the problems Internatonal measurement: ala the
  50. Metric system.
  51.  
  52. Benchmarking is usually seen as a linear process:
  53.                 -----------
  54.                 | test    |
  55.     "optional input" -->| program |---> "output [time]"
  56.                 |          |
  57.                 -----------
  58. Sort of like a ruler or scale.
  59. It really is a more detailed process.  This is probably too simplistic.
  60.  
  61. A more useful figure:
  62.   -----------  -----------  -----------  -----------
  63.   |pre      |  |pre      |  |         |  |post     |
  64. ->|compiled |->|test     |->|test     |->|test     |->
  65.   |condition|  |execution|| |         | ||execution|
  66.   -----------  -----------| ----------- |-----------
  67.               |         |
  68.               | ----------- |
  69.               | |control  | |
  70.               |-|condition|-|
  71.                 |         |
  72.                 -----------
  73. From this figure one can see some of the more detailed elements and
  74. issues of the basic measurement problem: equivalence, concurrency,
  75. control, intrusive (invasive) measurement, overheads, preparation, etc.
  76.  
  77. Before you ever say: "That's trying to measure apples and ornanges"
  78. you had best realize that the biologists and biochemists did just that
  79. several decades ago.  They did.  They discovered that apples and oranges
  80. have a very common base, it's called DNA and the gene maps between the
  81. two differ very little.
  82.  
  83. Let's make some clear distinctions:
  84. Performance Evaluation
  85.     The over all process.  (Analysis and masurement)
  86. Performance Analysis
  87.     Like mathematical analysis.
  88.     The implication should be mathematical or simulation.
  89.     Susceptible to illusion and deception.  Never the last word.
  90.     Ideally: deterministic.
  91. Performance Measurement
  92.     The emphasis should be empirical.  Benchmarks run on simulations
  93.     are "Analysis."  Measurement is a verification of real hardware
  94.     performance.  It's bound by the laws of physics.  It can be spoofed.
  95.     It appear as "the last word."  This is where benchmarking lies.
  96.     Ideally: demonstrable, repeatable, and reproducible.
  97.  
  98. The history of area is such that many architectures are claimed for
  99. one performance and in the reality under-performing (usually).
  100.  
  101. [Wulf81]:
  102.   We want to learn about the consequences of different designs on the
  103.   useability and performance of multiprocessors.
  104.   Unfortunately, each decision we make precludes us from exploring its
  105.   alternatives.  This is unfortunate, but probably inevitable for hardware.
  106.   Perhaps, however, it is not inevitable for the software....
  107.   and especially for the facilities provided by the operating system.
  108.  
  109.  
  110. Quoting Georg von\ Bekesy
  111.  . . . AS I see it the difference between successful and unsuccessful
  112. research is basically a problem of asking the right question.  I can
  113. distinguish the following types of questions:
  114.     1. The unimportant question
  115.     2. The premature question
  116.     3. The strategic question
  117.     4. The stimulating question
  118.     5. The embarrassing question (the kind asked at meetings)
  119.     6. The pseudo-question (often a consequence of a different
  120.     definition or a different approach)
  121. As a beginner I wanted to find a strategic question, but was unable to
  122. do so.
  123. Pierce (and Bekesy) likes stimulating questions:
  124. they motivate you to do something.
  125.  
  126. %A Willem A van\ Bergeijk
  127. %A John R. Pierce
  128. %A Edward E. David, Jr.
  129. %T Waves and the Ear
  130. %I Double Day
  131. %C Garden City, New York
  132. %D 1960
  133.  
  134.   Every science begins with the observation of striking events like
  135. thunderstorms or fevers, and soon establishes rough connections between
  136. them and other events, such as hot weather or infection.
  137. The next stage is a stage of exact observation and measurement, and it is
  138. often very difficult to know what we should measure in order to best
  139. explain the events we are investigating.
  140. In the case of both thunderstorms and fevers the clue came from measuring
  141. the lengths of mercury columns in glass tubes, but what prophet could
  142. have predicted this?
  143. Then comes a stage of innumerable graphs and tables of figures, the dispair
  144. of the student, the laughing-stock of the man in the street.
  145. And out of this intellectual mess there sudden crystallizes a new and easily
  146. grasped idea, the idea of a cyclone of an electron, a bacillus or an
  147. antitoxin, and everybody wonders why it had not been thought of before.
  148.  
  149. %A J.B.S. Haldane
  150. %T The Future of Biology
  151. %B oN BEinG THE rIGht SiZe and other Essays
  152. %O Oxford Univ. Press
  153. %C Oxford, England
  154. %D 1985
  155. %X Also good for "What 'Hot' means" (terminology) and pseudo science essays.
  156.  
  157.                    ^ A  
  158.                 s / \ r                
  159.                m /   \ c              
  160.               h /     \ h            
  161.              t /       \ i          
  162.             i /         \ t        
  163.            r /           \ e      
  164.           o /             \ c    
  165.          g /               \ t  
  166.         l /                 \ u
  167.        A /                   \ r
  168.         <_____________________> e   
  169.                 Language
  170.