home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / benchmar / 1305 < prev    next >
Encoding:
Internet Message Format  |  1992-08-14  |  2.4 KB
  1. Path: sparky!uunet!europa.asd.contel.com!darwin.sura.net!mips!swrinde!elroy.jpl.nasa.gov!ames!riacs!pioneer.arc.nasa.gov!lamaster
  2. From: lamaster@pioneer.arc.nasa.gov (Hugh LaMaster)
  3. Newsgroups: comp.benchmarks
  4. Subject: Re: Geometric Mean or Median
  5. Message-ID: <1992Aug14.155857.6561@riacs.edu>
  6. Date: 14 Aug 92 15:58:57 GMT
  7. References: <PRENER.92Aug9220648@prener.watson.ibm.com> <1992Aug12.012620.3441@nosc.mil> <1992Aug12.172209.3108@nas.nasa.gov> <Aug14.142126.38458@yuma.ACNS.ColoState.EDU>
  8. Sender: news@riacs.edu
  9. Distribution: comp.benchmarks
  10. Organization: RIACS, NASA Ames Research Center
  11. Lines: 38
  12.  
  13. In article <Aug14.142126.38458@yuma.ACNS.ColoState.EDU>, shafer@CS.ColoState.EDU (spencer shafer) writes:
  14. |> 
  15. |> 
  16. |> Having joined this in midstream, I risk repeating some information.  If
  17. |> so, my apologies in advance.  A discussion of this, and an offered proof
  18. |> of the geometric mean as preferred method is in the March 1986 issue of 
  19. |> Communications of the ACM, "How Not to Lie With Statistics: The Correct
  20. |> Way to Summarize Benchmark Results," by Fleming and Wallace.
  21.  
  22.  
  23.  
  24. Yes, and there was a rebuttal to this "proof" in CACM by, I believe,
  25. J.E. Smith, in October of 1988.  {If I have the reference correct,}
  26. it is proved that the harmonic mean is the correct measure of rates, 
  27. if you want to examine a fixed workload and characterize the performance
  28. on that workload.  Fleming and Wallace missed the point, IMHO, of a lot
  29. of things, including Amdahl's law.  Always use the harmonic mean of rates
  30. unless you have a specific reason not to.
  31.  
  32.  
  33.  
  34. I was glad to see that Gordon Bell provided the "LFK(hm)" column in the
  35. performance summary of his recent article in CACM, since this is the
  36. harmonic mean of an untuned workload of Livermore Loops.  This is the one
  37. of the many possible measures, which I find most meaningful when comparing 
  38. raw floating point performance.  It tends to be pessimistic with respect
  39. to tuned rates on vector machines by perhaps a factor of 3 or 4, but it
  40. is rather realistic when looking at untuned rates.
  41.  
  42. ("raw" -- that is, a first cut, before you do some "real" benchmarking :-)
  43.  
  44.  
  45.  
  46. -- 
  47.   Hugh LaMaster, M/S 233-9,     UUCP:      ames!lamaster
  48.   NASA Ames Research Center     Internet:  lamaster@ames.arc.nasa.gov
  49.   Moffett Field, CA 94035-1000  Or:        lamaster@george.arc.nasa.gov 
  50.   Phone:  415/604-1056                     #include <usenet/std_disclaimer.h> 
  51.