home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #19 / NN_1992_19.iso / spool / comp / benchmar / 1352 < prev    next >
Encoding:
Internet Message Format  |  1992-09-01  |  3.4 KB
  1. Path: sparky!uunet!olivea!decwrl!usenet.coe.montana.edu!rpi!uwm.edu!ogicse!borasky
  2. From: borasky@ogicse.ogi.edu (M. Edward Borasky)
  3. Newsgroups: comp.benchmarks
  4. Subject: Regression analysis
  5. Message-ID: <42239@ogicse.ogi.edu>
  6. Date: 1 Sep 92 20:56:48 GMT
  7. References: <1992Aug20.160352.13856@nas.nasa.gov> <1992Aug23.114309.3643@nosc.mil> <1992Aug26.160240.20114@murdoch.acc.Virginia.EDU> <1992Aug31.002356.24988@nosc.mil> <Btwo88.4v0@nntp-sc.Intel.COM>
  8. Distribution: comp.benchmarks
  9. Organization: Oregon Graduate Institute (formerly OGC), Beaverton, OR
  10. Lines: 58
  11.  
  12. In article <Btwo88.4v0@nntp-sc.Intel.COM> jwreilly@mipos2.UUCP (Jeffrey Reilly) writes:
  13. >...
  14. >used a regression analysis to derive the following equation:  
  15. >    SPECmark = (0.77 x mips) + (0.70 x mflops) - 3.27.   
  16. Question: Where do the MIPS and MFLOPS numbers come from?
  17.  
  18. >SPEC's initial thought was to take the marketing philosophy that
  19. >there is no such thing as bad publicity, and ignore the article. 
  20. Is this "marketing philosophy" meant to imply that those in 
  21. marketing have this philosophy?
  22.  
  23. >A SINGLE NUMBER FOR THE PRESS   
  24. >SPEC has always acknowledged that system performance couldn't be
  25. >accurately represented by a single number.  ...
  26. > ... Only in consideration of the
  27. >press, did SPEC generate a composite of the 10 numbers, the
  28. >SPECmark.
  29. Seems pretty inconsiderate to me to hold that performance can't
  30. be accurately represented by a single number, then create one
  31. "in consideration of the press."  Single numbers are created
  32. because people ask for them.  Averages are created because
  33. people don't trust peak speeds.  It would be nice if SPEC could
  34. estimate the appropriate-dimensional Amdahl's Law surfaces for
  35. their benchmarks; if they ask me (REAL NICELY) I'll show them how 
  36. to do it.  In the absence of this kind of analysis, an average
  37. (with appropriate confidence limits, which I can also show them
  38. how to do) seems to be a pretty reasonable representation of relative
  39. computer performance, especially when dealing with commercially-
  40. successful systems which are, since they ARE commercially successful,
  41. by nature balanced for reasonably common workloads.
  42.  
  43. I went through all this stuff several years ago; I went around and 
  44. around with all of these issues and I found things that worked.
  45. Admittedly, I was dealing with the simpler case of supercomputers:
  46. CPU bound applications, performance measured in megaflops.  And I
  47. was working in a marketing organization at the time.
  48.  
  49. >REGRESSION ANALYSIS   
  50. >A regression analysis in some fields seems to be a reasonable way
  51. >to estimate future values.  Horse racing, weather predicting, and
  52. >computer performance predictions seem to fall outside the
  53. >predictive capabilities of this tool.
  54.  
  55. 1. For sprint races, where raw speed is the most important
  56. factor, you can ALMOST make a profit by betting on the horse
  57. (or DOG) with the lowest AVERAGE time for the given race 
  58. length.  It has a considerably better expectation than the ball-
  59. type lotteries, Las Vegas slot machines or buying call options
  60. on Intel in a bear market.
  61.  
  62. 2. Least squares techniques are one of many methods used in
  63. computational fluid dynamics, including weather forecasting.
  64.  
  65. 3. I use non-linear regression to predict supercomputer performance
  66. by fitting Amdahl's Law curves to benchmark data.  It works.  It's
  67. a little more complicated than the above-noted formula, but it works.
  68. The more data points I have the better it works.  I can show other
  69. people how to do it.  
  70.