home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / benchmar / 1183 < prev    next >
Encoding:
Internet Message Format  |  1992-07-23  |  8.8 KB
  1. Path: sparky!uunet!darwin.sura.net!mips!pacbell.com!lll-winken!lll-crg.llnl.gov!mcmahon
  2. From: mcmahon@lll-crg.llnl.gov (Frank McMahon)
  3. Newsgroups: comp.benchmarks
  4. Subject: Proposal To Correct Deficiencies In "Livermore Loops in C"
  5. Message-ID: <131316@lll-winken.LLNL.GOV>
  6. Date: 24 Jul 92 00:08:34 GMT
  7. Sender: usenet@lll-winken.LLNL.GOV
  8. Organization: Lawrence Livermore National Laboratory
  9. Lines: 211
  10. Nntp-Posting-Host: lll-crg.llnl.gov
  11.  
  12.  
  13.  
  14.  
  15.  
  16.   TO:       Computational Benchmark Colleagues
  17.   FROM:     Frank McMahon      ( author of Livermore Loops, aka LFK Test)
  18.                                  Lawrence Livermore National Laboratory
  19.                                  P.O. Box 808,  L-35
  20.                                  Livermore, CA. 94550
  21.                                  USA
  22.  
  23.                                  MCMAHON3@LLNL.GOV
  24.                                  mcmahon@ocfmail.ocf.llnl.gov
  25.   SUBJECT:  Proposal To Correct Deficiencies in "Livermore Loops in C"
  26.   DATE:     92.07.17
  27.  
  28.  
  29.   In 1991 the "Livermore Loops in C" were transliterated from our
  30.   Fortran version (Copyright 1983 The Regents of the University
  31.   of California) by M.Fouts.  Unfortunately Mr. Fouts transliterated
  32.   an archaic 1984 version of my test-driver program.  In the past eight
  33.   years I upgraded my LFK test several times to overcome timing errors
  34.   caused by low resolution (.01 sec.) cpu-timers (e.g. UNIX/ETIME).
  35.   The obsolete 1984 LFK test program could cause significant
  36.   timing errors and inflated Mflop ratings on todays fast UNIX workstations
  37.   which, if not too large, might not arouse suspicion. I have noticed
  38.   inflated Mflop rates in several of the published C ratings compared to
  39.   our upgraded Fortran version,  especially the HP PA ratings (see below).
  40.   This erroneous inflation is the most likely cause of the speed advantage
  41.   claimed for C by M.Fouts.
  42.  
  43.   Since 1984 I have upgraded measurements of the cpu-timer resolution and
  44.   the test overhead time using fully convergent methods.  Further, the entire
  45.   Livermore Loops test is run seven times to measure the experimental errors
  46.   for each of the 72 sample timings.  All measured errors are reported in
  47.   the output file to help users confirm the accuracy of the timings.
  48.   The 1984 version in C is deficient and thus unreliable.
  49.  
  50.   The repitition loops around each kernel in the 1984 version were modified
  51.   following some reports of erroneous code-hoisting by global optimizers.
  52.   In 1990 these repitition loops were submerged into function TEST beyond
  53.   the scope of optimizers so the code-samples are now bullet-proof.
  54.   (Mr. Fouts rediscovered this problem but continues to use the 1984 test.)
  55.   
  56.   In 1986 Greg Astfalk (AT&T) reprogrammed subroutine KERNEL containing
  57.   the 24 Fortran samples in C.  This C module can be linked with
  58.   the standard Fortran LFK test-driver program for testing under 
  59.   IDENTICAL benchmark conditions and accuracy as the Fortran samples benchmark.
  60.   (The order of array sub-scripts in the C version was not reversed and hence
  61.   the memory patterns and cache misses would differ from the Fortran version.)
  62.   Our comparisons of the performance of our C module with the Fortran version
  63.   show identical performance when the C and Fortran compilers share the same
  64.   machine code generator  -  a necessary identity check.
  65.    
  66.  
  67.  
  68.  
  69.  
  70.  
  71.  
  72.  
  73.  PROPOSAL
  74.  
  75.  Continued use of the unreliable 1984 version of the "Livermore Loops in C"
  76.  with the deficiencies noted above would be indefensible and harm the
  77.  reputation of our current, upgraded Livermore Loops Test.
  78.  We seek a constructive resolution of this problem.   
  79.  We must have ONE, standard test program spec for all language implementations
  80.  or test results will not be comparable with confidence and chaos will follow.
  81.  We would propose transliteration of our current, 1991 Fortran version into C.
  82.  Otherwise the two different versions must be distinguished by different names.
  83.  We would welcome a collaborative effort to assure the equivalence of
  84.  the Fortran and C versions,  the accuracy of timing measurements, and
  85.  the consistancy of reporting Mflop ratings.  We solicit your opinions.
  86.  
  87.  
  88.  
  89.  
  90. LFK STANDARD MFLOP RATINGS INTERPRETATION
  91.  
  92.  The principal goal of the Livermore Loops Test is to measure and report
  93.  a realistic performance range for diverse, cpu-bound computations and thus
  94.  avoid reductionism:  reducing the performance range to a single number.
  95.  We have used hardware monitors to correlate all of the LFK test averages 
  96.  with the degree of tuning of real application programs:
  97.  
  98.  
  99.         CORRELATION OF LFK TEST PERFORMANCE MEANS WITH LARGE WORKLOAD TUNING
  100.  
  101.         -------      --------      ----------     -----------------------
  102.         Type of      CRAY-YMP1     Fraction       Tuning of Workload
  103.         Mean         72 Samples    Flops in       Correlated with
  104.                      (MFlops)      Vector Ops     LFK Mean Performance
  105.         -------      --------      ----------     -----------------------
  106.  
  107.          2*AM          165.0           .97        Best applications
  108.  
  109.            AM           82.7           .89        Optimized applications
  110.  
  111.            GM           43.4           .74        Tuned workload
  112.  
  113.            HM           23.2           .45        Untuned workload
  114.  
  115.            HM(scalar)   12.4           .0         All-scalar applications
  116.         -------      --------      ----------     -----------------------
  117.         (AM,GM,HM  stand for Arithmetic, Geometric, Harmonic Mean Rates)
  118.  
  119.      The best central measure is the Geometric Mean(GM) of 72 rates because the
  120.      GM is less biased by outliers than the Harmonic(HM) or Arithemetic(AM).
  121.      CRAY hardware monitors have demonstrated that net Mflop rates for the
  122.      LLNL and UCSD tuned workloads are closest to the 72 LFK test GM rate.
  123.  
  124.  
  125.  
  126.  
  127.  
  128.  
  129.  
  130.  
  131.  
  132. LFK STANDARD NUMERICAL PERFORMANCE COMPARISIONS USING LFK TEST AVERAGES
  133.  
  134.           The range of speed-ups shown below as ratios of the performance
  135.       statistics has a very small variance compared with the enormous
  136.       performance ranges; the range of speed-ups are convergent estimates.
  137.  
  138.  
  139.  
  140.           TABLE OF SPEED-UP RATIOS OF LIVERMORE LOOPS MEAN RATES (72 Samples)
  141.  
  142.              (AM,GM,HM  stand for Arithmetic, Geometric, Harmonic Mean Rates)
  143.  
  144.  --------  ----  ------   -------- -------- -------- -------- -------- --------
  145.  SYSTEM    MEAN  MFLOPS   SX-3/14  YMP/1    9000/730 6000/540 SPARC 1+ i486/25
  146.  --------  ----  ------   -------- -------- -------- -------- -------- --------
  147.  
  148.  
  149.  NEC       AM=  311.820 :    1.000    3.986   17.030   22.006  194.396  271.148
  150.  SX-3/14   GM=   95.590 :    1.000    2.610    6.081    8.909   66.767   91.038
  151.  F77v.012  HM=   38.730 :    1.000    2.193    2.916    5.199   30.488   42.098
  152.            SD=  499.780
  153.  
  154.  
  155.  CRAY      AM=   78.230 :    0.251    1.000    4.273    5.521   48.770   68.026
  156.  YMP/1     GM=   36.630 :    0.383    1.000    2.330    3.414   25.585   34.886
  157.  CFT771.2  HM=   17.660 :    0.456    1.000    1.330    2.370   13.902   19.196
  158.            SD=   86.750
  159.  
  160.  
  161.  HP        AM=   18.310 :    0.059    0.234    1.000    1.292   11.415   15.922
  162.  9000/730  GM=   15.720 :    0.164    0.429    1.000    1.465   10.980   14.971
  163.  f77 8.05  HM=   13.280 :    0.343    0.752    1.000    1.783   10.454   14.435
  164.            SD=    9.680
  165.  
  166.  
  167.  IBM       AM=   14.170 :    0.045    0.181    0.774    1.000    8.834   12.322
  168.  6000/540  GM=   10.730 :    0.112    0.293    0.683    1.000    7.495   10.219
  169.  XL v0.90  HM=    7.450 :    0.192    0.422    0.561    1.000    5.865    8.098
  170.            SD=    9.590
  171.  
  172.  
  173.  SUN       AM=    1.604 :    0.005    0.021    0.088    0.113    1.000    1.395
  174.  SPARC 1+  GM=    1.432 :    0.015    0.039    0.091    0.133    1.000    1.364
  175.  f77 v1.4  HM=    1.270 :    0.033    0.072    0.096    0.171    1.000    1.381
  176.            SD=    0.741
  177.  
  178.  
  179.  COMPAQ    AM=    1.150 :    0.004    0.015    0.063    0.081    0.717    1.000
  180.  i486/25   GM=    1.050 :    0.011    0.029    0.067    0.098    0.733    1.000
  181.            HM=    0.920 :    0.024    0.052    0.069    0.123    0.724    1.000
  182.            SD=    0.480
  183.  
  184.  
  185.  
  186.  
  187.  
  188.  
  189.  
  190.  
  191.   Current Livermore Loops(aka LFK) source files are available from NISTLIB:
  192.  
  193.     1. Create a file(named beta) containing one line of text:
  194.  
  195.         send mflops24  from llnl
  196.  
  197.     2. E-mail file beta to:
  198.  
  199.         mail  nistlib@cmr.ncsl.nist.gov  <  beta
  200.  
  201.     3. NIST/libnet will return-mail the source-file:  mflops24
  202.  
  203.  
  204.         
  205.  
  206.                                 REFERENCES
  207.  
  208.                F.H.McMahon,   The Livermore Fortran Kernels:
  209.                A Computer Test Of The Numerical Performance Range,
  210.                Lawrence Livermore National Laboratory,
  211.                Livermore, California, UCRL-53745, December 1986.
  212.  
  213.         from:  National Technical Information Service
  214.                U.S. Department of Commerce
  215.                5285 Port Royal Road
  216.                Springfield, VA.  22161
  217.  
  218.                J.T. Feo,  An Analysis Of The Computational And Parallel
  219.                Complexity Of The Livermore Loops, PARALLEL COMPUTING
  220.                (North Holland), Vol 7(2), 163-185, (1988).
  221.  
  222.  
  223.