home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / os / os2 / misc / 39266 < prev    next >
Encoding:
Internet Message Format  |  1992-12-14  |  10.9 KB
  1. Path: sparky!uunet!zaphod.mps.ohio-state.edu!caen!destroyer!cs.ubc.ca!unixg.ubc.ca!duffy
  2. From: duffy@theory.chem.ubc.ca (Pat Duffy)
  3. Newsgroups: comp.os.os2.misc
  4. Subject: Repost of Win-OS/2 3.1 benchmarks.
  5. Date: 14 Dec 1992 08:50:08 GMT
  6. Organization: University of British Columbia, Vancouver, B.C., Canada
  7. Lines: 209
  8. Distribution: world
  9. Message-ID: <1ghhs0INNce7@iskut.ucs.ubc.ca>
  10. NNTP-Posting-Host: theory.chem.ubc.ca
  11.  
  12. This was originally posted a couple of days ago by Tim Sipples.  I have
  13. seen a few people request a repost, so here it is.  The results are very
  14. (very) surprising.
  15.  
  16. BENCHMARKING Windows and OS/2
  17. December 11, 1992
  18. by Timothy F. Sipples
  19.  
  20. [This message is available as file winbench.txt, available via
  21. anonymous ftp from ftp-os2.nmsu.edu on the Internet.  Followups may be
  22. directed to comp.os.os2.misc, but please redirect subsequent followups
  23. to comp.os.os2.advocacy as content warrants.]
  24.  
  25. The following is a summary of results of the PC Magazine Winbench
  26. Version 2.51 benchmarking software when run under Windows 3.1 on
  27. DOS 5.02, Windows 3.1 NT (October public beta, CD-ROM), and OS/2 2.0x
  28. (November Professional Developer's Kit CD-ROM, the third public Win-OS/2
  29. 3.1 beta).
  30.  
  31. Note that Microsoft does not recommend using NT currently for performance
  32. benchmarking.  Also please note that these are a first set of
  33. benchmark figures for one particular benchmark.  I hope to have numbers
  34. on a mixed sample Excel macro and on a disk I/O test.  However, these
  35. numbers may be instructive.
  36.  
  37. Insofar as possible an effort was made to compare apples to apples.
  38. Tests were conducted by IBM under the supervision of another customer
  39. and myself.
  40.  
  41. The hardware consisted of an IBM PS/2 Model 95 with an 80486DX 33 MHz
  42. processor, 16 MB of RAM, XGA(-1) graphics adapter, and a 320 MB, 12 ms
  43. SCSI hard drive.  (Aside from the addition of a CD-ROM drive and
  44. SoundBlaster adapter, this machine was a stock Model 95, including
  45. a busmastering 32-bit SCSI cache adapter.  A standard PS/2 mouse was
  46. attached and was not moved while the benchmark was running.)  (Other
  47. tests were performed on an IBM PS/2 Model 57 with standard VGA for
  48. comparison.  These results are outlined in brief, below.)
  49.  
  50. Note that Winbench measures graphics performance using the default
  51. weighting system from PC Magazine (and not set by IBM).  As such, the
  52. hard disk details are not particularly relevant, since disk I/O
  53. throughput is not being measured.  (With luck, I will try to obtain
  54. those results and release them in the near future.)  Winbench runs
  55. entirely from memory, so disk I/O is not a factor.  This benchmark
  56. measures pure graphics performance.  However, on the slightest chance
  57. that disk I/O would skew any results, Winbench was loaded from the
  58. same location on disk for performance measurement under each operating
  59. system (environment).  Also, just for the record, the hard disk was
  60. partitioned with 200 MB to OS/2 2.0x and 100 MB to Windows NT and
  61. Windows 3.1 on DOS 5.02.  All partitions were FAT.  To install Windows NT
  62. Beta and OS/2 2.0x on the same hard disk required zeroing out the ID
  63. of the OS/2 Boot Manager partition.  Windows NT Beta includes a specific
  64. check which is deliberately designed to refuse installation if OS/2
  65. Boot Manager is present on the hard disk.  (OS/2 2.0x includes no such
  66. NT check.)  Zeroing out the Boot Manager ID renders NT Beta installable
  67. while preserving OS/2 Boot Manager capabilities.
  68.  
  69. All system defaults at install time were used.  (Exception: OS/2 2.0x
  70. had PRIORITY_DISK_IO set to NO, FILES=100, and PRINTMONBUF=402,0,0.
  71. These settings are disk and printing related and do not impact Winbench.
  72. Also, DOS was loaded HIGH for the OS/2 2.0x DOS sessions, but every other
  73. default was retained for the Win-OS/2 sessions.  The DOS HIGH setting
  74. also should not impact Winbench.  DOS HIGH was the default on the other
  75. two.)  Winbench was the only task running on each system when run.
  76.  
  77. Windows 3.1 on DOS 5.02 was installed with SMARTDRV using all default
  78. install time settings.  Windows NT was installed with all default settings.
  79. All used 1024x768 in 256 colors for their desktops.
  80.  
  81. [The "Optimized" OS/2 2.0 figure consists of the following changes to the
  82. session's DOS Settings: VIDEO_RETRACE_EMULATION from ON to OFF, EMS zeroed/
  83. disabled, XMS_MEMORY_LIMIT to 64K, IDLE_SENSITIVITY to 100, DDE and
  84. Clipboard changed from Public to Private, and VIDEO_8514A_XGA_IOTRAP from
  85. ON to OFF.  These changes were made more to satisfy my curiosity than
  86. anything else.]
  87.  
  88. Winbench supplies a final index number called the Graphics WinMark.  This
  89. figure is the one presented below.
  90.  
  91. As a baseline comparison, Windows 3.1 on DOS 5.0 on a Compaq 386/25e
  92. running with standard VGA at 640x480 in 16 colors generates 1,676,475
  93. WinMarks.  (The higher the number of WinMarks, the faster the graphics
  94. performance.)
  95.  
  96. Double trials were run in certain cases when the results seemed
  97. surprising.  These double trials also give a sense of the small
  98. variance inherent in the Winbench benchmark.
  99.  
  100. Here are the results:
  101.  
  102. Windows 3.1 on DOS 5.02, 386 Enhanced Mode        4,154,629
  103. Windows 3.1 on DOS 5.02, Standard Mode            4,149,752
  104. OS/2 2.0x, Full Screen Win-OS/2                5,523,993
  105. OS/2 2.0x, FS Win-OS/2, "Optimized" (two trials)    5,600,009
  106.                             5,585,557
  107. OS/2 2.0x, "Seamless" Win-OS/2                NOT TESTED
  108.     (Winbench does not operate under the current Win-OS/2 beta in
  109.     "seamless" mode.)
  110. Windows NT (two trials)                    1,146,638
  111.                             1,147,051
  112.  
  113. Exact numbers are not available to me yet, but on a stock IBM PS/2
  114. Model 57 with 16 MB of RAM and standard VGA, the relative Winmarks
  115. were approximately as follows:
  116.  
  117. Windows 3.1 on DOS 5.02                    100%
  118. OS/2 2.0x, FS Win-OS/2, Not "Optimized"            95%
  119. Windows NT Beta                        40%
  120.  
  121.  
  122. PRELIMINARY CONCLUSIONS
  123.  
  124. The major surprise to me was the sluggish graphics performance in
  125. Windows NT Beta, which is borne out by subjective perceptions as well.
  126. (I was heard to exclaim, "This is much faster" when the switch was
  127. made from Windows NT Beta to Windows 3.1 on DOS 5.02.)
  128.  
  129. At first I suspected that the peculiarity was confined to the XGA
  130. driver (perhaps a particularly bad implementation).  But the VGA numbers
  131. seem to confirm that it isn't a driver issue (although it does point
  132. out that OS/2 takes good advantage of busmastered coprocessed video).
  133. (As another reference point, Windows 3.1 on DOS 5.02 generated 3,187,612
  134. Winmarks on the same IBM Model 95 when it was dropped down to VGA
  135. 640x480 16 color mode.  Thus, Windows 3.1 on DOS benefits from XGA as
  136. well.)  The Model 57 (not the 486SLC model, which was not tested) uses
  137. relatively slow, vanilla VGA hardware, and yet NT Beta suffers dramatically
  138. while OS/2 holds its own with Windows 3.1 for DOS, so it seems that
  139. OS/2's good showing is not due to any peculiarity with XGA.
  140.  
  141. In any event, the clearest conclusion one can draw from these numbers,
  142. it seems, is that Windows NT Beta has a long way to go toward even
  143. coming close to the graphics performance in either OS/2 2.0x Win-OS/2
  144. or Windows 3.1 on DOS.
  145.  
  146. One might argue that these numbers are based on a 16-bit Windows
  147. benchmark, and that NT might really shine with a 32-bit benchmark.
  148. Perhaps true, but when benchmarking one must try and relate the
  149. benchmarks back to reality.  The vast installed base of PC software
  150. is 16-bit, and as users migrate to a new 32-bit operating system they
  151. will carry with them lots of 16-bit software.  It will be some time,
  152. even under the rosiest scenarios, before any large portion of that
  153. software base is replaced with the 32-bit versions.  And that 32-bit
  154. version could just as easily (if not more easily, since OS/2 2.0 has
  155. been a released, shrinkwrapped product for many months with hundreds
  156. of shipping 32-bit applications) be an OS/2 2.0 32-bit application as
  157. it could be a Windows NT 32-bit application.
  158.  
  159. One might also argue that running Win-OS/2 full screen is overstating
  160. the OS/2 2.0x performance in relation to NT, since NT is doing something
  161. similar to OS/2 (in running Windows 16-bit applications "seamless") and
  162. since users will often run Windows applications "seamless" under OS/2 2.0x.
  163. Perhaps, and while the seamless Win-OS/2 numbers are not presented above,
  164. at least OS/2 2.0x gives the option of providing a mode which executes
  165. existing 16-bit Windows applications as fast as possible (in a desktop which
  166. is just like Windows for DOS -- or Windows NT, for that matter -- namely
  167. with a full screen Windows desktop) as well as the lower performance,
  168. "seamless" mode.  NT does not offer both modes of operation -- there is
  169. but one desktop.
  170.  
  171. Then there is the issue of standard v. enhanced mode, and OS/2's capabilities
  172. in running applications which require WINMEM32.DLL.  The benchmark numbers
  173. were provided for Windows 3.1 in Standard Mode on DOS 5.02, for comparison,
  174. so that apples can be compared to apples.  (In certain areas, Windows 3.1
  175. Standard Mode is faster than 386 Enhanced Mode, but this is not reflected in
  176. this particular benchmark.)  The services provided by WINMEM32.DLL
  177. will not be available under Windows NT -- such applications will not run in
  178. the future under either operating system.  This consideration is important when
  179. comparing the ease with which one can migrate to a 32-bit operating system.
  180. (The version of OS/2 2.0x under consideration can run with Windows real
  181. mode and Windows 3.0 kernels, as an option, simultaneously with the Windows
  182. 3.1 kernel, to provide better backward compatibility than Windows 3.1.)
  183.  
  184. These results are preliminary and based on beta code.  And the Winbench
  185. measure has its flaws.  However, without dramatic performance improvements
  186. in Windows NT, OS/2 2.0 seems to offer dramatically better performance for
  187. the large library of 16-bit Windows 2.x and 3.x applications, thus protecting
  188. that substantial software investment.  With XGA, OS/2 2.0x even outpaces
  189. Windows 3.1 for DOS in raw graphics performance, as measured in Winmarks.
  190. Windows NT Beta, on the other hand, when running on a speedy PS/2 Model 95,
  191. lags well behind even the baseline Compaq 386/25e in standard VGA, which is
  192. a system that is roughly half the speed of the Model 95 in almost every
  193. dimension.
  194.  
  195. Note also that these tests were conducted on a 16 MB system, which, if anything,
  196. skews the results in favor of Windows NT Beta.  The results may
  197. well have been even more striking with an 8 MB system, a more typical memory
  198. configuration.  Windows NT Beta suffers performance problems on "low" RAM
  199. configurations (and, in this case, 8 MB qualifies).  OS/2 2.0x, on the other
  200. hand, is very comfortable with such a RAM configuration.  Winbench, when
  201. running on such a "constrained" system, may well have caused NT to page, thus
  202. impacting the results.
  203.  
  204. I hope my description of the methodology used was clear, and I hope to be
  205. providing additional numbers in the near future.
  206.  
  207. T.F.S.
  208.  
  209. -- 
  210. Timothy F. Sipples      | Read the OS/2 FAQ List 2.0h, available from
  211. sip1@ellis.uchicago.edu | 128.123.35.151, anonymous ftp, in /pub/os2/all/info
  212. Dept. of Econ., Univ.   | /faq, or from LISTSERV@BLEKUL11.BITNET (send "HELP")
  213. of Chicago, 60637       | [Read the List, THEN post to ONE OS/2 newsgroup.]
  214.  
  215.  
  216. -- 
  217. Patrick Duffy, duffy@theory.chem.ubc.ca 
  218.  
  219. "It's raining cats?  You open the skylight, I'll get the relish."
  220.                 -- Alf
  221.