home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / text / wnbn2a.zip / WNBN2A.TXT
Text File  |  1993-06-23  |  13KB  |  301 lines
  1. This message is being posted in the following Compuserve 
  2. forums/sections:
  3.  
  4. OS2USER: Sections 01,15
  5. PSPBETA: Section  16
  6. WINNT:   Section  02
  7. CANOPUS: Sections 06,12
  8.  
  9. PURPOSE:
  10.  
  11. The purposes of this message are:
  12.  
  13. 1. Promote the sharing of the information in WINBN2.TXT.  WINBN2.TXT 
  14. is a file available for downloading from Compuserve Forum OS2USER 
  15. Section 01: OS/2 Public Image.  WINBN2.TXT includes the first 
  16. *multitasking benchmarks* comparing the March 1993 beta releases of
  17. OS/2 2.1 and Windows NT.  The benchmarks were carried out by Timothy 
  18. Sipples, author of the OS/2 Frequently Asked Questions (FAQ) list.
  19.  
  20. THE MULTITASKING BENCHMARKS SHOW WINDOWS NT's PERFORMANCE RATINGS TO 
  21. BE ABOUT 75 PERCENT OF OS/2 2.1's PERFORMANCE RATINGS.
  22.  
  23. 2. Show a method by which multitasking performance of OS/2 2.1 and 
  24. Windows NT can be benchmarked and compared.  This should be of value 
  25. to both users and the trade press.
  26.  
  27. 3. Share analysis and interpretations of the benchmarking results that
  28. raise open issues for future benchmarking such as:
  29.  
  30. a. What is the relative efficiency of message passing kernel operating
  31. systems - which are highly portable - (e.g. Windows NT; Mach 3
  32. derivatives such as IBM Workplace OS, Taligent Pink and future
  33. microkernel versions of OSF Unix and USL System V.4.2 Unix) when
  34. compared to monolithic kernel operating systems - which are less
  35. portable or non-portable - (e.g. OS/2 2.X, Microsoft Windows 4.0,
  36. (aka Chicago) and current monolithic kernel versions of Unix)?
  37.  
  38. b. How appropriate is it to run message passing kernel operating 
  39. systems on Intel X86 microprocessors as compared to running these same
  40. operating systems on the new generation of RISC microprocessors?
  41.  
  42. c. How does the performance of a particular message passing kernel
  43. operating system or a monolithic kernel operating system scale as more
  44. and more processors are added to symmetric multiprocessor (SMP)
  45. configurations?
  46.  
  47. BENCHMARK ANALYSIS
  48.  
  49. The hardware used for these benchmarks was an IBM PS/2 Model 56
  50. with 486SLC2-20/40 microprocessor, 12 MB RAM, 160 MB SCSI hard disk
  51. (16msec)and integrated 16 bit VGA display adapter.  The use of the VGA
  52. display adapter should minimize biases toward either operating system
  53. during benchmarking since both OS/2 2.1 and Windows NT should have 
  54. well tested device drivers for VGA.
  55.  
  56. The multitasking benchmark involves four components:
  57.  
  58. 1.  The first component of the benchmark is the singletasking
  59. performance of each operating system as measured by WinTach, a Win16
  60. benchmark.  Higher number means better performance.  Numbers are
  61. expressed as a multiple over a baseline system.
  62.  
  63. The results were:
  64.  
  65.    Component          OS/2  Full Screen    Win NT Full Screen  Ratio
  66.  
  67.    Word Processing          2.23                  1.89          0.85
  68.    CAD/Draw                 1.84                  3.11          1.69
  69.    Spreadsheet              2.08                  1.9           0.91
  70.    Paint                    2.33                  1.98          0.85
  71.  
  72.    Overall RPM              2.12                  2.22          1.05
  73.  
  74. The ratio shows the rating for Windows NT divided by the rating for
  75. OS/2 2.1.
  76.  
  77. Analysis of component 1:
  78.  
  79. The word processing, spreadsheet and paint components have better
  80. performance under OS/2 2.1.  The CAD/Draw component has better
  81. performance under Windows NT.  Because of the weight on CAD/Draw in
  82. determining the composite rating, Windows NT has a higher composite
  83. rating.
  84.  
  85. Windows NT has three radio button choices for determining the balance
  86. of resources applied to foreground task versus background task.  These
  87. radio buttons are found by selecting the sequence: Control Panel ->
  88. System -> Tasking.  The choices are:
  89.  
  90. o Best Foreground Application Response Time (referred to as "Best").
  91.  
  92. o Foreground Application More Responsive Than Background Application.
  93.  
  94. o Foreground and Background Applications Equally Responsive (referred
  95. to as "Equal").
  96.  
  97. The benchmark document does not specify which value was selected for
  98. the WinTach singletasking test, however it was probably "Best."
  99.  
  100. 2.  The second component of the benchmark is singletasking of a batch
  101. file COUNTER.BAT.  The batch file reads:
  102.  
  103. @echo on
  104. cls
  105. c:
  106. cd\
  107. echo A > counter.fil
  108. :loop
  109. type temp.txt > temp1.txt
  110. xcopy temp1.txt temp.txt
  111. del temp1.txt
  112. echo A  >> counter.fil
  113. goto loop
  114.  
  115. The file temp.txt was constructed using the following command:
  116.  
  117. dir d:\ /s > temp.txt
  118.  
  119. The OS/2 2.1 beta code was the only software installed on the d:
  120. drive.
  121.  
  122. On each cycle of the loop, the length of COUNTER.FIL increases by 4
  123. bytes (one byte each for the letter A, a space, a carriage return and a
  124. line feed).
  125.  
  126.  
  127.    COUNTER.FIL Length     OS/2 2.1             Win NT
  128.  
  129.    Full Screen DOS Sess.  236 bytes            164 bytes
  130.  
  131.    Windowed DOS Session   164 bytes            164 bytes
  132.  
  133. Analysis of component 2:
  134.  
  135. OS/2 outperforms Windows NT using a Full Screen DOS Session on both
  136. systems and the two operating systems have equal performance when using
  137. Windowed DOS sessions.
  138.  
  139. 3.  The third component of the benchmark is running COUNTER.BAT in the
  140. background and WinTach in the foreground.  In this run, Windows NT
  141. tasking is set to "Best Foreground Application Response Time," i.e.
  142. "Best."
  143.  
  144. This is performed on both systems by the following procedure.  WinTach
  145. was loaded and made ready to go.  COUNTER.BAT was started, then WinTach
  146. was started.  As soon as WinTach displayed the final screen (reporting
  147. the benchmark figures), a switch was made to the COUNTER.BAT session
  148. and it was immediately terminated.  The author of the benchmarks
  149. estimates that this method can produce errors in the range of plus or
  150. minus four iterations (16 bytes).
  151.  
  152. The author of the benchmarks used this method with COUNTER.BAT in Full
  153. Screen and Windowed DOS sessions.  The results were quite close.  For
  154. the sake of brevity, I am showing only the COUNTER.BAT Full Screen DOS
  155. session data.
  156.  
  157.    Component       OS/2 2.1 Full Screen    Win NT Full Screen  Ratio
  158.  
  159.    Word Processing          1.48                  1.88          1.27
  160.    CAD/Draw                 1.24                  3.07          2.41
  161.    Spreadsheet              1.47                  1.88          1.28
  162.    Paint                    1.62                  1.96          1.21
  163.  
  164.    Overall RPM              1.45                  2.20          1.52  
  165.    COUNTER.BAT Bytes      388                    20             0.05
  166.  
  167. Analysis of component 3:
  168.  
  169. These benchmarks show that WinTach performance under OS/2 2.1 loads
  170. down when multitasking.  On the other hand, using the "Best" setting,
  171. the background task gets little or no resources.  In other words, in
  172. the "Best" setting, Windows NT seems to be a singletasking operating
  173. system.
  174.  
  175. 4.  The fourth and final component of the benchmark is running
  176. COUNTER.BAT in the background and WinTach in the foreground.  In this
  177. run, Windows NT tasking is set to "Foreground and Background
  178. Applications Equally Responsive," i.e. "Equal."
  179.  
  180. The sequence of events is exactly as described in component 3 above.
  181.  
  182.    Component       OS/2 2.1 Full Screen    Win NT Full Screen  Ratio
  183.  
  184.    Word Processing          1.48                  0.73          0.49
  185.    CAD/Draw                 1.24                  1.65          1.33
  186.    Spreadsheet              1.47                  1.01          0.69
  187.    Paint                    1.62                  0.82          0.51
  188.  
  189.    Overall RPM              1.45                  1.05          0.72  
  190.    COUNTER.BAT Bytes      388                   308             0.79
  191.  
  192. Analysis of component 4:
  193.  
  194. This component shows "Foreground and Background Applications Equally
  195. Responsive" (i.e. ratios of 0.72 and 0.79 compared to OS/2 2.1) just 
  196. as the Windows NT "Equal" radio button states.
  197.  
  198. HOWEVER, THE PERFORMANCE RATINGS FOR WINDOWS NT ARE ABOUT 75 PERCENT 
  199. OF THE PERFORMANCE RATINGS FOR OS/2 2.1.
  200.  
  201. 1.  The first interpretation from these benchmarks that I propose 
  202. for discussion is that, in this test, Windows NT has about 75 percent
  203. of the performance of OS/2 2.1.
  204.  
  205. In other words, tradeoffs exist between benefits and costs of various 
  206. operating systems.  The portability of Windows NT in comparison to 
  207. OS/2 2.1 is a benefit. The cost of this benefit is the reduced
  208. performance of Windows NT in comparison to OS/2 2.1.
  209.  
  210. This seems to be in agreement with information that I previously
  211. received on the Fidonet Operating System Debate Conference from 
  212. someone named Thomas McWilliams.  He wrote:
  213.  
  214. "There is no way NT is going to outperform OS/2 on current Intel 
  215. hardware.  NT is a message passing kernel that relies on separate 
  216. servers for almost all services.  Because of the complexity of the 
  217. data structures that have to be maintained, NT has to manipulate many 
  218. more data structures in order to perform a comparable task than would 
  219. be necessary under a more traditional kernel such as OS/2."
  220.  
  221. "Because of the dearth of registers on the Intel CPU, these data 
  222. pointers must continually be re-loaded from core.  This is a 
  223. tremendous overhead.  This is not an NT fault per se, but rather a 
  224. fault of the hardware/software mismatch between Intel X86 architecture
  225. and a complex message passing kernel.  By the same token, OS/2--Mach 
  226. will not perform as well as the current OS/2 monolithic kernel on a 
  227. given Intel X86 machine."
  228.  
  229. 2.  The second interpretation from these benchmarks that I propose 
  230. for discussion is that the performance difference confirms Thomas
  231. McWilliams' statement.
  232.  
  233. 3.  The third interpretation from these benchmarks that I propose for 
  234. discussion is that heavier loads most likely will show a larger
  235. performance difference between Windows NT and OS/2 2.1.  This is 
  236. simply extending Thomas McWilliams' ideas and asking "what happens as
  237. a single processor (especially one with few registers like an X86) has
  238. to handle more and more tasks and a wider and wider variety of tasks?"
  239.  
  240. This third interpretation suggests that careful benchmarking under
  241. real load conditions must be done when evaluating operating systems on
  242. various platforms.
  243.  
  244. 4.  The fourth interpretation from these benchmarks that I propose 
  245. for discussion is that users should expect that it is better to run
  246. message passing kernel operating systems on RISC microprocessor
  247. platforms than on Intel X86 platforms.  Therefore users who are
  248. considering Windows NT and other message passing kernel operating
  249. systems will have to consider purchasing new and different hardware. 
  250. This will probably lengthen project schedules and add new forms of
  251. project risk.
  252.  
  253. 5.  The fifth interpretation that I propose for discussion is that 
  254. message passing kernel operating systems on SMP hardware may not be 
  255. the "magic bullet" that the trade press has suggested.
  256.  
  257. I have asked systems engineers at both IBM and NCR about the relative
  258. performance contribution of the processors in an N+1 processor SMP 
  259. system.  They agree that the 2nd through N+1st processors achieve at 
  260. most 80 percent of the performance of the first processor.  What is 
  261. the implication for the relative performance of a single processor 
  262. OS/2 2.1 system (scale performance so this counts as 1 unit) and an
  263. SMP Intel X86 system under Windows NT?  As measured in the benchmark, 
  264. the first processor of the SMP Intel X86 system under Windows NT is 
  265. 0.75 units of performance (related to OS/2 2.1).  Each of the 2nd
  266. through N+1st processors contribute 0.8 * 0.75 =0.60 units of
  267. performance.  Therefore a two processor SMP Intel X86 system under 
  268. Windows NT is 0.75 + 0.6 = 1.35 units of performance.  Furthermore, a 
  269. three processor SMP Intel X86 system under Windows NT is 1.35 + 0.6 = 
  270. 1.95 units of performance.  This analysis concludes that a three 
  271. processor SMP Intel X86 Windows NT system is required to double the 
  272. performance of a one processor OS/2 2.1 system.  At the Windows NT 
  273. launch event on May 24, 1993 I asked an Intel employee how long it 
  274. takes Intel to double the performance of the X86 processor that it 
  275. sells for a given price.  The reply was that Intel doubles the 
  276. performance of its chips at a given price in 18 months.
  277.  
  278. Therefore, if time is on the side of the project manager, it is
  279. possible to wait for processor improvements and to run OS/2 2.1 or 
  280. some other monolithic kernel operating system.  This will be less
  281. expensive than buying an SMP system.  This also suggests that the real
  282. market for Windows NT SMP systems is configurations with 6 or more
  283. processors.  This would give 4 times the performance of a single
  284. processor monolithic kernel operating system.
  285.  
  286. 6.  The sixth interpretation that I propose for discussion is that 
  287. users who believe that they need SMP performance should benchmark SMP 
  288. versions of monolithic kernel operating systems.  I believe 
  289. that examples of such operating systems include NCR SMP Unix, Sequent 
  290. Dynix and the SMP extensions to OS/2 2.X that IBM demonstrated at 
  291. Comdex.  The IBM extensions will enter beta test later this year. 
  292. According to a message from Steve Woodard of IBM, the current 
  293. expectation is that these extensions will be able to support 16 
  294. microprocessors.
  295.  
  296. Thank you for reading this message.
  297.  
  298. Best wishes.
  299.  
  300. Jonathan Handler
  301.