home *** CD-ROM | disk | FTP | other *** search
/ Simtel MSDOS 1992 June / SIMTEL_0692.cdr / msdos / zmodem / ptest.doc < prev    next >
Encoding:
Text File  |  1988-02-23  |  5.6 KB  |  133 lines
  1. Recent reviews of communications programs in PC Magazine and elsewhere
  2. failed to test the performance of the various programs under the stress
  3. of line disturbances, slow computers, or background operation.  To
  4. remedy this situation, here are the results of Omen Technology's
  5. Protocol Torture Tests run from time to time on various file transfer
  6. protocols and programs.
  7.  
  8. Anyone who questions the honesty or validity of these tests is invited
  9. to send a knowledgeable representative to Omen to monitor a repeat of
  10. the test(s) in question, and/or submit newer released versions of
  11. software for retest.  The test conditions are clearly described and easy
  12. to reproduce for the benefit of those who wish to repeat the tests.
  13.  
  14. Chuck Forsberg
  15. 503-621-3406
  16. Omen Technology INC
  17. 17505-V NW Sauvie IS RD
  18. Portland OR 97231
  19.  
  20.  
  21.         Protocol Stress Tests 7-5-87
  22.  
  23. Omen Technology is connected to a rural telephone exchange in Sauvie
  24. Island, a suburb of Portland Oregon.  This variability of phone line
  25. quality has led to an emphasis on protocol robustness.  The Omen
  26. Technology Protocol Stress Test simulates noise patterns seen on
  27. marginal telephone calls remarkably closely, given the random nature
  28. of line noise.
  29.  
  30. Sending Computer (TeleGodzilla BBS system): IBM PC, V-20, 8087,
  31. Maynard 10 MB hard disk, IBM CGA, B&W composite monitor, AST MegaPlus
  32. II multifunction board.  2400 bps modems.
  33.  
  34. Receiving Computer: QIC Labs AT Clone, 8mHz 0ws, Seagate 4051,
  35. Genoa Super EGA, Thompson UltraScan monitor.
  36.  
  37. The receiving modem was dialed into the sending modem (TeleGodzilla).
  38. Both lines were on the same exchange, and line hits in this
  39. configuration are rare.  Line noise was generated by a Radio Shack
  40. Duophone 145 connected in parallel with the receiving modem, pulse
  41. redialing the number 1-800-123-4567.  This generates "line hits"
  42. simulating those seen on marginal phone connections.
  43.  
  44. There has been some discussion about the relevance of such a test setup
  45. and the distribution of "line hits" it generates.  Line hits at short
  46. periodic intervals of less than a second or so (generated by clock
  47. slippage) are not well simulated, and only protocols with an extremely
  48. short minimum block length ( << 128) can function in such environments.
  49. This test is not that demanding; properly written XMODEM or XMODEM
  50. based protocols succeed most of the time, and the protocols that have the
  51. reputation among the bulletin boards of reliable operation under stress
  52. rarely fail this test.
  53.  
  54. The test file used in these tests was BBS_TEE.ARC (a BBS program that
  55. operates under Pro-YAM or ZCOMM), selected for its convenient 29960 byte
  56. length.  It is available for downloading from TeleGodzilla, but any .ARC
  57. file of about that length should give the same results.
  58.  
  59. Software:
  60. YAMK version 16.74 (ZMODEM, YMODEM), GT PowerComm Version 1221 (MEGAlink)
  61. Each computer was running the same communications software.  No TSRs
  62. were present.
  63.  
  64. Test#   PROT    Throughput Remarks
  65. 1       MEGALI     Failed    RX reported success at block 136
  66. 2       MEGALI     Failed    TX reported success at block 40, RX slow to abort
  67. 3       MEGALI     Failed    TX reported success at block 95
  68. 4       MEGALI      44 cps   Redials exhausted before transfer finished
  69. 5       MEGALI     Failed    TX reported success at block 88
  70. 1       YMODEM               Transfer successful, throughput not recorded
  71. 2       YMDM-k      86 cps   Transfer finished before redials exhausted
  72. 1       ZMODEM     122 cps   (z pt30 on RX) Transfer finished first
  73. 2       ZMODEM      91 cps   (z pt20 on RX) Transfer finished first
  74. 1       SK          82 cps   Pro-YAM to Pro-YAM Transfer finished first
  75. 2       SK          94 cps   (rx: k pt2) Pro-YAM to Pro-YAM XFER finished first
  76. 3       ZMODEM     120 cps   (z pt20 pW600 on RX) Transfer finished first
  77. 1       SK          50 cps   XTALK Mark IV to X4 Transfer finished first
  78.  
  79. Throughputs were reported by the receiving program. SK=Kermit Sliding Windows
  80.  
  81.         Protocol Stress Tests Performed 12-13-87
  82.  
  83. Configuration: As above except AT clone had a CGA clone board instead of
  84. EGA clone.  Same BBS_TEE.ARC file.  As before, transfers were at 2400 bps.
  85.  
  86. Software:
  87. YAM.EXE 17.02, Crosstalk Mark IV 1.01, GT Power 13.00, Procomm 2.42.  As
  88. of 12-14-87 these are believed to be the latest released versions of
  89. these programs.  A new Procomm was downloaded from Compuserve to verify
  90. the correctness of the PROCOMM.EXE file.  YMODEM is a batch protocol,
  91. called YMODEM Batch on Procomm and Crosstalk Mark IV.  Timings by stopwatch.
  92.  
  93. S/W    PROT    Transfer Time / Remarks
  94. Pro-YAM    ZMODEM    3:53    Tight timing: 2 sec, 1 sec within packets
  95. Pro-YAM    ZMODEM    3:59    Tight timing: 2 sec, 1 sec within packets
  96. Pro-YAM    ZMODEM    3:39    Tight timing: 2 sec, 1 sec within packets
  97. Pro-YAM    ZMODEM    3:54    Tight timing: 2 sec, 1 sec within packets
  98. Pro-YAM    ZMODEM    4:54    Standard timing
  99. Pro-YAM    ZMODEM    4:36    Standard timing
  100. Pro-YAM    ZMODEM    5:03    Standard timing
  101. Pro-YAM    Kermit    6:14    Standard timing
  102. Pro-YAM    YMODEM    FAILED    Tight timing: 2 sec, 1 sec within packets
  103. Pro-YAM    YMODEM    5:44    Standard timing
  104. Pro-YAM    YMODEM    5:20    Standard timing
  105. Pro-YAM    YMDM-k    6:07    Standard timing
  106. Pro-YAM    YMDM-k    5:06    Standard timing
  107.  
  108. GT Pwr    Megali    8:30
  109. GT Pwr    Megali    9:30
  110. GT Pwr    Megali    FAILED TX reported success
  111. GT Pwr    Megali    FAILED TX reported success
  112. GT Pwr    Megali    10:23
  113.  
  114. Procm    YMDM    FAILED Stack overflow, lockup
  115. Procm    YMDM    FAILED Stack overflow, lockup
  116.  
  117. XTALKm4    DART    9:84
  118. XTALKm4    DART    5:06
  119. XTALKm4    DART    4:15
  120. XTALKm4    DART    4:16
  121. XTALKm4    DART    5:59
  122. XTALKm4    DART    5:54
  123. XTALKm4    DART    5:08
  124. XTALKm4    DART    FAILED RX:Too many Errors TX: locked up
  125. XTALKm4    DART    4:45
  126. XTALKm4    DART    5:11
  127. XTALKm4    YMDM    FAILED
  128. XTALKm4    YMDM    FAILED
  129. XTALKm4    YMDM    FAILED
  130. XTALKm4    YMDM    2:13 Normal transfer time without line hits
  131. XTALKm4    YMDM    FAILED
  132. XTALKm4    YMDM    FAILED
  133.