home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #26 / NN_1992_26.iso / spool / comp / virus / 4199 < prev    next >
Encoding:
Internet Message Format  |  1992-11-09  |  6.7 KB
  1. Path: sparky!uunet!ukma!darwin.sura.net!jvnc.net!netnews.upenn.edu!netnews.cc.lehigh.edu!news
  2. From: mcafee@netcom.com (McAfee Associates)
  3. Newsgroups: comp.virus
  4. Subject: Re: SCAN 95b doesn't find MtE in EXE files (PC)
  5. Message-ID: <0013.9211091912.AA05064@barnabas.cert.org>
  6. Date: 3 Nov 92 04:37:12 GMT
  7. Sender: virus-l@lehigh.edu
  8. Lines: 138
  9. Approved: news@netnews.cc.lehigh.edu
  10.  
  11. Hello Vesselin,
  12.  
  13. you write:
  14. [...my comments about release dates on V95 and V97 deleted...]
  15. [The ">>" indicates comments from me.]
  16.  
  17. >When the preliminary tests were done, the latest available version of
  18. >SCAN was 95b. Since the results were alarming, I decided that it is my
  19. >duty to inform the users about a particular deficency in the then
  20. >latest version of the product. Even if a newer version of the product
  21. >were available (which it wasn't then), and even if it were able to
  22. >detect the MtE-based viruses reliably (which it still isn't, see
  23. >below), my message would alarm the users to urgently upgrade to the
  24. >newer version. I still think that there is nothing incorrect in what I
  25. >have done.
  26.  
  27. SCAN missed 317 out of 15,996 viruses, or about 0.02% of the samples.  
  28. Rather than post the "alarming" results, do you not think a message to
  29. myself (or better yet, to one of our programmers) would have sufficed?
  30.  
  31. A detection rate of approximately 99.8% on a virus, or set of MtE-based
  32. viruses does not seem especially bad, in lieu of the fact that we have
  33. not received any confirmed reports of the virus yet [outside of virus-
  34. exchange BBS's and the like].  
  35.  
  36. [...comments about detection of MtE-based viruses added in SCAN V97 
  37. from myself and your comments about downloading V97 deleted...]
  38.  
  39. >The results are rather poor - they clearly show that version 97 of
  40. >SCAN is not able to detect reliably ANY of the MtE-based viruses too.
  41. >I have proven this to you, by sending you a batch of examples that
  42.  
  43. Yes, you have, and I am not so much questioning this as the manner in
  44. which it was reported.
  45.  
  46. >SCAN 97 was unable to detect. I have also offered to help you fixing
  47. >the problem and even suggested an easy solution for the other 284
  48. >missed samples. What do you want more?
  49.  
  50. Next time, perhaps you could check with us about your results?  I think
  51. it would be more appropriate to say "SCAN missed X out of Y samples of
  52. the Z virus.  I've notified McAfee Associates of the problem and they
  53. will (hopefully) fix it shortly." than your earlier post, which seemed
  54. rather alarmist to me.
  55.  
  56. >> I can understand your desire to provide the readers of comp.virus with
  57. >> timely, accurate information about the efficacy of different anti-viral
  58. >> packages, however, posting one message decrying the deficiencies of
  59. >> one brand of software with an endnote about other packages sounds less
  60. >> like a genuine attempt at impartial research and more like alarmist scare
  61. >> tactics, or even worse, marketing :-) 
  62. >
  63. >It's very strange to see the above posted by someone from McAfee
  64. >Associates... Even if we don't pay attention to the fact that it does
  65. >not correspond to the truth (as I explained above), I still remember
  66.  
  67. You did download V97 of SCAN as fast as you could and repeat your
  68. tests, which I find commendable.  Even if I don't agree with how
  69. you reported the results.
  70.  
  71. >an article posted somewhere (maybe even here), which described how
  72. >McAfee Associates sponsored a particular set of anti-virus product
  73. >evaluations and insisted that only old versions of the scanners of
  74. >their main competitors were tested.
  75.  
  76. McAfee Associates has sponsored (that is, paid for) anti-virus product
  77. testing by a number of independent organizations, using then-available
  78. versions of competitors' anti-viral programs.  To do otherwise would be
  79. worthless.
  80.  
  81. >> I note that several other anti-viral
  82. >> packages such as NAV, CPAV, Untouchable, Novi are not mentioned at all.
  83. >
  84. >I don't have a copy of Novi. And, unlike your product, all the
  85. >products mentioned above are not shareware - they are all commercial,
  86.  
  87. True, but they all of them are also widely-used, at least here in
  88. America.  In Europe, I would imagine that Dr. Solomon's AVTK is used
  89. more widely, etc.
  90.  
  91. >so I obviously cannot easily get the latest versions as quickly as
  92. >with your product. Besides, I am only a human and cannot do everything
  93.  
  94. As am I. [Shut up, Spencer]
  95.  
  96. >at once. In fact, the MtE tests even of your product were made
  97. >possible mainly because two visiting students from Rostok spent a lot
  98. >of time to generate 16,000 naturally infected samples (do you
  99. >understand what all this means, having in mind that some of the
  100. >MtE-based viruses infect only 2-3 samples in the current directory and
  101. >do not go resident?), and one of our students urgently ran two tests
  102. >(with version 95b and 97 of SCAN) and summarized the results...
  103. >
  104. >I -will- publish MtE detection data for 17 scanners, each of which
  105. >claims (like yours) that it is able to detect all MtE-based viruses
  106.  
  107. Hopefully they will be published together at once.
  108.  
  109. [Moderator's note: Vesselin's MtE tests are available from:
  110.    cert.org:pub/virus-l/docs/mtetests.zip
  111.    ftp.informatik.uni-hamburg.de:pub/virus/texts/tests/mtetests.zip
  112. For those without FTP access to the net, I have broken Vesselin's
  113. tests down into multiple chunks and will be posting each separately.]
  114.  
  115. >with 100% reliability... As I said, I don't know about Novi, because
  116. >I don't have it, but NAV 2.1, CPAV 1.3, and UTScan 23.00.12 (the
  117. >scanner part of the Untouchable, since Untouchable is mainly an
  118. >integrity-based product) all failed the test - just like SCAN 97, they
  119. >turned out to be unable to detect all MtE-based viruses used during
  120. >the test reliably.
  121. >
  122. >> In any case, I would strongly suggest that you complete your research in 
  123. >> the future before posting incomplete results.  
  124. >
  125. >I am doing my best to provide the most complete data possible to the
  126. >users. So does the rest of the VTC-Hamburg. What has been observed in
  127. >SCAN 95b was a BUG, that's why I was precipitated to publish the
  128. >information about it. Or do you want to hide from your users that a
  129. >particular (even if not the latest) version of your program is buggy
  130. >and provides a false sense of security?
  131. [...rest of message deleted...]
  132.  
  133. Bugs can be fixed.  Bearing in mind that I am, after all, a McAfee
  134. Associates employee, I believe that McAfee Associates (and myself) have
  135. been very forthcoming to users about reporting bugs, fixing them, and
  136. suggesting workarounds while the bugs do get fixed.
  137.  
  138. Regards,
  139.  
  140. Aryeh Goretsky
  141. Technical Support
  142. - -- 
  143. - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
  144. McAfee Associates, Inc.  | Voice (408) 988-3832 | INTERNET:
  145. 3350 Scott Blvd, Bldg 14 | FAX   (408) 970-9727 | mcafee@netcom.COM
  146. Santa Clara, California  | BBS   (408) 988-4004 | CompuServe ID: 76702,1714
  147. 95054-3107  USA          | USR HST Courier DS   | or GO MCAFEE
  148. Support for SENTRY/SCAN/NETSCAN/VSHIELD/CLEAN/WSCAN/NETSHIELD/TARGET/CONFIG MGR
  149.