home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2862 < prev    next >
Encoding:
Text File  |  1992-07-21  |  2.5 KB  |  56 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!europa.asd.contel.com!darwin.sura.net!wupost!gumby!destroyer!ubc-cs!unixg.ubc.ca!kakwa.ucs.ualberta.ca!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: need for unique test sets
  5. Message-ID: <arms.711754972@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <1992Jul19.070433.5896@afterlife.ncsc.mil> <25633@life.ai.mit.edu> <arms.711688181@spedden> <25663@life.ai.mit.edu>
  10. Date: Tue, 21 Jul 1992 21:42:52 GMT
  11. Lines: 43
  12.  
  13. marcus@sun-of-smokey.NoSubdomain.NoDomain (Jeff Marcus) writes:
  14. ... lots of deletions.
  15.  
  16. >However, the more test data I have, the more sure I am that the
  17. >result on the test data is a good predictor of the classifier's performance on
  18. >new data. This can be quantified with a confidence interval on my
  19. >classification
  20. >error. This scheme is only inadequate in the sense that I can never
  21. >achieve
  22. >a zero confidence bound. But I don't see why that is important.
  23.  
  24. >Of course, all this assumes that I have a good way of
  25. >selecting a representative sample in my test set, a non-trivial problem
  26. >in its own right.
  27.  
  28. > you can frame performance
  29. >estimation as
  30. >a statistical estimation problem and the same arguments I just made
  31. >would apply: namely,
  32. >that as you get more data, you get more confident of your result, but
  33. >you can never
  34. >be sure that your result is exactly right.
  35.  
  36. I agree with you, that we have a statistical estimation problem, but
  37. my point is that people shouldn't have to be happy with just a statistical
  38. estimate of the probability of error.  Sometimes, as in cases where
  39. safety is critical, you would like to have a system that can be proven to
  40. do the right thing in all cases, even though the number of cases is
  41. astronomical, far beyond the possibilities for testing.
  42.  
  43. Take software development, for example.  Would you accept testing
  44. alone as the basis for declaring a piece of software safe?  Say it is
  45. to be used in a nuclear reactor control system.  What about the 10000000-th
  46. path through the code that you didn't test for?  What I want to propose is
  47. that we in the NN field have to develop NNs that are at least as reliable as
  48. commercial software, and preferably even more reliable.
  49.  
  50.  
  51. --
  52. ***************************************************
  53. Prof. William W. Armstrong, Computing Science Dept.
  54. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  55. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  56.