home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2971 < prev    next >
Encoding:
Text File  |  1992-07-27  |  1.9 KB  |  45 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!munnari.oz.au!metro!basser.cs.su.oz.au!tom
  3. From: tom@cs.su.oz.au (Thomas James Jones)
  4. Subject: Re: re:need for unique test sets
  5. Reply-To: tom@cs.su.oz.au
  6. Organization: Basser Department of Computer Science
  7. Date: Mon, 27 Jul 1992 10:14:01 GMT
  8. Message-ID: <1992Jul27.101401.18276@cs.su.oz.au>
  9. References: <1992Jul19.070433.5896@afterlife.ncsc.mil> <25633@life.ai.mit.edu> <1992Jul22.031319.15531@afterlife.ncsc.mil>
  10. Sender: news@cs.su.oz.au (News)
  11. Lines: 32
  12.  
  13. In article <1992Jul22.031319.15531@afterlife.ncsc.mil>, hcbarth@afterlife.ncsc.mil (Bart Bartholomew) writes:
  14.  
  15. |> 
  16. |>     Let me try again.
  17. |>     If you have trained the net on the training set
  18. |> and ithe net gets all the answers right according to some
  19. |> arbitrary measure (not necessarily MSE) AND if your
  20. |> test set contains some of the same input/output pairs as
  21. |> are in the training set, then the net will always get those
  22. |> right, and will cause the apparent success on the test set
  23. |> to look better than it really is.  Unless, of course, it
  24. |> gets all the test set right, and then the point is probaly moot.
  25. |>     The point of having a test set (taken from the same 
  26. |> source as the training set) is to make sure the net has found 
  27. |> the right (or equivalent) function.
  28. |>     On the other hand, if the net does well on the training
  29. |> set but falls apart (scores badly) on the test set, you know that
  30. |> the net has found a nice function that describes the training 
  31. |> set well, but *is not the function that actually generated the 
  32. |> data*.  In that case, the net is worthless. 
  33.  
  34.     I guess this is pretty difficult to answer, but what
  35.     basis do we have for expecting that the net should
  36.     (or can) learn a function we have 'in mind', when there
  37.     are infinite trivially different ways of mapping any
  38.     given data set?
  39.     If we have no organizational basis for our learning, then
  40.     what inherent organizational concepts do we expect the
  41.     net to extract?
  42.  
  43.     tom
  44.  
  45.