home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2908 < prev    next >
Encoding:
Internet Message Format  |  1992-07-23  |  2.3 KB
  1. Path: sparky!uunet!rosie!next.com
  2. From: paulking@next.com (Paul King)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: neural nets and generalization (was Why not trees?)
  5. Message-ID: <4458@rosie.NeXT.COM>
  6. Date: 24 Jul 92 02:45:18 GMT
  7. References: <arms.711643374@spedden>
  8. Sender: news@NeXT.COM
  9. Lines: 43
  10.  
  11. arms@cs.UAlberta.CA (Bill Armstrong) writes:
  12. > The question is: What is the advantage of making connections in a
  13. > non-tree fashion?
  14.  
  15. sef@sef1.slisp.cs.cmu.edu (Scott) writes:
  16. > 2. Why try to minimize the number of independent free connections in
  17. >    the net?
  18. >
  19. > Training is indeed faster with more connections, but generalization
  20. > is better with fewer connections.  The extreme case is seen in various
  21. > image processing tasks (e.g. char recognition) in which it is almost
  22. > mandatory to use shared connections or some sort of bottleneck -- else
  23. > you would need many more training examples than pixels in the image.
  24.  
  25. Here is an additional observation on the issue of generalization.
  26.  
  27. The collection of training patterns for a neural net could be viewed as:
  28.  
  29.     possible input patterns  --> [Black Box] --> correct output patterns
  30.  
  31. Neural networks seem to operate on the assumption that what goes on
  32. in the black box is rational and deterministic -- that a causal chain
  33. of events transform an input pattern into an output pattern.  The
  34. "goal" of the neural net is not only to memorize the input-to-output
  35. mappings, but also to reverse engineer the causal chain of intermediate
  36. states that presumably exists inside the black box.
  37.  
  38. Hidden units are interesting because they occasionally converge
  39. on an intermediate representation that highlights regularities
  40. in the behavior of the black box.  These intermediate states can
  41. then be used as inferred information about internal states of the
  42. black box, which can be useful as inputs to further networks.
  43.  
  44. As an example, consider handwriting recognition.  Mapping input
  45. drawings to target characters might result in hidden-units that
  46. correlate with subfeatures in the input drawings.  This ability
  47. to map input drawings to subfeatures might then benefit a higher-level
  48. system that maps subfeatures to words, bypassing the character
  49. representation altogether.  One now has a network that can recognize
  50. words even if certain letters are incompletely written.
  51.  
  52. Paul King
  53. paul_king@next.com
  54.