home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2935 < prev    next >
Encoding:
Text File  |  1992-07-25  |  2.2 KB  |  42 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!darwin.sura.net!mojo.eng.umd.edu!disney.src.umd.edu!tedwards
  3. From: tedwards@src.umd.edu (Thomas Grant Edwards)
  4. Subject: Re: neural nets and generalization (was Why not trees?)
  5. Message-ID: <1992Jul24.195138.27183@src.umd.edu>
  6. Sender: news@src.umd.edu (C-News)
  7. Organization: Systems Research Center, Maryversity of Uniland, College Park
  8. References: <arms.711643374@spedden> <4458@rosie.NeXT.COM> <arms.711990060@spedden>
  9. Date: Fri, 24 Jul 1992 19:51:38 GMT
  10. Lines: 30
  11.  
  12. In article <arms.711990060@spedden> arms@cs.UAlberta.CA (Bill Armstrong) writes:
  13. >paulking@next.com (Paul King) writes:
  14. >I agree that discovery of subfeatures is useful, but how much extra
  15. >interconnection is required -- complete connections to all elements in
  16. >the preceding layer?  If you cut down on the number of connections, you
  17. >cut the time of executing the net.  Go too far -- and you eliminate the
  18. >possibility of finding subfeatures that are shared.
  19.  
  20. I'll put forth that finding sub-problems in neural systems is not just
  21. useful, but required for any significant real-world problem.
  22. Juergen Schmidhueber said it best, when he talked about real-time
  23. recurrent learning of a robot to find it's way home from university.
  24. It could either learn every little microscopic detail of how to get
  25. from place to place, which would be a moot point anyway since learning
  26. algorithms would fail with that much which has to be learned, or it could
  27. break the trip down into important sub-goals such as "open the office door"
  28. which it could later re-use for opening up any kind of door, "walking
  29. from bldg A to home" "opening up front door," which would again use the
  30. "open door" sub-goal it already learned, etc.
  31.  
  32. The point is, machine-learning people and traditional AI people understand
  33. the need for knowledge organization, and it is real, and we can't get
  34. around it in connectionism by just throwing more hidden units at the
  35. problem.  We have to begin to cast knowledge organization into a
  36. connectionist light.  Cascade-Correlation is a first-order example of
  37. trying to break down goals into sub-goals, but I think we can expand on
  38. error-correlation as an organizational metric.
  39.  
  40. -Thomas Edwards
  41.  
  42.