home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2848 < prev    next >
Encoding:
Text File  |  1992-07-21  |  2.3 KB  |  50 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!munnari.oz.au!metro!sunb!retina!len
  3. From: len@retina.mqcs.mq.oz.au (Len Hamey)
  4. Subject: Re: Why not trees?(was dumb question on layer enumeration)
  5. Message-ID: <1992Jul21.044006.2248@mailhost.ocs.mq.edu.au>
  6. Sender: news@mailhost.ocs.mq.edu.au (Macquarie University News)
  7. Nntp-Posting-Host: retina.mpce.mq.edu.au
  8. Organization: Macquarie University, School of Mathematics, Physics, Computing and Electronics
  9. References: <1992Jul19.045609.89101@cs.cmu.edu> <arms.711643374@spedden>
  10. Date: Tue, 21 Jul 1992 04:40:06 GMT
  11. Lines: 37
  12.  
  13. In article <arms.711643374@spedden> arms@cs.UAlberta.CA (Bill Armstrong) writes:
  14. >If you trace backwards from any single output node in a feedforward
  15. >net with any kind of layer structure, you can construct a tree of
  16. >nodes that will perform exactly the same computation of that output.
  17. >Some nodes may have to be duplicated in this process.  Now suppose
  18. >that were the hardware structure you had chosen in the first place.
  19. >Just as a "man cannot serve two masters", wouldn't the learning task
  20. >be easier for this tree than for the original net, where some nodes
  21. >are shared between outputs, and have to provide outputs that satisfy
  22. >two or more elements in net further on?  If so, then either the tree
  23. >learns better, or can be made smaller (probably a good idea to avoid
  24. >"overtraining").
  25.  
  26. Yu and Simmons have an interesting paper "Extra Output Biased Learning"
  27. in which they show that providing additional outputs using the same
  28. hidden layer can SPEED UP (!) learning by providing hints that the
  29. hidden layer finds useful.  For example, it is quicker to teach a net
  30. to solve parity and count the number of 1s in the input at the same time
  31. than to simply teach it to solve parity.  This means that if there are
  32. relationships between the outputs a shared hidden layer can learn more
  33. quickly than separate hidden layers for each output.  Of course, one
  34. could easily conceive of examples where shared hidden units have trouble:
  35. when the outputs are totally unrelated to each other.
  36.  
  37. Yu and Simmons' paper is available in neuroprose.  yu.output-biased.ps.
  38.  
  39.  
  40.             Len Hamey
  41.             Lecturer in Computing
  42.             Macquarie University
  43.             NSW 2109 AUSTRALIA
  44.             len@mpce.mq.edu.au
  45. --
  46.     Leonard G. C. Hamey (Len)    len@mpce.mq.edu.au
  47.     Lecturer in Computing        (02)805-8978
  48.     Macquarie University
  49.     NSW 2109 AUSTRALIA
  50.