home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / ai / neuraln / 4570 < prev    next >
Encoding:
Internet Message Format  |  1992-12-13  |  2.0 KB
  1. Path: sparky!uunet!munnari.oz.au!bunyip.cc.uq.oz.au!uqcspe!cs.uq.oz.au!mav
  2. From: mav@cs.uq.oz.au (Simon Dennis)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: NNs that learn to learn
  5. Message-ID: <11417@uqcspe.cs.uq.oz.au>
  6. Date: 14 Dec 92 00:48:21 GMT
  7. References: <7240582678-313510@exaib>
  8. Sender: news@cs.uq.oz.au
  9. Reply-To: mav@cs.uq.oz.au
  10. Lines: 37
  11.  
  12. bruhn@exaib (Peter Bruhn ) writes:
  13.  
  14. >So my question is: are there any NNs that adapt to changes in their
  15. >environments? So the underlying procedure should look like:
  16.  
  17. >    1. They are trained
  18. >    2. They are used and adapt automatically to
  19. >        changes in their environments
  20.  
  21. >Peter (bruhn at uxe.wu-wien.ac.at)
  22.  
  23. Learning to learn phenomena are well documented in the human memory literature.
  24. Subject's ability to "memorize" or "learn" to recall lists of items 
  25. improves as they are exposed to multiple trials. In contrast, subject's ability
  26. to do episodic recognition (i.e. Was this word in the list you just saw?) does
  27. not seem to get any better (at least after about 5 years of age). It is
  28. difficult in the second case however to determine whether subjects have 
  29. just reached ceiling.
  30.  
  31. There have been a couple of attempts to include models from the human memory
  32. literature into backprop networks. At NIPS, Tony Plate presented a model which 
  33. included a derivative of Ben Murdock's TODAM model, and I have done something
  34. similar with Ray Pike's matrix memory. During testing, the backprop weights
  35. are held constant, but the "weights" of the matrix memory are allowed to
  36. change, so as to store items and hence adapt to the current environment.
  37. This not only leads to massive improvements in capacity over normal 
  38. recurrent network architectures, but also allows the modelling of
  39. learning to learn, or perhaps more accurately, learning to memorize 
  40. phenomena.
  41.  
  42. Simon.
  43.  
  44. --
  45. Simon Dennis                  Address: Department of Computer Science
  46. Email: mav@cs.uq.oz.au                 University of Queensland
  47.                                        QLD 4072
  48.                                        Australia
  49.