home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / ai / neuraln / 4355 < prev    next >
Encoding:
Text File  |  1992-11-23  |  1.8 KB  |  44 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!elroy.jpl.nasa.gov!NewsWatcher!user
  3. From: sgrenander@NASAMAIL.JPL.NASA.GOV (Sven Grenander)
  4. Subject: Re: How to train a lifeless network (of "silicon atoms")?
  5. Message-ID: <sgrenander-231192125621@128.149.34.44>
  6. Followup-To: comp.ai.neural-nets
  7. Sender: news@elroy.jpl.nasa.gov (Usenet)
  8. Nntp-Posting-Host: 128.149.34.44
  9. Organization: Jet Propulsion Laboratory
  10. References: <1992Nov21.002654.13198@news.columbia.edu> <1992Nov22.182325.24185@dxcern.cern.ch> <1992Nov22.215822.7238@news.columbia.edu>
  11. Date: Mon, 23 Nov 1992 21:01:45 GMT
  12. Lines: 30
  13.  
  14. In article <1992Nov22.215822.7238@news.columbia.edu>,
  15. rs69@cunixb.cc.columbia.edu (Rong Shen) wrote:
  16. > 
  17. > In article <1992Nov22.182325.24185@dxcern.cern.ch> block@dxlaa.cern.ch (Frank Block) writes:
  18. > 
  19. >             (junk deleted)
  20. > 
  21. > >What you normally do during training is to present (taking you example) the
  22. > >words 'hello' and 'goodbye' alternatively. You should not train the net first
  23. > >just on one and then, when it has learned to recognize it, on the other.
  24. > >The training is a statistical process which in the end (let's hope) converges
  25. > >to a good set of weights (a compromise which recognizes all patterns in an
  26. > >optimal way).
  27. > 
  28. >     Thanks, Frank.
  29. > 
  30. >     If I feed the words alternately, how would I train the network
  31. > to recognize 99,999 words? Would not the 99,999th word erase the 1st
  32. > word?
  33. > 
  34. > --
  35. > rs69@cunixb.cc.columbia.edu
  36.  
  37. It would if your learning rate is too high. Using BrainMaker I have found
  38. that I have to reduce the learning (training ?) rate from the default 1.0
  39. to as little as .01 when presenting a large training set (~50,000 separate
  40. facts). I suspect that if all these training facts were as different as
  41. 'hello' and 'goodbye' the learning rate may have to be reduced ever more.
  42.  
  43. -Sven
  44.