home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / ai / neuraln / 4348 < prev    next >
Encoding:
Text File  |  1992-11-22  |  3.2 KB  |  76 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!spool.mu.edu!sol.ctr.columbia.edu!destroyer!cs.ubc.ca!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: How to train a lifeless network (of "silicon atoms")?
  5. Message-ID: <arms.722488897@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <1992Nov21.002654.13198@news.columbia.edu> <1992Nov22.182325.24185@dxcern.cern.ch>
  10. Date: Mon, 23 Nov 1992 03:21:37 GMT
  11. Lines: 63
  12.  
  13. block@dxlaa.cern.ch (Frank Block) writes:
  14.  
  15.  
  16. >In article <1992Nov21.002654.13198@news.columbia.edu>, rs69@cunixb.cc.columbia.edu (Rong Shen) writes:
  17.  
  18. >|>     Please allow me to ask you this childish question:
  19. >|> 
  20. >|>     Suppose you have a neural network and you want to train it to
  21. >|> perform a task; for the moment, let's say the task is to recognize
  22. >|> handwriting. Now suppose the network has recognized the word "hello,"
  23. >|> and the weight in the synapse between neurodes (neurons) X and Y is k.
  24. >|> If you proceed to train the network to recognize the word "goodbye"
  25. >|> (by back propagation, or whatever algorithms), and since all the
  26. >|> neurodes are connected in some way (through some interneurons, maybe),
  27. >|> the synaptic weight between X and Y is likely to change from k to some
  28. >|> other number; similarly, the weights in other synapses will change.
  29. >|> Therefore, it is extremely likely that one training session will erase
  30. >|> the efforts of previous sessions.
  31. >|> 
  32. >|>     My question is, What engineering tricks shall we use to
  33. >|> overcome this apparent difficulty?
  34. >|> 
  35. >|>     Thanks.
  36. >|> 
  37. >|> --
  38. >|> rs69@cunixb.cc.columbia.edu
  39. >|> 
  40. >--
  41.  
  42. >What you normally do during training is to present (taking you example) the
  43. >words 'hello' and 'goodbye' alternatively. You should not train the net first
  44. >just on one and then, when it has learned to recognize it, on the other.
  45. >The training is a statistical process which in the end (let's hope) converges
  46. >to a good set of weights (a compromise which recognizes all patterns in an
  47. >optimal way).
  48. >The engineering trick is mostly the so-called 'gradient descent' (in backprop). 
  49. >This moves you current weight vector always in a direction which decreases the 
  50. >network error measure.
  51.  
  52. >Hope this helps a bit
  53.  
  54. >Frank
  55.  
  56. I attended a tutorial once by Bernard Widrow, and he referred to the
  57. "least disturbance principle".  The idea is to correct an error in
  58. such a way that the overall state of the net is the least perturbed.
  59. This is another way of looking at backprop.  Not only does it reduce
  60. the error (in theory anyway), but it does so by favoring changes of
  61. those weights which have the greatest effect on the error.  Hence it
  62. can change those by the least amount to achieve a given amount of
  63. error correction.
  64.  
  65. Widrow's profound insight into adaptation is shown in this simple
  66. principle of his.  It has helped me a lot in thinking about adaptation
  67. algorithms for ALNs too, but the scope of its applicability seems much
  68. broader.
  69.  
  70. Bill
  71. --
  72. ***************************************************
  73. Prof. William W. Armstrong, Computing Science Dept.
  74. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  75. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  76.