home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #20 / NN_1992_20.iso / spool / comp / ai / neuraln / 3428 < prev    next >
Encoding:
Text File  |  1992-09-09  |  2.1 KB  |  53 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!mcsun!news.funet.fi!network.jyu.fi!hovila
  3. From: hovila@jyu.fi (Ari Hovila)
  4. Subject: Adjusting weights in backprop simulators
  5. Message-ID: <1992Sep9.094735.15604@jyu.fi>
  6. Organization: University of Jyvaskyla, Finland
  7. Date: Wed, 9 Sep 1992 09:47:35 GMT
  8. Lines: 43
  9.  
  10. In article 6499 of comp.ai.neural-nets jjb@sequent.com (Jeff Berkowitz)
  11. writes:
  12.  
  13. (...some stuff deleted)
  14. >Now, the question.  While I was trying to debug my backprop simulator,
  15. >my wife discovered what appears to be a subtle difference between the
  16. >precise description of backprop and several of the "C" implementations
  17. >I've picked up via ftp.
  18.  
  19. >In the "original" paper (Rumelhart, Hinton, Williams, "Learning
  20. >Internal Representations by Error Propogation", 1986) the backward
  21. >pass is described as follows:
  22.  
  23. >    ...The first step is to compute delta for each of
  24. >    the output units. [...] We can then compute the
  25. >    weight changes for all connections that feed into
  26. >    the final layer.  AFTER this is done, then compute
  27. >    deltas for all units in the penultimate layer...[etc,
  28. >    emphasis mine.]
  29. ...
  30. >as I read the description, I should change the weight FIRST as I back
  31. >up, and then use the NEW value in the accumulated error.   At least
  32. >the Dayhoff description pretty much states this in black and white.
  33.  
  34. Well, this has been bugging me too. I have impelented a bp-simulator
  35. with C, and I use the method you suspected was 'an implementation
  36. error' (i.e. calculate deltas first and then adjust the weights).
  37.  
  38. I'm really not sure what the main difference between these
  39. two approaches is, but at least in a book by James Freeman (Neural
  40. Networks, algorithms, applications and programming techniques) it
  41. is very clearly stated that you should calculate deltas for hidden
  42. layer nodes before adjusting the outgoing weights.
  43.  
  44. Since weight changes are usually small it could be possible that the
  45. algorithm works both ways. I doubt that anyone has seen a case where
  46. one of these methods works while the other one fails...
  47.  
  48. It would be nice to see other comments on this.
  49.  
  50. Ari Hovila,
  51. University of Jyvaskyla, Finland
  52. internet e-mail address: hovila@jyu.fi
  53.