home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #20 / NN_1992_20.iso / spool / comp / ai / neuraln / 3438 < prev    next >
Encoding:
Internet Message Format  |  1992-09-09  |  1.6 KB
  1. Path: sparky!uunet!mcsun!uknet!cam-eng!ajr
  2. From: ajr@eng.cam.ac.uk (Tony Robinson)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Summary of CUPS + new question
  5. Message-ID: <1992Sep10.090501.26265@eng.cam.ac.uk>
  6. Date: 10 Sep 92 09:05:01 GMT
  7. References: <BuCFut.F6t.1@cs.cmu.edu>
  8. Sender: ajr@eng.cam.ac.uk (Tony Robinson)
  9. Organization: Cambridge University Engineering Department, UK
  10. Lines: 24
  11. Nntp-Posting-Host: dsl.eng.cam.ac.uk
  12.  
  13. In comp.ai.neural-nets Scott Fahlman <sef+@cs.cmu.edu> wrote:
  14.  
  15. > It's probably more correct to update
  16. > a weight AFTER the error has propagated backwards across it, but if your
  17. > weight-update steps are large enough for this to matter, you're going to
  18. > get in trouble anyway due to stochastic fluctuations in the data.
  19.  
  20. Agreed that this should not matter much either way, but I think the original
  21. poster, Jeff Berkowitz <jjb@sequent.com> has a point.
  22.  
  23. Doing the calculation of "deltas" first, then weight updates, gives the true
  24. per-pattern gradient based on the original weights.  However, if you
  25. calculate the deltas for the next layer downwards based on the new weights
  26. higher up, perhaps you work a little in the new weight space.  I think that
  27. this could result in a small speed up (I'd have to think a bit more to make
  28. sure), but to do the process properly, you should calculate all the new
  29. activations higher up, then recalculate new deltas for use with the new
  30. weights.  This is O(n^2) in the number of layers, so isn't worthwhile.
  31.  
  32. I'm not a great fan of per-pattern update anyway (prefering updates on
  33. something like the square root of the number of training patterns), but I
  34. think this is an interesting idea.
  35.  
  36. Tony [Robinson]
  37.