home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / ai / neuraln / 4606 < prev    next >
Encoding:
Internet Message Format  |  1992-12-17  |  2.1 KB
  1. Path: sparky!uunet!pmafire!news.dell.com!swrinde!zaphod.mps.ohio-state.edu!saimiri.primate.wisc.edu!ames!agate!doc.ic.ac.uk!warwick!kinguni2!ceres!pd_s001
  2. From: pd_s001@ceres (J Karwatzki)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Meaning of deltas in hidden units
  5. Date: 17 Dec 1992 16:30:14 GMT
  6. Organization: Kingston University
  7. Lines: 57
  8. Message-ID: <1gq9umINN21q@mercury.kingston.ac.uk>
  9. References: <1992Dec15.162420.22854@Informatik.TU-Muenchen.DE>
  10. NNTP-Posting-Host: ceres.kingston.ac.uk
  11. X-Newsreader: Tin 1.1 PL4
  12.  
  13. baginski@Informatik.TU-Muenchen.DE (Boris Baginski) writes:
  14. : 
  15. : Everbody knows the meaning of the delta values in the backprop algorithm
  16. : for output units (difference between target and activation) and the use
  17. : of the deltas to adjust the internal weights.
  18. : 
  19. : But the question is: what do those values express for the hidden units and
  20. : for the input units (can be calculated easily, are not used) ?
  21. : We explored that these deltas take on values up to 50 (+/-) or so, but we only
  22. : use inputs and targets and activation states in the range of 0-1.
  23. : So it`s not simply possible to say these values express a realistic target minus
  24. : activation for the hidden/input units.
  25. : 
  26. : thank you, regards,
  27. : BORIS BAGINSKI
  28. : adress: baginski@informatik.tu-muenchen.de
  29.  
  30. Since your targets are set to +/- 1 then you must be using some squashing
  31. function (sigmoid, tanh etc) on the output activation level (otherwise
  32. they would take on levels of +/-50 or so). If you want the hidden deltas to be
  33. in the range +/-1 then use the same squashing function. Whatever you do
  34. the deltas indicate the relative error of the hidden units backpropagated from
  35. the output units. Interestingly you can use this error to update the hidden
  36. activation levels (ignoring activations passed down from higher levels) so
  37. that you obtain hidden patterns best suited to obtaining the required
  38. target patterns (for any specific initial set of interconnecting weights).
  39. This could be useful to find out how far you are from final convergence in
  40. a multilayer network.
  41. --
  42. John Karwatzki
  43.  
  44.  
  45.  
  46.  
  47.  
  48.  
  49.  
  50.  
  51.  
  52.  
  53.  
  54.  
  55.  
  56.  
  57.  
  58.  
  59.  
  60.  
  61.  
  62.  
  63.  
  64.  
  65.  
  66.  
  67.  
  68.  
  69.  
  70.