home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / ai / neuraln / 4594 < prev    next >
Encoding:
Text File  |  1992-12-16  |  1.5 KB  |  43 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!mcsun!sunic!dkuug!daimi!buhr
  3. From: buhr@daimi.aau.dk (Morten Buhr)
  4. Subject: Re: Meaning of deltas in hidden units
  5. Message-ID: <1992Dec16.072544.19664@daimi.aau.dk>
  6. Keywords: BP, delta values
  7. Sender: news@daimi.aau.dk
  8. Organization: DAIMI: Computer Science Department, Aarhus University, Denmark
  9. References: <1992Dec15.162420.22854@Informatik.TU-Muenchen.DE>
  10. Date: Wed, 16 Dec 92 07:25:44 GMT
  11. Lines: 30
  12.  
  13. baginski@Informatik.TU-Muenchen.DE (Boris Baginski) writes:
  14.  
  15.  
  16. >Everbody knows the meaning of the delta values in the backprop algorithm
  17. >for output units (difference between target and activation) and the use
  18. >of the deltas to adjust the internal weights.
  19.  
  20. >But the question is: what do those values express for the hidden units and
  21. >for the input units (can be calculated easily, are not used) ?
  22. >We explored that these deltas take on values up to 50 (+/-) or so, but we only
  23. >use inputs and targets and activation states in the range of 0-1.
  24. >So it`s not simply possible to say these values express a realistic target minus
  25. >activation for the hidden/input units.
  26.  
  27. >thank you, regards,
  28. >BORIS BAGINSKI
  29. >adress: baginski@informatik.tu-muenchen.de
  30.  
  31. I can't quite see how you calculate the deltas for hidden nodes, since
  32. you don't have a target to compare your nodes activity with. That is exactly
  33. what the deltas in backpropagation are used for: to backpropagate the error
  34. through the network.
  35.  
  36. /Morten
  37.  
  38. -- 
  39. Morten Buhr / e-mail buhr@daimi.aau.dk
  40. Computer Science Department 
  41. Aarhus University
  42. Denmark
  43.