home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 3034 < prev    next >
Encoding:
Internet Message Format  |  1992-07-31  |  1.4 KB
  1. Path: sparky!uunet!dtix!darwin.sura.net!ua1ix!aramis.cs.ua.edu!eduardo
  2. From: eduardo@aramis.cs.ua.edu (Eduardo Kortright)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Non-binary output Back Prop
  5. Message-ID: <1992Jul31.180618.129705@ua1ix.ua.edu>
  6. Date: 31 Jul 92 18:06:18 GMT
  7. Sender: eduardo@cs.ua.edu (Eduardo Kortright)
  8. Organization: Department of Computer Science, University of Alabama
  9. Lines: 22
  10. Nntp-Posting-Host: aramis.cs.ua.edu
  11.  
  12. I am currently trying to implement a BPN with outputs that do not
  13. necessarily range between 0 and 1.  As the output function, I am using
  14. the straight weighted sum of inputs instead of passing the sum through
  15. a sigmoid function.  Also, when backpropagating the error, I use the
  16. derivative of the output function (=1) instead of the derivative of
  17. the sigmoid.  My problem is that unless the learning rate is
  18. extremely small, everything blows up (the numbers get so large that I
  19. get floating point overflows).  The NN thus takes forever to converge.
  20.  
  21. Is there anyone out there who has experience with this?  I have
  22. temporarily gone back to using the sigmoid function and scaling the
  23. output to the proper ranges.  If this question has been asked before
  24. or not of interest to the group, please feel free to e-mail:
  25.  
  26.     eduardo@cs.ua.edu
  27.  
  28. Thanks in advance.
  29.  
  30. =-= Eduardo =-= eduardo@cs.ua.edu =-=
  31. Eduardo Kortright // Grad student, University of Alabama at Tuscaloosa
  32. -- 
  33. =-= Eduardo =-= eduardo@cs.ua.edu =-=
  34.