home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / ai / neuraln / 4564 < prev    next >
Encoding:
Text File  |  1992-12-13  |  1.9 KB  |  45 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!caen!rowe
  3. From: rowe@engin.umich.edu (Steven Rowe)
  4. Subject: Re: Questions about sigmoids etc.
  5. Message-ID: <9=S=pLA@engin.umich.edu>
  6. Date: Sun, 13 Dec 92 04:08:37 EST
  7. Organization: University of Michigan Engineering, Ann Arbor
  8. References: <1992Dec8.161935@sees.bangor.ac.uk> <1992Dec9.160218.25286@cs.brown.edu> <1992Dec10.084458.12506@dxcern.cern.ch>
  9. Keywords: Sigmoids, output layers
  10. Nntp-Posting-Host: brick.engin.umich.edu
  11. Lines: 32
  12.  
  13. In article <1992Dec10.084458.12506@dxcern.cern.ch> block@dxlaa.cern.ch (Frank Block) writes:
  14. >
  15. >In article <1992Dec9.160218.25286@cs.brown.edu>, pcm@cs.brown.edu (Peter C. McCluskey) writes:
  16. >|> In article <1992Dec8.161935@sees.bangor.ac.uk>, paulw@sees.bangor.ac.uk 
  17. >|> (Mr P Williams (AD)) writes:
  18. >|> |>     For backpropagation networks (i.e. Rumelhart ,Mclelland and Williams), 
  19. >|> |> it is neccessary to have a monotonically increasing, DIFFERENTIABLE 
  20. >|> |> function as the output
  21. >|> 
  22. >|>  It is my understanding that differentiability is needed only for
  23. >|> proving that a network does gradient descent. I haven't heard a good
  24. >|> reason for believing that non-differentiable functions are inferior.
  25. >|> 
  26. >|> ----------------------------------------------------------------------
  27. >|>   >> Peter McCluskey >> pcm@cs.brown.edu >>   Reunite Gondwanaland!
  28. >|> ----------------------------------------------------------------------
  29. >|> 
  30. >
  31. >But how are you going to train a network with non-differentiable functions?
  32. >Certainly not with the standard BP?
  33. >
  34. >Frank Block
  35.  
  36. Here I go, singing the praises of the Alopex algorithm again...
  37. See "Universal Learning Without Gradient Information", K.P. Unnikrishnan
  38. & K.P. Venugopal, submitted to Neural Computation on 2 Dec. 1992.
  39.  
  40. -- 
  41. Steve Rowe: B0 f- w- c g+ k+ s- e+ r-
  42. I drank too much beer, then tried to sober up by drinking
  43. too much coffee.  The result was that I was still making
  44. irrational decisions, but I was making them *FAST*!  -me
  45.