home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / ai / neuraln / 4558 < prev    next >
Encoding:
Internet Message Format  |  1992-12-12  |  1.6 KB
  1. Path: sparky!uunet!spool.mu.edu!sdd.hp.com!cs.utexas.edu!sun-barr!ames!saimiri.primate.wisc.edu!usenet.coe.montana.edu!news.u.washington.edu!ogicse!das-news.harvard.edu!cantaloupe.srv.cs.cmu.edu!crabapple.srv.cs.cmu.edu!news
  2. From: sef@sef1.slisp.cs.cmu.edu
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Questions about sigmoids etc.
  5. Message-ID: <Bz419p.MDL.1@cs.cmu.edu>
  6. Date: 11 Dec 92 19:39:19 GMT
  7. Article-I.D.: cs.Bz419p.MDL.1
  8. Sender: news@cs.cmu.edu (Usenet News System)
  9. Organization: School of Computer Science, Carnegie Mellon
  10. Lines: 25
  11. Nntp-Posting-Host: sef1.slisp.cs.cmu.edu
  12.  
  13.  
  14.     From: crwth@Merlin.DoCS.UU.SE (Olle Gallmo)
  15.  
  16.     >     For backpropagation networks (i.e. Rumelhart ,Mclelland and Williams), it
  17.     > is neccessary to have a monotonically increasing, DIFFERENTIABLE function as 
  18.     > the output
  19.     
  20.     Differentiable, yes, but to my knowledge there is nothing in the algorithm that
  21.     requires the transfer function to be monotonically increasing.
  22.     
  23. Right.  I frequently use Gaussian activation functions for hidden units in
  24. Cascor nets (and reported this in the original cascor paper).  If you use
  25. something more complex such as Bessel functions, there's the problem of
  26. multiple minima or maxima where you can get hung up.
  27.  
  28. -- Scott
  29.  
  30. ===========================================================================
  31. Scott E. Fahlman            Internet:  sef+@cs.cmu.edu
  32. Senior Research Scientist        Phone:     412 268-2575
  33. School of Computer Science              Fax:       412 681-5739
  34. Carnegie Mellon University        Latitude:  40:26:33 N
  35. 5000 Forbes Avenue            Longitude: 79:56:48 W
  36. Pittsburgh, PA 15213
  37. ===========================================================================
  38.