home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3230 < prev    next >
Encoding:
Text File  |  1992-08-18  |  1.0 KB  |  22 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!brunix!cs.brown.edu!mpp
  3. From: mpp@cns.brown.edu (Michael P. Perrone)
  4. Subject: Re: Reducing Training time vs Generalisation
  5. Message-ID: <1992Aug18.231650.27663@cs.brown.edu>
  6. Keywords: back propagation, training, generalisation
  7. Sender: mpp@cs.brown.edu (Michael P. Perrone)
  8. Organization: Center for Neural Science, Brown University
  9. References: <arms.714091659@spedden> <36944@sdcc12.ucsd.edu> <arms.714146123@spedden> <36967@sdcc12.ucsd.edu>
  10. Date: Tue, 18 Aug 1992 23:16:50 GMT
  11. Lines: 9
  12.  
  13. The example given of a "wild" solution to a backprop problem
  14. ( f(x) = 40 [ 1/( 1 + e^40*(x - 1/4))  +   1/( 1 + e^-40*(x - 3/4))  -1 ] )
  15. is certainly a valid solution.  But whether gradient descent from an
  16. initially "well-behaved" f(x) (e.g. one with suitable bounded derivatives)
  17. would fall into the "wild" local minima is not clear. 
  18.  
  19. This example is more on the lines of an existence proof than a 
  20. constructive proof:  Wild minima can exist but is gradient descent
  21. likely to converge to them?
  22.