home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3234 < prev    next >
Encoding:
Text File  |  1992-08-19  |  1.5 KB  |  35 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!gumby!destroyer!ubc-cs!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: Reducing Training time vs Generalisation
  5. Message-ID: <arms.714214353@spedden>
  6. Keywords: back propagation, training, generalisation
  7. Sender: news@cs.UAlberta.CA (News Administrator)
  8. Nntp-Posting-Host: spedden.cs.ualberta.ca
  9. Organization: University of Alberta, Edmonton, Canada
  10. References: <arms.714091659@spedden> <36944@sdcc12.ucsd.edu> <arms.714146123@spedden> <36967@sdcc12.ucsd.edu> <1992Aug18.231650.27663@cs.brown.edu>
  11. Date: Wed, 19 Aug 1992 08:52:33 GMT
  12. Lines: 21
  13.  
  14. mpp@cns.brown.edu (Michael P. Perrone) writes:
  15.  
  16. >The example given of a "wild" solution to a backprop problem
  17. >( f(x) = 40 [ 1/( 1 + e^40*(x - 1/4))  +   1/( 1 + e^-40*(x - 3/4))  -1 ] )
  18. >is certainly a valid solution.  But whether gradient descent from an
  19. >initially "well-behaved" f(x) (e.g. one with suitable bounded derivatives)
  20. >would fall into the "wild" local minima is not clear. 
  21.  
  22. It is an absolute minimum, not a local minimum.
  23.  
  24. >This example is more on the lines of an existence proof than a 
  25. >constructive proof:  Wild minima can exist but is gradient descent
  26. >likely to converge to them?
  27.  
  28. Why don't you try it?  The problem is trivial, easy to set it up. I
  29. have done it it does converge.
  30. --
  31. ***************************************************
  32. Prof. William W. Armstrong, Computing Science Dept.
  33. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  34. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  35.