home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / text / 9305nni.zip / 930528.DIS < prev    next >
Text File  |  1993-05-28  |  2KB  |  47 lines
  1. Article 9250 of comp.ai.neural-nets:
  2. Path: serval!netnews.nwnet.net!ogicse!emory!europa.eng.gtefsd.com!fs7.ece.cmu.edu!crabapple.srv.cs.cmu.edu!news
  3. From: sef@sef-pmax.slisp.cs.cmu.edu
  4. Newsgroups: comp.ai.neural-nets
  5. Subject: Re: help with simple NNs
  6. Message-ID: <C7o0nn.JLr.1@cs.cmu.edu>
  7. Date: 27 May 93 03:06:56 GMT
  8. Article-I.D.: cs.C7o0nn.JLr.1
  9. Sender: news@cs.cmu.edu (Usenet News System)
  10. Organization: School of Computer Science, Carnegie Mellon
  11. Lines: 31
  12. Nntp-Posting-Host: sef-pmax.slisp.cs.cmu.edu
  13.  
  14.  
  15.     I'd like to know this one too, how many layers are 'enough for all problems'
  16.     with the traditional backprop NN ?
  17.     
  18. There are a number of theoretical results around showing that, under
  19. appropriate assumptions (which cover most classification and approximation
  20. problems you will run into in practice), a single layer of hidden units is
  21. sufficient.  However, you might need *many* more hidden units in a single
  22. layer than you would need in a multiple-hidden-layer net.
  23.  
  24.     Also whyowhyowhy are the initial weights set to random values ?????????
  25.     Surely this means that the net _could_ start in a state that causes local
  26.     minima at a later stage ?????
  27.     
  28. Any starting point, random or not, can drop you into a local minimum of the
  29. error surface.  Random initial weights are used to break symmetries.  If
  30. all the hidden units start out with the same surrounding weights (zero, for
  31. example), and if there is no noise in the network, you will never be able
  32. to split the hidden units apart and get them to do distinct jobs.  They
  33. will all see the same weighted inputs and the same errors.
  34.  
  35. -- Scott
  36.  
  37. ===========================================================================
  38. Scott E. Fahlman            Internet:  sef+@cs.cmu.edu
  39. Senior Research Scientist        Phone:     412 268-2575
  40. School of Computer Science              Fax:       412 681-5739
  41. Carnegie Mellon University        Latitude:  40:26:33 N
  42. 5000 Forbes Avenue            Longitude: 79:56:48 W
  43. Pittsburgh, PA 15213
  44. ===========================================================================
  45.  
  46.  
  47.