home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / text / 9305nni.zip / 930513.DIS < prev    next >
Text File  |  1993-05-13  |  3KB  |  57 lines
  1. Article 9010 of comp.ai.neural-nets:
  2. Newsgroups: comp.ai.neural-nets
  3. Path: serval!netnews.nwnet.net!usenet.coe.montana.edu!saimiri.primate.wisc.edu!sdd.hp.com!cs.utexas.edu!zaphod.mps.ohio-state.edu!howland.reston.ans.net!europa.eng.gtefsd.com!fs7.ece.cmu.edu!crabapple.srv.cs.cmu.edu!news
  4. From: sef@sef-pmax.slisp.cs.cmu.edu
  5. Subject: Re: Question: What constitutes "hard to learn data"
  6. Message-ID: <C6Mz7t.DFq.1@cs.cmu.edu>
  7. Sender: news@cs.cmu.edu (Usenet News System)
  8. Nntp-Posting-Host: sef-pmax.slisp.cs.cmu.edu
  9. Organization: School of Computer Science, Carnegie Mellon
  10. Date: Fri, 7 May 1993 03:04:40 GMT
  11. Lines: 42
  12.  
  13.  
  14.     From: arms@cs.UAlberta.CA (Bill Armstrong)
  15.  
  16.     >Other things being equal, noisy data is harder to learn than clean data.
  17.     
  18.     Suppose this is true (I have a few reservations described below), then
  19.     one corollary of this seems to be that if the signal to noise ratio
  20.     varies from low to high in different parts of the input space (e.g.
  21.     the amplitude of a sonar signal may be of high or low amplitude while
  22.     the noise is essentially constant), then you need different amounts of
  23.     training time in each part.  The danger is that if you train long
  24.     enough for the low signal to noise parts to be learned properly, the
  25.     network, on the rest of the space, will be overtrained.
  26.  
  27. Well, I don't think I've run any problems that are noisy in some areas and
  28. not in others, and I haven't thought much about this.  But my guess is that
  29. if you have enough data to separate the real signal from the noise in the
  30. noisy part of the space, and train long enough to get this right, there
  31. should be no problem in the clean parts.  Overtraining allows the system to
  32. model the noise as well as the signal, but in these areas the signal will
  33. be relatively stronger and will tend to dominate.
  34.  
  35.     Example: take the function x * sin(x) on [0,100], sample it at 50000
  36.     points, and add noise with a standard deviation of, say, 10.  Close to
  37.     0 a lot of training might be required to learn the function to a low
  38.     level of error, but at the right end near 100, it could be easy.
  39.     Training until the part near 0 is learned could force the noise to be
  40.     learned at the end near 100.
  41.  
  42. Maybe someone should try running your problem and tell us what happens.
  43.  
  44. -- Scott
  45.  
  46. ===========================================================================
  47. Scott E. Fahlman            Internet:  sef+@cs.cmu.edu
  48. Senior Research Scientist        Phone:     412 268-2575
  49. School of Computer Science              Fax:       412 681-5739
  50. Carnegie Mellon University        Latitude:  40:26:33 N
  51. 5000 Forbes Avenue            Longitude: 79:56:48 W
  52. Pittsburgh, PA 15213
  53. ===========================================================================
  54.  
  55.  
  56.  
  57.