home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #20 / NN_1992_20.iso / spool / comp / ai / neuraln / 3424 < prev    next >
Encoding:
Internet Message Format  |  1992-09-08  |  1.9 KB
  1. Path: sparky!uunet!ogicse!uwm.edu!zaphod.mps.ohio-state.edu!news.acns.nwu.edu!casbah.acns.nwu.edu!ecm
  2. From: ecm@casbah.acns.nwu.edu (Edward Malthouse)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Cybenko's Paper
  5. Message-ID: <1992Sep8.151142.21643@news.acns.nwu.edu>
  6. Date: 8 Sep 92 15:11:42 GMT
  7. Article-I.D.: news.1992Sep8.151142.21643
  8. Sender: usenet@news.acns.nwu.edu (Usenet on news.acns)
  9. Organization: Northwestern University, Evanston Illinois.
  10. Lines: 33
  11.  
  12. I have read Cybenko's paper "Approximation by Superpoitions of a Sigmoidal
  13. Function" appearing in Math. Control Signals Systems, 2: 303-314 (1989) and
  14. have seen it referenced in several other papers.  Cybenko's paper shows that
  15. a 3-layer, feedforward neural network with a hidden layer with sigmoidal
  16. activation functions and an output layer with linear activation functions can
  17. uniformly approximate any continuous function which maps from R^n into R^1
  18. with support in the unit hypercube.  Cybenko defines a sigmoidal function as
  19. a function which has a limit of one as x approaches infinity and zero as x
  20. approaches negative infinity.   I have read that certain feedforward networks
  21. which do not fit this form can often produce better training results.  The
  22. deviations from Cybenko's result are as follows:
  23.  
  24. - Include direct connections between input and output layers.
  25.  
  26. - Use nonlinear activation functions on output nodes.
  27.  
  28. - Use the hyperbolic tangent function, which maps into [-1,1], as activation
  29.   function.
  30.  
  31. - Include more than one output node so that mappings between R^p and R^q, 
  32.   q>1, can be approximated.
  33.  
  34. Has there been any work since Cybenko generalizing the result and showing 
  35. that networks with these modifications can also uniformly approximate an
  36. arbitrary continuous function?  
  37.  
  38. Please e-mail responses and I will summarize if there is interest.
  39.  
  40. Thank you in advance for you help.
  41.  
  42. Ed Malthouse
  43. Department of Statistics
  44. Northestern University
  45.