home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #1 / NN_1993_1.iso / spool / comp / ai / neuraln / 4717 < prev    next >
Encoding:
Internet Message Format  |  1993-01-06  |  1.8 KB
  1. Path: sparky!uunet!pipex!bnr.co.uk!uknet!strath-cs!robert@cs.strath.ac.uk
  2. From: robert@cs.strath.ac.uk (Robert B Lambert)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Perceptron Generalization
  5. Message-ID: <11363@baird.cs.strath.ac.uk>
  6. Date: 6 Jan 93 15:16:58 GMT
  7. Sender: robert@cs.strath.ac.uk
  8. Organization: Comp. Sci. Dept., Strathclyde Univ., Glasgow, Scotland.
  9. Lines: 32
  10.  
  11. Hi.
  12.  
  13. A question to all you NN gurus out there.
  14.  
  15.   To achieve an (E x 100%) recognition rate on a test set, where E is the
  16.   acceptable fraction of errors on the test set, a two layer perceptron 
  17.   (1 hidden layer) with W network weights requires m training examples,
  18.   (where training is done with the back-propagation algorithm) such that 
  19.   m>W/e. [Baum and Haussler, 1989]
  20.  
  21.   To what extent does this result affect the generalization performance of
  22.   perceptrons with greater than one hidden layer?
  23.  
  24.   Given 10 inputs, does a 3-layer net with 6-6-4 nodes (hidden-hidden-output) 
  25.   require as many training cases as a 2-layer net with 6-4 nodes?
  26.  
  27. I would appreciate any information on the generalization performance of 
  28. perceptron nets with >1 hidden layer. I will post a summary of the results
  29. (if there are any).
  30.  
  31. Thanks,  Robert.
  32.  
  33. [Baum and Haussler, 1989] - E.B.Baum and D.Haussler. "What size of net gives
  34.                             valid generalization?", Neural Computation, vol. 1
  35.                             pages 151-160.
  36.  
  37. +-----------------------------+-----------------------------------------------+
  38. |  Robert B Lambert           |       E-Mail : robert@cs.strath.ac.uk         |
  39. |  Dept. Computer Science,    +-----------------------------------------------+
  40. |  University of Strathclyde, |   The brain's function is to cool the blood   |
  41. |  Glasgow, Scotland.         |           - Aristotle  400 B.C.               |
  42. +-----------------------------+-----------------------------------------------+
  43.