home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / text / 9305nni.zip / 930518.PPR < prev    next >
Text File  |  1993-05-18  |  3KB  |  93 lines
  1. Article 9142 of comp.ai.neural-nets:
  2. Path: serval!netnews.nwnet.net!ogicse!network.ucsd.edu!usc!cs.utexas.edu!uunet!pipex!uknet!cam-eng!rss
  3. From: rss@eng.cam.ac.uk (R.S. Shadafan)
  4. Newsgroups: comp.ai.neural-nets
  5. Subject: Technical Report
  6. Keywords: Sequential, Dynamic, Neural Network, Input Space, RLS, LMS, Vowels, Wheat.
  7. Message-ID: <1993May18.093824.10137@eng.cam.ac.uk>
  8. Date: 18 May 93 09:38:24 GMT
  9. Article-I.D.: eng.1993May18.093824.10137
  10. Sender: rss@eng.cam.ac.uk (R.S. Shadafan)
  11. Organization: cam.eng
  12. Lines: 76
  13. Nntp-Posting-Host: tw800.eng.cam.ac.uk
  14.  
  15. The following technical report is available by anonymous ftp from the
  16. archive of the Speech, Vision and Robotics group at Cambridge
  17. University, UK.
  18.  
  19.                 A Dynamic Neural Network Architecture
  20.             by sequential Partitioning of the input space
  21.  
  22.  
  23.                   Raed Shadafan and M. Niranjan
  24.  
  25.                Technical Report CUED/F-INFENG/TR 127
  26.  
  27.             Cambridge University Engineering Department
  28.                         Trumpington Street
  29.                         Cambridge CB2 1PZ
  30.                              England
  31.  
  32.  
  33.                              Abstract
  34.  
  35. We present a sequential approach to training multilayer perceptron for
  36. pattern classification applications. The network is presented with
  37. each item of data only once and its architecture is dynamically
  38. adjusted during training. At the arrival of each example, a decision
  39. whether to increase the complexity of the network, or simply train the
  40. existing nodes is made based on three heuristic criteria. These
  41. criteria measure the position of the new item of data in the input
  42. space with respect to the information currently stored in the network.
  43.  
  44. During the training process, each layer is assumed to be an
  45. independent entity with its particular input space. By adding nodes to
  46. each layer, the algorithm effectively adding a hyperplane to the input
  47. space hence adding a partition in the input space for that layer. When
  48. existing nodes are sufficient to accommodate the incoming input, the
  49. involved hidden nodes will be trained accordingly.
  50.  
  51. Each hidden unit in the network is trained in closed form by means of
  52. a Recursive Least Squares (RLS) algorithm.  A local covariance matrix
  53. of the data is maintained at each node and the closed form solution is
  54. recursively updated.  The three criteria are computed from these
  55. covariance matrices with minimum computational cost.
  56.  
  57. The performance of the algorithm is illustrated on two problems. The
  58. first problem is the two dimensional Peterson \& Barney vowel
  59. data. The second problem is a 32 dimensional data used
  60. for wheat classification. The sequential nature of the algorithm has
  61. an efficient hardware implementation in the form of systolic arrays,
  62. and the incremental training idea has better biological plausibility
  63. when compared with iterative methods.
  64.  
  65. ************************ How to obtain a copy ************************
  66.  
  67. a) Via FTP:
  68.  
  69. unix> ftp svr-ftp.eng.cam.ac.uk
  70. Name: anonymous
  71. Password: (type your email address)
  72. ftp> cd reports
  73. ftp> binary
  74. ftp> get shadafan_tr127.ps.Z
  75. ftp> quit
  76. unix> uncompress shadafan_tr127.ps.Z
  77. unix> lpr shadafan_tr127.ps (or however you print PostScript)
  78.  
  79. b) Via postal mail:
  80.  
  81. Request a hardcopy from
  82.  
  83. Raed Shadafan or M. Niranjan,
  84. Speech Laboratory,
  85. Cambridge University Engineering Department,
  86. Trumpington Street,
  87. Cambridge CB2 1PZ,
  88. England.
  89.  
  90. or email us: rss/niranjan@eng.cam.ac.uk
  91.  
  92.  
  93.