home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #19 / NN_1992_19.iso / spool / comp / ai / neuraln / 3335 < prev    next >
Encoding:
Internet Message Format  |  1992-08-27  |  8.2 KB
  1. Path: sparky!uunet!cis.ohio-state.edu!pacific.mps.ohio-state.edu!linac!uwm.edu!caen!sol.ctr.columbia.edu!ira.uka.de!uka!prechelt
  2. From: prechelt@i41s14.ira.uka.de (Lutz Prechelt)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: changes to "FAQ in comp.ai.neural-nets" -- monthly posting
  5. Supersedes: <nn.changes.posting_704427486@i41s14.ira.uka.de>
  6. Followup-To: comp.ai.neural-nets
  7. Date: 28 Aug 1992 02:20:32 GMT
  8. Organization: University of Karlsruhe, Germany
  9. Lines: 182
  10. Expires: 2 Oct 1992 02:18:13 GMT
  11. Message-ID: <nn.changes.posting_714968293@i41s14.ira.uka.de>
  12. Reply-To: prechelt@ira.uka.de (Lutz Prechelt)
  13. NNTP-Posting-Host: i41s14.ira.uka.de
  14. Keywords: modifications, new, additions, deletions
  15. Originator: prechelt@i41s14
  16.  
  17. *** nn.oldbody    Tue Jul 28 04:18:07 1992
  18. --- nn.body    Fri Aug  7 16:37:07 1992
  19. ***************
  20. *** 1,5 ****
  21.   
  22.   Archive-name: neural-net-faq
  23. ! Last-modified: 92/07/13
  24.   
  25.   (FAQ means "Frequently Asked Questions")
  26. --- 1,5 ----
  27.   
  28.   Archive-name: neural-net-faq
  29. ! Last-modified: 92/08/07
  30.   
  31.   (FAQ means "Frequently Asked Questions")
  32. ***************
  33. *** 128,132 ****
  34.     Such a summary should be announced in the original posting of the question
  35.     or request with a phrase like
  36. !     "Please email, I'll summarize"
  37.   
  38.     In such a case answers should NOT be posted to the newsgroup but instead
  39. --- 128,132 ----
  40.     Such a summary should be announced in the original posting of the question
  41.     or request with a phrase like
  42. !     "Please answer by email, I'll summarize"
  43.   
  44.     In such a case answers should NOT be posted to the newsgroup but instead
  45. ***************
  46. *** 201,212 ****
  47.      and weights; only local information; highly parallel operation ]
  48.   
  49.   A vague description is as follows:
  50. - A NN is a network of many very simple processors ("units"), each with a 
  51. - (small amount of) local memory, who are connected by unidirectional
  52. - communication channels ("connections"), which carry numeric (as 
  53. - opposed to symbolic) data.
  54. - The units operate only on their local data and on the inputs
  55. - they receive via the connections.
  56.   
  57.   The design motivation is what distinguishes neural networks from other
  58.   mathematical techniques:
  59. --- 201,219 ----
  60.      and weights; only local information; highly parallel operation ]
  61.   
  62. + First of all, when we are talking about a neural network, we *should*
  63. + usually better say "artificial neural network" (ANN), because that is
  64. + what we mean  most of the time. Biological neural networks are much
  65. + more complicated in their elementary structures than the mathematical
  66. + models we use for ANNs.
  67. + 
  68.   A vague description is as follows:
  69.   
  70. + An ANN is a network of many very simple processors ("units"), each
  71. + possibly having a (small amount of) local memory. The units are
  72. + connected by unidirectional communication channels ("connections"),
  73. + which carry numeric (as opposed to symbolic) data.  The units operate
  74. + only on their local data and on the inputs they receive via the
  75. + connections.
  76. + 
  77.   The design motivation is what distinguishes neural networks from other
  78.   mathematical techniques:
  79. ***************
  80. *** 286,295 ****
  81.   in layers) feedforward (i.e., the arcs joining nodes are
  82.   unidirectional, and there are no cycles) nets.
  83. - Back-propagation assumes knowledge of the right answer from a teacher and
  84. - uses gradient descent on the error (provided by the teacher) to train the
  85. - weights.
  86. - The activation function is (usually) a sigmoidal (i.e., bounded above and
  87. - below, but differentiable) function of a weighted sum of the nodes inputs.
  88.   
  89.   The use of a gradient descent algorithm to train its weights makes it
  90.   slow to train; but being a feedforward algorithm, it is quite rapid during
  91. --- 293,303 ----
  92.   in layers) feedforward (i.e., the arcs joining nodes are
  93.   unidirectional, and there are no cycles) nets.
  94.   
  95. + Back-propagation needs a teacher that knows the correct output for any
  96. + input ("supervised learning") and uses gradient descent on the error
  97. + (as provided by the teacher) to train the weights.  The activation
  98. + function is (usually) a sigmoidal (i.e., bounded above and below, but
  99. + differentiable) function of a weighted sum of the nodes inputs.
  100. + 
  101.   The use of a gradient descent algorithm to train its weights makes it
  102.   slow to train; but being a feedforward algorithm, it is quite rapid during
  103. ***************
  104. *** 301,305 ****
  105.     Microstructure of Cognition (volume 1, pp 318-362). 
  106.     The MIT Press. 
  107. ! (this is the classic one) or one of the some thousand other books 
  108.   or articles on backpropagation  :->
  109.   
  110. --- 309,313 ----
  111.     Microstructure of Cognition (volume 1, pp 318-362). 
  112.     The MIT Press. 
  113. ! (this is the classic one) or one of the dozens of other books 
  114.   or articles on backpropagation  :->
  115.   
  116. ***************
  117. *** 458,461 ****
  118. --- 466,479 ----
  119.   understand".
  120.   
  121. + McClelland, J. L. and Rumelhart, D. E. (1988).
  122. + Explorations in Parallel Distributed Processing: Computational Models of 
  123. + Cognition and Perception (software manual). The MIT Press.
  124. + Comments: "Written in a tutorial style, and includes 2 diskettes of NN 
  125. + simulation programs that can be compiled on MS-DOS or Unix (and they do 
  126. + too !)"; "The programs are pretty reasonable as an introduction to some 
  127. + of the things that NNs can do."; "There are *two* editions of this book.  
  128. + One comes with disks for the IBM PC, the other comes with disks for the 
  129. + Macintosh".
  130. + 
  131.   McCord Nelson, M. and Illingworth, W.T. (1990). A Practical Guide to Neural 
  132.   Nets. Addison-Wesley Publishing Company, Inc. (ISBN 0-201-52376-0).
  133. ***************
  134. *** 560,573 ****
  135.   applications implementation".
  136.   
  137. - McClelland, J. L. and Rumelhart, D. E. (1988).
  138. - Explorations in Parallel Distributed Processing: Computational Models of 
  139. - Cognition and Perception (software manual). The MIT Press.
  140. - Comments: "Written in a tutorial style, and includes 2 diskettes of NN 
  141. - simulation programs that can be compiled on MS-DOS or Unix (and they do 
  142. - too !)"; "The programs are pretty reasonable as an introduction to some 
  143. - of the things that nns can do."; "There are *two* editions of this book.  
  144. - One comes with disks for the IBM PC, the other comes with disks for the 
  145. - Macintosh".
  146. - 
  147.   Pao, Y. H. (1989). Adaptive Pattern Recognition and Neural Networks
  148.   Addison-Wesley Publishing Company, Inc. (ISBN 0-201-12584-6)
  149. --- 578,581 ----
  150. ***************
  151. *** 973,976 ****
  152. --- 981,987 ----
  153.   2. Usenet groups comp.ai.neural-nets (Oha !  :-> )
  154.      and comp.theory.self-org-sys
  155. +    There is a periodic posting on comp.ai.neural-nets sent by
  156. +    srctran@world.std.com (Gregory Aharonian) about Neural Network 
  157. +    patents.
  158.   
  159.   3. Central Neural System Electronic Bulletin Board
  160. ***************
  161. *** 1016,1020 ****
  162.        (source code:)     rcs_v4.2.justsrc.tar.Z   (1.4 MB)
  163.   
  164. - 
  165.   2. UCLA-SFINX
  166.      ftp 131.179.16.6  (retina.cs.ucla.edu)
  167. --- 1027,1030 ----
  168. ***************
  169. *** 1158,1162 ****
  170.        Models, Programs, and Exercises" by McClelland and Rumelhart.
  171.        MIT Press, 1988.
  172. !    This book is often referred to as PDP vol III which is a very
  173.      misleading practice!  The book comes with software on an IBM disk but
  174.      includes a makefile for compiling on UNIX systems.  The version of
  175. --- 1168,1172 ----
  176.        Models, Programs, and Exercises" by McClelland and Rumelhart.
  177.        MIT Press, 1988.
  178. !    Comment: "This book is often referred to as PDP vol III which is a very
  179.      misleading practice!  The book comes with software on an IBM disk but
  180.      includes a makefile for compiling on UNIX systems.  The version of
  181. ***************
  182. *** 1163,1167 ****
  183.      PDP available at nic.funet.fi seems identical to the one with the book
  184.      except for a bug in bp.c which occurs when you try to run a script of
  185. !    PDP commands using the DO command.  This can be found and fixed easily.
  186.   
  187.   16. Xerion
  188. --- 1173,1177 ----
  189.      PDP available at nic.funet.fi seems identical to the one with the book
  190.      except for a bug in bp.c which occurs when you try to run a script of
  191. !    PDP commands using the DO command.  This can be found and fixed easily."
  192.   
  193.   16. Xerion
  194. -- 
  195. Lutz Prechelt   (email: prechelt@ira.uka.de)            | Whenever you 
  196. Institut fuer Programmstrukturen und Datenorganisation  | complicate things,
  197. Universitaet Karlsruhe;  D-7500 Karlsruhe 1;  Germany   | they get
  198. (Voice: ++49/721/608-4317, FAX: ++49/721/694092)        | less simple.
  199.