home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2906 < prev    next >
Encoding:
Text File  |  1992-07-23  |  3.6 KB  |  89 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!zaphod.mps.ohio-state.edu!sol.ctr.columbia.edu!destroyer!ubc-cs!unixg.ubc.ca!kakwa.ucs.ualberta.ca!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: Neural Nets and Brains
  5. Message-ID: <arms.711935064@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <1992Jul21.162033.57397@cc.usu.edu> <1992Jul23.013755.18847@hubcap.clemson.edu>     <arms.711907358@spedden> <BILL.92Jul23135614@ca3.nsma.arizona.edu>
  10. Date: Thu, 23 Jul 1992 23:44:24 GMT
  11. Lines: 76
  12.  
  13. bill@nsma.arizona.edu (Bill Skaggs) writes:
  14.  
  15. >arms@cs.UAlberta.CA (Bill Armstrong) writes:
  16.  
  17. >   >First off, isn't it rather strange that the most widespread
  18. >   >artificial model of neural operation. the multilayer perceptron,
  19. >   >uses continuous quantities on its connections, while the dendrites
  20. >   >and axons of neurons use "zero or one" type action potentials?  
  21.  
  22.  
  23. >   As a matter of fact, the
  24. >McCulloch-Pitts model used binary neurons.
  25.  
  26. Right, I should have said neural learning, not neural operation.
  27.  
  28. >   >Until physiological psychologists start studying adaptive logic
  29. >   >networks, can anyone expect much progress on understanding the
  30. >   >brain?
  31.  
  32.  
  33. > ... There is no reason to think that continuous models are
  34. >incapable of shedding any light on nervous systems.  For theoretical
  35. >work they have some real advantages -- among the most important being
  36. >that they make possible certain learning rules, such as backprop, that
  37. >cannot be used with binary models.
  38.  
  39. The theory of multilayer perceptrons as used in BP is horrifying.  You
  40. need Kolmogorov's theorem just to show you can do everything you want
  41. to approximate continuous functions, but nobody can apply it in
  42. practice.  In contrast, every logic designer who has heard of CNF and
  43. DNF finds it *obvious* that a adaptive logic net can synthesize any
  44. boolean function.  So BP nets lose in a BIG way on the theory side, sorry.
  45.  
  46. As for learning, BP is just gradient descent, and it leads to networks
  47. that are *extremely* inefficient -- like trying to write C programs
  48. with no conditional statements like "if" or "for" or "while".  For
  49. adaptive algorithms in logic networks that are far superior to
  50. backprop, you can take a look at the atree release 2.6 adaptive logic
  51. network simulator.
  52.  
  53. Sorry, but after you have looked at ALN software, you may no longer
  54. feel non-logical nets have any real advantages at all.
  55.  
  56. *****
  57. Here is a typical session with ftp, aimed at retrieving the adaptive
  58. logic network (ALN) software. Unix prompts are "%", ftp prompts are "ftp>" and
  59. editorial comments are in "[]".
  60. % ftp      [start ftp]
  61. ftp> open menaik.cs.ualberta.ca       [or "open 129.128.4.241"]
  62. Name (menaik.cs.ualberta.ca:arms): anonymous
  63. Password: [type your login id here, if you like]
  64. ftp> cd pub
  65. ftp> type binary [ we are dealing with a compressed file]
  66. ftp> get atree2.tar.Z
  67. ftp> quit
  68. % uncompress atree2.tar.Z
  69. % tar -xvf atree2.tar [and there you have it, and similarly for
  70. atree2.ps.Z (a compressed PostScript document),
  71. alnlpst-1991.Z (the alnl mailing list archive for 1991)] and
  72. atre26.exe (the atree release 2.6 code for use with Windows 3.0 or 3.1
  73. on the IBM-PC and compatibles).  Release 2.5 is now obsolete.
  74.  
  75. NB: If you want to economize on transmission time, you can omit the source
  76. code by getting a26exe.exe instead of atre26.exe.
  77.  
  78.  
  79.  
  80.  
  81.  
  82.  
  83.  
  84. --
  85. ***************************************************
  86. Prof. William W. Armstrong, Computing Science Dept.
  87. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  88. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  89.