home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2950 < prev    next >
Encoding:
Internet Message Format  |  1992-07-25  |  2.6 KB
  1. Path: sparky!uunet!darwin.sura.net!seismo!black
  2. From: black@seismo.CSS.GOV (Mike Black)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Neural Nets and Brains
  5. Message-ID: <50994@seismo.CSS.GOV>
  6. Date: 25 Jul 92 15:25:41 GMT
  7. References: <arms.711907358@spedden>> <BILL.92Jul23135614@ca3.nsma.arizona.edu> <arms.711935064@spedden>
  8. Sender: usenet@seismo.CSS.GOV
  9. Organization: Center for Seismic Studies, Arlington, VA
  10. Lines: 47
  11. Nntp-Posting-Host: beno.css.gov
  12.  
  13. In article <arms.711935064@spedden> arms@cs.UAlberta.CA (Bill Armstrong) writes:
  14. >
  15. >The theory of multilayer perceptrons as used in BP is horrifying.  You
  16. >need Kolmogorov's theorem just to show you can do everything you want
  17. >to approximate continuous functions, but nobody can apply it in
  18. >practice.  In contrast, every logic designer who has heard of CNF and
  19. >DNF finds it *obvious* that a adaptive logic net can synthesize any
  20. >boolean function.  So BP nets lose in a BIG way on the theory side, sorry.
  21. >
  22. I couldn't care less about theory...only results...
  23.  
  24. >As for learning, BP is just gradient descent, and it leads to networks
  25. >that are *extremely* inefficient -- like trying to write C programs
  26. >with no conditional statements like "if" or "for" or "while".  For
  27. >adaptive algorithms in logic networks that are far superior to
  28. >backprop, you can take a look at the atree release 2.6 adaptive logic
  29. >network simulator.
  30. >
  31. I will argue the superiority shortly...
  32.  
  33. >Sorry, but after you have looked at ALN software, you may no longer
  34. >feel non-logical nets have any real advantages at all.
  35. >
  36.  
  37. I took the atree software and (for times sake) reduced the multiplication
  38. problem to the 1 and 2 times tables.  I removed 1*6 from the table and
  39. let atree crank.  When I tested 1*6 it gave me an answer of ~35.  I do
  40. NOT call this superior as the backprop net I trained gave me an answer
  41. that was at least BETWEEN 1*5 and 1*7.   The other problem I ran into
  42. was running out of memory (16 meg + 64meg swap space) on a problem that
  43. I had previously solved with backprop.  
  44.  
  45. My conclusions:
  46.  
  47. 1.  backprop is able to generalize to a linear solution whereas atree
  48. cannot (in at least one provable case).
  49.  
  50. 2.  atree hits memory constraints before backprop does.
  51.  
  52. 3.  I have no doubt that atree does well in certain applications, but
  53. it NOT superior to backprop in ALL cases.
  54.  
  55. -- 
  56. -------------------------------------------------------------------------------
  57. : usenet: black@beno.CSS.GOV   :  land line: 407-494-5853  : I want a computer:
  58. : real home: Melbourne, FL     :  home line: 407-242-8619  : that does it all!:
  59. -------------------------------------------------------------------------------
  60.