home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2991 < prev    next >
Encoding:
Internet Message Format  |  1992-07-27  |  3.5 KB

  1. Path: sparky!uunet!van-bc!mdavcr!garry
  2. From: garry@mdavcr.mda.ca (Gary Holmen)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Neural Nets and Brains
  5. Message-ID: <2905@mdavcr.mda.ca>
  6. Date: 27 Jul 92 23:37:12 GMT
  7. References: <BILL.92Jul23135614@ca3.nsma.arizona.edu> <arms.711935064@spedden> <50994@seismo.CSS.GOV>
  8. Organization: MacDonald Dettwiler, 13800 Commerce Parkway, Richmond, BC, Canada  V6V 2J3
  9. Lines: 55
  10.  
  11. In article <50994@seismo.CSS.GOV> black@seismo.CSS.GOV (Mike Black) writes:
  12. >In article <arms.711935064@spedden> arms@cs.UAlberta.CA (Bill Armstrong) writes:
  13. >>
  14. >>The theory of multilayer perceptrons as used in BP is horrifying.  You
  15. >>need Kolmogorov's theorem just to show you can do everything you want
  16. >>to approximate continuous functions, but nobody can apply it in
  17. >>practice.  In contrast, every logic designer who has heard of CNF and
  18. >>DNF finds it *obvious* that a adaptive logic net can synthesize any
  19. >>boolean function.  So BP nets lose in a BIG way on the theory side, sorry.
  20. >>
  21. >I couldn't care less about theory...only results...
  22.  
  23. This seems to be an 'end justifies the means' attitude. How can you assure
  24. your customers that you are producing *SAFE* software without looking at
  25. theory? One of the big concerns I hear consistently from customers is the 
  26. neural networks just seem to be 'black boxes'. They want to minimize the risks
  27. they're involved in and a response like " But it worked last time...." just
  28. doesn't do it. I'm not down grading the importance of research into new fields
  29. but maybe we should also be concerned with explaining what we are doing at
  30. the present time. While results are great I would feel much more secure knowing
  31. that there is theory backing up what I'm doing.
  32.  
  33. >I took the atree software and (for times sake) reduced the multiplication
  34. >problem to the 1 and 2 times tables.  I removed 1*6 from the table and
  35. >let atree crank.  When I tested 1*6 it gave me an answer of ~35.  I do
  36. >NOT call this superior as the backprop net I trained gave me an answer
  37. >that was at least BETWEEN 1*5 and 1*7.   The other problem I ran into
  38. >was running out of memory (16 meg + 64meg swap space) on a problem that
  39. >I had previously solved with backprop.  
  40.  
  41. After reading this message I decided to go home and run the ALN software
  42. on my IBM PC. It is only a 25 Hz 386 with 2 Meg of memory and the 
  43. package seemed to work fine. I trained 3 trees on the times tables and
  44. it finished in about 45 mins. The answer I recieved was 1*7 which is about
  45. the same accuracy I've seen from the BP algorithms I've used.
  46.  
  47. My guess the problem with your answer had to do with the 
  48. random_walk portion of the algorithm rather than the ALN's themselves.
  49. I believe that this has been noted for modification in future releases.
  50.  
  51.  
  52. In conclusion I would like to note that even though ALN's do have some
  53. disadvantages (not enough of a user base being one of them) that they do
  54. show promise in several areas and I believe that we shouldn't 'throw the
  55. baby out with the bath water' just because it doesn't have the recognition
  56. that BP nets do. Look at them objectively and learn their advantages 
  57. and disadvantages so that we can use neural networks to their full potential.
  58.  
  59. ----------------------------------------------------------------------------
  60. - Garry Holmen        |    To Boldly Go Where No Computer Has Gone    -
  61. - Software Engineer     |                  Before               -
  62. - MDA  Richmond, BC     |                           -
  63. ----------------------------------------------------------------------------
  64. - email: garry @mda.ca                               -
  65. ----------------------------------------------------------------------------
  66.