home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2996 < prev    next >
Encoding:
Text File  |  1992-07-28  |  2.6 KB  |  56 lines

  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!usc!cs.utexas.edu!qt.cs.utexas.edu!yale.edu!yale!gumby!destroyer!ubc-cs!unixg.ubc.ca!kakwa.ucs.ualberta.ca!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: Neural Nets and Brains
  5. Message-ID: <arms.712337444@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <BILL.92Jul23135614@ca3.nsma.arizona.edu> <arms.711935064@spedden> <50994@seismo.CSS.GOV> <2905@mdavcr.mda.ca>
  10. Date: Tue, 28 Jul 1992 15:30:44 GMT
  11. Lines: 43
  12.  
  13. garry@mdavcr.mda.ca (Gary Holmen) writes:
  14.  
  15. >After reading this message I decided to go home and run the ALN software
  16. >on my IBM PC. It is only a 25 Hz 386 with 2 Meg of memory and the 
  17. >package seemed to work fine. I trained 3 trees on the times tables and
  18. >it finished in about 45 mins. The answer I recieved was 1*7 which is about
  19. >the same accuracy I've seen from the BP algorithms I've used.
  20.  
  21. He continues, referring to Mike Black's test:
  22.  
  23. >My guess the problem with your answer had to do with the 
  24. >random_walk portion of the algorithm rather than the ALN's themselves.
  25. >I believe that this has been noted for modification in future releases.
  26.  
  27. The fact is that ALNs do not interpolate.  How could they if they
  28. don't do arithmetic? ALNs generalize by being insensitive to
  29. perturbations of the inputs.  The anwer you obtained is just what I
  30. would expect: the anwer to 1*6 which was missing from the training
  31. set, was generalized from 1*7 which was in it.  Mike's problem where
  32. he obtained ~35 (was it?) is possibly due to a bad coding of the
  33. output variable (not enough bits)
  34.  
  35. By the way, 3 trees only won't do it.  I suppose you mean 3 trees per bit
  36. of the output code?
  37.  
  38. In the next version of our software, we are scrapping the random walk
  39. technique.  It works, but it doesn't fit in to a safe design
  40. methodology.  Interpolation will be handled by smoothing the "blocky"
  41. functions that ALNs produce.  (There is a close relation to BP here.
  42. We will use something like the derivative of the usual sigmoid as a
  43. kernel, but chopped to a bounded support and made infinitely-often
  44. differentiable.  The use of a finite support makes the result a lot
  45. faster to compute.)
  46.  
  47. > ... Look at them objectively and learn their advantages 
  48. >and disadvantages so that we can use neural networks to their full potential.
  49.  
  50. Thanks. One can't ask more.
  51. --
  52. ***************************************************
  53. Prof. William W. Armstrong, Computing Science Dept.
  54. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  55. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  56.