home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2955 < prev    next >
Encoding:
Text File  |  1992-07-25  |  4.5 KB  |  100 lines

  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!zaphod.mps.ohio-state.edu!sol.ctr.columbia.edu!destroyer!ubc-cs!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: Neural Nets and Brains
  5. Message-ID: <arms.712096926@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <arms.711907358@spedden>> <BILL.92Jul23135614@ca3.nsma.arizona.edu> <arms.711935064@spedden> <50994@seismo.CSS.GOV>
  10. Date: Sat, 25 Jul 1992 20:42:06 GMT
  11. Lines: 87
  12.  
  13. black@seismo.CSS.GOV (Mike Black) writes:
  14.  
  15. >In article <arms.711935064@spedden> arms@cs.UAlberta.CA (Bill Armstrong) writes:
  16.  
  17. >>Sorry, but after you have looked at ALN software, you may no longer
  18. >>feel non-logical nets have any real advantages at all.
  19. >>
  20.  
  21. >I took the atree software and (for times sake) reduced the multiplication
  22. >problem to the 1 and 2 times tables.  I removed 1*6 from the table and
  23. >let atree crank.  When I tested 1*6 it gave me an answer of ~35.
  24.  
  25. This depends on the coding a:b used.  It looks like the random walk
  26. for the output curved back upon itself.  Maybe using a different
  27. coding would correct the problem partly.  However there is a problem
  28. that would tend to give for 1*6 an answer equal to one for a
  29. neighboring input, eg 1*5 or 1* 7 or 2*6 or 0*6, which is discussed
  30. below.
  31.  
  32.   I do
  33. >NOT call this superior as the backprop net I trained gave me an answer
  34. >that was at least BETWEEN 1*5 and 1*7.   The other problem I ran into
  35. >was running out of memory (16 meg + 64meg swap space) on a problem that
  36. >I had previously solved with backprop.  
  37.  
  38. >My conclusions:
  39.  
  40. >1.  backprop is able to generalize to a linear solution whereas atree
  41. >cannot (in at least one provable case).
  42.  
  43. I agree with you that ALNs do not interpolate.  Atree generalizes not
  44. by interpolation, but by maintaining some neighboring training point's
  45. output.  This is because the tree functions are insensitive to
  46. perturbations of the inputs.
  47.  
  48. In order to get smooth interpolation, there are other ways of using
  49. ALNs.  For example you can use a forest of ALNs to compute an index
  50. which says which part of the space an input point is in.  From there,
  51. you can access coefficients of a smooth function for that part of the
  52. space.  Then the number of arithmetic operations is quite small, just
  53. enough to describe the local function.  On the other hand, backprop
  54. always accesses enough coefficients to describe the function on the
  55. whole space, and that's inefficient.
  56.  
  57. This ALN technique gives you only piecewise continuous functions.  It
  58. is possible to compute continuous functions too, with additional
  59. complexity.  Fortunately, the number of arithmetic operations still
  60. depends only on functions defined in the locality of the input point.
  61.  
  62. >2.  atree hits memory constraints before backprop does.
  63.  
  64. This is not intrinsic to atree.  The Unix version depends on virtual
  65. memory, and so shouldn't run out; and the Windows version uses the
  66. Windows facility for getting access to memory above 1 Meg.
  67.  
  68. Part of the problem is in the way atree uses bit-vectors.  This is
  69. unnecessary, and will be changed in future versions.
  70.  
  71. >3.  I have no doubt that atree does well in certain applications, but
  72. >it NOT superior to backprop in ALL cases.
  73.  
  74. The technique of random walks to encode continuous values has to be
  75. replaced in order to get smooth interpolations, and more importantly
  76. to be able to force the functions synthesized to be piecewise
  77. monotonic so we don't get wild values.  The bit-vectors also have to
  78. go.  Since the software which does this is not available yet, all I can
  79. do is hope that the ideas presented above are enough to indicate where
  80. ALNs have problems, and how they can be solved.
  81.  
  82. BP-nets ( or rather MLPs with multiply-adds and sigmoids that are
  83. non-constant in every part of the real line) have inefficiencies built
  84. in that are going to be difficult or impossible to overcome.  A
  85. significant step forward would be if BP could use squashing functions
  86. that are constant outside an interval (eg [-1,1]).  If you could train
  87. BP nets using that kind of squashing function, they could be much more
  88. efficient to evaluate and many of my arguments against BP would break
  89. down.
  90.  
  91. With ALNs, approximations can be produced which only depend on local
  92. data, and that will ultimately give ALNs a significant advantage even
  93. where fitting smooth functions is concerned.
  94.  
  95. --
  96. ***************************************************
  97. Prof. William W. Armstrong, Computing Science Dept.
  98. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  99. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  100.