home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #20 / NN_1992_20.iso / spool / comp / ai / neuraln / 3414 < prev    next >
Encoding:
Text File  |  1992-09-08  |  4.1 KB  |  92 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!usc!sol.ctr.columbia.edu!destroyer!ubc-cs!unixg.ubc.ca!kakwa.ucs.ualberta.ca!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: BEP question
  5. Message-ID: <arms.715877524@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <1992Sep7.064241.10764@afterlife.ncsc.mil>
  10. Date: Mon, 7 Sep 1992 14:52:04 GMT
  11. Lines: 79
  12.  
  13. hcbarth@afterlife.ncsc.mil (Bart Bartholomew) writes:
  14.  
  15.  
  16. >    I have been pondering a problem in NNs that I think should
  17. >work, but I don't know how to implement it.  While I will describe
  18. >a specific problem, the technique (if there is one) should have
  19. >a fairly wide use.
  20. >    Everyone is just born knowing that sine waves are mean zero,
  21. >variance one.
  22.  
  23. Do you mean "variance one-half."?
  24.  
  25. The mean-square deviation of sin x from its mean 0 (using a uniform
  26. distribution on x from 0 to 2*pi) is 1/2.  It can't possibly be 1,
  27. because then sin x would have to be at its maximum absolute deviation
  28. of 1 throughout the whole interval!
  29.  
  30.   If gaussian noise is added, the variance goes up.
  31. >Some people use the variance as a measure of the signal-to-noise ratio.
  32. >    Seems like we should be able to do an epochal forward pass
  33. >in which we accumulate the output points, compute the variance, 
  34. >develope an error term from the putative norm, and backpropagate that.
  35. >    One can, of course, see other such error terms.  In effect, 
  36. >we have some black box in the forward pass to develop the error for
  37. >the backward pass.
  38.  
  39. I assume the backpropagation is for some specific purpose.  One goal
  40. could be to guide a learning procedure in some machine, and another one
  41. could be to determine which input variables have the most effect on
  42. the output.  Since your example only has one variable, I have to assume
  43. a learning system, possibly a standard MLP.
  44.  
  45. >    The mathematicians (I am most assuredly *not*) will probably
  46. >object if the error term is not differentiable.  My wetware feeling
  47. >(notoriously unreliable) is that if a given function is not nicely
  48. >differential, there is some reasonable transformation of it that is.
  49. >    At this point we come to the inevitable clash with the nuts-
  50. >and-bolts of the problem in deciding how to actually implement
  51. >something like this.
  52. >    Your comments please.
  53. >    Bart
  54. >-- 
  55.  
  56. On the contrary.  If you want a proof that differentiability is not
  57. necessary, just look at ALNs.  They do a form of logical backprop
  58. where either something affects the output or it doesn't, because
  59. everything is zeros and ones. The following is the whole idea behind
  60. backprop -- change the weights which have a significant effect on the
  61. error for the particular input pattern being given.  I like Bernard
  62. Widrow's intuition on this one: change the weights in such a way as to
  63. "least disturb" the learning of other patterns.  BP does it because it
  64. is able to have the greatest effect on the error by the least
  65. perturbation.
  66.  
  67. Differentiability is just one way of finding out how things affect an
  68. output.  It is also just one way of measuring the effect of an input
  69. on the output, as in cases where you might want to control something
  70. (like a truck backer upper).
  71.  
  72. Now, how would you implement an alternative approach in general?
  73. Well, you could do it in combinational logic for speed as in ALNs, but
  74. considering the effect of a change on the output is only one of the
  75. heuristics used in ALNs.  In general, you could try perturbations of
  76. the weights (or whatever parameters you have) to see which change
  77. affects the output most.  There is also no reason why the appropriate
  78. weight(s) to change and by how much couldn't be predicted by another
  79. NN, as you suggest, if I have understood your remarks.
  80.  
  81. So Bart, though your innate knowledge about sine waves seems to be
  82. twice as great as most peoples', I think you are absolutely correct in
  83. the ideas you are suggesting.
  84.  
  85. Bill
  86.  
  87. --
  88. ***************************************************
  89. Prof. William W. Armstrong, Computing Science Dept.
  90. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  91. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  92.