home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / ai / neuraln / 4556 < prev    next >
Encoding:
Internet Message Format  |  1992-12-11  |  2.7 KB
  1. Path: sparky!uunet!cs.utexas.edu!sun-barr!olivea!spool.mu.edu!yale.edu!yale!gumby!destroyer!cs.ubc.ca!alberta!arms
  2. From: arms@cs.UAlberta.CA (Bill Armstrong)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Questions about sigmoids etc.
  5. Keywords: Sigmoids, output layers
  6. Message-ID: <arms.724120505@spedden>
  7. Date: 12 Dec 92 00:35:05 GMT
  8. References: <waugh.723705045@probitas> <1992Dec8.161935@sees.bangor.ac.uk> <1992Dec9.160218.25286@cs.brown.edu> <1992Dec10.084458.12506@dxcern.cern.ch> <1992Dec10.123626.28838@cs.brown.edu>
  9. Sender: news@cs.UAlberta.CA (News Administrator)
  10. Organization: University of Alberta, Edmonton, Canada
  11. Lines: 42
  12. Nntp-Posting-Host: spedden.cs.ualberta.ca
  13.  
  14. hm@cs.brown.edu (Harry Mamaysky) writes:
  15.  
  16. >In article <1992Dec10.084458.12506@dxcern.cern.ch>, block@dxlaa.cern.ch (Frank Block) writes:
  17. >|> 
  18. >|> In article <1992Dec9.160218.25286@cs.brown.edu>, pcm@cs.brown.edu (Peter C. McCluskey) writes:
  19. >|> |> In article <1992Dec8.161935@sees.bangor.ac.uk>, paulw@sees.bangor.ac.uk 
  20. >|> |> (Mr P Williams (AD)) writes:
  21. >|> |> |>     For backpropagation networks (i.e. Rumelhart ,Mclelland and Williams), 
  22. >|> |> |> it is neccessary to have a monotonically increasing, DIFFERENTIABLE 
  23. >|> |> |> function as the output
  24.  
  25. >|> 
  26. >|> But how are you going to train a network with non-differentiable functions?
  27. >|> Certainly not with the standard BP?
  28.  
  29. A partial derivative is only one way of measuring the influence of a
  30. weight change on the output error of a network.  You can also use
  31. ratios of non-infinitesimal perturbations of values too.  Even though
  32. we speak of the derivative we can never take the limit anyway in
  33. implementations.
  34.  
  35. The ALN adaptive algorithm (atree release 2.7 in pub/atre27.exe for
  36. Windows 3.x on menaik.cs.ualberta.ca [129.128.4.241]) deals with
  37. finite changes. Actually since we are then in a boolean tree, either
  38. the output changes when a "weight" changes, or it doesn't.  The
  39. logical measure is much faster to evaluate in combinational hardware
  40. than the derivative, and it can be done by lazy evaluation of the
  41. logic in software.
  42.  
  43. I think in large adaptive systems, we have to give up on
  44. differentiability, and even on the idea of only having functions.  I
  45. think we need to learn relationships that are many to many.  In the
  46. general case, I don't see any way we can use derivatives, however
  47. finite perturbations can still be used to reduce error.  This error
  48. reduction combined with Widrow's idea of "least disturbance" provides
  49. lots of possible adaptive algorithms.
  50.  
  51. --
  52. ***************************************************
  53. Prof. William W. Armstrong, Computing Science Dept.
  54. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  55. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  56.