home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2915 < prev    next >
Encoding:
Internet Message Format  |  1992-07-24  |  2.0 KB
  1. Path: sparky!uunet!ogicse!das-news.harvard.edu!cantaloupe.srv.cs.cmu.edu!crabapple.srv.cs.cmu.edu!news
  2. From: sef@sef-pmax.slisp.cs.cmu.edu
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: What's in a layer ? (was: dumb question on layer enumeration)
  5. Message-ID: <1992Jul24.143726.50351@cs.cmu.edu>
  6. Date: 24 Jul 92 14:37:26 GMT
  7. Article-I.D.: cs.1992Jul24.143726.50351
  8. Organization: School of Computer Science, Carnegie Mellon
  9. Lines: 34
  10. Nntp-Posting-Host: sef-pmax.slisp.cs.cmu.edu
  11.  
  12.  
  13.     From: piccolbo@ghost.dsi.unimi.it (antonio piccolboni)
  14.      
  15.      I'd like to shift your attention to a more compelling problem (for me):
  16.      can we train a neural net with connections of the third type by means
  17.      of standard back-propagation? In our experience this one works as far as
  18.      the connection relation ( (a,b) belong to R iff the weight of connection
  19.      from a to b is different from 0) is a directed acyclic graph.
  20.      Is there a formal proof of this? (I think it would consist in proving 
  21.      that the partial derivatives of error with respect to connections weight
  22.      are spatially and timely local).
  23.  
  24. It's unclear to me exactly what you're trying to prove, but the backprop
  25. works just fine on networks with shortcuts, as long as there are
  26. well-defined output units and some total ordering of the units such that
  27. unit n does not depend on the values of any unit m, where m >= n.  The
  28. usual derivation of the formula for the partials dE/dw does not assume any
  29. kind of layered structure.
  30.  
  31. By the way, non-zero weights are not required either.  A zero weight will,
  32. in general, evolve into something more useful.  What you don't want to do
  33. is initialize *all* the weights to zero, or to any other common value.
  34. This creates symmetries that, in the absence of noise, can't be broken, so
  35. the net will get stuck.
  36.  
  37. -- Scott
  38. ===========================================================================
  39. Scott E. Fahlman
  40. School of Computer Science
  41. Carnegie Mellon University
  42. 5000 Forbes Avenue
  43. Pittsburgh, PA 15213
  44.  
  45. Internet: sef+@cs.cmu.edu
  46.