home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2913 < prev    next >
Encoding:
Text File  |  1992-07-24  |  2.1 KB  |  48 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!usc!rpi!ghost.dsi.unimi.it!piccolbo
  3. From: piccolbo@ghost.dsi.unimi.it (antonio piccolboni)
  4. Subject: Re: What's in a layer ? (was: dumb question on layer enumeration)
  5. Keywords: layer counting, neuron, connection
  6. References: <1992Jul16.161325.1477@uni2a.unige.ch>
  7. Organization: Computer Science Dep. - Milan University
  8. Date: Fri, 24 Jul 1992 13:10:35 GMT
  9. Message-ID: <1992Jul24.131035.21406@ghost.dsi.unimi.it>
  10. Lines: 36
  11.  
  12.  
  13.  osherson@uni2a.unige.ch writes:
  14.  
  15.  >In general, there are three kinds of connections in layered neural networks:
  16.  
  17.  >1.  Interlayer connections: connecting neurons from adjacent layers,
  18.  >2.  Intralayer connections: connecting neurons within the same layer
  19.  >    (including self-connections), and
  20.  >3.  Supralayer connections: connecting neurons from neither the same, nor
  21.  >    adjacent layers; i.e. these connections "skip" at least one layer.
  22.  
  23.  I'd like to shift your attention to a more compelling problem (for me):
  24.  can we train a neural net with connections of the third type by means
  25.  of standard back-propagation? In our experience this one works as far as
  26.  the connection relation ( (a,b) belong to R iff the weight of connection
  27.  from a to b is different from 0) is a directed acyclic graph.
  28.  Is there a formal proof of this? (I think it would consist in proving 
  29.  that the partial derivatives of error with respect to connections weight
  30.  are spatially and timely local) Can we weaken the hypotesys allowing 
  31.  recurrent connections? I know there are particular results (see Frasconi, 
  32.  Gori, Soda: Local feedback multilayered networks, in Neural Computation
  33.  vol 4, 1992 pp.120-130), but what I'm looking for are necessary and sufficient
  34.  conditions for the gradient descent algorithm to be spatially and timely local.
  35.  
  36.  >P.S. My paper entitled "Neural Network Formalization" in the neuroprose
  37.  >     (anonymous ftp 128.146.8.52; pub/neuroprose/fiesler.formalization.ps.Z)
  38.  >     relates to this.
  39.  
  40.  Does this book relate to my problem too? Where can I look?
  41.  Thank you in advance (promise of a summary and apologies for my english
  42.  are too obvious to say)
  43.  
  44.                  Antonio Piccolboni
  45.  
  46.  
  47.  
  48.