home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2983 < prev    next >
Encoding:
Internet Message Format  |  1992-07-27  |  3.9 KB
  1. Path: sparky!uunet!cs.utexas.edu!swrinde!zaphod.mps.ohio-state.edu!mips!darwin.sura.net!jvnc.net!yale.edu!ira.uka.de!chx400!ugun2b!ugun2a!osherson
  2. From: osherson@uni2a.unige.ch
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: What's in a layer ? (was: dumb question on layer enumeration)
  5. Keywords: layer counting, neuron, connection
  6. Message-ID: <1992Jul27.160527.1494@uni2a.unige.ch>
  7. Date: 27 Jul 92 14:05:27 GMT
  8. Reply-To: EFiesler@IDIAP.CH
  9. Followup-To: EFiesler@IDIAP.CH
  10. Organization: University of Geneva, Switzerland
  11. Lines: 87
  12.  
  13. From: piccolbo@ghost.dsi.unimi.it (antonio piccolboni)
  14. >> osherson@uni2a.unige.ch writes:
  15.  
  16. make that:
  17. >> EFiesler@IDIAP.CH writes:
  18. >>
  19. >>In general, there are three kinds of connections in layered neural networks: 
  20. >>1.  Interlayer connections: connecting neurons from adjacent layers,
  21. >>2.  Intralayer connections: connecting neurons within the same layer
  22. >>    (including self-connections), and
  23. >>3.  Supralayer connections: connecting neurons from neither the same, nor
  24. >>    adjacent layers; i.e. these connections "skip" at least one layer.
  25. > 
  26. >I'd like to shift your attention to a more compelling problem (for me):
  27. >can we train a neural net with connections of the third type by means
  28. >of standard back-propagation?
  29.  
  30. Yes. One can train the supralayer connections in a similar fashion as one
  31. trains interlayer connections. Just group connections together that "end"
  32. in the same neuron, independent of the topology.
  33.  
  34. >In our experience this one works as far as
  35. >the connection relation ( (a,b) belong to R iff the weight of connection
  36. >from a to b is different from 0) is a directed acyclic graph.
  37. >Is there a formal proof of this? (I think it would consist in proving 
  38. >that the partial derivatives of error with respect to connections weight
  39. >are spatially and timely local) Can we weaken the hypotesys allowing 
  40. >recurrent connections? I know there are particular results (see Frasconi, 
  41. >Gori, Soda: Local feedback multilayered networks, in Neural Computation
  42. >vol 4, 1992 pp.120-130), but what I'm looking for are necessary and sufficient
  43. >conditions for the gradient descent algorithm to be spatially and timely local.
  44. >
  45. >>P.S. My paper entitled "Neural Network Formalization" in the neuroprose
  46. >>     (anonymous ftp 128.146.8.52; pub/neuroprose/fiesler.formalization.ps.Z)
  47. >>     relates to this.
  48. >
  49. >Does this book relate to my problem too? Where can I look?
  50.  
  51. Although it is certainly a potential chapter for a neural network text book,
  52. the current version is in the form of a paper / technical report.  Since it
  53. deals with very fundamental matters, it most likely relates to almost everybody
  54. who is interested in neural networks.
  55.     I apologize for the cryptic description of how to obtain the paper from
  56. the neuroprose archive. Try to follow these steps:
  57.  
  58. unix>     ftp archive.cis.ohio-state.edu (or: ftp 128.146.8.52)
  59. login:    anonymous
  60. password: neuron
  61. ftp>      cd pub/neuroprose
  62. ftp>      binary
  63. ftp>      get fiesler.formalization.ps.Z
  64. ftp>      bye
  65. unix>     zcat fiesler.formalization.ps.Z | lpr
  66.                   (or however you uncompress and print postscript)
  67.  
  68. (Unfortunately, I will not be able to provide hard copies.)
  69.  
  70.                     E. Fiesler
  71.                     IDIAP
  72.                     Case postale 609
  73.                     CH-1920 Martigny
  74.                     Switzerland / Suisse
  75.                     Tel.: +41-26-22-76-64
  76.                     Fax.: +41-26-22-78-18
  77.                     E-mail: EFiesler@IDIAP.CH (INTERNET)
  78.  
  79.  
  80.  
  81. P.S.  Because of the many requests, here are also the references:
  82.  
  83. The full updated paper, has been published as a technical report:
  84.  
  85.     E. Fiesler
  86.     Neural Network Formalization
  87.     IDIAP Technical Report 92-01
  88.     IDIAP, Martigny, Switzerland
  89.     July 1992.
  90.  
  91. A short version of the paper will be published next month:
  92.  
  93.     E. Fiesler and H. J. Caulfield
  94.     Layer Based Neural Network Formalization
  95.     Artificial Neural Networks II
  96.     Editors: Igor Alexander and John G. Taylor
  97.     Elsevier Science Publishers (North-Holland), Amsterdam, 1992.
  98.  
  99. I should know the page numbers and other details by then.
  100.