home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #1 / NN_1993_1.iso / spool / comp / ai / 4745 < prev    next >
Encoding:
Internet Message Format  |  1993-01-13  |  2.8 KB
  1. Xref: sparky comp.ai:4745 comp.ai.neural-nets:4693
  2. Path: sparky!uunet!zaphod.mps.ohio-state.edu!saimiri.primate.wisc.edu!ames!stanford.edu!rutgers!rochester!cantaloupe.srv.cs.cmu.edu!crabapple.srv.cs.cmu.edu!news
  3. From: sef@sef-pmax.slisp.cs.cmu.edu
  4. Newsgroups: comp.ai,comp.ai.neural-nets
  5. Subject: Re: Biologically Plausible Dynamic Artificial Neural Networks
  6. Message-ID: <C0DEpD.3E2.1@cs.cmu.edu>
  7. Date: 5 Jan 93 07:41:37 GMT
  8. Sender: news@cs.cmu.edu (Usenet News System)
  9. Organization: School of Computer Science, Carnegie Mellon
  10. Lines: 46
  11. Nntp-Posting-Host: sef-pmax.slisp.cs.cmu.edu
  12.  
  13.  
  14.     From: paulf@manor.demon.co.uk (Paul Fawcett)
  15.  
  16.     
  17.               A   *Dynamic   Artificial   Neural   Network*   (DANN)   [1]
  18.               possesses   processing  elements  that  are  created  and/or
  19.               annihilated,  either in real time  or  as  some  part  of  a
  20.               development phase [2].
  21.     
  22.               Of    particular    interest    is    the   possibility   of
  23.               constructing   *biologically    plausible*    DANN's    that
  24.               models    developmental   neurobiological   strategies   for
  25.               establishing  and   modifying processing elements and  their
  26.               connections...
  27.  
  28. << Though you cross-posted this query to a very large number of newsgroups,
  29. I am confining my reply to those groups that I read.  Blind cross-posting
  30. wastes a lot of net bandwidth and a lot of people's time. >>
  31.  
  32. I would just point out that adding or subtracting neurons from the
  33. functional net does not necessarily correspond to adding, destroying, or
  34. moving any physical neurons.  If a physical neuron (or functional group of
  35. neurons) has a lot of excess connections, invisible changes in the synapses
  36. can effectively wire it into the net in a large number of different ways,
  37. or effectively remove it.
  38.  
  39. Something like my dynamic (additive) Cascade-Correlation model can be
  40. implemented by a sort of phase change, rather than a re-wiring of the net:
  41. A candidate unit has a lot of trainable inputs, but it produces no output
  42. (or all the potential recipients ignore its output).  After a unit is
  43. tenured, a specific pattern of input weights is frozen in, but now the
  44. neuron does produce effective outputs.  I don't know if such a phase
  45. transition has been observed in biological neurons -- it would be
  46. interesting to find out.  Note that what I'm calling a "unit" might
  47. correspond to a group of biological neurons rather than a single one.
  48.  
  49. -- Scott
  50.  
  51. ===========================================================================
  52. Scott E. Fahlman            Internet:  sef+@cs.cmu.edu
  53. Senior Research Scientist        Phone:     412 268-2575
  54. School of Computer Science              Fax:       412 681-5739
  55. Carnegie Mellon University        Latitude:  40:26:33 N
  56. 5000 Forbes Avenue            Longitude: 79:56:48 W
  57. Pittsburgh, PA 15213
  58. ===========================================================================
  59.