home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / sci / nanotech / 463 next >
Encoding:
Internet Message Format  |  1992-08-13  |  3.9 KB

  1. Path: sparky!uunet!gatech!rutgers!igor.rutgers.edu!planchet.rutgers.edu!nanotech
  2. From: sinster@cse.ucsc.edu (Darren Senn)
  3. Newsgroups: sci.nanotech
  4. Subject: Re: Multiple Experiences
  5. Message-ID: <Aug.14.00.12.54.1992.412@planchet.rutgers.edu>
  6. Date: 14 Aug 92 04:12:55 GMT
  7. Sender: nanotech@planchet.rutgers.edu
  8. Organization: University of California, Santa Cruz (CE/CIS Boards)
  9. Lines: 56
  10. Approved: nanotech@aramis.rutgers.edu
  11.  
  12. In article <Aug.9.20.33.10.1992.15549@planchet.rutgers.edu> hsr4@vax.oxford.ac.uk (Auld Sprurklie) writes:
  13. >In article <Aug.6.20.51.51.1992.8765@planchet.rutgers.edu>, sinster@cse.ucsc.edu (Darren Senn) writes:
  14. >>[...]
  15. >> In order one memory of a network to be interdependant with another memory
  16. >> of the network, there must be some kind of feedback loop.  Merely disabling
  17. >> this loop will allow an outside observer to examine memories independantly
  18. >> of one another.  Each memory can't be accessed, however, without first
  19. >> knowing the triggering association.  I'm using "memory" here to refer to
  20. >> any stored information, not merely remembered experiences.  Unless you
  21. >> do something strange in the construction/definition of the network, 
  22. >> the memories aren't interdependant: only their storage is.
  23. >
  24. >Although my knowledge of NNs is small (possibly even trivial, although it is
  25. >growing), from what I've learned so far it would appear that all memories are
  26. >interdependent to an extent, in that the addition of a new memory (by learning)
  27. >results perhaps in a change to weights, thresholds, maybe even to transfer
  28. >functions until the entire net stabilises again.
  29. >
  30. >In that case, the original values held by (associated with) one or more neurons
  31. >will have changed.  Addition of another memory will result in further changes,
  32. >such that if one were to attempt to remove an earlier memory, those memories
  33. >'experienced' subsequently would need to be represented and the net stabilised
  34. >each time, in order that a 'hole' should not be left (the memories lying before
  35. >and after the removed memory might experience a kind of leap between them - on
  36. >the basis that memories tend to follow sequentially in presentation and are
  37. >therefore likely to be associated anyway).
  38. >[...]
  39.  
  40. The memories (associations) stored by a neural network are very strongly
  41. distinguished from the means by which those memories are stored (the
  42. connection weights, thresholds -- which are just connections to always-on
  43. neurons -- and transfer functions).  This is where a neural network
  44. gets its fault tolerance.  I can take a suitably large network, and change
  45. a subset of its connection weights to random values without causing its 
  46. output to leave whatever tolerance I choose.  The smaller the network or
  47. tighter my tolerance, the smaller the number of weights I can change.
  48. It's important to remember that any particular memory stored in a neural
  49. network is distributed through _all_ of the neurons.  Some play a larger
  50. role than others, to be sure, but the distribution is still complete.
  51.  
  52. A useful image to keep in mind is the graph of the energy of association
  53. for various memories.  Imagine a hyperplane in (n+1)-space, where n 
  54. is the number of weights in the network.  The last axis is the total
  55. "energy of association" in the network.  Each memory that the network is
  56. required to learn creates a (generally complex) 'dimple' in the surface.
  57. The "lowest" point in that dimple represents the optimal set of weights
  58. that will allow a network to learn that association.  Since we usually
  59. want a network to learn a large number of associations, the hypersurface
  60. becomes very warped.  The object of most learning algorithms is to find
  61. the point on that complex surface that minimizes the energy without
  62. being trapped in any local minima.
  63.  
  64. -- 
  65. Darren Senn                                            Phone:    (408) 479-1521
  66. sinster@scintilla.capitola.ca.us                       Snail: 1785 Halterman #1
  67. Wasurenaide -- doko e itte mo soko ni anata wa iru yo.     Santa Cruz, Ca 95062
  68.