home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / sci / nanotech / 492 < prev    next >
Encoding:
Internet Message Format  |  1992-08-21  |  5.1 KB
  1. Path: sparky!uunet!dtix!darwin.sura.net!mips!swrinde!cs.utexas.edu!rutgers!igor.rutgers.edu!planchet.rutgers.edu!nanotech
  2. From: hsr4@vax.ox.ac.uk (Auld Sprurklie)
  3. Newsgroups: sci.nanotech
  4. Subject: Re: Multiple Experiences
  5. Message-ID: <Aug.21.18.27.43.1992.20255@planchet.rutgers.edu>
  6. Date: 21 Aug 92 22:27:44 GMT
  7. Sender: nanotech@planchet.rutgers.edu
  8. Lines: 88
  9. Approved: nanotech@aramis.rutgers.edu
  10.  
  11. In article <Aug.19.20.18.58.1992.28197@planchet.rutgers.edu>, sinster@cse.ucsc.edu (Darren Senn) writes:
  12. > In article <Aug.15.10.19.21.1992.10779@planchet.rutgers.edu> hsr4@vax.ox.ac.uk (Auld Sprurklie) writes:
  13. ""From what I'd read so far, it appeared to me that the memories -are-
  14. ""associated with the means used to store them (don't different transfer
  15. ""functions apply to storage of different types of memory, some transfer
  16. ""functions being unsuitable for learning in certain cases ?), [...]
  17. " 
  18. " The transfer function is generally fixed when the network is first
  19. " created: it's not learned.  So the transfer function is really part of
  20. " the net's structure, not the memories.  Certainly, the exact values of
  21. " the weights and thresholds depend on the network's transfer functions,
  22. " but since only the weights and thresholds change, it's somewhat
  23. " meaningless to associate the memories (a purely learned phenomenon)
  24. " with the transfer functions (a static phenomenon).
  25.  
  26. I know that at present the transfer function is fixed at creation, but I'll
  27. have to go back and re-read my references; my understanding was that different
  28. transfer functions were suited to different applications - else why have
  29. different transfer functions; surely one would suffice ?  If the function
  30. introduces non-linearities into the network in order to facilitate the learning
  31. of information (the creation of memories), then I would assume that while the
  32. function is associated with the network structure it is also related, however
  33. obscurely, to the type(s) of memory being created.
  34.  
  35. Or am I way off beam ?
  36.  
  37. [bits deleted]
  38.  
  39. " So in order to copy a whole skill, you must discover all the memories
  40. " that compose that skill and its subskills, and teach those memories to
  41. " the recipient network.  Once you have the memory, teaching it is simple.
  42. " Finding the memories that compose the skill is a different matter
  43. " entirely.  :(
  44.  
  45. Yes, that was one of my points earlier - how do you determine which memories
  46. or skills lie where, and how do you obtain them if everything is inter-
  47. dependent ?  In addition, if you need to update an existing skill (perhaps one
  48. which was incompletely learned at an earlier age) how best to install that new
  49. version of the skill so that it fits seamlessly ?
  50.  
  51. " [...]
  52. ""[...]  The obvious
  53. ""question which follows on is: how do you decide which dimple or group
  54. ""of dimples corresponds to a particular skill/memory ?  And if we still
  55. ""take the parallel dump from clones to primary as a possibility, would
  56. ""it be possible to differentiate the new skills/memories from the set
  57. ""supplied to form the clone(s) in the first place ?
  58. " 
  59. " Detecting which dimple/group corresponds to a particular memory is simple.
  60. " Assert the memory onto the network (that means provide the network's
  61. " input _and_ output) and calculate the optimal set of weights for that
  62. " memory (there's a generalized formula for this).  Euclidean distance
  63. [...]
  64.  
  65. I think I wondered in an earlier post about the necessity for presenting an
  66. original input to a network in order to elicit its whereabouts (although that
  67. was for the purpose of 'forgetting' it in order to replace it).
  68.  
  69. [...]
  70.  
  71. " The danger, when teaching a new memory to a network, is that old memories
  72. " might be forgotten, or just become harder to reach.  Imaging a stretched
  73. " sheet of silk with a number of marbles glued to certain positions.  These
  74. " marbles will deform the silk.  If you drop a glass bead, somewhere, it'll
  75. " roll around until it runs into a marble.  This marble is the memory
  76. " associated with the input corresponding to the bead's original placement.
  77. " If you put a bowling ball on this sheet of silk, then a large number of
  78. " marbles will never be hit by the bead.  The bowling ball represents a
  79. " memory that is remarkably easy for a particular network to learn, or
  80. " a memory that has a large input space (imagine teaching a network to
  81. " recognize individual faces -- the marbles -- and then training that same
  82. " net to recognize Caucasians -- the bowling ball).
  83.  
  84. By large input space, I assume you mean having been presented much more often
  85. than other inputs (such as the ability to recognise faces the right way up,
  86. but not when oriented upside down - since they are not often encountered in
  87. that orientation).
  88.  
  89. This may be a blind alley, but I seem to recall that the older one becomes,
  90. the easier it appears to be to recall earlier memories - as if they are
  91. coming to the surface (poor analogy, I know).  Perhaps the ability to be
  92. cloned successfully will be age-dependent; skills learned long ago might be
  93. easier to locate in an older invididual than in a younger one.
  94.  
  95. (This assumes that the memories of yore which suddenly seem to resurface are
  96. in fact being correctly recollected!).
  97.  
  98. Peter "I can't recall just now - ask me in twenty years time" Brooks
  99.