home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #26 / NN_1992_26.iso / spool / comp / ai / neuraln / 4257 < prev    next >
Encoding:
Text File  |  1992-11-13  |  2.9 KB  |  80 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!mcsun!dxcern!dxlaa.cern.ch!block
  3. From: block@dxlaa.cern.ch (Frank Block)
  4. Subject: Re: NN analysis
  5. Message-ID: <1992Nov13.151134.15587@dxcern.cern.ch>
  6. Sender: news@dxcern.cern.ch (USENET News System)
  7. Reply-To: block@dxlaa.cern.ch (Frank Block)
  8. Organization: CERN, European Laboratory for Particle Physics, Geneva
  9. References:  <1dvfvkINN2tv@manuel.anu.edu.au>
  10. Date: Fri, 13 Nov 1992 15:11:34 GMT
  11. Lines: 67
  12.  
  13.  
  14. In article <1dvfvkINN2tv@manuel.anu.edu.au>, shuping@andosl.anu.edu.au (Shuping RAN) writes:
  15. |> Hello,
  16. |> 
  17. |>     Currently I am trying to understand how a trained NN performed 
  18. |> the given task. What is its internal funtionality, whether its internal 
  19. |> parameters relate to the real parameters of the given problem in some
  20. |> way.
  21. |> 
  22. |>     Could some one give me some ideas of how to analyse a trained NN, 
  23. |> or some references.
  24. |> Thank you in advance,
  25. |> 
  26. |> -Shuping RAN
  27. |> 
  28. --
  29. First of all: you're addressing an extremely non-trivial problem with your
  30. question. There are some ways of which I know how to approach the understanding
  31. of what a net is in fact doing or what it has learned.
  32.  
  33.     1.) Network inversion
  34.     Here you have an algorithm which generates input patterns for a
  35.     previously trained network which gives a desired, predefined output.
  36.     This seems to be a good way for finding 'essential features'. 
  37.  
  38.     J.Kindermann and A.Linden, "Inversion of Multilayer Networks"
  39.     It appeared in Complex Systems around 1990/91. Just have a look, there
  40.     are not too many to check.
  41.  
  42.  
  43.     2.) Rule Induction using RuleNet
  44.     Check the hidden unit's activities for correlations using statistical
  45.     methods like Prinicipal Component and Canonical Discriminant Analysis.
  46.  
  47.     C.McMillan, M.C.Mozer and P.Smolensky, "Rule Induction through
  48.     Integrated Symbolic and Subsymbolic Processing", to appear in 'Advances
  49.     in Neural Information Processing Systems IV'. This one I also got
  50.     via ftp, don't remember from where. The authors are also listening to
  51.     this newsgroup...ask them.
  52.  
  53.  
  54.     3.) Statistical analysis of hidden nodes
  55.     By setting up a special architecture and imposing some restrictions
  56.     to the learning process the resulting learned weights can be directly
  57.     mapped to rules.
  58.  
  59.     S.Dennis and S. Phillips, "Analysis Tools for Neural Networks"
  60.     I got it by ftp from I don't know where. But the authors should be
  61.     reading this newsgroup and can tell you where.
  62.  
  63.  
  64.     4.) Self organizing networks for analysis of hidden layer activations
  65.     This is a nice idea somebody mentioned to me which hasn't been used
  66.     yet, as far as I know. 
  67.  
  68. Hope this helps a bit. Anyway, let me know when you found the solution to
  69. this problem :-)
  70.  
  71. Frank
  72.  
  73. ===============================================================================
  74. Frank Block
  75. Div. PPE                BLOCKF@vxcern.cern.ch
  76. CERN                e-mail: 
  77. CH-1211 Geneve 23            BLOCKF@cernvm.cern.ch
  78. Switzerland
  79. ===============================================================================
  80.