home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #19 / NN_1992_19.iso / spool / comp / ai / neuraln / 3286 next >
Encoding:
Internet Message Format  |  1992-08-23  |  2.5 KB
  1. Path: sparky!uunet!gatech!purdue!mentor.cc.purdue.edu!noose.ecn.purdue.edu!lips.ecn.purdue.edu!kavuri
  2. From: kavuri@lips.ecn.purdue.edu (Surya N Kavuri )
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Network Inversion
  5. Message-ID: <1992Aug23.181041.22790@noose.ecn.purdue.edu>
  6. Date: 23 Aug 92 18:10:41 GMT
  7. References: <BtCqHo.AtH.1@cs.cmu.edu> <arms.714522787@spedden>
  8. Sender: news@noose.ecn.purdue.edu (USENET news)
  9. Organization: Purdue University Engineering Computer Network
  10. Lines: 52
  11.  
  12. In article <arms.714522787@spedden>, arms@cs.UAlberta.CA (Bill Armstrong) writes:
  13. > tjochem+@CS.CMU.EDU (Todd Jochem) writes:
  14. > 
  15. > >I'm looking for references to network inversion papers. The basic idea
  16. > >I'm interested in is presenting the network's output with a signal and
  17. > >by back-propagating this signal though the layer(s), recreating an input
  18. > >which could have created the applied output signal.
  19. > 
  20. > This is intractable for a general multi-layer perceptron.
  21. > 
  22. > Proof: We have to show it for the special case of ALNs, which are
  23. > trees of nodes realizing AND, OR, LEFT and RIGHT functions, with
  24. > leaves connected to input bits and complements.  The same input bit or
  25. > complement may be sent to many leaves.  It will be enough to show it
  26. > for a two-layer tree, with ORs feeding into an AND.  Back-propagating
  27. > a 1 signal is just CNF-satisfiability, and is NP-complete.
  28. > 
  29. > Comment: the difficulty arises because back-propagating signals often
  30. > converge at the same node, either at the inputs (ALNs) or in hidden
  31. > layers (MLPs), and they are likely to have contradictory values when
  32. > they do.
  33. > 
  34. > --
  35. > ***************************************************
  36. > Prof. William W. Armstrong, Computing Science Dept.
  37.  
  38.  May be there are easier ways of explaining this :-)
  39.  
  40.  
  41.   
  42.  Inversion of a network may not return the exact input (that was 
  43.  perhaps used in the training) for an MLP.  This is because the
  44.  function developed by the network may not be invertible.  This
  45.  of course means that there are many possible inputs that 
  46.  can give you the same output.  Use gradient descent search to 
  47.  find any one of them or use genetic type multiple point 
  48.  search techniques to find more than one.
  49.  In general, the input you determined may not give the exact 
  50.  ouput you have (may be a local minima or may be the output 
  51.  can't be generated by your network).  So, in general you 
  52. have no guarantee to find the inversion.
  53.  
  54. Yo can see this another way:
  55. Since each node maps many inputs to a single value, you may be 
  56. able to find many inputs which give you the same node value.
  57.  
  58.  
  59.  
  60.  
  61.  
  62.  
  63. Surya Kavuri
  64.