home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3285 < prev    next >
Encoding:
Internet Message Format  |  1992-08-22  |  2.4 KB
  1. Path: sparky!uunet!cs.utexas.edu!sdd.hp.com!caen!sol.ctr.columbia.edu!ucselx!network.ucsd.edu!sdcc12!cs!demers
  2. From: demers@cs.ucsd.edu (David DeMers)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Network Inversion
  5. Message-ID: <37157@sdcc12.ucsd.edu>
  6. Date: 23 Aug 92 04:27:03 GMT
  7. References: <BtCqHo.AtH.1@cs.cmu.edu> <37125@sdcc12.ucsd.edu> <al.714491544@jargon>
  8. Sender: news@sdcc12.ucsd.edu
  9. Organization: =CSE Dept., U.C. San Diego
  10. Lines: 51
  11. Nntp-Posting-Host: beowulf.ucsd.edu
  12.  
  13. Thanks for the list of references!
  14.  
  15. In article <al.714491544@jargon> al@jargon.gmd.de (Alexander Linden) writes:
  16. >demers@cs.ucsd.edu (David DeMers) writes:
  17.  
  18. >>In article <BtCqHo.AtH.1@cs.cmu.edu> tjochem+@CS.CMU.EDU (Todd Jochem) writes:
  19. >>>I'm looking for references to network inversion papers. The basic idea
  20.  
  21. >The method Todd asked for is gradient descent in input
  22. >space with respect to some error measure at the output.
  23.  
  24. That's not apparent from his post.
  25.  
  26. If a network is computing y = f(x), then to my mind inversion
  27. is finding f^{-1}(y).  This is normally one-to-many, and
  28. if x is in X a compact n-dimensional manifold and y is in Y,
  29. a m-dimensional manifold, the inverse will be a finite
  30. set of n-m dimensional manifolds (assuming f is smooth). 
  31.  
  32. If you have an inverse problem, that is, find x such
  33. that f(x) = y, you can solve it differentially, which seems to be 
  34. what you are calling "inversion".  This can be done in several ways,
  35. either pseudo-inverse methods or using the adjoint operator,
  36. which is what you get by backpropagating delta_y to the inputs.
  37.  
  38. This is pretty well known in the control literature.
  39.  
  40. The differential methods result in a solution on the same
  41. manifold you started, since they can't drive through a 
  42. critical point (where the Jacobian of the forward map loses rank).
  43.  
  44. ...
  45.  
  46. >I did not see that this method calculates the gradient in input space.
  47.  
  48. I fail to see why a gradient is mandatory...
  49. Aren't we seeking a solution x to f(x) = y?
  50.  
  51. >A direct calculation of the input seems not possible because it is 
  52. >often a many to one--mapping. Also the thresholds are not considered in
  53. >his work...
  54.  
  55. Sure, it's possible - you just have to select one.  It's a
  56. regularization problem, really.  
  57.  
  58.  
  59. -- 
  60. Dave DeMers             ddemers@UCSD   demers@cs.ucsd.edu
  61. Computer Science & Engineering    C-014        demers%cs@ucsd.bitnet
  62. UC San Diego                    ...!ucsd!cs!demers
  63. La Jolla, CA 92093-0114    (619) 534-0688, or -8187, FAX: (619) 534-7029
  64.