home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3276 < prev    next >
Encoding:
Text File  |  1992-08-22  |  1.9 KB  |  50 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!cs.utexas.edu!qt.cs.utexas.edu!yale.edu!jvnc.net!gmd.de!jargon!al
  3. From: al@jargon.gmd.de (Alexander Linden)
  4. Subject: Re: Network Inversion
  5. Message-ID: <al.714496545@jargon>
  6. Sender: news@gmd.de (USENET News)
  7. Nntp-Posting-Host: jargon
  8. Organization: GMD, Sankt Augustin, Germany
  9. References: <BtD8FA.KL.1@cs.cmu.edu>
  10. Date: Sat, 22 Aug 1992 15:15:45 GMT
  11. Lines: 37
  12.  
  13. sef@sef-pmax.slisp.cs.cmu.edu writes:
  14.  
  15. >Most backprop-type networks are information-losing systems: many distinct
  16. >inputs give rise to the same output.  You can't invert this kind of net
  17. >into another feed-forward net (of the usual kind) because you just end up
  18. >with a mushy average of the possible inputs for a given output.
  19.  
  20. >-- Scott
  21.  
  22. We should not talk about inversion in this case rather it is a kind
  23. of search for (may be) spurious minima in input space.
  24.  
  25. They give no mushy averages but you can produce class boundaries.
  26.  
  27. Assume a net which is allready trained on classifying digits:
  28.  
  29. You can start with input I(0), lets say the bitmap of a three.
  30. The output of the net tells you thats a "3". Now you start to 
  31. change I(0) with dE/dI and E = (T-O)**2 and T says the output should
  32. be a "9", for example. Now you see a sequence of I(1), I(2), ...
  33. which are gradually becoming more like a "9" than a "3", if your
  34. classifier is not sufficiently good, some distortions of a three 
  35. are enough to give "9" at output. 
  36. See Linden and Kindermann (1989) Int. Join Conf on NN, Washington D.C
  37. for illustrative examples. 
  38.  
  39. Alexander
  40.  
  41. Alexander Linden             | TEL. (49 or 0) 2241/14-2435, FAX. -2618 or -2889
  42. GMD - AI Research Division   | TELEX 889469 gmd d
  43. P. O. BOX 1316               | email:  A.Linden@gmd.de
  44. D-5205 Sankt Augustin 1, FRG
  45. --
  46. Alexander Linden             | TEL. (49 or 0) 2241/14-2435, FAX. -2618 or -2889
  47. GMD - AI Research Division   | TELEX 889469 gmd d
  48. P. O. BOX 1316               | email:  A.Linden@gmd.de
  49. D-5205 Sankt Augustin 1, FRG
  50.