home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2978 < prev    next >
Encoding:
Internet Message Format  |  1992-07-27  |  2.0 KB
  1. Path: sparky!uunet!dtix!darwin.sura.net!mips!zaphod.mps.ohio-state.edu!uwm.edu!ogicse!das-news.harvard.edu!cantaloupe.srv.cs.cmu.edu!crabapple.srv.cs.cmu.edu!news
  2. From: sef@sef-pmax.slisp.cs.cmu.edu
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Rule extraction from NN
  5. Message-ID: <1992Jul27.141356.281701@cs.cmu.edu>
  6. Date: 27 Jul 92 14:13:56 GMT
  7. Organization: School of Computer Science, Carnegie Mellon
  8. Lines: 33
  9. Nntp-Posting-Host: sef-pmax.slisp.cs.cmu.edu
  10.  
  11.  
  12. The general problem with rule extraction from neural nets is not solvable.
  13. A neural net provides a richer language than can be captured in a small,
  14. human-readable set of rules, whether symbolic or fuzzy.  Sometimes you can
  15. look at a trained net and say something like, "The output is the same as
  16. input B unless both of C and D are present."  But more often you're faced
  17. with, "The output is 3.257 times the sigmoid of B unless C is more than
  18. 457 times the sigmoid of .698 D plus E time 1.035e-11..."  Even if you
  19. translate into the language of fuzzy rules ("much bigger than" and so on),
  20. the latter kind of expression is going to be ugly.
  21.  
  22. In such cases, you can either give a clean, simple rule that is a crude
  23. approximation to what the network is really doing (but perhaps sufficient
  24. for your needs), or can extract an expression that gives the whole truth,
  25. but that is not human-readable in any useful sense.  Shavlik and others
  26. have claimed that in certain restricted domains, with certain restricted
  27. architectures, almost all the nets produced are easily convertible into
  28. reasonably simple rules.  Personally, I suspect that you can only count on
  29. this if the restrictions are very severe.
  30.  
  31. Looked at from the other side, this is a kind of advantage: neural nets
  32. allow us to explore the wide universe of mappings for which there is no
  33. simple rule-based equivalent.
  34.  
  35. -- Scott
  36. ===========================================================================
  37. Scott E. Fahlman
  38. School of Computer Science
  39. Carnegie Mellon University
  40. 5000 Forbes Avenue
  41. Pittsburgh, PA 15213
  42.  
  43. Internet: sef+@cs.cmu.edu
  44.