home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2985 < prev    next >
Encoding:
Text File  |  1992-07-27  |  2.5 KB  |  58 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!zaphod.mps.ohio-state.edu!sdd.hp.com!wupost!gumby!destroyer!ubc-cs!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: Rule extraction from NN
  5. Message-ID: <arms.712257807@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <1992Jul27.141356.281701@cs.cmu.edu>
  10. Date: Mon, 27 Jul 1992 17:23:27 GMT
  11. Lines: 45
  12.  
  13. sef@sef-pmax.slisp.cs.cmu.edu writes:
  14.  
  15.  
  16. >The general problem with rule extraction from neural nets is not solvable.
  17. >A neural net provides a richer language than can be captured in a small,
  18. >human-readable set of rules, whether symbolic or fuzzy.
  19.   ...
  20. >Looked at from the other side, this is a kind of advantage: neural nets
  21. >allow us to explore the wide universe of mappings for which there is no
  22. >simple rule-based equivalent.
  23.  
  24. >-- Scott
  25.  
  26. I agree with Scott.  An NN solution may or may not be easy to
  27. understand; and a wide universe of mappings is offered.
  28.  
  29. However, a disadvantage of the NN approach is that the universe of
  30. possible mappings may be *too wide* in the case of a particular
  31. problem.  If a priori knowledge implies there are some restrictions on
  32. the solution mapping, such as monotonic behavior or other a priori
  33. constraints that have to be satisfied (e.g.  the value of output B is
  34. always between output A and output C), it may be hard or impossible to
  35. force the neural solution to respect those constraints.  Since the NN
  36. solution would certainly be incorrect if the constraints don't hold,
  37. it might be hard in such cases to have confidence in any explanation
  38. derived from it.
  39.  
  40. Do people have any experience enforcing monotonicity constraints?  How
  41. would this be done in a BP system?  If you forced all weights in the
  42. net to be positive, then the function would be increasing in all
  43. variables. If your variables are chosen as x1 (for monotonic
  44. increasing), minus x2 (for decreasing),etc. then this would work. You
  45. still have to worry about functions that change from increasing to
  46. decreasing or vice-versa, and I have no idea how to do this within
  47. the usual MLP paradigm.
  48.  
  49. Needless to say, in some control applications, monotonicity is very
  50. important.  If the pressure in a boiler is above a certain point and
  51. rising, you certainly don't want to add more fuel!
  52.  
  53. --
  54. ***************************************************
  55. Prof. William W. Armstrong, Computing Science Dept.
  56. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  57. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  58.