home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3182 < prev    next >
Encoding:
Internet Message Format  |  1992-08-13  |  2.4 KB
  1. Path: sparky!uunet!synaptx!platt
  2. From: platt@synaptx.Synaptics.Com (John Platt)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Interpolation and neural networks
  5. Keywords: interpolation partition-of-unity
  6. Message-ID: <13163@synaptx.Synaptics.Com>
  7. Date: 13 Aug 92 21:58:22 GMT
  8. References: <arms.713640420@spedden>
  9. Reply-To: platt@synaptics.com (John Platt)
  10. Organization: Synaptics Inc., San Jose, CA
  11. Lines: 54
  12.  
  13. In an article arms@cs.UAlberta.CA (Bill Armstrong) writes:
  14. >AN IMPORTANT QUESTION: Can anyone think of any other straightforward
  15. >ways to get bounds on values *between* test points?  The application
  16. >of NNs in safety-critical areas is at stake.
  17.  
  18.   Yes.. It's quite straightforward and has already been suggested by
  19. Moody & Darken and separately by Kurt Stockbro for neural networks.
  20. It's a trick from approximation theory called "partition of unity" or
  21. sometimes a "generalized Shepard's method".
  22.  
  23.   Normally, when you have a radial basis function network, the network
  24. output is a linear superposition of radial basis functions:
  25.  
  26.        O_i = sum_j w_ij f_j(input) 
  27.  
  28.   Moody & Darken suggest averaging the outputs, not summing them:
  29.  
  30.              sum_j w_ij f_j(input)
  31.        O_i = ---------------------
  32.                sum_j f_j(input)
  33.  
  34. That way, the output is always in the convex hull of the w_ij for any
  35. basis function f_j that is non-zero. If the f_j have local support, then
  36. you can bound the output vector in a region quite easily.
  37.  
  38.   Notice that the meaning of the w_ij has changed using a partition of
  39. unity. In the superposition case, the w_ij are small vectors that accumulate
  40. towards the correct answer. In the averaging case, the w_ij are stored
  41. memories of the O_i and the f_j control how strongly that memory is
  42. recalled.
  43.  
  44.   Personally, I have found that averaging makes smoother functions than
  45. superposition.
  46.  
  47.   References:
  48.  
  49.    Moody, J., Darken, C., "Fast Learning in Networks of Locally-Tuned
  50. Processing Units," Neural Computation, vol 1, no. 2, pp. 281-294. 
  51. (The relevant equation is on page 283), (1989).
  52.  
  53.    Stockbro, K., "Predicting Chaos with Weighted Maps", M. S. Thesis
  54. Niels Bohr Institute, (1991)
  55.  
  56.   Other References back to Approximation Theory:
  57.  
  58.    Franke, R., "Scattered Data Interpolation: Test of Some Methods,"
  59. Mathematics of Computation, vol. 38, no. 157, pp. 181-200, (1982).
  60.  
  61.    Shepard, D., "A Two-Dimensional Interpolation Function for Irregularly
  62. Spaced Data," Proc. 23rd Nat. Conf. ACM, pp. 517-523, (1968).
  63.  
  64.  
  65.  
  66.  
  67.