home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3258 < prev    next >
Encoding:
Text File  |  1992-08-20  |  1.4 KB  |  28 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!brunix!cs.brown.edu!mpp
  3. From: mpp@cs.brown.edu (Michael P. Perrone)
  4. Subject: Re: Wild values (was Reducing Training time ...)
  5. Message-ID: <1992Aug20.212905.6383@cs.brown.edu>
  6. Sender: news@cs.brown.edu
  7. Organization: Center for Neural Science, Brown University
  8. References:  <9208201551.AA02766@neuron.siemens.com>
  9. Date: Thu, 20 Aug 1992 21:29:05 GMT
  10. Lines: 16
  11.  
  12.  >A wild idea for people trying to avoid wild values (e.g. for safety
  13.  >critical applications etc.): Once the network has been trained and the
  14.  >weights are fixed, it should be possible to determine the maximum and
  15.  >minimum output values for all inputs. This can be done with normal
  16.  >gradient ascent and descent. Simply calculate partials of the output(s)
  17.  >with respect to the input(s). Convergence should be much faster than
  18.  >training networks in the first place due to the generally smaller number
  19.  >of inputs than weights. Multiple runs from different starting positions
  20.  >or the use of stochastic techniques likely to converge to global
  21.  >maxima/minima can reduce the chance of not seeing a wild value that
  22.  >actually exists. With a small number of inputs (definitely 1, maybe
  23.  >a more) analytical techniques should be able to provably determine the
  24.  >global maximum and minimum.
  25.  
  26. your idea is not wild at all.  it has been used by statisticians to 
  27. evaluate the effect of various inputs on statistical models. 
  28.