home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3250 < prev    next >
Encoding:
Internet Message Format  |  1992-08-20  |  2.6 KB
  1. Path: sparky!uunet!wupost!sdd.hp.com!hplabs!ucbvax!NEURON.SIEMENS.COM!kpfleger
  2. From: kpfleger@NEURON.SIEMENS.COM (Karl Pfleger)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Wild values (was Reducing Training time ...)
  5. Message-ID: <9208201551.AA02766@neuron.siemens.com>
  6. Date: 20 Aug 92 15:51:31 GMT
  7. Sender: daemon@ucbvax.BERKELEY.EDU
  8. Lines: 50
  9.  
  10. Newsgroups: comp.ai.neural-nets
  11. Subject: Re: Wild values (was Reducing Training time ...)
  12. Summary: 
  13. Expires: 
  14. References: <arms.714146123@spedden> <36967@sdcc12.ucsd.edu> <arms.714208873@spedden>
  15. Sender: 
  16. Followup-To: 
  17. Distribution: 
  18. Keywords: back propagation, training, generalisation
  19.  
  20. 1 quick point and 1 wild idea:
  21.  
  22. First, if one desires to avoid wild output values for certain regions of
  23. input space, one ought to have training pairs from that region of input
  24. space in the training set. The point about desiring certain behavior on
  25. 0 to 1 and not including any training pairs from that region has already
  26. been made.
  27.  
  28. Vaguely similar: since the inputs that will be thrown at the system in actual
  29. use will have some probability distribution based on whatever the system is
  30. doing, the training set should be generated by sampling the same
  31. distribution, or something as close to it as possible, NOT by picking a
  32. few values by hand or by using a lattice or points regularly spaced
  33. (unless that represents the distribution well).
  34.  
  35. I have a much more difficult time picturing wild values coming from a
  36. network trained on a significant number of random, real inputs than I do
  37. coming from a network trained on a handful of regularly spaced
  38. integers.
  39.  
  40.  
  41. A wild idea for people trying to avoid wild values (e.g. for safety
  42. critical applications etc.): Once the network has been trained and the
  43. weights are fixed, it should be possible to determine the maximum and
  44. minimum output values for all inputs. This can be done with normal
  45. gradient ascent and descent. Simply calculate partials of the output(s)
  46. with respect to the input(s). Convergence should be much faster than
  47. training networks in the first place due to the generally smaller number
  48. of inputs than weights. Multiple runs from different starting positions
  49. or the use of stochastic techniques likely to converge to global
  50. maxima/minima can reduce the chance of not seeing a wild value that
  51. actually exists. With a small number of inputs (definitely 1, maybe
  52. a more) analytical techniques should be able to provably determine the
  53. global maximum and minimum.
  54.  
  55. This idea's usefulness is limited by a number of requirements such as 
  56. fixed weights and wild values meaning large or small, but still seems
  57. like it should have fairly wide applicability.
  58.  
  59. -Karl        kpfleger@learning.siemens.com
  60.