home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3243 < prev    next >
Encoding:
Internet Message Format  |  1992-08-19  |  1.6 KB
  1. Path: sparky!uunet!charon.amdahl.com!pacbell.com!mips!swrinde!sdd.hp.com!caen!destroyer!ubc-cs!alberta!ttlg!f36.n342.z1.UUCP!Monroe.Thomas
  2. From: Monroe.Thomas@f36.n342.z1.UUCP (Monroe Thomas)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Wild values
  5. Message-ID: <13.2A92A69A@ttlg.UUCP>
  6. Date: 19 Aug 92 19:51:02 GMT
  7. Sender: ufgate@ttlg.UUCP (newsout1.26)
  8. Organization: FidoNet node 1:342/36 - Through the Looking, Edmonton Alta
  9. Lines: 31
  10.  
  11. I think that the whole point of Bill's argument is that you can't
  12. guarantee that the output of a BP net on an input between two
  13. neighbouring training points a and b will lie between the true
  14. function values f(a) and f(b), unless you carefully craft your network
  15. using a priori knowledge of the function.
  16.  
  17. So, eliminating "wild values" that can exist between training points
  18. in a BP net becomes:
  19.  
  20.     1)  a design process... or,
  21.  
  22.     2)  you can exhaustively test your net on all possible points on
  23.         the input domain to ensure no "wild values" exist on output...
  24.         or,
  25.  
  26.     3)  you can examine the weights of your BP net after training to
  27.         ensure that they will not cause "wild values".
  28.  
  29. Option 2 is out of the question for large input spaces... option 3
  30. gets real hard, real fast as the number of elements and layers
  31. increase (ie, NP complete).
  32.  
  33. Does anyone have a "safe" design process, so that they can be ensured,
  34. a priori, that their BP net, once trained, will never produce "wild
  35. values"?  One partially satisfactory method would be to bound the
  36. magnitude of the weights... but this can lead to poor function
  37. fitting, and may prevent convergence.
  38.  
  39. -Monroe
  40.  
  41.  * OLX 2.2 * "I'm going to kill Dracula," said Tom painstakingly.
  42.