home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / text / 9305nni.zip / 930513.BIB / comp.ai.neural-nets_9071_000001.msg < prev   
Text File  |  1993-05-13  |  4KB  |  82 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: serval!netnews.nwnet.net!usenet.coe.montana.edu!saimiri.primate.wisc.edu!eng.ufl.edu!usenet.ufl.edu!darwin.sura.net!zaphod.mps.ohio-state.edu!caen!batcomputer!munnari.oz.au!bunyip.cc.uq.oz.au!s1.elec.uq.oz.au!young
  3. From: young@s1.elec.uq.oz.au (Steven Young)
  4. Subject: Re: Pruning units and weights
  5. Message-ID: <young.737166133@s1.elec.uq.oz.au>
  6. Sender: news@bunyip.cc.uq.oz.au (USENET News System)
  7. Organization: Prentice Centre, University of Queensland
  8. References: <1993May9.011044.21062@leland.Stanford.EDU>
  9. Date: Wed, 12 May 1993 00:22:13 GMT
  10. Lines: 70
  11.  
  12. furman@leland.Stanford.EDU (Elliot M Furman) writes:
  13. >Can anyone tell me how to prune unnecessary units and weights?
  14. >I would like to start training a fully feedforward NN with
  15. >too many units and then prune those that aren't contributing
  16. >much to the "solution".
  17.  
  18. This is the standard approach that comes to mind when people consider
  19. pruning and is suggested in various papers I have seen (Many people
  20. attribute the idea to Rumelhart?).  I'll include a list of references
  21. that I know of at the end of this post.
  22.  
  23. One approach is the method of weight decaying, and removing connections
  24. if the final (trained) weight is small (pick a parameter value and if
  25. the weight is less than that in absolute value, remove it).  There are
  26. a number of papers on including weight decay as a part of the error
  27. function for minimization with standard descent techniques.  There
  28. are a range of approaches and many papers expounding this idea:
  29. (Hanson and Pratt, 1989), (Chauvin, 1989), (Le Cun, Denker and Solla, 1990),
  30. (Ji, Snapp, Psaltis, 1990), (Bishop, 1990), (Weigend, Rumelhart, and Huberman,
  31. 1991).
  32.  
  33. There are some other schemes of making pruning decisions directly.
  34. One simple rule (suggested initially by Sietsma and Dow (1988)) is to check
  35. if network units in the same layer are duplicating function, if so
  36. then remove one of the duplicating units.  Mozer and Smolensky (1989) have
  37. suggested a different scheme called skeletonization which makes a
  38. decision based on the `relevance' of the unit.  Relevance is checked
  39. by comparing the performance of the network with the unit included and
  40. removed.
  41.  
  42. J. Sietsma, R. J. F. Dow, `Neural Network Pruning --- Why and How',
  43. ICNN 1988, vol I, pages 325--333, 1988.
  44.  
  45. Yves Chauvin, `A Back-Propagation Algorithm with optimal use of Hidden
  46. Units', NIPS 1, pages 519--526, 1989.
  47.  
  48. Stephen Jos{\'e} Hanson, Lorien Y. Pratt, `Comparing Biases for Minimal
  49. Construction with Back-Propagation', NIPS 1, pages 177--185, 1989.
  50.  
  51. Michael C. Mozer, Paul Smolensky, `Skeletonization: A technique for
  52. trimming the fat from a network via relevance assessment', NIPS 1,
  53. pages 107--115, 1989.
  54.  
  55. Michael C. Mozer, Paul Smolensky, `Using Relevance to Reduce Network
  56. Size Automatically', Connection Science, vol. 1, no. 1, pages 3--16, 1989
  57.  
  58. C. M. Bishop, `Curvature-Driven Smoothing in Backpropagation Neural
  59. Networks', INNC-1990-Paris, pages 749--752, 1990.
  60.  
  61. Chuanyi Ji, Robert R. Snapp, Demetri Psaltis, `Generalizing Smoothness
  62. Constraints from Discrete Samples', Neural Computation, vol. 2, pages
  63. 188-197, 1990.
  64.  
  65. Yann Le Cun, John S. Denker, Sara A. Solla, `Optimal Brain Damage',
  66. NIPS 2, pages 598--605, 1990
  67.  
  68. Jocelyn Sietsma, Robert J.F. Dow, `Creating Artificial Neural Networks
  69. That Generalize' Neural Networks, vol 4, pages 67--79, 1991.
  70.  
  71. Andreas S. Weigend, David E. Rumelhart, Bernardo A. Huberman,
  72. `Generalization by Weight-Elimination with Application to Forecasting',
  73. NIP 3, pages 875--882, 1991.
  74.  
  75. Hope this is helpful.
  76.  
  77. Steven
  78. -- 
  79. Steven Young       PhD Student  |  Dept of Electrical Engineering
  80. email : young@s1.elec.uq.oz.au  |  University    of    Queensland
  81.    Murphy was an anarchist!     |  AUSTRALIA 4072 Ph:61+7 3653564
  82.