home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / text / 9305nni.zip / 930529.PPR < prev    next >
Internet Message Format  |  1993-05-29  |  3KB
  1. From ml-connectionists-request@q.cs.cmu.edu Sat May 29 03:18:59 1993
  2. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  3.     id AA24055; Sat, 29 May 93 05:18:42 -0500
  4. Received: from Q.CS.CMU.EDU by q.cs.CMU.EDU id aa21860; 29 May 93 4:44:45 EDT
  5. Received: from DST.BOLTZ.CS.CMU.EDU by Q.CS.CMU.EDU id aa21833;
  6.           29 May 93 4:22:23 EDT
  7. Received: from DST.BOLTZ.CS.CMU.EDU by DST.BOLTZ.CS.CMU.EDU id aa11190;
  8.           29 May 93 4:21:32 EDT
  9. Received: from RI.CMU.EDU by B.GP.CS.CMU.EDU id aa02268; 29 May 93 4:19:15 EDT
  10. Received: from danpost.uni-c.dk by RI.CMU.EDU id aa13039; 29 May 93 4:18:45 EDT
  11. Received: from nn.meatre.dk by danpost.uni-c.dk (5.65c+/1.34)
  12.     id AA06535; Sat, 29 May 1993 10:17:45 +0200
  13. Received: by nn.meatre.dk (4.1/SMI-4.1)
  14.     id AA01977; Sat, 29 May 93 10:17:44 +0200
  15. Date: Sat, 29 May 93 10:17:44 +0200
  16. From: Hans Henrik Thodberg <thodberg@nn.meatre.dk>
  17. Message-Id: <9305290817.AA01977@nn.meatre.dk>
  18. To: Connectionists@cs.cmu.edu
  19. Subject: Ace of Bayes (TR announcement)
  20. Status: RO
  21.  
  22. FTP-host: archive.cis.ohio-state.edu
  23. FTP-file: pub/neuroprose/thodberg.ace-of-bayes.ps.Z
  24.  
  25. The file thodberg.ace-of-bayes.ps.Z (40 pages) is available from Neuroprose:
  26.  
  27.      ACE OF BAYES: APPLICATION OF NEURAL NETWORKS WITH PRUNING
  28.  
  29.                         Hans Henrik Thodberg
  30.  
  31.                              Abstract 
  32.  
  33. MacKay's Bayesian framework for backpropagation is a practical and 
  34. powerful means of improving the generalisation ability of neural 
  35. networks. The framework is reviewed and extended in a pedagogical way. 
  36. The notation is simplified using the ordinary weight decay parameter, 
  37. and the noise parameter $\beta$ is shown to be nothing more than an 
  38. overall scale. A detailed and explicit procedure for adjusting several 
  39. weight decay parameters is given. 
  40.  
  41. Pruning is incorporated into the Bayesian framework. Appropriate 
  42. symmetry factors on sparse architectures are deduced. Bayesian weight 
  43. decay is demonstrated using artificial data generated by a sparsely  
  44. connected network. Pruning yields computational advantages: by removing 
  45. unimportant weights the posterior weight distribution becomes Gaussian, 
  46. and pruning removes zero-modes of the Hessian and redundant hidden
  47. units. In addition, pruning improves generalisation. The Bayesian 
  48. evidence is used as a stop criterion for pruning.
  49.  
  50. Bayesian backprop is applied in the prediction of fat content in minced 
  51. meat from near infrared spectra. It outperforms ``early stopping'' as 
  52. well as quadratic regression. The evidence of a committee of 
  53. differently trained networks is computed and the corresponding improved 
  54. generalisation is verified. The error bars on the predictions of the 
  55. fat content are computed. There are three contributors: The random 
  56. noise, the uncertainty in the weights, and the deviation among the 
  57. committee members. Finally the Bayesian framework is compared to 
  58. Moody's GPE.
  59.  
  60. -----
  61. The paper is in the compressed Postscript file 
  62. thodberg.ace-of-bayes.ps.Z. Hardcopies are not available. 
  63. The Postscript file prints out smoothly on the Postscript 
  64. printers from HP, Canon, Apple, Sparc etc., but not on a NEC. 
  65.  
  66. Comments are welcome.
  67. ------------------------------------------------------------------
  68. Hans Henrik Thodberg                Email: thodberg@nn.meatre.dk
  69. Danish Meat Research Institute      Phone: (+45) 42 36 12 00
  70. Maglegaardsvej 2, Postboks 57       Fax:   (+45) 42 36 48 36
  71. DK-4000 Roskilde, Denmark
  72. ------------------------------------------------------------------
  73.  
  74.