home *** CD-ROM | disk | FTP | other *** search
/ Monster Media 1993 #2 / Image.iso / text / 9305nni.zip / 930501.PPR < prev    next >
Internet Message Format  |  1993-05-01  |  4KB
  1. From ml-connectionists-request@q.cs.cmu.edu Sat May  1 03:33:43 1993
  2. Received: by cse.uta.edu (5.57/Ultrix2.4-C)
  3.     id AA29693; Sat, 1 May 93 05:33:31 -0500
  4. Received: by Q.CS.CMU.EDU id ab21628; 29 Apr 93 18:33:04 EDT
  5. Received: from Q.CS.CMU.EDU by Q.CS.CMU.EDU id ab21078; 29 Apr 93 15:51:23 EDT
  6. Received: from DST.BOLTZ.CS.CMU.EDU by Q.CS.CMU.EDU id ab20917;
  7.           29 Apr 93 14:52:30 EDT
  8. Received: from DST.BOLTZ.CS.CMU.EDU by DST.BOLTZ.CS.CMU.EDU id aa07279;
  9.           29 Apr 93 14:50:36 EDT
  10. Received: from EDRC.CMU.EDU by B.GP.CS.CMU.EDU id aa09324;
  11.           29 Apr 93 14:37:24 EDT
  12. Received: from zingo.nj.nec.com by EDRC.CMU.EDU id aa00487;
  13.           29 Apr 93 14:36:54 EDT
  14. Received: by zingo.nj.nec.com (920330.SGI/YDL1.4-910307.16)
  15.     id AA23123(zingo.nj.nec.com); Thu, 29 Apr 93 14:22:00 -0400
  16. Received: by fuzzy (5.52/cliff's joyful mailer #2)
  17.     id AA11990(fuzzy); Thu, 29 Apr 93 14:21:59 EDT
  18. Date: Thu, 29 Apr 93 14:21:59 EDT
  19. From: Lee Giles <giles@research.nj.nec.com>
  20. Message-Id: <9304291821.AA11990@fuzzy>
  21. To: connectionists@cs.cmu.edu
  22. Subject: Reprint: Pruning Recurrent Neural Networks for Improved Generalization
  23.     Performance
  24. Status: R
  25.  
  26.  
  27. The following reprint is available via the NEC Research
  28. Institute ftp archive external.nj.nec.com. Instructions for
  29. retrieval from the archive follow the abstract summary. Comments 
  30. and remarks are always appreciated.
  31.  
  32. ----------------------------------------------------------------------------------
  33.  
  34.                      "Pruning Recurrent Neural Networks
  35.                    for Improved Generalization Performance"
  36.  
  37.                  Christian W. Omlin(a,c) and C. Lee Giles(a,b) 
  38.  
  39.        (a) NEC Research Institute, 4 Independence Way, Princeton, NJ 08540
  40. (b) Institute for Advanced Computer Studies, U. of Maryland, College Park, MD 20742
  41.  (c) Computer Science Department, Rensselaer Polytechnic Institute, Troy, NY 12180
  42.  
  43. Determining the architecture of neural networks is an important issue for any
  44. learning task. No general methods exist that allow us to estimate for recurrent neural 
  45. networks the number of layers of hidden neurons, the size of layers or the number of 
  46. weights. We present a simple heuristic which significantly improves the generalization 
  47. performance of recurrent networks. In addition if rules are extracted from networks 
  48. trained to recognize strings of regular languages, this pruning method permits rules 
  49. to be extracted which are more consistent with the rules to be learned. The performance 
  50. improvement is achieved by pruning and retraining networks. Our simulation results
  51. for non-trivial grammars show that our simple method is effective. The performance 
  52. improvement is superior to the improvement obtained by training with weight decay.
  53.  
  54.  
  55. Revised Technical Report No. 93-6, April 1993, Computer Science Department, 
  56. Rensselaer Polytechnic Institute, Troy, N.Y. 
  57.  
  58. -------------------------------------------------------------------------------------
  59.  
  60.                           FTP INSTRUCTIONS
  61.  
  62.                 unix> ftp external.nj.nec.com (138.15.10.100)
  63.                 Name: anonymous
  64.                 Password: (your_userid@your_site)
  65.                 ftp> cd pub/giles/papers
  66.                 ftp> binary
  67.                 ftp> get prune.ps.Z
  68.                 ftp> quit
  69.                 unix> uncompress prune.ps.Z
  70.  
  71.  
  72. ----------------------------------------------------------------------------------------
  73.  
  74.  
  75. --                                 
  76. C. Lee Giles / NEC Research Institute / 4 Independence Way
  77. Princeton, NJ 08540 / 609-951-2642 / Fax 2482
  78. ==
  79.  
  80.  
  81.  
  82.  
  83.