home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3205 < prev    next >
Encoding:
Internet Message Format  |  1992-08-16  |  2.2 KB
  1. Path: sparky!uunet!usc!wupost!waikato.ac.nz!aukuni.ac.nz!edwin
  2. Newsgroups: comp.ai.neural-nets
  3. Subject: Reducing Training time vs Generalisation
  4. Message-ID: <1992Aug16.213939.15944@ccu1.aukuni.ac.nz>
  5. From: edwin@ccu1.aukuni.ac.nz (Edwin Ng)
  6. Date: Sun, 16 Aug 1992 21:39:39 GMT
  7. References: <1992Aug16.063825.15300@julian.uwo.ca>
  8. Organization: University of Auckland, New Zealand.
  9. Keywords: back propagation, training, generalisation
  10. Lines: 52
  11.  
  12. koops@gaul.csd.uwo.ca (Luke Koops) writes:
  13.  
  14. >A while ago I posted a request asking how I could reduce the training
  15. >time for a back-propagation neural network, and recieved these helpful
  16. >respones.
  17.  
  18. ... (summary deleted)
  19.  
  20. >   -Luke Koops (koops@csd.uwo.ca)
  21.  
  22.  
  23. >-- 
  24. >    /
  25. >***/
  26. >*\/* koops@csd.uwo.ca
  27. >****
  28.  
  29. Thanks for the summary Luke.  I'd like to ask if anyone has 
  30. anything to add about the quality of generalisation 
  31. resulting from using different parameters to speed up
  32. training??
  33.  
  34. I have only tried playing with different learning rates
  35. with my data for image recognition work.  I found that
  36. while I can use values of 0.1 or more to get quick
  37. learning of the training set, I get high classification
  38. errors in the test set.
  39.  
  40. I ended up using a learning rate of 0.001 which amounted
  41. to very tedious training in order to good generalisation.
  42.  
  43. Does anyone have any advice on how I can speed up training
  44. without losing generalisation?  Or is this a tradeoff
  45. that can't be changed (some kind of conservation law) ?
  46.  
  47. I have tried using Scott Falman's Cascade Correlation but 
  48. the generalisation was much worse than backprop although 
  49. it learnt very quickly.
  50.  
  51. Any input from you fellow netters out there would be much
  52. appreciated.  Thanks.
  53.  
  54. -----------------------------------------------------
  55. * Edwin Ng                                          *
  56. * Department of Electrical & Electronic Engineering *
  57. * University of Auckland                            *
  58. * Private Bag, Auckland                             *
  59. * NEW ZEALAND                                       *
  60. *                                                   *
  61. * Fax: 64 9 366 0702                                *
  62. * E-mail: edwin@ccu1.aukuni.ac.nz                   *
  63. -----------------------------------------------------
  64.