home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #1 / NN_1993_1.iso / spool / comp / ai / neuraln / 4732 < prev    next >
Encoding:
Text File  |  1993-01-07  |  1.7 KB  |  51 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!spool.mu.edu!yale.edu!ira.uka.de!Germany.EU.net!infko!inews
  3. From: evol@infko.uni-koblenz.de
  4. Subject: Technical Report on many bp speed up techniques available
  5. Message-ID: <1993Jan07.061015.9222@infko.uucp>
  6. Sender: inews@infko.uucp (inews)
  7. Organization: University of Koblenz, Germany
  8. Date: Thu, 07 Jan 1993 06:10:15 GMT
  9. Lines: 40
  10.  
  11. Our new Technical Report "Optimization of the Backpropagation Algorithm
  12. for Training Multilayer Perceptrons" is now available via ftp:
  13.  
  14.  
  15.     ftp archive.cis.ohio-state.edu  or  ftp 128.146.8.52
  16.     cd pub/neuroprose
  17.     binary
  18.     get schiff.bp_speedup.ps.Z
  19.     quit
  20.  
  21. The report is an overview of many different backprop speedup techniques.
  22. 15 different algorithms are described in detail and compared by using
  23. a big, very hard to solve, practical data set. Learning speed and network
  24. classification performance with respect to the training data set and also
  25. with respect to a testing data set are discussed.
  26. These are the tested algorithms:
  27.  
  28. backprop
  29. backprop (batch mode)
  30. backprop + Learning rate calculated by Eaton and Oliver's formula
  31. backprop + decreasing learning rate (Darken and Moody)
  32. backprop + Learning rate adaptation for each training pattern (J. Schmidhuber)
  33. backprop + evolutionarily learning rate adaptation (R. Salomon)
  34. backprop + angle driven learning rate adaptation(Chan and Fallside)
  35. Polak-Ribiere + line search (Kramer and Vincentelli)
  36. Conj. gradient + line search (Leonard and Kramer)
  37. backprop + learning rate adaptation by sign changes (Silva and Almeida)
  38. SuperSAB (T. Tollenaere)
  39. Delta-Bar-Delta (Jacobs)
  40. RPROP (Riedmiller and Braun)
  41. Quickprop (Fahlman)
  42. Cascade correlation (Fahlman)
  43.  
  44.  
  45.  
  46.     Randolf Werner
  47.  
  48.  
  49.  
  50.  
  51.