home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #19 / NN_1992_19.iso / spool / comp / ai / neuraln / 3352 < prev    next >
Encoding:
Text File  |  1992-08-30  |  2.6 KB  |  59 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!munnari.oz.au!cs.mu.OZ.AU!mullian!dbg
  3. From: dbg@mullian.ee.mu.oz.au (David Grayden)
  4. Subject: TDNN training time
  5. Message-ID: <9224413.19523@mulga.cs.mu.OZ.AU>
  6. Summary: My TDNN trains too slow
  7. Keywords: TDNN, BP, training time
  8. Sender: news@cs.mu.OZ.AU
  9. Organization: Electrical and Electronic - University of Melbourne 
  10. Date: Mon, 31 Aug 1992 03:10:56 GMT
  11. Lines: 46
  12.  
  13.  
  14. I am doing some research in phoneme recognition of continuous speech.  I
  15. have the Timit database from which I extract my training and testing sets.
  16.  
  17. At first, I have been trying to replicate somewhat the results of Alex
  18. Waibel and the ATR group in TDNN recognition of /b/, /d/ and /g/.  However,
  19. the training time is almost prohibitively long.  I am basing most of my
  20. work on the two papers:
  21.  
  22. A.Waibel, T.Hanazawa, G.Hinton, K.Shikano, K.J.Lang, "Phoneme recognition
  23. using time-delay neural networks," IEEE Trans. on Acoustics, Speech and
  24. Signal Processing, vol.37, no.3, March 1989.
  25.  
  26. P.Haffner, A.Waibel, H.Sawai, K.Shikano, "Fast back-propagation learning
  27. methods for large phonemic neural networks," ATR Technical Report.
  28.  
  29.  
  30. In these papers, it seems to be that the bdg network can be trained in as
  31. little as 1 minute on an Alliant super-computer.  However, I can't get it
  32. down below 1 week for 1600 training samples.  I am working on a SPARCstation
  33. which will explain some of the slowness, and the TIMIT English database
  34. may be "harder to train on" than the Japanese database used above, but the
  35. slowness of my training seems to be several orders of magnitude greater.
  36.  
  37. For comparison, I have trained a fully-interconnected neural net in the
  38. same task.  It trains extremely fast although each epoch takes longer due
  39. to the extra weights in the fully-interconnected setup.
  40.  
  41. The fully-interconnected network trains in 1/10 to 1/1000 the number of
  42. iterations and thus takes less time by about the same orders of magnitude.
  43.  
  44. The TDNN (after waiting for over a week sometimes) gives recognition rates
  45. between 60-80% on the TIMIT test set, while the fully-interconnected
  46. network recognizes between 70-90%.
  47.  
  48. Has anyone else done work in this area on TIMIT and managed to get speeds
  49. and results anywhere close to those of the ATR group?
  50.  
  51. Regards,
  52. David.
  53. -----------------------------------------------------------------
  54. David Grayden                     | Tel:  +61 3 344 4974
  55. Dept of Electrical Engineering    | Fax:  +61 3 344 6678
  56. The University of Melbourne       |
  57. Parkville VIC 3052 AUSTRALIA      | Email:dbg@mullian.ee.mu.OZ.AU
  58. -----------------------------------------------------------------
  59.