home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #30 / NN_1992_30.iso / spool / comp / ai / neuraln / 4602 < prev    next >
Encoding:
Text File  |  1992-12-16  |  1.9 KB  |  45 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!munnari.oz.au!metro!news
  3. From: marwan@metro (Marwan Jabri)
  4. Subject: Re: Integer neural networks?
  5. Message-ID: <1992Dec16.235729.23143@ucc.su.OZ.AU>
  6. Sender: news@ucc.su.OZ.AU
  7. Nntp-Posting-Host: brutus.ee.su.oz.au
  8. Organization: Sydney University Computing Service, Sydney, NSW, Australia
  9. References: <R5BFVB4w165w@west.darkside.com>
  10. Date: Wed, 16 Dec 1992 23:57:29 GMT
  11. Lines: 32
  12.  
  13. Two papers that address the problems of limited precision MLPs in the 
  14. neuroprose archive (anonymous on archive.cis.ohio-state.edu under
  15. pub/neuroprose) starting with yun....
  16.  
  17. One paper is on the effects and another paper is on an algorithm tha we
  18. have developed and successfully used in training limited precision chips.
  19.  
  20. Although some may argue that limited precision is not a problem, the
  21. bottom line is if you want to use gradient descent based algorithms you
  22. will find that backpropagation based techniques will simply fail to do
  23. anything useful on may applications when the number of bits drop towards
  24. the 8-6 bits. So the essence is that local search techniques will fail in
  25. these conditions.
  26.  
  27. If you have more than 8 bits, you have a good chance in getting gradient
  28. descent based techniques to work.
  29.  
  30. On thing you may consider is training (if training can be done off the
  31. hradware) is use floating point training and then simply scale and
  32. truncate your values.
  33.  
  34. If you are interested in an environment that you can use to do limited
  35. precision training, I have sent some information recently about MUME which
  36. implements many limited precision algorithms, including that referenced
  37. above. I can mail you some information if interested.
  38.  
  39. Marwan Jabri
  40. marwan@sedal.su.oz.au
  41. -------------------------------------------------------------------
  42. Marwan Jabri                  Email: marwan@ee.su.oz.au
  43. SEDAL, Electrical Engineering,              Tel: (+61-2) 692-2240
  44. Sydney University, NSW 2006, Australia           Fax: (+61-2) 692-3847
  45.