home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3279 < prev    next >
Encoding:
Text File  |  1992-08-22  |  2.1 KB  |  50 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!decwrl!access.usask.ca!kakwa.ucs.ualberta.ca!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: Reducing Training time vs Generalisation
  5. Message-ID: <arms.714514327@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <Bt9GIx.9In.1@cs.cmu.edu> <?.714340347@tazdevil>
  10. Date: Sat, 22 Aug 1992 20:12:07 GMT
  11. Lines: 37
  12.  
  13. henrik@mpci.llnl.gov (Henrik Klagges) writes:
  14.  
  15. >sef@sef-pmax.slisp.cs.cmu.edu writes:
  16.  
  17. >>Well, since you keep pounding on this, I will point out that in most
  18. >>backprop-style nets after training, almost all of the hidden units are
  19. >>saturated almost all of the time.  So you can replace them with sharp
  20.  
  21. >Same in our experiments. The decision trees being built do benefit a lot 
  22. >from the remaining nonlinearities, though (smoother decision surfaces-
  23. >really 8-).
  24.  
  25. Isn't it a question of smooth vs discontinuous?  If you don't need
  26. continuity, then you don't need the sigmoids at all.
  27.  
  28. >>Myself, I prefer to think in terms of parallel hardware, so lazy evaluation
  29. >>isn't an issue.  Yes, sigmoid unit hardware is a bit more expensive to
  30. >>implement than simple gates, but I don't need nearly as many of them.
  31.  
  32. >It is not terribly expensive - a 256 entry table is usually enough. Pipe
  33. >lined access to such a lookup table can be made at one lookup/cycle at a 
  34. >pipe stall of less than 5 (if not much better, hihi). Moreover, weight
  35. >accumulation/update are matrix operations, while lookup is only a vector
  36. >operation. It is no bottleneck at all.
  37.  
  38. OK, but looking up things in RAM is just using combinational logic.
  39. Your ALN competitor will be finished the entire NN computation in
  40. the time it takes to do two or three of these lookups.
  41.  
  42. Another problem is you seem to assume that numerical accuracy is not
  43. any issue at all.
  44.  
  45. --
  46. ***************************************************
  47. Prof. William W. Armstrong, Computing Science Dept.
  48. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  49. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  50.