home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3255 < prev    next >
Encoding:
Internet Message Format  |  1992-08-20  |  1.7 KB
  1. Path: sparky!uunet!usc!sdd.hp.com!uakari.primate.wisc.edu!ames!lll-winken!tazdevil!henrik
  2. From: henrik@mpci.llnl.gov (Henrik Klagges)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: Reducing Training time vs Generalisation
  5. Message-ID: <?.714340347@tazdevil>
  6. Date: 20 Aug 92 19:52:27 GMT
  7. References: <Bt9GIx.9In.1@cs.cmu.edu>
  8. Sender: usenet@lll-winken.LLNL.GOV
  9. Lines: 32
  10. Nntp-Posting-Host: tazdevil.llnl.gov
  11.  
  12. sef@sef-pmax.slisp.cs.cmu.edu writes:
  13. >For example, in the example about the big
  14. >gaussian spike, it would drive the output weight to zero if the Gaussian is
  15. >not helping to fit the data.
  16.  
  17. Key point. A few add-on 'reasonability criterions' like weight decay are
  18. quite effective in avoiding pathological results.
  19.  
  20. >Well, since you keep pounding on this, I will point out that in most
  21. >backprop-style nets after training, almost all of the hidden units are
  22. >saturated almost all of the time.  So you can replace them with sharp
  23.  
  24. Same in our experiments. The decision trees being built do benefit a lot 
  25. from the remaining nonlinearities, though (smoother decision surfaces-
  26. really 8-).
  27.  
  28. >Myself, I prefer to think in terms of parallel hardware, so lazy evaluation
  29. >isn't an issue.  Yes, sigmoid unit hardware is a bit more expensive to
  30. >implement than simple gates, but I don't need nearly as many of them.
  31.  
  32. It is not terribly expensive - a 256 entry table is usually enough. Pipe
  33. lined access to such a lookup table can be made at one lookup/cycle at a 
  34. pipe stall of less than 5 (if not much better, hihi). Moreover, weight
  35. accumulation/update are matrix operations, while lookup is only a vector
  36. operation. It is no bottleneck at all.
  37.  
  38. Cheers, 
  39.     Henrik
  40.  
  41.  
  42. BM Research Division physics group Munich
  43. massively parallel group at Lawrence Livermore
  44.