home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2979 < prev    next >
Encoding:
Internet Message Format  |  1992-07-27  |  2.2 KB
  1. Path: sparky!uunet!sun-barr!cs.utexas.edu!uwm.edu!ogicse!das-news.harvard.edu!cantaloupe.srv.cs.cmu.edu!crabapple.srv.cs.cmu.edu!news
  2. From: sef@sef-pmax.slisp.cs.cmu.edu
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: any complicated units/connections used ?
  5. Message-ID: <1992Jul27.142202.290451@cs.cmu.edu>
  6. Date: 27 Jul 92 14:22:02 GMT
  7. Article-I.D.: cs.1992Jul27.142202.290451
  8. Organization: School of Computer Science, Carnegie Mellon
  9. Lines: 38
  10. Nntp-Posting-Host: sef-pmax.slisp.cs.cmu.edu
  11.  
  12.  
  13.     From: prechelt@i41s14.ira.uka.de (Lutz Prechelt)
  14.     
  15.     in almost all neural network models used today, the connections are 
  16.     restricted to multipying their input with a weight and the units 
  17.     are restricted to applying a mapping function (e.g. threshold or 
  18.     squashing function) to their cumulated inputs.
  19.     
  20.     I would like to know about all *more complicated* forms of units or
  21.     connections anybody is using or planning to use in a neural network.
  22.     I am aware of sigma-pi units, activation decay, and time delay 
  23.     connections but please send me info about how you use these, anyway.
  24.     
  25. The key question to ask about nets with more complex elements is whether
  26. the added complexity buys you anything important.  For example, could each
  27. of the more complex units be simulated by a little cluster of backprop
  28. units.
  29.  
  30. Even if there's some formal equivalence, the more complex units may be
  31. useful if they introduce some constraint or structure into the net that was
  32. not there in backprop.  This may lead to faster training or better
  33. generalization.  For example, sigma-pi units are not fundamentally more
  34. powerful than plain old sigma units with an extra layer or two, but they
  35. seem to be well-matched to problems that want to activate different rule
  36. sets (or overlays on a fixed rule set) at different times.  For example,
  37. such units have been used to good advantage in speech understanding to
  38. blend together several different speaker models.  (See paper by Hampshire
  39. and Waibel in NIPS-2.)
  40.  
  41. -- Scott
  42. ===========================================================================
  43. Scott E. Fahlman
  44. School of Computer Science
  45. Carnegie Mellon University
  46. 5000 Forbes Avenue
  47. Pittsburgh, PA 15213
  48.  
  49. Internet: sef+@cs.cmu.edu
  50.