home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / ai / neuraln / 3280 < prev    next >
Encoding:
Text File  |  1992-08-22  |  2.4 KB  |  54 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!decwrl!access.usask.ca!kakwa.ucs.ualberta.ca!alberta!arms
  3. From: arms@cs.UAlberta.CA (Bill Armstrong)
  4. Subject: Re: Reducing Training time vs Generalisation
  5. Message-ID: <arms.714514725@spedden>
  6. Sender: news@cs.UAlberta.CA (News Administrator)
  7. Nntp-Posting-Host: spedden.cs.ualberta.ca
  8. Organization: University of Alberta, Edmonton, Canada
  9. References: <Bt9GIx.9In.1@cs.cmu.edu> <arms.714289771@spedden> <?.714340972@tazdevil>
  10. Date: Sat, 22 Aug 1992 20:18:45 GMT
  11. Lines: 41
  12.  
  13. (Quite a bit of the original has been deleted)
  14.  
  15. henrik@mpci.llnl.gov (Henrik Klagges) writes:
  16.  
  17. >Hm, Bill - this reasonability applies to your example problem as well, which
  18. >is pretty much constructed ad hoc. Just add a training point between your 
  19. >center - or remove the symmetry otherwise, and your extremum is gone (!).
  20.  
  21. Add a training point and the peak is gone -- true.  Changing the
  22. symmetry does nothing to remove the extremum though.
  23.  
  24. Pardon a strategic hint: you should avoid weakly pejorative words like
  25. "ad hoc" in describing the example.  You need stronger adjectives.
  26. Even "irresponsible" or "absurd", which have been tried, failed to
  27. damage it.
  28.  
  29. >Concerning lazy evaluation: It is difficult to program on parallel machines.
  30. >It is a kind of runtime loadunbalancing that constantly switches off tasks
  31. >(=subtree evaluations) of varying size essentially at random. No way to do
  32. >that in SIMD, and darn difficult to do it in MIMD at all, and especially not
  33. >with a high efficiency.
  34.  
  35. I agree if you only have one task.  Then you would try to use eager
  36. evaluations to get speed, wasting resources.  But if you can timeshare
  37. tasks and only do the necessary ones, you can come out ahead.  On the
  38. Myrias SPS-x machines (MIMD), we have trained several trees at once on
  39. up to 64 processors.  A one-line change to the code was required which
  40. took 20 minutes first time.  However, that machine is perhaps not
  41. typical of the programming effort required, since it makes certain
  42. parallel speedups trivial to program.  Execution of trained ALNs would
  43. not have benefitted due to the exceedingly small granularity of the
  44. task.
  45.  
  46. Efficiency on the Myrias was about 85%, which was felt to be very
  47. good.
  48.  
  49. --
  50. ***************************************************
  51. Prof. William W. Armstrong, Computing Science Dept.
  52. University of Alberta; Edmonton, Alberta, Canada T6G 2H1
  53. arms@cs.ualberta.ca Tel(403)492 2374 FAX 492 1071
  54.