home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / ai / neuraln / 2898 < prev    next >
Encoding:
Text File  |  1992-07-23  |  2.3 KB  |  47 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!gatech!concert!rock!taco!ellner
  3. From: ellner@stat.ncsu.edu (Steve Ellner)
  4. Subject: Re: Training Networks on Chaotic Time Series
  5. Message-ID: <1992Jul23.180946.19112@ncsu.edu>
  6. Originator: ellner@esssse.stat.ncsu.edu
  7. Keywords: chaos, time series, neural nets
  8. Sender: news@ncsu.edu (USENET News System)
  9. Organization: Statistics, NCSU
  10. References:  <670@trwacs.fp.trw.com>
  11. Date: Thu, 23 Jul 1992 18:09:46 GMT
  12. Lines: 33
  13.  
  14.  
  15. In article <670@trwacs.fp.trw.com>, erwin@trwacs.fp.trw.com (Harry Erwin) 
  16. reminds us that neural nets performed poorly on chaotic time series
  17. data generated by the logistic map:
  18.  
  19. |> ... the network was clearly learning the training set and not
  20. |> generalizing. This was particularly clear for the more highly chaotic
  21. |> cases since the effectiveness of the network was significantly reduced for
  22. |> a fixed training period. It was also clear that the network "hadn't a
  23. |> clue" for regions of the chaotic process that were not represented in the
  24. |> training set.
  25.  
  26.    Our experience on similar problems has been better. But, we found that
  27. it was essential to have a cautious criterion for adjusting the network
  28. complexity to match the amount and quality of training data, and 
  29. to be _very_ persistent at seeking best-fit net parameters,  i.e., 
  30. a stringent convergence criterion, and many, many replicate 
  31. attempts at fitting with different starting parameters. (Refs: D. Nychka
  32. et al., J. Royal Statistical Soc. Series B, vol54(2), 399-426 (1992) ; 
  33. A.R. Gallant & H. White, Neural Networks 5,129-138; and Dan McCaffrey's 1991
  34. Ph.D thesis, to appear this Fall in J. Amer. Stat. Assoc.). M. Casdagli 
  35. (Physica D35, 335-356 (1989) ) also found that neural nets were among
  36. the best predictors for chaotic time series (see his Table I).
  37.  
  38.    I expect that any regression model, not just nets, will have trouble 
  39. "learning" what's going on far from any data that are used to fit the model. 
  40. That may not be a problem if generalization near the training data suffices
  41. for the task at hand. For example a short-term predictor only needs 
  42. to be accurate near the support of the system's invariant measure (since
  43. real trajectories will always lie in that region) and that's where you would
  44. get training data from observing the system running "on its own".
  45.  
  46. --- Steve Ellner (ellner@stat.ncsu.edu)
  47.