home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / sci / math / numanal / 2297 < prev    next >
Encoding:
Internet Message Format  |  1992-07-26  |  2.2 KB
  1. Xref: sparky sci.math.num-analysis:2297 comp.lang.c++:11580
  2. Path: sparky!uunet!sun-barr!ames!agate!dog.ee.lbl.gov!network.ucsd.edu!lyapunov.ucsd.edu!mbk
  3. From: mbk@lyapunov.ucsd.edu (Matt Kennel)
  4. Newsgroups: sci.math.num-analysis,comp.lang.c++
  5. Subject: Re: SUMMARY: Automatic differentiation
  6. Date: 26 Jul 1992 23:39:05 GMT
  7. Organization: Institute For Nonlinear Science, UCSD
  8. Lines: 45
  9. Message-ID: <14vd2pINNa42@network.ucsd.edu>
  10. References: <l75d3fINNmjl@almaak.usc.edu>
  11. NNTP-Posting-Host: lyapunov.ucsd.edu
  12. X-Newsreader: Tin 1.1 PL3
  13.  
  14. ajayshah@almaak.usc.edu (Ajay Shah) writes:
  15. : 
  16. : I think this strategy is going to revolutionise the way we actually do
  17. : nonlinear maximisations.  I think it's going to obsolete algorithms
  18. : like the BFGS and conjugate gradients etc. because with this in hand
  19. : we get exact hessians and higher.
  20.  
  21. In most of my problems, the number of variables I'm minimizing over is
  22. quite large, similarly for neural networks.  Don't "BFGS" and Hessian
  23. methods require O(N^2) storage space, at least, in contrast to 
  24. O(N) conjugate gradient.  I don't know what the speed is, but when
  25. N=200 say, the internal matrix multipies that are normally considered trivial
  26. next to function evaluations might not be so trivial.
  27.  
  28. :  We get large gains in efficiency by
  29. : using higher derivatives (see the Kalaba-Tisher paper for example).
  30.  
  31. If you have something other than a simple quadratic minimum does this
  32. really do that much good?
  33.  
  34. : We will endup replacing the status quo of libraries like NPSOL by
  35. : something totally different, and the bonus is that the replacement is
  36. : not in fortrash!  I like it!
  37.  
  38. Will C++ be able to do:
  39.     A = B*C + D
  40.  
  41. with A,C,D vectors, and B a matrix  without any copying and creation
  42. of intermediate variables?  (i.e. see Matrix * Vector--- create a new
  43. result vector.  Do + operation on 2 vectors, make another new vector.
  44. Now do the "=" operation and copy it into A)
  45.  
  46. Perhaps the problem is that C++ let's you define overloaded operators to
  47. do anything, without regard to the normal "rules of algebra", so that it
  48. must assume less.
  49. That's one of the reason's I'm not using it now.
  50.  
  51. : 
  52. :         -ans.
  53. : -- 
  54. : Ajay Shah, (213)749-8133, ajayshah@usc.edu
  55.  
  56. --
  57. -Matt Kennel          mbk@inls1.ucsd.edu
  58. -Institute for Nonlinear Science, University of California, San Diego
  59.