home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / sci / math / stat / 1710 < prev    next >
Encoding:
Text File  |  1992-08-20  |  2.9 KB  |  76 lines
  1. Newsgroups: sci.math.stat
  2. Path: sparky!uunet!cs.utexas.edu!sdd.hp.com!mips!news.cs.indiana.edu!uceng.uc.edu!juber
  3. From: juber@uceng.UC.EDU (james uber)
  4. Subject: linear covariance estimate for max likelihood
  5. Message-ID: <1992Aug20.142353.6297@uceng.UC.EDU>
  6. Keywords: parameter estimation, maximum likelihood, covariance estimate
  7. Organization: College of Engineering, University of Cincinnati
  8. Date: Thu, 20 Aug 1992 14:23:53 GMT
  9. Lines: 65
  10.  
  11. I obtain parameter estimates via maximum likelihood where
  12. my model is in the standard reduced form y = f(p), y are the
  13. data and p are the parameters. I assume that the distribution
  14. of the model + measurement errors is normal with zero mean
  15. and known covariance matrix Ve. Thus i am solving the optimization
  16. problem:
  17.  
  18.     min Tr(y - f(p))Inv(Ve)(y - f(p))
  19.          p
  20.  
  21. where Tr() is the transpose and Inv() is the inverse. I have a question
  22. about the mathematics of deriving the standard linear estimate of the
  23. covariance matrix of the sampling distribution of the parameter estimates, p*.
  24.  
  25. To form my question, let me go briefly into my interpretation of the
  26. covariance matrix derivation. First of all, the optimal value function of
  27. the max. like. problem depends on data, that is p* = p*(y). The definition of
  28. the covariance matrix of the sampling distribution, Vp, is:
  29.  
  30.     Vp = E[(dp*)Tr(dp*)]
  31.  
  32. where the perturbation of the optimal parameters, dp* is estimated by the
  33. linear terms of a Taylor series:
  34.  
  35.     dp* ~ Tr(dp*/dy)dy
  36.  
  37. where dp*/dy are the partial derivatives of the function p*(y) and are 
  38. evaluated at (y,p*). Substituting this into the definition of Vp gives:
  39.  
  40.     Vp ~ Tr(dp*/dy)E[(dy)Tr(dy)](dp*/dy)
  41.     Vp ~ Tr(dp*/dy)Vy(dp*/dy)
  42.  
  43.  
  44. Now the rest of the derivation continues with the evaluation of the partial
  45. derivatives (dp*/dy), often requiring additional approximations based on
  46. small residuals and other assumptions. The true dp*/dy would certainly 
  47. require second partials of the log likelihood function, whereas certain
  48. approximations (the most common, i believe) use only first partials. In any
  49. case, the partials dp*/dy will certainly involve the combined error covariance
  50. matrix Ve.
  51.  
  52. My question can now (finally) be stated: Is the covariance matrix Vy above
  53. one and the same with Ve, the covariance of the model + measurement errors?
  54. I have been really confused by this for a long time. Just intuitively,
  55. but perhaps naively, i'd have thought that Vy only includes the *measurement*
  56. errors, and not the model errors. All of the derivations i've seen, however,
  57. seem to at some stage treat both Vy and Ve as the same. For example, one
  58. standard final results is the following:
  59.  
  60.     Vp ~ Inv[Tr(df/dp)Inv(V)(df/dp)]
  61.  
  62. But, i must confess, i really am unsure how to interpret the covariance
  63. V in the above equation.
  64.  
  65. Thank you for your time and assistance in helping me with this problem.    
  66.  
  67. jim uber
  68. dept. of civil & env. engineering
  69. univ. of cincinnati
  70. juber@uceng.uc.edu
  71.  
  72. -- 
  73. --
  74. james uber
  75. juber@uceng.uc.edu
  76.