home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #26 / NN_1992_26.iso / spool / sci / math / stat / 2326 < prev    next >
Encoding:
Text File  |  1992-11-09  |  4.9 KB  |  108 lines
  1. Newsgroups: sci.math.stat
  2. Path: sparky!uunet!sun-barr!cs.utexas.edu!sdd.hp.com!caen!sol.ctr.columbia.edu!The-Star.honeywell.com!umn.edu!thompson
  3. From: thompson@atlas.socsci.umn.edu (T. Scott Thompson)
  4. Subject: Re: multi-colinearity in full lisrel models
  5. Message-ID: <thompson.721329501@daphne.socsci.umn.edu>
  6. Sender: news@news2.cis.umn.edu (Usenet News Administration)
  7. Nntp-Posting-Host: daphne.socsci.umn.edu
  8. Reply-To: thompson@atlas.socsci.umn.edu
  9. Organization: Economics Department, University of Minnesota
  10. References: <1992Nov5.182658.9351@news.cs.brandeis.edu>
  11. Date: Mon, 9 Nov 1992 17:18:21 GMT
  12. Lines: 94
  13.  
  14. mokaba@binah.cc.brandeis.edu writes:
  15.  
  16. >Could someone help the novice!!
  17. >I am working on estimatic both structural and measurement parameter using
  18. >LISREL. I used 19 indicators of 6 latent varible, three of which are
  19. >eta's (endogenous) and the other three are ksi's (exogenous). 
  20.  
  21. >Problem :
  22. >In estimating this model I get negative beta coefficients where i expected
  23. >positive ones. Some one suggested that I could be have a mulcolinearity
  24. >problem. How do I test for it in LISREL? How do I resolve it short of 
  25. >eliminating one of the varibales from the model? 
  26. >e-mails appreciated.
  27.  
  28. (1) Multicolinearity may lead to large standard errors for your
  29. estimates but it should not bias them.  (Extreme multicolinearity can
  30. lead to loss of identification, in which case the bias is not a
  31. very meaningful concept.)
  32.  
  33. (2) The only way to eliminate multicolinearity is to get better data.
  34. All of the "fix-up" procedures in the literature correspond to
  35. imposing linear restrictions on the parameters.  If these are
  36. justified by a priori considerations then you should be imposing them
  37. anyhow.  If not, then imposing them may seriously distort your
  38. analysis.
  39.  
  40. Art Goldberger, in his text "A Course in Econometrics", makes the case
  41. that mulicolinearity receives too much attention in the literature
  42. because it has a fancy name, but has the same effects on data analysis
  43. as the problem of not having enough data.  In a very clever parody he
  44. attempts to remedy the imbalance by endowing the latter with the name
  45. "micronumerosity."  Here are some hilights from his parody.  I have
  46. substituted for his mathematical notation where appropriate.
  47.  
  48. ---------------------------------------------------------------------
  49. The following is excerpted (without permission) from "A Course in
  50. Econometrics", Arthur S.  Goldberger, Harvard Press, 1991.
  51.  
  52. Micronumerosity.
  53.  
  54. The extreme case, "exact micronumerosity" arises when n=0, in which
  55. case the sample estimate of mu [the mean] is not unique.
  56. (Technically, there is a violation of the rank condition n>0: the
  57. matrix 0 is singular.)  ... "Near micronumerosity" is more subtle, and
  58. yet very serious.  It arises when the rank condition n>0 is barely
  59. satisfied.  Near micronumerosity is very prevalent in empirical
  60. economics.
  61.  
  62. Consequences of Micronumerosity.  
  63.  
  64. The consequences ... are serious.  Precision of estimation is reduced.
  65. There are two aspects of this reduction: estimates of [the mean] may
  66. have large errors, and not only that, but [the variance of the
  67. estimate] will be large.  Investigators will sometimes be led to
  68. accept the hypothesis mu=0 because [the t-statistic] is small, even
  69. though the true situation may be not that mu=0 but simply that the
  70. sample data have not enabled us to pick mu up.
  71.  
  72. The estimate of mu will be very sensitive to sample data, and the
  73. addition of a few more observations can sometimes produce drastic
  74. shifts in the sample mean. ...
  75.  
  76. Testing for Micronumerosity.
  77.  
  78. Test for the presence of micronumerosity requires the judicious use of
  79. various fingers.  Some researchers prefer a single finger, others use
  80. their toes, still others let their thumbs rule.
  81.  
  82. A generally reliable guide is to count the number of observations.
  83. Most of the time in econometric analysis, when n is close to zero ,it
  84. is also far from infinity.  Several test procedures develop critical
  85. values n*, such that micronumerosity is a problem on if n is smaller
  86. than n*.  But those procedures are questionable.
  87.  
  88. Remedies for Micronumerosity.
  89.  
  90. If micronumerosity proves serious in the sense that the estimate of mu
  91. has an unsatisfactorily low degree of precision, we are in the
  92. statistical position of not being able to make bricks without straw.
  93. The remedy lies essentially in the acquistion, if possible, of larger
  94. samples from the same population.
  95.  
  96. But more data are no remedy for micronumerosity if the additional data
  97. are simply "more of the same."  So obtaining lots of small samples
  98. from the same population will not help.
  99. ----------------------------------------------------------------------
  100.  
  101. Goldberger goes on (in a more serious vein) to note that
  102. multicolinearity can actually _improve_ estimates of some linear
  103. combinations of the parameters.
  104. --
  105. T. Scott Thompson              email:  thompson@atlas.socsci.umn.edu
  106. Department of Economics        phone:  (612) 625-0119
  107. University of Minnesota        fax:    (612) 624-0209
  108.