home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / sci / math / stat / 1655 < prev    next >
Encoding:
Text File  |  1992-08-14  |  2.5 KB  |  67 lines
  1. Newsgroups: sci.math.stat
  2. Path: sparky!uunet!cis.ohio-state.edu!magnus.acs.ohio-state.edu!regeorge
  3. From: regeorge@magnus.acs.ohio-state.edu (Robert E George)
  4. Subject: Re: Fwd: Standard Deviation.
  5. Message-ID: <1992Aug14.231916.23479@magnus.acs.ohio-state.edu>
  6. Sender: news@magnus.acs.ohio-state.edu
  7. Nntp-Posting-Host: bottom.magnus.acs.ohio-state.edu
  8. Organization: The Ohio State University
  9. References: <1992Aug14.172833.11844@cbfsb.cb.att.com> <seX2yRq00Uh785H2EB@andre
  10. Date: Fri, 14 Aug 1992 23:19:16 GMT
  11. Lines: 54
  12.  
  13.  
  14.  
  15. In article <seX2yRq00Uh785H2EB@andrew.cmu.edu> Daniel Read <dr3u+@andrew.cmu.ed
  16. u> writes:
  17. >---------- Forwarded message begins here ----------
  18. >
  19. >Can someone explain why calculating the Standard Deviation (SD),
  20. >for small samples, with (n-1) in the denominator is better than
  21. >doing so with (n) in the denominator?  I'm sure that there's
  22. >a perfectly good reason for doing so.  But we, lowly engineers
  23. >aren't usually told the reason.  Thanks now, for your response later.;-)
  24. >
  25. >RESPONSE (and my own query):
  26. >
  27. >The variance increases as a function of sample size.  That is, a small
  28. >sample will systematically underestimate the population variance (if we
  29. >estimate the population variance with denominator N-1).  Using this
  30. >reduced denominator therefore has the effect of increasing the variance
  31. >estimate.
  32. >
  33. >My question:  why does a small sample underestimate the population variance?
  34. >
  35. >daniel read
  36.  
  37. I'm not certain what "underestimate" means here: if you are speaking of
  38. bias (bias being the difference between the estimand and the expected
  39. value of the estimator), then
  40.  
  41.         ---  _        _
  42.         \   | X - Xbar |2
  43. T =     /   |_        _|
  44.         ---
  45.        ------------------
  46.                n
  47.  
  48. will "underestimate" the population variance *for any sample size n*.
  49. T will always have a negative bias *regardless of how large a sample is
  50. used to compute T*.
  51.  
  52. More intuitively, if we take a very sample, we are less likely to get
  53. extreme values and so our notion of what the population variance is (note
  54. that I am not proposing some particular estimator) will be unrealistic.
  55. For instance, I give an exam to two students. Their scores are 67 and
  56. 71. I think, "Gee, there's not a lot of variability in these scores."
  57. But then 8 more students take the exam:
  58.      60 78  100 38  50 88  99 39
  59.  
  60. and it now is clear there *is* more variability in these scores.
  61.  
  62. But let me reiterate that T will *always* have a negative bias for the
  63. population variance whatever the sample size is
  64.  
  65. Robert George
  66. (speaking  only for myself)
  67.