home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / sci / math / stat / 1684 < prev    next >
Encoding:
Internet Message Format  |  1992-08-17  |  1.7 KB
  1. Path: sparky!uunet!stanford.edu!agate!ucbvax!stat!chadster
  2. From: chadster@statBerkeley.EDU (Chad Heilig)
  3. Newsgroups: sci.math.stat
  4. Subject: Re: Standard Deviation.
  5. Keywords: (n) versus (n-1)
  6. Message-ID: <44620@ucbvax.BERKELEY.EDU>
  7. Date: 17 Aug 92 22:15:41 GMT
  8. References: <1992Aug14.172833.11844@cbfsb.cb.att.com> <c48nbgtf@csv.warwick.ac.uk> <thompson.714070323@daphne.socsci.umn.edu>
  9. Sender: nobody@ucbvax.BERKELEY.EDU
  10. Organization: Statistics Dept., U. C. Berkeley
  11. Lines: 27
  12.  
  13. It is true that the `usual estimator' for the standard deviation is biased
  14. for the population SD.  However, it might remain popular for the following
  15. reason:
  16.  
  17. Suppose we want to test the hypothesis  Null:  mean=0  vs.  Alt:  mean != 0, 
  18. but we do not know the population variance.  Then our test takes the form:
  19.  
  20.      reject the null if Xbar/sqrt(S^2) > some constant
  21.  
  22. where S^2 is the unbiased estimator for the variance and the constant is
  23. chosen so that we reject with a certain probability.
  24. So where am I going with this?  Well, under the assumption that the
  25. data are normally distributed with mean 0, the test statistic above (sometimes
  26. called T squared) has a t-distribution with n-1 degrees of freedom; this is 
  27. only true, however, under the additional contstaint that we use the unbiased
  28. estimator for the variance in forming the test-statistic.  Thus the "N-1".
  29.  
  30. That said, let me make two more notes:
  31. (1)  S^2 is unbiased for population variance, regardless of the underlying
  32. dsitribution (as long as we have finite variance).
  33. (2)  The distribution of the T-statistic is somewhat robust against non-
  34. normal underlying distributions.
  35.  
  36. I realize that this gets awat a bit from the original question, but I think
  37. it rounds out the defense for using `N-1' in the SD estimate.
  38.  
  39. Chad
  40.