home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / sci / math / stat / 1672 < prev    next >
Encoding:
Text File  |  1992-08-17  |  2.6 KB  |  52 lines
  1. Newsgroups: sci.math.stat
  2. Path: sparky!uunet!cs.utexas.edu!torn!news.ccs.queensu.ca!mast.queensu.ca!dmurdoch
  3. From: dmurdoch@mast.queensu.ca (Duncan Murdoch)
  4. Subject: Re: Standard Deviation.
  5. Message-ID: <dmurdoch.43.714062116@mast.queensu.ca>
  6. Keywords: (n) versus (n-1)
  7. Lines: 39
  8. Sender: news@knot.ccs.queensu.ca (Netnews control)
  9. Organization: Queen's University
  10. References: <1992Aug14.172833.11844@cbfsb.cb.att.com> <c48nbgtf@csv.warwick.ac.uk>
  11. Date: Mon, 17 Aug 1992 14:35:16 GMT
  12.  
  13. In article <c48nbgtf@csv.warwick.ac.uk> psrdj@warwick.ac.uk (G M Collis) writes:
  14. >What intrigues me is that the most elementary stats texts make a big
  15. >fuss about using n-1 for an unbiased estimate of the variance, but ignore
  16. >the fact that this gives a biased estimate for the SD. I recall
  17. >that n - 1.5 is nearer the target for the SD when the sample is
  18. >from a normally distributed population. I gather that minimising
  19. >the bias when estimating the SD is rather sensitive to the population
  20. >distribution - I'd like to know more about this.  But my big puzzle
  21. >remains - why is the biasedness of the usual SD estimator (with N-1)
  22. >so rarely mentioned, in stark contrast to the case of the variance.
  23.  
  24. I think it's just a tradition - introductory statistics texts aren't 
  25. supposed to explain things correctly, they're just supposed to present a 
  26. cookbook of methods, with handwaving and often incorrect justifications.
  27.  
  28. As others have pointed out, getting an unbiased variance estimate is hardly
  29. essential.  I have trouble even thinking of a rigged artificial example 
  30. where bias of the variance estimate would matter.  In many cases, the 
  31. standard deviation estimate is just used to give a rough idea of the 
  32. variability of a population, e.g. mean +/- s.d.,  or the precision of an 
  33. estimate, e.g. mean +/- s.e.  In these cases it almost never matters whether 
  34. you use N or N-1 --- they give essentially the same answer, unless N is very 
  35. small.
  36.  
  37. The other place to use a standard deviation is in the construction of 
  38. confidence intervals or tests.  There the denominator doesn't matter a 
  39. bit:  the formula for the CI or test statistic will compensate.
  40.  
  41. I've argued so far that it doesn't matter whether you use N or N-1.  So, 
  42. which do I use?  Generally N-1, because it tends to make the Normal theory 
  43. formulas simpler, e.g. an F test based on the ratio of two variance 
  44. estimates depends on the degrees of freedom, not the sample size.  
  45.  
  46. Make it a general rule in doing variance estimates to divide by degrees of 
  47. freedom, not sample size, and you'll find you have simpler formulas to 
  48. remember.  
  49.  
  50. Duncan Murdoch
  51. dmurdoch@mast.queensu.ca
  52.