home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / sci / math / stat / 1712 < prev    next >
Encoding:
Internet Message Format  |  1992-08-20  |  2.8 KB
  1. Path: sparky!uunet!wupost!sdd.hp.com!uakari.primate.wisc.edu!doug.cae.wisc.edu!umn.edu!thompson
  2. From: thompson@atlas.socsci.umn.edu (T. Scott Thompson)
  3. Newsgroups: sci.math.stat
  4. Subject: Degrees of Freedom  Was: Re: Standard Deviation.
  5. Message-ID: <thompson.714338397@kiyotaki.econ.umn.edu>
  6. Date: 20 Aug 92 19:19:57 GMT
  7. References: <1992Aug14.172833.11844@cbfsb.cb.att.com> <c48nbgtf@csv.warwick.ac.uk> <WVENABLE.92Aug18180002@algona.stats.adelaide.edu.au> <1992Aug18.214711.6657@mailhost.ocs.mq.edu.au> <l95552INNa4h@roundup.crhc.uiuc.edu>
  8. Sender: news@news2.cis.umn.edu (Usenet News Administration)
  9. Reply-To: thompson@atlas.socsci.umn.edu
  10. Organization: Economics Dept., University of Minnesota
  11. Lines: 47
  12. Nntp-Posting-Host: kiyotaki.econ.umn.edu
  13.  
  14. hougen@uirvlh.csl.uiuc.edu (Darrell Roy Hougen) writes:
  15.  
  16. >Before people get too confused, just let me add my two cents worth.
  17. >The number of "degrees of freedom" in a problem represents the amount
  18. >of information in the data and is generally equal to the number of
  19. >samples.  Intuitively, as statistics are computed using the data, the
  20. >independent information in the data is gradually "used up" and the
  21. >number of degrees of freedom is reduced.  The information is not
  22. >actually lost, but the statistics that have been computed contain some
  23. >of the information so that the amount of independent information left
  24. >in the data is reduced.
  25.  
  26. >[example of sample mean deleted]
  27.  
  28. I have never been very satisfied with this notion of "degrees of
  29. freedom" being equivalent to "pieces of independent information".  The
  30. correspondence works well enough for linear models and independent
  31. observations, as in the example given, but there are alternative
  32. interpretations (in terms of the dimension of orthogonal subspaces)
  33. that do just as well in this setting.
  34.  
  35. To put out a concrete example that illustrates the nature of my
  36. qualms, consider the following.  Suppose my data consist of a single
  37. number, say X.  Suppose that I am given two pieces of information
  38. about X (but not X itself):
  39.  
  40.            (1)  I can observe Y := X**2
  41.            (2)  I can observe Z := {  1 if X > 0
  42.                                    { -1    otherwise
  43.  
  44. How many "pieces of information" do I now have?  Clearly I can recover
  45. X from Y and Z by the formula X = Z * <positive square root of Y>, but
  46. neither Y nor Z alone suffices (excluding the special case where 
  47. X = Y = 0).  Thus Y and Z must each "use up" (at least) one degree of
  48. freedom in the usual accounting.  Thus I must conclude that
  49.  
  50.        <degrees of freedom in X> .GE. 1 + 1 = 2.
  51.  
  52. For obvious reasons I do not find this to be an acceptable answer!
  53. What do you think?  What am I missing?  Is there any meaningful
  54. interpretation to "degrees of freedom" in a general theory of
  55. inference?
  56.  
  57.  
  58. T. Scott Thompson               thompson@atlas.socsci.umn.edu
  59. Department of Economics
  60. University of Minnesota
  61.