home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #19 / NN_1992_19.iso / spool / sci / math / stat / 1768 < prev    next >
Encoding:
Internet Message Format  |  1992-08-29  |  1.7 KB
  1. Path: sparky!uunet!usc!sdd.hp.com!zaphod.mps.ohio-state.edu!uakari.primate.wisc.edu!ames!pacbell.com!pacbell!osc!jgk
  2. From: jgk@osc.COM (Joe Keane)
  3. Newsgroups: sci.math.stat
  4. Subject: Re: Degrees of Freedom  Was: Re: Standard Deviation.
  5. Summary: It's OK.
  6. Keywords: information
  7. Message-ID: <5713@osc.COM>
  8. Date: 28 Aug 92 05:03:07 GMT
  9. References: <l95552INNa4h@roundup.crhc. <thompson.714338397@kiyotaki.econ.umn.edu> <1992Aug21.000314.2367@newshost.anu.edu.au>
  10. Reply-To: Joe Keane <jgk@osc.com>
  11. Organization: Versant Object Technology, Menlo Park, CA
  12. Lines: 25
  13. Weather: sunny, high 83, low 56
  14. Moon-Phase: new
  15.  
  16. In article <thompson.714338397@kiyotaki.econ.umn.edu>
  17. thompson@atlas.socsci.umn.edu (T. Scott Thompson) writes:
  18. >To put out a concrete example that illustrates the nature of my
  19. >qualms, consider the following.  Suppose my data consist of a single
  20. >number, say X.  Suppose that I am given two pieces of information
  21. >about X (but not X itself):
  22. >
  23. >           (1)  I can observe Y := X**2
  24. >           (2)  I can observe Z := {  1 if X > 0
  25. >                                   { -1    otherwise
  26.  
  27. It seems to me that the concept of degrees of freedom is closely related to
  28. that of dimension.  Given that, i would say that X and Y have one degree of
  29. freedom, and Z has *no* degrees of freedom, because it's discrete.
  30.  
  31. On the other hand, it's often more useful to talk about bits of information.
  32. If X is symmetrically distributed, Z gives you one bit of information.  If we
  33. observe Y to some accuracy, we can divide that accuracy by dY/dX to get the
  34. accuracy of X.  Then we compare that with our previous accuracy of X to see
  35. how much information we have gained.  Believe it or not, this actually works
  36. out in the end.
  37.  
  38. --
  39. Joe Keane, amateur mathematician
  40. jgk@osc.com (uunet!amdcad!osc!jgk)
  41.