home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #20 / NN_1992_20.iso / spool / sci / math / stat / 1870 < prev    next >
Encoding:
Internet Message Format  |  1992-09-14  |  1.2 KB
  1. Path: sparky!uunet!dtix!darwin.sura.net!wupost!micro-heart-of-gold.mit.edu!news.media.mit.edu!news.media.mit.edu!popat
  2. From: popat@image.mit.edu (Kris Popat)
  3. Newsgroups: sci.math.stat
  4. Subject: min ave self-information inference
  5. Message-ID: <POPAT.92Sep14212000@image.mit.edu>
  6. Date: 15 Sep 92 02:20:00 GMT
  7. Sender: news@news.media.mit.edu (USENET News System)
  8. Organization: MIT Advanced Television Research Program
  9. Lines: 25
  10.  
  11.  
  12. Suppose you have a parametric model for the probability density
  13. function of a discrete random variable, and a set of observed values.
  14. Call the model pdf p(x), and call the observed values x_1,...x_N.  The
  15. goal is to find parameter values that make the model pdf p(x_i)
  16. approximate the "true" but unknown pdf q(x_i).
  17.  
  18. One way to fit the model to the data would be to find parameter values
  19. that minimize
  20.  
  21.                     -sum(log p(x_i))
  22.  
  23. i.e., to minimize the total self-information of the observed points
  24. with respect to the model.  This "works" because for a given true pdf
  25. q(x_i) and for all valid model pdfs p(x_i),
  26.  
  27.          E[-log(p(x_i))] = -sum( q(x_i) log p(x_i) )
  28.  
  29. is minimized when p = q.
  30.  
  31. I'd like a pointer to any papers that discuss this or similar
  32. approaches to parametric pdf fitting.
  33.  
  34. Kris Popat
  35. MIT Rm E15-391  Cambridge, MA  02139
  36.