home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #20 / NN_1992_20.iso / spool / sci / math / stat / 1889 < prev    next >
Encoding:
Internet Message Format  |  1992-09-15  |  1.9 KB
  1. Path: sparky!uunet!wupost!sdd.hp.com!uakari.primate.wisc.edu!usenet.coe.montana.edu!news.u.washington.edu!uw-beaver!Teknowledge.COM!unix!nova.sarnoff.com!vhyaduck!jms
  2. From: jms@vision.sarnoff.com (Jerry Shapiro x2420)
  3. Newsgroups: sci.math.stat
  4. Subject: Re: min ave self-information inference
  5. Message-ID: <1992Sep15.210221.22838@nova.sarnoff.com>
  6. Date: 15 Sep 92 21:02:21 GMT
  7. References: <POPAT.92Sep14212000@image.mit.edu>
  8. Sender: news@nova.sarnoff.com
  9. Reply-To: jms@vision.sarnoff.com
  10. Organization: David Sarnoff Research Center
  11. Lines: 36
  12. Nntp-Posting-Host: vhyaduck
  13.  
  14. In article 92Sep14212000@image.mit.edu, popat@image.mit.edu (Kris Popat) writes:
  15. >
  16. >Suppose you have a parametric model for the probability density
  17. >function of a discrete random variable, and a set of observed values.
  18. >Call the model pdf p(x), and call the observed values x_1,...x_N.  The
  19. >goal is to find parameter values that make the model pdf p(x_i)
  20. >approximate the "true" but unknown pdf q(x_i).
  21. >
  22. >One way to fit the model to the data would be to find parameter values
  23. >that minimize
  24. >
  25. >                    -sum(log p(x_i))
  26. >
  27. >i.e., to minimize the total self-information of the observed points
  28. >with respect to the model.  This "works" because for a given true pdf
  29. >q(x_i) and for all valid model pdfs p(x_i),
  30. >
  31. >         E[-log(p(x_i))] = -sum( q(x_i) log p(x_i) )
  32. >
  33. >is minimized when p = q.
  34. >
  35. >I'd like a pointer to any papers that discuss this or similar
  36. >approaches to parametric pdf fitting.
  37. >
  38. >Kris Popat
  39. >MIT Rm E15-391  Cambridge, MA  02139
  40.  
  41.  
  42. This is the best approach. You're actually minimizing the "sample" relative
  43. entropy D(p||q) which is has many properties of a distance metric between pdf's.
  44. D(p||q) is defined as sum(p(x) log[p(x)/q(x)]). See Cover's information theory text.
  45.  
  46. For example for a two-sided Laplacian density q(x;A) = 0.5Aexp(-A|x|),
  47. you end up with A = 1/E[|x|], where E[|x|] is the sample mean of the absolute values.
  48.  
  49. Jerry Shapiro
  50.