home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / comp / compress / 2772 < prev    next >
Encoding:
Text File  |  1992-07-22  |  1.3 KB  |  34 lines
  1. Newsgroups: comp.compression
  2. Path: sparky!uunet!gatech!usenet.ins.cwru.edu!po.CWRU.Edu!daf10
  3. From: daf10@po.CWRU.Edu (David A. Ferrance)
  4. Subject: entropy
  5. Message-ID: <1992Jul22.144104.27576@usenet.ins.cwru.edu>
  6. Sender: news@usenet.ins.cwru.edu
  7. Nntp-Posting-Host: cwns5.ins.cwru.edu
  8. Reply-To: daf10@po.CWRU.Edu (David A. Ferrance)
  9. Organization: Case Western Reserve University, Cleveland, OH (USA)
  10. Date: Wed, 22 Jul 92 14:41:04 GMT
  11. Lines:       22
  12.  
  13.  
  14. Well, here it is, another question about entropy.
  15.  
  16. Right now I compute the entropy of a file by summing the probability of
  17. each character ocurring times the log (base2) of the reciprocal of that
  18. probability.  This gives me the theoretical minimum number of bits
  19. needed to represent each character, on average (from what I understand).
  20. What I would like to know is, does this number only work for first order
  21. (1-ary?) compression techniques or does it serve also as a limit for
  22. more complex techniques?  If it does not serve for the more complex
  23. techniques (and I suspect it doesn't), is there any way to determine
  24. entropies for different orders?
  25.  
  26. Forgive me if I destroy any terminology; this is a new and fun area for
  27. me.
  28.  
  29.             Dave
  30. -- 
  31. David Ferrance       Sigma Nu Delta Alpha 1061     daf10@po.cwru.edu
  32.  
  33.          And on the seventh day, He exited from append mode.
  34.