home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / sci / math / stat / 1568 < prev    next >
Encoding:
Internet Message Format  |  1992-07-30  |  1.8 KB
  1. Xref: sparky sci.math.stat:1568 comp.ai.neural-nets:3027
  2. Path: sparky!uunet!zaphod.mps.ohio-state.edu!uakari.primate.wisc.edu!ames!agate!boulder!boulder!batra
  3. From: batra@boulder.Colorado.EDU (sajeev batra)
  4. Newsgroups: sci.math.stat,comp.ai.neural-nets
  5. Subject: question on scoring prediction accuracy of a classifier
  6. Message-ID: <batra.712560431@beagle>
  7. Date: 31 Jul 92 05:27:11 GMT
  8. Sender: news@colorado.edu (The Daily Planet)
  9. Organization: University of Colorado, Boulder
  10. Lines: 34
  11. Nntp-Posting-Host: beagle.colorado.edu
  12.  
  13.  
  14.  
  15.  
  16. Suppose I have a classifier that classifies objects into one of n 
  17. classes (populations).  I train the classifier with a "train set."  And to 
  18. test the prediction accuracy of the classifier I predict on a "predict set."
  19. I am wondering: what are some of the better ways to score the
  20. prediction accuracy of my classifier?  All classifications & 
  21. misclassifications have equal cost. 
  22.  
  23. Here the ways that I'm aware of:
  24.  
  25. 1) (c1 + c2 + ... + cn)/total no. of predictions made
  26.    where cn is the no. of correct predictions made in class n
  27.  
  28.  
  29. 2) sample correlation coefficient which gives the correlation between
  30.    the prediction and the actual.  the coefficient is always between
  31.    -1 and +1.  There will be a coefficient for each class.  this
  32.    coefficient takes into account type 1 and type 2 errors.
  33.  
  34.  
  35. What other popular ways are there to score the prediction accuracy???  
  36. I think I saw someone using the mutual information fuction between the 
  37. predicted and the actual to score the prediction accuracy.  Would this work? 
  38.  
  39. I would like to know other ways and some of the problems associated with 
  40. them, including the ones I've listed above.  Also, I'm not sure when I can 
  41. assume a certain distribution in my n populations (for example, a normal 
  42. dist.)?          
  43.  
  44. ---sb
  45.  
  46.  
  47.