home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #20 / NN_1992_20.iso / spool / sci / math / stat / 1822 < prev    next >
Encoding:
Internet Message Format  |  1992-09-08  |  2.9 KB

  1. Path: sparky!uunet!usc!zaphod.mps.ohio-state.edu!cis.ohio-state.edu!news.sei.cmu.edu!drycas.club.cc.cmu.edu!pitt.edu!pitt!icarus.lis.pitt.edu!ml
  2. Newsgroups: sci.math.stat
  3. Subject: Re: likelihood ratios from detection data..
  4. Message-ID: <16350@pitt.UUCP>
  5. From: ml@icarus.lis.pitt.edu (Michael Lewis)
  6. Date: 7 Sep 92 22:07:08 GMT
  7. Sender: news@cs.pitt.edu
  8. Distribution: sci
  9. Organization: University of Pittsburgh
  10. Summary: contrasting ideal observers & subjects using likelihood ratio functions
  11. Lines: 42
  12.  
  13.  
  14.      I have some data to analyze & thought someone in this group might have
  15. a good suggestion.  The data comes from an experiment comparing two displays.
  16. When the system is unfailed its output is z = .5x + .5y + n when it fails
  17. the displayed output z_i = z_i-1 + n.  x and y are displayed inputs which are
  18. driven in a random walk by a zero mean gaussian disturbance.  The noise is
  19. also gaussian. Failures are introduced randomly with a fixed probability over
  20. each half second interval.  The subject's task is to monitor the display and 
  21. press a button when she believes the process has "failed".
  22.      The problem is a typical signal detection one.
  23. I want to reference subjects' performance to various ideal observers which
  24. attend to particular features of the display.  The "ideal" ideal observer,
  25. for example, would be a Wald observer with memory.  My problem involves dealing
  26. with subjects' response biases.  I would like to find some measure of agreement
  27. between a subject & observer which does not "overly" penalize the subject
  28. for choice of cutoff.  One way of looking at the situation is that over the
  29. course of the experiment the subject's responses estimate the
  30. likelihood ratio function being used.  ^
  31.                                      p(F|X)      p(F|X)
  32.                                      ------  vs. ------
  33.                                        ^_          _
  34.                                      p(F |X)     p(F|X)
  35.  
  36. The subject's "error" wrt observer is then something like the integral 
  37. of the difference between these functions from the first to last cutoff.  
  38. Although this measure seems intuitively to do the right sort of thing, I can't 
  39. seem to figure out the cover story that justifies it.. (distortion in 
  40. apprehending X with fixed criterion and/or accurate X with shifting criterion)..
  41. It really seems to be a measure of scaling departures for the distortion or 
  42. criterion shifts..
  43.  
  44. My alternative is to pick fixed cutoffs so I get
  45. a reference to a Neyman-Pearson observer with the same alpha (punishes the
  46. subject's variability in cutoff) or a Max-P(C) observer (punishes for distance
  47. from the saddlepoint) neither of which quite capture what I want to measure..
  48. which is: does one display provide subjects with more accurate evidence of
  49. failures than the other...  
  50.  
  51. If any of this sounds familiar.. particularly estimating likelihood ratio
  52. functions from detection data please point me in the right direction...
  53.  
  54.             -Mike Lewis  ml@icarus.lis.pitt.edu
  55.