home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #16 / NN_1992_16.iso / spool / bit / listserv / statl / 1202 < prev    next >
Encoding:
Text File  |  1992-07-27  |  2.7 KB  |  67 lines
  1. Comments: Gated by NETNEWS@AUVM.AMERICAN.EDU
  2. Path: sparky!uunet!paladin.american.edu!auvm!KEAN.UCS.MUN.CA!PGILL
  3. Message-ID: <0095E338.2ECF50A0.21242@Leif.ucs.mun.ca>
  4. Newsgroups: bit.listserv.stat-l
  5. Date:         Mon, 27 Jul 1992 11:53:16 -0400
  6. Reply-To:     pgill@kean.ucs.mun.ca
  7. Sender:       "STATISTICAL CONSULTING" <STAT-L@MCGILL1.BITNET>
  8. From:         pgill@KEAN.UCS.MUN.CA
  9. Subject:      Is it good agreement ?
  10. Lines: 55
  11.  
  12.    A researcher has developed a questionaire containing 25 questions.
  13. Each question refers to an action in a given situation.  The
  14. respondent would answer whether the action is appropriate (1)
  15. or not (0).  Before sending the questionaire to the field, the
  16. researcher wanted to test the questionaire on a panel of 5 experts
  17. including herself.  The following are the responses of the experts,
  18. expert 1 being our researcher :
  19.  
  20. Expert \        R E S P O N S E S  TO  Q U E S T I O N S
  21. _____________________________________________________________________
  22.  
  23.   1        0 0 1 0 1  1 0 1 1 0  1 1 0 0 1  1 0 1 0 0  0 1 1 0 1
  24.  
  25.   2        0 0 1 0 1  1 1 1 1 0  0 1 0 0 1  1 0 1 0 0  0 1 1 0 1
  26.  
  27.   3        0 0 1 1 1  1 0 1 1 0  1 1 0 0 0  1 1 1 0 0  0 1 1 0 1
  28.  
  29.   4        0 0 1 0 1  1 0 0 1 0  1 1 0 0 1  1 0 1 0 0  0 1 1 0 1
  30.  
  31.   5        0 0 1 0 1  1 0 1 1 0  1 1 0 0 1  1 0 1 0 0  0 1 1 0 1
  32. _____________________________________________________________________
  33.  
  34.    The following table the number of times (out of max 25) a pair of
  35. experts agree on the appropriateness of the action :
  36.  
  37.   EXPERT          1       2      3      4     5
  38.   --------------------------------------------------------
  39.     1             -      23     22     24     25
  40.     2                     -     20     21     23
  41.     3                            -     21     22
  42.     4                                   -     24
  43.   --------------------------------------------------------
  44.  
  45.    It is reasonable to assume
  46.    Prob{ two given experts agree on a given question by chance} = 0.5.
  47.    The Binomial probablity of more than or equal to 20 (pure chance)
  48.    agreements between two given experts is (approximatley) 0.0026.
  49.  
  50.   QUESTION 1. Does there seem to be a good agreement among the five
  51.   experts ?  Moreover, all five experts agree 19 out of 25 times.
  52.   The Binomial probablity that all five experts agree by chance on
  53.   a given question is (.5)**5 = 0.03125.  Therefore, the probablity
  54.   that all five experts agree (by pure chance) 19 or more times out
  55.   of 25 times is almost 0.
  56.  
  57.   QUESTION 2.  The researcher tried to use Cohen's kappa as an
  58.   indicator of agreement among the experts and found it to be
  59.   negative.  Is Cohen's kappa approprite for binary agreement ?
  60.  
  61.  Any comments are welcome.
  62.  
  63. P. S. Gill
  64. Dept of Maths & Stats
  65. Memorial Univ of Newfoundland
  66. St. John's   CANADA
  67.