home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #1 / NN_1993_1.iso / spool / bit / listserv / csgl / 2060 < prev    next >
Encoding:
Text File  |  1993-01-06  |  2.7 KB  |  53 lines

  1. Comments: Gated by NETNEWS@AUVM.AMERICAN.EDU
  2. Path: sparky!uunet!zaphod.mps.ohio-state.edu!swrinde!gatech!paladin.american.edu!auvm!BEN.DCIEM.DND.CA!MMT
  3. Return-Path: <@VMD.CSO.UIUC.EDU:mmt@ben.dciem.dnd.ca>
  4. Message-ID: <9301060350.AA00852@ben.dciem.dnd.ca>
  5. Newsgroups: bit.listserv.csg-l
  6. Date:         Tue, 5 Jan 1993 22:50:51 EST
  7. Sender:       "Control Systems Group Network (CSGnet)" <CSG-L@UIUCVMD.BITNET>
  8. From:         Martin Taylor <mmt@BEN.DCIEM.DND.CA>
  9. Subject: Re: Why adopt a different theory?
  10. Lines: 41
  11.  
  12. [Martin Taylor 930105 22:40]
  13. (Rick Marken 920105.1800)
  14.  
  15. >Just today I was asked to help with a task at work that
  16. >involved trying to find a "reliable and valid test instrument" that could
  17. >be used to ascess some behavioral variables. Well, there is a problem;
  18. >how can PCT help solve it? First I could point out that the
  19. >tests are useless unless the reliabilities are on the order of .99. There
  20. >are no such tests and right off hand I don't know how to design them.
  21.  
  22. It seems to me that you (and Gary Cziko some weeks ago) are confounding two
  23. issues: (1) what is going on in the tested person, and (2) what is the
  24. tester controlling for.  Both of you in different ways argue that the
  25. statistical approach in the test of reliabilities less than 0.99 is
  26. pointless.  Maybe it is, when you are dealing with the tested person
  27. (though I hold my options open to disagree later).  But when you are
  28. dealing with the tester, the controlled variable may be something like
  29. "how many people exceed a criterion of success" in education or handling
  30. a complex instrument, or whatever.  Generally speaking, the reference
  31. level for this variable might be 100%, so anything that increases the
  32. proportion is an action that forms part of the tester's functioning
  33. control system.  They usually don't want to reduce the proportion of
  34. success if it is, say 90% and they were hoping for 80%, so it is only
  35. a one-sided control most of the time.
  36.  
  37. The tester may have a conflicted control system (and often does).  To get
  38. 100% passes {ay be possible, but only a great cost, and the tester also
  39. has a reference level that the cost be zero.  So the two tester control
  40. systems conflict, resulting in less than 100% pass rate of the testees
  41. and greater than zero cost for whatever they do to the testees to improve
  42. the pass rate.
  43.  
  44. All of what goes on in the tester relates to the ACTIONS of the testees,
  45. not the control systems of the testees, and it seems to me that the
  46. testers are justified in being happy that (more people survive the cancer
  47. longer| more students can read the instructions in a manual| more people
  48. are happy using the isntrument), even if the differences are measurable
  49. only statistically.  It's a question of whose control systems are you
  50. worrying about, the tester's or the testees'.
  51.  
  52. Martin
  53.