home *** CD-ROM | disk | FTP | other *** search
/ Current Shareware 1994 January / SHAR194.ISO / educatio / nptr14.zip / TRINST.DOC < prev    next >
Text File  |  1993-08-25  |  18KB  |  393 lines

  1. ------------------------------------------------------------
  2.                           TRAINER                        
  3.        (From Passive Pupil to Self-Correcting Scholar)
  4. ------------------------------------------------------------
  5.  
  6.                            INDEX
  7.  
  8.      TRAINER  . . . . . . . . . . . . . . . . . . . . 1
  9.      Sample Answer Card . . . . . . . . . . . . . . . 2
  10.      Sample Test Instructions and Selected Answers  . 3
  11.      Short Form Item Analysis . . . . . . . . . . . . 4
  12.      Converting Raw Scores to Grades  . . . . . . . . 5
  13.      TRAINER Programs and Files . . . . . . . . . . . 6
  14.      Bibliography and Support . . . . . . . . . . . . 7
  15.  
  16. ------------------------------------------------------------
  17.  
  18. ------------------------------------------------------------
  19.                           TRAINER                        1/7
  20.        (From Passive Pupil to Self-Correcting Scholar)
  21. ------------------------------------------------------------
  22.  
  23.      TRAINER was started in 1981 to score tests by
  24. quality and quantity for underprepared college students.  
  25. The test grades needed to reward the development of: 
  26.  
  27.      1.  Good study habits (as required by an essay test). 
  28.      
  29.      2.  The sense of responsibility needed to learn at 
  30.          higher levels of thinking.  
  31.      
  32.      3.  The self-judgment required for a self-correcting 
  33.          scholar.
  34.  
  35.      The qualitative score (percent right) is the 
  36. feel-good score or the you-are-on-the-right-track score.  
  37. It indicates to what extent students know their own minds, 
  38. their self-judgment.  The combined qualitative and 
  39. quantitative score is the test grade.  
  40.  
  41.      The minimum answer sheet had to have three options:
  42.      
  43.      A.  GUESS:  The traditional guess test style, random 
  44.          guess, answer every question, that encourages the 
  45.          use of lower levels of thinking.
  46.  
  47.      B.  KNOW:  Mark only when confident the answer is
  48.          an acceptable report of what is known or
  49.          reasoned, that encourages the use of higher levels
  50.          of thinking.
  51.  
  52.      C.  Both A and B:  A concrete demonstration that each
  53.          student can voluntarily perform.  A comparison 
  54.          between the familiar, low performance pupil, and
  55.          the unfamiliar, high performance student.
  56.          (When given only the KNOW option, students 
  57.          complained, "Why can't we guess here as we do on
  58.          tests all over campus?")
  59.  
  60.     This concrete comparison was absolutely essential for
  61. students to evaluate the two test styles.  By the third hour
  62. test each semester over 90% selected only the KNOW style:
  63.          
  64.     I can spend my time on the questions I know something
  65.     about.
  66.  
  67.     It is honest, I am not forced to guess (to lie).
  68.  
  69.     I try to master what I am studying rather than 
  70.     memorize everything.
  71.      
  72.     I get better grades now with less study time.
  73.  
  74. ----------------------------------------
  75.          Sample Answer Card          2/7
  76. ----------------------------------------
  77.  
  78.   NAME _______________________________
  79.                                          
  80.   COURSE _____________________________ 
  81.                                         
  82.   I  [ ]  0  1  2  3  4  5  6  7  8  9
  83.   D  [ ]  0  1  2  3  4  5  6  7  8  9
  84.      [ ]  0  1  2  3  4  5  6  7  8  9
  85.   N  [ ]  0  1  2  3  4  5  6  7  8  9
  86.   U  [ ]  0  1  2  3  4  5  6  7  8  9
  87.   M  [ ]  0  1  2  3  4  5  6  7  8  9
  88.   B  [ ]  0  1  2  3  4  5  6  7  8  9
  89.   E  [ ]  0  1  2  3  4  5  6  7  8  9
  90.   R  [ ]  0  1  2  3  4  5  6  7  8  9
  91.                  ANSWERS
  92.    1 [A][B][C][D][E] 51 [A][B][C][D][E]
  93.    2  A  B  C  D  E  52  A  B  C  D  E 
  94.    3  A  B  C  D  E  53  A  B  C  D  E
  95.    4  A  B  C  D  E  54  A  B  C  D  E
  96.    5  A  B  C  D  E  55  A  B  C  D  E
  97.  \/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
  98.   
  99.  \/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
  100.   46  A  B  C  D  E  96  A  B  C  D  E
  101.   47  A  B  C  D  E  97  A  B  C  D  E
  102.   48  A  B  C  D  E  98  A  B  C  D  E
  103.   49  A  B  C  D  E  99  A  B  C  D  E
  104.   50  A  B  C  D  E 100  A  B  C  D  E
  105. ----------------------------------------
  106.   Based on card F-4000-9 printed by
  107.   the Clearview Printing Co. Inc.
  108.  
  109. ----------------------------------------------------------------------
  110.            Sample Test Instructions and Selected Questions *       3/7
  111. ----------------------------------------------------------------------
  112.                
  113.                GENERAL BIOLOGY 102, SECTION 1, TEST #1
  114.                      12-Jan-89          09:43 AM
  115.  
  116. VALID ANSWER CARD:  Name, Student Number and Seat Number
  117.  
  118. You have the option of (A) answering all questions (GUESSing
  119. if you do not know), (B) reporting (marking) only what you
  120. KNOW or can reason, or (C) marking both methods.
  121.  
  122. Use the left side 1-49 for (A).  Use the right side 51-99 for (B)
  123.  
  124. (A)  SCORING:   0% for self-judgment, +2 for right, 0 for wrong
  125.                    (GUESS if you do not know.)
  126.  
  127. (B)  SCORING:  50% for self-judgment, +1 for right, -1 for wrong
  128.                    (Report only if you are confident of being right.)
  129.  
  130. (C)  SCORING:  Mark (A) on the left AND (B) on the right side.
  131.  
  132. MARK ANSWER 50:  A) GUESSing  B) Reporting what I KNOW or can
  133.                  reason  C) Average of A and B
  134.  
  135.   4. Ponds do not freeze from the bottom up because:  A) ice has a 
  136.      greater volume than the equivalent amount of water  B) the 
  137.      specific heat of water is low  C) ice is more dense than liquid
  138.      water  D) of the high surface tension of water
  139.  
  140.   6. How is the arrangement of water molecules in ice different from
  141.      their arrangement in liquid water?  The arrangement in ice is:
  142.      A) more random and more open than that in water  B) more regular
  143.      and more open than that in water  C) more regular and more
  144.      compact than that in water  D) more random and more compact than
  145.      that in water 
  146.      
  147.  49. Next test in ( ) weeks.  A) 1  B) 2  C) 3  D) Instructor's choice
  148.  
  149. ----------------------------------------------------------------------
  150.  
  151.      Classes tend to select two weeks.  Concrete level of thinking 
  152. pupils do not like weekly tests as they require "too much studying" 
  153. and tri-weekly tests require "too much to study".
  154.  
  155.      Informational questions can be inserted at any point in the test.
  156. They are only tabulated.  They have no effect on scores.
  157.  
  158.      Normally a 50 minute "hour" test is limited to 49 or fewer graded
  159. questions.  There must be time to think, if thinking at higher levels
  160. of thinking is to apply.  If more questions are needed, the program 
  161. will accept a card marked with up to 99 answers with position 100 
  162. marked A for GUESS or B for KNOW.
  163.  
  164. * Test Bank by A. C. Monroe, D. J. Fox, and J. J. Cockerill, 1985,
  165.   Worth Publishers, Inc.
  166.  
  167. ----------------------------------------------------------------------
  168.                          Short Form Item Analysis                  4/7
  169. ----------------------------------------------------------------------
  170.                 1...5...10 ....5...20 ....5...30 ....5...40 ....5...50
  171. ANSWER KEY:     CBBAABABCC CBCBCDCAAB ACEEBCAEBA ADBDCBADDE ADBDDCDD  
  172. ITEM WEIGHTS:   1111111111 1111111111 1111111111 1111111111 111111110 
  173. DIFFICULTY2:    5 4C C 35  5C664           5          a          b 0
  174. DISCRIMINATION:       T       T  T  1 1551  111   1  1 T111 11TT1 1
  175. ----------------------------------------------------------------------
  176.  
  177. DIFFICULTY2      (Questions that failed to perform well.)  
  178.  
  179.              A question that received a total performance value of 
  180.              less than 75% (the sum of the difficulty, K x E, value 
  181.              for those who answered and the difficulty, Item Score, 
  182.              value for the entire class).
  183.  
  184. Upper Case = the most popular wrong answer with more than half of the
  185.              class marking.  These items need to be reviewed in class.
  186.              
  187.              In the above example, questions 4 and 6, usually fail to
  188.              perform well because pupils associate DENSE and COMPACT
  189.              with HARD even though they know ice floats on water.
  190.  
  191. Lower case = most popular wrong answer with less than half of the 
  192.              class marking. 
  193.  
  194. Number X 10 = percent of the class marking when the right answer is 
  195.               the most popular. 
  196.  
  197.              No one answered item 48.  There were 15 items of 
  198.              questionable validity among the 48 scorable items.  The
  199.              TRGRADES program can assign grades on the basis of the 
  200.              33 (48 - 15) questions that make up the true test out of
  201.              the 48 items presented to the class, unless the 
  202.              instructor has some justification for doing otherwise.
  203.                
  204.              No test had a set of questions that all performed well 
  205.              during an eight year period.  Lacking a functional 
  206.              item analysis for each test, most faculty members will 
  207.              not admit that a number of questions on each test are not
  208.              valid for each class.  Testing services use expert 
  209.              inference based on multiple tests to determine validity.
  210.              This design fails to address the instructional validity 
  211.              of items on any one test in any one class.  
  212.              
  213.              To be instructionally useful, an analysis must respond to
  214.              each class and each test.  The analysis is further 
  215.              improved when based on student reports of what they know
  216.              or can do rather than on the random guessing encouraged
  217.              by the traditional use of multiple-choice questions.
  218.              
  219. DISCRIMINATION   (Questions that differentiate between those students
  220.                   who did well on the test and who did not do well.)
  221.  
  222.              Discrimination is expressed in probabilities:  Results 
  223.              that could have happened by chance alone at or less then
  224.              1%, 5% and Ten% of the time (best, better, and good).
  225.              These questions generate most of the score distribution.
  226.  
  227. ----------------------------------------------------------------------
  228.                    Converting Raw Scores to Grades                 5/7
  229. ----------------------------------------------------------------------
  230.  
  231.     A score distribution can be changed in two ways:
  232.  
  233.     1.  Shift     Sliding the score distribution to the right or 
  234.                   left on a grade scale.
  235.  
  236.     2.  Stretch   Expanding or contracting the score distribution 
  237.                   on a grade scale.
  238.  
  239.     TRGRADES permits an instructor to repeatedly modify the score 
  240. distribution until the desired grade distribution is obtained.  The
  241. validity of the modifications is related to the way they are done.
  242.  
  243.     1.  Norm-        The weight of all "bad" items can be used
  244.         Referenced   (1/3 shift and 2/3 stretch for KNOW tests).
  245.                      This tends to produce a grade distribution
  246.        (Automatic)   similar to the normal curve with the 
  247.                      exception of a few students receiving scores
  248.                      of over 100%.  These are the students who
  249.                      answered correctly more items than the class,
  250.                      as a whole, determined were valid.  This system
  251.                      rewards outstanding performance at no penalty
  252.                      to others in the class (almost the reverse of
  253.                      curving guess-test scores).
  254.  
  255.     2.  Criterion-   "Bad" items are inspected and then either  
  256.         Referenced   accepted as bad or considered items that the
  257.                      class is held responsible for within the
  258.                      instructional system (lecture, reading assigment,
  259.                      laboratory, home work, projects, etc.).  These
  260.                      items need to be discussed with the class.
  261.  
  262.     3.  Inspection   About any favorite grade distribution can be 
  263.                      obtained by a combination of shift and stretch.
  264.  
  265.     Option 2 is the most valid use of the program.  Using the short
  266. form item analysis and a copy of the test, a determination can be
  267. made in about 10 minutes on a 48 question test.
  268.  
  269.     The program also removes two common faculty worries:
  270.        
  271.     1.  The test will be too hard or too easy.  There is no need to 
  272.         attempt the feat of selecting questions with the goal of
  273.         obtaining a raw score distribution that will also be the
  274.         grade distribution.
  275.  
  276.     2.  Bad questions that will require adjusting scores.  This system
  277.         actually needs a few such items just to keep students using
  278.         higher levels of thinking.  The idea that all questions are 
  279.         equally valid for each student and for each class to answer is 
  280.         an academic delusion.  Bad items will always be there, in 
  281.         part, due to the missmatch of student, teacher, and evaluator 
  282.         operating at different levels of thinking.  There is no need 
  283.         to intentionally create them.
  284.  
  285. ----------------------------------------------------------------------
  286.                        TRAINER Programs and Files                  6/7
  287. ----------------------------------------------------------------------
  288.  
  289. PROGRAMS:  TR           main menu
  290.            TRAINER      scores for quality and quantity 
  291.            TRGRADES     converts raw scores to grades  
  292.            TRREF        referees independent marking
  293.            TRERROR      corrects card reader errors
  294.            BRT71EFR     PDS BASIC run-time module 7.1 
  295.  
  296. FILES:     TRAINER
  297.              Input:     Answer Data File, positions 1-9 = I.D. field
  298.                                           positions 11-100 = answers
  299.  
  300.                                     (See TRSAMPLE.DOC for an example)
  301.       
  302.              Output:    PRINT   .FIL:  Individual score slips
  303.                                        Ranked scores
  304.                                        Histogram
  305.                                        Class plot (quality & quantity)
  306.                                        Item analysis
  307.       
  308.                         GUESSCOR.FIL:  GUESS test scores
  309.                         KNOWSCOR.FIL:  KNOW test scores
  310.  
  311.           TRGRADES
  312.             Input:      GUESSCOR.FIL and/or KNOWSCOR.FIL
  313.  
  314.             Output:     GRADES  .FIL
  315.  
  316.           TRREF
  317.             Input:      Answer Data File
  318.  
  319.             Output:     BARGUESS.FIL  Answer bar graphs that
  320.                         BARKNOW .FIL  supplement the item analysis.
  321.  
  322.                         SIMGUESS.FIL  Similarity check.
  323.                         SIMKNOW .FIL
  324.  
  325.                         CONGUESS.FIL  Uniqueness check and collation
  326.                         CONKNOW .FIL  of similarity and uniqueness to
  327.                                       confirm independent marking.
  328.  
  329. INFORMATION FILES:      TRSAMPLE.DOC  Set of 37 answer cards.
  330.                         TRINST  .DOC  This instruction file.
  331.                         WARRANTY.DOC  Warranty and distribution.
  332.                         REGISTER.DOC  Registration of use.
  333.  
  334.      File names are designed to allow one DELETE *.FIL command to 
  335. remove all temporary files from the directory.  All files to be saved
  336. must be renamed with a different extension than .FIL.
  337.  
  338.      Also see README.DOC and UPDATE.DOC.
  339.  
  340. ------------------------------------------------------------
  341.                   BIBLIOGRAPHY and SUPPORT               7/7
  342. ------------------------------------------------------------
  343.                                                             
  344. Hart, Richard A.  1981.  Evaluating and rewarding student
  345.     initiative and judgement or an alternative to "sitting
  346.     through" a course if you did not test out.  Pages 75-76
  347.     in Directory of Teaching Innovations in Biology.
  348.     Meeth, L. R. and Dean S. Gregory, Ed.  Studies in
  349.     Higher Education:Arlington, Virginia.  252 pages.  
  350.  
  351. Hart, Richard and Kenneth Minter.  1985.  Using a
  352.     computer to manage typical classroom problems.
  353.     National Science Teachers Association Annual Meeting,
  354.     Cincinnati, Ohio  18-21 April.
  355.  
  356. Minter, Kenneth and Richard Hart.  1986.  Essay testing
  357.     using multiple choice questions.  Missouri Academy of
  358.     Science Annual Meeting, Warrensburg, MO  25-26 April.
  359.  
  360. Hart, Richard and Kenneth Minter.  1988. Diagnostic
  361.     Testing Using Multi-Choice and Matching Questions.
  362.     National Science Teachers Association Annual Meeting,
  363.     St. Louis, MO  7-10 April.
  364.  
  365. Minter, Kenneth and Richard Hart.  1989.  Student Choice
  366.     in Computer Graded Tests.  National Science Teachers
  367.     Association Annual Meeting, Seattle, Washington
  368.     6-9 April.
  369.  
  370. Hart, Richard and Kenneth Minter.  1991.  Student Choice
  371.     in Multiple-Choice Testing.  National Science Teachers
  372.     Association Annual Meeting, Houston, Texas
  373.     27-30 March.
  374.  
  375. ------------------------------------------------------------
  376.  
  377.     Program support is available from Nine-Patch Software,
  378. 315 South Alco Ave., Maryville, MO 64468-2033 for registered
  379. users. (Else include a stamped and self-addressed envelope.)
  380.  
  381.     Phone 816-582-8589     CIS 71222,3565
  382.  
  383.     Assistance in adapting higher levels of thinking to
  384. existing instructional programs is available.  Of interest 
  385. are student and teacher workshops and demonstrations in 
  386. which the participants experience the concepts as well as  
  387. learn about them.  
  388.  
  389.     Richard A. Hart, Ph.D.
  390.     315 South Alco Avenue, Maryville, MO 64468-2033
  391. ------------------------------------------------------------
  392.  
  393.