home *** CD-ROM | disk | FTP | other *** search
/ Network Support Encyclopedia 15 / novell-nsepro-1992-vol15.iso / download / adaptv.txt < prev    next >
Text File  |  1991-11-06  |  6KB  |  110 lines

  1. Notice:  Adaptive Testing
  2.  
  3. To all CNE and CNI certification candidates:
  4.  
  5. In November 1991, the Novell Testing Program will begin using
  6. computerized adaptive testing technology.  The first two adaptive
  7. tests are the DOS/Microhardware Combined Test (50-15) and the
  8. Networking Technologies Test (50-80 and 50-81).  Eventually,
  9. adaptive testing will be used to deliver most of Novell's
  10. certification tests.  Although adaptive testing has been used by
  11. various government agencies, professional organizations and school
  12. districts for more than a decade, it is still an unfamiliar concept
  13. to most people.  This memo is intended to explain adaptive testing,
  14. point out its merits and describe how adaptive testing will affect
  15. Novell tests.
  16.  
  17. Adaptive Testing vs. Traditional Testing
  18.  
  19. Traditional paper-and-pencil or computerized tests deliver the same
  20. set of questions to every examinee, regardless of the examinee's
  21. level of knowledge or proficiency.  Your score on a traditional
  22. test depends on the number of questions you answer correctly.  If
  23. you know a great deal about a topic, you can expect to answer more
  24. questions correctly than someone who knows less.  Traditional tests
  25. have a long history and have proven very useful; nevertheless, a
  26. traditional test is not the most efficient way to measure your
  27. knowledge or proficiency.
  28.  
  29. Imagine that you are a teacher giving an oral exam to one of your
  30. students.  You might begin by asking a question of moderate
  31. difficulty.  If the student answers correctly, you follow with a
  32. more difficult question; if he or she answers incorrectly, you make
  33. the next question easier.  You might continue asking questions
  34. adapting the difficulty of subsequent questions based on the
  35. student's answers to earlier questions.  Within a short time you
  36. would probably have a good idea of the student's level of knowledge
  37. and you would not spend time asking questions you knew were too
  38. easy or too difficult.  Your judgment about the student's level of
  39. knowledge would probably not be based on the number of correct
  40. answers, but on the difficulty of the questions the student could
  41. answer correctly compared to those he or she could not.
  42.  
  43. An adaptive test works something like a good oral exam.  It begins
  44. by giving you a question of moderate difficulty.  After you
  45. respond, the test scores your response and estimates your level of
  46. ability.  It then looks for a question whose difficulty matches
  47. your presumed ability.  The test presents that question, you
  48. respond, the program scores your response and revises its estimate
  49. of your ability based on the two questions given thus far.  This
  50. process continues, with the program revising its estimate of your
  51. ability following each response.  The estimate becomes more and
  52. more accurate with each question.  The accuracy of the ability
  53. estimate is also calculated following each question.  The test
  54. concludes when a) your ability is estimated with sufficient
  55. accuracy, b) the program is at least 95 percent confident that your
  56. ability score lies somewhere above the passing score, or c) the
  57. maximum number of questions is given.
  58.  
  59. Your Adaptive Test Score
  60.  
  61. Because an adaptive tests tailors itself to your ability, it is
  62. possible that someone who is less proficient than you would answer
  63. a similar number of questions correctly.  Thus, counting the number
  64. of correct answers is not a good way to score an adaptive test. 
  65. Adaptive test scores are based on the difficulty of the questions
  66. you answer correctly and incorrectly.  In other words, the score is
  67. based on your ability, rather than simply the number of items you
  68. get right.
  69.  
  70.  
  71. Novell has adopted an ability score scale that has a minimum value
  72. of 200 and a maximum value of 800.  All test scores will fall
  73. somewhere on this scale.  For each test, a passing score will be
  74. established somewhere on the scale.  You will pass the test if your
  75. ability score is equal to or greater than the passing score.
  76.  
  77. Section Scores
  78.  
  79. In the past, Novell tests have reported the percentage of questions
  80. answered correctly from each section of the test.  This information
  81. has been useful, helping examinees understand their relative
  82. strengths and weaknesses.
  83.  
  84. Novell adaptive tests will provide section scores as well; however,
  85. section scores will be calculated differently than they are for
  86. traditional tests because lower-ability examinees often answer as
  87. many items correctly as higher-ability examinees.  When your
  88. adaptive test is finished, your final ability score will be used to
  89. estimate the number of questions you would have answered correctly,
  90. by section, if you were given all the questions in the adaptive
  91. test's item pool.  These estimated section scores, while only
  92. estimates, should still be useful.
  93.  
  94. The Advantages of Adaptive Testing
  95.  
  96. The two main advantages of adaptive testing over traditional
  97. testing are accuracy and efficiency.  Questions that are too easy
  98. or too difficult provide little information about your true
  99. ability.  By minimizing the number of such questions, adaptive
  100. testing can accurately measure your ability with fewer questions,
  101. saving you valuable time.  Adaptive tests are as accurate as longer
  102. traditional tests for people of average ability; for people of
  103. higher and lower ability, adaptive tests are usually even more
  104. accurate.
  105.  
  106. Adaptive tests not only save you time, they can also save you from
  107. the boredom or intimidation of questions that are too easy or too
  108. hard.  You should find that most of the items you receive are
  109. moderately challenging, helping to make the testing session more
  110. interesting and less stressful.