home *** CD-ROM | disk | FTP | other *** search
/ ftp.umcs.maine.edu / 2015-02-07.ftp.umcs.maine.edu.tar / ftp.umcs.maine.edu / pub / WISR / wisr6 / proceedings / ascii / jackowitz.ascii < prev    next >
Text File  |  1993-10-19  |  8KB  |  167 lines
  1.  
  2.  
  3.  
  4.  
  5. Simple,  Unobtrusive  Metrics  For  ASSET's  Software  Reuse  Library
  6.  
  7.  
  8.  
  9.                                                   Larry A. Jacowitz
  10.  
  11.  
  12.  
  13.                                         IBM Federal Systems Company
  14.  
  15.                                                 2611 Cranberry Sw.
  16.  
  17.                                              Morgantown, WV 26505
  18.  
  19.                                                  Tel:  (304) 594-1762
  20.  
  21.                                        Email: jacowitz@source.asset.com
  22.  
  23.  
  24.  
  25.                                                      David Irving
  26.  
  27.  
  28.  
  29.                                                           SAIC
  30.  
  31.                                                  2611 Cranb erry Sq.
  32.  
  33.                                              Morgantown, WV 26505
  34.  
  35.                                                  Tel:  (304) 594-1762
  36.  
  37.                                        Email:  irvingd@source.asset.com
  38.  
  39.  
  40.  
  41.                                                         Abstract
  42.  
  43.  
  44.           Current experience at ASSET provides insight into the way users navigate through a software
  45.       reuse library. Simple, unobtrusive metrics are described for measuring library effectiveness and
  46.       library efficiency. These metrics are used to analyze typical library usage.
  47.  
  48.  
  49.       Keywords: metrics, reuse libraries, networks
  50.  
  51.  
  52.  
  53.                                                       Jackowitz- 1
  54.  
  55.  
  56. 1      Background
  57.  
  58.  
  59.  
  60. The evolution of a network of collaborating software reuse libraries implies the need for a common
  61. set of metrics relating to user fulfilment. These libraries include domain-specific libraries at several
  62. levels (project,  department,  enterprise) and non-domain specific (or reference) libraries.  A wide
  63. range  of  subject  matter,  user  communities,  and  library  mechanisms  are  represented.   Yet  it is
  64. highly desirable to seek a common set of metrics to be applied across the board. Such a common
  65. set  will  necessarily  be  a  "lowest  common  denominator" and  simplistic  in  nature.  However, this
  66. simplicity is advantageous because it enables one to easily gauge how well each library is serving
  67. its users. It is general practice to employ user surveys to provide this measure. It is obvious that
  68. this may be perceived as highly intrusive to the user and it is labor intensive for the library staff.
  69. Response rates are less than 100Therefore, it is desirable to have an alternative approach, such as
  70. a preliminary assessment made by tracking the user's search and retrieval path within the library
  71. mechanism without contacting the user. The results of analyses to date at ASSET show promise
  72. for this approach.
  73.  
  74.  
  75.  
  76. 2      Position
  77.  
  78.  
  79.  
  80. When a user enters his software reuse library of choice he will follow a typical sequence of commands
  81. which will permit him to identify the parameters of his problem,  perform a search of the library,
  82. browse candidate assets, and extractthose which meet his criteria. By tracking the user's actions in
  83. this process one can synthesize the user's objective and determine the degree of success in achieving
  84. that objective. Two indicators are sought: first, the effectiveness of the library inmeeting the user's
  85. requirements; second, the efficiency with which the library does this.  Define an extraction ratio,
  86. ER =  number  of  user  extractions  per  search; this  is  an  indicator  of  the  overall  effectiveness  of
  87. the library. Next, define an extraction index, EI = ratio of the number of user extractions to the
  88. number of search candidates found by the library mechanism; this is an indicator of the efficiency
  89. with  which  the  mechanism  finds  candidates.  There  are  other  possible  intermediate  parameters
  90. which can add insight to the process, notably the ratio of browses to searches or extractions.
  91.  
  92.  
  93. When this approach was applied to ASSET's user activity over a four-month period certain modal-
  94. ities became apparent. The typical user search is an iterative process;the user may be unsuccessful
  95. on the first try in matching his needs with the search mechanism schema.  In this case the typical
  96. user will converge on a matching path within two or three tries.  It has b een noted that this same
  97. user learns from the experience and converges more quickly on subsequent searches. An often cho-
  98. sen alternative approach is to scan the catalog headings and call out specific candidates by their
  99. unique library identification number. It is certainly true that the extraction index and extraction
  100. ratio are a function of the classification scheme, ease of use, search mechanism peculiarities, extent
  101. of  the  library's  holdings,  and  so  forth.  However,  the simple  metric  technique  has  merit  for  the
  102. reasons stated.
  103.  
  104.  
  105. Analysis of the cumululative statistics of ASSETusage since inception of this approach shows some
  106. expected, but some unexpected results.  First, the ER, thenumber of extractions per search on a
  107. monthly basis has been quite consistently within a band of 0.9 to 1.5, with a cumulative average of
  108. 1.3.  So users have been finding somewhat more than one component per search.  Second, EI, the
  109. ratio of extractions to candidates turned up by the search,  varies over a wide range.  Results are
  110. erratic and not statistically significant. This is because at one extreme users may invoke the entire
  111. catalog (hundreds of candidates) just to browse through it;  at the other extremea user extracts
  112.  
  113.  
  114.  
  115.                                                        Jackowitz- 2
  116.  
  117.  
  118. a component each time he calls for a known component by identification number. Third, we have
  119. found that the ratio of searches:browses:extractions tends to be stable from month to month about
  120. roughly 1:3:1
  121.  
  122.  
  123.  
  124. 3      Comparison
  125.  
  126.  
  127.  
  128. Traditionally user surveys are the only means of determining the effectiveness of a library to meet
  129. user needs.  This method is time- consuming for the library staff and obtrusive to the user.  Often
  130. low response rates pertain. An indirect approach is desirable.
  131.  
  132.  
  133. The  approach  described  in  this  paper  offers  an  alternative  which  is  simple  and  unobtrusive.  In
  134. addition to providing information about the users' functional requirements, this technique is useful
  135. in evaluating the ease of use of the library, the effectiveness of the classification scheme, etc.
  136.  
  137.  
  138. This  technique  should  be  extended  to  other  software  reuse  libraries.   Comparative  analysis  of
  139. different, heterogeneous libraries may provide ideas for improving the state of practice in software
  140. reuse libraries.
  141.  
  142.  
  143.  
  144. 4      Biography
  145.  
  146.  
  147.  
  148. Larry Jacowitz is the ASSET Director for IBM's Federal Systems Company, the prime contractor
  149. for ASSET. The ASSET facility is located in Morgantown, WV, and is implemented under ARPA's
  150. STARS program.  Dr.  Jacowitz previously held management positions in a variety of federal civil
  151. programs,  including DOE, Dept.  of Agriculture and Immigration &Naturalization Service,  and
  152. NASA's space shuttle and space station programs at locations in Gaithersburg, MD, Downey, CA,
  153. Owego, NY, and Huntsville, AL. Heholds BS, MS and PhD. degrees in engineering from MIT and
  154. OSU.
  155.  
  156.  
  157. David Irving is a Senior Software Engineer at ASSET. He is responsible for the maintenance and
  158. improvement of the software reuse library mechanism.  He also developed the tracking technique
  159. described in this paper.  Mr.  Irving's previous assignments at SAIC have b een in the area of Ada
  160. code development and IV&V on projects for DOE and missile projects for the Navy.  Mr.  Irving
  161. holds a BA degree in mathematics from Univ. of Pennsylvania and M.S. in physics from Univ.  of
  162. Tennessee.:
  163.  
  164.  
  165.  
  166.                                                        Jackowitz- 3
  167.