home *** CD-ROM | disk | FTP | other *** search
/ ftp.umcs.maine.edu / 2015-02-07.ftp.umcs.maine.edu.tar / ftp.umcs.maine.edu / pub / WISR / wisr6 / proceedings / ascii / davis_t.ascii < prev    next >
Text File  |  1993-10-19  |  14KB  |  330 lines
  1.  
  2.  
  3.  
  4.  
  5.          Reuse  Capability  Assessment:  Case  Study  Results
  6.  
  7.  
  8.  
  9.                                                  Ted Davis
  10.  
  11.  
  12.  
  13.                                 Software Productivity Consortium
  14.  
  15.                                                SPC Building
  16.  
  17.                                           2214 Rock Hill Road
  18.  
  19.                                        Herndon, Virginia 22070
  20.  
  21.                             Tel:  (703) 742-7335, fax:  (703) 742-7200
  22.  
  23.                                       Email: davis@software.org
  24.  
  25.  
  26.  
  27.                                                   Abstract
  28.  
  29.  
  30.     This paper provides preliminary results of case studies conducted by the Software Produc-
  31. tivity Consortium on the validity and usefulness of its Reuse Capability Mo del (RCM)  and
  32. assessment process.  The Consortium conducted the case studieswith organizations who have
  33. successfully instituted software reuse. The objective was to evaluate the RCMagainst the expe-
  34. rience of these organizations.  Questions p osed by the case studies and presented in this paper
  35. include:  Does the RCM capture the factors critical to improving an organization's reuse prac-
  36. tice?  Does the RCM assessment process accurately identify an organization's reuse strengths
  37. and improvement opportunities? Is the RCM assessment process cost-effective?
  38.  
  39.  
  40. Keywords: Reuse adoption, reuse capability, reuse process, assessment, case study
  41.  
  42.  
  43. Workshop Goals:  Promote discussion on issues critical to instituting software reuse in an
  44. organization.
  45.  
  46.  
  47. Working Groups: Reuse management, organization, and economics; reuse maturity models;
  48. reuse process models
  49.  
  50.  
  51. Copyright fcl1993,Software Productivity Consortium Services Corporation. All rights reserved.
  52. This material is based in part upon work sponsored by the Advanced Research Projects Agency
  53. under Grant # MDA972-92-J-1018. The content does not necessarily reflect the position or the
  54. policy of the U.S. Government, and no official endorsement should be inferred.
  55.  
  56. Produced by the Software Productivity Consortium under contract to the Virginia Center of
  57. Excellence for Software Reuse and Technology Transfer.
  58.  
  59.  
  60.  
  61.                                                  Davis_T- 1
  62.  
  63.  
  64. 1      Background
  65.  
  66.  
  67.  
  68. In 1992 the Software Productivity Consortium released the first version of its Reuse Adoption Guide-
  69. book [1].  The guidebook provides a comprehensive approach to institutionalizing and improving
  70. an organization's software reuse practice. This approach includes three major elements: the Reuse
  71. Adoption Process, Domain Assessment Guidelines, and Reuse Capability Model.  The Reuse Adop-
  72. tion Process provides step-by-step guidance on initiating, planning, and implementing a program
  73. to institutionalize software reuse practices. The Domain Assessment Guidelines provide guidance
  74. on qualitatively estimating the potential for reuse in an organization's business area.  The Reuse
  75. Capability Model is a self-assessment and planning aid used to gain a comprehensive understanding
  76. of an organization's process with respect to reuse and to establish priorities for improvement.
  77.  
  78.  
  79. The  Consortium  developed  the  Reuse  Adoption  Guidebook  by  leveraging  industry,  government,
  80. and academic work in reuse, and through an evolutionary development approach including many
  81. internal  and  external  expert  reviews.  In  1993  the  Consortium  is  continuing  to  evolve  its  reuse
  82. technologies by applying them in:
  83.  
  84.  
  85.  
  86.     fflReuse  adoption  case  studies.  Collaborative efforts to evaluate the reuse adoption tech-
  87.        nologies against the experience of organizations who have successfully instituted reuse.
  88.  
  89.  
  90.     fflReuse adoption pilot projects.  Collaborative efforts with organizations seeking to initiate
  91.        and implement a reuse program to improve their reuse practice.
  92.  
  93.  
  94.  
  95. The Consortium plans to conduct three case studies and three pilot projects in 1993. This paper
  96. presents some preliminary results of the three case studies on the RCM and its associated assessment
  97. process.
  98.  
  99.  
  100.  
  101. 2      Position
  102.  
  103.  
  104.  
  105. Institutionalizing software reuse in an organization requires that many technical, organizational,
  106. economic, and cultural issues be addressed. As attention on reuse has increased in the past several
  107. years many issues have been raised. However, without a managed approach for addressing these
  108. issues, software engineers and managerswill have difficulty in devising appropriate reuse strategies
  109. for their organizations, thereby increasing their risk of stalled, misguided, or failed reuse programs.
  110. The Reuse Adoption Process, Domain Assessment Guidelines, and Reuse Capability Model provide
  111. a managed approach to help engineers and managers address themany technical and nontechnical
  112. issues and implement reuse programs that reduce risk and increase the benefits the organizations
  113. realize from reuse.
  114.  
  115.  
  116. The Consortium's key concerns in developing the reuse adoption technologies are whether these
  117. technologies are valid and effective.  The Reuse Adoption Case Study is one step the Consortium
  118. is  taking  to  begin  to  establish  and  improve  the  validity  and  effectiveness  of  its  reuse  adoption
  119. technologies. This paper focuses on the case study results for the RCMand its associated assessment
  120. process. The specific questions addressed here include:
  121.  
  122.  
  123.  
  124.     fflDoes the RCM capture the factors critical to improving an organization's reuse practice?
  125.  
  126.  
  127.     fflDoes the RCM assessment process accurately identify an organization's reuse strengths and
  128.        improvement opportunities?
  129.  
  130.  
  131.                                                         Davis_T- 2
  132.  
  133.  
  134.     fflIs the RCM assessment process cost-effective?
  135.  
  136.  
  137.  
  138. The following subsections characterize the case study participants, describe the case study approach,
  139. and present the preliminary case study results.
  140.  
  141.  
  142.  
  143. 2.1     Case Study Participants
  144.  
  145.  
  146.  
  147. For the case studies, the Consortium sought organizations who have successfully institutionalized
  148. reuse.   The  motive  for  seeking  these  organizations  was  to  get  feedback  on  the  reuse  adoption
  149. technologies from people who have "been there." Each of the case study organizations has been
  150. practicing reuse for at least five years in the development and/or maintenance of customer prod-
  151. ucts. The case studies included organizations that developed systems for the Department ofDefense
  152. (DoD) and organizations that developed commercial products; they included both small organiza-
  153. tions (< 50 staff) and large organizations (> 1000 staff); and they included organizations in the
  154. embedded systems business as well as organizations in the information systems business.
  155.  
  156.  
  157. Due  to  confidentiality  agreements, specific  attributes  of  the  case  study  participants  and  specific
  158. data resulting from an organization's assessment are not disclosed in this paper.
  159.  
  160.  
  161.  
  162. 2.2     Case Study Approach
  163.  
  164.  
  165.  
  166. For the case studies,the Consortium took the approach of applying the RCM assessment process in
  167. conducting actual assessments of the organizations' reuse capabilities.  In addition,the Consortium
  168. also conducted structured interviews to understand how the organizations' reuse practices evolved
  169. and administered post-assessment questionnaires to obtain additional feedback.
  170.  
  171.  
  172. The assessment process is similar to a focus group format. A group of individuals from the orga-
  173. nization review and discuss the factors in the RCM, then reach consensus on their strengths and
  174. improvement opportunities.  Consortium staff actedas facilitators.  The steps in the assessment
  175. process are as follows:
  176.  
  177.  
  178.  
  179.     fflForm  the  Team.   A team  of  four  to  eight  individuals  is  formed  representing  the  major
  180.        functions of the organization. Team members should be knowledgeable in the organization's
  181.        process, policies, procedures, and products.
  182.  
  183.  
  184.     fflTrain the Team.  Facilitators provide a half-day training on the adoption process, models,
  185.        and assessment for the assessment team.
  186.  
  187.  
  188.     fflDevelop Organizational Profile. The organizational profile is a rough sketch of the orga-
  189.        nization, its process, products, and business. It serves as a context for the assessment.
  190.  
  191.  
  192.     fflAssess  the  Critical  Success  Factors. The RCM is defined by 21 critical success factors
  193.        organized into four groups (application development, asset development, management, and
  194.        process & technology).  Each factor is defined in terms of one or more goals (see [1] for a
  195.        complete description of the factors and goals). The team assesses their organization against
  196.        each goal on:
  197.  
  198.  
  199.            -  The  extent  the  organization  meets  the  specified  goal  on  a  scale  of  1-not  satisfied, 2-
  200.               partially satisfied, 3-fully satisfied.
  201.  
  202.  
  203.                                                         Davis_T- 3
  204.  
  205.  
  206.            -  The  expected  impact  on  the  organization's  reuse  capability  from  fully  satisfying  the
  207.               stated goal on a scale of 1-no positive impact, 2-low positive impact, 3-moderate positive
  208.               impact, 4-high positive impact.
  209.  
  210.  
  211.     fflDevelop  Findings. Based on the discussions resulting from the previous step, the group
  212.        identifies its strengths and improvement opportunities through consensus.
  213.  
  214.  
  215.  
  216. 2.3     Case Study Results
  217.  
  218.  
  219.  
  220. The results presented in this section are the statistical averages computed from the team member
  221. assessment responses and post-assessment questionnaires (25 team memb ers from 3 case studies).
  222.  
  223.  
  224. Figure 1 illustrates the computed average per critical success factor for the expected impact on the
  225. organization's reuse capability from fully satisfying the asso ciated goals.  Nearly all of the factors
  226. were judged as having a moderate to high impact on an organizations reuse capability. This result
  227. is one indicator as to whether the RCM captures the factors critical to improving an organization's
  228. reuse capability.
  229.  
  230.  
  231. In addition, the post-assessment questionnaire asked the participants to rate the following state-
  232. ments on a scale of 1-strongly disagree, 2-disagree, 3-neutral, 4-agree, 5-strongly agree.  The average
  233. response is indicated.
  234.  
  235.  
  236.  
  237.     fflThe Reuse Capability Model covers the process issues most critical to effective software reuse.
  238.        Aver age response = 4:3
  239.  
  240.  
  241.     fflThe reuse capability assessment accurately identified my organization's reuse pro cess strengths
  242.        and improvement opportunities. Averag e response = 4:4
  243.  
  244.  
  245.     fflThe reuse capability assessment is a cost-effective technique for understanding an organiza-
  246.        tion's reuse process and planning improvements. Average response = 3:8
  247.  
  248.  
  249.  
  250. Two  case  study  groups  had  also  suggested  the  addition of  a  critical  success  factor  addressing
  251. intergroup coordination and communication. Some participants rated the effectiveness somewhat
  252. lower  because  they  believed  they  already  had  a  good  understanding  of  their  pro cess.   However,
  253. they indicated the assessment would be more effective for organizations who are just beginning to
  254. implement a reuse program.
  255.  
  256.  
  257. Although the Consortium does not view these results as proof of validity, it is encouraged that these
  258. results indicate its reuse adoption technologies are a step in the right direction.  Further study will
  259. be conducted primarily through reuse adoption pilot projects. The lessons learned from the case
  260. studies and pilot projects will be worked into the next version of the Reuse Adoption Guidebook.
  261.  
  262.  
  263.  
  264. 3      Comparison
  265.  
  266.  
  267.  
  268. Technologies similar to theConsortium's reuse adoption technologies include the Central Archive for
  269. Reusable Defense Software (CARDS)Franchise Plan [2] and the Software Technology for Adaptable,
  270. Reliable Systems (STARS) Reuse StrategyMo del (RSM) [3 ]. The CARDS Franchise Plan includes
  271. a  series  of  handbooks  designed  to  support  the  implementation  of  domain  specific  reuse  in  DoD
  272.  
  273.  
  274.  
  275.                                                         Davis_T- 4
  276.  
  277.  
  278. software procurements. The Consortium's reuse adoption technologyis designed to support business
  279. organizations in general (DoD and commercial) and it is not tied to a specific reuse technology.
  280. The  purpose  of  the  STARS  RSM  is  to  identify  areas  in  which  organization  objectives, p olicies,
  281. procedures, and process definitions can be applied in furthering a cost-effective reuse strategy. It is
  282. specifically designed to support the STARS vision of "doing reuse."  The RSM is primarily intended
  283. to support project planning for reuse, whereas the RCMis primarily intended to support capability
  284. improvement planning for product-line organizations.
  285.  
  286.  
  287.  
  288. References
  289.  
  290.  
  291.  
  292. [1]  S. P. Consortium, "Reuse Adoption Guidebook," Tech. Rep. SPC-92051-CMC, Software Pro-
  293.      ductivity Consortium, November 1992.
  294.  
  295.  
  296. [2]  CARDS, "Franchise Plan, Central Archive for ReusableDefense Software," Tech. Rep. STARS-
  297.      AC-04116/000/00, Paramax Systems Corporation, March 1993.
  298.  
  299.  
  300. [3]  STARS, "Draft Reuse Maturity Model:  Reuse Strategy Model Prototyp e," Tech. Rep. D613-
  301.      55159, Advanced Research Projects Agency, November 1992.
  302.  
  303.  
  304.  
  305. 4      Biography
  306.  
  307.  
  308.  
  309. Ted Davis is the technical lead for the Software Productivity Consortium's reuse adoption project
  310. and is responsible for developing the Reuse Capability Model and Reuse Adoption Process.  Previ-
  311. ously Ted has supported the development and validation of the Consortium's Evolutionary Spiral
  312. Process for software development and the Synthesis process for reuse-oriented software production.
  313. Prior to that, Ted was an officerin the U.S. Air Force for eight years where he developed and ac-
  314. quired command and control systems. Ted has a M.S. in Computer Science from Purdue University
  315. and a M.S. in Systems Management from the University of Southern California.
  316.  
  317.  
  318.  
  319.                                                         Davis_T- 5
  320.  
  321.  
  322.  
  323.  
  324.  
  325. Figure 1:  Critical Success Factor Impact Data
  326.  
  327.  
  328.  
  329.                        Davis_T- 6
  330.