home *** CD-ROM | disk | FTP | other *** search
/ Usenet 1994 January / usenetsourcesnewsgroupsinfomagicjanuary1994.iso / sources / std_unix / volume.27 / text0059.txt < prev    next >
Encoding:
Text File  |  1992-05-20  |  7.1 KB  |  133 lines
  1. Submitted-by: stephe@mks.com (Stephen Walli)
  2.  
  3.                       USENIX Standards Watchdog Committee
  4.               Stephen R. Walli <stephe@usenix.org>, Report Editor
  5.  
  6.  
  7.           Report on POSIX.3: Test Methods and Conformance
  8.  
  9.           Andrew  Twigger  <att@root.co.uk>  reports  on  the  January
  10.           13-17, 1992 meeting in Irvine, CA:
  11.  
  12.           SCCT Matters
  13.  
  14.           The Steering  Committee  on Conformance  Testing (SCCT)  met
  15.           three times during  the week and  discussed a broad range of
  16.           testing  related issues.  The  major issues  centred  around
  17.           fitting  the  test  methods  into  the  document  structure,
  18.           dealing with options in ``base'' standards, and test methods
  19.           for profiles.
  20.  
  21.           The higher level  of document structure  seems to have  been
  22.           resolved by  introducing  a parallel  set of documents  (and
  23.           therefore project requests,  or PARs) to the base standards.
  24.           The test methods  documents will be  numbered by adding 1000
  25.           to  the   base  standard   number,  i.e.  POSIX.6   Security
  26.           Extensions (P1003.6)  will have test  methods in a  document
  27.           numbered  P2003.6.   The   IEEE  would   then  resolve   any
  28.           accompanying publication issues.
  29.  
  30.           The more granular issue of how to write assertions which can
  31.           be easily  merged  along with  the  base standard  was  also
  32.           briefly discussed, but not yet concluded. The integration of
  33.           base standards (POSIX.1,  POSIX.4, POSIX.6, etc.)  is one of
  34.           the  major  problems  facing TCOS  at  the moment,  but  the
  35.           solution seems as far away as ever. (The Technical Committee
  36.           on Operating Systems -- Standards Subcommittee, TCOS-SS, is
  37.           the  IEEE  Computer Society  TC  responsible for  the  POSIX
  38.           standards.)
  39.  
  40.           From the  test  methods perspective, integrating  assertions
  41.           for  a   pervasive  interface   like  open()  introduces   a
  42.           considerable problem in  defining which assertions relate to
  43.           which base standard options. While solutions can be produced
  44.           easily, these are generally inelegant.
  45.  
  46.           The options issue,  which was left  over from the Parsippany
  47.           meeting  was  re-addressed  with  some  further  input  from
  48.           POSIX.1. The  problem  may not be  as serious as  previously
  49.           thought and  many  of the  issue can  be resolved with  some
  50.           minor  changes  to  POSIX.3.1  (POSIX.1 Test  Methods).  The
  51.           remaining   ones  can   be   resolved  by   introducing   an
  52.           announcement  mechanism,  which  most  test suites  have  to
  53.           provide,  allowing   the   test  suite   to  determine   the
  54.           implementation's option setting.
  55.  
  56.           The SCCT reviewed the meaning of profile conformance and the
  57.           use of conformance  statements in profiles. They agreed that
  58.           profile conformance statements should refer back to those in
  59.           the base standards  and should be  validated by reference to
  60.           the test  methods for the  base standards, where  available,
  61.           plus the specific test methods for the ``mortar'' defined in
  62.           the profile.  (The  Profiles Steering Committee  is reaching
  63.           agreement on  the rules for  subsetting base standards,  and
  64.           how additional behaviour may be thought of as the ``mortar''
  65.           binding the standards together.)
  66.  
  67.           Software Testing Environment BOF
  68.  
  69.           On Monday  evening BSI  (the British Standards  Institution)
  70.           and  Mindcraft  called  a  Birds-of-a-Feather  gathering  to
  71.           explain  Software  Testing  International and  the  Software
  72.           Testing Environment  (STE).  Software Testing  International
  73.           would be a  non-profit organisation set up to administer the
  74.           development of  test suites for  POSIX and other  standards.
  75.           Most of the  attendees seemed reticent  in there approval of
  76.           the  scheme,  particularly   when  it  became  evident  that
  77.           Mindcraft   would  be   the   sole  test   suite   authoring
  78.           organisation with  a  seat on the  Board. Comments from  the
  79.           presenters that ``POSIX  testing is just  starting to become
  80.           serious''  were  also  not  particularly well  received.  It
  81.           seemed clear  that  both structural  and perceptual  changes
  82.           would be necessary  before the proposed scheme could make an
  83.           impact in the POSIX testing arena.
  84.  
  85.           The actual STE  introduces an additional API layer on top of
  86.           the  current  Test   Environment  Toolkit  (TET),  a  freely
  87.           available testing  harness created  jointly by X/Open,  Unix
  88.           International, and  the  Open Software  Foundation.  Initial
  89.           impressions were that  the main purpose  of this layer is to
  90.           allow Mindcraft's CTS  based test suites  to execute in  the
  91.           TET environment.  (NIST is currently  supporting the TET  as
  92.           their testing methodology of choice.)
  93.  
  94.           Mindcraft  promised  to  make the  specifications  available
  95.           shortly and to  be providing an implementation at the end of
  96.           quarter two.  The  testing community  will  spend some  time
  97.           reviewing  the   value   of  these   extensions,  but   with
  98.           significant aspects like  distributed testing omitted it may
  99.           not capture many peoples imagination.
  100.           POSIX.3
  101.  
  102.           The POSIX.3 working group continued in there relentless task
  103.           of writing and  reviewing assertions for  the POSIX.2 (Shell
  104.           and Utilities) standard. The latest draft (POSIX.3.2/D7) has
  105.           been circulated for  review and comment,  though no comments
  106.           have yet been received.  At the end of the Irvine meeting it
  107.           was expected  that  there would be  no significant parts  of
  108.           POSIX.2 that  were unaddressed by  test methods, except  its
  109.           internationalisation aspects.   The working group  commenced
  110.           the specification of test methods for POSIX.2a (UPE) towards
  111.           the end of the meeting.
  112.  
  113.           Other working groups  were also developing  test methods for
  114.           their  standards  with progress  being  made by  (at  least)
  115.           POSIX.6, POSIX.8,  POSIX.12,  1224 and  POSIX.17 as well  as
  116.           some of  the  profile groups. In  general these groups  were
  117.           developing a  reasonable  understanding of  the task  facing
  118.           them, and  in  some cases  good  quality test  methods  have
  119.           already been produced.
  120.  
  121.           The  question  of  language  independent  test  methods  was
  122.           discussed in  the  POSIX.1 forum,  though other groups  (for
  123.           example 1224)  have  also made  progress  in this area.  The
  124.           outcome of  the  POSIX.1 discussion  was  an estimate  by  a
  125.           prospective contractor to  undertake 2,000 or  more hours of
  126.           work to  produce  LIS test methods  for POSIX.1. This  looks
  127.           like  an  exceedingly  high estimate  and  I would  be  very
  128.           surprised if TCOS followed it up!
  129.  
  130.  
  131. Volume-Number: Volume 27, Number 59
  132.  
  133.