home *** CD-ROM | disk | FTP | other *** search
/ Handbook of Infosec Terms 2.0 / Handbook_of_Infosec_Terms_Version_2.0_ISSO.iso / text / rfcs / rfc1564.txt < prev    next >
Text File  |  1996-05-07  |  47KB  |  697 lines

  1.  
  2.  
  3.  
  4.  
  5.  
  6.  
  7. Network Working Group                                          P. Barker Request for Comments: 1564                     University College London Category: Informational                                       R. Hedberg                                               Technical University Delft                                                             January 1994 
  8.  
  9.                                DSA Metrics                             (OSI-DS 34 (v3)) 
  10.  
  11. Status of this Memo 
  12.  
  13.    This memo provides information for the Internet community.  This memo    does not specify an Internet standard of any kind.  Distribution of    this memo is unlimited. 
  14.  
  15. Abstract 
  16.  
  17.    This document defines a set of criteria by which a DSA implementation    may be judged.  Particular issues covered include conformance to    standards; performance; demonstrated interoperability.  The intention    is that the replies to the questions posed provide a fairly full    description of a DSA. Some of the questions will yield answers which    are purely descriptive; others, however, are intended to elicit    answers which give some measure of the utility of the DSA. The marks    awarded for a DSA in each particular area should give a good    indication of the DSA's capabilities, and its suitability for    particular uses. 
  18.  
  19.    Please send comments to the authors or to the discussion group    <osi-ds@CS.UCL.AC.UK>. 
  20.  
  21. Table of Contents 
  22.  
  23.    1.   Overview                                                      2    2.   General Information                                           3    3.   Conformance to OSI Standards                                  4         3.1    Directory protocols.............................       4         3.2    Implementors' agreements and profiles  .........       6         3.3    Protocol stacks.................................       6         3.4    DIT structure  .................................       7    4.   Other protocols                                               7    5.   Extensions to the 1988 Standard                               7         5.1    Schema .........................................       7         5.2    Support for replication.........................       8         5.3    Support for access control .....................       8         5.4    Miscellaneous  .................................       9    6.   Miscellaneous characteristics                                10 
  24.  
  25.  
  26.  
  27. Barker & Hedberg                                                [Page 1] 
  28.  RFC 1564                      DSA Metrics                   January 1994 
  29.  
  30.     7.   Management tools                                             11         7.1    Dynamic system management  .....................      11         7.2    Static system management  ......................      12         7.3    Data management.................................      12    8.   Operational Use                                              12    9.   Interoperability                                             12    10.  Performance                                                  13         10.1   Speed for various operations  ..................      14             10.1.1   Bind .....................................      14             10.1.2   List .....................................      15             10.1.3   Search  ..................................      15             10.1.4   Read .....................................      16             10.1.5   Add entry.................................      16             10.1.6   Modify entry .............................      16             10.1.7   Modify RDN  ..............................      16             10.1.8   Query rate  ..............................      17         10.2   The results.....................................      17         10.3   Environment used for benchmarking  .............      17    11. Security Considerations                                       21    12. Authors' Addresses                                            21 
  31.  
  32. 1.  Overview 
  33.  
  34.    The purpose of this document is to define some metrics by which DSA    products can be measured.  Such metrics are valuable as whilst an    X.500 DSA must conform to the specification in the standard - this is    a sine qua non - protocol conformance is not in itself the hallmark    of a usable implementation.  A DSA must perform operations within a    reasonable time; a DSA must offer good throughput of queries; a DSA    must be able to handle a reasonable volume of data; if modification    operations are provided, some sort of access control must be    provided; a DSA and its data must be manageable. 
  35.  
  36.    In many respects, it is almost impossible to say that one DSA is    better than other from looking at the responses to questions in this    document.  For some, the cost or level of support will be the key    criterion.  For another user, the flexibility of the schema    management facilities, or the feasibility of running the DSA over an    existing relational database, will be of prime importance.  In many    respects DSAs will just be different, rather than better or worse.    However, all other things being equal, the look-up speed of a DSA is    very obviously measurable, and there is a substantial number of    questions on the speed of the various X.500 operations, and in    particular on the look-up operations. 
  37.  
  38.    Throughout this document, some of the questions posed are annotated    with a square-bracketed points score and an explanation as to how the    points should be allocated.  For example, a question might be 
  39.  
  40.  
  41.  
  42. Barker & Hedberg                                                [Page 2] 
  43.  RFC 1564                      DSA Metrics                   January 1994 
  44.  
  45.     appended with "[2 if yes]", indicating score 2 points for an    affirmative answer to that question.  These points scores should be    collated in Table 1 at the end of the document.  The questions on DSA    performance are judged to be important enough to have a separate    table for those results:  they appear in Table 2 (and optionally    Table 3).  Together, these tables constitute a measure of the DSA. 
  46.  
  47.    The metrics are on a section by section basis, which should help the    reader who is seeking, for example, a DSA with fast look-up    capabilities and extensive access control facilities, to focus on the    critical aspects of a DSA for their particular requirement.  No    conclusions should be inferred from adding the scores together into    one overall grand total and comparing such totals for different DSAs,    as no attempt is made to assign weights to the different    characteristics. 
  48.  
  49.    Whilst much of this document should usually be completed by the    developers or suppliers of an implementation, the section on    performance could be completed by anyone running the implementation.    Indeed, it will be beneficial if several sets of performance figures    can be gathered for each implementation, for a variety of hardware    platforms. 
  50.  
  51. 2.  General Information 
  52.  
  53.    This section contains general information about the implementation    under discussion. 
  54.  
  55.    1.  Name of the information provider ................................     .................................................................... 
  56.  
  57.    2.  Name of the implementation ...................................... 
  58.  
  59.    3.  Version number of the DSA described in this document ............ 
  60.  
  61.    4.  Are there plans to implement the additional features describe in        the 1992/3 standard?  [6 for full implementation, 4 if both        access control and replication to be implemented, 2 for some        1992 features] .................................................. 
  62.  
  63.    5.  Name and address of supplier or person to contact ...............     ....................................................................     ....................................................................     ....................................................................     ....................................................................     ....................................................................     .................................................................... 
  64.  
  65.  
  66.  
  67.  Barker & Hedberg                                                [Page 3] 
  68.  RFC 1564                      DSA Metrics                   January 1994 
  69.  
  70.     6.  Describe the hardware and software platforms supported by the DSA        [up to 4 points may be awarded for this question] 
  71.  
  72.       (a)  Hardware (If appropriate, can summarise as, for example            "generic UNIX platform") .................................. 
  73.  
  74.       (b)  O/S (state version if critical) 
  75.  
  76.            i.  UNIX) (be sure to indicate which flavour - e.g.,                SYSV [1], BSD [1], SUNOS, etc) .......................... 
  77.  
  78.           ii.  VMS) [1] ................................................ 
  79.  
  80.          iii.  MS-DOS [1] .............................................. 
  81.  
  82.           iv.  Macintosh [1] ........................................... 
  83.  
  84.            v.  Other) [1] .............................................. 
  85.  
  86.    7.  Name any other software required to run the system which is not        supplied with the operating system or with the DSA software        itself.  Examples might include a database package, or        communications software .........................................     .................................................................... 
  87.  
  88.    8.  Is this DSA an integrated part of a software package, and in such        case which ?  ...................................................     .................................................................... 
  89.  
  90.    9.  Is the software free?  If the DSA needs other packages, are these        also freely available?  [3 if completely free, 1 if requires        commercial software package] ....................................     .................................................................... 
  91.  
  92.    10. Is commercial support available for this implementation?  [3] ... 
  93.  
  94.    11. Is free, best effort support available from the developers?  [2]. 
  95.  
  96.    12. Is free support available via user groups or email lists?  [2] .. 
  97.  
  98. 3.  Conformance to OSI Standards 
  99.  
  100. 3.1  Directory protocols 
  101.  
  102.    13. Does the DSA implement DAP? 
  103.  
  104.       (a)  Read ASE? [2] ............................................... 
  105.  
  106.  
  107.  
  108.  Barker & Hedberg                                                [Page 4] 
  109.  RFC 1564                      DSA Metrics                   January 1994 
  110.  
  111.        (b)  Search ASE? [2] ............................................. 
  112.  
  113.       (c)  Modify ASE? [2] ............................................. 
  114.  
  115.    14. Does the DSA implement DSP? 
  116.  
  117.       (a)  Chained read ASE? [2] ....................................... 
  118.  
  119.       (b)  Chained search ASE? [2] ..................................... 
  120.  
  121.       (c)  Chained modify ASE? [2] ..................................... 
  122.  
  123.    15. Statement requirements according to section 9.2.1 in X.519. 
  124.  
  125.       (a)  Supported application-contexts?  ............................ 
  126.  
  127.       (b)  Capable of acting as first-level DSA? [1] ................... 
  128.  
  129.       (c)  Chained mode supported?  [1] ................................ 
  130.  
  131.       (d)  Security-level(s) supported?  [1 for strong + 1 for protected            simple + 1 for simple authentication] ....................... 
  132.  
  133.       (e)  All attribute types according to X.520?  [1] ................ 
  134.  
  135.       (f)  All object classes according to X.521?  [1] ................. 
  136.  
  137.    16. Does the implementation meet the conformance clauses in section        9.2.2 and 9.2.3 of X.519?        Static requirements [2 if yes on all] 
  138.  
  139.       (a)  Abstract syntaxes of application contexts ................... 
  140.  
  141.       (b)  Abstract syntaxes of information framework .................. 
  142.  
  143.       (c)  Minimal knowledge ........................................... 
  144.  
  145.       (d)  Support of root context ..................................... 
  146.  
  147.       (e)  Abstract syntax - attribute types ........................... 
  148.  
  149.       (f)  Abstract syntax - object classes ............................ 
  150.  
  151.        Dynamic requirements [2 if yes on all] 
  152.  
  153.       (a)  Mapping onto underlying services ............................ 
  154.  
  155.       (b)  Distributed operations - referrals .......................... 
  156.  
  157.  
  158.  
  159. Barker & Hedberg                                                [Page 5] 
  160.  RFC 1564                      DSA Metrics                   January 1994 
  161.  
  162.        (c)  DirectoryAccessAC - referrals ............................... 
  163.  
  164.       (d)  DirectorySystemAC - referrals ............................... 
  165.  
  166.       (e)  Chained mode ................................................ 
  167.  
  168.    17. Please list all conformance testing work applied to the        implementation (specify conformance test version number).  [2 if        any testing]     ....................................................................     ....................................................................     ....................................................................     .................................................................... 
  169.  
  170. 3.2  Implementors' agreements and profiles 
  171.  
  172.    Does the DSA conform to the following implementors' agreements?  If    so, state parts and version numbers. 
  173.  
  174.    18. EWOS? [1] .......................................................     ....................................................................     .................................................................... 
  175.  
  176.    19. OIW? [1] ........................................................     ....................................................................     .................................................................... 
  177.  
  178.    Does the DSA conform to the following profiles?  If so, state which    version numbers. 
  179.  
  180.    20. UK GOSIP? [1] ................................................... 
  181.  
  182.    21. US GOSIP? [1] ................................................... 
  183.  
  184.     State any other GOSIP profiles to which the DSA conforms ............ 
  185.  
  186. 3.3  Protocol stacks 
  187.  
  188.    22. Which of the following transport and network layer protocols does        the DSA support: 
  189.  
  190.       (a)  TP.x over CONS (state transport class)?  [2] ................ 
  191.  
  192.       (b)  TP.4 over CLNS? [2] ......................................... 
  193.  
  194.       (c)  TP.x over X.25(1980) (state transport class)?  [2] .......... 
  195.  
  196.  
  197.  
  198.  Barker & Hedberg                                                [Page 6] 
  199.  RFC 1564                      DSA Metrics                   January 1994 
  200.  
  201.  3.4  DIT structure 
  202.  
  203.    23. A suggested DIT structure, detailing an object class hierarchy, is        presented in X.521.  Does the DSA: 
  204.  
  205.       (a)  Enforce this hierarchy?  .................................... 
  206.  
  207.       (b)  Allow the enforcement of this hierarchy?  ................... 
  208.  
  209.    24. Are structure rules optional or mandatory?  ..................... 
  210.  
  211. 4.  Other protocols 
  212.  
  213.    25. Not everybody uses OSI protocols at the network layer.  Does the        DSA support other "network" layer protocols? 
  214.  
  215.       (a)  TP.0 over RFC1006 over TCP/IP [3] ........................... 
  216.  
  217.       (b)  State any other options supported.  .........................         ................................................................ 
  218.  
  219.    26. Does the DSA also run over any lightweight stack?  If so,        describe it with reference to the OSI seven layer model [1] ..... 
  220.  
  221.    27. Can local DUAs access the DSA directly by some method of        inter-process communications?  [1] ..............................     .................................................................... 
  222.  
  223. 5.  Extensions to the 1988 Standard 
  224.  
  225. 5.1  Schema 
  226.  
  227.    28. Does the DSA fully support RFC1274, "The COSINE and Internet        X.500 Schema"?  [2] ............................................        If not, please supply a list of all those object classes,        attribute types and attribute syntaxes in RFC1274 which are        supported on a separate sheet.  This might be summarised by        saying, for example, "all those with standard attribute        syntaxes", or "all except fooBar". 
  228.  
  229.    29. Does the DSA implement the schema management defined in the 1992        standard?  [2] .................................................. 
  230.  
  231.    30. If not, is the schema stored in the Directory?  In a distributed        manner[2] or centralised[1] ?  .................................. 
  232.  
  233.    31. Can a DSA manager extend the schema and add new 
  234.  
  235.  
  236.  
  237.  Barker & Hedberg                                                [Page 7] 
  238.  RFC 1564                      DSA Metrics                   January 1994 
  239.  
  240.        (a)  Attribute types with existing syntaxes?  With compilation            [1], or without compilation [2] ............................. 
  241.  
  242.       (b)  Attribute syntaxes?  With compilation [1], or without            compilation [2] ............................................. 
  243.  
  244.       (c)  Attribute sets?  With compilation [1], or without compilation            [2] .........................................................         ................................................................ 
  245.  
  246.       (d)  Object classes?  With compilation [1], or without compilation            [2] .........................................................         ................................................................ 
  247.  
  248.    32. Is it possible to add in or modify DIT structure rules, with        compilation [1], without compilation [2] ........................ 
  249.  
  250. 5.2  Support for replication 
  251.  
  252.    33. Does the DSA support the replication mechanisms as described in        the 1992 standard [2]?     .................................................................... 
  253.  
  254.    34. Does the DSA support any other replication mechanisms?  ......... 
  255.  
  256.       (a)  Replication part of RFC1276 [2] ............................. 
  257.  
  258.       (b)  Other (please give a reference to any description of the            mechanisms, and indicate whether these mechanisms are used by            any other implementations) [1 for any mechanism] ............         ................................................................         ................................................................         ................................................................ 
  259.  
  260.    35. If the DSA supports replication, does it support: 
  261.  
  262.       (a)  Replication of a single entry?  [2] ......................... 
  263.  
  264.       (b)  Replication of a set of sibling entries?  [2] ............... 
  265.  
  266.       (c)  Replication of a subtree?  [2] .............................. 
  267.  
  268. 5.3  Support for access control 
  269.  
  270.    36. Does the DSA support access control as described in the 1992        standard [3]?  .................................................. 
  271.  
  272.    37. If not, does the DSA have any access control mechanisms at all? 
  273.  
  274.  
  275.  
  276. Barker & Hedberg                                                [Page 8] 
  277.  RFC 1564                      DSA Metrics                   January 1994 
  278.  
  279.         [2] ............................................................. 
  280.  
  281.    38. If yes, does the access control scheme support the following: 
  282.  
  283.       (a)  Allow a user to maintain their own entry?  [1] .............. 
  284.  
  285.       (b)  Allow a user to maintain some attributes in their own entry,            but not all attributes?  [1] ................................ 
  286.  
  287.       (c)  Give management rights to a DSA manager in a fashion analogous            to the privileges given to a UNIX super-user?  [1] .......... 
  288.  
  289.       (d)  Give management rights to a data manager on a per subtree            basis?  [1] ................................................. 
  290.  
  291.       (e)  Give management rights (to an entry, group of entries,            subtree, etc) to a group of users?  [1] ..................... 
  292.  
  293.       (f)  Give access rights to users on the basis of the leading            portion of their Distinguished Name?  [1] ................... 
  294.  
  295.       (g)  Is it possible to define a protection mechanism for each            individual attribute type in one entry?  [1] ................ 
  296.  
  297.       (h)  Maximum number of Distinguished Names that can be defined for            one access right to one attribute in one entry? If unlimited,            state the constraints.  [1 if more than 6 DNs are feasible] : 
  298.  
  299.       (i)  Does the DSA support the extended access control techniques            described in "An Access Control approach for Searching and            Listing" by Hardcastle-Kille and Howes, in the Internet            Draft, OSI-DS 21?  [2]         ................................................................ 
  300.  
  301.       (j)  If there are features of the access control mechanisms which            are not brought out by the above questions, please describe            these additional features [up to 2 for wonderful additional            features!]  .................................................         ................................................................         ................................................................         ................................................................ 
  302.  
  303. 5.4  Miscellaneous 
  304.  
  305.    39. Does the DSA fully support RFC1276, "Replication and Distributed        Operations extensions to provide an Internet Directory using        X.500"?  [2] .... If not, please give a list of features that are        supported. 
  306.  
  307.  
  308.  
  309. Barker & Hedberg                                                [Page 9] 
  310.  RFC 1564                      DSA Metrics                   January 1994 
  311.  
  312.      ....................................................................     .................................................................... 
  313.  
  314.    40. If the DSA uses RFC1006 and/or X.25(1980) at the network layer,        does the DSA conform to RFC1277, "Encoding Network Addresses to        support operation over non-OSI lower layers" [3] ............... 
  315.  
  316. 6.  Miscellaneous characteristics 
  317.  
  318.    41. Does the DSA use its own database, or can it be used in        conjunction with a general-purpose database package such as        Oracle?  [1 for own, 1 for ability to map onto general purpose        databases, 1 if any such mappings have been made] ...............     .................................................................... 
  319.  
  320.    42. If the DSA runs as a static server, state the start-up time for a        DSA with a database of 20000 entries.  If this varies widely        according to configuration options, give figures for the various        options.  .......................................................     .................................................................... 
  321.  
  322.    43. What is the maximum number of simultaneous associations that the        DSA may have open?  [1 if more than 15 associations] ............ 
  323.  
  324.    44. Maximum database size, in entries, megabytes, or as appropriate.        If none, state what the constraints are.  [1 if a database of        more than 100,000 entries is feasible] .......................... 
  325.  
  326.    45. What is the run-time size of an entry as specified in section 10        (on performance)?  This should be the marginal size of an entry        and thus should include the overhead of default indexes, etc.  .. 
  327.  
  328.    46. What is the on-disk database size of an entry as specified in        section 10 on performance?  ..................................... 
  329.  
  330.    47. Does the DSA make of indexing?  [2 if yes] ...................... 
  331.  
  332.        If so: 
  333.  
  334.       (a)  Can the database be fully inverted?  [1] ....................            If not, state for which: 
  335.  
  336.            i.  attributes indexes are automatically built ..............             ............................................................             ............................................................ 
  337.  
  338.           ii.  attributes/attribute syntaxes indexes may be built ......             ............................................................ 
  339.  
  340.  
  341.  
  342. Barker & Hedberg                                               [Page 10] 
  343.  RFC 1564                      DSA Metrics                   January 1994 
  344.  
  345.              ............................................................ 
  346.  
  347.       (b)  Does the index improve performance on: 
  348.  
  349.            i.  Exact match [1] ......................................... 
  350.  
  351.           ii.  Leading substring match [1] ............................. 
  352.  
  353.          iii.  Approximate match [1] ................................... 
  354.  
  355.           iv.  Any substring match [1] ................................. 
  356.  
  357.            v.  Trailing substring match [1] ............................ 
  358.  
  359.       (c)  What is the increase in run-time size of an entry when adding            an index?         ................................................................ 
  360.  
  361.       (d)  What is the increase in on-disk database size of adding            another index?         ................................................................ 
  362.  
  363.    48. What sort of approximate match algorithm does the DSA use?        Describe it briefly .............................................     ....................................................................     ....................................................................     .................................................................... 
  364.  
  365.    49. Does the DSA attempt to use relay DSAs (which have access to more        than one network) in order to achieve connectivity with DSAs        which are not on the same network?  [2] ......................... 
  366.  
  367. 7.  Management tools 
  368.  
  369. 7.1  Dynamic system management 
  370.  
  371.    50. Are there tools for monitoring DSA activity, using: 
  372.  
  373.       (a)  DAP? [1] .................................................... 
  374.  
  375.       (b)  CMIP? [1] ................................................... 
  376.  
  377.       (c)  SNMP? [1] ................................................... 
  378.  
  379.    51. Are there tools for controlling a run-time DSA? [2] ............. 
  380.  
  381.  
  382.  
  383.  
  384.  
  385.  Barker & Hedberg                                               [Page 11] 
  386.  RFC 1564                      DSA Metrics                   January 1994 
  387.  
  388.  7.2  Static system management 
  389.  
  390.    52. If knowledge information is stored within the DIT, are there        tools for knowledge management?  [2] ............................ 
  391.  
  392.    53. Are there tools for checking that attributes with Distinguished        Name syntax contain values of entries in the DIT (i.e., they do        not contain "dangling pointers")?  [1] ........................ 
  393.  
  394. 7.3  Data management 
  395.  
  396.    54. If the DSA doesn't use a general-purpose database package, what        data management tools are available?  ...........................     .................................................................... 
  397.  
  398.    55. Are there any tools for arboriculture - the moving, copying or        deleting of DIT subtrees?  [2] .................................. 
  399.  
  400. 8.  Operational Use 
  401.  
  402.    The DSA may have lots of wonderful features -- on paper!  But has the    DSA been shown to work in practice?  The following measures are    intended to give some measure of confidence that the DSA's viability    has been demonstrated.     56. How many entries in the largest DSA in use in operational use?  : 
  403.  
  404.    57. What is the largest set of DSAs supporting an organisation?  .... 
  405.  
  406.    58. What is the estimated number of organisations using this        implementation for service use?  [8 if more than 100        organisations, 5 if more than 50 organisations, 3 if more than 20        organisations, 2 if more than 5 organisations, 1 if more than 1        organisation] ................................................... 
  407.  
  408.    59. Is this DSA used commercially with an installed base of more than        10 customers?  [2] .............................................. 
  409.  
  410. 9.  Interoperability 
  411.  
  412.    The X.500 Directory is the OSI Directory.  OSI stands for Open    Systems Interconnection -- DSAs have to be able to inter-operate.    They also have to be seen to interoperate. 
  413.  
  414.    60. Is this DSA in use in X.500 pilots?  ............................ 
  415.  
  416.       (a)  Is this DSA in use anywhere in the COSINE/Internet Pilot? [3] 
  417.  
  418.  
  419.  
  420.  Barker & Hedberg                                               [Page 12] 
  421.  RFC 1564                      DSA Metrics                   January 1994 
  422.  
  423.          ................................................................ 
  424.  
  425.       (b)  Is this DSA in use in any other major pilot?  [2] ........... 
  426.  
  427.    61. Name any other systems which you believe the system to        interoperate with.  (It is not sufficient to say "any system        which supports the conformance clauses ...")  ..................     ....................................................................     ....................................................................     .................................................................... 
  428.  
  429.    62. Please name all interoperability testing applied to the        implementation, specify test suite and what other implementation        that was used [1 per implementation, up to maximum of 5] ........     ....................................................................     ....................................................................     ....................................................................     ....................................................................     .................................................................... 
  430.  
  431. 10.  Performance 
  432.  
  433.    This section should give an outline to the expected performance of    the DSA. A number of operations are timed in order to give a feel for    the DSA's speed and throughput.  Note that all operations should be    resolvable within a single DSA. Chaining and referral are not    assessed, although it should be possible to infer, albeit    approximately, the speed of distributed operations. 
  434.  
  435.    i.  The tests should be made against an organisational database of        20000 entries.  Some tests are against subsets of this data, and        so the database should be set up according to the following        instructions. 
  436.  
  437.        Create an organisational DSA with 20000 entries below the        organisation node.  Sub-divide this data into a number of        organisational units, one of which should contain 1000 entries,        another of which should contain 100 entries, and a third which        should contain just 10 entries.  The entries, which should        differ, should be created with the following attributes: 
  438.  
  439.        (a)  Common Name 
  440.  
  441.        (b)  Surname 
  442.  
  443.        (c)  Telephone number 
  444.  
  445.        (d)  Postal Address (of 100 characters) 
  446.  
  447.  
  448.  
  449. Barker & Hedberg                                               [Page 13] 
  450.  RFC 1564                      DSA Metrics                   January 1994 
  451.  
  452.         (e)  Object class 
  453.  
  454.     ii. In all the tests, two timings should be taken.  In order to         normalise the test results as much as possible, it is suggested         that these tests be undertaken on an otherwise lightly loaded         machine. 
  455.  
  456.        (a)  A typical "cold start" reading should be given.  In this             case the system will not have the advantage of any benefits             that derive from operating system paging, or caching. 
  457.  
  458.        (b)  A best possible figure should be given, which indicates the             upper limit of DSA performance. 
  459.  
  460.    iii. The timings should relate to the default set-up, and should be         entered in Table 2.  If significant performance gains can be made         by use of configuration options, such as building extra indexes         to support searches, measures of the improved performance may         also be given, and should be entered in Table 3.         Attention should be also drawn to any optimisations, heuristic or         otherwise, which are not evidenced in the following tests. 
  461.  
  462.     iv. Please note that the tests should be made using a DUA and DSA         with full 7-layer stacks, rather than some lightweight protocol. 
  463.  
  464. 10.1  Speed for various operations 
  465.  
  466.    The tests are described, one subsection per operation.  The results    should be entered in Table 2 (and Table 3 if a non-default set-up is    also measured). 
  467.  
  468. 10.1.1  Bind 
  469.  
  470.    The time it takes for a DUA to bind to the Directory.  This time    should include all the initialisation time a DUA process needs before    it can query the Directory: e.g., reading of tailor files, schema    information, etc.  Give the bind time for each of the following    levels of authentication.  State "n/a" if the implementation does not    support a particular level of authentication. 
  471.  
  472.    63. Anonymous 
  473.  
  474.    64. Simple 
  475.  
  476.    65. Simple protected 
  477.  
  478.    66. Strong 
  479.  
  480.  
  481.  
  482.  Barker & Hedberg                                               [Page 14] 
  483.  RFC 1564                      DSA Metrics                   January 1994 
  484.  
  485.  10.1.2  List 
  486.  
  487.    Give the time for listing a set of organisational unit sibling    entries. 
  488.  
  489.    67. 10 entries 
  490.  
  491.    68. 1000 entries 
  492.  
  493. 10.1.3  Search 
  494.  
  495.    In this section, two sets of search operations should be performed on    the DSA. 
  496.  
  497.    i.  A single level search of 100 entries within an organisational        unit. 
  498.  
  499.    ii. An organisation subtree search, on the subtree of 20000 entries. 
  500.  
  501.    The following searches should be tried.  Unless otherwise stated, the    "XXX" or "YYY" part of the search filter should be chosen in such a    way as to return a single result.  Unless stated otherwise the    results should return all attributes for the entry. 
  502.  
  503.    69. Exact match for a surname: 
  504.  
  505.            surname=XXX 
  506.  
  507.    70. Leading substring match for a common name: 
  508.  
  509.            commonName=XXX* 
  510.  
  511.    71. Any substring match for a common name: 
  512.  
  513.            commonName=*XXX* 
  514.  
  515.    72. Trailing substring match for a common name: 
  516.  
  517.            commonName=*XXX 
  518.  
  519.    73. Approximate match for a common name: 
  520.  
  521.            commonName"=XXX 
  522.  
  523.    74. More complex filter, searching by object class and two other        attribute types: 
  524.  
  525.  
  526.  
  527.  
  528.  
  529. Barker & Hedberg                                               [Page 15] 
  530.  RFC 1564                      DSA Metrics                   January 1994 
  531.  
  532.             objectClass=person AND            (commonName=XXX* OR telephoneNumber=*YYY) 
  533.  
  534.    75. Search returning all entries (i.e., 100 entries in the single        level search, and all 20000 entries in the subtree search: 
  535.  
  536.            objectClass=* 
  537.  
  538.        In this case, no attribute values should be returned in the        result set. 
  539.  
  540. 10.1.4  Read 
  541.  
  542.    76. A single read operation, returning all attributes. 
  543.  
  544. 10.1.5  Add entry 
  545.  
  546.    77. Add an entry beneath an entry which has: 
  547.  
  548.       (a)  0 children 
  549.  
  550.       (b)  10 children 
  551.  
  552.       (c)  1000 children 
  553.  
  554. 10.1.6  Modify entry 
  555.  
  556.    Modify an attribute value, other than an RDN value, for an entry    which has 
  557.  
  558.    1.  10 siblings 
  559.  
  560.    2.  1000 siblings 
  561.  
  562.    78. Modify an entry 
  563.  
  564.       (a)  Add description attribute 
  565.  
  566.       (b)  Remove description attribute 
  567.  
  568. 10.1.7  Modify RDN 
  569.  
  570.    Modify an RDN value for an entry with the following number of    siblings. 
  571.  
  572.  
  573.  
  574.  
  575.  
  576.  
  577.  
  578. Barker & Hedberg                                               [Page 16] 
  579.  RFC 1564                      DSA Metrics                   January 1994 
  580.  
  581.     79. Modify RDN 
  582.  
  583.       (a)  10 siblings 
  584.  
  585.       (b)  1000 siblings 
  586.  
  587. 10.1.8  Query rate 
  588.  
  589.    As the time taken for a single read will usually be negligible, the    following list and set of reads should give a clearer indication of    the query rate. 
  590.  
  591.    80. A list to return 100 entries for persons, and then a read of each        entry returning all attribute values. 
  592.  
  593. 10.2  The results 
  594.  
  595.    The results of the tests just described should be entered in Table 2    (and optionally Table 3), at the end of the document. 
  596.  
  597. 10.3  Environment used for benchmarking 
  598.  
  599.    Date of test.........................................................    Name of tester ......................................................    The results will be directly correlated to the test set-up used, and    in particular, the hardware.  Please answer the following questions    to describe the test environment: 
  600.  
  601.       (a)  Processor (make and model) .................................. 
  602.  
  603.       (b)  Processor speed (MIPS) ...................................... 
  604.  
  605.       (c)  Primary memory available .................................... 
  606.  
  607.       (d)  If disk-based DSA, disk I/O interface and disk speed ........ 
  608.  
  609.       (e)  O/S version ................................................. 
  610.  
  611.       (f)  Network type and bandwidth (e.g., 10 Mbit Ethernet) ......... 
  612.  
  613.       (g)  Protocols in transport layer and below (e.g., TP 0, RFC1006,            TCP/IP) ..................................................... 
  614.  
  615.       (h)  How/where timings obtained? 
  616.  
  617.             o  C procedural interface .................................. 
  618.  
  619.             o  DUA shell (e.g., Quipu's DISH) .......................... 
  620.  
  621.  
  622.  
  623. Barker & Hedberg                                               [Page 17] 
  624.  RFC 1564                      DSA Metrics                   January 1994 
  625.  
  626.            +-------------------------------------------------+           |             Section            ||    Points     |           +--------------------------------||---------------+           | No.||Description               |Maximum|Scored  |           +----||--------------------------|-------|--------+           |    ||                          |       |        |           |   2||General Information       |  20   |        |           +----||--------------------------|-------|--------+           |    ||                          |       |        |           |   3||Conformance to OSI        |  35   |        |           +----||--------------------------|-------|--------+           |    ||          |               |       |        |           |   4||Other protocols           |   5   |        |           +----||--------------------------|-------|--------+           |    ||          |               |       |        |           |   5||Extensions| Schema        |  16   |        |           +----||          |---------------|-------|--------+           |    ||          |               |       |        |           |    ||to the    |Replication    |  10   |        |           +----||          |---------------|-------|--------+           |    ||          |               |       |        |           |    ||1988      |Access Control |  15   |        |           +----||          |---------------|-------|--------+           |    ||          |               |       |        |           |    ||standard  |Miscellaneous  |   5   |        |           +----||--------------------------|-------|--------+           |    ||Miscellaneous             |       |        |           |   6||characteristics           |  15   |        |           +----||--------------------------|-------|--------+           |    ||                          |       |        |           |   7||Management tools          |  10   |        |           +----||--------------------------|-------|--------+           |    ||                          |       |        |           |   8||Operational use           |  10   |        |           +----||--------------------------|-------|--------+           |    ||                          |       |        |           |   9||Interoperability          |  10   |        |           +----||--------------------------|-------|--------+           |    ||                          |  see  |        |           |  10||Performance               |table 2|        |           +-------------------------------------------------+ 
  627.  
  628.                           Table 1:  DSA Metrics 
  629.  
  630.  
  631.  
  632.  
  633.  
  634.  
  635.  
  636.  Barker & Hedberg                                               [Page 18] 
  637.  RFC 1564                      DSA Metrics                   January 1994 
  638.  
  639.          +------------------------------------------------------+         | Operation         ||   Cold DSA    ||     Optimum    |         |                   ||               ||   Performance  |         +-------------------||---------------||----------------+         | Bind              ||               ||                |         |    --Anonymous    ||.............. || .............. |         |    --Simple       ||.............. || .............. |         |    --Simple Prot  ||.............. || .............. |         |    --Strong       ||.............. || .............. |         +-------------------||---------------||----------------+         | List              ||               ||                |         |    -- 10 entries  ||.............. || .............. |         |    -- 1000 entries||.............. || .............. |         +-------------------||---------------||----------------+         | Search             |single|subtree |single|subtree   |         |                    |level |        |level |          |         |                    |------|--------|------|----------|         |    -- exact        |....  |......  |..... | ......   |         |    -- leading sub  |....  |......  |..... | ......   |         |    -- any sub      |....  |......  |..... | ......   |         |    -- trailing sub |....  |......  |..... | ......   |         |    -- approx       |....  |......  |..... | ......   |         |    -- complex      |....  |......  |..... | ......   |         |    -- return all   |....  |......  |..... | ......   |         +--------------------|------|--------|------|----------|         | Read              ||.............. || .............. |         +-------------------||---------------||----------------+         | Add               ||               ||                |         |     0 siblings    ||.............. || .............. |         |     10 siblings   ||.............. || .............. |         |     1000 siblings ||.............. || .............. |         +-------------------||---------------||----------------+         | Modify            ||               ||                |         |     10 siblings   ||.............. || .............. |         |     1000 siblings ||.............. || .............. |         +-------------------||---------------||----------------+         | Modify RDN        ||               ||                |         |     10 siblings   ||.............. || .............. |         |     1000 siblings ||.............. || .............. |         +-------------------||---------------||----------------+         | Query rate        ||.............. || .............. |         +-------------------||---------------||----------------+ 
  640.  
  641.             Table 2:  Speed of operations - default set-up 
  642.  
  643.  
  644.  
  645.  
  646.  
  647.  
  648.  
  649. Barker & Hedberg                                               [Page 19] 
  650.  RFC 1564                      DSA Metrics                   January 1994 
  651.  
  652.          +------------------------------------------------------+         | Operation         ||   Cold DSA    ||     Optimum    |         |                   ||               ||   Performance  |         +-------------------||---------------||----------------+         | Bind              ||               ||                |         |    --Anonymous    ||.............. || .............. |         |    --Simple       ||.............. || .............. |         |    --Simple Prot  ||.............. || .............. |         |    --Strong       ||.............. || .............. |         +-------------------||---------------||----------------+         | List              ||               ||                |         |    -- 10 entries  ||.............. || .............. |         |    -- 1000 entries||.............. || .............. |         +-------------------||---------------||----------------+         | Search             |single|subtree |single|subtree   |         |                    |level |        |level |          |         |                    |------|--------|------|----------|         |    -- exact        |....  |......  |..... | ......   |         |    -- leading sub  |....  |......  |..... | ......   |         |    -- any sub      |....  |......  |..... | ......   |         |    -- trailing sub |....  |......  |..... | ......   |         |    -- approx       |....  |......  |..... | ......   |         |    -- complex      |....  |......  |..... | ......   |         |    -- return all   |....  |......  |..... | ......   |         +--------------------|------|--------|------|----------|         | Read              ||.............. || .............. |         +-------------------||---------------||----------------+         | Add               ||               ||                |         |     0 siblings    ||.............. || .............. |         |     10 siblings   ||.............. || .............. |         |     1000 siblings ||.............. || .............. |         +-------------------||---------------||----------------+         | Modify            ||               ||                |         |     10 siblings   ||.............. || .............. |         |     1000 siblings ||.............. || .............. |         +-------------------||---------------||----------------+         | Modify RDN        ||               ||                |         |     10 siblings   ||.............. || .............. |         |     1000 siblings ||.............. || .............. |         +-------------------||---------------||----------------+         | Query rate        ||.............. || .............. |         +-------------------||---------------||----------------+ 
  653.  
  654.           Table 3:  Speed of operations - non-default set-up 
  655.  
  656.  
  657.  
  658.  
  659.  
  660.  
  661.  
  662. Barker & Hedberg                                               [Page 20] 
  663.  RFC 1564                      DSA Metrics                   January 1994 
  664.  
  665.  Security Considerations 
  666.  
  667.    Security issues are not discussed in this memo. 
  668.  
  669. Authors' Addresses 
  670.  
  671.    Paul Barker    Department of Computer Science    University College London    Gower Street    London    WC1E 6BT    United Kingdom 
  672.  
  673.    Phone: +44 71 380 7366    Fax:   +44 71 387 1397    EMail: P.Barker@cs.ucl.ac.uk 
  674.  
  675.     Roland Hedberg    Rekencentrum    Delft Technical University    Michiel de Ruyterweg 10-12    Postbus 354, 2600 AJ Delft    The Netherlands 
  676.  
  677.    Phone: +31 15 785210    EMail: Roland.Hedberg@rc.tudelft.nl 
  678.  
  679.    OR 
  680.  
  681.    Roland Hedberg    Umdac    University of Umea    s-901 87 Umea    Sweden 
  682.  
  683.    Phone: +46 90 165204    EMail: Roland.Hedberg@umdac.umu.se 
  684.  
  685.  
  686.  
  687.  
  688.  
  689.  
  690.  
  691.  
  692.  
  693.  
  694.  
  695.  Barker & Hedberg                                               [Page 21] 
  696.  
  697.