home *** CD-ROM | disk | FTP | other *** search
/ Internet Info 1997 December / Internet_Info_CD-ROM_Walnut_Creek_December_1997.iso / ietf / bmwg / bmwg-minutes-95sep.txt < prev    next >
Text File  |  1996-06-03  |  4KB  |  151 lines
  1. INTERIM MEETING REPORT
  2.  
  3.  
  4. Minutes of an Interim Meeting on IP Provider Metrics
  5.  
  6. Benchmark Methodology Working Group (BMWG)
  7.  
  8.  
  9. Pittsburgh Supercomputer Center
  10. 12 September 1995
  11.  
  12. Reported by E. Paul Love.
  13.  
  14. Guy Almes opened the meeting with a brief background of the 
  15. combination of IPPM within the BMWG.  This was the preference of 
  16. the Area Directors.  The co-chairs of BMWG are Guy Almes and Jim 
  17. McQuaid.
  18.  
  19. Agenda for the afternoon
  20.     Review of IPPM to date
  21.     Quick run through of the Stockholm slide presentation
  22.     Settings of priorities & assignments
  23.     Technical presentations by
  24.         Vern Paxson - LBL
  25.         Matt Mathis - PSC
  26.  
  27. IPPM to date
  28.     Pre-Danvers.  Initial work in IRTF's End to End - Winter 94
  29.         through Winter 95.
  30.     BOF chaired by Matt Mathis at Danvers
  31.     Stockholm meeting has about 2 dozen participants
  32.     Mailing list now has about 300
  33.     This interim meeting
  34.     On schedule for meeting at Dallas
  35.  
  36. Stockholm slides (also in Stockholm Proceedings and via ftp at 
  37. [ftp://ftp.advanced.org/pub/IPPM/Jul-95/IPPM-Slides.ps])
  38.     Context
  39.         Growing complexity of the Internet exponential
  40.     Criteria of IP Provider Metrics
  41.         Concrete & repeatable
  42.         Useful to both users & providers
  43.         Avoid inducing artificial performance goals
  44.         No bias for equal technologies
  45.         Fair bias for non-equal technologies
  46.     Hierarchy of Metrics
  47.         Vague, gut level concept - e.g. delay
  48.         Precise, but possibly not a measurable concept
  49.          - e.g. delay of 3000 octet packet between 2 points
  50.         Precise & measurable
  51.     An Initial Set of Needed Metrics
  52.         Path Performance
  53.             Delay
  54.             Expected flow capacity for a single application
  55.             Expected aggregated flow capacity
  56.             Reliability
  57.             Delay - packet loss as they enable flow
  58.             control
  59.             Delay - jitter as it enables flow control
  60.             - multicast
  61.         Routing Stability/robustness
  62.             End to end
  63.             Stability
  64.             Quickness of recovery
  65.             Coverage
  66.             CIDR effectiveness
  67.         DNS Performance
  68.         Security of Infrastructure
  69.         NOC Responsiveness
  70.     Existing Tools
  71.         Trace route
  72.         Routing logs
  73.         Ping
  74.         ttcp
  75.         Traffic logs
  76.     Needed New Tools
  77.         Capacity tools that don't swamp production traffic
  78.         Long distance AS-path analysis tools
  79.         Better instrumentation of TCP
  80.     Relation to Emerging Infrastructure
  81.         Potential use of NAP's as locus for placing
  82.         measurement tools
  83.     Benefits
  84.         To users - when to pressure providers
  85.         To providers - knowing how to better communicate to
  86.         users, vendors & competition
  87.     Administrative Issues
  88.         IPPM is within BMWG for now
  89.         Meetings at IETF's
  90.         Between IETF's as needed
  91.         Separate WG perhaps later
  92.     Typical Agenda
  93.         Evolve consensus of metrics
  94.         Share results on tools that measure them
  95.         Share results on applications of these tools
  96.         Keep community mindful of best practices
  97.  
  98. Needed Development
  99.     General - Criteria for metrics
  100.     Pre-metric developments
  101.     Draft metric definitions
  102.     Experience ID's
  103.         An experience with tool development
  104.         An experience with tool application
  105.     [floor comment] - Do we partition routing from path
  106.     (flow & capacity) metrics?
  107.     Make sure metric definitions are same across platforms,
  108.     even if tools are different (or just similar)
  109.  
  110. High Priority Metrics
  111.     IP packet delay across paths - mean & variance
  112.     Flow capacity across paths
  113.         Single high speed flow
  114.         Aggregation of flows
  115.  
  116. Floor Comments
  117.     Who should run what?
  118.         Joe user?
  119.         Just providers on themselves?
  120.     What is the path to be measured?
  121.     Definitions of terms (rfc1242 can serve as a start)
  122.     Users don't care about packets/sec while providers may well
  123.     New things to test
  124.         Stockholm/Hawaii T3 delay-bandwidth product
  125.     Can a provider reach all portions of the global Internet?
  126.         A new tool for "Coverage."
  127.     How to publish a "Consumer's Reports for the Internet"?
  128.     Collusion from providers may be needed for routing, though not 
  129.         for paths.
  130.     More metrics to consider
  131.         Packet loss
  132.         Availability of service - up time
  133.         Access - probability of a busy signal for dial in 
  134.                          customers
  135.         Bits/sec - raw, total vs. capacity above an average,
  136.                background load
  137.         Means of measuring need to increase a provider's
  138.             infrastructure - aggregation, muxing, etc.
  139.         Costs with performance metrics.  Also, "good enough",
  140.              cheapest, etc.
  141.  
  142. Presentations
  143.     Matt Mattis - Top Down vs. Bottom Up
  144.         [ftp://ftp.advanced.org/pub/IPPM/Sep-
  145. 95/TrenoTal.ps]
  146.     Vern Paxson - Endpoint Measurement of Network Condition
  147.         [ftp://ftp.advanced.org/pub/IPPM/Sep-95/paxson-
  148.                 slides.ps]
  149.  
  150.  
  151.