home *** CD-ROM | disk | FTP | other *** search
/ Internet Info 1997 December / Internet_Info_CD-ROM_Walnut_Creek_December_1997.iso / rfc / rfc2211 < prev    next >
Text File  |  1997-10-01  |  47KB  |  1,068 lines

  1.  
  2.  
  3.  
  4.  
  5.  
  6.  
  7. Network Working Group                                      J. Wroclawski
  8. Request For Comments: 2211                                       MIT LCS
  9. Category: Standards Track                                 September 1997
  10.  
  11.  
  12.  
  13.       Specification of the Controlled-Load Network Element Service
  14.  
  15.  
  16. Status of this Memo
  17.  
  18.    This document specifies an Internet standards track protocol for the
  19.    Internet community, and requests discussion and suggestions for
  20.    improvements.  Please refer to the current edition of the "Internet
  21.    Official Protocol Standards" (STD 1) for the standardization state
  22.    and status of this protocol.  Distribution of this memo is unlimited.
  23.  
  24. Abstract
  25.  
  26.    This memo specifies the network element behavior required to deliver
  27.    Controlled-Load service in the Internet.  Controlled-load service
  28.    provides the client data flow with a quality of service closely
  29.    approximating the QoS that same flow would receive from an unloaded
  30.    network element, but uses capacity (admission) control to assure that
  31.    this service is received even when the network element is overloaded.
  32.  
  33. 1. Introduction
  34.  
  35.    This document defines the requirements for network elements that
  36.    support the Controlled-Load service.  This memo is one of a series of
  37.    documents that specify the network element behavior required to
  38.    support various qualities of service in IP internetworks.  Services
  39.    described in these documents are useful both in the global Internet
  40.    and private IP networks.
  41.  
  42.    This document is based on the service specification template given in
  43.    [1]. Please refer to that document for definitions and additional
  44.    information about the specification of qualities of service within
  45.    the IP protocol family.
  46.  
  47.  
  48.  
  49.  
  50.  
  51.  
  52.  
  53.  
  54.  
  55.  
  56.  
  57.  
  58. Wroclawski                 Standards Track                      [Page 1]
  59.  
  60. RFC 2211                Controlled-Load Network           September 1997
  61.  
  62.  
  63. 2. End-to-End Behavior
  64.  
  65.    The end-to-end behavior provided to an application by a series of
  66.    network elements providing controlled-load service tightly
  67.    approximates the behavior visible to applications receiving best-
  68.    effort service *under unloaded conditions* from the same series of
  69.    network elements.  Assuming the network is functioning correctly,
  70.    these applications may assume that:
  71.  
  72.      - A very high percentage of transmitted packets will be
  73.      successfully delivered by the network to the receiving end-nodes.
  74.      (The percentage of packets not successfully delivered must closely
  75.      approximate the basic packet error rate of the transmission
  76.      medium).
  77.  
  78.      - The transit delay experienced by a very high percentage of the
  79.      delivered packets will not greatly exceed the minimum transmit
  80.      delay experienced by any successfully delivered packet. (This
  81.      minimum transit delay includes speed-of-light delay plus the fixed
  82.      processing time in routers and other communications devices along
  83.      the path.)
  84.  
  85.    To ensure that these conditions are met, clients requesting
  86.    controlled-load service provide the intermediate network elements
  87.    with a estimation of the data traffic they will generate; the TSpec.
  88.    In return, the service ensures that network element resources
  89.    adequate to process traffic falling within this descriptive envelope
  90.    will be available to the client. Should the client's traffic
  91.    generation properties fall outside of the region described by the
  92.    TSpec parameters, the QoS provided to the client may exhibit
  93.    characteristics indicative of overload, including large numbers of
  94.    delayed or dropped packets. The service definition does not require
  95.    that the precise characteristics of this overload behavior match
  96.    those which would be received by a best-effort data flow traversing
  97.    the same path under overloaded conditions.
  98.  
  99.       NOTE: In this memo, the term "unloaded" is used in the sense of
  100.       "not heavily loaded or congested" rather than in the sense of "no
  101.       other network traffic whatsoever".
  102.  
  103. 3. Motivation
  104.  
  105.    The controlled load service is intended to support a broad class of
  106.    applications which have been developed for use in today's Internet,
  107.    but are highly sensitive to overloaded conditions.  Important members
  108.    of this class are the "adaptive real-time applications" currently
  109.  
  110.  
  111.  
  112.  
  113.  
  114. Wroclawski                 Standards Track                      [Page 2]
  115.  
  116. RFC 2211                Controlled-Load Network           September 1997
  117.  
  118.  
  119.    offered by a number of vendors and researchers. These applications
  120.    have been shown to work well on unloaded nets, but to degrade quickly
  121.    under overloaded conditions. A service which mimics unloaded nets
  122.    serves these applications well.
  123.  
  124.    The controlled-load service is intentionally minimal, in that there
  125.    are no optional functions or capabilities in the specification. The
  126.    service offers only a single function, and system and application
  127.    designers can assume that all implementations will be identical in
  128.    this respect.
  129.  
  130.    Internally, the controlled-load service is suited to a wide range of
  131.    implementation techniques, including evolving scheduling and
  132.    admission control algorithms that allow implementations to be highly
  133.    efficient in the use of network resources. It is equally amenable to
  134.    extremely simple implementation in circumstances where maximum
  135.    utilization of network resources is not the only concern.
  136.  
  137. 4. Network Element Data Handling Requirements
  138.  
  139.    Each network element accepting a request for controlled-load service
  140.    must ensure that adequate bandwidth and packet processing resources
  141.    are available to handle the requested level of traffic, as given by
  142.    the requestor's TSpec. This must be accomplished through active
  143.    admission control. All resources important to the operation of the
  144.    network element must be considered when admitting a request. Common
  145.    examples of such resources include link bandwidth, router or switch
  146.    port buffer space, and computational capacity of the packet
  147.    forwarding engine.
  148.  
  149.    The controlled-load service does not accept or make use of specific
  150.    target values for control parameters such as delay or loss. Instead,
  151.    acceptance of a request for controlled-load service is defined to
  152.    imply a commitment by the network element to provide the requestor
  153.    with service closely equivalent to that provided to uncontrolled
  154.    (best-effort) traffic under lightly loaded conditions.
  155.  
  156.    The definition of "closely equivalent to unloaded best-effort
  157.    service" is necessarily imprecise. It is easiest to define this
  158.    quality of service by describing the events which are expected to
  159.    *not* occur with any frequency. A flow receiving controlled-load
  160.    service at a network element may expect to experience:
  161.  
  162.  
  163.  
  164.  
  165.  
  166.  
  167.  
  168.  
  169.  
  170. Wroclawski                 Standards Track                      [Page 3]
  171.  
  172. RFC 2211                Controlled-Load Network           September 1997
  173.  
  174.  
  175.      - Little or no average packet queueing delay over all timescales
  176.      significantly larger than the "burst time". The burst time is
  177.      defined as the time required for the flow's maximum size data burst
  178.      to be transmitted at the flow's requested transmission rate, where
  179.      the burst size and rate are given by the flow's TSpec, as described
  180.      below.
  181.  
  182.      - Little or no congestion loss over all timescales significantly
  183.      larger than the "burst time" defined above.  In this context,
  184.      congestion loss includes packet losses due to shortage of any
  185.      required processing resource, such as buffer space or link
  186.      bandwidth.  Although occasional congestion losses may occur, any
  187.      substantial sustained loss represents a failure of the admission
  188.      control algorithm.
  189.  
  190.    The basic effect of this language is to establish an expectation on
  191.    the *duration* of a disruption in delivery service. Events of shorter
  192.    duration are viewed as statistical effects which may occur in normal
  193.    operation. Events of longer duration are indicative of failure to
  194.    allocate adequate capacity to the controlled-load flow.
  195.  
  196.    A network element may employ statistical approaches to decide whether
  197.    adequate capacity is available to accept a service request. For
  198.    example, a network element processing a number of flows with long-
  199.    term characteristics predicted through measurement of past behavior
  200.    may be able to overallocate its resources to some extent without
  201.    reducing the level of service delivered to the flows.
  202.  
  203.    A network element may employ any appropriate scheduling means to
  204.    ensure that admitted flows receive appropriate service.
  205.  
  206.       NOTE: The flexibility implied by the above paragraph exists within
  207.       definite limits. Readers should observe that the specification's
  208.       requirement that the delay and loss behavior described above
  209.       imposes concrete requirements on implementations.
  210.  
  211.       Perhaps the most important requirement is that the implementation
  212.       has to make bandwidth greater than the Tspec token rate available
  213.       to the flow in certain situations. The requirement for the
  214.       availability of extra bandwidth may be derived from the fluid
  215.       model of traffic scheduling (e.g. [7]). If a flow receives exactly
  216.       its promised token rate at all times, queueing caused by an over-
  217.       rate burst arriving at the network element may never clear,
  218.       causing the traffic queueing delay to permanantly increase. This
  219.       will happen if the flow continues to generate traffic at exactly
  220.       the token rate after emitting the burst.
  221.  
  222.  
  223.  
  224.  
  225.  
  226. Wroclawski                 Standards Track                      [Page 4]
  227.  
  228. RFC 2211                Controlled-Load Network           September 1997
  229.  
  230.  
  231.       To control the long-term effects of traffic bursts, a Controlled
  232.       Load implementation has several options. At minimum, a mechanism
  233.       must be present to "borrow" bandwidth needed to clear bursts from
  234.       the network. There are a number of ways to implement such a
  235.       mechanism, ranging from explicit borrowing schemes within the
  236.       traffic scheduler to implicit schemes based on statistical
  237.       multiplexing and measurement-based admission control. The
  238.       specification does not prefer any method over any other, but does
  239.       require that some such mechanism must exist.
  240.  
  241.       Similarly, the requirement for low congestion loss for in-Tspec
  242.       traffic implies that buffer management must have some flexibility.
  243.       Because the controlled-load service does not reshape traffic to
  244.       its token-bucket parameters at every node, traffic flowing through
  245.       the network will be distorted as it traverses queueing points.
  246.       This distortion is particularly likely to occur during traffic
  247.       bursts, precisely when buffering is most heavily used. In these
  248.       circumstances, rigidly restricting the buffering capacity to a
  249.       size equal to the flow's TSpec burst size may lead to congestion
  250.       loss. An implementaton should be prepared to make additional
  251.       buffering available to bursting flows. Again, this may be
  252.       accomplished in a number of ways. One obvious choice is
  253.       statistical multiplexing of a shared buffer pool.
  254.  
  255.    Links are not permitted to fragment packets which receive the
  256.    controlled-load service. Packets larger than the MTU of the link must
  257.    be treated as nonconformant to the TSpec. This implies that they will
  258.    be forwarded according to the rules described in the Policing section
  259.    below.
  260.  
  261.    Implementations of controlled-load service are not required to
  262.    provide any control of short-term packet delay jitter beyond that
  263.    described above. However, the use of packet scheduling algorithms
  264.    that provide additional jitter control is not prohibited by this
  265.    specification.
  266.  
  267.    Packet losses due to non-congestion-related causes, such as link
  268.    errors, are not bounded by this service.
  269.  
  270. 5. Invocation Information
  271.  
  272.    The controlled-load service is invoked by specifying the data flow's
  273.    desired traffic parameters (TSpec) to the network element. Requests
  274.    placed for a new flow will be accepted if the network element has the
  275.    capacity to forward the flow's packets as described above. Requests
  276.    to change the TSpec for an existing flow should be treated as a new
  277.    invocation, in the sense that admission control must be reapplied to
  278.    the flow. Requests that reduce the TSpec for an existing flow (in the
  279.  
  280.  
  281.  
  282. Wroclawski                 Standards Track                      [Page 5]
  283.  
  284. RFC 2211                Controlled-Load Network           September 1997
  285.  
  286.  
  287.    sense that the new TSpec is strictly smaller than the old TSpec
  288.    according to the ordering rules given below) should never be denied
  289.    service.
  290.  
  291.    The Controlled-Load service uses the TOKEN_BUCKET_TSPEC defined in
  292.    Reference [5] to describe a data flow's traffic parameters. This
  293.    TSpec takes the form of a token bucket specification plus a peak rate
  294.    (p), a minimum policed unit (m) and a maximum packet size (M).
  295.  
  296.    The token bucket specification includes a bucket rate r and a bucket
  297.    depth, b.  Both r and b must be positive.  The rate, r, is measured
  298.    in bytes of IP datagrams per second. Values of this parameter may
  299.    range from 1 byte per second to 40 terabytes per second. Network
  300.    elements MUST return an error for requests containing values outside
  301.    this range. Network elements MUST return an error for any request
  302.    containing a value within this range which cannot be supported by the
  303.    element. In practice, only the first few digits of the r parameter
  304.    are significant, so the use of floating point representations,
  305.    accurate to at least 0.1% is encouraged.
  306.  
  307.    The bucket depth, b, is measured in bytes. Values of this parameter
  308.    may range from 1 byte to 250 gigabytes. Network elements MUST return
  309.    an error for requests containing values outside this range. Network
  310.    elements MUST return an error for any request containing a value
  311.    within this range which cannot be supported by the element. In
  312.    practice, only the first few digits of the b parameter are
  313.    significant, so the use of floating point representations, accurate
  314.    to at least 0.1% is encouraged.
  315.  
  316.    The range of values allowed for these parameters is intentionally
  317.    large to allow for future network technologies. Any given network
  318.    element is not expected to support the full range of values.
  319.  
  320.    The peak rate, p, is measured in bytes of IP datagrams per second and
  321.    has the same range and suggested representation as the bucket rate.
  322.    The peak rate parameter exists in this version of the specification
  323.    primarily for TSpec compatability with other QoS control services and
  324.    the shared TOKEN_BUCKET_TSPEC parameter. While some admission control
  325.    and buffer allocation algorithms may find the peak rate value useful,
  326.    the field may always be ignored by a Controlled-Load service
  327.    conforming to this version of the specification. That is, the service
  328.    module at a network element may always assume that the peak data rate
  329.    arriving at that element is the line rate of the incoming interface,
  330.    and the service's evaluation criteria do not require a network
  331.    element to consider the peak rate value. More explicit use of the
  332.    peak-rate parameter by a Controlled-Load service module may be added
  333.    to the specification in the future.
  334.  
  335.  
  336.  
  337.  
  338. Wroclawski                 Standards Track                      [Page 6]
  339.  
  340. RFC 2211                Controlled-Load Network           September 1997
  341.  
  342.  
  343.    The minimum policed unit, m, is an integer measured in bytes.  All IP
  344.    datagrams less than size m will be counted against the token bucket
  345.    as being of size m. The maximum packet size, M, is the biggest packet
  346.    that will conform to the traffic specification; it is also measured
  347.    in bytes.  Network elements MUST reject a service request if the
  348.    requested maximum packet size is larger than the MTU of the link.
  349.    Both m and M must be positive, and m must be less then or equal to M.
  350.  
  351.    The preferred concrete representation for the TSpec is three floating
  352.    point numbers in single-precision IEEE floating point format followed
  353.    by two 32-bit integers in network byte order.  The first value is the
  354.    rate (r), the second value is the bucket size (b), the third is the
  355.    peak rate (p), the fourth is the minimum policed unit (m), and the
  356.    fifth is the maximum packet size (M). For the parameters (r) and (b),
  357.    only bit-patterns which represent valid non-negative floating point
  358.    numbers are allowed. Negative numbers (including "negative zero),
  359.    infinities, and NAN's are not allowed.  For the parameter (p) only
  360.    bit-patterns which represent valid non-negative floating point
  361.    numbers or positive infinity are allowed. Positive infinity is
  362.    represented with an exponent of all ones (255) and a sign bit and
  363.    mantissa of all zeroes. Negative numbers (including "negative zero"),
  364.    negative infinity, and NAN's are not allowed.
  365.  
  366.       NOTE: An implementation which utilizes general-purpose hardware or
  367.       software IEEE floating-point support may wish to verify that
  368.       arriving parameters meet this requirement before using the
  369.       parameters in floating-point computations, in order to avoid
  370.       unexpected exceptions or traps.
  371.  
  372.    The controlled-load service is assigned service_name 5.
  373.  
  374.    The TOKEN_BUCKET_TSPEC parameter used by the Controlled-Load service
  375.    is general parameter number 127, as indicated in [5].
  376.  
  377. 6. Exported Information
  378.  
  379.    The controlled-load service has no required characterization
  380.    parameters. Individual implementations may export appropriate
  381.    implementation-specific measurement and monitoring information.
  382.  
  383. 7. Policing
  384.  
  385.    The controlled-load service is provided to a flow on the basis that
  386.    the flow's traffic conforms to a TSpec given at flow setup time. This
  387.    section defines the meaning of conformance to the controlled-load
  388.    TSpec, describes the circumstances under which a controlled-load
  389.    flow's traffic might *not* conform to the TSpec, and specifies the
  390.    network element's action in those circumstances.
  391.  
  392.  
  393.  
  394. Wroclawski                 Standards Track                      [Page 7]
  395.  
  396. RFC 2211                Controlled-Load Network           September 1997
  397.  
  398.  
  399.    Controlled-load service modules provide QoS control for traffic
  400.    conforming to the TSpec given at setup time.  The TSpec's token
  401.    bucket parameters require that traffic must obey the rule that over
  402.    all time periods, the amount of data sent does not exceed rT+b, where
  403.    r and b are the token bucket parameters and T is the length of the
  404.    time period.  For the purposes of this accounting, links must count
  405.    packets that are smaller than the minimal policing unit m to be of
  406.    size m.  Packets that arrive at an element and cause a violation of
  407.    the the rT+b bound are considered nonconformant.
  408.  
  409.    Additionally, packets bigger than the outgoing link MTU are
  410.    considered nonconformant.  It is expected that this situation will
  411.    not arise with any frequency, because flow setup mechanisms are
  412.    expected to notify the sending application of the appropriate path
  413.    MTU.
  414.  
  415.    In the presence of nonconformant packets arriving for one or more
  416.    controlled-load flows, each network element must ensure locally that
  417.    the following requirements are met:
  418.  
  419.      1) The network element MUST continue to provide the contracted
  420.      quality of service to those controlled-load flows not experiencing
  421.      excess traffic.
  422.  
  423.      2) The network element SHOULD prevent excess controlled-load
  424.      traffic from unfairly impacting the handling of arriving best-
  425.      effort traffic.  This requirement is discussed further in Section 9
  426.      of this document (Guidelines for Implementors).
  427.  
  428.      3) Consistent with points 1 and 2, the network element MUST attempt
  429.      to forward the excess traffic on a best-effort basis if sufficient
  430.      resources are available.
  431.  
  432.    Network elements must not assume that that arrival of nonconformant
  433.    traffic for a specific controlled-load flow will be unusual, or
  434.    indicative of error.  In certain circumstances (particularly, routers
  435.    acting as the "split points" of a multicast distribution tree
  436.    supporting a shared reservation) large numbers of packets will fail
  437.    the conformance test *as a matter of normal operation*.
  438.  
  439.    Network elements must not assume that data sources or upstream
  440.    elements have taken action to "police" controlled-load flows by
  441.    limiting their traffic to conform to the flow's TSpec.  Each network
  442.    element providing controlled-load service MUST independently ensure
  443.    that the requirements given above are met in the presence of
  444.    nonconformant arriving traffic for one or more controlled-load flows.
  445.  
  446.  
  447.  
  448.  
  449.  
  450. Wroclawski                 Standards Track                      [Page 8]
  451.  
  452. RFC 2211                Controlled-Load Network           September 1997
  453.  
  454.  
  455.    Network elements may use any appropriate implementation mechanism to
  456.    meet the requirements given above.  Examples of such mechanisms
  457.    include token-bucket policing filters and per-flow scheduling
  458.    algorithms.  However, it is insufficient to simply place all
  459.    controlled-load flows into the same shared resource pool, without
  460.    first ensuring that non-conformant flows are prevented from starving
  461.    conformant flows of the necessary processing resources.
  462.  
  463.    Further discussion of this issue may be found in Section 11 of this
  464.    note.
  465.  
  466.    Beyond requirements 2 and 3 above, the controlled-load service does
  467.    not define the QoS behavior delivered to flows with non-conformant
  468.    arriving traffic.  Specifically, it is permissible either to degrade
  469.    the service delivered to all of the flow's packets equally, or to
  470.    sort the flow's packets into a conformant set and a nonconformant set
  471.    and deliver different levels of service to the two sets. This point
  472.    is discussed further in Section 9 of this note.
  473.  
  474.    When resources are available, network elements at points within the
  475.    interior of the network SHOULD be prepared to accommodate packet
  476.    bursts somewhat larger than the actual TSpec. This requirement
  477.    derives from the traffic distortion effect described in Section 4. As
  478.    described there, it may be met either through explicit means or
  479.    statistical multiplexing of shared buffering resources.
  480.  
  481.    When handling such traffic, it is permissible to allow some delaying
  482.    of a packet if that delay would allow it to pass the policing
  483.    function.  (In other words, to reshape the traffic).  However, the
  484.    overall requirement for limiting the duration of any such traffic
  485.    distortion must be considered. The challenge is to define a viable
  486.    reshaping function.
  487.  
  488.    Intuitively, a plausible approach is to allow a delay of (roughly) up
  489.    to the maximum queueing delay experienced by completely conforming
  490.    packets before declaring that a packet has failed to pass the
  491.    policing function. The merit of this approach, and the precise
  492.    wording of the specification that describes it, require further
  493.    study.
  494.  
  495. 8. Ordering and Merging
  496.  
  497.    The controlled-load service TSpec is ordered according to the
  498.    following rule: TSpec A is a substitute for ("as good or better than"
  499.    or "greater than or equal to") TSpec B if and only if:
  500.  
  501.  
  502.  
  503.  
  504.  
  505.  
  506. Wroclawski                 Standards Track                      [Page 9]
  507.  
  508. RFC 2211                Controlled-Load Network           September 1997
  509.  
  510.  
  511.      (1) the token bucket rate r for TSpec A is greater than or equal to
  512.      that of TSpec B,
  513.  
  514.      (2) the token bucket depth b for TSpec A is greater than or equal
  515.      to that of TSpec B,
  516.  
  517.      (3) the peak rate p for TSpec A is greater than or equal to that of
  518.      TSpec B,
  519.  
  520.      (4) the minimum policed unit m for TSpec A is less than or equal to
  521.      that of TSpec B,
  522.  
  523.      (5) the maximum packet size M of TSpec A is greater than or equal
  524.      to that of TSpec B.
  525.  
  526.    Note that not all TSpecs can be ordered with respect to each other.
  527.    If two TSpecs differ but not all five of the points above are true,
  528.    then the TSpecs are unordered.
  529.  
  530.    A merged TSpec is the TSpec used by the RSVP protocol when merging a
  531.    set of TSpecs to create a "merged" reservation. TSpec merging is
  532.    described further in [4] and [3]. The TSpec merge operation addresses
  533.    two requirements:
  534.  
  535.      - The "merged" TSpec parameters are used as the traffic flow's
  536.      TSpec at the local node.
  537.  
  538.      - The merged parameters are passed upstream to traffic source(s) to
  539.      describe characteristics of the actually installed reservation
  540.      along the data path.
  541.  
  542.    For the controlled-load service, a merged TSpec may be calculated
  543.    over a set of TSpecs by taking:
  544.  
  545.      (1) the largest token bucket rate r;
  546.  
  547.      (2) the largest token bucket size b;
  548.  
  549.      (3) the largest peak rate p;
  550.  
  551.      (4) the smallest minimal policed unit m;
  552.  
  553.      (5) the *smallest* maximum packet size M;
  554.  
  555.    across all members of the set.
  556.  
  557.  
  558.  
  559.  
  560.  
  561.  
  562. Wroclawski                 Standards Track                     [Page 10]
  563.  
  564. RFC 2211                Controlled-Load Network           September 1997
  565.  
  566.  
  567.    A Least Common TSpec is a TSpec adequate to describe the traffic from
  568.    any one of a number of traffic flows. The least common TSpec may be
  569.    useful when creating a shared reservation for a number of flows using
  570.    SNMP or another management protocol. This differs from the merged
  571.    TSpec described above in that the computed parameters are not passed
  572.    upstream to the sources of traffic.
  573.  
  574.    For the controlled-load service, the Least Common TSpec may be
  575.    calculated over a set of TSpecs by taking:
  576.  
  577.      (1) the largest token bucket rate r;
  578.  
  579.      (2) the largest token bucket size b;
  580.  
  581.      (3) the largest peak rate p;
  582.  
  583.      (4) the smallest minimal policed unit m;
  584.  
  585.      (5) the largest maximum packet size M;
  586.  
  587.    across all members of the set.
  588.  
  589.    The sum of n controlled-load service TSpecs is used when computing
  590.    the TSpec for a shared reservation of n flows. It is computed by
  591.    taking:
  592.  
  593.      - The sum across all TSpecs of the token bucket rate parameter r.
  594.  
  595.      - The sum across all TSpecs of the token bucket size parameter b.
  596.  
  597.      - The sum across all TSpecs of the peak rate parameter p.
  598.  
  599.      - The minimum across all TSpecs of the minimum policed unit
  600.        parameter m.
  601.  
  602.      - The maximum across all TSpecs of the maximum packet size
  603.        parameter M.
  604.  
  605.    The minimum of two TSpecs differs according to whether the TSpecs can
  606.    be ordered according to the "greater than or equal to" rule above.
  607.    If one TSpec is less than the other TSpec, the smaller TSpec is the
  608.    minimum.  For unordered TSpecs, a different rule is used.  The
  609.    minimum of two unordered TSpecs is determined by comparing the
  610.    respective values in the two TSpecs and choosing:
  611.  
  612.  
  613.  
  614.  
  615.  
  616.  
  617.  
  618. Wroclawski                 Standards Track                     [Page 11]
  619.  
  620. RFC 2211                Controlled-Load Network           September 1997
  621.  
  622.  
  623.      (1) the smaller token bucket rate r;
  624.  
  625.      (2) the *larger* token bucket size b;
  626.  
  627.      (3) the smaller peak rate p;
  628.  
  629.      (4) the *smaller* minimum policed unit m;
  630.  
  631.      (5) the smaller maximum packet size M;
  632.  
  633. 9. Guidelines for Implementors
  634.  
  635.    REQUIREMENTS PLACED ON ADMISSION CONTROL ALGORITHM: The intention of
  636.    this service specification is that network elements deliver a level
  637.    of service closely approximating best-effort service under unloaded
  638.    conditions. As with best-effort service under these conditions, it is
  639.    not required that every single packet must be successfully delivered
  640.    with zero queueing delay. Network elements providing controlled-load
  641.    service are permitted to oversubscribe the available resources to
  642.    some extent, in the sense that the bandwidth and buffer requirements
  643.    indicated by summing the TSpec token buckets of all controlled-load
  644.    flows may exceed the maximum capabilities of the network element.
  645.    However, this oversubscription may only be done in cases where the
  646.    element is quite sure that actual utilization is less than the sum of
  647.    the token buckets would suggest, so that the implementor's
  648.    performance goals will be met. This information may come from
  649.    measurement of the aggregate traffic flow, specific knowledge of
  650.    application traffic statistics, or other means. The most conservative
  651.    approach, rejection of new flows whenever the addition of their
  652.    traffic would cause the strict sum of the token buckets to exceed the
  653.    capacity of the network element (including consideration of resources
  654.    needed to maintain the delay and loss characteristics specified by
  655.    the service) may be appropriate in other circumstances.
  656.  
  657.    Specific issues related to this subject are discussed in the
  658.    "Evaluation Criteria" and "Examples of Implementation" sections
  659.    below.
  660.  
  661.    INTERACTION WITH BEST-EFFORT TRAFFIC: Implementors of this service
  662.    should clearly understand that in certain circumstances (routers
  663.    acting as the "split points" of a multicast distribution tree
  664.    supporting a shared reservation) large numbers of a flow's packets
  665.    may fail the TSpec conformance test *as a matter of normal
  666.    operation*.  According to the requirements of Section 7, these
  667.    packets should be forwarded on a best-effort basis if resources
  668.    permit.
  669.  
  670.  
  671.  
  672.  
  673.  
  674. Wroclawski                 Standards Track                     [Page 12]
  675.  
  676. RFC 2211                Controlled-Load Network           September 1997
  677.  
  678.  
  679.    If the network element's best-effort queueing algorithm does not
  680.    distinguish between these packets and elastic best-effort traffic
  681.    such as TCP flows, THE EXCESS CONTROLLED-LOAD PACKETS WILL "BACK OFF"
  682.    THE ELASTIC TRAFFIC AND DOMINATE THE BEST-EFFORT BANDWIDTH USAGE. The
  683.    integrated services framework does not currently address this issue.
  684.    However, several possible solutions to the problem are known [RED,
  685.    xFQ].  Network elements supporting the controlled load service should
  686.    implement some mechanism in their best-effort queueing path to
  687.    discriminate between classes of best-effort traffic and provide
  688.    elastic traffic with protection from inelastic best-effort flows.
  689.  
  690.    Two basic approaches are available to meet this requirement. The
  691.    network element can maintain separate resource allocations for
  692.    different classes of best-effort traffic, so that no one class will
  693.    excessively dominate the loaded best-effort mix. Alternatively, an
  694.    element can process excess controlled-load traffic at somewhat lower
  695.    priority than elastic best-effort traffic, so as to completely avoid
  696.    the back-off effect discussed above.
  697.  
  698.    If most or all controlled-load traffic arises from non-rate-adaptive
  699.    real-time applications, the use of priority mechanisms might be
  700.    desirable. If most controlled-load traffic arises from rate-adaptive
  701.    realtime or elastic applications attempting to establish a bounded
  702.    minimum level of service, the use of separate resource classes might
  703.    be preferable. However, this is not a firm guideline. In practice,
  704.    the network element designer's choice of mechanism will depend
  705.    heavily on both the goals of the design and the implementation
  706.    techniques appropriate for the designer's platform. This version of
  707.    the service specification does not specify one or the other behavior,
  708.    but leaves the choice to the implementor.
  709.  
  710.    FORWARDING BEHAVIOR IN PRESENCE OF NONCONFORMANT TRAFFIC: As
  711.    indicated in Section 7, the controlled-load service does not define
  712.    the QoS behavior delivered to flows with non-conformant arriving
  713.    traffic.  It is permissible either to degrade the service delivered
  714.    to all of the flow's packets equally, or to sort the flow's packets
  715.    into a conformant set and a nonconformant set and deliver different
  716.    levels of service to the two sets.
  717.  
  718.    In the first case, expected queueing delay and packet loss
  719.    probability will rise for all packets in the flow, but packet
  720.    delivery reordering will, in general, remain at low levels. This
  721.    behavior is preferable for those applications or transport protocols
  722.    which are sensitive to excessive packet reordering. A possible
  723.    example is an unmodified TCP connection, which would see reordering
  724.    as lost packets, triggering duplicate acks and hence excessive
  725.    retransmissions.
  726.  
  727.  
  728.  
  729.  
  730. Wroclawski                 Standards Track                     [Page 13]
  731.  
  732. RFC 2211                Controlled-Load Network           September 1997
  733.  
  734.  
  735.    In the second case, some subset of the flow's packets will be
  736.    delivered with low loss and delay, while some other subset will be
  737.    delivered with higher loss and potentially higher delay. The delayed
  738.    packets will appear to the receiver to have been reordered in the
  739.    network, while the non-delayed packets will, on average, arrive in a
  740.    more timely fashion than if all packets were treated equally. This
  741.    might be preferable for applications which are highly time-sensitive,
  742.    such as interactive conferencing tools.
  743.  
  744. 10. Evaluation Criteria
  745.  
  746.    The basic requirement placed on an implementation of controlled-load
  747.    service is that, under all conditions, it provide accepted data flows
  748.    with service closely similar to the service that same flow would
  749.    receive using best-effort service under unloaded conditions.
  750.  
  751.    This suggests a simple two-step evaluation strategy. Step one is to
  752.    compare the service given best-effort traffic and controlled-load
  753.    traffic under underloaded conditions.
  754.  
  755.      - Measure the packet loss rate and delay characteristics of a test
  756.      flow using best-effort service and with no load on the network
  757.      element.
  758.  
  759.      - Compare those measurements with measurements of the same flow
  760.      receiving controlled-load service with no load on the network
  761.      element.
  762.  
  763.      Closer measurements indicate higher evaluation ratings. A
  764.      substantial difference in the delay characteristics, such as the
  765.      smoothing which would be seen in an implementation which scheduled
  766.      the controlled-load flow using a fixed, constant-bitrate algorithm,
  767.      should result in a somewhat lower rating.
  768.  
  769.    Step two is to observe the change in service received by a
  770.    controlled-load flow as the load increases.
  771.  
  772.      - Increase the background traffic load on the network element,
  773.      while continuing to measuring the loss and delay characteristics of
  774.      the controlled-load flow. Characteristics which remain essentially
  775.      constant as the element is driven into overload indicate a high
  776.      evaluation rating. Minor changes in the delay distribution indicate
  777.      a somewhat lower rating. Significant increases in delay or loss
  778.      indicate a poor evaluation rating.
  779.  
  780.  
  781.  
  782.  
  783.  
  784.  
  785.  
  786. Wroclawski                 Standards Track                     [Page 14]
  787.  
  788. RFC 2211                Controlled-Load Network           September 1997
  789.  
  790.  
  791.    This simple model is not adequate to fully evaluate the performance
  792.    of controlled-load service. Three additional variables affect the
  793.    evaluation. The first is the short-term burstiness of the traffic
  794.    stream used to perform the tests outlined above. The second is the
  795.    degree of long-term change in the controlled-load traffic within the
  796.    bounds of its TSpec.  (Changes in this characteristic will have great
  797.    effect on the effectiveness of certain admission control algorithms.)
  798.    The third is the ratio of controlled-load traffic to other traffic at
  799.    the network element (either best effort or other controlled
  800.    services).
  801.  
  802.    The third variable should be specifically evaluated using the
  803.    following procedure.
  804.  
  805.      With no controlled-load flows in place, overload the network
  806.      element with best-effort traffic (as indicated by substantial
  807.      packet loss and queueing delay).
  808.  
  809.      Execute requests for controlled-load service giving TSpecs with
  810.      increasingly large rate and burst parameters. If the request is
  811.      accepted, verify that traffic matching the TSpec is in fact handled
  812.      with characteristics closely approximating the unloaded
  813.      measurements taken above.
  814.  
  815.      Repeat these experiments to determine the range of traffic
  816.      parameter (rate, burst size) values successfully handled by the
  817.      network element. The useful range of each parameter must be
  818.      determined for several settings of the other parameter, to map out
  819.      a two-dimensional "region" of successfully handled TSpecs. When
  820.      compared with network elements providing similar capabilities, this
  821.      region indicates the relative ability of the elements to provide
  822.      controlled-load service under high load. A larger region indicates
  823.      a higher evaluation rating.
  824.  
  825. 11. Examples of Implementation
  826.  
  827.    One possible implementation of controlled-load service is to provide
  828.    a queueing mechanism with two priority levels; a high priority one
  829.    for controlled-load and a lower priority one for best effort service.
  830.    An admission control algorithm is used to limit the amount of traffic
  831.    placed into the high-priority queue. This algorithm may be based
  832.    either on the specified characteristics of the high-priority flows
  833.    (using information provided by the TSpecs), or on the measured
  834.    characteristics of the existing high-priority flows and the TSpec of
  835.    the new request.
  836.  
  837.    Another possible implementation of controlled-load service is based
  838.    on the existing capabilities of network elements which support
  839.  
  840.  
  841.  
  842. Wroclawski                 Standards Track                     [Page 15]
  843.  
  844. RFC 2211                Controlled-Load Network           September 1997
  845.  
  846.  
  847.    "traffic classes" based on mechanisms such as weighted fair queueing
  848.    or class-based queueing [6]. In this case, it is sufficient to map
  849.    data flows accepted for controlled-load service into an existing
  850.    traffic class with adequate capacity to avoid overload. This
  851.  
  852.    requirement is enforced by an admission control algorithm which
  853.    considers the characteristics of the traffic class, the
  854.    characteristics of the traffic already admitted to the class, and the
  855.    TSpec of the new flow requesting service. Again, the admission
  856.    control algorithm may be based either on the TSpec-specified or the
  857.    measured characteristics of the existing traffic.
  858.  
  859.    A specific case of the above approach is to employ a scheduler which
  860.    implements weighted fair queueing or similar load-management scheme,
  861.    allocating a separate scheduling queue with correctly chosen weight
  862.    to each individual controlled-load flow.  In this circumstance, the
  863.    traffic scheduler also plays the role of the policing function, by
  864.    ensuring that nonconformant traffic arriving for one controlled-load
  865.    flow does not affect either other controlled-load flows or the best-
  866.    effort traffic. This elimination of mechanism is balanced by the
  867.    drawback that the approach does not benefit from any performance or
  868.    resource usage gain arising from statistical aggregation of several
  869.    flows into a single queueing class.
  870.  
  871.    Admission control algorithms based on specified characteristics are
  872.    likely be appropriate when the number of flows in the high-priority
  873.    class is small, or the traffic characteristics of the flows appear
  874.    highly variable. In these situations the measured behavior of the
  875.    aggregate controlled-load traffic stream may not serve as an
  876.    effective predictor of future traffic, leading a measurement-based
  877.    admission control algorithm to produce incorrect results. Conversely,
  878.    in situations where the past behavior of the aggregate controlled-
  879.    load traffic *is* a good predictor of future behavior, a measurement-
  880.    based admission control algorithm may allow more traffic to be
  881.    admitted to the controlled-load service class with no degradation in
  882.    performance. An implementation may choose to switch between these two
  883.    approaches depending on the nature of the traffic stream at a given
  884.    time.
  885.  
  886.    A variety of techniques may be used to provide the desired isolation
  887.    between excess (nonconformant) controlled-load traffic and other
  888.    best-effort traffic. Use of a low priority queue for nonconformant
  889.    controlled-load traffic is simple, but other approaches may provide
  890.    superior service or fit better into existing architectures.  Variants
  891.    of fair queueing or weighted fair queueing may be used to allocate a
  892.    percentage of the available resources to different best-effort
  893.    traffic classes. One approach would be to allocate each controlled-
  894.    load flow a a 1/N "fair share" percentage of the available best-
  895.  
  896.  
  897.  
  898. Wroclawski                 Standards Track                     [Page 16]
  899.  
  900. RFC 2211                Controlled-Load Network           September 1997
  901.  
  902.  
  903.    effort bandwidth for its excess traffic. An alternate approach would
  904.    be to provide a single WFQ resource class for all excess controlled-
  905.    load traffic.  Finally, alternate mechanisms such as RED [xxx] may be
  906.    used to provide the same overall function.
  907.  
  908. 12. Examples of Use
  909.  
  910.    The controlled-load service may be used by any application which can
  911.    make use of best-effort service, but is best suited to those
  912.    applications which can usefully characterize their traffic
  913.    requirements.  Applications based on the transport of "continuous
  914.    media" data, such as digitized audio or video, are an important
  915.    example of this class.
  916.  
  917.    The controlled-load service is not isochronous and does not provide
  918.    any explicit information about transmission delay. For this reason,
  919.    applications with end-to-end timing requirements, including the
  920.    continuous-media class mentioned above, provide an application-
  921.    specific timing recovery mechanism, similar or identical to the
  922.    mechanisms required when these applications use best-effort service.
  923.    A protocol useful to applications requiring this capability is the
  924.    IETF Real-Time Transport Protocol [2].
  925.  
  926.    Load-sensitive applications may choose to request controlled-load
  927.    service whenever they are run. Alternatively, these applications may
  928.    monitor their own performance and request controlled-load service
  929.    from the network only when best-effort service is not providing
  930.    acceptable performance. The first strategy provides higher assurance
  931.    that the level of quality delivered to the user will not change over
  932.    the lifetime of an application session. The second strategy provides
  933.    greated flexibility and offers cost savings in environments where
  934.    levels of service above best-effort incur a charge.
  935.  
  936. 13. Security Considerations
  937.  
  938.    A network element implementing the service described here is
  939.    intentionally and explicitly expected to give preferential treatment
  940.    to selected packet traffic. This memo does not describe the mechanism
  941.    used to indicate which traffic is to receive the preferential
  942.    treatment - rather, the controlled-load service described here may be
  943.    invoked by a number of mechanisms, including RSVP, SNMP network
  944.    management software, or proprietary control software. However, any
  945.    mechanism used to invoke the controlled load service must provide
  946.    security sufficient to guard against use of this preferential
  947.    treatment capability by undesired or unauthorized traffic.  A correct
  948.    implementation of the controlled-load service is *not* susceptable to
  949.    a denial-of-service attack based on maliciously requesting a very
  950.    small resource allocation for the attacked traffic flow. This is
  951.  
  952.  
  953.  
  954. Wroclawski                 Standards Track                     [Page 17]
  955.  
  956. RFC 2211                Controlled-Load Network           September 1997
  957.  
  958.  
  959.    because the service specification requires that traffic in excess of
  960.    the requested level be carried on a best-effort basis, rather than
  961.    being dropped. This requirement is discussed further in Section 7 of
  962.    this memo.
  963.  
  964.    Of necessity, giving preferential service to certain traffic flows
  965.    implies giving less service to other traffic flows.  Thus, it is
  966.    possible to conduct a denial of service attack by maliciously
  967.    reconfiguring the controlled-load "admission control algorithm" to
  968.    allow overallocation of available bandwidth or other forwarding
  969.    resources, starving non-controlled-load flows. In general, this is
  970.    unlikely to increase the network's vulnerability to attack, because
  971.    many other reconfigurations of a router or host can cause denial of
  972.    service. It is reasonable to assume that whatever means is used to
  973.    protect against other reconfiguration attacks will be adequate to
  974.    protect against this one as well.
  975.  
  976. Appendix 1: Use of the Controlled-Load service with RSVP
  977.  
  978.    The use of Controlled-Load service in conjunction with the RSVP
  979.    resource reservation setup protocol is specified in reference [4].
  980.    This document gives the format of RSVP FLOWSPEC, SENDER_TSPEC, and
  981.    ADSPEC objects needed to support applications desiring Controlled-
  982.    Load service and gives information about how RSVP processes those
  983.    objects. The RSVP protocol itself is specified in Reference [3].
  984.  
  985. References
  986.  
  987.    [1] Shenker, S., and J. Wroclawski. "Network Element Service
  988.    Specification Template", RFC 2216, September 1997.
  989.  
  990.    [2] Schulzrinne, H., Casner, S., Frederick, R., and V. Jacobson.
  991.    "RTP: A Transport Protocol for Real-Time Applications", RFC 1889,
  992.    January 1996.
  993.  
  994.    [3] Braden, R., Ed., et. al., "Resource Reservation Protocol (RSVP) -
  995.    Version 1 Functional Specification", RFC 2205, September 1997.
  996.  
  997.    [4] Wroclawski, J., "The use of RSVP with IETF Integrated Services",
  998.    RFC 2210, September 1997.
  999.  
  1000.    [5] Shenker, S., and J. Wroclawski, "General Characterization
  1001.    Parameters for Integrated Service Network Elements", RFC 2215,
  1002.    September 1997.
  1003.  
  1004.  
  1005.  
  1006.  
  1007.  
  1008.  
  1009.  
  1010. Wroclawski                 Standards Track                     [Page 18]
  1011.  
  1012. RFC 2211                Controlled-Load Network           September 1997
  1013.  
  1014.  
  1015.    [6] S. Floyd, and V. Jacobson.  "Link-sharing and Resource Management
  1016.    Models for Packet Networks," IEEE/ACM Transactions on Networking,
  1017.    Vol. 3 No. 4, pp. 365-386, August 1995.
  1018.  
  1019.    [7] A. K. J. Parekh. "A Generalized Processor Sharing Approach to
  1020.    Flow Control in Integrated Service Networks". MIT Laboratory for
  1021.    Information and Decision Systems, Report LIDS-TH-2089, February 1992
  1022.  
  1023. Author's Address
  1024.  
  1025.    John Wroclawski
  1026.    MIT Laboratory for Computer Science
  1027.    545 Technology Sq.
  1028.    Cambridge, MA  02139
  1029.  
  1030.    Phone: 617-253-7885
  1031.    Fax:   617-253-2673 (FAX)
  1032.    EMail: jtw@lcs.mit.edu
  1033.  
  1034.  
  1035.  
  1036.  
  1037.  
  1038.  
  1039.  
  1040.  
  1041.  
  1042.  
  1043.  
  1044.  
  1045.  
  1046.  
  1047.  
  1048.  
  1049.  
  1050.  
  1051.  
  1052.  
  1053.  
  1054.  
  1055.  
  1056.  
  1057.  
  1058.  
  1059.  
  1060.  
  1061.  
  1062.  
  1063.  
  1064.  
  1065.  
  1066. Wroclawski                 Standards Track                     [Page 19]
  1067.  
  1068.