home *** CD-ROM | disk | FTP | other *** search
/ ftp.f-secure.com / 2014.06.ftp.f-secure.com.tar / ftp.f-secure.com / support / hotfix / fsis / IS-SpamControl.fsfix / iufssc / lib / LWP / Protocol / http.pm < prev    next >
Text File  |  2006-11-29  |  11KB  |  420 lines
  1. # $Id: http.pm 2397 2005-12-23 13:06:15Z kankri $
  2. #
  3.  
  4. package LWP::Protocol::http;
  5.  
  6. use strict;
  7.  
  8. require LWP::Debug;
  9. require HTTP::Response;
  10. require HTTP::Status;
  11. require Net::HTTP;
  12.  
  13. use vars qw(@ISA @EXTRA_SOCK_OPTS);
  14.  
  15. require LWP::Protocol;
  16. @ISA = qw(LWP::Protocol);
  17.  
  18. my $CRLF = "\015\012";
  19.  
  20. sub _new_socket
  21. {
  22.     my($self, $host, $port, $timeout) = @_;
  23.     my $conn_cache = $self->{ua}{conn_cache};
  24.     if ($conn_cache) {
  25.     if (my $sock = $conn_cache->withdraw("http", "$host:$port")) {
  26.         return $sock if $sock && !$sock->can_read(0);
  27.         # if the socket is readable, then either the peer has closed the
  28.         # connection or there are some garbage bytes on it.  In either
  29.         # case we abandon it.
  30.         $sock->close;
  31.     }
  32.     }
  33.  
  34.     local($^W) = 0;  # IO::Socket::INET can be noisy
  35.     my $sock = $self->socket_class->new(PeerAddr => $host,
  36.                     PeerPort => $port,
  37.                     Proto    => 'tcp',
  38.                     Timeout  => $timeout,
  39.                     KeepAlive => !!$conn_cache,
  40.                     SendTE    => 1,
  41.                     $self->_extra_sock_opts($host, $port),
  42.                        );
  43.  
  44.     unless ($sock) {
  45.     # IO::Socket::INET leaves additional error messages in $@
  46.     $@ =~ s/^.*?: //;
  47.     die "Can't connect to $host:$port ($@)";
  48.     }
  49.  
  50.     # perl 5.005's IO::Socket does not have the blocking method.
  51.     eval { $sock->blocking(0); };
  52.  
  53.     $sock;
  54. }
  55.  
  56. sub socket_class
  57. {
  58.     my $self = shift;
  59.     (ref($self) || $self) . "::Socket";
  60. }
  61.  
  62. sub _extra_sock_opts  # to be overridden by subclass
  63. {
  64.     return @EXTRA_SOCK_OPTS;
  65. }
  66.  
  67. sub _check_sock
  68. {
  69.     #my($self, $req, $sock) = @_;
  70. }
  71.  
  72. sub _get_sock_info
  73. {
  74.     my($self, $res, $sock) = @_;
  75.     if (defined(my $peerhost = $sock->peerhost)) {
  76.         $res->header("Client-Peer" => "$peerhost:" . $sock->peerport);
  77.     }
  78. }
  79.  
  80. sub _fixup_header
  81. {
  82.     my($self, $h, $url, $proxy) = @_;
  83.  
  84.     # Extract 'Host' header
  85.     my $hhost = $url->authority;
  86.     if ($hhost =~ s/^([^\@]*)\@//) {  # get rid of potential "user:pass@"
  87.     # add authorization header if we need them.  HTTP URLs do
  88.     # not really support specification of user and password, but
  89.     # we allow it.
  90.     if (defined($1) && not $h->header('Authorization')) {
  91.         require URI::Escape;
  92.         $h->authorization_basic(map URI::Escape::uri_unescape($_),
  93.                     split(":", $1, 2));
  94.     }
  95.     }
  96.     $h->init_header('Host' => $hhost);
  97.  
  98.     if ($proxy) {
  99.     # Check the proxy URI's userinfo() for proxy credentials
  100.     # export http_proxy="http://proxyuser:proxypass@proxyhost:port"
  101.     my $p_auth = $proxy->userinfo();
  102.     if(defined $p_auth) {
  103.         require URI::Escape;
  104.         $h->proxy_authorization_basic(map URI::Escape::uri_unescape($_),
  105.                       split(":", $p_auth, 2))
  106.     }
  107.     }
  108. }
  109.  
  110. sub hlist_remove {
  111.     my($hlist, $k) = @_;
  112.     $k = lc $k;
  113.     for (my $i = @$hlist - 2; $i >= 0; $i -= 2) {
  114.     next unless lc($hlist->[$i]) eq $k;
  115.     splice(@$hlist, $i, 2);
  116.     }
  117. }
  118.  
  119. sub request
  120. {
  121.     my($self, $request, $proxy, $arg, $size, $timeout) = @_;
  122.     LWP::Debug::trace('()');
  123.  
  124.     $size ||= 4096;
  125.  
  126.     # check method
  127.     my $method = $request->method;
  128.     unless ($method =~ /^[A-Za-z0-9_!\#\$%&\'*+\-.^\`|~]+$/) {  # HTTP token
  129.     return new HTTP::Response &HTTP::Status::RC_BAD_REQUEST,
  130.                   'Library does not allow method ' .
  131.                   "$method for 'http:' URLs";
  132.     }
  133.  
  134.     my $url = $request->url;
  135.     my($host, $port, $fullpath);
  136.  
  137.     # Check if we're proxy'ing
  138.     if (defined $proxy) {
  139.     # $proxy is an URL to an HTTP server which will proxy this request
  140.     $host = $proxy->host;
  141.     $port = $proxy->port;
  142.     $fullpath = $method eq "CONNECT" ?
  143.                        ($url->host . ":" . $url->port) :
  144.                        $url->as_string;
  145.     }
  146.     else {
  147.     $host = $url->host;
  148.     $port = $url->port;
  149.     $fullpath = $url->path_query;
  150.     $fullpath = "/$fullpath" unless $fullpath =~ m,^/,;
  151.     }
  152.  
  153.     # connect to remote site
  154.     my $socket = $self->_new_socket($host, $port, $timeout);
  155.     $self->_check_sock($request, $socket);
  156.  
  157.     my @h;
  158.     my $request_headers = $request->headers->clone;
  159.     $self->_fixup_header($request_headers, $url, $proxy);
  160.  
  161.     $request_headers->scan(sub {
  162.                    my($k, $v) = @_;
  163.                    $k =~ s/^://;
  164.                    $v =~ s/\n/ /g;
  165.                    push(@h, $k, $v);
  166.                });
  167.  
  168.     my $content_ref = $request->content_ref;
  169.     $content_ref = $$content_ref if ref($$content_ref);
  170.     my $chunked;
  171.     my $has_content;
  172.  
  173.     if (ref($content_ref) eq 'CODE') {
  174.     my $clen = $request_headers->header('Content-Length');
  175.     $has_content++ if $clen;
  176.     unless (defined $clen) {
  177.         push(@h, "Transfer-Encoding" => "chunked");
  178.         $has_content++;
  179.         $chunked++;
  180.     }
  181.     }
  182.     else {
  183.     # Set (or override) Content-Length header
  184.     my $clen = $request_headers->header('Content-Length');
  185.     if (defined($$content_ref) && length($$content_ref)) {
  186.         $has_content = length($$content_ref);
  187.         if (!defined($clen) || $clen ne $has_content) {
  188.         if (defined $clen) {
  189.             warn "Content-Length header value was wrong, fixed";
  190.             hlist_remove(\@h, 'Content-Length');
  191.         }
  192.         push(@h, 'Content-Length' => $has_content);
  193.         }
  194.     }
  195.     elsif ($clen) {
  196.         warn "Content-Length set when there is no content, fixed";
  197.         hlist_remove(\@h, 'Content-Length');
  198.     }
  199.     }
  200.  
  201.     my $write_wait = 0;
  202.     $write_wait = 2
  203.     if ($request_headers->header("Expect") || "") =~ /100-continue/;
  204.  
  205.     my $req_buf = $socket->format_request($method, $fullpath, @h);
  206.     #print "------\n$req_buf\n------\n";
  207.  
  208.     if (!$has_content || $write_wait || $has_content > 8*1024) {
  209.     # XXX need to watch out for write timeouts
  210.     my $n = $socket->syswrite($req_buf, length($req_buf));
  211.     die $! unless defined($n);
  212.     die "short write" unless $n == length($req_buf);
  213.     #LWP::Debug::conns($req_buf);
  214.     $req_buf = "";
  215.     }
  216.  
  217.     my($code, $mess, @junk);
  218.     my $drop_connection;
  219.  
  220.     if ($has_content) {
  221.     my $eof;
  222.     my $wbuf;
  223.     my $woffset = 0;
  224.     if (ref($content_ref) eq 'CODE') {
  225.         my $buf = &$content_ref();
  226.         $buf = "" unless defined($buf);
  227.         $buf = sprintf "%x%s%s%s", length($buf), $CRLF, $buf, $CRLF
  228.         if $chunked;
  229.         substr($buf, 0, 0) = $req_buf if $req_buf;
  230.         $wbuf = \$buf;
  231.     }
  232.     else {
  233.         if ($req_buf) {
  234.         my $buf = $req_buf . $$content_ref;
  235.         $wbuf = \$buf;
  236.         }
  237.         else {
  238.         $wbuf = $content_ref;
  239.         }
  240.         $eof = 1;
  241.     }
  242.  
  243.     my $fbits = '';
  244.     vec($fbits, fileno($socket), 1) = 1;
  245.  
  246.     while ($woffset < length($$wbuf)) {
  247.  
  248.         my $time_before;
  249.         my $sel_timeout = $timeout;
  250.         if ($write_wait) {
  251.         $time_before = time;
  252.         $sel_timeout = $write_wait if $write_wait < $sel_timeout;
  253.         }
  254.  
  255.         my $rbits = $fbits;
  256.         my $wbits = $write_wait ? undef : $fbits;
  257.         my $nfound = select($rbits, $wbits, undef, $sel_timeout);
  258.         unless (defined $nfound) {
  259.         die "select failed: $!";
  260.         }
  261.  
  262.         if ($write_wait) {
  263.         $write_wait -= time - $time_before;
  264.         $write_wait = 0 if $write_wait < 0;
  265.         }
  266.  
  267.         if (defined($rbits) && $rbits =~ /[^\0]/) {
  268.         # readable
  269.         my $buf = $socket->_rbuf;
  270.         my $n = $socket->sysread($buf, 1024, length($buf));
  271.         unless ($n) {
  272.             die "EOF";
  273.         }
  274.         $socket->_rbuf($buf);
  275.         if ($buf =~ /\015?\012\015?\012/) {
  276.             # a whole response present
  277.             ($code, $mess, @h) = $socket->read_response_headers(laxed => 1,
  278.                                     junk_out => \@junk,
  279.                                        );
  280.             if ($code eq "100") {
  281.             $write_wait = 0;
  282.             undef($code);
  283.             }
  284.             else {
  285.             $drop_connection++;
  286.             last;
  287.             # XXX should perhaps try to abort write in a nice way too
  288.             }
  289.         }
  290.         }
  291.         if (defined($wbits) && $wbits =~ /[^\0]/) {
  292.         my $n = $socket->syswrite($$wbuf, length($$wbuf), $woffset);
  293.         unless ($n) {
  294.             die "syswrite: $!" unless defined $n;
  295.             die "syswrite: no bytes written";
  296.         }
  297.         $woffset += $n;
  298.  
  299.         if (!$eof && $woffset >= length($$wbuf)) {
  300.             # need to refill buffer from $content_ref code
  301.             my $buf = &$content_ref();
  302.             $buf = "" unless defined($buf);
  303.             $eof++ unless length($buf);
  304.             $buf = sprintf "%x%s%s%s", length($buf), $CRLF, $buf, $CRLF
  305.             if $chunked;
  306.             $wbuf = \$buf;
  307.             $woffset = 0;
  308.         }
  309.         }
  310.     }
  311.     }
  312.  
  313.     ($code, $mess, @h) = $socket->read_response_headers(laxed => 1, junk_out => \@junk)
  314.     unless $code;
  315.     ($code, $mess, @h) = $socket->read_response_headers(laxed => 1, junk_out => \@junk)
  316.     if $code eq "100";
  317.  
  318.     my $response = HTTP::Response->new($code, $mess);
  319.     my $peer_http_version = $socket->peer_http_version;
  320.     $response->protocol("HTTP/$peer_http_version");
  321.     while (@h) {
  322.     my($k, $v) = splice(@h, 0, 2);
  323.     $response->push_header($k, $v);
  324.     }
  325.     $response->push_header("Client-Junk" => \@junk) if @junk;
  326.  
  327.     $response->request($request);
  328.     $self->_get_sock_info($response, $socket);
  329.  
  330.     if ($method eq "CONNECT") {
  331.     $response->{client_socket} = $socket;  # so it can be picked up
  332.     return $response;
  333.     }
  334.  
  335.     if (my @te = $response->remove_header('Transfer-Encoding')) {
  336.     $response->push_header('Client-Transfer-Encoding', \@te);
  337.     }
  338.     $response->push_header('Client-Response-Num', $socket->increment_response_count);
  339.  
  340.     my $complete;
  341.     $response = $self->collect($arg, $response, sub {
  342.     my $buf = ""; #prevent use of uninitialized value in SSLeay.xs
  343.     my $n;
  344.       READ:
  345.     {
  346.         $n = $socket->read_entity_body($buf, $size);
  347.         die "Can't read entity body: $!" unless defined $n;
  348.         redo READ if $n == -1;
  349.     }
  350.     $complete++ if !$n;
  351.         return \$buf;
  352.     } );
  353.     $drop_connection++ unless $complete;
  354.  
  355.     @h = $socket->get_trailers;
  356.     while (@h) {
  357.     my($k, $v) = splice(@h, 0, 2);
  358.     $response->push_header($k, $v);
  359.     }
  360.  
  361.     # keep-alive support
  362.     unless ($drop_connection) {
  363.     if (my $conn_cache = $self->{ua}{conn_cache}) {
  364.         my %connection = map { (lc($_) => 1) }
  365.                      split(/\s*,\s*/, ($response->header("Connection") || ""));
  366.         if (($peer_http_version eq "1.1" && !$connection{close}) ||
  367.         $connection{"keep-alive"})
  368.         {
  369.         LWP::Debug::debug("Keep the http connection to $host:$port");
  370.         $conn_cache->deposit("http", "$host:$port", $socket);
  371.         }
  372.     }
  373.     }
  374.  
  375.     $response;
  376. }
  377.  
  378.  
  379. #-----------------------------------------------------------
  380. package LWP::Protocol::http::SocketMethods;
  381.  
  382. sub sysread {
  383.     my $self = shift;
  384.     if (my $timeout = ${*$self}{io_socket_timeout}) {
  385.     die "read timeout" unless $self->can_read($timeout);
  386.     }
  387.     else {
  388.     # since we have made the socket non-blocking we
  389.     # use select to wait for some data to arrive
  390.     $self->can_read(undef) || die "Assert";
  391.     }
  392.     sysread($self, $_[0], $_[1], $_[2] || 0);
  393. }
  394.  
  395. sub can_read {
  396.     my($self, $timeout) = @_;
  397.     my $fbits = '';
  398.     vec($fbits, fileno($self), 1) = 1;
  399.     my $nfound = select($fbits, undef, undef, $timeout);
  400.     die "select failed: $!" unless defined $nfound;
  401.     return $nfound > 0;
  402. }
  403.  
  404. sub ping {
  405.     my $self = shift;
  406.     !$self->can_read(0);
  407. }
  408.  
  409. sub increment_response_count {
  410.     my $self = shift;
  411.     return ++${*$self}{'myhttp_response_count'};
  412. }
  413.  
  414. #-----------------------------------------------------------
  415. package LWP::Protocol::http::Socket;
  416. use vars qw(@ISA);
  417. @ISA = qw(LWP::Protocol::http::SocketMethods Net::HTTP);
  418.  
  419. 1;
  420.