home *** CD-ROM | disk | FTP | other *** search
/ Acorn User 10 / AU_CD10.iso / Updates / Perl / Perl_Libs / site_perl / HTML / Parser.pm < prev    next >
Text File  |  1997-12-12  |  12KB  |  434 lines
  1. package HTML::Parser;
  2.  
  3. # $Id: Parser.pm,v 2.12 1997/12/11 23:59:39 aas Exp $
  4.  
  5. use strict;
  6. use HTML::Entities ();
  7.  
  8. use vars qw($VERSION);
  9. $VERSION = sprintf("%d.%02d", q$Revision: 2.12 $ =~ /(\d+)\.(\d+)/);
  10.  
  11.  
  12. sub new
  13. {
  14.     my $class = shift;
  15.     my $self = bless { '_buf'            => '',
  16.                '_strict_comment' => 0,
  17.              }, $class;
  18.     $self;
  19. }
  20.  
  21.  
  22. # A note about how Netscape does it:
  23. #
  24. # It parse <xmp> in the depreceated 'literal' mode, i.e. no tags are
  25. # recognized until a </xmp> is found.
  26. # 
  27. # <listing> is parsed like <pre>, i.e. tags are recognized.  <listing>
  28. # are presentend in smaller font than <pre>
  29. #
  30. # Netscape does not parse this comment correctly (it terminates the comment
  31. # too early):
  32. #
  33. #    <! -- comment -- --> more comment -->
  34. #
  35. # Netscape does not allow space after the initial "<" in the start tag.
  36. # Like this "<a href='gisle'>"
  37. #
  38. # Netscape ignores '<!--' and '-->' within the <SCRIPT> and <STYLE> tag.
  39. # This is used as a trick to make non-script-aware browsers ignore
  40. # the scripts.
  41.  
  42.  
  43. sub parse
  44. {
  45.     my $self = shift;
  46.     my $buf = \ $self->{'_buf'};
  47.     unless (defined $_[0]) {
  48.     # signals EOF (assume rest is plain text)
  49.     $self->text($$buf) if length $$buf;
  50.     $$buf = '';
  51.     return $self;
  52.     }
  53.     $$buf .= $_[0];
  54.     my $netscape_comment = !$self->{'_strict_comment'};
  55.  
  56.     # Parse html text in $$buf.  The strategy is to remove complete
  57.     # tokens from the beginning of $$buf until we can't deside whether
  58.     # it is a token or not, or the $$buf is empty.
  59.  
  60.   TOKEN:
  61.     while (1) {
  62.  
  63.     # First we try to pull off any plain text (anything before a "<" char)
  64.     if ($$buf =~ s|^([^<]+)||) {
  65.         unless (length $$buf) {
  66.         my $text = $1;
  67.         # At the end of the buffer, we should not parse white space
  68.         # but leave it for parsing on the next round.
  69.         if ($text =~ s|(\s+)$||) {
  70.             $$buf = $1;
  71.                 # Same treatment for chopped up entites.
  72.         } elsif ($text =~ s/(&(?:(?:\#\d*)?|\w*))$//) {
  73.             $$buf = $1;
  74.         };
  75.         $self->text($text);
  76.         last TOKEN;
  77.         } else {
  78.         $self->text($1);
  79.         }
  80.  
  81.     # Netscapes buggy comments are easy to handle
  82.     } elsif ($netscape_comment && $$buf =~ m|^<!--|) {
  83.         if ($$buf =~ s|^<!--(.*?)-->||s) {
  84.         $self->comment($1);
  85.         } else {
  86.         last TOKEN;  # must wait until we see the end of it
  87.         }
  88.  
  89.     # Then, markup declarations (usually either <!DOCTYPE...> or a comment)
  90.     } elsif ($$buf =~ s|^(<!)||) {
  91.         my $eaten = $1;
  92.         my $text = '';
  93.         my @com = ();  # keeps comments until we have seen the end
  94.         # Eat text and beginning of comment
  95.         while ($$buf =~ s|^(([^>]*?)--)||) {
  96.         $eaten .= $1;
  97.         $text .= $2;
  98.         # Look for end of comment
  99.         if ($$buf =~ s|^((.*?)--)||s) {
  100.             $eaten .= $1;
  101.             push(@com, $2);
  102.         } else {
  103.             # Need more data to get all comment text.
  104.             $$buf = $eaten . $$buf;
  105.             last TOKEN;
  106.         }
  107.         }
  108.         # Can we finish the tag
  109.         if ($$buf =~ s|^([^>]*)>||) {
  110.         $text .= $1;
  111.         $self->declaration($text) if $text =~ /\S/;
  112.         # then tell about all the comments we found
  113.         for (@com) { $self->comment($_); }
  114.         } else {
  115.         $$buf = $eaten . $$buf;  # must start with it all next time
  116.         last TOKEN;
  117.         }
  118.  
  119.         # Should we look for 'processing instructions' <? ...> ??
  120.     #} elsif ($$buf =~ s|<\?||) {
  121.         # ...
  122.  
  123.     # Then, look for a end tag
  124.     } elsif ($$buf =~ s|^</||) {
  125.         # end tag
  126.         if ($$buf =~ s|^([a-zA-Z][a-zA-Z0-9\.\-]*)(\s*>)||) {
  127.         $self->end(lc($1), "</$1$2");
  128.         } elsif ($$buf =~ m|^[a-zA-Z]*[a-zA-Z0-9\.\-]*\s*$|) {
  129.         $$buf = "</" . $$buf;  # need more data to be sure
  130.         last TOKEN;
  131.         } else {
  132.         # it is plain text after all
  133.         $self->text("</");
  134.         }
  135.  
  136.     # Then, finally we look for a start tag
  137.     } elsif ($$buf =~ s|^(<([a-zA-Z]+)>)||) {
  138.         # special case plain start tags for slight speed-up (2.5%)
  139.         $self->start(lc($2), {}, [], $1);
  140.  
  141.     } elsif ($$buf =~ s|^<||) {
  142.         # start tag
  143.         my $eaten = '<';
  144.  
  145.         # This first thing we must find is a tag name.  RFC1866 says:
  146.         #   A name consists of a letter followed by letters,
  147.         #   digits, periods, or hyphens. The length of a name is
  148.         #   limited to 72 characters by the `NAMELEN' parameter in
  149.         #   the SGML declaration for HTML, 9.5, "SGML Declaration
  150.         #   for HTML".  In a start-tag, the element name must
  151.         #   immediately follow the tag open delimiter `<'.
  152.         if ($$buf =~ s|^(([a-zA-Z][a-zA-Z0-9\.\-]*)\s*)||) {
  153.         $eaten .= $1;
  154.         my $tag = lc $2;
  155.         my %attr;
  156.         my @attrseq;
  157.  
  158.         # Then we would like to find some attributes
  159.                 #
  160.                 # Arrgh!! Since stupid Netscape violates RCF1866 by
  161.                 # using "_" in attribute names (like "ADD_DATE") of
  162.                 # their bookmarks.html, we allow this too.
  163.         while ($$buf =~ s|^(([a-zA-Z][a-zA-Z0-9\.\-_]*)\s*)||) {
  164.             $eaten .= $1;
  165.             my $attr = lc $2;
  166.             my $val;
  167.             # The attribute might take an optional value (first we
  168.             # check for an unquoted value)
  169.             if ($$buf =~ s|(^=\s*([^\"\'>\s][^>\s]*)\s*)||) {
  170.             $eaten .= $1;
  171.             $val = $2;
  172.             HTML::Entities::decode($val);
  173.             # or quoted by " or '
  174.             } elsif ($$buf =~ s|(^=\s*([\"\'])(.*?)\2\s*)||s) {
  175.             $eaten .= $1;
  176.             $val = $3;
  177.             HTML::Entities::decode($val);
  178.                     # truncated just after the '=' or inside the attribute
  179.             } elsif ($$buf =~ m|^(=\s*)$| or
  180.                  $$buf =~ m|^(=\s*[\"\'].*)|s) {
  181.             $$buf = "$eaten$1";
  182.             last TOKEN;
  183.             } else {
  184.             # assume attribute with implicit value
  185.             $val = $attr;
  186.             }
  187.             $attr{$attr} = $val;
  188.             push(@attrseq, $attr);
  189.         }
  190.  
  191.         # At the end there should be a closing ">"
  192.         if ($$buf =~ s|^>||) {
  193.             $self->start($tag, \%attr, \@attrseq, "$eaten>");
  194.         } elsif (length $$buf) {
  195.             # Not a conforming start tag, regard it as normal text
  196.             $self->text($eaten);
  197.         } else {
  198.             $$buf = $eaten;  # need more data to know
  199.             last TOKEN;
  200.         }
  201.  
  202.         } elsif (length $$buf) {
  203.         $self->text($eaten);
  204.         } else {
  205.         $$buf = $eaten . $$buf;  # need more data to parse
  206.         last TOKEN;
  207.         }
  208.  
  209.     } else {
  210.         #die if length($$buf);  # This should never happen
  211.         last TOKEN;         # The buffer should be empty now
  212.     }
  213.     }
  214.  
  215.     $self;
  216. }
  217.  
  218.  
  219. sub eof
  220. {
  221.     shift->parse(undef);
  222. }
  223.  
  224.  
  225. sub parse_file
  226. {
  227.     my($self, $file) = @_;
  228.     no strict 'refs';  # so that a symbol ref as $file works
  229.     local(*F);
  230.     unless (ref($file) || $file =~ /^\*[\w:]+$/) {
  231.     # Assume $file is a filename
  232.     open(F, $file) || die "Can't open $file: $!";
  233.     $file = \*F;
  234.     }
  235.     my $chunk = '';
  236.     while(read($file, $chunk, 1024)) {
  237.     $self->parse($chunk);
  238.     }
  239.     close($file);
  240.     $self->eof;
  241. }
  242.  
  243.  
  244. sub strict_comment
  245. {
  246.     my $self = shift;
  247.     my $old = $self->{'_strict_comment'};
  248.     $self->{'_strict_comment'} = shift if @_;
  249.     return $old;
  250. }
  251.  
  252.  
  253. sub netscape_buggy_comment  # legacy
  254. {
  255.     my $self = shift;
  256.     my $old = !$self->strict_comment;
  257.     $self->strict_comment(!shift) if @_;
  258.     return $old;
  259. }
  260.  
  261.  
  262. sub text
  263. {
  264.     # my($self, $text) = @_;
  265. }
  266.  
  267. sub declaration
  268. {
  269.     # my($self, $decl) = @_;
  270. }
  271.  
  272. sub comment
  273. {
  274.     # my($self, $comment) = @_;
  275. }
  276.  
  277. sub start
  278. {
  279.     # my($self, $tag, $attr, $attrseq, $origtext) = @_;
  280.     # $attr is reference to a HASH, $attrseq is reference to an ARRAY
  281. }
  282.  
  283. sub end
  284. {
  285.     # my($self, $tag, $origtext) = @_;
  286. }
  287.  
  288. 1;
  289.  
  290.  
  291. __END__
  292.  
  293.  
  294. =head1 NAME
  295.  
  296. HTML::Parser - SGML parser class
  297.  
  298. =head1 SYNOPSIS
  299.  
  300.  require HTML::Parser;
  301.  $p = HTML::Parser->new;  # should really a be subclass
  302.  $p->parse($chunk1);
  303.  $p->parse($chunk2);
  304.  #...
  305.  $p->eof;                 # signal end of document
  306.  
  307.  # Parse directly from file
  308.  $p->parse_file("foo.html");
  309.  # or
  310.  open(F, "foo.html") || die;
  311.  $p->parse_file(\*F);
  312.  
  313. =head1 DESCRIPTION
  314.  
  315. The C<HTML::Parser> will tokenize an HTML document when the parse()
  316. method is called and invoke various callback methods.  The document to
  317. be parsed can be supplied in arbitrary chunks.
  318.  
  319. The external interface the an HTML::Parser is:
  320.  
  321. =over 4
  322.  
  323. =item $p = HTML::Parser->new
  324.  
  325. The object constructor takes no arguments.
  326.  
  327. =item $p->parse( $string );
  328.  
  329. Parse the $string as an HTML document.  Can be called multiple times.
  330. The return value is a reference to the parser object.
  331.  
  332. =item $p->eof
  333.  
  334. Signals end of document.  Call eof() to flush any remaining buffered
  335. text.  The return value is a reference to the parser object.
  336.  
  337. =item $p->parse_file( $file );
  338.  
  339. This method can be called to parse text from a file.  The argument can
  340. be a filename or an already opened file handle. The return value from
  341. parse_file() is a reference to the parser object.
  342.  
  343. =item $p->strict_comment( [$bool] )
  344.  
  345. By default we parse comments similar to how the popular browsers (like
  346. Netscape and MSIE) do it.  This means that comments will always be
  347. terminated by the first occurence of "-->".  This is not correct
  348. according to the "official" HTML standards.  The official behaviour
  349. can be enabled by calling the strict_comment() method with a TRUE
  350. argument.
  351.  
  352. The return value from strict_comment() is the old attribute value.
  353.  
  354. =back
  355.  
  356.  
  357.  
  358. In order to make the parser do anything interesting, you must make a
  359. subclass where you override one or more of the following methods as
  360. appropriate:
  361.  
  362. =over 4
  363.  
  364. =item $self->declaration($decl)
  365.  
  366. This method is called when a I<markup declaration> has been
  367. recognized.  For typical HTML documents, the only declaration you are
  368. likely to find is <!DOCTYPE ...>.  The initial "<!" and ending ">" is
  369. not part of the string passed as argument.  Comments are removed and
  370. entities will B<not> be expanded.
  371.  
  372. =item $self->start($tag, $attr, $attrseq, $origtext)
  373.  
  374. This method is called when a complete start tag has been recognized.
  375. The first argument is the tag name (in lower case) and the second
  376. argument is a reference to a hash that contain all attributes found
  377. within the start tag.  The attribute keys are converted to lower case.
  378. Entities found in the attribute values are already expanded.  The
  379. third argument is a reference to an array with the lower case
  380. attribute keys in the original order.  The fourth argument is the
  381. original HTML text.
  382.  
  383.  
  384. =item $self->end($tag, $origtext)
  385.  
  386. This method is called when an end tag has been recognized.  The
  387. first argument is the lower case tag name, the second the original
  388. HTML text of the tag.
  389.  
  390. =item $self->text($text)
  391.  
  392. This method is called when plain text in the document is recognized.
  393. The text is passed on unmodified and might contain multiple lines.
  394. Note that for efficiency reasons entities in the text are B<not>
  395. expanded.  You should call HTML::Entities::decode($text) before you
  396. process the text any further.
  397.  
  398. =item $self->comment($comment)
  399.  
  400. This method is called as comments are recognized.  The leading and
  401. trailing "--" sequences have been stripped off the comment text.
  402.  
  403. =back
  404.  
  405. The default implementation of these methods do nothing, i.e., the
  406. tokens are just ignored.
  407.  
  408. There is really nothing in the basic parser that is HTML specific, so
  409. it is likely that the parser can parse other kinds of SGML documents.
  410. SGML has many obscure features (not implemented by this module) that
  411. prevent us from renaming this module as C<SGML::Parser>.
  412.  
  413. =head1 EFFICIENCY
  414.  
  415. The parser is fairly inefficient if the chunks passed to $p->parse()
  416. are too big.  The reason is probably that perl ends up with a lot of
  417. character copying when tokens are removed from the beginning of the
  418. strings.  A chunck size of about 256-512 bytes was optimal in a test I
  419. made with some real world HTML documents.  (The parser was about 3
  420. times slower with a chunck size of 20K).
  421.  
  422. =head1 SEE ALSO
  423.  
  424. L<HTML::TreeBuilder>, L<HTML::HeadParser>, L<HTML::Entities>
  425.  
  426. =head1 COPYRIGHT
  427.  
  428. Copyright 1996-1997 Gisle Aas. All rights reserved.
  429.  
  430. This library is free software; you can redistribute it and/or
  431. modify it under the same terms as Perl itself.
  432.  
  433. =cut
  434.