home *** CD-ROM | disk | FTP | other *** search
/ PC Professionell 2004 December / PCpro_2004_12.ISO / files / webserver / xampp / xampp-perl-addon-1.4.9-installer.exe / WordDecoder.pm < prev    next >
Encoding:
Perl POD Document  |  2002-06-14  |  15.4 KB  |  619 lines
  1. package MIME::WordDecoder;
  2.  
  3.  
  4. =head1 NAME
  5.  
  6. MIME::WordDecoder - decode RFC-1522 encoded words to a local representation
  7.  
  8.  
  9. =head1 SYNOPSIS
  10.  
  11. See L<MIME::Words> for the basics of encoded words.
  12. See L<"DESCRIPTION"> for how this class works.
  13.  
  14.     use MIME::WordDecoder;
  15.  
  16.  
  17.     ### Get the default word-decoder (used by unmime()):
  18.     $wd = default MIME::WordDecoder;
  19.  
  20.     ### Get a word-decoder which maps to ISO-8859-1 (Latin1):
  21.     $wd = supported MIME::WordDecoder "ISO-8859-1";
  22.  
  23.  
  24.     ### Decode a MIME string (e.g., into Latin1) via the default decoder:
  25.     $str = $wd->decode('To: =?ISO-8859-1?Q?Keld_J=F8rn_Simonsen?= <keld>');
  26.  
  27.     ### Decode a string using the default decoder, non-OO style:
  28.     $str = unmime('To: =?ISO-8859-1?Q?Keld_J=F8rn_Simonsen?= <keld>');
  29.  
  30.  
  31. =head1 DESCRIPTION
  32.  
  33. A MIME::WordDecoder consists, fundamentally, of a hash which maps
  34. a character set name (US-ASCII, ISO-8859-1, etc.) to a subroutine which
  35. knows how to take bytes in that character set and turn them into
  36. the target string representation.  Ideally, this target representation
  37. would be Unicode, but we don't want to overspecify the translation
  38. that takes place: if you want to convert MIME strings directly to Big5,
  39. that's your own decision.
  40.  
  41. The subroutine will be invoked with two arguments: DATA (the data in
  42. the given character set), and CHARSET (the upcased character set name).
  43.  
  44. For example:
  45.  
  46.     ### Keep 7-bit characters as-is, convert 8-bit characters to '#':
  47.     sub keep7bit {
  48.     local $_ = shift;
  49.     tr/\x00-\x7F/#/c;
  50.     $_;
  51.     }
  52.  
  53. Here's a decoder which uses that:
  54.  
  55.    ### Construct a decoder:
  56.    $wd = MIME::WordDecoder->new({'US-ASCII'   => "KEEP",   ### sub { $_[0] }
  57.                                  'ISO-8859-1' => \&keep7bit,
  58.                                  'ISO-8859-2' => \&keep7bit,
  59.                                  'Big5'       => "WARN",
  60.                                  '*'          => "DIE"});
  61.  
  62.    ### Convert some MIME text to a pure ASCII string...
  63.    $ascii = $wd->decode('To: =?ISO-8859-1?Q?Keld_J=F8rn_Simonsen?= <keld>');
  64.  
  65.    ### ...which will now hold: "To: Keld J#rn Simonsen <keld>"
  66.  
  67.  
  68.  
  69. =head1 PUBLIC INTERFACE
  70.  
  71. =over
  72.  
  73. =cut
  74.  
  75. use strict;
  76. use Carp qw( carp croak );
  77. use MIME::Words qw(decode_mimewords);
  78. use Exporter;
  79. use vars qw(@ISA @EXPORT);
  80.  
  81. @ISA = qw(Exporter);
  82. @EXPORT = qw( unmime );
  83.  
  84.  
  85.  
  86. #------------------------------
  87. #
  88. # Globals
  89. # 
  90. #------------------------------
  91.  
  92. ### Decoders.
  93. my %DecoderFor = ();
  94.  
  95. ### Standard handlers.
  96. my %Handler = 
  97. (
  98.  KEEP   => sub {$_[0]},
  99.  IGNORE => sub {''},
  100.  WARN   => sub { carp "ignoring text in character set `$_[1]'\n" },
  101.  DIE    => sub { croak "can't handle text in character set `$_[1]'\n" },
  102.  );
  103.  
  104. ### Global default decoder.  We init it below.
  105. my $Default;
  106.  
  107.  
  108. #------------------------------
  109.  
  110. =item default [DECODER]
  111.  
  112. I<Class method.>
  113. Get/set the default DECODER object.
  114.  
  115. =cut
  116.  
  117. sub default {
  118.     my $class = shift;
  119.     if (@_) {
  120.     $Default = shift;
  121.     }
  122.     $Default;
  123. }
  124.  
  125. #------------------------------
  126.  
  127. =item supported CHARSET, [DECODER]
  128.  
  129. I<Class method.>
  130. If just CHARSET is given, returns a decoder object which maps
  131. data into that character set (the character set is forced to
  132. all-uppercase).
  133.  
  134.     $wd = supported MIME::WordDecoder "ISO-8859-1";
  135.  
  136. If DECODER is given, installs such an object:
  137.  
  138.     MIME::WordDecoder->supported("ISO-8859-1" =>
  139.                  (new MIME::WordDecoder::ISO_8859 "1"));
  140.  
  141. You should not override this method.
  142.  
  143. =cut
  144.  
  145. sub supported {
  146.     my ($class, $charset, $decoder) = @_;
  147.     $DecoderFor{uc($charset)} = $decoder if (@_ > 2);
  148.     $DecoderFor{uc($charset)};
  149. }
  150.  
  151. #------------------------------
  152.  
  153. =item new [\@HANDLERS]
  154.  
  155. I<Class method, constructor.>
  156. If \@HANDLERS is given, then @HANDLERS is passed to handler()
  157. to initiallize the internal map.
  158.  
  159. =cut
  160.  
  161. sub new {
  162.     my ($class, $h) = @_;
  163.     my $self = bless { MWD_Map=>{} }, $class;   
  164.  
  165.     ### Init the map:
  166.     $self->handler(@$h);
  167.     
  168.     ### Add fallbacks:
  169.     $self->{MWD_Map}{'*'}   ||= $Handler{WARN};
  170.     $self->{MWD_Map}{'raw'} ||= $self->{MWD_Map}{'US-ASCII'};
  171.     $self;
  172. }
  173.  
  174. #------------------------------
  175.  
  176. =item handler CHARSET=>\&SUBREF, ...
  177.  
  178. I<Instance method.>
  179. Set the handler SUBREF for a given CHARSET, for as many pairs
  180. as you care to supply.
  181.  
  182. When performing the translation of a MIME-encoded string, a
  183. given SUBREF will be invoked when translating a block of text
  184. in character set CHARSET.  The subroutine will be invoked with
  185. the following arguments:
  186.  
  187.     DATA    - the data in the given character set.
  188.     CHARSET - the upcased character set name, which may prove useful
  189.               if you are using the same SUBREF for multiple CHARSETs.
  190.     DECODER - the decoder itself, if it contains configuration information
  191.               that your handler function needs.
  192.  
  193. For example:
  194.  
  195.     $wd = new MIME::WordDecoder;
  196.     $wd->handler('US-ASCII'   => "KEEP");
  197.     $wd->handler('ISO-8859-1' => \&handle_latin1,
  198.          'ISO-8859-2' => \&handle_latin1,
  199.          '*'          => "DIE");
  200.  
  201. Notice that, much as with %SIG, the SUBREF can also be taken from
  202. a set of special keywords:
  203.  
  204.    KEEP     Pass data through unchanged.
  205.    IGNORE   Ignore data in this character set, without warning.
  206.    WARN     Ignore data in this character set, with warning.
  207.    DIE      Fatal exception with "can't handle character set" message.
  208.  
  209. The subroutine for the special CHARSET of 'raw' is used for raw
  210. (non-MIME-encoded) text, which is supposed to be US-ASCII.
  211. The handler for 'raw' defaults to whatever was specified for 'US-ASCII'
  212. at the time of construction.
  213.  
  214. The subroutine for the special CHARSET of '*' is used for any
  215. unrecognized character set.  The default action for '*' is WARN.
  216.  
  217. =cut
  218.  
  219. sub handler {
  220.     my $self = shift;
  221.     
  222.     ### Copy the hash, and edit it:
  223.     while (@_) {
  224.     my $c   = shift; 
  225.     my $sub = shift;
  226.     $self->{MWD_Map}{$c} = $self->real_handler($sub);
  227.     }
  228.     $self;
  229. }
  230.  
  231. #------------------------------
  232.  
  233. =item decode STRING
  234.  
  235. I<Instance method.>
  236. Decode a STRING which might contain MIME-encoded components into a
  237. local representation (e.g., UTF-8, etc.).
  238.  
  239. =cut
  240.  
  241. sub decode {
  242.     my ($self, $str) = @_;
  243.     defined($str) or return undef;
  244.     join('', map {
  245.     ### Get the data and (upcased) charset:
  246.     my $data    = $_->[0];
  247.     my $charset = (defined($_->[1]) ? uc($_->[1]) : 'raw');
  248.     $charset =~ s/\*\w+\Z//;   ### RFC2184 language suffix
  249.  
  250.     ### Get the handler; guess if never seen before:
  251.     defined($self->{MWD_Map}{$charset}) or
  252.         $self->{MWD_Map}{$charset} = 
  253.         ($self->real_handler($self->guess_handler($charset)) || 0);
  254.     my $subr = $self->{MWD_Map}{$charset} || $self->{MWD_Map}{'*'}; 
  255.  
  256.     ### Map this chunk:
  257.     &$subr($data, $charset, $self);
  258.     } decode_mimewords($str));
  259. }
  260.  
  261. #------------------------------
  262. #
  263. # guess_handler CHARSET    
  264. #
  265. # Instance method.  
  266. # An unrecognized charset has been seen.  Guess a handler subref 
  267. # for the given charset, returning false if there is none.
  268. # Successful mappings will be cached in the main map.
  269. #
  270. sub guess_handler {
  271.     undef;
  272. }
  273.  
  274. #------------------------------
  275. #
  276. # real_handler HANDLER
  277. #
  278. # Instance method.  
  279. # Translate the given handler, which might be a subref or a string.
  280. #
  281. sub real_handler {
  282.     my ($self, $sub) = @_;
  283.     (!$sub) or 
  284.     (ref($sub) eq 'CODE') or 
  285.         $sub = ($Handler{$sub} || croak "bad named handler: $sub\n");
  286.     $sub;
  287. }
  288.  
  289. #------------------------------
  290.  
  291. =item unmime STRING
  292.  
  293. I<Function, exported.>
  294. Decode the given STRING using the default() decoder.
  295. See L<default()|/default>.
  296.  
  297. =cut
  298.  
  299. sub unmime($) {
  300.     my $str = shift;
  301.     $Default->decode($str);
  302. }
  303.  
  304.  
  305. =back
  306.  
  307. =cut
  308.  
  309.  
  310.  
  311.  
  312.  
  313. =head1 SUBCLASSES
  314.  
  315. =over
  316.  
  317. =cut
  318.  
  319. #------------------------------------------------------------
  320. #------------------------------------------------------------
  321.  
  322. =item MIME::WordDecoder::ISO_8859
  323.  
  324. A simple decoder which keeps US-ASCII and the 7-bit characters
  325. of ISO-8859 character sets and UTF8, and also keeps 8-bit
  326. characters from the indicated character set.
  327.  
  328.     ### Construct:
  329.     $wd = new MIME::WordDecoder::ISO_8859 2;    ### ISO-8859-2
  330.  
  331.     ### What to translate unknown characters to (can also use empty):
  332.     ### Default is "?".
  333.     $wd->unknown("?");
  334.  
  335.     ### Collapse runs of unknown characters to a single unknown()?
  336.     ### Default is false.
  337.     $wd->collapse(1);
  338.  
  339.  
  340. According to B<http://czyborra.com/charsets/iso8859.html>
  341. (ca. November 2000):
  342.  
  343. ISO 8859 is a full series of 10 (and soon even more) standardized
  344. multilingual single-byte coded (8bit) graphic character sets for
  345. writing in alphabetic languages:
  346.  
  347.     1. Latin1 (West European)
  348.     2. Latin2 (East European)
  349.     3. Latin3 (South European)
  350.     4. Latin4 (North European)
  351.     5. Cyrillic
  352.     6. Arabic
  353.     7. Greek
  354.     8. Hebrew
  355.     9. Latin5 (Turkish)
  356.    10. Latin6 (Nordic)
  357.  
  358. The ISO 8859 charsets are not even remotely as complete as the truly
  359. great Unicode but they have been around and usable for quite a while
  360. (first registered Internet charsets for use with MIME) and have
  361. already offered a major improvement over the plain 7bit US-ASCII.
  362.  
  363. Characters 0 to 127 are always identical with US-ASCII and the
  364. positions 128 to 159 hold some less used control characters: the
  365. so-called C1 set from ISO 6429.
  366.  
  367. =cut
  368.  
  369. package MIME::WordDecoder::ISO_8859;
  370.  
  371. use strict;
  372. use vars qw(@ISA);
  373. @ISA = qw( MIME::WordDecoder );
  374.  
  375.  
  376. #------------------------------
  377. #
  378. # HANDLERS
  379. #
  380. #------------------------------
  381.  
  382. ### Keep 7bit characters.
  383. ### Turn all else to the special \x00.
  384. sub h_keep7bit {  
  385.     local $_    = $_[0];
  386. #   my $unknown = $_[2]->{MWDI_Unknown};
  387.  
  388.     s{[\x80-\xFF]}{\x00}g;
  389.     $_;
  390. }
  391.  
  392. ### Note: should use Unicode::String, converting/manipulating 
  393. ### everything into full Unicode form.
  394.  
  395. ### Keep 7bit UTF8 characters (ASCII).
  396. ### Keep ISO-8859-1 if this decoder is for Latin-1.
  397. ### Turn all else to the special \x00.
  398. sub h_utf8 {  
  399.     local $_    = $_[0];
  400. #   my $unknown = $_[2]->{MWDI_Unknown};
  401.     my $latin1 = ($_[2]->{MWDI_Num} == 1);
  402.     print STDERR "UTF8 in:  <$_>\n"; 
  403.  
  404.     my $tgt = '';
  405.     while (m{\G(
  406.           ([\x00-\x7F])                | # 0xxxxxxx
  407.       ([\xC0-\xDF] [\x80-\xBF])    | # 110yyyyy 10xxxxxx
  408.       ([\xE0-\xEF] [\x80-\xBF]{2}) | # 1110zzzz 10yyyyyy 10xxxxxx
  409.       ([\xF0-\xF7] [\x80-\xBF]{3}) | # 11110uuu 10uuzzzz 10yyyyyy 10xxxxxx
  410.       .                              # error; synch
  411.       )}gcsx and ($1 ne '')) {   
  412.  
  413.     if    (defined($2))            { $tgt .= $2 }
  414.     elsif (defined($3) && $latin1) { $tgt .= "\x00" }
  415.         else                           { $tgt .= "\x00" }
  416.     }
  417.  
  418.     print STDERR "UTF8 out: <$tgt>\n"; 
  419.     $tgt;
  420. }
  421.  
  422. ### Keep characters which are 7bit in UTF8 (ASCII).
  423. ### Keep ISO-8859-1 if this decoder is for Latin-1.
  424. ### Turn all else to the special \x00.
  425. sub h_utf16 {  
  426.     local $_    = $_[0];
  427. #   my $unknown = $_[2]->{MWDI_Unknown};
  428.     my $latin1 = ($_[2]->{MWDI_Num} == 1);
  429.     print STDERR "UTF16 in:  <$_>\n"; 
  430.  
  431.     my $tgt = '';
  432.     while (m{\G(
  433.         (  \x00  ([\x00-\x7F])) |  # 00000000 0xxxxxxx
  434.         (  \x00  ([\x80-\xFF])) |  # 00000000 1xxxxxxx
  435.         ( [^\x00] [\x00-\xFF])  |  # etc
  436.         )
  437.          }gcsx and ($1 ne '')) {
  438.  
  439.     if    (defined($2))            { $tgt .= $3 }
  440.     elsif (defined($4) && $latin1) { $tgt .= $5 }
  441.         else                           { $tgt .= "\x00" }
  442.     }
  443.  
  444.     print STDERR "UTF16 out: <$tgt>\n"; 
  445.     $tgt;
  446. }
  447.  
  448.  
  449. #------------------------------
  450. #
  451. # PUBLIC INTERFACE
  452. #
  453. #------------------------------
  454.  
  455. #------------------------------
  456. #
  457. # new NUMBER
  458. #
  459. sub new {
  460.     my ($class, $num) = @_;
  461.  
  462.     my $self = $class->SUPER::new();
  463.     $self->handler('raw'      => 'KEEP',
  464.            'US-ASCII' => 'KEEP');
  465.  
  466.     $self->{MWDI_Num} = $num;
  467.     $self->{MWDI_Unknown} = "?";
  468.     $self->{MWDI_Collapse} = 0;
  469.     $self;
  470. }
  471.  
  472. #------------------------------
  473. #
  474. # guess_handler CHARSET
  475. #
  476. sub guess_handler {
  477.     my ($self, $charset) = @_;
  478.     return 'KEEP'              if (($charset =~ /^ISO[-_]?8859[-_](\d+)$/) && 
  479.                    ($1 eq $self->{MWDI_Num}));
  480.     return \&h_keep7bit        if ($charset =~ /^ISO[-_]?8859/);
  481.     return \&h_utf8            if ($charset =~ /^UTF[-_]?8$/);
  482.     return \&h_utf16           if ($charset =~ /^UTF[-_]?16$/);
  483.     undef;
  484. }
  485.  
  486. #------------------------------
  487. #
  488. # unknown [REPLACEMENT]
  489. #
  490. sub unknown {
  491.     my $self = shift;
  492.     $self->{MWDI_Unknown} = shift if @_;
  493.     $self->{MWDI_Unknown};
  494. }
  495.  
  496. #------------------------------
  497. #
  498. # collapse [YESNO]
  499. #
  500. sub collapse {
  501.     my $self = shift;
  502.     $self->{MWDI_Collapse} = shift if @_;
  503.     $self->{MWDI_Collapse};
  504. }
  505.  
  506. #------------------------------
  507. #
  508. # decode STRING
  509. #
  510. sub decode {
  511.     my $self = shift;
  512.  
  513.     ### Do inherited action:
  514.     my $basic = $self->SUPER::decode(@_);
  515.     defined($basic) or return undef;
  516.  
  517.     ### Translate/consolidate illegal characters:
  518.     $basic =~ tr{\x00}{\x00}c     if $self->{MWDI_Collapse};
  519.     $basic =~ s{\x00}{$self->{MWDI_Unknown}}g;
  520.     $basic;
  521. }
  522.  
  523. #------------------------------------------------------------
  524. #------------------------------------------------------------
  525.  
  526. =item MIME::WordDecoder::US_ASCII
  527.  
  528. A subclass of the ISO-8859-1 decoder which discards 8-bit characters.
  529. You're probably better off using ISO-8859-1.
  530.  
  531. =cut
  532.  
  533. package MIME::WordDecoder::US_ASCII;
  534.  
  535. use strict;
  536. use vars qw(@ISA);
  537. @ISA = qw( MIME::WordDecoder::ISO_8859 );
  538.  
  539. sub new {
  540.     my ($class) = @_;
  541.     return $class->SUPER::new("1");
  542. }
  543.  
  544. sub decode {
  545.     my $self = shift;
  546.  
  547.     ### Do inherited action:
  548.     my $basic = $self->SUPER::decode(@_);
  549.     defined($basic) or return undef;
  550.  
  551.     ### Translate/consolidate 8-bit characters:
  552.     $basic =~ tr{\x80-\xFF}{}c     if $self->{MWDI_Collapse};
  553.     $basic =~ s{[\x80-\xFF]}{$self->{MWDI_Unknown}}g;
  554.     $basic;
  555. }
  556.  
  557. =back
  558.  
  559. =cut
  560.  
  561. #------------------------------------------------------------
  562. #------------------------------------------------------------
  563.  
  564. package MIME::WordDecoder;
  565.  
  566. ### Now we can init the default handler.
  567. $Default = (MIME::WordDecoder::ISO_8859->new('1'));
  568.  
  569. ### Add US-ASCII handler:
  570. $DecoderFor{"US-ASCII"} = MIME::WordDecoder::US_ASCII->new;
  571.  
  572. ### Add ISO-8859-{1..15} handlers:
  573. for (1..15) { 
  574.     $DecoderFor{"ISO-8859-$_"} = MIME::WordDecoder::ISO_8859->new($_);
  575. }
  576.  
  577. { 
  578.   package main; no strict; local $^W = 0;
  579.   my @x = <::DATA>;
  580.   eval join('',<::DATA>) || die $@ unless caller();
  581. }
  582. 1;           # end the module
  583. __END__
  584.  
  585.  
  586. =head1 AUTHOR
  587.  
  588. Eryq (F<eryq@zeegee.com>), ZeeGee Software Inc (F<http://www.zeegee.com>).
  589.  
  590.  
  591. =head1 VERSION
  592.  
  593. $Revision: 5.403 $ $Date: 2000/11/23 05:04:03 $
  594.  
  595. =cut
  596.  
  597.  
  598. BEGIN { unshift @INC, ".", "./etc", "./lib" };
  599. import MIME::WordDecoder;
  600.  
  601. ### Decode a MIME string (e.g., into Latin1) via the default decoder:
  602. my $charset = $ARGV[0] || 'ISO-8859-1';
  603. my $wd = MIME::WordDecoder->supported($charset) || die "unsupported charset: $charset\n";
  604.  
  605. $wd->unknown('#');
  606. my @encs = (
  607.         'ASCII:  =?US-ASCII?Q?Keith_Moore?= <moore@cs.utk.edu>',
  608.         'Latin1: =?ISO-8859-1?Q?Keld_J=F8rn_Simonsen?= <keld@dkuug.dk>',
  609.         'Latin1: =?ISO-8859-1?Q?Andr=E9_?= Pirard <PIRARD@vm1.ulg.ac.be>',
  610.         'Latin1: =?ISO-8859-1?Q?Andr=E9_?=Pirard <PIRARD@vm1.ulg.ac.be>',
  611.         ' UTF-8: =?UTF-8?Q?Andr=E9_?=Pirard <PIRARD@vm1.ulg.ac.be>',
  612.         'UTF-16: =?UTF-16?Q?=00A=00n=00d=00r=00=E9?= Pirard <PIRARD@vm1.ulg.ac.be>',
  613.         ('=?ISO-8859-1?B?SWYgeW91IGNhbiByZWFkIHRoaXMgeW8=?='.
  614.          '=?ISO-8859-2?B?dSB1bmRlcnN0YW5kIHRoZSBleGFtcGxlLg==?='.
  615.          '=?US-ASCII?Q?.._cool!?='));
  616. $str = $wd->decode(join "\n", @encs);
  617. print "$str\n";
  618. 1;
  619.