home *** CD-ROM | disk | FTP | other *** search
/ ftp.f-secure.com / 2014.06.ftp.f-secure.com.tar / ftp.f-secure.com / support / hotfix / fsis / IS-SpamControl.fsfix / iufssc / lib / Mail / SpamAssassin / Locales.pm < prev    next >
Text File  |  2006-11-29  |  4KB  |  114 lines
  1. # <@LICENSE>
  2. # Licensed to the Apache Software Foundation (ASF) under one or more
  3. # contributor license agreements.  See the NOTICE file distributed with
  4. # this work for additional information regarding copyright ownership.
  5. # The ASF licenses this file to you under the Apache License, Version 2.0
  6. # (the "License"); you may not use this file except in compliance with
  7. # the License.  You may obtain a copy of the License at:
  8. # 
  9. #     http://www.apache.org/licenses/LICENSE-2.0
  10. # 
  11. # Unless required by applicable law or agreed to in writing, software
  12. # distributed under the License is distributed on an "AS IS" BASIS,
  13. # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14. # See the License for the specific language governing permissions and
  15. # limitations under the License.
  16. # </@LICENSE>
  17.  
  18. package Mail::SpamAssassin::Locales;
  19.  
  20. use strict;
  21. use warnings;
  22. use bytes;
  23.  
  24. use vars qw{
  25.   %charsets_for_locale
  26. };
  27.  
  28. ###########################################################################
  29.  
  30. # A mapping of known country codes to frequent charsets used therein.
  31. # note that the ISO and CP charsets will already have been permitted,
  32. # so only "unusual" charsets should be listed here.
  33. #
  34. # Country codes should be lowercase, charsets uppercase.
  35. #
  36. # A good listing is in /usr/share/config/charsets from KDE 2.2.1
  37. #
  38. %charsets_for_locale = (
  39.  
  40.   # Japanese: Peter Evans writes: iso-2022-jp = rfc approved, rfc 1468, created
  41.   # by Jun Murai in 1993 back when he didnt have white hair!  rfc approved.
  42.   # (rfc 2237) <-- by M$. 
  43.   'ja' => 'EUCJP JISX020119760 JISX020819830 JISX020819900 JISX020819970 '.
  44.     'JISX021219900 JISX021320001 JISX021320002 SHIFT_JIS SHIFTJIS '.
  45.     'ISO2022JP SJIS JIS7 JISX0201 JISX0208 JISX0212',
  46.  
  47.   # Korea
  48.   'ko' => 'EUCKR KSC56011987',
  49.  
  50.   # Cyrillic: Andrew Vasilyev notes CP866 is common (bug 2278)
  51.   'ru' => 'KOI8R KOI8U KOI8T ISOIR111 CP1251 GEORGIANPS CP1251 PT154 CP866',
  52.   'ka' => 'KOI8R KOI8U KOI8T ISOIR111 CP1251 GEORGIANPS CP1251 PT154 CP866',
  53.   'tg' => 'KOI8R KOI8U KOI8T ISOIR111 CP1251 GEORGIANPS CP1251 PT154 CP866',
  54.   'be' => 'KOI8R KOI8U KOI8T ISOIR111 CP1251 GEORGIANPS CP1251 PT154 CP866',
  55.   'uk' => 'KOI8R KOI8U KOI8T ISOIR111 CP1251 GEORGIANPS CP1251 PT154 CP866',
  56.   'bg' => 'KOI8R KOI8U KOI8T ISOIR111 CP1251 GEORGIANPS CP1251 PT154 CP866',
  57.  
  58.   # Thai
  59.   'th' => 'TIS620',
  60.  
  61.   # Chinese (simplified and traditional).   Peter Evans writes: new government
  62.   # mandated chinese encoding = gb18030, chinese mail is supposed to be
  63.   # iso-2022-cn (rfc 1922?)
  64.   'zh' => 'GB1988 GB2312 GB231219800 GB18030 GBK BIG5HKSCS BIG5 EUCTW ISO2022CN',
  65.  
  66.   # Chinese Traditional charsets only
  67.   'zh.big5' => 'BIG5HKSCS BIG5 EUCTW',
  68.  
  69.   # Chinese Simplified charsets only
  70.   'zh.gb2312' => 'GB1988 GB2312 GB231219800 GB18030 GBK ISO2022CN',
  71. );
  72.  
  73. ###########################################################################
  74.  
  75. sub is_charset_ok_for_locales {
  76.   my ($cs, @locales) = @_;
  77.  
  78.   $cs = uc $cs; $cs =~ s/[^A-Z0-9]//g;
  79.   $cs =~ s/^3D//gs;        # broken by quoted-printable
  80.   $cs =~ s/:.*$//gs;            # trim off multiple charsets, just use 1st
  81.  
  82.   study $cs;
  83.   #warn "JMD $cs";
  84.  
  85.   # always OK (the net speaks mostly roman charsets)
  86.   return 1 if ($cs eq 'USASCII');
  87.   return 1 if ($cs =~ /^ISO8859/);
  88.   return 1 if ($cs =~ /^ISO10646/);
  89.   return 1 if ($cs =~ /^UTF/);
  90.   return 1 if ($cs =~ /^UCS/);
  91.   return 1 if ($cs =~ /^CP125/);
  92.   return 1 if ($cs =~ /^WINDOWS/);      # argh, Windows
  93.   return 1 if ($cs eq 'IBM852');
  94.   return 1 if ($cs =~ /^UNICODE11UTF[78]/);    # wtf? never heard of it
  95.   return 1 if ($cs eq 'XUNKNOWN'); # added by sendmail when converting to 8bit
  96.   return 1 if ($cs eq 'ISO');    # Magellan, sending as 'charset=iso 8859-15'. grr
  97.  
  98.   foreach my $locale (@locales) {
  99.     if (!defined($locale) || $locale eq 'C') { $locale = 'en'; }
  100.     $locale =~ s/^([a-z][a-z]).*$/$1/;    # zh_TW... => zh
  101.  
  102.     my $ok_for_loc = $charsets_for_locale{$locale};
  103.     next if (!defined $ok_for_loc);
  104.  
  105.     if ($ok_for_loc =~ /(?:^| )\Q${cs}\E(?:$| )/) {
  106.       return 1;
  107.     }
  108.   }
  109.  
  110.   return 0;
  111. }
  112.  
  113. 1;
  114.