home *** CD-ROM | disk | FTP | other *** search
/ ftp.f-secure.com / 2014.06.ftp.f-secure.com.tar / ftp.f-secure.com / support / hotfix / fsis / IS-SpamControl.fsfix / iufssc / lib / Mail / SpamAssassin.pm
Text File  |  2006-11-29  |  54KB  |  1,876 lines
  1. # <@LICENSE>
  2. # Licensed to the Apache Software Foundation (ASF) under one or more
  3. # contributor license agreements.  See the NOTICE file distributed with
  4. # this work for additional information regarding copyright ownership.
  5. # The ASF licenses this file to you under the Apache License, Version 2.0
  6. # (the "License"); you may not use this file except in compliance with
  7. # the License.  You may obtain a copy of the License at:
  8. # 
  9. #     http://www.apache.org/licenses/LICENSE-2.0
  10. # 
  11. # Unless required by applicable law or agreed to in writing, software
  12. # distributed under the License is distributed on an "AS IS" BASIS,
  13. # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14. # See the License for the specific language governing permissions and
  15. # limitations under the License.
  16. # </@LICENSE>
  17.  
  18. =head1 NAME
  19.  
  20. Mail::SpamAssassin - Spam detector and markup engine
  21.  
  22. =head1 SYNOPSIS
  23.  
  24.   my $spamtest = Mail::SpamAssassin->new();
  25.   my $mail = $spamtest->parse($message);
  26.   my $status = $spamtest->check($mail);
  27.  
  28.   if ($status->is_spam()) {
  29.     $message = $status->rewrite_mail();
  30.   }
  31.   else {
  32.     ...
  33.   }
  34.   ...
  35.  
  36.   $status->finish();
  37.   $mail->finish();
  38.  
  39. =head1 DESCRIPTION
  40.  
  41. Mail::SpamAssassin is a module to identify spam using several methods
  42. including text analysis, internet-based realtime blacklists, statistical
  43. analysis, and internet-based hashing algorithms.
  44.  
  45. Using its rule base, it uses a wide range of heuristic tests on mail
  46. headers and body text to identify "spam", also known as unsolicited bulk
  47. email.  Once identified as spam, the mail can then be tagged as spam for
  48. later filtering using the user's own mail user agent application or at
  49. the mail transfer agent.
  50.  
  51. If you wish to use a command-line filter tool, try the C<spamassassin>
  52. or the C<spamd>/C<spamc> tools provided.
  53.  
  54. =head1 METHODS
  55.  
  56. =over 4
  57.  
  58. =cut
  59.  
  60. package Mail::SpamAssassin;
  61. use strict;
  62. use warnings;
  63. use bytes;
  64.  
  65. require 5.006_001;
  66.  
  67. use Mail::SpamAssassin::Logger;
  68. use Mail::SpamAssassin::Constants;
  69. use Mail::SpamAssassin::Conf;
  70. use Mail::SpamAssassin::Conf::SQL;
  71. use Mail::SpamAssassin::Conf::LDAP;
  72. use Mail::SpamAssassin::PerMsgStatus;
  73. use Mail::SpamAssassin::Message;
  74. use Mail::SpamAssassin::Bayes;
  75. use Mail::SpamAssassin::PluginHandler;
  76. use Mail::SpamAssassin::DnsResolver;
  77.  
  78. use File::Basename;
  79. use File::Path;
  80. use File::Spec 0.8;
  81. use File::Copy;
  82. use Cwd;
  83. use Config;
  84.  
  85. # Load Time::HiRes if it's available
  86. BEGIN {
  87.   eval { require Time::HiRes };
  88.   Time::HiRes->import( qw(time) ) unless $@;
  89. }
  90.  
  91. use vars qw{
  92.   @ISA $VERSION $SUB_VERSION @EXTRA_VERSION $IS_DEVEL_BUILD $HOME_URL
  93.   @default_rules_path @default_prefs_path
  94.   @default_userprefs_path @default_userstate_dir
  95.   @site_rules_path
  96. };
  97.  
  98. $VERSION = "3.001007";      # update after release (same format as perl $])
  99. $IS_DEVEL_BUILD = 1;        # change for release versions
  100.  
  101. @ISA = qw();
  102.  
  103. # SUB_VERSION is now just <yyyy>-<mm>-<dd>
  104. $SUB_VERSION = (split(/\s+/,'$LastChangedDate: 2005-09-23 19:01:09 +0300 (pe, 23 syys 2005) $ updated by SVN'))[1];
  105.  
  106. # If you hacked up your SA, you should add a version_tag to your .cf files.
  107. # This variable should not be modified directly.
  108. @EXTRA_VERSION = qw();
  109. if (defined $IS_DEVEL_BUILD && $IS_DEVEL_BUILD) {
  110.   push(@EXTRA_VERSION,
  111.        ('r' . qw{$LastChangedRevision: 2022 $ updated by SVN}[1]));
  112. }
  113.  
  114. sub Version {
  115.   $VERSION =~ /^(\d+)\.(\d\d\d)(\d\d\d)$/;
  116.   return join('-', sprintf("%d.%d.%d", $1, $2, $3), @EXTRA_VERSION);
  117. }
  118.  
  119. $HOME_URL = "http://spamassassin.apache.org/";
  120.  
  121. # note that the CWD takes priority.  This is required in case a user
  122. # is testing a new version of SpamAssassin on a machine with an older
  123. # version installed.  Unless you can come up with a fix for this that
  124. # allows "make test" to work, don't change this.
  125. @default_rules_path = (
  126.   './rules',              # REMOVEFORINST
  127.   '../rules',             # REMOVEFORINST
  128.   '__local_state_dir__/__version__',
  129.   '__def_rules_dir__',
  130.   '__prefix__/share/spamassassin',
  131.   '/usr/local/share/spamassassin',
  132.   '/usr/share/spamassassin',
  133. );
  134.  
  135. # first 3 are BSDish, latter 2 Linuxish
  136. @site_rules_path = (
  137.   '__local_rules_dir__',
  138.   '__prefix__/etc/mail/spamassassin',
  139.   '__prefix__/etc/spamassassin',
  140.   '/usr/local/etc/spamassassin',
  141.   '/usr/pkg/etc/spamassassin',
  142.   '/usr/etc/spamassassin',
  143.   '/etc/mail/spamassassin',
  144.   '/etc/spamassassin',
  145. );
  146.  
  147. @default_prefs_path = (
  148.   '__local_rules_dir__/user_prefs.template',
  149.   '__prefix__/etc/mail/spamassassin/user_prefs.template',
  150.   '__prefix__/share/spamassassin/user_prefs.template',
  151.   '/etc/spamassassin/user_prefs.template',
  152.   '/etc/mail/spamassassin/user_prefs.template',
  153.   '/usr/local/share/spamassassin/user_prefs.template',
  154.   '/usr/share/spamassassin/user_prefs.template',
  155. );
  156.  
  157. @default_userprefs_path = (
  158.   '~/.spamassassin/user_prefs',
  159. );
  160.  
  161. @default_userstate_dir = (
  162.   '~/.spamassassin',
  163. );
  164.  
  165. ###########################################################################
  166.  
  167. =item $t = Mail::SpamAssassin->new( { opt => val, ... } )
  168.  
  169. Constructs a new C<Mail::SpamAssassin> object.  You may pass a hash
  170. reference to the constructor which may contain the following attribute-
  171. value pairs.
  172.  
  173. =over 4
  174.  
  175. =item debug
  176.  
  177. This is the debug options used to determine logging level.  It exists to
  178. allow sections of debug messages (called "facilities") to be enabled or
  179. disabled.  If this is a string, it is treated as a comma-delimited list
  180. of the debug facilities.  If it's a hash reference, then the keys are
  181. treated as the list of debug facilities and if it's a array reference,
  182. then the elements are treated as the list of debug facilities.
  183.  
  184. There are also two special cases: (1) if the special case of "info" is
  185. passed as a debug facility, then all informational messages are enabled;
  186. (2) if the special case of "all" is passed as a debug facility, then all
  187. debugging facilities are enabled.
  188.  
  189. =item rules_filename
  190.  
  191. The filename/directory to load spam-identifying rules from. (optional)
  192.  
  193. =item site_rules_filename
  194.  
  195. The directory to load site-specific spam-identifying rules from. (optional)
  196.  
  197. =item userprefs_filename
  198.  
  199. The filename to load preferences from. (optional)
  200.  
  201. =item userstate_dir
  202.  
  203. The directory user state is stored in. (optional)
  204.  
  205. =item config_text
  206.  
  207. The text of all rules and preferences.  If you prefer not to load the rules
  208. from files, read them in yourself and set this instead.  As a result, this will
  209. override the settings for C<rules_filename>, C<site_rules_filename>,
  210. and C<userprefs_filename>.
  211.  
  212. =item languages_filename
  213.  
  214. If you want to be able to use the language-guessing rule
  215. C<UNWANTED_LANGUAGE_BODY>, and are using C<config_text> instead of
  216. C<rules_filename>, C<site_rules_filename>, and C<userprefs_filename>, you will
  217. need to set this.  It should be the path to the B<languages> file normally
  218. found in the SpamAssassin B<rules> directory.
  219.  
  220. =item local_tests_only
  221.  
  222. If set to 1, no tests that require internet access will be performed. (default:
  223. 0)
  224.  
  225. =item dont_copy_prefs
  226.  
  227. If set to 1, the user preferences file will not be created if it doesn't
  228. already exist. (default: 0)
  229.  
  230. =item save_pattern_hits
  231.  
  232. If set to 1, the patterns hit can be retrieved from the
  233. C<Mail::SpamAssassin::PerMsgStatus> object.  Used for debugging.
  234.  
  235. =item home_dir_for_helpers
  236.  
  237. If set, the B<HOME> environment variable will be set to this value
  238. when using test applications that require their configuration data,
  239. such as Razor, Pyzor and DCC.
  240.  
  241. =item username
  242.  
  243. If set, the C<username> attribute will use this as the current user's name.
  244. Otherwise, the default is taken from the runtime environment (ie. this process'
  245. effective UID under UNIX).
  246.  
  247. =back
  248.  
  249. If none of C<rules_filename>, C<site_rules_filename>, C<userprefs_filename>, or
  250. C<config_text> is set, the C<Mail::SpamAssassin> module will search for the
  251. configuration files in the usual installed locations using the below variable
  252. definitions which can be passed in.
  253.  
  254. =over 4
  255.  
  256. =item PREFIX
  257.  
  258. Used as the root for certain directory paths such as:
  259.  
  260.   '__prefix__/etc/mail/spamassassin'
  261.   '__prefix__/etc/spamassassin'
  262.  
  263. Defaults to "@@PREFIX@@".
  264.  
  265. =item DEF_RULES_DIR
  266.  
  267. Location where the default rules are installed.  Defaults to
  268. "@@DEF_RULES_DIR@@".
  269.  
  270. =item LOCAL_RULES_DIR
  271.  
  272. Location where the local site rules are installed.  Defaults to
  273. "@@LOCAL_RULES_DIR@@".
  274.  
  275. =item LOCAL_STATE_DIR
  276.  
  277. Location of the local state directory, mainly used for installing updates via
  278. C<sa-update>.  Defaults to "@@LOCAL_STATE_DIR@@".
  279.  
  280. =back
  281.  
  282.  
  283. =cut
  284.  
  285. sub new {
  286.   my $class = shift;
  287.   $class = ref($class) || $class;
  288.  
  289.   my $self = shift;
  290.   if (!defined $self) { $self = { }; }
  291.   bless ($self, $class);
  292.  
  293.   # basic backwards compatibility; debug used to be a boolean.
  294.   # translate that into 'all', which is what it meant before 3.1.0.
  295.   if ($self->{debug} && $self->{debug} eq '1') {
  296.     $self->{debug} = 'all';
  297.   }
  298.  
  299.   # enable or disable debugging
  300.   Mail::SpamAssassin::Logger::add_facilities($self->{debug});
  301.  
  302.   # first debugging information possibly printed should be the version
  303.   dbg("generic: SpamAssassin version " . Version());
  304.  
  305.   # if the libs are installed in an alternate location, and the caller
  306.   # didn't set PREFIX, we should have an estimated guess ready, values
  307.   # substituted at 'make' time
  308.   $self->{PREFIX}        ||= '@@PREFIX@@';
  309.   $self->{DEF_RULES_DIR}    ||= '@@DEF_RULES_DIR@@';
  310.   $self->{LOCAL_RULES_DIR}    ||= '@@LOCAL_RULES_DIR@@';
  311.   $self->{LOCAL_STATE_DIR}    ||= '@@LOCAL_STATE_DIR@@';
  312.  
  313.   $self->{conf} ||= new Mail::SpamAssassin::Conf ($self);
  314.   $self->{plugins} = Mail::SpamAssassin::PluginHandler->new ($self);
  315.  
  316.   $self->{save_pattern_hits} ||= 0;
  317.  
  318.   # Make sure that we clean $PATH if we're tainted
  319.   Mail::SpamAssassin::Util::clean_path_in_taint_mode();
  320.  
  321.   # TODO: this should be in Conf!
  322.   $self->{encapsulated_content_description} = 'original message before SpamAssassin';
  323.  
  324.   if (!defined $self->{username}) {
  325.     $self->{username} = (Mail::SpamAssassin::Util::portable_getpwuid ($>))[0];
  326.   }
  327.  
  328.   $self->create_locker();
  329.  
  330.   # argh.  this is only used to perform DNS lookups in
  331.   # Mail::SpamAssassin::Message::Metadata::Received. TODO! we need to get
  332.   # Dns.pm code into a class that is NOT part of
  333.   # Mail::SpamAssassin::PerMsgStatus to avoid this crap!
  334.   my $tmpmsg = $self->parse([ ], 1);
  335.   $self->{parser_dns_pms} = Mail::SpamAssassin::PerMsgStatus->new($self, $tmpmsg);
  336.  
  337.   $self->{resolver} = Mail::SpamAssassin::DnsResolver->new($self);
  338.  
  339.   $self;
  340. }
  341.  
  342. sub create_locker {
  343.   my ($self) = @_;
  344.  
  345.   my $class;
  346.   my $m = $self->{conf}->{lock_method};
  347.  
  348.   # let people choose what they want -- even if they may not work on their
  349.   # OS.  (they could be using cygwin!)
  350.   if ($m eq 'win32') { $class = 'Win32'; }
  351.   elsif ($m eq 'flock') { $class = 'Flock'; }
  352.   elsif ($m eq 'nfssafe') { $class = 'UnixNFSSafe'; }
  353.   else {
  354.     # OS-specific defaults
  355.     if (Mail::SpamAssassin::Util::am_running_on_windows()) {
  356.       $class = 'Win32';
  357.     } else {
  358.       $class = 'UnixNFSSafe';
  359.     }
  360.   }
  361.  
  362.   # this could probably be made a little faster; for now I'm going
  363.   # for slow but safe, by keeping in quotes
  364.   eval '
  365.     use Mail::SpamAssassin::Locker::'.$class.';
  366.     $self->{locker} = new Mail::SpamAssassin::Locker::'.$class.' ($self);
  367.   '; ($@) and die $@;
  368.  
  369.   if (!defined $self->{locker}) { die "locker: oops! no locker"; }
  370. }
  371.  
  372. ###########################################################################
  373.  
  374. =item parse($message, $parse_now)
  375.  
  376. Parse will return a Mail::SpamAssassin::Message object with just the
  377. headers parsed.  When calling this function, there are two optional
  378. parameters that can be passed in: $message is either undef (which will
  379. use STDIN), a scalar of the entire message, an array reference of the
  380. message with 1 line per array element, or a file glob which holds the
  381. entire contents of the message; and $parse_now, which specifies whether
  382. or not to create the MIME tree at parse time or later as necessary.
  383.  
  384. The I<$parse_now> option, by default, is set to false (0).  This
  385. allows SpamAssassin to not have to generate the tree of internal
  386. data nodes if the information is not going to be used.  This is
  387. handy, for instance, when running C<spamassassin -d>, which only
  388. needs the pristine header and body which is always parsed and stored
  389. by this function.
  390.  
  391. For more information, please see the C<Mail::SpamAssassin::Message>
  392. and C<Mail::SpamAssassin::Message::Node> POD.
  393.  
  394. =cut
  395.  
  396. sub parse {
  397.   my($self, $message, $parsenow) = @_;
  398.   my $msg = Mail::SpamAssassin::Message->new({message=>$message, parsenow=>$parsenow});
  399.   return $msg;
  400. }
  401.  
  402.  
  403. ###########################################################################
  404.  
  405. =item $status = $f->check ($mail)
  406.  
  407. Check a mail, encapsulated in a C<Mail::SpamAssassin::Message> object,
  408. to determine if it is spam or not.
  409.  
  410. Returns a C<Mail::SpamAssassin::PerMsgStatus> object which can be
  411. used to test or manipulate the mail message.
  412.  
  413. Note that the C<Mail::SpamAssassin> object can be re-used for further messages
  414. without affecting this check; in OO terminology, the C<Mail::SpamAssassin>
  415. object is a "factory".   However, if you do this, be sure to call the
  416. C<finish()> method on the status objects when you're done with them.
  417.  
  418. =cut
  419.  
  420. sub check {
  421.   my ($self, $mail_obj) = @_;
  422.   local ($_);
  423.  
  424.   $self->init(1);
  425.   my $msg = Mail::SpamAssassin::PerMsgStatus->new($self, $mail_obj);
  426.   $msg->check();
  427.   $msg;
  428. }
  429.  
  430. =item $status = $f->check_message_text ($mailtext)
  431.  
  432. Check a mail, encapsulated in a plain string C<$mailtext>, to determine if it
  433. is spam or not.
  434.  
  435. Otherwise identical to C<check()> above.
  436.  
  437. =cut
  438.  
  439. sub check_message_text {
  440.   my ($self, $mailtext) = @_;
  441.   my $msg = $self->parse($mailtext, 1);
  442.   my $result = $self->check($msg);
  443.  
  444.   # Kill off the metadata ...
  445.   # Do _NOT_ call normal finish() here.  PerMsgStatus has a copy of
  446.   # the message.  So killing it here will cause things like
  447.   # rewrite_message() to fail. <grrr>
  448.   #
  449.   $msg->finish_metadata();
  450.  
  451.   return $result;
  452. }
  453.  
  454. ###########################################################################
  455.  
  456. =item $status = $f->learn ($mail, $id, $isspam, $forget)
  457.  
  458. Learn from a mail, encapsulated in a C<Mail::SpamAssassin::Message> object.
  459.  
  460. If C<$isspam> is set, the mail is assumed to be spam, otherwise it will
  461. be learnt as non-spam.
  462.  
  463. If C<$forget> is set, the attributes of the mail will be removed from
  464. both the non-spam and spam learning databases.
  465.  
  466. C<$id> is an optional message-identification string, used internally
  467. to tag the message.  If it is C<undef>, the Message-Id of the message
  468. will be used.  It should be unique to that message.
  469.  
  470. Returns a C<Mail::SpamAssassin::PerMsgLearner> object which can be used to
  471. manipulate the learning process for each mail.
  472.  
  473. Note that the C<Mail::SpamAssassin> object can be re-used for further messages
  474. without affecting this check; in OO terminology, the C<Mail::SpamAssassin>
  475. object is a "factory".   However, if you do this, be sure to call the
  476. C<finish()> method on the learner objects when you're done with them.
  477.  
  478. C<learn()> and C<check()> can be run using the same factory.  C<init_learner()>
  479. must be called before using this method.
  480.  
  481. =cut
  482.  
  483. sub learn {
  484.   my ($self, $mail_obj, $id, $isspam, $forget) = @_;
  485.   local ($_);
  486.  
  487.   require Mail::SpamAssassin::PerMsgLearner;
  488.   $self->init(1);
  489.   my $msg = Mail::SpamAssassin::PerMsgLearner->new($self, $mail_obj);
  490.  
  491.   if ($forget) {
  492.     dbg("learn: forgetting message");
  493.     $msg->forget($id);
  494.   } elsif ($isspam) {
  495.     dbg("learn: learning spam");
  496.     $msg->learn_spam($id);
  497.   } else {
  498.     dbg("learn: learning ham");
  499.     $msg->learn_ham($id);
  500.   }
  501.  
  502.   $msg;
  503. }
  504.  
  505. ###########################################################################
  506.  
  507. =item $f->init_learner ( [ { opt => val, ... } ] )
  508.  
  509. Initialise learning.  You may pass the following attribute-value pairs to this
  510. method.
  511.  
  512. =over 4
  513.  
  514. =item caller_will_untie
  515.  
  516. Whether or not the code calling this method will take care of untie'ing
  517. from the Bayes databases (by calling C<finish_learner()>) (optional, default 0).
  518.  
  519. =item force_expire
  520.  
  521. Should an expiration run be forced to occur immediately? (optional, default 0).
  522.  
  523. =item learn_to_journal
  524.  
  525. Should learning data be written to the journal, instead of directly to the
  526. databases? (optional, default 0).
  527.  
  528. =item wait_for_lock
  529.  
  530. Whether or not to wait a long time for locks to complete (optional, default 0).
  531.  
  532. =item opportunistic_expire_check_only
  533.  
  534. During the opportunistic journal sync and expire check, don't actually do the
  535. expire but report back whether or not it should occur (optional, default 0).
  536.  
  537. =item no_relearn
  538.  
  539. If doing a learn operation, and the message has already been learned as
  540. the opposite type, don't re-learn the message.
  541.  
  542. =back
  543.  
  544. =cut
  545.  
  546. sub init_learner {
  547.   my $self = shift;
  548.   my $opts = shift;
  549.   dbg("learn: initializing learner");
  550.  
  551.   # Make sure we're already initialized ...
  552.   $self->init(1);
  553.  
  554.   my %kv = (
  555.     'force_expire'            => 'learn_force_expire',
  556.     'learn_to_journal'            => 'learn_to_journal',
  557.     'caller_will_untie'            => 'learn_caller_will_untie',
  558.     'wait_for_lock'            => 'learn_wait_for_lock',
  559.     'opportunistic_expire_check_only'    => 'opportunistic_expire_check_only',
  560.     'no_relearn'            => 'learn_no_relearn',
  561.   );
  562.  
  563.   my %ret;
  564.  
  565.   # Set any other options that need setting ...
  566.   while( my($k,$v) = each %kv ) {
  567.     $ret{$k} = $self->{$v};
  568.     if (exists $opts->{$k}) { $self->{$v} = $opts->{$k}; }
  569.   }
  570.  
  571.   return \%ret;
  572. }
  573.  
  574. ###########################################################################
  575.  
  576. =item $f->rebuild_learner_caches ({ opt => val })
  577.  
  578. Rebuild any cache databases; should be called after the learning process.
  579. Options include: C<verbose>, which will output diagnostics to C<stdout>
  580. if set to 1.
  581.  
  582. =cut
  583.  
  584. sub rebuild_learner_caches {
  585.   my $self = shift;
  586.   my $opts = shift;
  587.   $self->{bayes_scanner}->sync(1,1,$opts);
  588.   1;
  589. }
  590.  
  591. =item $f->finish_learner ()
  592.  
  593. Finish learning.
  594.  
  595. =cut
  596.  
  597. sub finish_learner {
  598.   my $self = shift;
  599.   $self->{bayes_scanner}->sanity_check_is_untied(1);
  600.   1;
  601. }
  602.  
  603. =item $f->dump_bayes_db()
  604.  
  605. Dump the contents of the Bayes DB
  606.  
  607. =cut
  608.  
  609. sub dump_bayes_db {
  610.   my($self,@opts) = @_;
  611.   $self->{bayes_scanner}->dump_bayes_db(@opts);
  612. }
  613.  
  614. =item $f->signal_user_changed ( [ { opt => val, ... } ] )
  615.  
  616. Signals that the current user has changed (possibly using C<setuid>), meaning
  617. that SpamAssassin should close any per-user databases it has open, and re-open
  618. using ones appropriate for the new user.
  619.  
  620. Note that this should be called I<after> reading any per-user configuration, as
  621. that data may override some paths opened in this method.  You may pass the
  622. following attribute-value pairs:
  623.  
  624. =over 4
  625.  
  626. =item username
  627.  
  628. The username of the user.  This will be used for the C<username> attribute.
  629.  
  630. =item user_dir
  631.  
  632. A directory to use as a 'home directory' for the current user's data,
  633. overriding the system default.  This directory must be readable and writable by
  634. the process.  Note that the resulting C<userstate_dir> will be the
  635. C<.spamassassin> subdirectory of this dir.
  636.  
  637. =item userstate_dir
  638.  
  639. A directory to use as a directory for the current user's data, overriding the
  640. system default.  This directory must be readable and writable by the process.
  641. The default is C<user_dir/.spamassassin>.
  642.  
  643. =back
  644.  
  645. =cut
  646.  
  647. sub signal_user_changed {
  648.   my $self = shift;
  649.   my $opts = shift;
  650.   my $set = 0;
  651.  
  652.   dbg("info: user has changed");
  653.  
  654.   if (defined $opts && $opts->{username}) {
  655.     $self->{username} = $opts->{username};
  656.   }
  657.   if (defined $opts && $opts->{user_dir}) {
  658.     $self->{user_dir} = $opts->{user_dir};
  659.   }
  660.   if (defined $opts && $opts->{userstate_dir}) {
  661.     $self->{userstate_dir} = $opts->{userstate_dir};
  662.   }
  663.  
  664.   # reopen bayes dbs for this user
  665.   $self->{bayes_scanner}->finish();
  666.   $self->{bayes_scanner} = new Mail::SpamAssassin::Bayes ($self);
  667.  
  668.   # this user may have a different learn_to_journal setting, so reset appropriately
  669.   $self->{'learn_to_journal'} = $self->{conf}->{bayes_learn_to_journal};
  670.  
  671.   $set |= 1 unless $self->{local_tests_only};
  672.   $set |= 2 if $self->{bayes_scanner}->is_scan_available();
  673.  
  674.   $self->{conf}->set_score_set ($set);
  675.  
  676.   $self->call_plugins ("signal_user_changed", {
  677.         username => $self->{username},
  678.         userstate_dir => $self->{userstate_dir},
  679.         user_dir => $self->{user_dir},
  680.           });
  681.  
  682.   1;
  683. }
  684.  
  685. ###########################################################################
  686.  
  687. =item $f->report_as_spam ($mail, $options)
  688.  
  689. Report a mail, encapsulated in a C<Mail::SpamAssassin::Message> object, as
  690. human-verified spam.  This will submit the mail message to live,
  691. collaborative, spam-blocker databases, allowing other users to block this
  692. message.
  693.  
  694. It will also submit the mail to SpamAssassin's Bayesian learner.
  695.  
  696. Options is an optional reference to a hash of options.  Currently these
  697. can be:
  698.  
  699. =over 4
  700.  
  701. =item dont_report_to_dcc
  702.  
  703. Inhibits reporting of the spam to DCC.
  704.  
  705. =item dont_report_to_pyzor
  706.  
  707. Inhibits reporting of the spam to Pyzor.
  708.  
  709. =item dont_report_to_razor
  710.  
  711. Inhibits reporting of the spam to Razor.
  712.  
  713. =item dont_report_to_spamcop
  714.  
  715. Inhibits reporting of the spam to SpamCop.
  716.  
  717. =back
  718.  
  719. =cut
  720.  
  721. sub report_as_spam {
  722.   my ($self, $mail, $options) = @_;
  723.   local ($_);
  724.  
  725.   $self->init(1);
  726.  
  727.   # learn as spam if enabled
  728.   if ( $self->{conf}->{bayes_learn_during_report} ) {
  729.     $self->learn ($mail, undef, 1, 0);
  730.   }
  731.  
  732.   require Mail::SpamAssassin::Reporter;
  733.   $mail = Mail::SpamAssassin::Reporter->new($self, $mail, $options);
  734.   $mail->report();
  735. }
  736.  
  737. ###########################################################################
  738.  
  739. =item $f->revoke_as_spam ($mail, $options)
  740.  
  741. Revoke a mail, encapsulated in a C<Mail::SpamAssassin::Message> object, as
  742. human-verified ham (non-spam).  This will revoke the mail message from live,
  743. collaborative, spam-blocker databases, allowing other users to block this
  744. message.
  745.  
  746. It will also submit the mail to SpamAssassin's Bayesian learner as nonspam.
  747.  
  748. Options is an optional reference to a hash of options.  Currently these
  749. can be:
  750.  
  751. =over 4
  752.  
  753. =item dont_report_to_razor
  754.  
  755. Inhibits revoking of the spam to Razor.
  756.  
  757.  
  758. =back
  759.  
  760. =cut
  761.  
  762. sub revoke_as_spam {
  763.   my ($self, $mail, $options) = @_;
  764.   local ($_);
  765.  
  766.   $self->init(1);
  767.  
  768.   # learn as nonspam
  769.   $self->learn ($mail, undef, 0, 0);
  770.  
  771.   require Mail::SpamAssassin::Reporter;
  772.   $mail = Mail::SpamAssassin::Reporter->new($self, $mail, $options);
  773.   $mail->revoke ();
  774. }
  775.  
  776. ###########################################################################
  777.  
  778. =item $f->add_address_to_whitelist ($addr)
  779.  
  780. Given a string containing an email address, add it to the automatic
  781. whitelist database.
  782.  
  783. =cut
  784.  
  785. sub add_address_to_whitelist {
  786.   my ($self, $addr) = @_;
  787.  
  788.   $self->call_plugins("whitelist_address", { address => $addr });
  789. }
  790.  
  791. ###########################################################################
  792.  
  793. =item $f->add_all_addresses_to_whitelist ($mail)
  794.  
  795. Given a mail message, find as many addresses in the usual headers (To, Cc, From
  796. etc.), and the message body, and add them to the automatic whitelist database.
  797.  
  798. =cut
  799.  
  800. sub add_all_addresses_to_whitelist {
  801.   my ($self, $mail_obj) = @_;
  802.  
  803.   foreach my $addr ($self->find_all_addrs_in_mail ($mail_obj)) {
  804.     $self->call_plugins("whitelist_address", { address => $addr });
  805.   }
  806. }
  807.  
  808. ###########################################################################
  809.  
  810. =item $f->remove_address_from_whitelist ($addr)
  811.  
  812. Given a string containing an email address, remove it from the automatic
  813. whitelist database.
  814.  
  815. =cut
  816.  
  817. sub remove_address_from_whitelist {
  818.   my ($self, $addr) = @_;
  819.  
  820.   $self->call_plugins("remove_address", { address => $addr });
  821. }
  822.  
  823. ###########################################################################
  824.  
  825. =item $f->remove_all_addresses_from_whitelist ($mail)
  826.  
  827. Given a mail message, find as many addresses in the usual headers (To, Cc, From
  828. etc.), and the message body, and remove them from the automatic whitelist
  829. database.
  830.  
  831. =cut
  832.  
  833. sub remove_all_addresses_from_whitelist {
  834.   my ($self, $mail_obj) = @_;
  835.  
  836.   foreach my $addr ($self->find_all_addrs_in_mail ($mail_obj)) {
  837.     $self->call_plugins("remove_address", { address => $addr });
  838.   }
  839. }
  840.  
  841. ###########################################################################
  842.  
  843. =item $f->add_address_to_blacklist ($addr)
  844.  
  845. Given a string containing an email address, add it to the automatic
  846. whitelist database with a high score, effectively blacklisting them.
  847.  
  848. =cut
  849.  
  850. sub add_address_to_blacklist {
  851.   my ($self, $addr) = @_;
  852.   $self->call_plugins("blacklist_address", { address => $addr });
  853. }
  854.  
  855. ###########################################################################
  856.  
  857. =item $f->add_all_addresses_to_blacklist ($mail)
  858.  
  859. Given a mail message, find addresses in the From headers and add them to the
  860. automatic whitelist database with a high score, effectively blacklisting them.
  861.  
  862. Note that To and Cc addresses are not used.
  863.  
  864. =cut
  865.  
  866. sub add_all_addresses_to_blacklist {
  867.   my ($self, $mail_obj) = @_;
  868.  
  869.   $self->init(1);
  870.  
  871.   my @addrlist = ();
  872.   my @hdrs = $mail_obj->get_header ('From');
  873.   if ($#hdrs >= 0) {
  874.     push (@addrlist, $self->find_all_addrs_in_line (join (" ", @hdrs)));
  875.   }
  876.  
  877.   foreach my $addr (@addrlist) {
  878.     $self->call_plugins("blacklist_address", { address => $addr });
  879.   }
  880.  
  881. }
  882.  
  883. ###########################################################################
  884.  
  885. =item $text = $f->remove_spamassassin_markup ($mail)
  886.  
  887. Returns the text of the message, with any SpamAssassin-added text (such
  888. as the report, or X-Spam-Status headers) stripped.
  889.  
  890. Note that the B<$mail> object is not modified.
  891.  
  892. =cut
  893.  
  894. sub remove_spamassassin_markup {
  895.   my ($self, $mail_obj) = @_;
  896.   local ($_);
  897.  
  898.   my $mbox = $mail_obj->get_mbox_separator() || '';
  899.  
  900.   dbg("markup: removing markup");
  901.  
  902.   # Go looking for a "report_safe" encapsulated message.  Abort out ASAP
  903.   # if we have definitive proof it's not an encapsulated message.
  904.   my $ct = $mail_obj->get_header("Content-Type") || '';
  905.   if ( $ct =~ m!^\s*multipart/mixed;\s+boundary\s*=\s*["']?(.+?)["']?(?:;|$)!i ) {
  906.  
  907.     # Ok, this is a possible encapsulated message, search for the
  908.     # appropriate mime part and deal with it if necessary.
  909.     my $boundary = "\Q$1\E";
  910.     my @msg = split(/^/,$mail_obj->get_pristine_body());
  911.  
  912.     my $flag = 0;
  913.     $ct   = '';
  914.     my $cd = '';
  915.     for ( my $i = 0 ; $i <= $#msg ; $i++ ) {
  916.       # only look at mime part headers
  917.       next unless ( $msg[$i] =~ /^--$boundary\r?$/ || $flag );
  918.  
  919.       if ( $msg[$i] =~ /^\s*$/ ) {    # end of mime header
  920.  
  921.         # Ok, we found the encapsulated piece ...
  922.     if ($ct =~ m@^(?:message/rfc822|text/plain);\s+x-spam-type=original@ ||
  923.         ($ct eq "message/rfc822" &&
  924.          $cd eq $self->{'encapsulated_content_description'}))
  925.         {
  926.           splice @msg, 0, $i+1;  # remove the front part, including the blank line
  927.  
  928.           # find the end and chop it off
  929.           for ( $i = 0 ; $i <= $#msg ; $i++ ) {
  930.             if ( $msg[$i] =~ /^--$boundary/ ) {
  931.               splice @msg, ($msg[$i-1] =~ /\S/ ? $i : $i-1);
  932.           # will remove the blank line (not sure it'll always be
  933.           # there) and everything below.  don't worry, the splice
  934.           # guarantees the for will stop ...
  935.             }
  936.           }
  937.  
  938.       # Ok, we're done.  Return the rewritten message.
  939.       return join('', $mbox, @msg);
  940.         }
  941.  
  942.         $flag = 0;
  943.         $ct   = '';
  944.         $cd   = '';
  945.         next;
  946.       }
  947.  
  948.       # Ok, we're in the mime header ...  Capture the appropriate headers...
  949.       $flag = 1;
  950.       if ( $msg[$i] =~ /^Content-Type:\s+(.+?)\s*$/i ) {
  951.         $ct = $1;
  952.       }
  953.       elsif ( $msg[$i] =~ /^Content-Description:\s+(.+?)\s*$/i ) {
  954.         $cd = $1;
  955.       }
  956.     }
  957.   }
  958.  
  959.   # Ok, if we got here, the message wasn't a report_safe encapsulated message.
  960.   # So treat it like a "report_safe 0" message.
  961.   my $hdrs = $mail_obj->get_pristine_header();
  962.   my $body = $mail_obj->get_pristine_body();
  963.  
  964.   # remove DOS line endings
  965.   $hdrs =~ s/\r//gs;
  966.  
  967.   # unfold SA added headers, but not X-Spam-Prev headers ...
  968.   $hdrs = "\n".$hdrs;   # simplifies regexp below
  969.   1 while $hdrs =~ s/(\nX-Spam-(?!Prev).+?)\n[ \t]+(\S.*\n)/$1 $2/g;
  970.   $hdrs =~ s/^\n//;
  971.  
  972. ###########################################################################
  973.   # Backward Compatibilty, pre 3.0.x.
  974.  
  975.   # deal with rewritten headers w/out X-Spam-Prev- versions ...
  976.   $self->init(1);
  977.   foreach my $header ( keys %{$self->{conf}->{rewrite_header}} ) {
  978.     # let the 3.0 decoding do it...
  979.     next if ($hdrs =~ /^X-Spam-Prev-$header:/im);
  980.  
  981.     dbg("markup: removing markup in $header");
  982.     if ($header eq 'Subject') {
  983.       my $tag = $self->{conf}->{rewrite_header}->{'Subject'};
  984.       $tag = quotemeta($tag);
  985.       $tag =~ s/_HITS_/\\d{2}\\.\\d{2}/g;
  986.       $tag =~ s/_SCORE_/\\d{2}\\.\\d{2}/g;
  987.       $tag =~ s/_REQD_/\\d{2}\\.\\d{2}/g;
  988.       1 while $hdrs =~ s/^Subject: ${tag} /Subject: /gm;
  989.     } else {
  990.       $hdrs =~ s/^(${header}:[ \t].*?)\t\([^)]*\)$/$1/gm;
  991.     }
  992.   }
  993.  
  994.   # Now deal with report cleansing from 2.4x and previous.
  995.   # possibly a blank line, "SPAM: ----.+", followed by "SPAM: stuff" lines,
  996.   # followed by another "SPAM: ----.+" line, followed by a blank line.
  997.   1 while ($body =~ s/^\n?SPAM: ----.+\n(?:SPAM:.*\n)*SPAM: ----.+\n\n//);
  998. ###########################################################################
  999.  
  1000.   # 3.0 version -- support for previously-nonexistent Subject hdr.
  1001.   # ensure the Subject line didn't *really* contain "(nonexistent)" in
  1002.   # the original message!
  1003.   if ($hdrs =~ /^X-Spam-Prev-Subject:\s*\(nonexistent\)$/m
  1004.         && $hdrs !~ /^Subject:.*\(nonexistent\).*$/m)
  1005.   {
  1006.     $hdrs =~ s/(^|\n)X-Spam-Prev-Subject:\s*\(nonexistent\)\n/$1\n/s;
  1007.     $hdrs =~ s/(^|\n)Subject:\s*[ \t]*.*\n(?:\s+\S.*\n)*/$1\n/s;
  1008.   }
  1009.  
  1010.   # 3.0 version -- revert from X-Spam-Prev to original ...
  1011.   while ($hdrs =~ s/^X-Spam-Prev-(([^:]+:)[ \t]*.*\n(?:\s+\S.*\n)*)//m) {
  1012.     my($hdr, $name) = ($1,$2);
  1013.  
  1014.     # If the rewritten version doesn't exist, we should deal with it anyway...
  1015.     unless ($hdrs =~ s/^$name[ \t]*.*\n(?:\s+\S.*\n)*/$hdr/m) {
  1016.       $hdrs =~ s/\n\n/\n$hdr\n/;
  1017.     }
  1018.   }
  1019.  
  1020.   # remove any other X-Spam headers we added, will be unfolded
  1021.   $hdrs = "\n".$hdrs;   # simplifies regexp below
  1022.   1 while $hdrs =~ s/\nX-Spam-.*\n/\n/g;
  1023.   $hdrs =~ s/^\n//;
  1024.  
  1025.   # Put the whole thing back together ...
  1026.   return join ('', $mbox, $hdrs, $body);
  1027. }
  1028.  
  1029. ###########################################################################
  1030.  
  1031. =item $f->read_scoreonly_config ($filename)
  1032.  
  1033. Read a configuration file and parse user preferences from it.
  1034.  
  1035. User preferences are as defined in the C<Mail::SpamAssassin::Conf> manual page.
  1036. In other words, they include scoring options, scores, whitelists and
  1037. blacklists, and so on, but do not include rule definitions, privileged
  1038. settings, etc. unless C<allow_user_rules> is enabled; and they never include
  1039. the administrator settings.
  1040.  
  1041. =cut
  1042.  
  1043. sub read_scoreonly_config {
  1044.   my ($self, $filename) = @_;
  1045.  
  1046.   if (!open(IN,"<$filename")) {
  1047.     # the file may not exist; this should not be verbose
  1048.     dbg("config: read_scoreonly_config: cannot open \"$filename\": $!");
  1049.     return;
  1050.   }
  1051.  
  1052.   my $text = "file start $filename\n"
  1053.         . join ('', <IN>)
  1054.         # add an extra \n in case file did not end in one.
  1055.         . "\nfile end $filename\n";
  1056.  
  1057.   close IN;
  1058.  
  1059.   $self->{conf}->{main} = $self;
  1060.   $self->{conf}->parse_scores_only ($text);
  1061.   if ($self->{conf}->{allow_user_rules}) {
  1062.       dbg("config: finishing parsing!");
  1063.       $self->{conf}->finish_parsing();
  1064.   }
  1065.   delete $self->{conf}->{main};    # to allow future GC'ing
  1066. }
  1067.  
  1068. ###########################################################################
  1069.  
  1070. =item $f->load_scoreonly_sql ($username)
  1071.  
  1072. Read configuration paramaters from SQL database and parse scores from it.  This
  1073. will only take effect if the perl C<DBI> module is installed, and the
  1074. configuration parameters C<user_scores_dsn>, C<user_scores_sql_username>, and
  1075. C<user_scores_sql_password> are set correctly.
  1076.  
  1077. The username in C<$username> will also be used for the C<username> attribute of
  1078. the Mail::SpamAssassin object.
  1079.  
  1080. =cut
  1081.  
  1082. sub load_scoreonly_sql {
  1083.   my ($self, $username) = @_;
  1084.  
  1085.   my $src = Mail::SpamAssassin::Conf::SQL->new ($self);
  1086.   $self->{username} = $username;
  1087.   unless ($src->load($username)) {
  1088.     return 0;
  1089.   }
  1090.   return 1;
  1091. }
  1092.  
  1093. ###########################################################################
  1094.  
  1095. =item $f->load_scoreonly_ldap ($username)
  1096.  
  1097. Read configuration paramaters from an LDAP server and parse scores from it.
  1098. This will only take effect if the perl C<Net::LDAP> and C<URI> modules are
  1099. installed, and the configuration parameters C<user_scores_dsn>,
  1100. C<user_scores_ldap_username>, and C<user_scores_ldap_password> are set
  1101. correctly.
  1102.  
  1103. The username in C<$username> will also be used for the C<username> attribute of
  1104. the Mail::SpamAssassin object.
  1105.  
  1106. =cut
  1107.  
  1108. sub load_scoreonly_ldap {
  1109.   my ($self, $username) = @_;
  1110.  
  1111.   dbg("config: load_scoreonly_ldap($username)");
  1112.   my $src = Mail::SpamAssassin::Conf::LDAP->new ($self);
  1113.   $self->{username} = $username;
  1114.   $src->load($username);
  1115. }
  1116.  
  1117. ###########################################################################
  1118.  
  1119. =item $f->set_persistent_address_list_factory ($factoryobj)
  1120.  
  1121. Set the persistent address list factory, used to create objects for the
  1122. automatic whitelist algorithm's persistent-storage back-end.  See
  1123. C<Mail::SpamAssassin::PersistentAddrList> for the API these factory objects
  1124. must implement, and the API the objects they produce must implement.
  1125.  
  1126. =cut
  1127.  
  1128. sub set_persistent_address_list_factory {
  1129.   my ($self, $fac) = @_;
  1130.   $self->{pers_addr_list_factory} = $fac;
  1131. }
  1132.  
  1133. ###########################################################################
  1134.  
  1135. =item $f->compile_now ($use_user_prefs, $keep_userstate)
  1136.  
  1137. Compile all patterns, load all configuration files, and load all
  1138. possibly-required Perl modules.
  1139.  
  1140. Normally, Mail::SpamAssassin uses lazy evaluation where possible, but if you
  1141. plan to fork() or start a new perl interpreter thread to process a message,
  1142. this is suboptimal, as each process/thread will have to perform these actions.
  1143.  
  1144. Call this function in the master thread or process to perform the actions
  1145. straightaway, so that the sub-processes will not have to.
  1146.  
  1147. If C<$use_user_prefs> is 0, this will initialise the SpamAssassin
  1148. configuration without reading the per-user configuration file and it will
  1149. assume that you will call C<read_scoreonly_config> at a later point.
  1150.  
  1151. If C<$keep_userstate> is true, compile_now() will revert any configuration
  1152. options which have a default with I<__userstate__> in it post-init(),
  1153. and then re-change the option before returning.  This lets you change
  1154. I<$ENV{'HOME'}> to a temp directory, have compile_now() and create any
  1155. files there as necessary without disturbing the actual files as changed
  1156. by a configuration option.  By default, this is disabled.
  1157.  
  1158. =cut
  1159.  
  1160. sub compile_now {
  1161.   my ($self, $use_user_prefs, $deal_with_userstate) = @_;
  1162.  
  1163.   # note: this may incur network access. Good.  We want to make sure
  1164.   # as much as possible is preloaded!
  1165.   my @testmsg = ("From: ignore\@compiling.spamassassin.taint.org\n", 
  1166.     "Message-Id:  <".time."\@spamassassin_spamd_init>\n", "\n",
  1167.     "I need to make this message body somewhat long so TextCat preloads\n"x20);
  1168.  
  1169.   dbg("ignore: test message to precompile patterns and load modules");
  1170.  
  1171.   # Backup default values which deal with userstate.
  1172.   # This is done so we can create any new files in, presumably, a temp dir.
  1173.   # see bug 2762 for more details.
  1174.   my %backup = ();
  1175.   if (defined $deal_with_userstate && $deal_with_userstate) {
  1176.     while(my($k,$v) = each %{$self->{conf}}) {
  1177.       $backup{$k} = $v if (defined $v && !ref($v) && $v =~/__userstate__/);
  1178.     }
  1179.   }
  1180.  
  1181.   $self->init($use_user_prefs);
  1182.  
  1183.   # if init() didn't change the value from default, forget about it.
  1184.   # if the value is different, remember the new version, and reset the default.
  1185.   while(my($k,$v) = each %backup) {
  1186.     if ($self->{conf}->{$k} eq $v) {
  1187.       delete $backup{$k};
  1188.     }
  1189.     else {
  1190.       my $backup = $backup{$k};
  1191.       $backup{$k} = $self->{conf}->{$k};
  1192.       $self->{conf}->{$k} = $backup;
  1193.     }
  1194.   }
  1195.  
  1196.   my $mail = $self->parse(\@testmsg, 1);
  1197.   my $status = Mail::SpamAssassin::PerMsgStatus->new($self, $mail,
  1198.                         { disable_auto_learning => 1 } );
  1199.   $status->word_is_in_dictionary("aba"); # load triplets.txt into memory
  1200.   # We want to turn off the bayes rules for this test msg
  1201.   my $use_bayes_rules_value = $self->{conf}->{use_bayes_rules};
  1202.   $self->{conf}->{use_bayes_rules} = 0;
  1203.   $status->check();
  1204.   $self->{conf}->{use_bayes_rules} = $use_bayes_rules_value;
  1205.   $status->finish();
  1206.   $mail->finish();
  1207.   $self->finish_learner();
  1208.  
  1209.   # load SQL modules now as well
  1210.   my $dsn = $self->{conf}->{user_scores_dsn};
  1211.   if ($dsn ne '') {
  1212.     if ($dsn =~ /^ldap:/i) {
  1213.       Mail::SpamAssassin::Conf::LDAP::load_modules();
  1214.     } else {
  1215.       Mail::SpamAssassin::Conf::SQL::load_modules();
  1216.     }
  1217.   }
  1218.  
  1219.   $self->{bayes_scanner}->sanity_check_is_untied();
  1220.  
  1221.   # Reset any non-default values to the post-init() version.
  1222.   while(my($k,$v) = each %backup) {
  1223.     $self->{conf}->{$k} = $v;
  1224.   }
  1225.  
  1226.   # clear sed_path_cache
  1227.   delete $self->{conf}->{sed_path_cache};
  1228.  
  1229.   1;
  1230. }
  1231.  
  1232. ###########################################################################
  1233.  
  1234. =item $f->debug_diagnostics ()
  1235.  
  1236. Output some diagnostic information, useful for debugging SpamAssassin
  1237. problems.
  1238.  
  1239. =cut
  1240.  
  1241. sub debug_diagnostics {
  1242.   my ($self) = @_;
  1243.  
  1244.   # load this class lazily, to avoid overhead when this method isn't
  1245.   # called.
  1246.   eval {
  1247.     require Mail::SpamAssassin::Util::DependencyInfo;
  1248.     dbg(Mail::SpamAssassin::Util::DependencyInfo::debug_diagnostics($self));
  1249.   };
  1250. }
  1251.  
  1252. ###########################################################################
  1253.  
  1254. =item $failed = $f->lint_rules ()
  1255.  
  1256. Syntax-check the current set of rules.  Returns the number of 
  1257. syntax errors discovered, or 0 if the configuration is valid.
  1258.  
  1259. =cut
  1260.  
  1261. sub lint_rules {
  1262.     1;
  1263. }
  1264.  
  1265. sub lint_rules_really {
  1266.   my ($self) = @_;
  1267.  
  1268.   dbg("ignore: using a test message to lint rules");
  1269.   my @testmsg = ("From: ignore\@compiling.spamassassin.taint.org\n", 
  1270.     "Subject: \n",
  1271.     "Message-Id:  <".CORE::time()."\@lint_rules>\n", "\n",
  1272.     "I need to make this message body somewhat long so TextCat preloads\n"x20);
  1273.  
  1274.   $self->{lint_rules} = $self->{conf}->{lint_rules} = 1;
  1275.   $self->{syntax_errors} = 0;
  1276.  
  1277.   my $olddcp = $self->{dont_copy_prefs};
  1278.   $self->{dont_copy_prefs} = 1;
  1279.  
  1280.   $self->init(1);
  1281.   $self->{syntax_errors} += $self->{conf}->{errors};
  1282.  
  1283.   $self->{dont_copy_prefs} = $olddcp;       # revert back to previous
  1284.  
  1285.   # bug 5048: override settings to ensure a faster lint
  1286.   $self->{'conf'}->{'use_auto_whitelist'} = 0;
  1287.   $self->{'conf'}->{'bayes_auto_learn'} = 0;
  1288.  
  1289.   my $mail = $self->parse(\@testmsg, 1);
  1290.   my $status = Mail::SpamAssassin::PerMsgStatus->new($self, $mail,
  1291.                         { disable_auto_learning => 1 } );
  1292.   $status->check();
  1293.  
  1294.   $self->{syntax_errors} += $status->{rule_errors};
  1295.   $status->finish();
  1296.   $mail->finish();
  1297.  
  1298.   return ($self->{syntax_errors});
  1299. }
  1300.  
  1301. ###########################################################################
  1302.  
  1303. =item $f->finish()
  1304.  
  1305. Destroy this object, so that it will be garbage-collected once it
  1306. goes out of scope.  The object will no longer be usable after this
  1307. method is called.
  1308.  
  1309. =cut
  1310.  
  1311. sub finish {
  1312.   my ($self) = @_;
  1313.  
  1314.   $self->{parser_dns_pms}->finish();
  1315.   Mail::SpamAssassin::PerMsgStatus::finish_tests($self->{conf});
  1316.   $self->{conf}->finish(); delete $self->{conf};
  1317.   $self->{plugins}->finish(); delete $self->{plugins};
  1318.  
  1319.   if ($self->{bayes_scanner}) {
  1320.     $self->{bayes_scanner}->finish();
  1321.     delete $self->{bayes_scanner};
  1322.   }
  1323.  
  1324.   $self->{resolver}->finish();
  1325.  
  1326.   foreach(keys %{$self}) {
  1327.     delete $self->{$_};
  1328.   }
  1329. }
  1330.  
  1331. ###########################################################################
  1332. # non-public methods.
  1333.  
  1334. sub init {
  1335.   my ($self, $use_user_pref) = @_;
  1336.  
  1337.   # Allow init() to be called multiple times, but only run once.
  1338.   if (defined $self->{_initted}) {
  1339.     # If the PID changes, reseed the PRNG and the DNS ID counter
  1340.     if ($self->{_initted} != $$) {
  1341.       $self->{_initted} = $$;
  1342.       srand;
  1343.       $self->{resolver}->reinit_post_fork();
  1344.     }
  1345.     return;
  1346.   }
  1347.  
  1348.   # Note that this PID has run init()
  1349.   $self->{_initted} = $$;
  1350.  
  1351.   #fix spamd reading root prefs file
  1352.   if (!defined $use_user_pref) {
  1353.     $use_user_pref = 1;
  1354.   }
  1355.  
  1356.   if (!defined $self->{config_text}) {
  1357.     $self->{config_text} = '';
  1358.  
  1359.     my $fname;
  1360.  
  1361.     # read a file called "init.pre" in site rules dir *before* all others;
  1362.     # even the system config.
  1363.     my $siterules = $self->{site_rules_filename};
  1364.     $siterules ||= $self->first_existing_path (@site_rules_path);
  1365.  
  1366.     my $sysrules = $self->{rules_filename};
  1367.     $sysrules ||= $self->first_existing_path (@default_rules_path);
  1368.  
  1369.     if ($siterules) {
  1370.       $self->{config_text} .= $self->read_pre($siterules, 'site rules pre files');
  1371.     }
  1372.     else {
  1373.       warn "config: could not find site rules directory\n";
  1374.     }
  1375.  
  1376.     if ($sysrules) {
  1377.       $self->{config_text} .= $self->read_pre($sysrules, 'sys rules pre files');
  1378.     }
  1379.     else {
  1380.       warn "config: could not find sys rules directory\n";
  1381.     }
  1382.  
  1383.     $fname = $sysrules;
  1384.     if ($fname) {
  1385.       $self->{config_text} .= $self->read_cf ($fname, 'default rules dir');
  1386.       }
  1387.  
  1388.     if (!$self->{languages_filename}) {
  1389.       $self->{languages_filename} = $self->find_rule_support_file("languages");
  1390.     }
  1391.  
  1392.     $fname = $siterules;
  1393.     if ($fname) {
  1394.       $self->{config_text} .= $self->read_cf ($fname, 'site rules dir');
  1395.     }
  1396.  
  1397.     if ( $use_user_pref != 0 ) {
  1398.       $self->get_and_create_userstate_dir();
  1399.  
  1400.       # user prefs file
  1401.       $fname = $self->{userprefs_filename};
  1402.       $fname ||= $self->first_existing_path (@default_userprefs_path);
  1403.  
  1404.       if (!$self->{dont_copy_prefs}) {
  1405.         # bug 4932: if the userprefs path doesn't exist, we need to make it, so
  1406.         # just use the last entry in the array as the default path.
  1407.         $fname ||= $self->sed_path($default_userprefs_path[-1]);
  1408.  
  1409.     if (!-f $fname && !$self->create_default_prefs($fname)) {
  1410.           warn "config: failed to create default user preference file $fname\n";
  1411.         }
  1412.       }
  1413.  
  1414.       $self->{config_text} .= $self->read_cf ($fname, 'user prefs file');
  1415.     }
  1416.   }
  1417.  
  1418.   if ($self->{config_text} !~ /\S/) {
  1419.     warn "config: no configuration text or files found! please check your setup\n";
  1420.   }
  1421.  
  1422.   # Go and parse the config!
  1423.   $self->{conf}->{main} = $self;
  1424.   $self->{conf}->parse_rules ($self->{config_text});
  1425.   $self->{conf}->finish_parsing ();
  1426.   delete $self->{conf}->{main};    # to allow future GC'ing
  1427.  
  1428.   undef $self->{config_text};   # ensure it's actually freed
  1429.   delete $self->{config_text};
  1430.  
  1431.   # Initialize the Bayes subsystem
  1432.   $self->{bayes_scanner} = new Mail::SpamAssassin::Bayes ($self);
  1433.   $self->{'learn_to_journal'} = $self->{conf}->{bayes_learn_to_journal};
  1434.  
  1435.   # Figure out/set our initial scoreset
  1436.   my $set = 0;
  1437.   $set |= 1 unless $self->{local_tests_only};
  1438.   $set |= 2 if $self->{bayes_scanner}->is_scan_available();
  1439.   $self->{conf}->set_score_set ($set);
  1440.  
  1441.   if ($self->{only_these_rules}) {
  1442.     $self->{conf}->trim_rules($self->{only_these_rules});
  1443.   }
  1444.  
  1445.   # TODO -- open DNS cache etc. if necessary
  1446. }
  1447.  
  1448. sub read_cf {
  1449.   my ($self, $path, $desc) = @_;
  1450.  
  1451.   return '' unless defined ($path);
  1452.  
  1453.   dbg("config: using \"$path\" for $desc");
  1454.   my $txt = '';
  1455.  
  1456.   if (-d $path) {
  1457.     foreach my $file ($self->get_cf_files_in_dir ($path)) {
  1458.       $txt .= read_cf_file($file);
  1459.     }
  1460.  
  1461.   } elsif (-f $path && -s _ && -r _) {
  1462.     $txt .= read_cf_file($path);
  1463.   }
  1464.  
  1465.   return $txt;
  1466. }
  1467.  
  1468.  
  1469. sub read_pre {
  1470.   my ($self, $path, $desc) = @_;
  1471.  
  1472.   return '' unless defined ($path);
  1473.  
  1474.   dbg("config: using \"$path\" for $desc");
  1475.   my $txt = '';
  1476.  
  1477.   if (-d $path) {
  1478.     foreach my $file ($self->get_pre_files_in_dir($path)) {
  1479.       $txt .= read_cf_file($file); # ok to use read_cf_file at this point
  1480.     }
  1481.  
  1482.   } elsif (-f $path && -s _ && -r _) {
  1483.     $txt .= read_cf_file($path);
  1484.   }
  1485.  
  1486.   return $txt;
  1487. }
  1488.  
  1489. sub read_cf_file {
  1490.   my($path) = @_;
  1491.   my $txt = '';
  1492.  
  1493.   if (open (IN, "<".$path)) {
  1494.     $txt = "file start $path\n";
  1495.     $txt .= join ('', <IN>);
  1496.     # add an extra \n in case file did not end in one.
  1497.     $txt .= "\nfile end $path\n";
  1498.     close IN;
  1499.     dbg("config: read file $path");
  1500.   }
  1501.   else {
  1502.     warn "config: cannot open \"$path\": $!\n";
  1503.   }
  1504.  
  1505.   return $txt;
  1506. }
  1507.  
  1508. sub get_and_create_userstate_dir {
  1509.   my ($self) = @_;
  1510.  
  1511.   my $fname;
  1512.  
  1513.   # If vpopmail is enabled then set fname to virtual homedir
  1514.   # precedence: userstate_dir, derive from user_dir, system default
  1515.   if (defined $self->{userstate_dir}) {
  1516.     $fname = $self->{userstate_dir};
  1517.   }
  1518.   elsif (defined $self->{user_dir}) {
  1519.     $fname = File::Spec->catdir ($self->{user_dir}, ".spamassassin");
  1520.   }
  1521.  
  1522.   $fname ||= $self->first_existing_path (@default_userstate_dir);
  1523.  
  1524.   # bug 4932: use the last default_userstate_dir entry if none of the others
  1525.   # already exist
  1526.   $fname ||= $self->sed_path($default_userstate_dir[-1]);
  1527.  
  1528.   if (!$self->{dont_copy_prefs}) {
  1529.     dbg("config: using \"$fname\" for user state dir");
  1530.   }
  1531.  
  1532.   # bug 4932: we always want to make the userstate directory, even if
  1533.   # dont_copy_prefs is true for things like bayes, awl, etc.
  1534.   if (!-d $fname) {
  1535.     # not being able to create the *dir* is not worth a warning at all times
  1536.     eval { mkpath($fname, 0, 0700) } or dbg("config: mkdir $fname failed: $@ $!\n");
  1537.   }
  1538.  
  1539.   $fname;
  1540. }
  1541.  
  1542. =item $fullpath = $f->find_rule_support_file ($filename)
  1543.  
  1544. Find a rule-support file, such as C<languages> or C<triplets.txt>,
  1545. in the system-wide rules directory, and return its full path if
  1546. it exists, or undef if it doesn't exist.
  1547.  
  1548. (This API was added in SpamAssassin 3.1.1.)
  1549.  
  1550. =cut
  1551.  
  1552. sub find_rule_support_file {
  1553.   my ($self, $filename) = @_;
  1554.  
  1555.   # take a copy to avoid modifying the real one (stupid map { } side-effect)
  1556.   my @paths = @default_rules_path;
  1557.   return $self->first_existing_path (map {
  1558.       s/$/\/${filename}/;
  1559.       $_;
  1560.     } @paths);
  1561. }
  1562.  
  1563. =item $f->create_default_prefs ($filename, $username [ , $userdir ] )
  1564.  
  1565. Copy default preferences file into home directory for later use and
  1566. modification, if it does not already exist and C<dont_copy_prefs> is
  1567. not set.
  1568.  
  1569. =cut
  1570.  
  1571. sub create_default_prefs {
  1572.   # $userdir will only exist if vpopmail config is enabled thru spamd
  1573.   # Its value will be the virtual user's maildir
  1574.   #
  1575.   my ($self, $fname, $user, $userdir) = @_;
  1576.  
  1577.   if ($self->{dont_copy_prefs}) {
  1578.     return(0);
  1579.   }
  1580.  
  1581.   if ($userdir && $userdir ne $self->{user_dir}) {
  1582.     warn "config: oops! user_dirs don't match! '$userdir' vs '$self->{user_dir}'\n";
  1583.   }
  1584.  
  1585.   if (!-f $fname)
  1586.   {
  1587.     # Pass on the value of $userdir for virtual users in vpopmail
  1588.     # otherwise it is empty and the user's normal homedir is used
  1589.     $self->get_and_create_userstate_dir();
  1590.  
  1591.     # copy in the default one for later editing
  1592.     my $defprefs = $self->first_existing_path (@Mail::SpamAssassin::default_prefs_path);
  1593.  
  1594.     if (defined $defprefs && open (IN, "<$defprefs")) {
  1595.       $fname = Mail::SpamAssassin::Util::untaint_file_path($fname);
  1596.       if (open (OUT, ">$fname")) {
  1597.         while (<IN>) {
  1598.           /^\#\* / and next;
  1599.           print OUT;
  1600.         }
  1601.         close OUT;
  1602.         close IN;
  1603.  
  1604.         if (($< == 0) && ($> == 0) && defined($user)) { # chown it
  1605.           my ($uid,$gid) = (getpwnam($user))[2,3];
  1606.           unless (chown($uid, $gid, $fname)) {
  1607.             warn "config: couldn't chown $fname to $uid:$gid for $user: $!\n";
  1608.           }
  1609.         }
  1610.         warn "config: created user preferences file: $fname\n";
  1611.         return(1);
  1612.       }
  1613.       else {
  1614.         warn "config: cannot write to $fname: $!\n";
  1615.       }
  1616.     }
  1617.     elsif (defined $defprefs) {
  1618.       warn "config: cannot open $defprefs: $!\n";
  1619.     }
  1620.     else {
  1621.       warn "config: can not determine default prefs path\n";
  1622.     }
  1623.   }
  1624.  
  1625.   return(0);
  1626. }
  1627.  
  1628. ###########################################################################
  1629.  
  1630. sub expand_name ($) {
  1631.   my ($self, $name) = @_;
  1632.   my $home = $self->{user_dir} || $ENV{HOME} || '';
  1633.  
  1634.   if (Mail::SpamAssassin::Util::am_running_on_windows()) {
  1635.     my $userprofile = $ENV{USERPROFILE} || '';
  1636.  
  1637.     return $userprofile if ($userprofile && $userprofile =~ m/^[a-z]\:[\/\\]/oi);
  1638.     return $userprofile if ($userprofile =~ m/^\\\\/o);
  1639.  
  1640.     return $home if ($home && $home =~ m/^[a-z]\:[\/\\]/oi);
  1641.     return $home if ($home =~ m/^\\\\/o);
  1642.  
  1643.     return '';
  1644.   } else {
  1645.     return $home if ($home && $home =~ /\//o);
  1646.     return (getpwnam($name))[7] if ($name ne '');
  1647.     return (getpwuid($>))[7];
  1648.   }
  1649. }
  1650.  
  1651. sub sed_path {
  1652.   my ($self, $path) = @_;
  1653.   return undef if (!defined $path);
  1654.  
  1655.   if (exists($self->{conf}->{sed_path_cache}->{$path})) {
  1656.     return $self->{conf}->{sed_path_cache}->{$path};
  1657.   }
  1658.  
  1659.   my $orig_path = $path;
  1660.  
  1661.   $path =~ s/__local_rules_dir__/$self->{LOCAL_RULES_DIR} || ''/ges;
  1662.   $path =~ s/__local_state_dir__/$self->{LOCAL_STATE_DIR} || ''/ges;
  1663.   $path =~ s/__def_rules_dir__/$self->{DEF_RULES_DIR} || ''/ges;
  1664.   $path =~ s{__prefix__}{$self->{PREFIX} || $Config{prefix} || '/usr'}ges;
  1665.   $path =~ s{__userstate__}{$self->get_and_create_userstate_dir() || ''}ges;
  1666.   $path =~ s/__version__/${VERSION}/gs;
  1667.   $path =~ s/^\~([^\/]*)/$self->expand_name($1)/es;
  1668.  
  1669.   $path = Mail::SpamAssassin::Util::untaint_file_path ($path);
  1670.   $self->{conf}->{sed_path_cache}->{$orig_path} = $path;
  1671.   return $path;
  1672. }
  1673.  
  1674. sub first_existing_path {
  1675.   my $self = shift;
  1676.   my $path;
  1677.   foreach my $p (@_) {
  1678.     $path = $self->sed_path ($p);
  1679.     if (defined $path && -e $path) { return $path; }
  1680.   }
  1681.   return;
  1682. }
  1683.  
  1684. sub get_cf_files_in_dir {
  1685.   my ($self, $dir) = @_;
  1686.  
  1687.   opendir(SA_CF_DIR, $dir) or warn "config: cannot opendir $dir: $!\n";
  1688.   my @cfs = grep { /\.cf$/i && -f "$dir/$_" } readdir(SA_CF_DIR);
  1689.   closedir SA_CF_DIR;
  1690.  
  1691.   return map { "$dir/$_" } sort { $a cmp $b } @cfs;
  1692. }
  1693.  
  1694. sub get_pre_files_in_dir {
  1695.   my ($self, $dir) = @_;
  1696.  
  1697.   opendir(SA_PRE_DIR, $dir) or warn "config: cannot opendir $dir: $!\n";
  1698.   my @cfs = grep { /\.pre$/i && -f "$dir/$_" } readdir(SA_PRE_DIR);
  1699.   closedir SA_PRE_DIR;
  1700.  
  1701.   return map { "$dir/$_" } sort { $a cmp $b } @cfs;
  1702. }
  1703.  
  1704. ###########################################################################
  1705.  
  1706. sub call_plugins {
  1707.   my $self = shift;
  1708.  
  1709.   # We could potentially get called after a finish(), so just return.
  1710.   return unless $self->{plugins};
  1711.  
  1712.   my $subname = shift;
  1713.   return $self->{plugins}->callback ($subname, @_);
  1714. }
  1715.  
  1716. ###########################################################################
  1717.  
  1718. sub find_all_addrs_in_mail {
  1719.   my ($self, $mail_obj) = @_;
  1720.  
  1721.   $self->init(1);
  1722.  
  1723.   my @addrlist = ();
  1724.   foreach my $header (qw(To From Cc Reply-To Sender
  1725.                   Errors-To Mail-Followup-To))
  1726.   {
  1727.     my @hdrs = $mail_obj->get_header ($header);
  1728.     if ($#hdrs < 0) { next; }
  1729.     push (@addrlist, $self->find_all_addrs_in_line (join (" ", @hdrs)));
  1730.   }
  1731.  
  1732.   # find addrs in body, too
  1733.   foreach my $line (@{$mail_obj->get_body()}) {
  1734.     push (@addrlist, $self->find_all_addrs_in_line ($line));
  1735.   }
  1736.  
  1737.   my @ret = ();
  1738.   my %done = ();
  1739.  
  1740.   foreach $_ (@addrlist) {
  1741.     s/^mailto://;       # from Outlook "forwarded" message
  1742.     next if defined ($done{$_}); $done{$_} = 1;
  1743.     push (@ret, $_);
  1744.   }
  1745.  
  1746.   @ret;
  1747. }
  1748.  
  1749. sub find_all_addrs_in_line {
  1750.   my ($self, $line) = @_;
  1751.  
  1752.   # a more permissive pattern based on "dot-atom" as per RFC2822
  1753.   my $ID_PATTERN   = '[-a-z0-9_\+\:\=\!\#\$\%\&\*\^\?\{\}\|\~\/\.]+';
  1754.   my $HOST_PATTERN = '[-a-z0-9_\+\:\/]+';
  1755.  
  1756.   my @addrs = ();
  1757.   my %seen = ();
  1758.   while ($line =~ s/(?:mailto:)?\s*
  1759.           ($ID_PATTERN \@
  1760.           $HOST_PATTERN(?:\.$HOST_PATTERN)+)//oix) 
  1761.   {
  1762.     my $addr = $1;
  1763.     $addr =~ s/^mailto://;
  1764.     next if (defined ($seen{$addr})); $seen{$addr} = 1;
  1765.     push (@addrs, $addr);
  1766.   }
  1767.  
  1768.   return @addrs;
  1769. }
  1770.  
  1771. ###########################################################################
  1772.  
  1773. # sa_die -- used to die with a useful exit code.
  1774.  
  1775. sub sa_die {
  1776.   my $exitcode = shift;
  1777.   warn @_;
  1778.   exit $exitcode;
  1779. }
  1780.  
  1781. ###########################################################################
  1782.  
  1783. =item $f->copy_config ( [ $source ], [ $dest ] )
  1784.  
  1785. Used for daemons to keep a persistent Mail::SpamAssassin object's
  1786. configuration correct if switching between users.  Pass an associative
  1787. array reference as either $source or $dest, and set the other to 'undef'
  1788. so that the object will use its current configuration.  i.e.:
  1789.  
  1790.   # create object w/ configuration
  1791.   my $spamtest = Mail::SpamAssassin->new( ... );
  1792.  
  1793.   # backup configuration to %conf_backup
  1794.   my %conf_backup = ();
  1795.   $spamtest->copy_config(undef, \%conf_backup) ||
  1796.     die "config: error returned from copy_config!\n";
  1797.  
  1798.   ... do stuff, perhaps modify the config, etc ...
  1799.  
  1800.   # reset the configuration back to the original
  1801.   $spamtest->copy_config(\%conf_backup, undef) ||
  1802.     die "config: error returned from copy_config!\n";
  1803.  
  1804. Note that the contents of the associative arrays should be considered
  1805. opaque by calling code.
  1806.  
  1807. =cut
  1808.  
  1809. sub copy_config {
  1810.   my ($self, $source, $dest) = @_;
  1811.  
  1812.   # At least one of either source or dest needs to be a hash reference ...
  1813.   unless ((defined $source && ref($source) eq 'HASH') ||
  1814.           (defined $dest && ref($dest) eq 'HASH'))
  1815.   {
  1816.     return 0;
  1817.   }
  1818.  
  1819.   # let the Conf object itself do all the heavy lifting.  It's better
  1820.   # than having this class know all about that class' internals...
  1821.   if (defined $source) {
  1822.     dbg ("config: copying current conf from backup");
  1823.   }
  1824.   else {
  1825.     dbg ("config: copying current conf to backup");
  1826.   }
  1827.   return $self->{conf}->clone($source, $dest);
  1828. }
  1829.  
  1830.  
  1831. 1;
  1832. __END__
  1833.  
  1834. ###########################################################################
  1835.  
  1836. =back
  1837.  
  1838. =head1 PREREQUISITES
  1839.  
  1840. C<HTML::Parser>
  1841. C<Sys::Syslog>
  1842.  
  1843. =head1 MORE DOCUMENTATION
  1844.  
  1845. See also E<lt>http://spamassassin.apache.org/E<gt> and
  1846. E<lt>http://wiki.apache.org/spamassassin/E<gt> for more information.
  1847.  
  1848. =head1 SEE ALSO
  1849.  
  1850. Mail::SpamAssassin::Conf(3)
  1851. Mail::SpamAssassin::PerMsgStatus(3)
  1852. spamassassin(1)
  1853. sa-update(1)
  1854.  
  1855. =head1 BUGS
  1856.  
  1857. See E<lt>http://issues.apache.org/SpamAssassin/E<gt>
  1858.  
  1859. =head1 AUTHORS
  1860.  
  1861. The SpamAssassin(tm) Project E<lt>http://spamassassin.apache.org/E<gt>
  1862.  
  1863. =head1 COPYRIGHT
  1864.  
  1865. SpamAssassin is distributed under the Apache License, Version 2.0, as
  1866. described in the file C<LICENSE> included with the distribution.
  1867.  
  1868. =head1 AVAILABILITY
  1869.  
  1870. The latest version of this library is likely to be available from CPAN
  1871. as well as:
  1872.  
  1873.   E<lt>http://spamassassin.apache.org/E<gt>
  1874.  
  1875. =cut
  1876.