home *** CD-ROM | disk | FTP | other *** search
/ linuxmafia.com 2016 / linuxmafia.com.tar / linuxmafia.com / pub / linux / network / domain-check-3.0 < prev    next >
Text File  |  2007-08-08  |  17KB  |  468 lines
  1. #!/usr/bin/perl -ws
  2. # Created by Ben Okopnik on Thu Jun 28 09:11:52 EDT 2007
  3. #
  4. # Copyright (C) 2007 Ben Okopnik <ben@okopnik.com>
  5. # This program is free software; you can redistribute it and/or modify
  6. # it under the terms of the GNU General Public License as published by
  7. # the Free Software Foundation; either version 2 of the License, or
  8. # (at your option) any later version.
  9. #
  10. # This program is distributed in the hope that it will be useful,
  11. # but WITHOUT ANY WARRANTY; without even the implied warranty of
  12. # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13. # GNU General Public License for more details.
  14.  
  15. =pod
  16. ################################## Changelog ##############################
  17.  
  18. 07/29/07  1:26 v3.0
  19. * MAJOR REVISION:
  20.     o The format of the 'domain-list' file has been changed, although the
  21.       old format is still valid. You can now add the name of the host for
  22.       'whois' to use as the second argument on the line; however, using the
  23.       '-s' command line argument will force all lookups to be done via the
  24.       specified host.
  25.     o Fixed up a number of regexen for the 'jwhois' differences
  26.  
  27. 07/28/07  0:41 - v2.2
  28. * Added 'jwhois' as the preferred option, with a warning if it's not
  29.     installed. Caching for 'jwhois' is disabled when '-X' is in effect;
  30.     '-H' is no longer a hard-wired argument to 'whois' ('jwhois' doesn't
  31.     support it), but is still appended if 'whois' is used.
  32. * Tweaked a couple of the regexen to process new TLDs (.fi, .ly, etc.)
  33. * Giving serious thought to modifying the format of the -F files; it would
  34.     be nice to be able to specify the whois server for individual domains.
  35.  
  36. 07/20/07  9:36 - v2.1
  37. * Added a bunch of tracing/debugging statements to the date parser, making
  38.     the '-X' option much more useful
  39. * Built a 'switch-case' structure around the parser so that only one regex
  40.     would apply to any given host
  41. * Added a '-H' argument to 'whois' ("elide legal disclaimer") to make
  42.     debugging output less annoying (and maybe speed things up fractionally)
  43. * Made the 'no expiration date found' error into a non-fatal warning (used
  44.     to break list processing)
  45. * Modified the output format slightly (warnings now appear on the same line
  46.     as the domain name)
  47. * Domains without a registrar will no longer be omitted from the mailed
  48.     notifications
  49.  
  50. 07/19/07 22:28 - v2.0
  51. * Now parsing .ci domains as well (millions of people cheer, world peace
  52.     can't be far away now...)
  53.  
  54. 07/19/07 20:54 - v1.9
  55. * Added a little regex-fu to accept lines that have whitespace at the end
  56. * Added a Big Sekrit Option ('-X' - shhh, don't tell anybody!) for debugging
  57.  
  58. 07/19/07 11:56 - v1.8
  59. * Lots and lots of fixes for many different TLDs; much mangling of regexen.
  60.     Now handles many more expiration date types than before. Most
  61.     importantly, domains that don't list a registrar will now be displayed
  62.     anyway; people probably know where to send their money, but not
  63.     necessarily _when._
  64.  
  65. 07/04/07 12:28 - v1.7
  66. * Scrapped previous approach to the .org delay; the .orgs are now sorted to
  67.     the end of the domain list and all except the first one wait 20 seconds.
  68. * Added a cute little time ticker to the delay routine, just because. :)
  69.  
  70. 07/03/07  1:27 - v1.6
  71. * Added a rate limiter (3/minute) for .org domains
  72.  
  73. 06/30/07 18:34 - v1.5
  74. * Added a "domain not parseable; please report" warning
  75. * Added an "Unable to read 'whois' info" warning for the 'fgets: connection
  76.     reset by peer' error.
  77. * All expiration warnings are now sent as one email instead of one per
  78.     domain; ditto the expired domains notifications.
  79. * The 'printf' for the 'SKIPPED' error was ignoring the '-q' option; fixed
  80.  
  81. 06/30/07  8:19 - v1.4
  82. * Removed dependency on File::Find; searching PATH 'manually'
  83. * Added an 'exit 1' to the silent failure mode of 'croak'
  84.  
  85. 06/30/07  7:06 - v1.3
  86. * Improved the date-parsing regexes (the numerical months part can now only
  87.     match '01-12' instead of 'any two digits'); this should increase the
  88.     reliability of resolving 'dd-mm-yyyy' vs. 'mm-dd-yyyy' somewhat.
  89. * More accurate reporting for the 'SKIPPED' error (now shows exact reason)
  90. * Fixed the regexes that I screwed up while adding the Dotster extension
  91. * Added a '-v' option
  92.  
  93. 06/29/07 18:54 - v1.2
  94. * Got rid of an unnecessary system dependency ('which') - 'File::Find' is a
  95.     bit clunky, but better than depending on unknowns...
  96. * Another date-processing regex (ISOC-IL: 'validity: 29-06-2007')
  97.  
  98. 06/29/07 17:07 - v1.1
  99. * Modified output format to include both exp. date and days remaining
  100. * Added another date-processing regex (DOTSTER: 'Expires on: 29-Jun-07')
  101.  
  102. 06/29/07 15:06 - v1.0
  103. I'm finally willing to admit that this script is usable. :) Recent changes
  104. include:
  105.  
  106. * Parsing routine for "2007/08/12" date format
  107. * 'croak' notifies admin of problems encountered in silent mode
  108. * Added a fallback email address for 'croak'
  109. * Fixed GMT parsing routine miscalc (thanks to Rick Moen for the heads up)
  110.  
  111. ###########################################################################
  112. =cut
  113.  
  114. use strict;
  115. use Time::Local;
  116. $|++;
  117.  
  118. # Command-line variables
  119. our ($d, $e, $F, $h, $q, $s, $v, $x, $X);
  120.  
  121. ### FALLBACK ADDRESS FOR NOTIFICATION ############
  122. my $address = 'root@localhost';
  123. ##################################################
  124.  
  125. my ($name) = $0 =~ /([^\/]+)$/;
  126.  
  127. my $usage =<<"+EoT+";
  128. Usage: $name [-e=email] [-x=expir_days] [-q] [-h] <-d=domain_name|-F=domainfile>
  129.  
  130.   -d=domain        : Domain to analyze
  131.   -e=email_address : Send a warning message by email
  132.   -F=domain_list   : File with a list of domains, one per line
  133.   -h               : Print this message
  134.   -q               : Don't print to the console (REQUIRES '-e' OPTION)
  135.   -s=whois server  : Use alternate whois server
  136.   -v               : Display current version of this script
  137.   -x=days          : Change default (30d) expiration interval (REQUIRES '-e' OPTION)
  138.  
  139. +EoT+
  140.  
  141. # Locate 'whois' or (preferred) 'jwhois'
  142. my ($whois) = grep -e, map "$_/jwhois", split /:/, $ENV{PATH};
  143. ($whois) = grep -e, map "$_/whois", split /:/, $ENV{PATH} unless $whois;
  144. die "'whois' not found in path.\n" unless $whois;
  145. if ($whois =~ m#/whois$#){
  146.     $q || print "You really should install 'jwhois'; it gives better results.\n";
  147.     # Turn down the noise (minimal output option - only works with 'whois')
  148.     $whois .= " -H";
  149. }
  150. else {
  151.     # Turn off caching for 'jwhois' if the debug option is on
  152.     $whois .= " -f" if $X;
  153. }
  154.  
  155. # $whois = "/usr/bin/whois";
  156.  
  157. # Find a mail client (mutt or mailx)
  158. my ($mail) = grep -e, map "$_/mutt", split /:/, $ENV{PATH};
  159. # Switch Mutt into 'mailx' mode if found
  160. if ($mail){
  161.     $mail .= " -x";
  162. }
  163. else {
  164.     ($mail) = grep -e, map "$_/mailx", split /:/, $ENV{PATH};
  165. }
  166. die "No 'mailx' or 'mutt' (mail client) found in path.\n" unless $mail;
  167.  
  168. # Read the version number at the top of the changelog
  169. if ($v){
  170.     seek DATA, 0, 0;
  171.     while (<DATA>){
  172.         if (m[^\d+/\d+/\d+[^v]+v([0-9.]+)]){
  173.             print "Version: $1\nCopyright (C) 2007 Ben Okopnik <ben\@okopnik.com>\n\n";
  174.             exit 0;
  175.         }
  176.     }
  177. }
  178.  
  179. # Email admin if '-q' is on; otherwise, just exit with the error
  180. sub croak {
  181.     if ($q){
  182.         # If '-e' wasn't specified, use the fallback address
  183.         $e ||= $address;
  184.  
  185.         # No place to send an error if this fails... :)
  186.         open Mail, "|$mail -s 'WARNING: $name script error' $e";
  187.         print Mail "$name [" . localtime() . "]: ", $_[0];
  188.         close Mail;
  189.  
  190.         exit 1;
  191.     }
  192.     else {
  193.         die $_[0];
  194.     }
  195. }
  196.  
  197. # Display the help output if requested or in case of incorrect usage
  198. die "$usage\n" if $h;
  199. die "\n*ERROR: '$name' requires an email address with the '-q' and the '-x' options*\n\n$usage" if ($q || $x) && ! $e;
  200. die "\n*ERROR: '$name' requires either a domain name or a domain list as an argument*\n\n$usage" if ! $d && ! $F;
  201.  
  202. # Set default notification interval to 30 days
  203. if ($x){
  204.     croak "Expiration interval must be specified in days (0-9999).\n"
  205.         unless $x =~ /^\d{1,4}$/;
  206. }
  207. else {
  208.     $x = 30;
  209. }
  210.  
  211. # Read the domain list file
  212. my @domains;
  213. if ($F){
  214.     croak "$F is not a regular file\n" unless -f $F;
  215.     croak "Can't read $F\n" unless -r _;
  216.     # Open the file if it exists
  217.     open F or croak "$F: $!\n";
  218.     while (<F>){
  219.         # Skip blank lines; ignore comments
  220.         next if /^\s*(?:#|$)/;
  221.         # Strip preceding and following blanks
  222.         s/^\s*(.*?)\s*$/$1/;
  223.  
  224.         # Separate domain and server if they exist
  225.         my (@line) = split;
  226.         for (@line){
  227.             # Strip URI method and any terminal '/'s
  228.             s#^.*://##;
  229.             s#/$##;
  230.         }
  231.         push @domains, [ @line ];
  232.     }
  233.     close F;
  234. }
  235.  
  236. # Having a '-F' AND a '-d' is explicitly not excluded
  237. if ($d){
  238.     # Strip URI method and any terminal '/'s
  239.     $d =~ s#^.*://##;
  240.     $d =~ s#/$##;
  241.     push @domains, [ $d ];
  242. }
  243.  
  244. # Set the server if it's been specified (this REPLACES any servers defined
  245. # in the domain-list file)
  246. if ($s){
  247.     $_ -> [1] = $s for @domains;
  248. }
  249.  
  250. # Sort list to push .orgs to the end; ASCIIbetical sort otherwise
  251. @domains = sort { ($a->[0] =~ /\.org$/i) <=> ($b->[0] =~ /\.org$/i) || $a->[0] cmp $b->[0] } @domains;
  252.  
  253. # Trim strings to specified length; return '**UNKNOWN**' if undef
  254. sub trim {
  255.     defined $_[0] || return "**UNKNOWN**";
  256.     substr($_[0], 0, $_[1]);
  257. }
  258.  
  259. # Lookup list for month number->name conversion
  260. my (%mth,%mlookup);
  261. @mth{map sprintf("%02d", $_), 1..12} = qw/jan feb mar apr may jun jul aug sep oct nov dec/;
  262. # Lookup list for month name->abbrev conversion
  263. @mlookup{qw/January February March April May June July August September October November December/} =
  264.     qw/jan feb mar apr may jun jul aug sep oct nov dec/;
  265.  
  266. ########################## DATA COLLECTION SECTION #############################
  267.  
  268. # Process the domain list
  269. my ($seen, %list);
  270. for my $line (@domains){
  271.     my ($host, $server) = @{$line};
  272.  
  273.     my $opt = $server ? "-h $server" : "";
  274.  
  275.     $q || print "\b\nProcessing $host... ";
  276.  
  277.     # Delay to avoid triggering rate limiter
  278.     if ($host =~ /\.org$/i){
  279.         $q || print "(NOTE: Subsequent ORG queries will be delayed by 20 seconds each due to rate limiting) "
  280.             unless $seen;
  281.         # Show the cute little time ticker :)
  282.         if ($seen++){
  283.             my @chars = split //, '|/-\\';
  284.             for (0 .. 19){
  285.                 $q || print $chars[$_ % 4], "\b";
  286.                 sleep 1;
  287.             }
  288.             print " \b";
  289.         }
  290.     }
  291.  
  292.     # Execute the query
  293.     my $out;
  294.     open Who, "$whois $opt $host|" or croak "Error executing $whois: $!\n";
  295.     {
  296.         # Read in the entire output of 'whois' as a single string
  297.         local $/;
  298.         $out = <Who>;
  299.     }
  300.     close Who;
  301.  
  302.     # Make sure it's not DOS formatted
  303.     $out =~ tr/\cM//d;
  304.  
  305.     # 'fgets: connection reset by peer' - bloody annoying response!
  306.     if (!$out || $out !~ /domain/i){
  307.         $q || print "Unable to read 'whois' info for $host. Skipping... ";
  308.         next;
  309.     }
  310.  
  311.     # Freak out and run away if there's no match
  312.     if ($out =~ /no match/i){
  313.         $q || print "No match for $host!\n";
  314.         next;
  315.     }
  316.     # Ditto for bad hostnames
  317.     if ($out =~ /No whois server is known for this kind of object/i){
  318.         $q || print "'whois' doesn't recognize this kind of object. ";
  319.         next;
  320.     }
  321.  
  322.     # Convert multi-line 'labeled block' output to 'Label: value'
  323.     my $debug;
  324.     if ($out =~ /registrar:\n/i){
  325.         $out =~ s/:\n(?!\n)/: /gsm;
  326.         $debug .= "matched on line " . (__LINE__ - 2) . ": Multi-line 'labeled block'\n";
  327.     }
  328.  
  329.     # Date preprocessing. Desired date format is '29-jun-2007'
  330.     # 'Fri Jun 29 15:16:00 EDT 2007'
  331.     if ($out =~ s/(date:\s*| on:\s*)[A-Z][a-z]+\s+(...)\s+(\d+).*?(\d+)\s*$/$1$3-$2-$4/igsm){
  332.         $debug .= "matched on line " . (__LINE__ - 2) . ": 'Fri Jun 29 15:16:00 EDT 2007'\n";
  333.     }
  334.     # '29-Jun-07'
  335.     elsif ($out =~ s/(date:\s*| on:\s*)(\d{2})[\/ -](...)[\/ -](\d{2})\s*$/$1$2-$3-20$4/igsm){
  336.         $debug .= "matched on line " . (__LINE__ - 2) . ": '29-Jun-07'\n";
  337.     }
  338.     # '2007-Jun-29'
  339.     elsif ($out =~ s/[^\n]*(?:date| on|expires on\.+):\s*(\d{4})[\/-](...)[\/-](\d{2})\.?\s*$/Expiration date: $3-$2-$1/igsm){
  340.         $debug .= "matched on line " . (__LINE__ - 2) . ": '2007-Jun-29'\n";
  341.     }
  342.     # '2007/06/29'
  343.     elsif ($out =~ s/expir(?:es|y|ation)\s*(?:date|on)?[ \t.:]*\s*(\d{4})(?:[\/-]|\. )(0[1-9]|1[0-2])(?:[\/-]|\. )(\d{2})\.?\s*[0-9:.]*\s*\w*\s*$/Expiration date: $3-$mth{$2}-$1/igsm){
  344.         $debug .= "matched on line " . (__LINE__ - 2) . ": '2007/06/29'\n";
  345.     }
  346.     # '29-06-2007'
  347.     elsif ($out =~ s/(?:validity:|expir(?:y|ation) date:|expires (?:on [^:]+:?|at:))\s*(\d{2})[\/.-](0[1-9]|1[0-2])[\/.-](\d{4})\s*[0-9:.]*\s*\w*\s*$/Expiration date: $1-$mth{$2}-$3/igsm){
  348.         $debug .= "matched on line " . (__LINE__ - 2) . ": '29-06-2007'\n";
  349.     }
  350.     # '[Expires on]     2007-06-29' (.jp, .ru)
  351.     elsif ($out =~ s/(?:valid-date|expiration date:|paid-till:|\[expires on\]|expires on :|expired:)\s*(\d{4})[\/.-](0[1-9]|1[0-2])[\/.-](\d{2})\s*[0-9:.]*\s*\w*\s*$/Expiration date: $3-$mth{$2}-$1/igsm){
  352.         $debug .= "matched on line " . (__LINE__ - 2) . ": '[Expires on]     2007-06-29' (.jp, .ru)\n";
  353.     }
  354.     # 'expires:     June  29 2007' (.is)
  355.     elsif ($out =~ s/expires:\s*([A-Z][a-z]+)\s+(\d{1,2})\s+(\d{4})\s*$/"Expiration date: " . sprintf("%02d", $2) . "-$mlookup{$1}-$3"/iegsm){
  356.         $debug .= "matched on line " . (__LINE__ - 2) . ": 'expires:     June  29 2007' (.is)\n";
  357.     }
  358.     # 'renewal: 29-June-2007' (.ie)
  359.     elsif ($out =~ s/renewal:\s*(\d{1,2})[\/ -]([A-Z][a-z]+)[\/ -](\d{4})\s*$/Expiration date: $1-$mlookup{$2}-$3/igsm){
  360.         $debug .= "matched on line " . (__LINE__ - 2) . ": 'renewal: 29-June-2007' (.ie)\n";
  361.     }
  362.     # 'expire:         20080315' (.cz, .ke)
  363.     elsif ($out =~ s/expir[ey]:\s*(\d{4})(\d{2})(\d{2})\s*$/Expiration date: $3-$mth{$2}-$1/igsm){
  364.         $debug .= "matched on line " . (__LINE__ - 2) . ": 'expire:         20080315' (.cz, .ke)\n";
  365.     }
  366.     # 'domain_datebilleduntil: 2007-06-29T00:00:00+12:00' (.nz)
  367.     elsif ($out =~ s/domain_datebilleduntil:\s*(\d{4})[-\/](\d{2})[-\/](\d{2})T[0-9:.+-]+\s*$/Expiration date: $3-$mth{$2}-$1/igsm){
  368.         $debug .= "matched on line " . (__LINE__ - 2) . ": 'domain_datebilleduntil: 2007-06-29T00:00:00+12:00' (.nz)\n";
  369.     }
  370.     # '29 Jun 2007 11:58:42 UTC' (.coop)
  371.     elsif ($out =~ s/((?:date|expires):\s*)(\d{2})[\/ -](...)[\/ -](\d{4})\s*[0-9:.]*\s*\w*\s*$/$1$2-\L$3\E-$4/igsm){
  372.         $debug .= "matched on line " . (__LINE__ - 2) . ": '29 Jun 2007 11:58:42 UTC' (.coop)\n";
  373.     }
  374.     # 'Record expires on 17/8/2100' (.hm, fi)
  375.     elsif ($out =~ s/(?:expires(?: on|:))\s*(\d{2})[\/.-]([1-9]|0[1-9]|1[0-2])[\/.-](\d{4})\s*[0-9:.]*\s*\w*\s*$/"Expiration date: $1-".$mth{sprintf "%02d", $2} . "-$3"/iegsm){
  376.         $debug .= "matched on line " . (__LINE__ - 2) . ": 'Record expires on 17/8/2100' (.hm)\n";
  377.     }
  378.     else {
  379.         $debug = "No regexes matched.\n";
  380.     }
  381.  
  382.     # Collect the data from each query
  383.     for (split /\n/, $out){
  384.         # Clip pre- and post- blanks
  385.         s/^\s*(.*?)\s*$/$1/;
  386.         # Squash repeated tabs and spaces
  387.         tr/ \t//s;
  388.  
  389.         # This is where it all happens - regexes to capture registrar and expiration
  390.         $list{$host}{Registrar} ||= $1 if /(?:registration [^:]*by|authorized agency|registrar)(?:\s*|_)(?:name|id|of record)?:\s*(.*)$/i;
  391.         $list{$host}{Expires} ||= $1 if /(?:expires(?: on)?|expir(?:e|y|ation) date\s*|renewal(?:[- ]date)?)[:\] ]\s*(\d{2}-[a-z]{3}-\d{4})/i;
  392.         # print "Registrar: $list{$host}{Registrar}\nExpires: $list{$host}{Expires}\n";
  393.     }
  394.  
  395.     # Assign default message if no registrar was found
  396.     $list{$host}{Registrar} ||= "[[[ No registrar found ]]]";
  397.     
  398.     $q || print "No expiration date found in 'whois' output. Please report this domain to the author!"
  399.         unless defined $list{$host}{Expires};
  400.  
  401.     # Debug option (activated by '-X'); exits here with parsed 'whois' output
  402.     $debug .= "Registrar: $list{$host}{Registrar}\n" if defined $list{$host}{Registrar};
  403.     $debug .= "Expires: $list{$host}{Expires}\n" if defined $list{$host}{Expires};
  404.     die "\n", "=" x 70, "\n$out", "=" x 70, "\n$debug", "=" x 70, "\n" if $X;
  405. }
  406.  
  407. ########################## DATA ANALYSIS SECTION #############################
  408.  
  409. # Get current time snapshot in UTC
  410. my $now = timegm(gmtime);
  411.  
  412. # Convert dates to UTC epoch seconds; *will* fail on 19 Jan 2038. :)
  413. my %months;
  414. @months{qw/jan feb mar apr may jun jul aug sep oct nov dec/} = 0..11;
  415.  
  416. # Print the header if '$q' is off and there's content in %list
  417. $q || %list && printf "\n\n%-24s%-36s%s\n%s\n", "Host", "Registrar", "Exp.date/Days left", "=" x 78;
  418.  
  419. # Process the collected data
  420. my (%exp, %end);
  421. for my $k (sort keys %list){
  422.     unless (defined $list{$k}{Expires}){
  423.         $q || printf "%-32s%s\n", trim($k, 31), "*** SKIPPED (missing exp. date) ***";
  424.         delete $list{$k};
  425.         next;
  426.     }
  427.     my @chunks = split /-/, $list{$k}{Expires};
  428.     my $epoch = timegm(0, 0, 0, $chunks[0], $months{lc $chunks[1]}, $chunks[2] - 1900);
  429.     my $diff = int(($epoch - $now) / 86400);
  430.     $q || printf "%-24s%-36s%-12s/%5s\n", trim($k, 23), trim($list{$k}{Registrar}, 35),
  431.         $list{$k}{Expires}, $diff;
  432.  
  433.     # Prepare alerts if domain is expired or the expiration date is <= $x days
  434.     if ($e && ($diff <= $x)){
  435.         if ($diff <= 0){
  436.             $exp{$k} = -$diff;
  437.         }
  438.         else {
  439.             $end{$k} = $diff;
  440.         }
  441.     }
  442. }
  443.  
  444. # Report expired domains
  445. if (%exp){
  446.     open Mail, "|$mail -s '$name: Expired domains' $e" or croak "$mail: $!\n";
  447.     print Mail "According to 'whois', the following domains have expired:\n\n";
  448.     for my $x (sort { $exp{$a} <=> $exp{$b} } keys %exp){
  449.         my $s = $exp{$x} == 1 ? "" : "s";
  450.         print Mail "$x ($exp{$x} day$s ago)\n";
  451.     }
  452.     close Mail;
  453. }
  454.  
  455. # Report domains that will expire within the '-x' period
  456. if (%end){
  457.     open Mail, "|$mail -s '$name: Domain expiration warning ($x day cutoff)' $e" or croak "$mail: $!\n";
  458.     print Mail "According to 'whois', these domains will expire soon:\n\n";
  459.     for my $d (sort { $end{$a} <=> $end{$b} } keys %end){
  460.         my $s = $end{$d} == 1 ? "" : "s";
  461.         print Mail "$d (in $end{$d} day$s)\n";
  462.     }
  463.     close Mail;
  464. }
  465.  
  466. __END__
  467.  
  468.