home *** CD-ROM | disk | FTP | other *** search
/ OS/2 Shareware BBS: 35 Internet / 35-Internet.zip / chkurl16.zip / CHECKURL.TXT < prev    next >
Text File  |  2000-03-20  |  5KB  |  141 lines
  1.  
  2.                                CheckUrl v 1.6
  3.  
  4.                         written by Francesco Cipriani
  5.  
  6.  
  7.  
  8.  # Description
  9.  
  10.  CheckUrl is a REXX program that automatically checks if the urls 
  11.  contained in a page are correct (i.e. they exists)
  12.  It can be very helpful for checking dead urls, and for checking your
  13.  NetScape bookmark file, or any other HTML file containing url links -
  14.  also online pages.
  15.  CheckUrl supports both HTTP and FTP urls, and can use multiple
  16.  connections to check more than one url simultaneosly.
  17.  
  18.  
  19.  # Features
  20.  
  21.  * Ftp and http url checking
  22.  * HTML file checking (Netscape bookmark or any other html file)
  23.  * Online url checking
  24.  * Multiple connections to check many urls simultaneously
  25.  * Multi pass mode (checks x times an url if an error occurrs)
  26.  * Configurable timeout support when connecting or receiving data
  27.  * Plain text log and HTML + text report
  28.  
  29.  
  30.  # System requirements
  31.  
  32.  CheckUrl needs two REXX dlls to work, Rxftp and Rxsock by IBM.
  33.  You can download them following the links on my www page at
  34.  http://village.flashnet.it/~rm03703/programs
  35.  Obviously you must have a tcpip stack running (2.0 and up)
  36.  
  37.  
  38.  # Configuration
  39.  
  40.  Edit checkurl.cfg and change values to your needs.
  41.  The file contains keyword descriptions.
  42.  
  43.  
  44.  # Multiple connections
  45.  
  46.  Using this feature (enabled by the /mconn parameter) CheckUrl can be
  47.  many times faster than using a single connection, both because there
  48.  is a better use of the bandwidth and because if some site is slow to
  49.  reply the other tasks continue to do their work.
  50.  To use multiple connections you must have host "localhost" configured
  51.  in your "hosts" file, usually located in c:\tcpip\etc\hosts. This is
  52.  necessary because CheckUrl child processes need to know the host to
  53.  connect to.
  54.  In the "hosts" file you should have the line
  55.  localhost 127.0.0.1
  56.  or any other ip address you are using as your loopback device.
  57.  You should also run "ifconfig lo 127.0.0.1" to set the ip address of
  58.  the loopback device.
  59.  
  60.  When using multiple connections the checkurl will display the status
  61.  of each connection and a progress bar at the top of the screen.
  62.  Each connection line is like:
  63.  C # [t] (s) url
  64.  where
  65.  #   is the connection number
  66.  t   is the try number
  67.  s   are the seconds the connection is checking the url or is waiting to
  68.      have an url to check assigned
  69.  url is the url being checked
  70.  
  71.  
  72.  # Multi pass mode
  73.  
  74.  Sometimes it can happen that an url isn't available and that a few seconds
  75.  later it is, because some server may be down or there is some problem 
  76.  reaching the host. 
  77.  Now you can check x times an url during the same checkurl execution; 
  78.  you can set the maximum number of retries in checkurl.cfg (maxtries keyword)
  79.  
  80.  
  81.  # Bad url file
  82.  
  83.  Every time checkurl finishes its work, it writes badurl.lst file, which
  84.  contains a list of urls whose check reported an error (not a warning).
  85.  This can be useful to check those bad urls more times in different
  86.  days, to be sure they're really bad, and then delete them from your file.
  87.  For example, if you want to safely check you netscape bookmark file,
  88.  you can execute
  89.  checkurl /mconn /html bookmark.htm
  90.  the first time, and then
  91.  checkurl /mconn badurl.lst
  92.  next times, checking again the bad urls resulting from last check.
  93.  
  94.  
  95.  # Parameters
  96.  
  97.     - /html : the page we are going to check contains html code
  98.  
  99.     - /mconn: we want to use multiple connections.
  100.  
  101.     - /source <html_page>: the page to analyze. 
  102.     IMPORTANT: use \ instead of / when the page is and url
  103.     (this is necessary due to the behaviour of the REXX interpreter)
  104.                            
  105.     examples:
  106.     "checkurl /html /mconn /source http:\\www.netscape.com"
  107.     Checks the online url http://www.netscape.com, which 
  108.     obviously is and HTML file, using multiple connections
  109.     
  110.     "checkurl /html /mconn /source x:\mypath\my_file.html"
  111.     Checks the local file x:\mypath\my_file.html which is an
  112.     HTML file, using multiple connections
  113.  
  114.     "checkurl /mconn /source text_file.txt"
  115.     Checks the file text_file.txt, which contains plain text and a url
  116.     on each line
  117.  
  118.  
  119.  # Disclaimer
  120.  
  121.     This program is distributed in the hope that it will be useful,
  122.     but WITHOUT ANY WARRANTY; without even the implied warranty of
  123.     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
  124.  
  125.  
  126.  # Freeware
  127.  
  128.  CheckUrl is released as freeware, so use it and distribute freely, but
  129.  please contact me if you are using it or if you find a bug.
  130.  
  131.  
  132.  # Todo
  133.  
  134.  * Support for https (I still have to test it)
  135.  
  136.  
  137.  # The end
  138.  
  139.  Francesco Cipriani - March 20, 2000
  140.  fc76@softhome.net
  141.