home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / bbs / waffle / 4219 < prev    next >
Encoding:
Internet Message Format  |  1992-11-16  |  11.0 KB
  1. Path: sparky!uunet!news.centerline.com!noc.near.net!news.Brown.EDU!qt.cs.utexas.edu!cs.utexas.edu!wupost!emory!uumind!willard!dawson
  2. From: dawson@willard.UUCP
  3. Newsgroups: comp.bbs.waffle
  4. Subject: Re: News/mail reader
  5. Message-ID: <Dm2BuB2w165w@willard.UUCP>
  6. Date: Mon, 16 Nov 92 07:52:36 EST
  7. References: <u0g0TB5w165w@iowegia.uucp>
  8. Organization: Willard's House BBS, Atlanta, GA -- +1 (404) 664 8814
  9. Lines: 249
  10.  
  11. kjhoule@iowegia.uucp (Kevin Houle) writes:
  12.  
  13. > dell@Apple.COM (Thomas E. Dell) writes:
  14. > 
  15. > > Also something that will *probably* be in 1.66, will be rejection
  16. > > of duplicate articles (making retrieval by Message-ID possible.) 
  17. > 
  18. > This would be nice, Tom. Myself and a handful of local sites exchange
  19. > "dsm" and "ia" newsgroups. We want to achieve some network redundancy,
  20. > which requires being able to weed out duplicate articles.
  21. > 
  22. > For the time being, I've written a program that does just that. Given a
  23. > root directory on the command line, the program recurses through the
  24. > root and sub-directories and deletes duplicate articles based on the
  25. > Message-ID header. As duplicates are removed, the filenames are
  26. > resequenced in ascending order starting with the lowest original
  27. > article. If anyone is interested, let me know.
  28. > 
  29. > --
  30. > Kevin Houle     kjhoule@iowegia.uucp
  31.  
  32. As some of you may remember, I've likewise been ~dealing~ with duplicate
  33. messages, for quite some time.  My original attempt, ANTIDUPE, was made
  34. available to the net a while back.  Several weeks ago I released another
  35. utility, which I called HISTORY.  Well, I've continued my development
  36. efforts on that.  Someone pointed out that 4DOS already has a built-in
  37. 'history' command, so, following the example set by others, I've renamed
  38. it WAFHIST.  The WAFHIST program uses a dBase database to manage messages.
  39. In addition to removing dupes, it will also expire articles.
  40.  
  41. If anyone wishes to receive the latest, greatest, most up-to-date version,
  42. drop me a reply.  It's kinda big:
  43.  
  44. c:\wafhist> wc c:/wafhist/*.uue
  45.      956     973   59053   c:/wafhist/wafhist1.uue
  46.      955     970   59029   c:/wafhist/wafhist2.uue
  47.      955     970   59028   c:/wafhist/wafhist3.uue
  48.      955     970   59028   c:/wafhist/wafhist4.uue
  49.      955     970   59029   c:/wafhist/wafhist5.uue
  50.      955     970   59029   c:/wafhist/wafhist6.uue
  51.      873     895   53922   c:/wafhist/wafhist7.uue
  52.     6604    6718  408118   total
  53.  
  54. Oh, did I not say?  It's very fast.
  55. ---------------------------------------------------------------------------
  56. From WAFHIST.DOC:
  57.  
  58. Program:  WAFHIST
  59.  
  60. Usage: WAFHIST [-soft|-hard] [-init] [-control] [-verbose]
  61.                [-noerase] [-noindex] [-version]
  62.                [-waffle=path] [-history=path] [-spool=path]
  63.                [-type=USENET|-type=LOCAL] [-batch=filespec]
  64.                [-expire=#days] [-debug=filespec]
  65.  
  66.        All the -options are exactly that:  optional.
  67.  
  68.        Defaults are -soft, and -waffle derived from the WAFFLE environment
  69.        variable.  The default function of WAFHIST is to build or update a
  70.        history file for use in performing control actions and expirations;
  71.        also, duplicate messages are removed from subdirectories that contain
  72.        more than one instance of a message.
  73.  
  74.  Compiler:  Clipper 5.01
  75.  Libraries: Funcky 5.0 libraries for Clipper.
  76.  Filename:  WAFHIST.PRG
  77.  
  78.  Author's addresses:
  79.         Willard F. Dawson
  80.         10470 Haynes Bridge Road
  81.         Alpharetta, GA  30202-5033
  82.         Voice: (404) 664-4935 / (404) 303-2343
  83.         willard.uucp: (404) 664-8814 :: Waffle 1.65, 24 hours/day
  84.         gatech.edu!vdbsan!willard!dawson
  85.         emory.edu!slammer!willard!dawson
  86.         X.400: </G=W/S=DAWSON/O=BSAN/ADMD=BELLSOUTH/C=US/@sprint.com>
  87.  
  88. COMMAND LINE OPTIONS
  89.     Most of the command line options may be combined in any sequence, except
  90.     that a couple are toggle switches (-soft/-hard and -type=USENET/LOCAL).
  91.     You can specify conflicting options on the command line, but the last
  92.     option takes precedence.  That is, the command line is scanned from left
  93.     to right.
  94.  
  95.     -soft
  96.         This is the default level of operation.  Soft means that the history
  97.         database is searched for a current occurence of the directory/filename.
  98.         If the file is already referenced with a live (unexpired) entry, then
  99.         no further work is done with this filename.  This mode of operation
  100.         assumes that all live entries in the database are valid, and that no
  101.         one has subsequently replaced the file with another, possibly invalid
  102.         (or un-referenced) message.
  103.     
  104.         As long as all expiration is done from within this program, this is
  105.         probably a valid assumption.  Caveat emptor.
  106.  
  107.     -hard
  108.         A hard search of the database will be made.  This means that a file
  109.         is opened, and it's Message-ID: found.  Once a Message-ID has been
  110.         obtained, that is used to query the database if another file is show
  111.         to have the same Message-ID, then this file will be deleted.
  112.         
  113.         (This form of search is disk intensive.  Really.)
  114.  
  115.     -init
  116.         Forces WAFHIST to delete and rebuild the history database.
  117.  
  118. *   -control
  119.         Adds control messages not already in database, then proceeds to
  120.         execute cancels, newgroups, and rmgroups.  This option is not yet
  121.         supported.  Perhaps in the near future...
  122.  
  123.     -verbose
  124.         Causes WAFHIST to report on significant actions, e.g., file erasure.
  125.  
  126.     -noerase
  127.         Causes WAFHIST to skip file erase operations.  Use this in combina-
  128.         tion with -verbose to have WAFHIST tell you what it would otherwise
  129.         be doing to your news spool.  So, you can test the program without
  130.         committing to the hilt.
  131.  
  132.     -noindex
  133.         Causes WAFHIST to use "LOCATE FOR" syntax rather than "SEEK".. the
  134.         net result of which is that there is no need for the *.NTX index
  135.         files, and they are consequently not built.  The savings in file
  136.         space is significant, though the effect on overall runtime speed
  137.         is sure to be dire.  (* Note:  This is the most recently added
  138.         option, and is therefore the least tested portion of the program.
  139.         Caveat emptor, eh!?)
  140.  
  141.     -version
  142.         Report the current software version and exit.
  143.  
  144.     -waffle=
  145.         Points to Waffle's static file.  The default action is to find the
  146.         static file by reading the DOS environment variable WAFFLE.  This
  147.         option allows you to use an alternative static file.
  148.         Example usage:
  149.             WAFHIST -waffle=c:\waffle\system\static
  150.  
  151.     -history=
  152.         Points to history database directory.  This is the directory which
  153.         is used by WAFHIST for creating the history database (WAFHIST.DBF)
  154.         and index (WAFHIST.NTX, and MESSAGID.NTX) files.  If left unspecified,
  155.         the default directory is C:\WAFHIST.
  156.         Example usage:
  157.             WAFHIST -history=c:\waffle\admin
  158.  
  159.     -spool=
  160.         Points to Usenet spool directory.  If left unspecified, this info
  161.         is derived from the STATIC file (as pointed to by either the WAFFLE
  162.         environment variable or the -waffle= option).
  163.         Example usage:
  164.             WAFHIST -spool=c:\news
  165.  
  166.     -batch=
  167.         Points to a batch specification file.  See the accompanying MS-DOS
  168.         batch program file PREBATCH.BAT for an example of usage of this
  169.         option.
  170.  
  171.         [ Here is a description of the algorithm that is used here:
  172.  
  173.           for each line in batch_spec_file do
  174.               search for corresponding entry in history database
  175.               if an entry is not found
  176.                   search for existing entry with the same Message-ID header
  177.                   if an entry is not found
  178.                       add an entry for this message into the history db.
  179.                   else (an entry with the same Message-ID already exists)
  180.                       delete the current line from the batch_spec_file
  181.                       delete the corresponding file from the news spool
  182.                   endif
  183.               endif
  184.           endfor
  185.         ]
  186.  
  187.         Example usage:
  188.             WAFHIST -batch=c:\spool\comp16\test
  189.  
  190.     -expire=
  191.         Messages older than n days are expired (deleted) from the news spool.
  192.         Example usage:
  193.             WAFHIST -expire=14
  194.  
  195. *   -purge=
  196.         Forces WAFHIST to delete info for messages that were cancelled n days
  197.         ago.  The reason this info is not deleted as the messages themselves
  198.         are cancelled is so that those messages do not (incorrectly) get re-
  199.         entered into the database if they get re-fed (for whatever reason).
  200.         This function is not yet implemented; neither is there support yet
  201.         for the cancel control message.
  202.         Example usage:
  203.             WAFHIST -purge=14
  204.  
  205.     -type=
  206.         Specifies one of LOCAL or USENET.  The default is BOTH if unspecified.
  207.         Only one of either LOCAL or USENET may be specified.
  208.         Example usage:
  209.             WAFHIST -type=USENET
  210.  
  211.     -debug=
  212.         Secondary output (to file) for screen output, just for debugging.
  213.         (The screen output of Clipper files is in general NOT redirectaable
  214.          to files using > or >>.  [ I KNOW, yech! ].)
  215.         Example usage:
  216.             WAFHIST -debug=c:\wafhist\wafhist.dbg
  217. ---------------------------------------------------------------------------
  218. From UPDATE.DOC:
  219. Mon Oct  5 07:10:15 EDT 1992 Version 0.10
  220.  
  221. Fixed bug with piece of code used to detect whether the history.exe file
  222. was newer than the history.dbf file.
  223. ----------------------------------------
  224. Sun Oct 25 21:34:27 EDT 1992 Version 0.11
  225.  
  226. Fixed bug that incorrectly left news article file open after detecting that
  227. no Message-Id header exists.
  228.  
  229. Added new features, including a status.dbf database file, altered expiration
  230. function to be based on number of days since the article arrived, and enhanced
  231. the operation of the new file scan.  No file is scanned unless it arrived after
  232. the last scan, or unless it is older than the expiration date (if the expire
  233. option is specified).
  234. ----------------------------------------
  235. Sun Nov 15 13:08:12 EDT 1992 Version 0.12
  236.  
  237. Changed operation of -batch option, so that recent change (to only scan a
  238. file if its creation date/time is prior to the last scan date/time) is not
  239. in effect.  That is, if the -batch option is specified, all the files in
  240. the given specification file will be examined.
  241.  
  242. Changed the name of this utility program from HISTORY to WAFHIST, for a
  243. couple of reasons.  For one, 4DOS has an internal history command, resulting
  244. in a name-space collision.  For another, WAFHIST more clearly shows that
  245. this utility is meant to be used with Waffle, in the same sense as Wafmail
  246. and other utilities.
  247. ----------------------------------------
  248. Sun Nov 15 16:37:28 EDT 1992 Version 0.13
  249.  
  250. Added support for "LOCATE" searches of the database via the -noindex option,
  251. enabling those with little disk space to use the program, as the *.NTX index
  252. files are then unnecessary.  This is offered as a configurable option, so
  253. that those with space to spare can continue to use the index files, as the
  254. "LOCATE" form of dBase file search is time-intensive, and generally to be
  255. avoided when at all possible.
  256.  
  257. -- 
  258. dawson@willard.UUCP (Willard Dawson)
  259. Willard's House BBS, Atlanta, GA -- +1 (404) 664 8814
  260.