home *** CD-ROM | disk | FTP | other *** search
/ BCI NET 2 / BCI NET 2.iso / archives / networking / as225r2 / nntpget.lha / nntpget.readme < prev    next >
Encoding:
Text File  |  1995-02-05  |  6.4 KB  |  140 lines
  1. Short:   update to NNTP client for AS225
  2. Author:  Michael van Elst (mlelstv@serpens.rhein.de)
  3.  
  4. nntpget is a NNTP (Net News Transfer Protocol) client that gathers news
  5. articles from a remote NNTP server. It was written for AS225R2 but seems
  6. to work fine with AmiTCP and the faked socket.library done by Henning
  7. Schmiedehausen (also on Aminet).
  8.  
  9. What would you do when you do not have a working NNTP daemon or do not
  10. want to run (and let it write to disk) all the time ?
  11.  
  12. My solution is nntpget, a program that talks with a remote NNTP server
  13. using the 'newnews' and 'article' commands to query for new articles
  14. since a specific date and then to retrieve these articles. nntpget
  15. generates a valid batchfile suitable for 'rnews' or the like (i.e.
  16. including the #! rnews xxxx headers).
  17.  
  18. Usage:
  19.  
  20. > nntpget ?
  21. FROM/M,SUBSCRIPTIONS/K,ARTICLES/K,SINCE/K,DATESTAMP/K,TO/A/K,APPEND/S,NNTPSERVER/K/A,CPS/K/N,NBUFS/K,HISTORY/K: 
  22.  
  23.   FROM             multiple strings denoting newsgroups or complete hierarchies
  24.                    like:   FROM de.test  alt.*  news.announce
  25.   
  26.   SUBSCRIPTIONS    file with list of newsgroups or hierarchies, one per line
  27.                    Characters after the first white space are ignored, so
  28.                    that you can use your active file.
  29.  
  30.   ARTICLES         file with list of MsgIDs, one per line
  31.  
  32. you can use all 3 sources at the same time. nntpget will first work on FROM,
  33. then on SUBSCRIPTIONS then on ARTICLES.
  34.  
  35.   SINCE date       fetch only articles since given date in AmigaDOS format
  36.                    substitutes like 'monday' or 'yesterday' are valid meaning
  37.                    the last such weekday (at current time). So yesterday says
  38.                    to retrieve news from the last 24 hours.
  39.                    If you tell it the current day or 'today' this says to fetch
  40.                    all articles since this day at midnight.
  41.                    You can also specify a time meaning since today (or yesterday
  42.                    if the time would be in the future) at that time.
  43.  
  44.   DATESTAMP file   fetch only articles newer than that file. When all
  45.                    goes well then the modification time of that file
  46.                    is updated to the _starting time_ of nntpget. This
  47.                    ensures that subsequent runs will not lose articles.
  48.  
  49.                    The filesystem where the datestamp file is located
  50.                    must support the SetFileDate function (which is
  51.                    true for the standard ROM filesystem).
  52.  
  53.                    If you do not use either the SINCE or the DATESTAMP
  54.                    parameter the newserver is told to retrieve articles
  55.                    since 1.1.1900 (i.e. since ever).
  56.                    Some servers may interpret this as 1.1.2000 instead and
  57.                    won't send anything for a while.
  58.  
  59.                    Articles requested by the ARTICLES file are not filtered
  60.                    out. You will get all articles independent of age !
  61.  
  62.   TO file          generated batch file
  63.  
  64.   APPEND           append to batch file
  65.  
  66.   NNTPSERVER       the name or IP number of your NNTP server machine
  67.  
  68.   CPS num          bandwidth limitation. nntpget tries to keep traffic below
  69.                    the given characters per second. This can only be an average
  70.                    since there are bursts of at least one TCP segment which
  71.                    are under control of the TCP protocol stack.
  72.                    The bandwidth is just limited for article transfers and not
  73.                    for the initial transfer of article MsgIDs but which is
  74.                    short.
  75.  
  76.   NBUFS num        n-buffer NNTP protocol while fetching articles. nntpget
  77.                    will request up to num articles in advance. This should
  78.                    improve throughput if you receive lots of small articles.
  79.                    A good value for num is 5. A value of 1 means to fetch
  80.                    articles in lock-step with the server's answers (which 
  81.                    is the default).
  82.  
  83.                    There have been reports about problems with n-buffering
  84.                    and the INN (InterNetNews) daemon. Reason is that n-
  85.                    buffering can produce bulks of output. If the network
  86.                    is slow then INN erroneously assumes that the connection
  87.                    has been lost and terminates the session.
  88.  
  89. HISTORY base       If you want to update your news database from several
  90.                    servers or don't know what articles need to be fetched
  91.                    you can use this option to tell nntpget the basename
  92.                    of a dbz(1) compatible history database (i.e. without
  93.                    the .pag or .dir suffixes). nntpget will then match
  94.                    msgids against the history and just transfer articles
  95.                    that are not in your database.
  96.  
  97. nntpget uses 2 temporary files in T:. One to gather all MsgIDs, one for the
  98. current article (it cannot write directly to the batchfile since it doesn't know
  99. the size at that time which has to go to the #! rnews header). So please have
  100. enough space on that filesystem (usually T: is on RAM:).
  101.  
  102. While running nntpget will show you (part of) the NNTP traffic on stdout as well
  103. as the average transfer rate.
  104.  
  105. >> NEWS (0.95) <<
  106. This version fixes some problems of the first version.
  107.  
  108. When you used the CPS option and something modifies the clock (say when
  109. adjusting for DST) then nntpget measures a negative speed and would wait
  110. a very long time.
  111.  
  112. Again with the CPS option it was impossible to stop nntpget while it
  113. was throttling the transfer making the previous problem even more
  114. nasty.
  115.  
  116. When you abort nntpget it removes the temporary files including the
  117. article list but while it is running it did maintain an exclusive lock
  118. on the list file. Now it closes and reopens the list file so that you
  119. can examine (or copy) the list while the transfer is in progress. This
  120. helps when you want to abort and resume a transfer.
  121. Caveat: if you keep the list file open from a second process then nntpget
  122. cannot delete it.
  123.  
  124. >> NEWS (0.101) <<
  125.  
  126. Some minor corrections to follow closer the NNTP specification.
  127.  
  128. >> NEWS (0.115) <<
  129.  
  130. Added DATESTAMP, NBUFS and HISTORY options. Fixed two cases where a
  131. parameter was missing from an error message.
  132.  
  133. The CPS and NBUFS options aren't that useful together. NBUFS is used
  134. to improve transfer rates which would be reduced again by CPS. You
  135. may still want it for maintaining a low average bandwidth usage
  136. together with a high peak bandwidth usage after a temporary network
  137. failure.
  138.  
  139. Michael van Elst
  140.