home *** CD-ROM | disk | FTP | other *** search
/ back2roots/padua / padua.7z / padua / uucp / wCNews_1.0.30.lha / man / newsbatch.man < prev    next >
Text File  |  1994-01-04  |  13KB  |  331 lines
  1.  
  2.  
  3.  
  4. NEWSBATCH(8)                                         NEWSBATCH(8)
  5.  
  6.  
  7. ¢1mNAME¢22m
  8.        sendbatches, batchsplit - news batching to other sites
  9.        batcher, batchih, batchsm - news¡batch preparation
  10.        comp, nocomp, compcun, compc7, compb - news¡batch compres¡
  11.        sion
  12.        c7encode, bencode - compressed¡news¡batch encoding
  13.        viauux, viauuxz, viauuxcun, viauuxl - news¡batch transmis¡
  14.        sion via uucp
  15.        viamail,  viaemail, viapmail - news¡batch transmission via
  16.        mail
  17.        viainews, viarsh - news¡batch transmission by misc. means
  18.  
  19. ¢1mSYNOPSIS¢22m
  20.        ¢1m/usr/lib/newsbin/batch/sendbatches¢22m [ site ... ]
  21.  
  22.        ¢1m.../batchsplit¢22m batchsize
  23.        ¢1m.../batcher¢22m listfile
  24.        ¢1m.../batchih¢22m listfile
  25.        ¢1m.../batchsm¢22m listfile
  26.        ¢1m.../comp¢22m
  27.        ¢1m.../nocomp¢22m
  28.        ¢1m.../compcun¢22m
  29.        ¢1m.../compc7¢22m
  30.        ¢1m.../compb¢22m
  31.        ¢1m.../c7encode¢22m
  32.        ¢1m.../bencode¢22m [ file ]
  33.        ¢1m.../viauux¢22m site
  34.        ¢1m.../viauuxz¢22m site
  35.        ¢1m.../viauuxcun¢22m site
  36.        ¢1m.../viauuxl¢22m group
  37.        ¢1m.../viamail¢22m site
  38.        ¢1m.../viaemail¢22m site
  39.        ¢1m.../viapmail¢22m site
  40.        ¢1m.../viainews¢22m site
  41.        ¢1m.../viarsh¢22m site
  42.  
  43. ¢1mDESCRIPTION¢22m
  44.        ¢4mSendbatches¢24m administers batched transmission  of  news  to
  45.        other  sites.  It should be run periodically, under userid
  46.        ¢4mnews¢24m, by ¢4mcron¢24m(8) or similar means.  It prepares and  sends
  47.        batches  of  news,  subject  to  restrictions on available
  48.        space and length of outbound queues.
  49.  
  50.        Each site that can have batches sent to it  needs  a  ¢4msite¢24m
  51.        directory under ¢4m/usr/spool/news/out.going¢24m.  If ¢4msendbatches¢24m
  52.        is invoked with specific ¢4msite¢24ms given, it considers  batch¡
  53.        ing  for  those  sites,  only, in that order.  By default,
  54.        ¢4msendbatches¢24m consults the ¢4mbatchparms¢24m file  (see  below)  to
  55.        determine  what  to  do:  If there is a ¢1m/default/¢22m entry in
  56.        ¢4mbatchparms¢24m, ¢4msendbatches¢24m will  consider  batching  for  all
  57.        sites  that have directories in ¢4m/usr/spool/news/out.going¢24m,
  58.        in oldest¡first order by modification time of  the  direc¡
  59.        tory.  If there is no ¢1m/default/¢22m entry, ¢4msendbatches¢24m consid¡
  60.        ers batching for those sites named in ¢4mbatchparms¢24m,  in  the
  61.  
  62.  
  63.  
  64.                             7 Nov 1990                          1
  65.  
  66.  
  67.  
  68.  
  69.  
  70. NEWSBATCH(8)                                         NEWSBATCH(8)
  71.  
  72.  
  73.        order named.
  74.  
  75.        To  use  the  batcher, names of files to be sent to a spe¡
  76.        cific site should be appended to a ¢4mtogo¢24m file in  its  ¢4msite¢24m
  77.        directory.   The batcher expects the lines in ¢4mtogo¢24m to have
  78.        two fields, a filename (as a full pathname, or relative to
  79.        ¢4m/usr/spool/news¢24m)  of  an article and its size in bytes.  A
  80.        missing size field is arbitrarily assumed to be a  default
  81.        average.
  82.  
  83.        ¢4mSendbatches¢24m  uses a number of auxiliary programs to do the
  84.        real work.  The search path it uses to find them includes,
  85.        in  order,  the  ¢4msite¢24m  directory for the site in question,
  86.        ¢4m/usr/lib/news/bin¢24m, and ¢4m/usr/lib/newsbin/batch¢24m.  This  per¡
  87.        mits  per¡site  and  per¡news¡database  overrides  of  the
  88.        default behaviors.  ¢4mSendbatches¢24m provides  all  these  pro¡
  89.        grams  with environment variables ¢1mNEWSSITE¢22m, containing the
  90.        name of the site that batches are being prepared for,  and
  91.        ¢1mNEWSSITEDIR¢22m,  containing  the  full  pathname  of the ¢4msite¢24m
  92.        directory, in case these are useful in customization.
  93.  
  94.        The names of most of  the  auxiliary  programs,  and  some
  95.        other    parameters,    are    taken    from    the   file
  96.        ¢4m/usr/lib/news/batchparms¢24m, an ASCII text file.  Empty lines
  97.        and  lines  starting  with  `#'  are ignored.  Other lines
  98.        specify the behavior for sites, one line per site.  A site
  99.        line  is  six fields, separated by white space.  The first
  100.        field is  the  site  name;  a  line  whose  site  name  is
  101.        ¢1m/default/¢22m  specifies  what  parameters  should be used for
  102.        sites not explicitly mentioned.  (The presence or  absence
  103.        of such a line also influences the behavior of ¢4msendbatches¢24m
  104.        when invoked without arguments; see  above.)   The  second
  105.        field  is  the size of batches to be prepared (before com¡
  106.        pression), in bytes.   The  third  field  is  the  maximum
  107.        length  of the output queue for transmission to that site.
  108.        The fourth, fifth, and sixth fields are the names  of  the
  109.        programs  to  be  used  to  build,  compress, and transmit
  110.        (respectively) batches to that site.
  111.  
  112.        For each site being considered  for  batches,  ¢4msendbatches¢24m
  113.        first determines whether there are in fact any articles to
  114.        be batched.  Assuming there are,  ¢4msendbatches¢24m  then  finds
  115.        the  ¢4mbatchparms¢24m  line  for  that site and invokes ¢4mqueuelen¢24m
  116.        (see ¢4mnewsaux¢24m(8)) to find out  the  size  of  the  outbound
  117.        queue  for  the  site.   ¢4mSendbatches¢24m  limits the number of
  118.        batches prepared to the minimum of the limits  implied  by
  119.        queue lengths and available space.
  120.  
  121.        ¢4mSendbatches¢24m  uses  ¢4mbatchsplit¢24m as necessary to slice chunks
  122.        out of the ¢4mtogo¢24m file, each chunk containing the ¢4mtogo¢24m lines
  123.        for  a batch limited to the specified size.  Exception:  a
  124.        single article bigger than the specified size  will  still
  125.        go out as one batch.
  126.  
  127.  
  128.  
  129.  
  130.                             7 Nov 1990                          2
  131.  
  132.  
  133.  
  134.  
  135.  
  136. NEWSBATCH(8)                                         NEWSBATCH(8)
  137.  
  138.  
  139.        Each  chunk  is  then  processed  through a batch preparer
  140.        (typically ¢4mbatcher¢24m), which assembles the articles  into  a
  141.        batch,  a batch compressor (typically ¢4mcompcun¢24m), which per¡
  142.        forms compression and/or any  other  auxiliary  processing
  143.        needed,  and a batch transmitter (typically ¢4mviauux¢24m), which
  144.        sends the batch on its way (e.g. enqueues it for transmis¡
  145.        sion).   The  preparer  is run with ¢4m/usr/spool/news¢24m as the
  146.        current directory, so non¡absolute pathnames in the  chunk
  147.        are valid filenames; the others are run in the ¢4msite¢24m direc¡
  148.        tory for  easier  access  to  site¡specific  customization
  149.        files.
  150.  
  151.        Batch preparers in the standard distribution are:
  152.  
  153.               batcher  normal batching
  154.  
  155.               batchih  ¢4mihave¢24m  part of old ihave/sendme (not to be
  156.                        confused with NNTP)
  157.  
  158.               batchsm  ¢4msendme¢24m part of ihave/sendme
  159.  
  160.        ¢4mBatchih¢24m and ¢4mbatchsm¢24m have to  map  from  the  phony  ``site
  161.        name''  given  in their ¢4mbatchparms¢24m line to the name of the
  162.        site they should actually send to; they do this by  strip¡
  163.        ping off the last `.' and everything that follows (usually
  164.        `.ihave' or `.sendme' respectively, but on machines  which
  165.        limit  the  size  of filenames these may have to be short¡
  166.        ened).
  167.  
  168.        Batch compressors in the standard distribution are:
  169.  
  170.               comp     ordinary compression
  171.  
  172.               compcun  compression   plus   the   silly   B¡news¡
  173.                        compatible `#! cunbatch' header
  174.  
  175.               nocomp   pass data straight through, no compression
  176.  
  177.               compc7   compression  plus  7¡bit  encoding   using
  178.                        ¢4mc7encode¢24m
  179.  
  180.               compb    compression  plus  very conservative 6¡bit
  181.                        encoding using ¢4mbencode¢24m
  182.  
  183.        Batch transmitters in the standard distribution are:
  184.  
  185.               viauux    normal transmission via UUCP
  186.  
  187.               viauuxz   like ¢4mviauux¢24m except with ¢1m-z¢22m  option  given
  188.                         to ¢4muux¢24m (for old UUCPs where don't¡report¡
  189.                         result¡on¡zero¡status is not default)
  190.  
  191.               viauuxcun like ¢4mviauux¢24m except  it  invokes  ¢4mcunbatch¢24m
  192.                         rather  than  ¢4mrnews¢24m at the other end (for
  193.  
  194.  
  195.  
  196.                             7 Nov 1990                          3
  197.  
  198.  
  199.  
  200.  
  201.  
  202. NEWSBATCH(8)                                         NEWSBATCH(8)
  203.  
  204.  
  205.                         some very old news sites)
  206.  
  207.               viauuxl   multicast  transmission  using   the   ¢1m-l¢22m
  208.                         option  of ¢4muux¢24m (not found on all systems)
  209.                         to send the same  batch  to  all  systems
  210.                         listed         in         the        file
  211.                         `/usr/lib/news/sites.¢4mgroup¢24m'
  212.  
  213.               viamail   mail the batch to ¢4msite¢1m¢24m!rnews¢22m
  214.  
  215.               viaemail  mail the batch to ¢4msite¢1m¢24m!enews¢22m
  216.  
  217.               viapmail  mail the batch to ¢4msite¢1m¢24m!rnews¢22m,  attempting
  218.                         to protect an unencoded batch against the
  219.                         vagaries of mailers
  220.  
  221.               viainews  feed the batch back  to  ¢4minews¢24m,  ignoring
  222.                         the  ¢4msite¢24m  argument (normally useful only
  223.                         for ihave/sendme)
  224.  
  225.               viarsh    use ¢4mrsh¢24m to run ¢4mrnews¢24m on the ¢4msite¢24m via Eth¡
  226.                         ernet,  Internet,  etc.   (the  directory
  227.                         containing ¢4mrnews¢24m must be in  the  default
  228.                         PATH on ¢4msite¢24m)
  229.  
  230.        ¢4mC7encode¢24m  encodes  8¡bit  data  from standard input into a
  231.        7¡bit form optimized for transmission by uucp  `f'  proto¡
  232.        col.  The encoding is complex and bizarre.
  233.  
  234.        ¢4mBencode¢24m  takes  8¡bit data from the named source file (the
  235.        default is standard input) and encodes it using  only  the
  236.        ASCII  characters  ``A''  -  ``Z'', ``a'' - ``z'', ``0'' -
  237.        ``9'', ``+'', and ``¡''.  The ASCII characters blank, new¡
  238.        line,  and  ``/''  also appear in the encoded file, but do
  239.        not represent encoded bits.  The encoded  file  is  termi¡
  240.        nated  with  a  byte count and cyclic redundancy check for
  241.        detecting corrupted files.  This ought to suffice  to  get
  242.        data through almost any network.
  243.  
  244.        ¢4mSendbatches¢24m  logs  some information about sites with back¡
  245.        logs in ¢4m/usr/lib/news/batchlog¢24m  (see  also  ¢4mnewsdaily¢24m(8)).
  246.        This  is  intended to help detection and diagnosis of flow
  247.        problems.
  248.  
  249. ¢1mFILES¢22m
  250.        /usr/lib/news/LOCKbatch      lock for ¢4msendbatches¢24m
  251.        /usr/lib/news/LOCK           overall news lock (used by ¢4mbatchsplit¢24m)
  252.        /usr/lib/news/L.*            lock temporaries
  253.        /usr/spool/news/out.going/*  batch directories
  254.        /usr/lib/news/batchparms     parameter file
  255.        /usr/lib/news/sites.*        ¢4mviauuxl¢24m multicast lists
  256.  
  257.        also see text
  258.  
  259.  
  260.  
  261.  
  262.                             7 Nov 1990                          4
  263.  
  264.  
  265.  
  266.  
  267.  
  268. NEWSBATCH(8)                                         NEWSBATCH(8)
  269.  
  270.  
  271. ¢1mSEE¢22m ¢1mALSO¢22m
  272.        inews(1), compress(1), uux(1), relaynews(8), rnews(8)
  273.  
  274. ¢1mDIAGNOSTICS¢22m
  275.        Complaints, if any, from ¢4msendbatches¢24m and  its  auxiliaries
  276.        are mailed to `usenet'.
  277.  
  278. ¢1mHISTORY¢22m
  279.        Written  at  University  of  Toronto as part of the C News
  280.        project.  A number of the ideas came from Chris Lewis, who
  281.        was  then with Motorola.  ¢4mBencode¢24m written at University of
  282.        Waterloo by Reg Quinton and Ken Lalonde.
  283.  
  284. ¢1mBUGS¢22m
  285.        ¢4mBatchsplit¢24m does  not  count  the  `#! rnews ¢4mnnnn¢24m'  headers
  286.        inside batches when computing batch lengths.
  287.  
  288.        Ihave/sendme  processing is a bit of a kludge; in particu¡
  289.        lar, applying ¢4mbatchsplit¢24m to a file  full  of  article  IDs
  290.        just happens to work okay.
  291.  
  292.        ¢4mSendbatches¢24m  estimates available space without considering
  293.        the effects of compression; this is usually too  conserva¡
  294.        tive.
  295.  
  296.        ¢4mViapmail¢24m  is  obsolescent;  ¢4mviaemail¢24m  with a batch encoded
  297.        with ¢4mbencode¢24m is vastly superior.
  298.  
  299.        Queue¡length limiting does not work  for  ¢4mviauuxl¢24m  because
  300.        ¢4mqueuelen¢24m  (see  ¢4mnewsaux¢24m(8))  does not know about multicast
  301.        groups.  Also, ¢4mviauuxl¢24m has not been tested well.
  302.  
  303.        ¢4mViarsh¢24m does not incorporate a  spooling  subsystem,  so  a
  304.        slow  site  stalls  the  entire batching system and a non¡
  305.        responding site loses news.  It  is  not  recommended  for
  306.        bulk  transmission or where high reliability is essential.
  307.  
  308.  
  309.  
  310.  
  311.  
  312.  
  313.  
  314.  
  315.  
  316.  
  317.  
  318.  
  319.  
  320.  
  321.  
  322.  
  323.  
  324.  
  325.  
  326.  
  327.  
  328.                             7 Nov 1990                          5
  329.  
  330.  
  331.