home *** CD-ROM | disk | FTP | other *** search
/ MS DOS Archives 1 / MS-DOS_Archives_Volume_One_Walnut_Creek.iso / msdos / info / ftp2uk22.inf < prev    next >
Text File  |  1991-11-04  |  67KB  |  1,635 lines

  1. FTP2UK22.INF   SIMTEL20 by FTP from UK JANET sites
  2.  
  3. Notes for PC/MSDOS users at UK JANET sites - last revised 30 Oct 91
  4.  
  5. Some of the methods below are no longer in my current repertoire. If you
  6. think the advice has become out of date, please send me a message with
  7. details.
  8.         Hylton Boothroyd, Warwick Business School, bsrdp@warwick.ac.uk
  9.  
  10. UK readers can find the latest version of this file in the directory
  11. ibmpc/simtel20/info  at  uk.ac.ic.doc.src
  12. ------------------------------------------------------------------------
  13. Contents:
  14.  
  15.  0. Background to this file
  16.     0.1 JANET (NIFTP) methods v. Internet FTP
  17.  
  18.  1. Practical alternatives, and why
  19.     1.1 Lancaster
  20.     1.2 Imperial College, London
  21.     1.3 TRICKLEs
  22.     1.4 FTP from mirrors and quasi-mirrors outside the UK
  23.     1.5 FTP variations available
  24.  
  25.  2. Getting a file from SIMTEL20: two-stage FTP via London
  26.     2.1 Scope of advice
  27.     2.2 Authorizations
  28.     2.3 Outline and limitations
  29.     2.4 Getting information files before you start
  30.     2.5 An annotated example of Warwick - NSF.SUN(London) - SIMTEL20
  31.  
  32.  3. Getting a file from SIMTEL20: FTP direct
  33.     3.1 Scope of advice
  34.     3.2 Authorizations
  35.     3.3 Outline and limitations
  36.     3.4 Getting information files before you start
  37.     3.5 Automation of FTP file collection
  38.  
  39.  4. Getting a file from SIMTEL20: one-step file request via FT-RELAY
  40.     4.1 Scope of advice
  41.     4.2 Authorizations
  42.     4.3 Outline and limitations
  43.     4.4 Getting information files before you start
  44.     4.5 An example of a request to FT-RELAY
  45.  
  46.  5. File history
  47.  
  48. ------------------------------------------------------------------------
  49.  0. Background to this file
  50. ---------------------------
  51. These notes are a guide to how things can be done - a user's report on
  52. methods and routes to establish what is feasible, including some useful
  53. alternatives to FTP for getting at SIMTEL20 material.  They were
  54. originally prepared for Keith Petersen, the SIMTEL20 archivist, to meet a
  55. steady stream of requests for information from the UK to answer the basic
  56. queries:
  57.         Can I get SIMTEL20 files in the UK by FTP?  How?
  58.  
  59. When FTP is mentioned on the net, it means the programme at a site on
  60. Internet (a network of networks) that can be used
  61.     *   to establish a connection with a distant site,
  62.     *   to inspect the contents of distant directories,
  63.     *   to transfer files along the connection.
  64. When networks and sites are not busy it is fast and fluent.
  65.  
  66. If you are at one of the favoured few JANET sites which are also on
  67. Internet, the flavour of working methods can be sampled from sections
  68. 2.5.4 (manual interactive) and 3.5 (manually started scripts and
  69. automatically repeated scripts). And you can take your advice on FTP from
  70. anywhere in the world.
  71.  
  72. But most sites on the UK's JANET network have only indirect access to FTP
  73. and require methods peculiar to the UK.  They involve establishing
  74. connection with special Internet interfaces at other UK sites to act as
  75. your end of the Internet connection.  You can get an idea of the several
  76. stages of manually collecting a file from SIMTEL20 to your PC from the
  77. long annotated example in section 2.5, which is mostly a straight account
  78. of my first experience of FTP, with additional afterthoughts.
  79.  
  80. Unfortunately, connections between JANET sites are not produced by a
  81. single widely implemented package. There is a medley of packages with
  82. little in common in their user interfaces.  And there is only patchy
  83. guidance on what to put into each package to produce the desired JANET
  84. message.  A complete advice file would have to have a complete set of
  85. recipes for each package in the medley.  That is beyond my capacity.  So
  86. the accounts here are based on my preferred connection to the world:
  87.  
  88.         PC+Kermit -----> Unix host ----+---> Internet
  89.                      |                 |
  90.         PC+Rainbow --+                 +---> JANET -> Internet interfaces
  91.  
  92. If you have PC+Rainbow and are not on Internet, you may prefer to use
  93.  
  94.         PC+Rainbow ------------------------> JANET -> Internet interfaces
  95.  
  96. PC+Kermit leaves plenty of room on a standard 640K PC for doing things at
  97. the PC end during a connection.  PC+Rainbow uses so much space that only
  98. the most trivial operations are feasible - its chief advantages are
  99. built-in methods for direct use of JANET and its speed of file transfer.
  100.  
  101. Since UK JANET methods can be awkward to use, there is some advantage in
  102. wrapping up the painful details in scripts once you have established
  103. them.  I have therefore started a companion file
  104.         FTP2UKnn.ZIP
  105. to offer contributed scripts that authors think might be helpful for
  106. using the NSF.SUN interface and FT-RELAY.
  107.  
  108. In using this file:
  109.     *   be prepared to replace my account of what I do with something
  110.     suited to your own hardware and software;
  111.     *   replace the variants of my email address with similar variants of
  112.     your own.
  113.  
  114.  
  115. 0.1 JANET (NIFTP) methods v. Internet FTP
  116. -----------------------------------------
  117. There are two modes of linking with a distant site:
  118.     *   interactive manual control,
  119.     *   sending a complete request message.
  120.  
  121. In FTP there is no difference in what can be done in the two modes -
  122. a complete request simply mimics interactive manual control.
  123.  
  124. On JANET there are differences in what can be done in the two modes, and
  125. you need to switch between them.  At best the two modes are managed
  126. within a menu-driven front-end, as in the PC-Rainbow package. At worst
  127. there is an unrelated and different-looking utility for each mode, as on
  128. a typical unix host.
  129.  
  130. Interactive manual control offers the following basic facilities:
  131.     FTP  JANET
  132.     Yes    Yes   List a distant directory on screen
  133.      No*   Yes   Read a distant text file on screen
  134.     Yes     No   Have a distant text/binary file sent to you
  135.     Yes     No   Have a distant directory sent to you as a file
  136.      No    Yes   Direct access to remote site from PC (via Rainbow)
  137.  
  138. On some systems, but not on the London interface, FTP allows quick and
  139. easy interruption to inspect files collected from a distant site.
  140.  
  141. A stand-alone request message offers the following basic facilities:
  142.     FTP  JANET
  143.     Yes    Yes   Have a distant text/binary file sent to you
  144.     Yes     No*  Have a distant directory sent to you as a file
  145.      No    Yes   Direct file receipt on PC from remote site (via Rainbow)
  146.  
  147. Many JANET sites partly compensate for the lack of directory-as-file by
  148. periodically updating separate textfiles of directory listings. But there
  149. is no standard method for naming and locating them.
  150.  
  151. -----------------------------------------------------------------------------
  152. 1.  Practical alternatives, and why
  153. -----------------------------------
  154. SIMTEL20 has probably the largest publicly-accessible actively-managed
  155. up-to-date collection of serious MSDOS software in the world, both public
  156. domain (PD) and shareware (SW).  BUT ...
  157.  
  158.     *   a large mature UK repository of PC software now exists at
  159.     Lancaster, with full time staff who are:
  160.           - pro-active in collecting it from sites like SIMTEL20 and
  161.         cataloguing it,
  162.       - funded partly to avoid the overloading of gateways to
  163.         international networks and the international networks
  164.         themselves;
  165.  
  166.     *   a mirror of SIMTEL20's pd1:<msdos> directory was started at
  167.     Imperial College in August 1991 - provided that planned disk
  168.     expansion goes ahead, early 1992 should see a complete set of
  169.     files with no more than one or two days lag behind installation
  170.     at SIMTEL20;
  171.  
  172.     *   an email service of SIMTEL20 files is available via a network of
  173.     caches/servers around Europe and near-Europe - the TRICKLE
  174.     servers;
  175.  
  176.     *   it is often easier and more reliable to connect with mature
  177.     non-UK sites that keep up-to-date copies of SIMTEL20 files.
  178.  
  179. I don't aim to include stand-alone guides to alternatives to SIMTEL20,
  180. but here in section 1 are some pointers to those that seem to be reliable
  181. together with a quick overview of the three methods available for
  182. reaching SIMTEL20 and other FTP sites.
  183.  
  184.  
  185. 1.1 Lancaster
  186. -------------
  187. The "National Software Archive" at Lancaster offers in its own format
  188. virtually everything that is added to SIMTEL20.  It is not available
  189. internationally nor to UK users not on JANET.
  190.  
  191. To get started either send an email message of the form:
  192.  
  193.     From: bsrdp@uk.ac.warwick.cu
  194.     To:  archive-server@uk.ac.lancs.pdsoft
  195.     Subject: Anything you like, or leave out the whole line
  196.  
  197.     send help
  198.  
  199. or call the archive interactively and follow the instructions on screen -
  200. on my unix host I simply need to enter
  201.         pad lancs.pdsoft
  202. ( a limited range of unix-like commands is available: for example, 'more'
  203.   but not 'less').
  204.  
  205. Good and bad features from the point of view of SIMTEL20 users are:
  206.     +   has a separate standardized descriptive file for each
  207.         application, which
  208.         %   often tells you enough to avoid an unsuitable archive,
  209.         %   reports the commercial status - PD or which of the many
  210.         varieties of SW;
  211.     +   publishes four regular email newsletters ( dos, windows, os2, and
  212.     deskview ) which include the information files for the latest
  213.     additions together with full pathnames;
  214.     -   is a chronological collection with uninformative directory names
  215.     and file names - I find I need both a printed and a local online
  216.     copy of
  217.                 /micros/ibmpc/dos/index
  218.         to navigate comfortably - if you accidentally call
  219.                 dir /micros/ibmpc
  220.     you will after some minutes get a directory listing of about 2000
  221.     names running from f001 to h999 and be no wiser;
  222.     -   has no cross-referencing to SIMTEL20;
  223.     -   repackages all archives in a .BOO format, but offers DEBOOing
  224.     tools if your site does not have them;
  225.     -   lags perhaps 7/10 days behind SIMTEL20, but ...
  226.     +   accepts requests for expediting;
  227.     +/- accessed by JANET methods
  228.     +   avoids adding to traffic on international networks.
  229.  
  230.  
  231. 1.2 Imperial College, London
  232. ----------------------------
  233. The UKUUG archive at Imperial College started a new section in August
  234. 1991 in which a complete set of MSDOS files from SIMTEL20 is planned.
  235. But completion depends on the installation of further disk space.  In
  236. terms of Mb:
  237.     *   the present allocation of disk space is sufficient to hold
  238.         about 60% of what is on SIMTEL20,
  239.     *   the holding during October 1991 was about 40%, and covered all
  240.     the files in a subset of SIMTEL20 directories:
  241.           arc-lbr     borland     c           cmu-pcip    cplusplus
  242.           djgpp       dskutl      editor      emulators   filutl
  243.           gnuish      graph       hamradio    ka9q-tcpip  kermit
  244.           keyboard    lan         microsoft   modem       mouse
  245.           ncsatelnet  network     packet      perl        sysutl
  246.           trojan-pro  txtutl      uucp        vga         windows3
  247.           worldmap    xpc         zip         zoo
  248.         to which have now been added
  249.           4dos        batutl      dirutl      filedocs    info
  250.           starter .
  251.  
  252. The archive is accessible to *all* JANET users by email and JANET
  253. methods, and is also accessible by FTP.  JANET users should make this the
  254. standard site for collecting their up-to-date copy of
  255.         pd1:<msdos.filedocs>SIMIBM.ARC
  256. which is held as
  257.         ibmpc/simtel20/filedocs/simibm.arc .
  258.  
  259. To get started either send an email message of the form:
  260.  
  261.         From: bsrdp@uk.ac.warwick.cu
  262.         To: info-server@doc.ic.ac.uk
  263.         Subject: Anything you like, or leave out the whole line
  264.  
  265.         request: index
  266.         topic:   help
  267.         request: end
  268.  
  269. or call the archive interactively by JANET methods outside office hours
  270. and follow the instructions on screen - on my unix host I simply need to
  271. enter
  272.         pad ic.doc.src
  273. ( a rather wider range of unix-like commands is available than at
  274.   Lancaster, including 'less' and file location calls);
  275.  
  276. or, if you have direct FTP, use methods similar to the manual interactive
  277. method described in section 2.5.4 or to the automated methods described
  278. in section 3.5 - a suitable script to check the current range of
  279. directories would be
  280.                 verbose
  281.                 open src.doc.ic.ac.uk
  282.                 user anonymous bsrdp@warwick.ac.uk
  283.                 cd ibmpc/simtel20
  284.                 dir
  285.                 bye
  286. ( the numeric form of the address is 146.169.3.7, and the address you
  287.   offer as your password must include @ ).
  288.  
  289. Good and bad features from the point of view of SIMTEL20 users are:
  290.     +   uses SIMTEL20's directory structure and filenames, so
  291.     announcements on  comp.binaries.ibm.pc.archives  can be
  292.     translated directly into requests;
  293.     -   by end-October 1991 covered only 20% of the directories in the
  294.         SIMTEL20 collection, though these were covered completely;
  295.     +   lags only one or two days behind files being added to SIMTEL20
  296.     ( currently has a daily update from a USA mirror which itself
  297.       normally has a daily update from SIMTEL20 - see section 1.4 for
  298.       a fuller discussion of mirror sites);
  299.     +   has a high rate of first-time connection;
  300.     +   avoids adding to traffic on international networks.
  301.  
  302. If you are at a JANET site without international FTP, then:
  303.     -   physically unavailable for manual interactive working during
  304.     normal office hours (0830-1730 Mon-Fri).
  305.  
  306.  
  307. 1.3 TRICKLEs in Europe and near-Europe
  308. --------------------------------------
  309. There is a cooperating group of automatic servers on the EARN/BITNET
  310. network in Europe.  There is a slowly changing list of about 10 sites
  311. ranging from Spain to Denmark to Israel, which together provide a
  312. substantial cache of SIMTEL20 material of current interest.  The cache
  313. has no duplication in it, except transiently during file distribution.
  314.  
  315. It will probably no longer be of interest once the Imperial College
  316. mirror of SIMTEL20 is completed.  Until then it remains a viable
  317. alternative. It was for a couple of years the principal source of
  318. SIMTEL20 files for UK users.
  319.  
  320. Although the TRICKLE system is primarily for direct connection of sites
  321. on the EARN/BITNET network, one of the TRICKLEs, currently that in
  322. Austria, provides a complete email service for UK users.  On receiving a
  323. request for a SIMTEL20 file, the Austrian TRICKLE will:
  324.     *   mail it if it is in the Austrian cache,
  325.     *   ask each other TRICKLE to mail it, and report,
  326.     *   if all report negatively, place an order for the file and mail it
  327.     on arrival.
  328.  
  329. To get started, send an email message of the form
  330.  
  331.          From: bsrdp@uk.ac.warwick.cu
  332.          Reply-To: bsrdp%cu.warwick.ac.uk@UKACRL
  333.          To: trickle@awiwuw11.earn
  334.          Subject: Anything you like, or leave out the whole line
  335.  
  336.          /help
  337.  
  338. and in the help file that arrives ignore all references (TELL etc) to the
  339. direct access methods available to sites that are on EARN.  You might be
  340. OK without the Reply-To line. I made it standard when it became clear
  341. that the TRICKLEs were not always in a state where they could form an
  342. adequate version of my address - UKACRL is the EARN interface for all
  343. JANET sites.
  344.  
  345. Some good and bad features from the point of view of SIMTEL20 users are:
  346.     +   uses SIMTEL20's directory structure and filenames, so
  347.     announcements on  comp.binaries.ibm.pc.archives  can be
  348.     translated directly into requests;
  349.     -   usually lags about 3 days behind newsgroup announcements in
  350.     updating its directory and accepting requests, but has occasional
  351.     hiccoughs when it lags by another week, particularly at periods
  352.     of excitement and/or crisis on the networks;
  353.     +   exact copies of SIMTEL20 .ZIP files and .ARC files are translated
  354.     into mailable sections, often in several parts, and arrive with
  355.     no effort on your part, although ...
  356.     -   it can be the weekend before the big bits arrive in term time;
  357.     -   UK users must specifically ask for mailings of archive files
  358.     (.ARC, .LZH, .ZIP, .ZOO  ...) to be xxencoded, and must have the
  359.     tools for xxdecoding, which can can be a bit messy - downloading
  360.     to your PC and using Richard Mark's uudecode
  361.                 pd1:<msdos.filutl>UUEXE413.ZIP
  362.     is an alternative to writing supporting perl/awk scripts for a
  363.     unix host.
  364.  
  365.  
  366. 1.4 FTP from mirrors and quasi-mirrors outside the UK
  367. -----------------------------------------------------
  368. Sites in various parts of the world aim at keeping reasonably up-to-date
  369. copies of SIMTEL20's MSDOS files and offering an FTP service to the world
  370. at large. They may be of little interest once the Imperial College
  371. coverage is complete, except insofar as they are actively managed
  372. collections.
  373.  
  374. Mirror sites, a minority, have:
  375.     *   a tree of directories somewhere in their own directory structure
  376.     that exactly matches the pd1:<msdos> directory tree on SIMTEL20,
  377.     *   files that are exact copies of the files on SIMTEL20,
  378.     *   an identical set of files to those on SIMTEL20, typically managed
  379.     by automatic overnight off-peak calling of new files.
  380.  
  381. What I prefer to call quasi-mirror sites, although they are usually
  382. described as mirrors, depart in some respects from being true mirrors,
  383. but may have other qualities to recommend them.
  384.  
  385. Mirrors and quasi-mirrors do not usually have the same operating system
  386. as SIMTEL20, so the appearance of directory names and filenames is
  387. somewhat different. For example, at the first site described below the
  388. SIMTEL20 file
  389.         pd1:<msdos.filedocs>SIMIBM.ARC
  390. is held as
  391.         /mirrors/msdos/filedocs/simibm.arc
  392.  
  393. Three unix sites are worth looking at from the UK, and can be accessed by
  394. the methods for accessing SIMTEL20 in sections 2, 3, and 4 below.
  395.  
  396. wuarchive.wustl.edu
  397.   Offers a true mirror in its directory
  398.         /mirrors/msdos
  399.   and
  400.     +   usually lags by only about one day,
  401.     +   has a high rate of first-time connections,
  402.     +   usually operates more quickly than other sites,
  403.     +   at mid-September 1991 was the source for the mirror at
  404.         Imperial College, London.
  405.  
  406. nic.funet.fi
  407.   Offers a quasi-mirror in its directory
  408.         /pub/msdos
  409.   though the directory also has several sub-directories not related to
  410.   material from SIMTEL20's  pd1:<msdos> directory.
  411.   Some good and bad features from the point of view of SIMTEL20 users
  412.   are:
  413.     -   within /pub/msdos there is an extra layer of sub-directories into
  414.         which the SIMTEL20 directories are grouped, though ...
  415.     +   a group of thematically related directory names can then
  416.     conveniently be presented in a single screenful,
  417.     -   .ARC and .ZIP files are repackaged into .LZH archives, which
  418.     requires yet another verification tool on a unix host - however,
  419.     once you have the .LZH archive on your PC ...
  420.     +   archives in .LZH format are a little smaller;
  421.     -   lags behind wuarchive.wustl.edu
  422.  
  423. garbo.uwasa.fi
  424.   Offers a quasi-mirror in its directory
  425.         /pc
  426.   though the directory also contains some non-SIMTEL20 material.
  427.   Some good and bad features from the point of view of SIMTEL20 users
  428.   are:
  429.     +   competes to make most worthwhile things available quickly, and
  430.     indeed to persuade software authors to make it a repository of
  431.     first resort, but ...
  432.     -   adds only a subset of what is added to SIMTEL20, though I guess
  433.     that users will find at least 90% of what they want;
  434.     +/- holds only about 20% of what is on SIMTEL20 - as an active
  435.     utility writer the moderator excludes also-ran's and me-too's;
  436.     -   repacks some .ARCs to .ZIPs, with SIMIBM.ARC as
  437.                 /pc/filelist/simibm.zip ;
  438.     +/- accepts some .LZHs ( see nic.funet.fi above for comments )
  439.     -   uses a thematic directory structure coarser than that of
  440.     SIMTEL20, with subtly different directory names and sometimes
  441.     different filenames, but ...
  442.     +   announces details of additions quickly, with full pathname (but
  443.     look out for corrections) and often with evaluative comments, on
  444.     comp.binaries.ibm.pc.archives;
  445.     +   maintains an index list
  446.                 /pc/filelist/garboidx.arc
  447.     with brief descriptions similar to SIMIBM.IDX but perhaps a
  448.     little more evaluative;
  449.     -   has no cross reference from SIMTEL20 pathnames;
  450.     -   often (50%+ of my requests) declares itself unable to provide a
  451.     directory listing using 'dir' (a persistent bug) though a list of
  452.     names-only is available using 'ls' .
  453.  
  454.  
  455. 1.5 FTP variations available
  456. ----------------------------
  457. Distant connection by FTP is seductive, so it is perhaps worth starting
  458. by saying:
  459.     *   the software and hardware at FTP sites are not usually maintained
  460.     principally for the benefit of distant callers, though in the
  461.     long run there is a very rough quid pro quo in what is made
  462.     available to archive sites by the networking community;
  463.     *   even if you are not physically prevented from accessing a distant
  464.     site during its normal daytime office hours, you should try to
  465.     respect requests for considerate use;
  466.     *   operators and/or funders of distant sites may call, Enough, and
  467.     pull the plug.
  468.  
  469. For JANET users the three methods of FTP connection currently available
  470. are:
  471.  
  472. two-stage connection through the London FTP interface
  473. -----------------------------------------------------
  474.     +   available to all JANET sites,
  475.     +   well-established,
  476.     +   allows you during a single FTP session in London to move easily
  477.     between:
  478.           % listing directory contents (complete with files sizes),
  479.       % pulling a copy of any file to London,
  480.     -   everything has to be transferred from London to your own site
  481.     before you can inspect it,
  482.     -   has no facility for you to build supportive scripts for pulling
  483.     files to London or for sending them to your own site,
  484.     -   often busy and often with limited capacity for incoming files,
  485.     though this is temporarily easing as sites with their own
  486.     Internet connections discontinue their traffic,
  487.     -   requires two substantially different methods of distant computer
  488.     access and file transfer, one within the UK to reach London, and
  489.     ordinary Internet FTP from London to the rest of the world,
  490.     +   direct PC-London access with the UK 'Rainbow' package from
  491.     certain types of local network;
  492.  
  493. ordinary FTP
  494. ------------
  495.     -   available only at selected JANET sites,
  496.     +   should be relatively bug-free proven technology,
  497.     +   allows you during a single manually controlled FTP session to
  498.     move easily between:
  499.           % listing directory contents (complete with files sizes),
  500.       % pulling a copy of any file,
  501.           % briefly inspecting pulled files,
  502.     +   can be automated to various degrees;
  503.  
  504. one-stage file-relay service via FT-RELAY
  505. -----------------------------------------
  506.     +   available to all JANET sites,
  507.     +   delivers files to your own site, and operates the FTP connection
  508.         itself,
  509.     +   very fast, like direct FTP,
  510.                IF lines to FT-RELAY are free
  511.                   AND FT-RELAY is not busy
  512.               AND the networks to the remote site are not busy
  513.                   AND the remote site can accept you,
  514.     -   experimental, with scope of future behaviour not yet defined, and
  515.     fairly sharp changes in the degree to which it will persist with
  516.     a request - at a particular test date in August 1991 I noted:
  517.       % each request for a directory listing and each request for a
  518.         file is the subject of a separate message to FT-RELAY and
  519.         separate re-connection to the remote site,
  520.           % directory listings lack file sizes,
  521.       % terminates the request under many conditions where I would
  522.         want it to persist - can be very tedious,
  523.       % some key online descriptions only in a news file that has
  524.         garbled characters in key passages.
  525.  
  526. These three alternatives are described more fully in Sections 2 ,3 and 4.
  527.  
  528.  
  529. --------------------------------------------------------------------------
  530. 2.  Getting a file from SIMTEL20: two-step FTP via London
  531. ---------------------------------------------------------
  532. This section has the fullest sequence of advice, since it is the only
  533. method by which all JANET users can achieve interactive FTP connection.
  534. To avoid repetition, later sections in places point back to section 2.
  535.  
  536. 2.1 Scope of advice
  537. -------------------
  538. For UK people at any JANET site who
  539.   * want MSDOS public-domain and shareware files from SIMTEL20,
  540.   * want a proven method of access to SIMTEL20 itself, including online
  541.     inspection of directories to see filenames and filesizes,
  542.   * are not at a site offering direct FTP,
  543.   * are new to FTP, and want a framework of understanding, not just a
  544.     recipe.
  545.  
  546. You will need to find people at your own site who can adapt the methods
  547. for the link with London, since this will vary from site to site.
  548. Broadly you are likely to be reaching London from one of three kinds of
  549. platform:
  550.   * a well-supported unix host at your site (as in Section 2.5)
  551.   * a well-supported VMS host at your site,
  552.   * a PC linked to a suitable high-speed local network using something
  553.     like the UK Rainbow package to give direct access to a JANET 'pad'.
  554.  
  555. The London-SIMTEL20 link is standard for everybody, and is an example of
  556. what the rest of the world understands as FTP.
  557.  
  558.  
  559. 2.2 Authorizations
  560. ------------------
  561. At most UK universities and polytechnics, both staff and students in
  562. principle have unrestricted access to international email and to the UK's
  563. substitute for FTP that links JANET sites.  So all that is needed is
  564. locally authorised access to
  565.   * a mainframe linked to JANET, or
  566.   * a PC linked to a net linked to JANET,
  567. plus some specific information on distant sites and some knowhow.
  568.  
  569. For the London interface with internet you need to know
  570.     address : uk.ac.nsfnet-relay.sun   or   nsf.sun
  571.     login   : guestftp
  572.     password: guestftp
  573.     other   : use a short form of your JANET email address as your
  574.                 reference for the session
  575.  
  576. For SIMTEL20 you need to know
  577.     address : wsmr-simtel20.army.mil
  578.     login   : anonymous
  579.     password: anything - operator suggests 'guest'
  580.     other   : if asked for passwords during the session press <ENTER>
  581.  
  582. Since, many UK and international facilities are close to capacity and
  583. prone to downtime, access in practice is resource-limited.
  584.  
  585.  
  586. 2.3 Outline and limitations
  587. ---------------------------
  588. A straightforward method is:
  589.   * connect your site to the London interface,
  590.   * connect the London interface to SIMTEL20,
  591.   * transfer a copy of the file you want from SIMTEL20 to London,
  592.   * close the link to SIMTEL20,
  593. then either
  594.   * address a copy of the file to yourself at your own site,
  595.   * close the link to London,
  596. or
  597.   * close the link to London,
  598.   * send to London for the file to be sent to you and deleted in London.
  599. and finally
  600.   * wait.
  601.  
  602. The first alternative uses a rather cumbersome special facility at
  603. NSF.SUN, though its use is identical for all JANET users.  The second
  604. alternative depends on JANET file transfer utilities in use at your site,
  605. but can be streamlined and is usually quicker.
  606.  
  607. The London interface does not connect your site directly to Internet. You
  608. are given a modest workspace in London to use as your base for FTP
  609. connections on Internet. London has to be used as a temporary intermediate
  610. store for files. It does not have much free space;  it refuses entry when
  611. there is less than 1Mb free to share between users.
  612.  
  613. Like any FTP connection, the connection between London and SIMTEL20 is in
  614. some ways a very limited affair. In particular:
  615.   * you cannot ask SIMTEL20 to display help/info files on your screen - you
  616.     have to bring them to London.
  617. However, the interface in London offers fewer facilities than you
  618. normally get when connected to another JANET site. In particular:
  619.   * having got the SIMTEL20 help/info files to London you cannot ask
  620.     London to display them on your screen - you have bring them to your
  621.     own site.
  622.  
  623. Although you may have read about automated FTP, there are no ready-made
  624. scripts suitable for you-London or London-SIMTEL20.
  625.  
  626.  
  627. 2.4 Getting information files before you start
  628. ------------------------------------------------
  629. You may find the example in section 2.5 sufficient, but it is preferable
  630. to send two email messages in the following format, with your own email
  631. identity substituted for mine, and to read and perhaps to print the
  632. replies:
  633.  
  634.   1
  635.     From: bsrdp@uk.ac.warwick.cu
  636.     To: info-server@uk.ac.nsfnet-relay
  637.  
  638.     Request: guestftp
  639.     Topic: userguide
  640.     Request: end
  641.  
  642.   2
  643.     From: bsrdp@uk.ac.warwick.cu
  644.     Reply-To: bsrdp%cu.warwick.ac.uk@UKACRL
  645.     To: trickle@awiwuw11.earn
  646.     Subject: Anything you like, or leave out the whole line
  647.  
  648.     /pdget <msdos.starter>SIMTEL20.INF
  649.     /pdget <msdos.starter>QUICKREF.LST
  650.  
  651. The final @UKACRL refers to the JANET/EARN interface; from the point of
  652. view of EARN it is a part of every UK address. This second message should
  653. yield
  654.   * Keith Petersen's standard file of information on SIMTEL20, including
  655.     information about what to do when you get an ftp connection;
  656.   * a list of the main MSDOS directories at SIMTEL20.
  657.  
  658.  
  659. 2.5 An annotated example of ftp from SIMTEL20
  660. ---------------------------------------------
  661. I could connect my PC direct to the London interface, but I prefer to use
  662. one of Warwick's Unix mainframes as my base for communications.  It has
  663. PD versions of ARC and UNZIP, and also ZOO, DEBOO, UUDECODE and XXDECODE
  664. which I need for the other routes. It is also where I keep an up-to-date
  665. copy of SIMIBM.ARC and scripts for partly automating some of the
  666. processes.
  667.  
  668. So I will start at my PC and collect from SIMTEL20
  669.     pd1:<msdos.arc-lbr>FV137.ZIP ,
  670. via my Warwick Unix host. I know of the existence and pathname of the
  671. file from a news announcement. [ By October 1991 the current version was
  672. fv138, but I have left this annotated example unchanged ]
  673.  
  674. To establish a style of presentation I will start with the familiar.  I
  675. will sometimes use [  ] to enclose brief summaries of what appears on the
  676. screen, so I can concentrate on the key moves. I will also number the
  677. various sections for reference later in the file.  Here goes:
  678.  
  679. 2.5.1 --- WARWICK PC ---
  680.  
  681. a:>
  682. a:>kermit
  683.     MSDOS on my PC awaits input - no hard disk today, it failed physically
  684.     during the week.
  685.     I start an old small version of my PC communications package.
  686.  
  687. Kermit-MS>
  688. Kermit-MS>c
  689.     MSKERMIT on my PC awaits input.
  690.     I ask to be connected to the network my PC is physically plugged into.
  691.  
  692. [blank screen]
  693. [blank screen]<ENTER>
  694.     The ageing Local Area Switching System awaits input!
  695.     I tentatively press the <ENTER> key.
  696.  
  697. Please select computer
  698. Please select computer  anemone
  699.     I enter the local name for the Unix host I use.
  700.  
  701.  
  702. 2.5.2 --- WARWICK UNIX HOST ---
  703.  
  704. login:
  705. login: bsrdp
  706.     My Warwick Unix host awaits a username.
  707.     I enter my own username.
  708.  
  709. Password:
  710. Password:
  711.     I enter my own password - it isn't echoed!
  712.  
  713. [variety of login info]
  714. TERM = (vt100k)
  715. TERM = (vt100k) <ENTER>
  716.     My Warwick Unix host reports my usual terminal configuration and
  717.     awaits for confirmation or the name of an alternative.
  718.     I press <ENTER> to confirm my terminal type, although I'm not sure my
  719.     PC end really is vt100 today!  However, nothing goes wrong later in
  720.     the session, and no other machine asks about terminal type.
  721.  
  722. 41:
  723. 41: pad nsf.sun
  724.     My Warwick Unix host awaits input.
  725.     I ask to be connected to the London interface with Internet.
  726.  
  727.  
  728. 2.5.3 --- LONDON NSF.SUN ---
  729.  
  730. Connected, break in character is ^p
  731. To enter command state type ^p followed by 'a'
  732. University of London Computer Centre (uk.ac.nsfnet-relay.sun) X.29 Service
  733. login:
  734. login: guestftp
  735.     NSF.SUN awaits a username.
  736.     I enter the standard username for public access to NSF.SUN
  737.  
  738.     The two lines referring to ^p have nothing to do with London but were
  739.     printed by, and refer to, a process that was started by "pad" on the
  740.     fast communications network at Warwick between my Warwick Unix host
  741.     and NSF.SUN.
  742.  
  743. Password:
  744. Password: guestftp
  745.     NSF.SUN awaits a password.
  746.     I enter the standard password for public access to NSF.SUN
  747.  
  748. Warning - only 1723 Kbyte available for the whole service
  749. Do you still want to use use the service at the present time ? ( y or n )
  750. Do you still want to use use the service at the present time ? ( y or n )y
  751.     The limited space message appears if there is less than 4Mb of disk
  752.     space left.  If there is less than 1Mb then I am allowed on only to
  753.     list the names of my files and/or delete some.
  754.     I decide to go ahead.
  755.  
  756. Enter your reference for this session:
  757. Enter your reference for this session: bsrdp@warwick
  758.     NSF.SUN awaits the name of a directory to be created to hold my files.
  759.     I enter a name in the recommended form for NSF.SUN - a short form of
  760.     my JANET address.
  761.  
  762. guest-ftp>
  763. guest-ftp> help
  764.     NSF.SUN awaits input.
  765.     I decide to ask for information, correctly guessing what the command
  766.     might be.
  767.  
  768. [List of commands and files]
  769.     It takes a while before I realise that I have entered the GUEST-FTP
  770.     HELP environment, that I shall stay in it until I type in a command to
  771.     leave it, and that typing a listed command name now does not activate
  772.     the command but simply causes information about it to appear on the
  773.     screen.
  774.  
  775.     I spend a few minutes reading about commands and making a note of
  776.     those I might want.  I also read the short text files on offer. A
  777.     reminder of how to leave the GUEST-FTP HELP environment is continually
  778.     renewed on screen.
  779.  
  780. guest-ftp>
  781. guest-ftp> ftp
  782.     I ask for an ftp session to be started.
  783.  
  784.  
  785. 2.5.4 --- LONDON NSF.SUN FTP ---
  786.  
  787. ftp>
  788. ftp> help
  789.     NSF.SUN FTP awaits input.
  790.     In this FTP session, what I get on my screen is similar to what users
  791.     in the rest of the world see when they use FTP, and similar to what
  792.     is directly available at selected JANET sites.
  793.     I decide to ask for information, again correctly guessing the command.
  794.  
  795. [Longer list of commands]
  796.     It takes a while before I realise that this time I have not entered a
  797.     help environment, and that typing a command name activates the
  798.     command. To learn about "ascii" I must now type
  799.        "help ascii".
  800.     I spend a few minutes reading about commands and making a note of
  801.     those I might want under the impression that I shall leave London
  802.     behind when I connect to SIMTEL20.
  803.  
  804.     Later I discover that I do not leave London during distant connections
  805.     - ftp is an armslength affair, and this help facility remains
  806.     available throughout the connection to SIMTEL20.
  807.  
  808. ftp>
  809. ftp> open wsmr-simtel20.army.mil
  810.     I ask to be connected to SIMTEL20.
  811.  
  812. ftp: connect: Network is unreachable
  813. ftp>
  814.     NSF.SUN FTP could not make the connection and now again awaits input.
  815.     Busy? Broken? Back soon? May be days?  No information is obtainable.
  816.     Later I discover that it is easier to get connected to SIMTEL20
  817.     in the morning before the USA wakes up!
  818.     Later still I discover that the wsmr-simtel20 address is sometimes
  819.     declared to be unknown - this happens when parts of Internet become
  820.     inaccessible, and the server that confirms the army.mil addresses is
  821.     not reachable.
  822.     Seven hours and several attempts later ...
  823.  
  824. Connected to 192.88.110.20
  825. 220 WSMR-SIMTEL20.ARMY.MIL [....]
  826. Name (192.88.110.20: guestftp)
  827. Name (192.88.110.20: guestftp) anonymous
  828.     SIMTEL20 announces itself and awaits a valid username.
  829.     I enter the standard username for public access to SIMTEL20.
  830.     Later I learn that this is the usual username for FTP access around
  831.     the world.
  832.  
  833. ANONYMOUS user ok, send real identity as password
  834. Password:
  835. Password: guest
  836.     SIMTEL20 accepts the username and awaits a password.
  837.     I ignore the on-screen request and enter one of the suggestions from
  838.     Keith Petersen's advice file - it isn't actually echoed.
  839.     Later I discover that some FTP sites are quite fussy about the
  840.     password and expect a valid email address containing @ .
  841.  
  842. ftp>
  843. ftp>dir
  844.     NSF.SUN FTP and SIMTEL20 await input.
  845.     I ask NSF.SUN to ask SIMTEL20 to display a list of files in the
  846.     current directory on SIMTEL20.
  847.  
  848. 200 Port ... accepted
  849. 150 List started
  850. PS:<ANONYMOUS>
  851.    [List of files in current directory on SIMTEL20]
  852. 226 Transfer completed
  853.     Processes at SIMTEL20 clunk away giving a series of numbered progress
  854.     reports and produce the information I want. Numbered reports are a
  855.     general feature of FTP; each represents a phase that can fail and
  856.     therefore cause the remaining phases to be aborted.
  857.  
  858. ftp>
  859. ftp> cd pd1:<msdos.arc-lbr>
  860.     I ask NSF.SUN FTP to ask SIMTEL20 to change directories so that I can
  861.     look for the file I want in case it has been replaced by a newer
  862.     version. I follow the notes I made from Keith Petersen's information
  863.     file.
  864.  
  865. 331 Default name accepted. Send password to connect to it.
  866. 331 Default name accepted. Send password to connect to it. <ENTER>
  867.     Wow! Can't even change directory at SIMTEL20 without permission.
  868.     I remember Keith's advice and press the <ENTER> key.
  869.  
  870. [acceptance message]
  871. ftp>
  872. ftp> dir
  873.     SIMTEL20 changes the directory.
  874.     I ask NSF.SUN FTP to ask SIMTEL20 to display a list of files.
  875.  
  876. [Two or three screens of file information roll by, including the target]
  877.     So far, I only seem to be able to control output by using the
  878.     Ctrl-S/Ctrl-Q keys to stop/start screen output on my PC.
  879.     Later I discover that at some FTP sites I can reduce the list of
  880.     names by specifying a unix-like target for the file by something
  881.     like:
  882.         dir fv*    or    dir fv*.*
  883.  
  884. ftp>
  885. ftp> hash
  886.     Transfer will take place silently and I won't have any indication of
  887.     how it is going, so I ask for a # to be put on screen every so many
  888.     bytes. There are so many linkage points between London and SIMTEL20
  889.     that transfer can be interrupted for 20-30 seconds at times (longer
  890.     usually means the connection has been lost).
  891.     Later I discover that directory listings are peppered with # signs
  892.     if I forget to type  hash  again after a binary transfer.
  893.  
  894. Hash mark printing on (1024 bytes/hash mark)
  895. ftp>
  896. ftp> type binary
  897.     I ask NSF.SUN FTP to arrange that, until further notice during this
  898.     session, files are to be despatched from SIMTEL20 in 8-bit binary
  899.     format, to be treated like that on the way, and to be held in London
  900.     in that format for re-transmission to Warwick.
  901.     Despite Keith's strong advice to ask for TENEX mode, I find that
  902.     ZIP/ARC files arrive in perfect condition.
  903.  
  904. 200 Type I ok
  905. ftp>
  906. ftp> get fv137.zip
  907.     SIMTEL20 agrees.
  908.     I ask NSF.SUN FTP to ask SIMTEL20 to send a copy of the file I want.
  909.  
  910. 200 Port 4.224 at host accepted
  911. 150 Retrieve of PD1:<MSDOS.ARC-LBR>FV137.ZIP.1 (4 pages, 8128 8-bit bytes)
  912. 226 Transfer completed. 8128 bytes transferred
  913. 8128 bytes received in 17 seconds
  914.     SIMTEL20 thinks it worked.
  915.     NSF.SUN FTP is non-committal, but at least its byte count agrees.
  916.  
  917. ftp>
  918. ftp> quit
  919.     NSF.SUN FTP awaits input.
  920.     I ask it to close the link with SIMTEL20 and to end the FTP session.
  921.     For sites where direct FTP is available, this point marks the end of
  922.     an FTP session.
  923.  
  924.  
  925. 2.5.5 --- LONDON NSF.SUN ---
  926.  
  927. [Closing message from SIMTEL20]
  928. guest-ftp>
  929. guest-ftp>dir
  930.     NSF.SUN awaits input.
  931.     I ask for the files in my London directory to be listed.
  932.  
  933. [one filename - fv137.zip]
  934. guest_ftp>
  935. guest_ftp> push
  936.     It's there!
  937.     NSF.SUN awaits input.
  938.     I call a very basic transmission utility to send the file to my Unix
  939.     host at Warwick.  It is a tedious method.  For regular use I prefer
  940.     the sort of streamlined method described in Section 2.5.7.  But the
  941.     steps here are:
  942.       * independent of facilities at your own site,
  943.       * usable by a beginner from any host with a registered JANET
  944.         address.
  945.  
  946. Okay lets push a file using NIFTP
  947. Give local filename:
  948. Give local filename: fv137.zip
  949.     NSF.SUN starts up a utility for sending files.
  950.     I quote the file name in my directory on NSF.SUN.
  951.     Later I discover that if I make a mistake it is simplest to answer
  952.     nonsense to the remaining questions - NSF.SUN then rejects the
  953.     request and I can start again.
  954.  
  955. Give remote filename:
  956. Give remote filename: nsf.fv137.zip
  957.     I quote the name I want the file to have on my Unix host to remind me
  958.     of its origin until I'm sure it is OK.
  959.  
  960. Give NRS name of remote host:
  961. Give NRS name of remote host: uk.ac.warwick.anemone
  962.     I quote an address down to the actual machine that holds my home
  963.     filespace at Warwick.
  964.  
  965. Do you want binary or <default> ascii (input b or a):
  966. Do you want binary or <default> ascii (input b or a): b
  967.     I'm sending a zip file - it must be binary.
  968.  
  969. OK binary it is - input word size <default 8>:
  970. OK binary it is - input word size <default 8>:
  971.     Well, it says default, so I'll just press <RETURN>
  972.  
  973. Give user name on remote host:
  974. Give user name on remote host: bsrdp
  975.     I quote my usual username for my Unix host.
  976.  
  977. Give user password on remote host:
  978. Give user password on remote host:
  979.     I quote my usual password for my Unix host - it isn't echoed
  980.  
  981. Re-type password to make sure:
  982. Re-type password to make sure:
  983.     I re-quote my password - again it isn't echoed
  984.  
  985. Push status..please wait..
  986. Push status..please wait.. OK - Request sent to the Spooler - use "q" to check
  987. guest_ftp>
  988. guest_ftp> q
  989.     A message from the push utility unfolds as it puts my request into
  990.     NSF.SUN's queue of jobs to be done.
  991.     Later I discover that various checks are done, and that other
  992.     messages may unfold. In particular, NSF.SUN checks whether the name
  993.     of the "remote host" (my Unix host) is on its list of acceptable
  994.     addresses.
  995.     I accept the invitation to see my request in the list of waiting jobs.
  996.  
  997. Sorry - this command has been disabled for the time being !!!
  998. guest-ftp>
  999. guest-ftp>exit
  1000.     NSF.SUN declines to do what it has just offered - presumably lists
  1001.     get horribly long. Since there is no means of checking, I shall just
  1002.     have to return to Warwick and wait to see what happens.
  1003.     I close the connection to London.
  1004.  
  1005.  
  1006. 2.5.6 --- WARWICK UNIX HOST ---
  1007.  
  1008. 42:
  1009. 42: ls
  1010.     My Warwick Unix host awaits input.
  1011.     I ask for a list of files in my home directory.
  1012.  
  1013. [ No sign of nsf.fv137.zip ]
  1014.     I get on with something else.
  1015.  
  1016.     About an hour later I notice a copy of the file has arrived and that
  1017.     the file size looks about right.  About six hours after that a mail
  1018.     message arrives saying that the file has been transferred.  I find
  1019.     the message next day.
  1020.  
  1021.     Later I discover that the copy of the file on NSF.SUN is deleted as
  1022.     soon as NSF.SUN thinks that it has succeeded in sending a copy.
  1023.  
  1024. 94:
  1025. 94: unzip -t nsf.fv137.zip
  1026.     I ask for the integrity of the zip file to be tested using a PD unix
  1027.     version of unzip that was circulated on the net some time ago.
  1028.  
  1029.     To get your own copy of unzip, collect the source code as a binary
  1030.     file from SIMTEL20
  1031.         pd6:<unix-c.file-mgmt>UNZIP.TAR-Z
  1032.     then rename it
  1033.         unzip.tar.Z
  1034.     uncompress, detar, and compile it.
  1035.  
  1036. [each file in the zip reported to be OK]
  1037. 95:
  1038. 95: mv nsf.fv137.zip fv137.zip
  1039.     Now I know it is genuine, I no longer want to show where it came from.
  1040.     That's it for now - I'm not sure I've got the right configuration
  1041.     today for the next stage. But with my usual copy of kermit on the PC
  1042.     the final stages would start ...
  1043.  
  1044. 96:
  1045. 96: kermit s8 fv137.zip
  1046.     Request binary transfer to PC.  With the software nowadays normally
  1047.     present at the two ends, I no longer have to bother swapping between
  1048.     7-bit and 8-bit settings at the PC end.
  1049.     On completion of the transfer I would
  1050.       -  test the integrity of fv137.zip on the PC (though this never goes
  1051.          wrong unless I fail to tidy up after interrupting an earlier
  1052.          transfer),
  1053.       -  return to my Warwick Unix host to delete the copy there,
  1054.       -  close the link to my Warwick Unix host.
  1055.  
  1056. End of example
  1057.  
  1058.  
  1059. 2.5.7 --- STREAMLINING NSF.SUN TO OWN SITE ---
  1060.  
  1061. The NSF.SUN administrator recommends you not to push files from NSF.SUN,
  1062. but to to pull them from your own site.
  1063.  
  1064. It is good advice.  At your own site you can store all the unchanging
  1065. transfer data and avoid repeating it manually for each file pulled from
  1066. NSF.SUN .  However, recipes for pulling files from NSF.SUN depend on
  1067. whichever of the medley of JANET file transfer methods is/are installed
  1068. at your site.  I can only show you what is possible and leave you to
  1069. adapt it for your context.
  1070.  
  1071. Here is a revised transcript of the relevant part of the session
  1072. described in Sections 2.5.5 and 2.5.6, and then a brief guide to how on
  1073. my Unix host I provided the new command used in the transcript.
  1074.  
  1075. Revised transcript:
  1076.  
  1077. [Closing message from SIMTEL20]
  1078. guest-ftp>
  1079. guest-ftp>dir
  1080.     NSF.SUN awaits input.
  1081.     I ask for the files in my London directory to be listed.
  1082.  
  1083. [one filename - fv137.zip]
  1084. guest_ftp>
  1085. guest_ftp> exit
  1086.     It's there!  I ask to end the connection to London.
  1087.  
  1088. 42:
  1089. 42: nsfget fv137.zip
  1090.     The Warwick unix host awaits input.
  1091.     I ask for the file to be collected from NSF.SUN using a new command I
  1092.     have created for this purpose.  I have written the command so that if
  1093.     I have more than one file, I simply add extra names in one long line.
  1094.  
  1095. fv137.zip:transfer id is 004756
  1096. 43:
  1097. 43: hhq
  1098.     My command calls  hhcp, a file transfer utility often available on
  1099.     unix systems;  hhcp sends my request to join the general queue of
  1100.     transfer requests to and from Warwick and reports the reference
  1101.     number of my request. No further information will be sent to me about
  1102.     the progress of this request unless it still hasn't been successfully
  1103.     completed in several days time, but there are means of checking its
  1104.     progress.  I ask to see the state of the general queue.
  1105.  
  1106. [list of requests in the queue without mine among them]
  1107. 43:
  1108. 43: ls -l
  1109.     Looks as though everything might have happened so fast that the
  1110.     transfer is complete.
  1111.     I ask to see a list of files in my current directory.
  1112.  
  1113. [list which includes fv137.zip with a date and time more or less now ]
  1114.  
  1115. End of revised transcript
  1116.  
  1117.  
  1118. The sequence of steps to make the new command  nsfget  available on my
  1119. Unix host was:
  1120.  
  1121.     * make a permanent record of the transfer parameters by entering
  1122.         hhstore nsf.sun
  1123.       completing the offered entry lines as shown, or skipping them by
  1124.       pressing <RETURN>, to read
  1125.         transfer authorization: guestftp
  1126.         transfer password: guestftp
  1127.         account name:
  1128.         account password:
  1129.         file password:
  1130.         output device type:
  1131.         output device type qualifier:
  1132.         mode of access: read and remove
  1133.         binary word size: 8
  1134.         special options:
  1135.  
  1136.     * create a unix script file 'nsfget' specific to me since it
  1137.       includes the name of my temporary directory at NSF.SUN
  1138.         #!/bin/sh
  1139.         #`nsfget' to get my files from nsf.sun
  1140.         [ $# -ne 0 ] || {
  1141.                 echo 'Ownuse: nsfget [ file ... ]'
  1142.                 exit 1; }
  1143.         for i
  1144.         do
  1145.                 hhcp -L -b -a nsf.sun:bsrdp@warwick/$i $i
  1146.         done
  1147.         exit 0
  1148.         #End of nsfget
  1149.  
  1150.     * make the script executable by
  1151.         chmod u+x nsfget
  1152.  
  1153.  
  1154. --------------------------------------------------------------------------
  1155. 3. Getting a file from SIMTEL20: FTP direct
  1156. --------------------------------------------------------------------------
  1157.  
  1158. 3.1 Scope of advice
  1159. -------------------
  1160. For UK people at those selected sites which have direct access to FTP and
  1161. who
  1162.   * want MSDOS public-domain and shareware files from SIMTEL20,
  1163.   * are new to FTP.
  1164.  
  1165. Much of the relevant advice is a subset of Section 2, and the longer
  1166. sections of that are simply pointed to and not repeated here.
  1167.  
  1168.  
  1169. 3.2 Authorizations
  1170. ------------------
  1171. At UK universities and polytechnics in which direct FTP is being
  1172. installed, both staff and students are in principle expected to have
  1173. unrestricted access to FTP via mainframe hosts.  Direct access from PCs
  1174. may not be generally supported.
  1175.  
  1176. To get access to SIMTEL20, you need to know
  1177.     address : wsmr-simtel20.army.mil     ( or 192.88.110.20 )
  1178.     login   : anonymous
  1179.     password: anything - the operator suggests 'guest'
  1180.     other   : if asked for passwords during the session press <ENTER>
  1181.  
  1182. Accessing other sites is similar: the login response is identical, but
  1183. some sites insist that the password be a valid email address.
  1184.  
  1185.  
  1186. 3.3 Outline and limitations
  1187. ---------------------------
  1188. The method is simple:
  1189.     * connect to a suitable host as in section 2.5.1 above,
  1190.         * call  ftp  - on my unix host I simply enter
  1191.                 ftp
  1192.       to start an FTP session as in section 2.5.4 above.
  1193.  
  1194. Compared with the FTP session described in section 2.5.4 you have one
  1195. important advantage - during an FTP session you can start a subsidiary
  1196. shell within which you have a minute or so to do things at your own site
  1197. before the remote site closes the connection because of inactivity. In
  1198. particular, this just gives adequate time to
  1199.         * run a verification of a .ZIP or .ARC binary just downloaded,
  1200.         * skim through a help/info file,
  1201.         * look through an annotated index of files from a particular
  1202.           directory.
  1203. However, although this can be helpful for the first exploration of a
  1204. distant site, it should not be regarded as a regular working method - a
  1205. minute is a relatively enormous waste of network time.
  1206.  
  1207.  
  1208. 3.4 Getting information files before you start
  1209. ------------------------------------------------
  1210. Send email message#2 from section 2.4, or if you think the example in
  1211. section 2.5.4 is enough, connect to SIMTEL20 and collect the two files
  1212.     pd1:<msdos.starter>SIMTEL20.INF
  1213.     pd1:<msdos.starter>QUICKREF.LST
  1214.  
  1215.  
  1216. 3.5 Automation of FTP file collection
  1217. -------------------------------------
  1218. The London interface in section 2.5.4 is limited in various important
  1219. respects: it provides only a subset of normal FTP.
  1220.  
  1221. At your own site, you can control how an FTP session is started, and in
  1222. particular you can use ftp scripts to automate your connections to the
  1223. distant site (section 3.5.1). This is
  1224.     *   efficient and convenient for you, since you can repeat an
  1225.     attempted connection simply by calling the script again,
  1226.     *   efficient for the distant site and the networks connecting you,
  1227.     since connect time excludes all the time you normally take to
  1228.     think and type during a connection.
  1229. Typically an FTP exploration session then consists of many brief scripted
  1230. connections with the results of one version of the script reviewed and
  1231. edited into the next version. So for example, 60 minutes of clock time
  1232. may need no more than 3 minutes of network time.
  1233.  
  1234. More controversially, and with the risk that you might make a
  1235. considerable nuisance of yourself, you may be able to automate the
  1236. re-trying of connections if you often don't get through to the distant
  1237. site first time (section 3.5.2).  There is no satisfactory method of
  1238. automating recovery from lost connections after file transfer has begun.
  1239.  
  1240. The rest of this section supposes you are working from a unix host.  In
  1241. places the recipes that do or do not work for me may additionally depend
  1242. on the fact that I am working in a  csh  environment under SunOS 4.1.1.
  1243. I have chosen a style of working that unifies the approach in the two
  1244. sections.
  1245.  
  1246. If a distant site is almost always accessible first call then section
  1247. 3.5.1 is preferable; if connection regularly requires several retries,
  1248. section 3.5.2 is more convenient.
  1249.  
  1250.  
  1251. 3.5.1 Scripts for ftp connections
  1252.  
  1253. A script simply consists of a complete set of ftp commands to open,
  1254. operate, and close an ftp connection, similar to those that you use for
  1255. a manual connection but with some important differences:
  1256.   * the first few lines have their own special format,
  1257.   * the script must be complete - make sure you end with  bye  or  close,
  1258.   * the script must be plain text - don't use a wordprocessor file with
  1259.     hidden formatting characters,
  1260.   * the script must be correct - build up your knowledge of a distant
  1261.     site by a series of modest information requests, and develop a habit
  1262.     of corect spellling.
  1263.  
  1264. To get a directory listing from SIMTEL20, first prepare a text file, say
  1265. 'simlist,' containing commands in this style:
  1266.         verbose
  1267.         open wsmr-simtel20.army.mil
  1268.         user anonymous guest
  1269.         dir   pd1:<msdos.arc-lbr>  arc-lib.dir
  1270.         bye
  1271. Then enter the command line
  1272.         ftp -in < simlist
  1273. and watch on-screen reports of the progress of the connection. If all
  1274. goes well, you will in a few seconds have a new file 'arc-lib.dir'
  1275. containing the directory listing from SIMTEL20.
  1276.  
  1277. If you fail to connect successfully with the distant site, a retry simply
  1278. consists of typing the command line again. If you are working in an
  1279. environment with command history, like csh, this can be reduced to
  1280. something like
  1281.         !ftp
  1282. or even less - all you need after the !  is an opening scrap long enough
  1283. to reach back uniquely through the history log.
  1284.  
  1285. To get a binary file from SIMTEL20 you have to change to the directory
  1286. containing the file you want and have to make sure that 8-bit rather than
  1287. 7-bit transmission is used.  So edit 'simlist' to contain commands in
  1288. this style:
  1289.         verbose
  1290.         open wsmr-simtel20.army.mil
  1291.         user anonymous guest
  1292.         binary
  1293.         hash
  1294.         cd pd1:<msdos.arc-lbr>
  1295.         get fv138.zip
  1296.         bye
  1297. On my unix host the specification of 'binary' is sufficient to get
  1298. uncorrupted binaries from SIMTEL20.  You may have to use 'tenex' as
  1299. recommended in the advice file in section 3.4.
  1300.  
  1301. You can include several small requests in one script, but until networks
  1302. are more reliable big files are better handled with a separate script for
  1303. each.
  1304.  
  1305. In section 3.5.2,  verbose  is an essential command. Without it, your
  1306. retry process will collect the same information over and over again. But
  1307. for manually started scripts you can leave it out, and then you will only
  1308. have a brief, though perhaps insufficiently informative, message if the
  1309. connection fails.
  1310.  
  1311. As your confidence/skill increases, you will be able to use the scripts
  1312. in different ways. Here are two ideas.
  1313.  
  1314. Idea 1
  1315. If you are unlikely to want a file copy of a directory, omit the filename
  1316. for your end, for example
  1317.         dir   pd1:<msdos.arc-lbr>
  1318. and call the script with the command line
  1319.         ftp -in < simlist | less
  1320. which releases network connections quickly, but allows you to browse up
  1321. and down the listing at leisure.
  1322.  
  1323. Idea 2
  1324. Make the ftp session a background process while you do something else.
  1325. You might think of just entering the command
  1326.         ftp -in < simlist &
  1327. but that sends progress reports to the screen, and if anything goes wrong
  1328. the background process will be indefinitely suspended unable to send its
  1329. error report to the screen.  Use a command of the form
  1330.         ftp -in < simlist >>& ftp.log &
  1331. so all messages are added to a general log that you can inspect and scrap
  1332. from time to time.  You would no longer need  hash  in your scripts, but
  1333. keep  verbose  in.
  1334.  
  1335.  
  1336. 3.5.2 Automating tries and re-tries
  1337.  
  1338. For an automatic method of re-trying failed requests, it is difficult to
  1339. devise rules to strike an efficient and responsible balance between
  1340. persisting and stopping (an unresolved problem for the developers of
  1341. FT-RELAY).
  1342.  
  1343. A reasonable user-developed attempt at managing retries on unix hosts can
  1344. be found on SIMTEL20 as
  1345.         pd6:<unix-c.networks>BATCHFTP.TAR-Z
  1346. Its management of the retries themselves seems to be sound, but it is
  1347.     *   sensitive to the flavour of unix under which it is used,
  1348.     *   critically dependent on the script being correct if it is to
  1349.         terminate and tidy-up properly,
  1350.     *   unable to recover if a connection is lost once file transfer has
  1351.     started.
  1352. Each of which means that unless you know how to inspect and manage unix
  1353. processes on your system it is probably better left alone.
  1354.  
  1355. To use it, collect it as a binary file and rename it
  1356.         batchftp.tar.Z
  1357. uncompress, detar, and compile it. To avoid problems until you are
  1358. experienced with it:
  1359.     *   keep the scripts in a special directory,
  1360.     *   change to the directory before calling the programme,
  1361.     *   give the incoming files plain filenames without a path.
  1362. You can experiment with relaxing these conditions if and when you have
  1363. seen it deal successfully with a wide range of connection problems.
  1364.  
  1365. An appropriate script, say 'simb', for getting a directory with batchftp
  1366. would read:
  1367.         {
  1368.         verbose
  1369.         open wsmr-simtel20.army.mil
  1370.         user anonymous guest
  1371.         dir pd1:<msdos.filedocs> dir.filedocs
  1372.         bye
  1373.         }
  1374. which is simply an ftp script from section 3.5.1 with new first and last
  1375. lines, and in which
  1376.     *   the  verbose  command is essential since it provides the data
  1377.     with which batchftp controls retries,
  1378.     *   the  bye/close  command is essential in my system to ensure
  1379.     termination and file tidying after a successful connection.
  1380. The script would be run as a background process by the command line
  1381.         batchftp -i simb &
  1382.  
  1383. If you know you know that now is a bad time of day/week to launch
  1384. batchftp, then rather than adding to network traffic by repeating tries
  1385. that are almost bound to fail, put the command line itself into a
  1386. one-line command file, say 'dosimb', reading
  1387.         batchftp -i simb
  1388. and then enter commands like
  1389.         chmod u+x dosimb
  1390.         at 2330 Sat dosimb
  1391. to arrange for it to be launched for its first try when networks are
  1392. quiet.
  1393.  
  1394. The temporary and permanent message files of batchftp are slightly
  1395. infelicitous, lacking a final carriage return and linefeed.  However,
  1396. their format is critical to the operation of the programme.
  1397.  
  1398. --------------------------------------------------------------------------
  1399. 4.  Getting a file from SIMTEL20: one-step file request via FT-RELAY
  1400. --------------------------------------------------------------------------
  1401.  
  1402. Although the examples in section 4.5 are for calling files from SIMTEL20
  1403. itself, those who use FT-RELAY usually aim at a mirror site like
  1404. wuarchive.wustl.edu  because:
  1405.     *   there is usually a much better chance of first-time connection,
  1406.     *   the peculiarities of pathnames at SIMTEL20 make it harder to
  1407.     include them in general shell scripts designed to save the
  1408.     tedious repetition of standard details to several remote sites.
  1409.  
  1410. 4.1 Scope of advice
  1411. -------------------
  1412. For UK people who have access to JANET and who
  1413.   - want MSDOS public-domain and shareware files from SIMTEL20,
  1414.   - want the convenience of delivery to their own site in one-step,
  1415.   - do not have access to direct FTP and do not want to operate manually
  1416.     at the London interface.
  1417.  
  1418. You will need to find people at your own site who can adapt the methods
  1419. for the link with FT-RELAY, since this will vary from site to site.
  1420. Broadly you are likely to be reaching FT-RELAY from one of three kinds of
  1421. platform:
  1422.   - a well-supported unix host at your site (as in Section 4.5)
  1423.   - a well-supported VMS host at your site,
  1424.   - a direct access point to a network at your site.
  1425. Since action consists entirely in formulating and sending an appropriate
  1426. message to FT-RELAY, the on-screen appearance of these three environments
  1427. is likely to strike the beginner as having nothing in common! If you do
  1428. not use a unix host you may find it easier to ignore section 4.5 and to
  1429. start from scratch with the information in section 4.4.
  1430.  
  1431.  
  1432. 4.2 Authorizations
  1433. ------------------
  1434. As in section 2.2.
  1435.  
  1436.  
  1437. 4.3 Outline and limitations
  1438. ---------------------------
  1439. The method is to send a message to your site's outgoing message queue and
  1440. wait!
  1441.  
  1442. On a unix host, an appropriate medium is an hhcp command which takes its
  1443. turn in the list of outgoing messages, and stays there until:
  1444.     *   deleted by FT-RELAY, or
  1445.     *   deleted by you.
  1446.  
  1447. In August 1991 it was true to say
  1448. FT-RELAY deletes your message if:
  1449.     *   it meets your request, or
  1450.     *   the distant site says that the content of your request cannot be
  1451.     complied with, or
  1452.     *   it fails to connect with the distant site
  1453.     [ which means that FT-RELAY does not have to keep long lists of
  1454.       unfilled requests, but also means that you have to make a lot
  1455.       of resubmissions if networks and/or sites are congested ],
  1456. and FT-RELAY preserves your message if
  1457.     *   the distant site says it is too busy.
  1458.  
  1459. But the behaviour is still subject to experiment.  For example, in Sep
  1460. 1991 file requests to SIMTEL20 were kept alive for several hours until
  1461. successful, though directory requests were dropped after one failure.  To
  1462. do this, FT-RELAY did *not* maintain a backlog of requests: it simply
  1463. used a reply code that caused software at my site to keep the request in
  1464. the queue of outgoing messages.
  1465.  
  1466. That seems a reasonable behaviour.
  1467.  
  1468. It would not, I think, be wise to press for FT-RELAY to hold its own
  1469. backlog of requests. Although that might be convenient for people using
  1470. background methods on an intermediate host, it would make a direct
  1471. PC-JANET link impractical.
  1472.  
  1473.  
  1474. 4.4 Getting information files before you start
  1475. ------------------------------------------------
  1476. For information on SIMTEL20, send email message#2 from section 2.4, or if
  1477. you think the example in section 4.5 is enough, send to FT-RELAY for the
  1478. the two files
  1479.     pd1:<msdos.starter>SIMTEL20.INF
  1480.     pd1:<msdos.starter>QUICKREF.LST
  1481.  
  1482. The general principles of how to use FT-RELAY are available on-line in
  1483. JANET NEWS.  Starting from my unix host, to read the advisory files I
  1484. enter
  1485.         pad janet.news
  1486. and follow the on-screen instructions to
  1487.     directory GATEWAYS, sub-directory FTRELAY, for the file files
  1488.         INTRO, CBS, and FTAM ; and to
  1489.     directory NETWNEWS, file NEWS33, for the original announcement
  1490.         which was garbled in the relevant section (each opening
  1491.         quote became a U and each closing quote became a T).
  1492.  
  1493.  
  1494. 4.5 An example of a request to FT-RELAY
  1495. ---------------------------------------
  1496. The advice as it appears on JANET is almost ready-made  for direct PC to
  1497. FT-RELAY connection using the PC Rainbow utility.  But implementing the
  1498. advice on a unix host is trickier, particularly if you want to reach
  1499. SIMTEL20 itself - directory names on SIMTEL20 use characters which on a
  1500. unix system do powerful things.
  1501.  
  1502. On my unix host I eventually implemented what is described as method B in
  1503. NEWS33 .  It works for both simtel20 and unix mirrors.  So here is the
  1504. recipe.
  1505.  
  1506. First establish a name, say ftb, for all future requests to FT-RELAY
  1507. using this particular method, so that you can later experiment with other
  1508. methods:
  1509.         hhalias  UK.AC.FT-RELAY  ftb
  1510.  
  1511. Next, record the parameters that you want to be used every time you use
  1512. this method, filling in or skipping the lines that appear automatically
  1513. after the first command:
  1514.         hhstore  ftb
  1515.         transfer authorization: anonymous
  1516.         transfer password: bsrdp@warwick.ac.uk
  1517.         mode of access:
  1518.         binary word size: 8
  1519. Although  hhstore  is not something to trust with confidential personal
  1520. authorizations to a remote site, these standard formats are effectively
  1521. public.
  1522.  
  1523. Now you are ready to make your first two specific requests, one for a
  1524. directory and one for a binary file.  In practice each request is entered
  1525. on a single line although I show them here using two lines each:
  1526.  
  1527.   hhcp -L ftb:"wsmr-simtel20.army.mil::(D)pd1:<msdos.arc-lbr>"
  1528.                                                              arc-lbr.dir
  1529.  
  1530.   hhcp -L -b ftb:"wsmr-simtel20.army.mil::pd1:<msdos.arc-lbr>fv138.zip"
  1531.                                                              fv138.zip
  1532.  
  1533. You have asked for
  1534.   * the directory <msdos.arc-lbr> to be sent to you as a file, and to be
  1535.     given the name  arc-lbr.dir  on your system,
  1536.   * the file  fv138.zip  to be sent and given the same name.
  1537.  
  1538. Notice the placing of the double quotes which contain the complete
  1539. specifications for SIMTEL20 - for the topmost directory at a site the
  1540. specification stops after (D). Notice too that the problem of directory
  1541. management during file transfer is left to FT-RELAY.
  1542.  
  1543. The unix host replies quoting the reference number for each one-line
  1544. message and you are then free to continue. You can inspect the state of
  1545. the message queue with
  1546.         hhq
  1547. to see whether they have yet been dealt with ( tries are typically made
  1548. at 5 minute intervals for half an hour, and after that the intervals
  1549. typically double every six tries ). You can also inspect a detailed log
  1550. of connection attempts from you to FT-RELAY with
  1551.         hhlog
  1552. both while waiting, and after finding a message has been dropped without
  1553. the requested file having arrived.
  1554.  
  1555. To avoid re-typing long standard parts of the command line you can create
  1556. simple executable shell scripts: for example, here are separate scripts
  1557. for calling directory listings and calling binary files from SIMTEL20:
  1558.  
  1559.   #!/bin/sh
  1560.   # hhd - script to call a sub-directory listing
  1561.   case $1 in
  1562.   "") echo  My use: hhd directoryname ;;
  1563.   * ) hhcp -L ftb:"wsmr-simtel20.army.mil::(D)pd1:<msdos.$1>"  $1.dir ;;
  1564.   esac
  1565.   exit 0
  1566.   #end of hhd
  1567.  
  1568.   #!/bin/sh
  1569.   # hhb - script to call a binary file
  1570.   case $2 in
  1571.   "") echo  My use: hhb directoryname filename ;;
  1572.   * ) hhcp -L -b ftb:"wsmr-simtel20.army.mil::pd1:<msdos.$1>$2"  $2 ;;
  1573.   esac
  1574.   exit 0
  1575.   #end of hhb
  1576.  
  1577. With these available, and the transfer authorizations permanently stored
  1578. by hhstore as earlier in section 4.5, the two examples simply become
  1579.   hhd arc-lbr
  1580.   hhb arc-lbr fv138.zip
  1581.  
  1582. It is possible to construct more elaborate scripts - see the companion
  1583. file FTP2UK22.ZIP .
  1584.  
  1585. --------------------------------------------------------------------------
  1586. 5. File history
  1587. --------------------------------------------------------------------------
  1588. Version 2.2 Oct 1991
  1589.   Added section 0.1 on file transfer on Internet and JANET.
  1590.   Revised sections 2.5 to 2.7 on getting files home from NSF.SUN.
  1591.   Other minor revisions and updates.
  1592.  
  1593. Version 2.1 Sep 1991
  1594.   Added mirror at src.doc.ic.ac.uk
  1595.   Detailed amendments and updates.
  1596.   Thanks to Lee McLoughlin for information on the IC mirror, and to Nino
  1597.   Margetic for significant suggestions on FT-RELAY scripts.
  1598.  
  1599. Version 2.0 Aug 1991
  1600.   Restructured to include
  1601.     mirrors at wuarchive.wustl.edu  and  nic.funet.fi
  1602.     one-step file request via FT-RELAY,
  1603.     direct FTP from selected sites.
  1604.   Many detailed amendments in other sections.
  1605.   Thanks to Tim Clarke and Rob McMahon for advice on FTP and FTP-RELAY
  1606.   at Warwick, and to Dirk Reuver and Andrew McClean for significant
  1607.   suggestions.
  1608.  
  1609. Version 1.0 Jul 1991
  1610.   First public version covering
  1611.     alternatives - Lancaster, Trickle's, mirror at garbo.uwasa.fi
  1612.     two-step FTP via London.
  1613.  
  1614. Version 0.1 May 1991
  1615.   First draft of a response to an enquiry by Keith Petersen about FTP
  1616.   connection between the UK and SIMTEL20.
  1617.   Limited circulation of complete draft to various experts:
  1618.         Tony Bates , i/c NSF.SUN
  1619.         Keith Petersen , i/c SIMTEL
  1620.         Tim Clarke , i/c Comms at Warwick
  1621.   and of part of draft
  1622.         Turgut Kalfaoglu , i/c TRICKLEs in Europe
  1623.         Alan Phillips , i/c UK National Software Archive
  1624.         Timo Salmi , i/c VAASA .
  1625.  
  1626. Thanks to all for advice and comment - errors remain my responsibility!
  1627.  
  1628. -----------------------------------------------------------------------------
  1629. Hylton Boothroyd        h.boothroyd@warwick.ac.uk     or, if necessary:
  1630. Warwick Business School Janet:    h.boothroyd@uk.ac.warwick
  1631. University of Warwick   Internet: h.boothroyd%warwick.ac.uk@nsfnet-relay.ac.uk
  1632. COVENTRY, CV4 7AL       Uucp:     h.boothroyd@warwick.uucp
  1633. Phone (+44) 203 523523  Earn/Bitnet: h.boothroyd%uk.ac.warwick@UKACRL
  1634. ------------------------------------------------------------------------------
  1635.