home *** CD-ROM | disk | FTP | other *** search
/ Usenet 1994 January / usenetsourcesnewsgroupsinfomagicjanuary1994.iso / answers / os-research / part2 < prev    next >
Encoding:
Internet Message Format  |  1993-12-02  |  30.2 KB

  1. Path: senator-bedfellow.mit.edu!bloom-beacon.mit.edu!news.kei.com!eff!news.umbc.edu!haven.umd.edu!darwin.sura.net!spool.mu.edu!agate!darkstar.UCSC.EDU!osr
  2. From: bos@scrg.cs.tcd.ie (Bryan O'Sullivan)
  3. Newsgroups: comp.os.research,comp.answers,news.answers
  4. Subject: Comp.os.research: Frequently answered questions [2/2]
  5. Followup-To: poster
  6. Date: 1 Dec 1993 09:58:53 GMT
  7. Organization: SCRG, Department of Computer Science, Trinity College Dublin
  8. Lines: 772
  9. Approved: comp-os-research@cse.ucsc.edu, news-answers-request@mit.edu
  10. Message-ID: <2dhpst$hfd@darkstar.UCSC.EDU>
  11. Reply-To: os-faq@cse.ucsc.edu
  12. NNTP-Posting-Host: ftp.cse.ucsc.edu
  13. Summary: frequent topics of discussion on the operating systems research group
  14. Originator: osr@ftp
  15. Xref: senator-bedfellow.mit.edu comp.os.research:3344 comp.answers:2863 news.answers:15263
  16.  
  17. Archive-name: os-research/part2
  18. Version: $Revision: 1.2 $
  19. Last-Modified: $Date: 1993/11/28 17:57:40 $
  20.  
  21.         Answers to frequently asked questions
  22.           for comp.os.research: part 2 of 2
  23.  
  24.                Bryan O'Sullivan
  25.  
  26.  
  27.  
  28. Please note that this article is still very much in beta at the
  29. moment; I make no particular claims as to the accuracy of the material
  30. below, as some of the information is quite old.
  31.  
  32.  
  33.  
  34.               TABLE OF CONTENTS
  35.  
  36.  
  37. 1.     Available software
  38. 1.1.   Where can I find Unix process checkpointing and restoration packages?
  39. 1.2.   What threads packages are available for me to use?
  40. 1.3.   Where can I find operating systems distributions?
  41. 1.3.1. Distributed systems and microkernels
  42. 1.3.2. Unix lookalikes
  43. 1.3.3. Others
  44.  
  45. 2.     Performance and workload studies
  46. 2.1.   TCP internetwork traffic characteristics
  47. 2.2.   File system traces
  48. 2.3.   Modern Unix file and block sizes
  49. 2.3.1. File sizes
  50. 2.3.2. Block sizes
  51. 2.3.3. Inode ratios
  52.  
  53. 3.     Papers, reports, and bibliographies
  54. 3.1.   From where are papers for distributed systems available?
  55. 3.2.   Where can I find other papers?
  56. 3.3.   Where can I find bibliographies?
  57.  
  58. 4.     General Internet-accessible resources
  59. 4.1.   Wide Area Information Service (WAIS) servers
  60. 4.2.   Refdbms---a distributed bibliographic database system
  61. 4.3.   The comp.os.research archive
  62.  
  63.  
  64.  
  65. ------------------------------
  66. Subject: [1] Available software
  67. From: Available software
  68.  
  69. This section covers various software packages, operating systems
  70. distributions, and miscellaneous other such items which may be of
  71. interest to the operating systems research community.  If you have
  72. written, or know of, some software which you believe would be of
  73. fairly wide interest, please get in touch with the FAQ maintainer with
  74. a view to having a short spiel and availability information included
  75. here.
  76.  
  77. ------------------------------
  78. Subject: [1.1] Where can I find Unix process checkpointing and restoration packages?
  79. From: Available software
  80.  
  81. - [93-01-21-10-18.30] The Condor system is available via anonymous ftp
  82.   from ftp.cs.wisc.edu.  Condor works entirely at user level [no
  83.   kernel modifications required] but doesn't currently support
  84.   interprocess communication, signals, or fork().  Definitely worth a
  85.   look.
  86.  
  87. - Bennet S Yee implemented a `mostly portable' checkpoint and restore
  88.   package back around 1987.  When the programmer invokes the
  89.   checkpoint procedure, it saves the state to a file; when a second
  90.   process with the same program (but with different arguments) is
  91.   started which calls the restore procedure, it reads the old state
  92.   from the file.  Available via anonymous ftp from
  93.   play.trust.cs.cmu.edu:usr/bsy/pub/save_world.shar.Z.  This package
  94.   is known to work for Pmaxen, Sun4's, Sun3's, IBM RTs, and VAXen.
  95.   Porting it to a new architecture should be relatively simple -- look
  96.   at the README file.
  97.  
  98. ------------------------------
  99. Subject: [1.2] What threads packages are available for me to use?
  100. From: Available software
  101.  
  102. - [93-02-01-10-15.15] For DEC customers, versions of VMS after 5.5 and
  103.   Ultrix after 4.3 include bundled threads packages which implement
  104.   both DEC's proprietary CMA and draft 4 of IEEE Pthreads.
  105.  
  106. - SunOS 4.x provides, as standard, a lightweight process (lwp) library
  107.   which isn't compatible with anything else currently available;
  108.   Solaris 2.x comes with a threads library which is incompatible with
  109.   lwp as well as everything else.
  110.  
  111. - The POSIX / Ada-Runtime Project (PART) has made available an
  112.   implementation of draft 6 of the POSIX 1003.4a Pthreads
  113.   specification, which runs under SunOS 4.x; the current release is
  114.   version 1.20.  Available using anonymous ftp from
  115.   ftp.cs.fsu.edu:pub/PART.
  116.  
  117. [DCE threads? cthreads? pthreads implementations? others?]
  118.  
  119. ------------------------------
  120. Subject: [1.3] Where can I find operating systems distributions?
  121. From: Available software
  122.  
  123. This section covers the availability of several well-known systems;
  124. the only criterion for inclusion of a system here is that it be of
  125. interest to some segment of the OS research community (commercial
  126. systems will be accepted for inclusion, so long as they are pertinent
  127. to research).
  128.  
  129. ------------------------------
  130. Subject: [1.3.1] Distributed systems and microkernels
  131. From: Available software
  132.  
  133. - [93-03-31-22-49.53] As of July 1990 ACE is the distribution, support
  134.   and sales channel for Amoeba.  Due to overwhelming response from
  135.   non-profit organisations wishing to obtain Amoeba for their research
  136.   activities, VU is offering Amoeba 5.1 to research institutions for
  137.   more or less free (via ftp at no charge, or on tape for $500 on
  138.   Exabyte or $800 on QIC-24).  Amoeba currently supports 68020 and
  139.   68030-based VME board machines, as well at i386- and i486-based AT
  140.   PCs and Sun 3 machines.  A port to the SPARC was underway as of late
  141.   1992, and may be complete by now.
  142.  
  143.   For further information on `commercial' Amoeba, you can contact ACE
  144.   by email at <amoeba@ace.nl>, or by fax at +31 20 675 0389.
  145.   Universities interested in obtaining a license should send mail to
  146.   <amoeba-license@cs.vu.nl>, or fax to +31 20 642 7705.
  147.  
  148. - Chorus Systemes has special programmes for universities interested
  149.   in using Chorus.  For more information on the offerings available,
  150.   conditions, and other details, ftp to ftp.chorus.fr and get the
  151.   following ASCII files:
  152.     pub/README
  153.     pub/academic/README
  154.     pub/academic/offerings
  155.  
  156. - The Cronus object-oriented distributed system may be obtained via
  157.   ftp from pineapple.bbn.com; email <cronus-help@bbn.com> for details
  158.   of the account name and password.  Before attempting to get the
  159.   Cronus distribution, you must obtain, via anonymous ftp,
  160.   pineapple.bbn.com:Cronus-via-FTP-Terms.
  161.  
  162. - Horus is available for research use; contact Ken Birman
  163.   <ken@cs.cornell.edu> or Robbert van Renesse <rvr@cs.cornell.edu> for
  164.   details.
  165.  
  166. - Isis has not been publicly available since 1989, but may (I'm not
  167.   sure) still be obtained using anonymous ftp from ftp.uu.net or
  168.   ftp.cs.cornell.edu.  After 1989, the code was picked up by Isis
  169.   Distributed Systems, which has subsequently developed and supported
  170.   it.  The commercial version of Isis (available at very low cost to
  171.   academic institutions) is available from the company.  Email
  172.   <info@isis.com> for information, or call +1-212-979-7729 or
  173.   +1-607-272-6327.
  174.  
  175. - [92-09-19-08-55.18] Plan 9 is available to academic institutions on
  176.   CD-ROM; the distribution consists of around 350MB of source and
  177.   binaries.  For information on how to go about getting a license,
  178.   contact
  179.  
  180.     Neera Kuckreja
  181.     AT&T Bell Laboratories
  182.     Room 2C-557
  183.     Murray Hill, NJ 07974
  184.     United States
  185.  
  186.   As of September 1992, kernels existed for the Sun SLC, Sun4Cs of
  187.   various types, NeXTstations, MIPS Magnum 3000, SGI 4D series,
  188.   Gateway 486, AT&T Safari, `a whole bunch of' other PCs, and the
  189.   Gnot.
  190.  
  191.   Sydney University Basser Department of Computer Science has a port
  192.   of Plan 9 underway to the DEC Alpha at the moment.  A port to the
  193.   Sun 3 has been completed.  Contact <plan9info@cs.su.oz.au> for
  194.   details.
  195.  
  196. - QNX is available for academic applications through an education
  197.   support programme run by QNX Software Systems, whereby QNX systems
  198.   can be obtained for educational purposes at very low cost.  For
  199.   commercial and education availability and pricing, contact:
  200.  
  201.     QNX Software Systems        QNX Software Systems
  202.     175 Terrence Matthews Cr.    Westendstr. 19
  203.     Kanata, Ontario K2M 1W8        6000 Frankfurt am Main 1
  204.     Canada                Germany
  205.  
  206.     1 800 363 9001            +49 69 9754 6156 x299
  207.     +1 (613) 591 0931
  208.     +1 (613) 591 3579 (fax)        +49 69 9754 6110 (fax)
  209.  
  210.   Versions after 4.2 of QNX run only on i386 and later processors,
  211.   while version 4.1 will run on i286 and above.
  212.  
  213. - [93-02-07-16-03.48] The Sprite Network Operating System is available
  214.   on CD-ROM.  The disc contains the source code and documentation for
  215.   Sprite, a research operating system developed at the University of
  216.   California, Berkeley.  All the research papers from the Sprite
  217.   project are also included on the disc.  This software on this disc
  218.   is primarily intended for research purposes, and is not really
  219.   intended to be used as a production system.  Boot images are
  220.   provided for Sun SPARCstations and DECstations.  The CD-ROM is in
  221.   ISO-9660 format with Rock Ridge extensions.  The disc contains about
  222.   550 megabytes of software.
  223.  
  224.   You can get an overview of the Sprite Project, and a complete list
  225.   of what is on this disc by anonymous ftp from
  226.   cdrom.com:pub/cdroms/sprite.
  227.  
  228.   If you would like a CD-ROM please send $25.  Add $4.95 if you would
  229.   like a caddy too.  S&H is $5 (per order, not per disc) for
  230.   US/Can/Mex, and $10 for overseas.  If you live in California, please
  231.   add sales tax.  You can send a check or money order, or you can
  232.   order with Mastercard/Visa/AmEx.
  233.  
  234.     Bob Bruce <rab@cdrom.com>
  235.     Walnut Creek CDROM
  236.     1547 Palos Verdes Mall, Suite 260
  237.     Walnut Creek, CA 94596
  238.     United States
  239.  
  240.        1 800 786-9907 (USA only)
  241.       +1 510 947-5996
  242.       +1 510 947-1644 (fax)
  243.  
  244. - VSTa is a small system written by Andrew Valencia <vandys@cisco.com>
  245.   which uses ideas from several research operating systems in its
  246.   implementation.  It currently runs on ISA PCs, and is not yet ready
  247.   for distribution, but you may contact the author if you are
  248.   interested in doing some work on the current alpha version.
  249.  
  250. [Mach, Chorus, Clouds?, Choices?]
  251.  
  252. ------------------------------
  253. Subject: [1.3.2] Unix lookalikes
  254. From: Available software
  255.  
  256. - Linux is available via anonymous ftp from tsx-11.mit.edu:pub/linux
  257.   or sunsite.unc.edu:pub/Linux.  It is a freely-distributable System V
  258.   compatible Unix, and is covered by the GNU General Public License.
  259.   Linux runs on ISA bus PCs with i386 or better CPUs and at least 4
  260.   megabytes to run.
  261.  
  262. - 386BSD is available via ftp from agate.berkeley.edu:pub/386BSD or
  263.   ftp.uu.net:systems/unix/386BSD.  It lies mid-way between 4.3BSD Reno
  264.   and 4.4BSD internally, and contains no AT&T-copyrighted code.
  265.   386BSD runs on ISA bus PCs with i386 or better CPUs.
  266.  
  267. - NetBSD is available via ftp from agate.berkeley.edu:pub/NetBSD.
  268.  
  269. - FreeBSD is available via ftp from
  270.   ftp.cosy.sbg.ac.at:pub/mirror/FreeBSD and
  271.   pdq.coe.montana.edu:pub/mirrors/unix/freebsd.
  272.  
  273. - The Hurd is the GNU operating system, being written by Mike
  274.   Bushnell.  It is based on Mach 3.0, and should be generally
  275.   available some time in 1994.  The Hurd should be available on most
  276.   systems to which Mach has been ported.
  277.  
  278. ------------------------------
  279. Subject: [1.3.3] Others
  280. From: Available software
  281.  
  282. [93-03-18-10-19.02] Microsoft is making sources of Windows NT
  283. available under license to universities and research laboratories.
  284. You should have the appropriate officials contact Mark Lewin
  285. <marklew@microsoft.com> to get started on this process.
  286.  
  287.  
  288.  
  289. ------------------------------
  290. Subject: [2] Performance and workload studies
  291. From: Performance and workload studies
  292.  
  293. This section covers various different publicly-available traces and
  294. studies, libraries and source distributions, which may be of use.
  295.  
  296. ------------------------------
  297. Subject: [2.1] TCP internetwork traffic characteristics
  298. From: Performance and workload studies
  299.  
  300. - [92-10-20-15-04.39] Peter Danzig and Sugih Jamin of USC have made
  301.   available a report and a source library which simulates realistic
  302.   day-to-day network traffic between nodes.  The library, tcplib, `is
  303.   motivated by our observation that present-day wide-area tcp/ip
  304.   traffic cannot be accurately modeled with simple analytical
  305.   expressions, but instead requires a combination of detailed
  306.   knowledge of the end-user applications responsible for the traffic
  307.   and certain measured probability distributions'.
  308.  
  309.   The technical report and the source library it describes are
  310.   available via anonymous ftp from
  311.   jerico.usc.edu:~ftp/pub/jamin/tcplib.  All you need to transfer to
  312.   use the library are: README, brkdn_dist.h, tcpapps.h, tcplib.1, and
  313.   one of libtcp* that matches your setup.  You need tcplib.tar.Z only
  314.   if you must generate the library yourself.  The file tcplibtr.ps.Z
  315.   is the PostScript version of the report.  The authors may be
  316.   contacted at traffic@excalibur.usc.edu.
  317.  
  318. - [93-08-09-15-15.54] Vern Paxson of Lawrence Berkeley Laboratories
  319.   has a report available via anonymous ftp which describes analytic
  320.   models for wide-area TCP connections based upon a set of wide-area
  321.   traffic traces.  The report may be obtained from
  322.   ftp.ee.lbl.gov:WAN-TCP-models.{1,2}.ps.Z.
  323.  
  324. - [93-05-13-10-54.09] Vern Paxson also has made available another
  325.   report, ftp.ee.lbl.gov:WAN-TCP-growth-trends.ps.Z, which provides an
  326.   analysis of the growth trends of a medium-sized research
  327.   laboratory's wide-area TCP connections over a period of more than
  328.   two years.
  329.  
  330. ------------------------------
  331. Subject: [2.2] File system traces
  332. From: Performance and workload studies
  333.  
  334. - Chris Ruemmler has done a study on low-level disk access patterns
  335.   for a workstation, a server, and a time-shared system which appeared
  336.   in the Winter 1993 USENIX proceedings.  A copy may be obtained via
  337.   anonymous ftp ftom ftp.hpl.hp.com:wilkes/HPL-92-152.ps.Z.
  338.  
  339. - Stephen Russell <smr@cs.unsw.oz.au> has instrumented the SunOS 4.1.x
  340.   kernel running on Sun 3 machines.  The system allows time-stamped
  341.   event records to be obtained from various points in the kernel.
  342.   Events can be categorised (eg, paging, file system, etc), and are
  343.   read via pseudo-devices.  Ioctl calls allow substreams to be
  344.   enabled/disabled, buffer status checked, etc.  An external high
  345.   resolution timer is used for timestamping.
  346.  
  347. - [93-05-09-09-23.32] The traces used in `Measurements of a
  348.   distributed file system' (SOSP 1991) may be obtained via anonymous
  349.   ftp from sprite.berkeley.edu:pub/sosp-traces.  An accompanying
  350.   PostScript file, written by John H. Hartman
  351.   <jhh@sprite.berkeley.edu>, which describes the trace file format,
  352.   how to interpret the trace records, and other information may be
  353.   found in the above directory as sospTraces.ps.Z.
  354.  
  355. - [93-06-18-13-02.48] Hidehiro Ishii <ishii@tsl.cl.nec.co.jp> has
  356.   written a system which traces the NFS accesses seen by an NFS server
  357.   and calculates statistics based on such traces.  Contact the author
  358.   for details.
  359.  
  360. ------------------------------
  361. Subject: [2.3] Modern Unix file and block sizes
  362. From: Performance and workload studies
  363.  
  364. The following sections are lifted more or less verbatim from a number
  365. of traces which were co-ordinated and analysed by Gordon Irlam
  366. <gordoni@netcom.com>.  The numbers quoted below are based on Unix file
  367. size data for 12 million files, residing on 1000 file systems, with a
  368. total size of 250 gigabytes.
  369.  
  370. ------------------------------
  371. Subject: [2.3.1] File sizes
  372. From: Performance and workload studies
  373.  
  374. There is no such thing as an average file system.  Some file systems
  375. have lots of little files.  Others have a few big files.  However as a
  376. mental model the notion of an average file system is invaluable.
  377.  
  378. The following table gives a break down of file sizes and the amount of
  379. space they consume.
  380.  
  381.    file size       #files  %files  %files   disk space  %space  %space
  382. (max. bytes)                        cumm.         (Mb)           cumm.
  383.            0       147479     1.2     1.2          0.0     0.0     0.0
  384.            1         3288     0.0     1.2          0.0     0.0     0.0
  385.            2         5740     0.0     1.3          0.0     0.0     0.0
  386.            4        10234     0.1     1.4          0.0     0.0     0.0
  387.            8        21217     0.2     1.5          0.1     0.0     0.0
  388.           16        67144     0.6     2.1          0.9     0.0     0.0
  389.           32       231970     1.9     4.0          5.8     0.0     0.0
  390.           64       282079     2.3     6.3         14.3     0.0     0.0
  391.          128       278731     2.3     8.6         26.1     0.0     0.0
  392.          256       512897     4.2    12.9         95.1     0.0     0.1
  393.          512      1284617    10.6    23.5        566.7     0.2     0.3
  394.         1024      1808526    14.9    38.4       1442.8     0.6     0.8
  395.         2048      2397908    19.8    58.1       3554.1     1.4     2.2
  396.         4096      1717869    14.2    72.3       4966.8     1.9     4.1
  397.         8192      1144688     9.4    81.7       6646.6     2.6     6.7
  398.        16384       865126     7.1    88.9      10114.5     3.9    10.6
  399.        32768       574651     4.7    93.6      13420.4     5.2    15.8
  400.        65536       348280     2.9    96.5      16162.6     6.2    22.0
  401.       131072       194864     1.6    98.1      18079.7     7.0    29.0
  402.       262144       112967     0.9    99.0      21055.8     8.1    37.1
  403.       524288        58644     0.5    99.5      21523.9     8.3    45.4
  404.      1048576        32286     0.3    99.8      23652.5     9.1    54.5
  405.      2097152        16140     0.1    99.9      23230.4     9.0    63.5
  406.      4194304         7221     0.1   100.0      20850.3     8.0    71.5
  407.      8388608         2475     0.0   100.0      14042.0     5.4    77.0
  408.     16777216          991     0.0   100.0      11378.8     4.4    81.3
  409.     33554432          479     0.0   100.0      11456.1     4.4    85.8
  410.     67108864          258     0.0   100.0      12555.9     4.8    90.6
  411.    134217728           61     0.0   100.0       5633.3     2.2    92.8
  412.    268435456           29     0.0   100.0       5649.2     2.2    95.0
  413.    536870912           12     0.0   100.0       4419.1     1.7    96.7
  414.   1073741824            7     0.0   100.0       5004.5     1.9    98.6
  415.   2147483647            3     0.0   100.0       3620.8     1.4   100.0
  416.  
  417. A number of observations can be made:
  418.   - the distribution is heavily skewed towards small files
  419.   - but it has a very long tail
  420.   - the average file size is 22k
  421.   - pick a file at random: it is probably smaller than 2k
  422.   - pick a byte at random: it is probably in a file larger than 512k
  423.   - 89% of files take up 11% of the disk space
  424.   - 11% of files take up 89% of the disk space
  425.  
  426. Such a heavily skewed distribution of file sizes suggests that, if one
  427. were to design a file system from scratch, it might make sense to
  428. employ radically different strategies for small and large files.
  429.  
  430. The seductive power of mathematics allows us treat a 200 byte and a
  431. 2MB file in the same way.  But do we really want to?  Are there any
  432. problems in engineering where the same techniques would be used in
  433. handling physical objects that span 6 orders of magnitude?
  434.  
  435. A quote from sci.physics that has stuck with me: `When things change
  436. by 2 orders of magnitude, you are actually dealing with fundamentally
  437. different problems'.
  438.  
  439. People I trust say they would have expected the tail of the above
  440. distribution to have been even longer.  There are at least some files
  441. in the 1-2G range.  They point out that DBMS shops with really large
  442. files might have been less inclined to respond to a survey like this
  443. than some other sites.  This would bias the disk space figures, but it
  444. would have no appreciable effect on file counts.  The results gathered
  445. would still be valuable because many static disk layout issues are
  446. determined by the distribution of small files and are largely
  447. independent of the potential existence of massive files.
  448.  
  449. (It should be noted that many popular DBMSs, such as Oracle, Sybase,
  450.  and Informix, use raw disk partitions instead of Unix file systems
  451.  for storing data, hence the difficulty in gathering data about them
  452.  in a uniform way.)
  453.  
  454. ------------------------------
  455. Subject: [2.3.2] Block sizes
  456. From: Performance and workload studies
  457.  
  458. The last block of a file is normally only partially occupied, and so
  459. as block sizes are increased so too will the the amount of wasted disk
  460. space.
  461.  
  462. The following historical values for the design of the BSD FFS are
  463. given in `Design and implementation of the 4.3BSD Unix operating
  464. system':
  465.  
  466. fragment size   overhead
  467.    (bytes)        (%)
  468.       512         4.2
  469.      1024         9.1
  470.      2048        19.7
  471.      4096        42.9
  472.  
  473. Files have clearly gotten larger since then; I obtained the following
  474. results:
  475.  
  476. fragment size   overhead
  477.    (bytes)        (%)
  478.       128         0.3
  479.       256         0.6
  480.       512         1.1
  481.      1024         2.5
  482.      2048         5.4
  483.      4096        12.3
  484.      8192        27.8
  485.     16384        61.2
  486.  
  487. By default the BSD FFS typically uses a 1k fragment size.  Perhaps
  488. this size is no longer optimal and should be increased.
  489.  
  490. (The FFS block size is constrained to be no more than 8 times the
  491.  fragment size.  Clustering is a good way to improve throughput for
  492.  FFS based file systems, but it doesn't do very much to reduce the not
  493.  insignificant FFS computational overhead.)
  494.  
  495. It is interesting to note that even though most files are less than 2K
  496. in size, having a 2K block size wastes very little space, because disk
  497. space consumption is so totally dominated by large files.
  498.  
  499. ------------------------------
  500. Subject: [2.3.3] Inode ratios
  501. From: Performance and workload studies
  502.  
  503. The BSD FFS statically allocates inodes.  By default one inode is
  504. allocated for every 2K of disk space.  Since an inode consumes 128
  505. bytes this means that by default 6.25% of disk space is consumed by
  506. inodes.
  507.  
  508. It is important not to run out of inodes since any remaining disk
  509. space is then effectively wasted.  Despite this allocating 1 inode for
  510. every 2K is excessive.
  511.  
  512. For each file system studied I worked out the minimum sized disk it
  513. could be placed on.  Most disks needed to be only marginally larger
  514. than the size of their files, but a few disks, having much smaller
  515. files than average, needed a much larger disk---a small disk had
  516. insufficient inodes.
  517.  
  518. bytes per   overhead
  519.   inode       (%)
  520.    1024      12.5
  521.    2048       6.3
  522.    3072       4.5
  523.    4096       4.2
  524.    5120       4.4
  525.    6144       4.9
  526.    7168       5.5
  527.    8192       6.3
  528.    9216       7.2
  529.   10240       8.3
  530.   11264       9.5
  531.   12288      10.9
  532.   13312      12.7
  533.   14336      14.6
  534.   15360      16.7
  535.   16384      19.1
  536.   17408      21.7
  537.   18432      24.4
  538.   19456      27.4
  539.   20480      30.5
  540.  
  541. Clearly, the current default of one inode for every 2K of data is too
  542. small.  Earlier results suggested that allocating one inode for every
  543. 5-6k was in some sense optimal, and allocating one inode for every 8k
  544. would only be 0.4% worse.  The new data suggests one inode for every
  545. 4k is optimal, and allocating one inode for every 8k would be 2.1%
  546. worse.
  547.  
  548. The analysis technique I used is very sensitive to even a few file
  549. systems with very small files.
  550.  
  551. The main source of file systems with lots of small files would appear
  552. to be netnews servers.  The typical Usenet message would appear to be
  553. 1-2k in length.  Ignoring such file systems would drastically alter
  554. the conclusions I reach.  If, as I believe might already be the case,
  555. news servers are manually tuned to have a lower than normal bytes per
  556. inode ratio, it would then be possible to justify setting the default
  557. ratio much higher.
  558.  
  559. Clearly it is best if the file system dynamically allocate inodes; I
  560. believe AIX does this for instance.  Systems that statically allocate
  561. inodes should probably increase the bytes per inode ratio, but it is
  562. not clear to exactly what value.  The engineer in me says "it is
  563. important to play this one conservatively: stick to 6k", the artist
  564. goes "as Chris Torek says: aesthetics, 8k".
  565.  
  566.  
  567.  
  568. ------------------------------
  569. Subject: [3] Papers, reports, and bibliographies
  570. From: Papers, reports, and bibliographies
  571.  
  572. Network-available documents are listed in this section.  I'd like to
  573. see information for obtaining such things as the Spring papers and
  574. other sets of reports which aren't electronically-available included
  575. here as well, at some stage.
  576.  
  577. ------------------------------
  578. Subject: [3.1] From where are papers for distributed systems available?
  579. From: Papers, reports, and bibliographies
  580.  
  581. Amoeba
  582.     ftp.cs.vu.nl:amoeba
  583.     ftp.cse.ucsc.edu:pub/amoeba
  584.  
  585. Arjuna
  586.     arjuna.ncl.ac.uk:pub/Arjuna
  587.  
  588. Choices
  589.     choices.cs.uiuc.edu:Papers
  590.  
  591. Chorus
  592.     ftp.chorus.fr:pub/chorus-reports
  593.     cse.ogi.edu:pub/chorus/reports
  594.  
  595. Clouds
  596.     helios.cc.gatech.edu:pub/papers
  597.  
  598. Cronus
  599.     pineapple.bbn.com:doc
  600.  
  601. Guide
  602.     imag.fr:pub/GUIDE/doc
  603.  
  604. Horus
  605.     ftp.cs.cornell.edu:pub/Horus
  606.  
  607. Isis
  608.     ftp.cse.ucsc.edu:pub/bib/isis.bib
  609.     ftp.cs.cornell.edu:pub
  610.  
  611. Plan 9
  612.     research.att.com:dist/plan9doc
  613.     research.att.com:dist/plan9man
  614.  
  615. X kernel
  616.     cs.arizona.edu:pub/xkernel
  617.  
  618. Papers covering Amoeba, Choices, Chorus, Clouds, the Hurd, Guide,
  619. Mach, Mars, NonStop, and Plan 9 are also available via anonymous ftp
  620. from nic.funet.fi:pub/doc/OS.
  621.  
  622. [I'd like to find the authoritative homes for V and Mach---Mars and
  623.  NonStop are a bit more obscure, I think; they certainly aren't asked
  624.  after much]
  625.  
  626. ------------------------------
  627. Subject: [3.2] Where can I find other papers?
  628. From: Papers, reports, and bibliographies
  629.  
  630. QNX [93-09-19-22-22.26]
  631.     ftp.cse.ucsc.edu:pub/qnx
  632.  
  633. Solaris 2.x [93-02-23-12-12.43]
  634.     opcom.sun.ca:pub/docs/papers
  635.     opcom.sun.ca:pub/docs/solaris
  636.  
  637. Windows NT [92-09-18-11-46.16]
  638.     ftp.uu.net:vendor/microsoft/win32-api
  639.     ftp.uu.net:vendor/microsoft/isv-communications
  640.  
  641. ------------------------------
  642. Subject: [3.3] Where can I find bibliographies?
  643. From: Papers, reports, and bibliographies
  644.  
  645. Load balancing
  646.     ftp.cse.ucsc.edu:pub/bib/load-balancing.bib
  647.  
  648. Object-oriented operating systems
  649.     ftp.cse.ucsc.edu:pub/bib/ooos.bib.Z
  650.     ftp.inria.fr:INRIA/bib/ooos.bib.Z
  651.  
  652. Parallel and distributed I/O
  653.     ftp.cse.ucsc.edu:pub/bib/io.bib
  654.  
  655. Sprite network operating system
  656.     sprite.berkeley.edu:pub/sprite
  657.  
  658. See also the section on General Net Resources.
  659.  
  660. [There's quite a lot more at ftp.cse.ucsc.edu, if anyone wants to add
  661.  more to this list]
  662.  
  663.  
  664.  
  665. ------------------------------
  666. Subject: [4] General Internet-accessible resources
  667. From: General Internet-accessible resources
  668.  
  669. This section contains information about a variety of services
  670. available to the OS research community via the Internet.
  671.  
  672. ------------------------------
  673. Subject: [4.1] Wide Area Information Service (WAIS) servers
  674. From: General Internet-accessible resources
  675.  
  676. [92-09-21-16-38.23] Loughborough University high-performance
  677. networking and distributed systems archive may be accessed via World
  678. Wide Web at http://genie.lut.ac.uk.  This archive contains, according
  679. to Jon Knight <J.P.Knight@lut.ac.uk>, the organiser:
  680.  
  681. - Technical reports and papers written at LUT by the networks and
  682.   distributed systems researchers in the Department of Computer
  683.   Studies.
  684.  
  685. - Technical reports, papers and theses which have been produced at
  686.   other sites and then made available for public electronic access.
  687.  
  688. - Software which is of use in research or which has been produced by a
  689.   specific research project.
  690.  
  691. - Details of relevant conferences, collected from a variety of sources
  692.   (USENET, email, flyers, etc).
  693.  
  694. - Information on ongoing research projects.
  695.  
  696. - Bibliographies that have been generated for research at LUT and also
  697.   access to other WAIS indexed bibliographies, both at LUT and
  698.   elsewhere.
  699.  
  700. - A list of contacts in the field, with details of their research
  701.   interests.  This is entirely voluntary (i.e. people have agreed to
  702.   Jon entering their details rather than him just rooting round the
  703.   Internet to build up the information).
  704.  
  705. [93-02-18-21-18.31] Postings to comp.os.research since 1988 may be
  706. found via WAIS at UCSC's Computer Science gopher hole:
  707.     (:source 
  708.      :version  3 
  709.      :ip-address "128.114.134.19"
  710.      :ip-name "ftp.cse.ucsc.edu"
  711.      :tcp-port 210
  712.      :database-name "comp-os-research"
  713.      :cost 0.00 
  714.      :cost-unit :free 
  715.      :maintainer "paul@cse.ucsc.edu"
  716.  
  717.      :description "Server created with WAIS release 8 b5
  718.         on Jul 9 03:51:11 1992 by paul@cse.ucsc.edu
  719.         The files of type netnews used in the index
  720.         were: /home/ftp/pub/comp.os.research"
  721.     )
  722.  
  723. Bibliographies in the comp.os.research collection are accessible via
  724. WAIS from UCSC:
  725.     (:source 
  726.      :version  3 
  727.      :ip-address "128.114.134.19"
  728.      :ip-name "ftp.cse.ucsc.edu"
  729.      :tcp-port 210
  730.      :database-name "os-bibliographies"
  731.      :cost 0.00 
  732.      :cost-unit :free 
  733.      :maintainer "paul@cse.ucsc.edu"
  734.      :description "Server created with WAIS release 8 b5
  735.         on Jul 9 22:38:27 1992 by paul@cse.ucsc.edu
  736.         The files of type bibtex used in the index
  737.         were: /home/ftp/pub/bib"
  738.     )
  739.  
  740. ------------------------------
  741. Subject: [4.2] Refdbms---a distributed bibliographic database system
  742. From: General Internet-accessible resources
  743.  
  744. [92-10-01-11-39.32] The alpha release of refdbms version 3, developed
  745. by John Wilkes of the Concurrent Systems Project at Hewlett-Packard
  746. Laboratories and Richard Golding of the Concurrent Systems Laboratory
  747. at UC Santa Cruz, is now available.  It can be obtained by anonymous
  748. ftp from ftp.cse.ucsc.edu:pub/refdbms.  The system has been tested on
  749. Sun 3 and 4 systems running SunOS 4.1.x, and on DECstations running
  750. Ultrix 4.1.  It is an experiment in building weak-consistency
  751. wide-area distributed applications, and the databases currently
  752. available for the system have a good systems coverage.
  753.  
  754. The system includes tools to query the database, to produce
  755. bibliographies for LaTeX documents, and to enter new references into
  756. the database.  It is part of ongoing research into wide-area
  757. distributed information systems on the Internet.
  758.  
  759. Features include:
  760.  
  761. - Distributed databases: a reference database can be shared among
  762.   multiple sites.  Updates can be entered at any site, and will be
  763.   propagated to the other sites holding a replica of the database.
  764.  
  765. - Multiple databases: every database has a name, and users specify the
  766.   order in which databases will be searched.
  767.  
  768. - Private databases: databases can be private, available site-wide, or
  769.   they can be made available to other sites.
  770.  
  771. - Database query by keyword, author, and title word.
  772.  
  773. - Translator for refer-format databases.
  774.  
  775. - Usable with LaTeX documents: the internal refdbms format can be
  776.   translated into a special BibTeX format.
  777.  
  778. An up-to-date list of bibliographies exported by various institutions
  779. may be obtained using anonymous ftp from
  780. ftp.cse.ucsc.edu:pub/refdbms/current-databases.
  781.  
  782. ------------------------------
  783. Subject: [4.3] The comp.os.research archive
  784. From: General Internet-accessible resources
  785.  
  786. An archive of all messages posted to comp.os.research since 1988 is
  787. maintained at UC Santa Cruz.  It may be accessed via anonymous ftp at
  788. ftp.cse.ucsc.edu:pub/comp.os.research.
  789.