home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #18 / NN_1992_18.iso / spool / comp / arch / storage / 594 < prev    next >
Encoding:
Text File  |  1992-08-20  |  3.7 KB  |  79 lines
  1. Newsgroups: comp.arch.storage
  2. Path: sparky!uunet!stanford.edu!ames!riacs!viking.arc.nasa.gov!lamaster
  3. From: lamaster@viking.arc.nasa.gov (Hugh LaMaster -- RCS)
  4. Subject: Archive servers
  5. Message-ID: <1992Aug20.203645.22033@riacs.edu>
  6. Keywords: AFS, DFS, NFS, archival, Unix
  7. Sender: news@riacs.edu
  8. Organization: RIACS, NASA Ames Research Center
  9. References:  <1992Aug20.183037.29264@jpl-devvax.jpl.nasa.gov>
  10. Date: Thu, 20 Aug 92 20:36:45 GMT
  11. Lines: 66
  12.  
  13. What, if any, functional systems available today, which meet most
  14. or all of the following characteristics:
  15.  
  16. Have a robust/reliable/bet-the-company on it file migration/archival 
  17. system which appears to be a standard unix file system, and which can 
  18. migrate individual files or groups of files to high density secondary
  19. storage.
  20.  
  21.    -  Transparent handling of online disk, rapid access media such as
  22.       tape cartridges, offline media, and high density, slow access
  23.       media such as optical tape
  24.    -  Programmable migration policy, such as:
  25.          -  Archive on age*size priority
  26.          -  Delay archival of small files
  27.          -  Delay archival of directories
  28.          -  Archive directories of small files together
  29.          -  Prefetch directories of small files together
  30.    -  Scales to millions (billions and billions?) of small files
  31.    -  Supports typical small file access rates scaled appropriately
  32.       to the amount of storage involved
  33.    -  Small files intermixed with very large (Gigabyte+) files
  34.    -  Can support either a global name space, a per-system name space,
  35.       or intermixed
  36.    -  Can support Terabyte+ sized online storage, Petabyte (sp? 10^^15)
  37.       sized offline storage (at least theoretically - access might be slow)
  38.    -  Can support thousands of online and offline secondary storage media
  39.       (e.g. thousands of cartridges)
  40.    -  Fully integrated with multiple available networked file systems,
  41.       especially NFS, AFS/DFS, and "local" protocols (e.g r-commands).
  42.    -  Supports current levels of network security (e.g. Secure NFS,
  43.       DFS security extensions, ACLs, government "orange book"
  44.       Multilevel Security) which current O/S's support
  45.    -  Data rates of up to 10 MBytes/sec supported by the system on
  46.       individual file transfers if the media and networks also support
  47.       such data rates, on both reads and writes, for large files
  48.    -  Intelligent directory handling so that file name lookups are not
  49.       the bottleneck.  Directory scheme not necessary Berkeley FFS based,
  50.       although it could be.
  51.    -  Available on multiple platforms, and scalable, from small servers
  52.       with ~10GBytes online disk storage, to very large systems with
  53.       Terabytes of online disk and Petabytes (sp?) of archival storage
  54.    -  Multilevel hierarchy of archival supported (e.g. archive files on 
  55.       a distributed server to a backup central archival server
  56.    -  Duplication/backup/mirroring available in some form so that
  57.       designated files can be duplicated in two physical locations
  58.  
  59.  
  60. OK, I know there is NOTHING out there today which can do ALL of this, but,
  61. how close are commercial products and academic or government projects
  62. to meeting these requirements?
  63.  
  64. Example:
  65.  
  66. Cray DMF on a Cray Unicos system might seem to meet robustness, data rate,
  67. and large file handling, but probably can't handle millions or billions
  68. of small files, among other things in the list.
  69.  
  70. How close do other hardware/software systems come to meeting these
  71. criteria?
  72.  
  73.  
  74. -- 
  75.   Hugh LaMaster, M/S 233-9,     UUCP:      ames!lamaster
  76.   NASA Ames Research Center     Internet:  lamaster@ames.arc.nasa.gov
  77.   Moffett Field, CA 94035-1000  Or:        lamaster@george.arc.nasa.gov 
  78.   Phone:  415/604-1056                     #include <usenet/std_disclaimer.h> 
  79.