home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #20 / NN_1992_20.iso / spool / comp / unix / cray / 272 < prev    next >
Encoding:
Internet Message Format  |  1992-09-15  |  3.2 KB
  1. Path: sparky!uunet!mcsun!sun4nl!sara5!cowboy.sara.nl!gerben
  2. Newsgroups: comp.unix.cray
  3. Subject: SARA contributions to CUGDUS
  4. Message-ID: <1992Sep15.191853.2901@news.sara.nl>
  5. From: gerben@cowboy.sara.nl (Gerben Jansen)
  6. Date: 15 Sep 92 19:18:52 MET
  7. Reply-To: gerben@sara.nl
  8. Distribution: world
  9. Organization: SARA, Academic Computing Services Amsterdam.
  10. Keywords: CUGDUS DMF NQS
  11. Nntp-Posting-Host: cowboy.sara.nl
  12. Lines: 68
  13.  
  14.  
  15. SARA has recently contributed two pieces of software to the CUGDUS
  16. community. Both are in the 'systems' area.
  17.  
  18. 1    dma_qsort
  19. 2    Qman
  20.  
  21. dma_qsort is a small sort replacing program which increases the performance
  22. of the dmhit program in DMF.
  23.  
  24. Qman 
  25.   NQS only offers a possibility to move jobs into specific queues
  26. dependend on user-specified disk requirements. It does not look at
  27. available diskspace and/or interacts with DMF. Further the
  28. user-specified disk requirement does not tell on which filesystem the
  29. diskspace will be used.  SARA implemented a utility called
  30. 'Qman'. It uses NQS's feature to move jobs which require more than a
  31. certain amount of diskspace into special queues.
  32. These batchqueues are never started so jobs remain in there until Qman
  33. moves them to the 'real' execution queues. Qman scans the stopped queues
  34. for jobs. When a job is found in these queues, Qman examins the
  35. available diskspace and decides whether or not the jobs can be handed
  36. over to NQS (by moving it into the execution queue). This has the same
  37. function as a complex disklimit would/should be implemented in NQS. If
  38. insufficient diskspace is available Qman adjusts the DMF warning level
  39. to force file migration. It lowers this level down upto a configurable
  40. amount of diskspace. This prevents that the disk consuming jobs push all
  41. 'normally online' files to tape. If still more jobs need diskspace these
  42. are postponed until running diskconsumers finish and diskspace becomes
  43. available or the files created by those diskconsumers change from
  44. 'active batch job' file to 'normally online' file (which are candidate
  45. for migration). In order to prevent migration of files which are created
  46. by the disk consuming jobs a simple protection mechanism has been made
  47. between Qman and the warning script of DMF.
  48. Qman schedules diskconsumers only upto a configurable size. Whenever a
  49. jobs requires more diskspace than this limit allows, the operator has to
  50. decide when the job (a diskhog) must be run. When this moment arrives Qman will
  51. stop scheduling new disk consumers, wait for the current disk consumers
  52. to finish and then start the diskhog. As soon as the diskhog finishes Qman will
  53. resume normal operation.
  54.  
  55.   All information Qman uses is derived from standard Unicos software
  56. (NQS, DMF, etc) There is no knowledge about the jobs. A few rules of
  57. thumb are used:
  58.  . If a user specified a limit it is pretty accurate.
  59.  . If a user did not specify a limit the job will use only some percentage
  60.    of the default value for this limit.
  61.  
  62.  
  63. Qman features two main characteristics:
  64.  
  65. - It limits the total amount of diskspace that can be used by batchjobs
  66. - It changes the DMF warning level in such a way that unwanted filemigration
  67.   is prevented.
  68.  
  69.  
  70.  
  71.  
  72. Gerben Jansen,
  73.  
  74. SARA (Academic Computing Services),
  75.  
  76. Kruislaan 415,
  77. 1098 SJ Amsterdam,
  78. The Netherlands.
  79.  
  80. e-mail: gerben@sara.nl
  81. phone: +31 20 5923000
  82.