home *** CD-ROM | disk | FTP | other *** search
/ Power-Programmierung / CD1.mdf / magazine / drdobbs / 1990 / 12 / bauer.asc next >
Text File  |  1990-11-15  |  36KB  |  973 lines
  1. _CONTROLLING BACKGROUND PROCESSES UNDER UNIX_
  2. by Barr E. Bauer
  3.  
  4. [LISTING ONE]
  5.  
  6. origin=`hostname`
  7.  
  8. # run - the user interface component of the shepard system -- B. E. Bauer 1990
  9. # configuration files associated with run:
  10. #   .run.ini    defaults for script,dataset,host,datadir.
  11. #   .current    jobs originating from workstation environment
  12. #   .hosts      host machines able to run shepard
  13. #   .tasklist   list of tasks. Has flags for shepard
  14. #   .runscripts list of machines and possible scripts
  15. #   these files must be located in the login directory
  16. # flag (and task definitions) definitions, Used in case statement
  17. # and passed as actual flag arguments to shepard:
  18. #    x    executes (submits) a job
  19. #    m    monitors job
  20. #    p    probes job
  21. #    s    status of running jobs on all platforms
  22. #    r    list of running jobs
  23. #    k    kill job (with extreme prejudice)
  24. #    t    terminate job in a controlled manner (script dependent)
  25. #    l    list log on remote machine
  26. #    b    bump a waiting job from the .waiting list
  27. #    d    delete a waiting job
  28. #    f    list finished jobs
  29. #    e    list error log
  30. #    c    change host
  31. #    w    list waiting jobs
  32. #    a    list restart jobs
  33. #    g    restart a restartable job
  34.  
  35. #place the date/time in day-month-year@time single string format
  36. set - `date`
  37. year=$6 month=$2 day=$3 tm=$4
  38. datetime=$day-$month-$year@$tm
  39.  
  40. echo 'welcome to run on '$origin' at '$datetime
  41.  
  42. . $HOME/.run.ini    #source the run-script defaults
  43. . $HOME/.shepard.ini # has network definition
  44.  
  45. # check for finished jobs, update list, display finished list
  46. # find jobs with status RUNNING, check host for status
  47.  
  48. if (test -f $HOME/.current) then
  49.     cnt=`grep -c DONE $HOME/.current`
  50.     if (test "$cnt" != "0" ) then
  51.         awk 'BEGIN {
  52.             printf "\njobs recently finished\n"
  53.             printf "\n%-10s %-10s %-8s %-21s %-21s\n\n",\
  54.                 "script","dataset","host","start","end"
  55.         } $7 == "DONE" {
  56.             printf "%-16s%-16s%-8s%-20s%-20s\n",$1,$2,$3,$5,$6
  57.         } ' $HOME/.current >tmp
  58.         echo ' '; cat tmp   # display list of completed jobs
  59.         echo 'press any key to continue \c'; read sel
  60.         cat tmp >> $HOME/run.log   # completed job data to runlog 
  61.         awk '$7 != "DONE" {
  62.             print $0
  63.         } ' $HOME/.current >tmp
  64.         mv tmp $HOME/.current
  65.     else
  66.         echo "no new finished jobs"
  67.     fi
  68. fi
  69.  
  70. # set default host. All activities focus on that host until changed 
  71. awk 'BEGIN {
  72.     n=1
  73.     printf "\n----- current hosts -------------------------\n\n"
  74. } { 
  75.     if ("'$defhost'" == $1) 
  76.         printf "%-3s%-16s%s %s %s  (default)\n",n,$1,$2,$3,$4
  77.     else printf "%-3s%-16s%s %s %s\n",n,$1,$2,$3,$4
  78.     n++
  79. } 
  80. END {
  81.     printf "\nselect a host machine by number: "
  82. }' $HOME/.hosts 
  83. read sel
  84. if (test -z "$sel") then
  85.     host=$defhost
  86. else
  87.     sel=`awk 'BEGIN {n=1}{if ("'$sel'" == n) print $1; n++}' $HOME/.hosts` 
  88.     host=$sel; defhost=$sel
  89. fi
  90. loop=YES
  91.  
  92. # top of loop. exit with <ret>
  93. while (test "$loop" = "YES")
  94. do    
  95.     # display menu of tasks    
  96.     echo ' '; echo 'current host is ' $host
  97.     echo ' '
  98.     awk ' BEGIN {
  99.         n=1
  100.         printf "\t#      flag          task\n"
  101.         printf "\t----------------------------------------------\n" 
  102.     }{
  103.         printf "\t%-3s\t%s\n",n,$0
  104.         n++
  105.     }
  106.     END {
  107.         printf "\ntask selection number [<ret> to exit]: "
  108.     } ' $HOME/.tasklist
  109.     read sel
  110.     # look up value for shepard flag associated with task. 
  111.     # Use the flag in the case statement 
  112.     task=`awk 'BEGIN {n=1} {if("'$sel'" == n) print $2; n++}' $HOME/.tasklist`
  113.     flag=`awk 'BEGIN {n=1} {if("'$sel'" == n) print $1; n++}' $HOME/.tasklist`
  114.  
  115.     # if response is <ret>, exit while loop
  116.     if (test -z "$sel") then
  117.         break
  118.     fi
  119.  
  120.     case $flag in
  121.     -x) # start a job. Queries for script, dataset, datadir
  122.         # list scripts available only on selected host
  123.         awk ' BEGIN {
  124.             n=1
  125.             def=0
  126.             printf "\n# (host) script"
  127.             printf "\n-------------------------------------\n"
  128.         } 
  129.         "'$host'" == $1 {
  130.             if ($2 == "'$defscript'") {
  131.                 printf "%-2s %s  (default)\n",n,$0
  132.                 def = n
  133.         }
  134.             else printf "%-2s %s\n",n,$0
  135.             n++
  136.         } 
  137.         END {
  138.             printf "\nselect a script by number [%s]: ",def
  139.         } ' $HOME/.runscripts    
  140.         read tmp
  141.         # look up the script selected by number (must be on one line)
  142.         sel=`awk 'BEGIN{n=1} "'$host'"==$1 {if("'$tmp'" == n) print $2; n++} ' $HOME/.runscripts`
  143.         if (test "$sel" = "") then
  144.             script=$defscript
  145.         else
  146.             script=$sel; defscript=$sel
  147.         fi
  148.         echo 'selected script is '$script
  149.         # get the dataset name
  150.         echo ' '; echo 'enter dataset name ['$defdata']: \c'
  151.         read sel
  152.         if (test "$sel" = "") then    # substitute default for <ret>
  153.             dataset=$defdat
  154.         else
  155.             dataset=$sel; defdata=$sel
  156.         fi
  157.         echo 'selected dataset is '$dataset
  158.         # get the directory where the data is located
  159.         # if $SHEPARD_NETWORK is set to "remote", data moves between machines
  160.         # using nfs otherwise, data is retained on server 
  161.         # home directory on the host machine, then back when done
  162.         echo ' '; echo 'enter directory of data on '
  163.         case $SHEPARD_NETWORK in
  164.             remote) echo $iam': \c';;
  165.                nfs) echo $iam' using nfs mount on '$host': \c';;
  166.             server) echo $host': \c'; defdir='$HOME';;
  167.         esac
  168.         read sel
  169.         if (test "$sel" = "") then    # substitute default for <ret>
  170.             datadir=$defdir
  171.         else
  172.             datadir=$sel; defdir=$sel
  173.         fi
  174.         echo 'selected directory is '$datadir
  175.         # append new job entry to $HOME/.current
  176.         llist='$script $dataset $host $datadir $datetime'
  177.         echo $llist 'out' 'STARTED' >>$HOME/.current
  178.         if (test "$origin" = "$host") then
  179.             shepard $flag $script $dataset $host $datadir
  180.         else
  181.             rsh $host shepard $flag $script $dataset $origin $datadir
  182.         fi;;
  183.     -s) # listing of current file. shows activity on other platforms 
  184.         awk ' BEGIN {
  185.             fmt="%-5s %-16s %-16s %-21s %-16s\n"
  186.             dash5="-----"
  187.             dash16="----------------"
  188.             dash21="---------------------"
  189.             n=1
  190.             printf "\n\ncurrent job status\n\n"
  191.             printf fmt,"#","script","dataset","submitted","status"
  192.             printf fmt,dash5,dash16,dash16,dash21,dash16
  193.             printf "\n"
  194.         } {
  195.             printf fmt,n,$1,$2,$5,$7
  196.             n++
  197.         }
  198.         END {
  199.             printf "\npress any key to continue "
  200.         } ' $HOME/.current
  201.         read sel;;
  202.     -[ktpdbg])
  203.         # these are all list processing commands using pick an item menuing
  204.         # the menu is generated by shepard on the selected host
  205.         # the item is picked in run and the selection happens in shepard 
  206.         case $flag in
  207.             -[ktp]) lflag='-r';;  # list running jobs
  208.              -[db]) lflag='-w';;  # list waiting jobs
  209.                 -g) lflag='-a';;  # list restartable jobs
  210.         esac 
  211.         if (test "$origin" = "$host") then
  212.             shepard $lflag dummy2 dummy3 dummy4 dummy5
  213.         else
  214.             rsh $host shepard $lflag dummy2 dummy3 dummy4 dummy5
  215.         fi
  216.         echo ' '; echo 'select number of job to \c'
  217.         case $flag in
  218.             -k) echo 'kill \c';;
  219.             -t) echo 'halt gracefully \c';;
  220.             -g) echo 'restart \c';;
  221.             -d) echo 'remove from waiting queue \c';;
  222.             -b) echo 'bump to top of queue \c';;
  223.             -p) echo 'probe running status \c';;
  224.         esac            
  225.         read sel    # select one from list
  226.         arg5=$sel
  227.         if (test "$origin" = "$host") then
  228.             shepard $flag dummy2 dummy3 dummy4 $arg5
  229.         else
  230.             rsh $host shepard $flag dummy2 dummy3 dummy4 $arg5
  231.         fi;;
  232.     -c) # change hosts
  233.         awk 'BEGIN {
  234.             n=1
  235.             printf "----- current hosts -------------------------\n\n"
  236.         } { 
  237.             if ("'$defhost'" == $1) {
  238.                 printf "%-3s%-16s%s %s %s  (default)\n",n,$1,$2,$3,$4 }
  239.             else printf "%-3s%-16s%s %s %s\n",n,$1,$2,$3,$4
  240.             n++
  241.         }
  242.         END {
  243.             printf "select a new host machine by number: "
  244.         }' $HOME/.hosts 
  245.         read sel
  246.         if (test -z "$sel") then
  247.             host=$defhost
  248.         else
  249.             sel=`awk 'BEGIN {n=1}{if ("'$sel'"==n) print $1; n++}' $HOME.hosts` 
  250.         host=$sel; defhost=$sel
  251.         fi;;
  252.     -[rewfalm]) # process listing commands 
  253.         if (test "$origin" = "$host") then
  254.             shepard $flag dummy2 dummy3 dummy4 dummy5
  255.         else
  256.             rsh $host shepard $flag dummy2 dummy3 dummy4 dummy5
  257.         fi
  258.     read sel;;
  259.     *)  # woops 
  260.         echo $flag 'is not a recognized option, try again'
  261.     esac
  262. done    # bottom of while loop
  263.  
  264. # write current values to run-script default file
  265. # $HOME/.run.ini is sourced on invocation in effect restoring the
  266. # last values used. Handy for checking on a previously
  267. # started job - values properly default to the previous 
  268. echo 'defscript='$defscript >$HOME/.run.ini
  269. echo 'defdata='$defdata >>$HOME/.run.ini
  270. echo 'defhost='$defhost >>$HOME/.run.ini
  271. echo 'defdir='$defdir >>$HOME/.run.ini
  272.  
  273. echo 'end of run'
  274.  
  275. [LISTING TWO]
  276.  
  277. trap 'rm -f $HOME/.sheplock; exit' 1 2 3 15
  278.  
  279. # shepard - task management component od shepard system -- B. E. Bauer 1990
  280. # Shepard is the action component of the system. When invoked, it
  281. # owns all the associated files (see top of shepard_queue for list)
  282. # and updates the current file on the originator, log and err files.
  283. # Shepard can be invoked from local or remote machines; it senses
  284. # local or remote operation and behaves accordingly.
  285. # Shepard handles all tasks except for job queueing (shepard_queue) and
  286. # application-specific job probing (defined in $probe_script as sourced
  287. # in 'script'.script). Shepard is called by terminating jobs for cleanup.
  288. # Shepard can be present in several executing copies called by run (the
  289. # user interface) and by completing jobs waiting for cleanup. To avoid
  290. # collision between shepards, absolute ownership of all associated files 
  291. # is essential, and is accomplished by creating a lock file. All other
  292. # versions of shepard have to wait until the first is done.
  293.  
  294. # wait until lock file established insures complete ownership 
  295. # of all files by only one version of shepard at a time
  296. until lockon .sheplock
  297. do sleep 5; done
  298.  
  299. iam=`hostname`
  300. . $HOME/.shepard.ini    # source the initialization file
  301. # do not display greeting message if called from terminating process
  302. if (test "$1" != "-z") then 
  303.     echo 'shepard on '$iam' at '`date`
  304. fi
  305. # if you see the message, you made it. 
  306. # Important verification that remote shell command is functioning
  307.  
  308. # lookup values from files depending on mode
  309. pass=NO
  310. case $1 in    # select the file name associated with flag
  311.    -[ktp])    fname=$HOME/.running; pass=YES;;
  312.     -[bd])    fname=$HOME/.waiting; pass=YES;;
  313.        -g)    fname=$HOME/.restart; pass=YES;;
  314. esac
  315. if (test "$pass" = "YES") then # do the lookup
  316.      scr=`awk 'BEGIN {n=1} {if ("'$5'" == n) print $1; n++}' $fname`
  317.     dset=`awk 'BEGIN {n=1} {if ("'$5'" == n) print $2; n++}' $fname`
  318.     host=`awk 'BEGIN {n=1} {if ("'$5'" == n) print $3; n++}' $fname`
  319.     ddir=`awk 'BEGIN {n=1} {if ("'$5'" == n) print $4; n++}' $fname`
  320.      sel=`awk 'BEGIN {n=1} {if ("'$5'" == n) print $5; n++}' $fname`
  321.    tname=$host':'$scr'('$dset')'    # compact file name
  322. fi
  323.  
  324. # no loop in shepard. Does the command then exits
  325. case $1 in
  326.     -x) # runs job through queue manager which handles submission
  327.         shepard_queue $2 $3 $4 $5;; 
  328.     -m) # system-dependent code here. "big" is using Berkeley UNIX
  329.         # while all others use SYSTEM V. Options to ps are different
  330.         if (test "`hostname`" = "big") then    
  331.             ps -ax | grep -n shepard_exec  # CONVEX specific (for example)
  332.         else
  333.             ps -ef      # SGI IRIS specific (for example)
  334.         fi;;
  335.     -p) # probe job - script-dependent
  336.         # source the file containing application-specific scripts
  337.         . $SHEPARD_DIR/$2.script 
  338.         . $probe_script;;    # defined in sourced file $script.script
  339.         echo 'press <ret> to continue \c'
  340.     -r) # list running jobs on host
  341.         cnt=`wc -l $HOME/.running | awk '{print $1}'`
  342.         if (test "$cnt" = "0") then
  343.             echo ' '; echo 'no jobs running'; echo ' '
  344.         else
  345.             awk ' BEGIN {
  346.                 fmt="\n%-5s %-16s %-16s %-8s\n"
  347.                 printf "\n----- running jobs on %s -----\n","'$host'"
  348.                 printf fmt,"#","script","dataset","pid"
  349.                 printf "----- ---------------- ---------------- --------\n"
  350.                 n=1
  351.             } {
  352.                 printf fmt,n,$1,$2,$5
  353.                 n++
  354.             }
  355.             END {
  356.                 printf "\npress any key to continue "
  357.             } ' $HOME/.running    
  358.         fi;;
  359.     -w) # list waiting jobs on host
  360.         cnt=`wc -l $HOME/.waiting | awk '{print $1}'`
  361.         if (test "$cnt" = "0") then
  362.             echo ' '; echo 'no jobs waiting'; echo ' '
  363.         else
  364.             awk ' BEGIN {
  365.                 fmt="\n%-5s %-16s %-16s %-8s\n"
  366.                 printf "\n----- waiting jobs on %s -----\n","'$host'"
  367.                 printf fmt,"#","script","dataset","position"
  368.                 printf "----- ---------------- ---------------- --------\n"
  369.                 n=1
  370.             } {
  371.                 printf fmt,n,$1,$2,$5
  372.                 n++
  373.             }
  374.             END {
  375.                 printf "\npress any key to continue "
  376.             } ' $HOME/.waiting    
  377.         fi;;
  378.     -a) # list restartable jobs on host
  379.         cnt=`wc -l $HOME/.restart | awk '{print $1}'`
  380.         if (test "$cnt" = "0") then
  381.             echo ' '; echo 'no jobs in restart'; echo ' '
  382.         else
  383.             awk ' BEGIN {
  384.                 fmt="\n%-5s %-16s %-16s %-8s\n"
  385.                 printf "\n----- restartable jobs on %s -----\n","'$host'"
  386.                 printf fmt,"#","script","dataset","position"
  387.                 printf "----- ---------------- ---------------- --------\n"
  388.                 n=1
  389.             } {
  390.                 printf fmt,n,$1,$2,$5
  391.                 n++
  392.             } ' $HOME/.restart 
  393.         fi;;    
  394.     -g) # restart a job from $HOME/.restart and update
  395.         # file to select passed as shell argument 5
  396.         # copys the selected entry to $HOME/.waiting with priority=RESTART
  397.         awk ' BEGIN {
  398.             n=1
  399.         } {                 
  400.             if (n == "'$5'") printf "%s %s %s %s RESTART\n",$1,$2,$3,$4
  401.             n++
  402.         } ' $HOME/.restart >> $HOME/.waiting
  403.         awk ' BEGIN {   # restarted job is purged from $HOME/.restart
  404.              n=1
  405.         } {
  406.             if (n != "'$5'") print $0
  407.             n++
  408.         }' $HOME/.restart > tmp
  409.         mv tmp $HOME/.restart
  410.         echo 'restarting '$tname' at '$datetime >>shepard.log
  411.         #update .current on origin machine
  412.         if (test "$host" = "$iam") then
  413.             run_update -g $scr $dset $sel
  414.         else
  415.             rsh $host run_update -g $scr $dset $sel
  416.         fi
  417.         shepard_queue -r;;   # do the restart 
  418.     -k) # kill job with extreme prejudice
  419.         # pid passed as shell argument 5, assigned to sel
  420.         # running processes have 2 entries in the process list
  421.         # first = shepard_exec and has the pid stored in running
  422.         # second = the executable application
  423.         # searching the process list for first finds second; both
  424.         # must be killed to stop the application: killing shepard_exec
  425.         # alone leaves the application program still running
  426.     if (test "$iam" = "big") then
  427.         cleanup=`ps -axl | awk ' "'$sel'" == $4 {print $3}'`
  428.         else
  429.         cleanup=`ps -ef | awk ' "'$sel'" == $4 {print $3}'`
  430.         fi
  431.         kill -9 $sel
  432.     kill -9 $cleanup
  433.         if (test "$?" = "0") then
  434.             echo 'killed '$tname' at '$datetime >>$HOME/shepard.log
  435.         else
  436.             echo 'status of kill command nonzero - check log for problems'
  437.         fi
  438.     awk ' $5 != "'$sel'" { print $0 }' $HOME/.running > $HOME/tmp
  439.     mv $HOME/tmp $HOME/.running
  440.         #update .current on origin machine
  441.         if (test "$host" = "$iam") then
  442.             run_update -k $scr $dset $sel
  443.         else
  444.             rsh $host run_update -k $scr $dset $sel
  445.         fi
  446.         shepard_queue -q;; # check for waiting jobs
  447.     -t) # terminate job gracefully pass script and origin variables 
  448.         # source the file containing application-specific scripts
  449.         . $SHEPARD_DIR/$2.script 
  450.         . $terminate_script # found in scriptname.script
  451.         echo 'terminated '$tname' at '$datetime >> $HOME/shepard.log
  452.         #update .current on origin machine
  453.         if (test "$host" = "$iam") then
  454.             run_update -t $scr $dset $sel
  455.         else
  456.             rsh $host run_update -t $scr $dset $sel
  457.         fi;;  # when the application exits, it will check for waiting jobs
  458.     -l) # list the job log on host
  459.         tail -30 shepard.log;;   # only the last is generally interesting
  460.     -b) # bump priority of specific job
  461.         # $HOME/.waiting can be in any order, use 2-pass approach
  462.         # pass 1: set desired to zero, increment all others
  463.         # pass 2: change 0 to 1, zero now being easy to spot
  464.         awk ' {
  465.             if ($1 == "'$scr'") {
  466.                 if ($5=="'$sel'") $5 = 0
  467.                 if ($5 < "'$sel'") $5 += 1  
  468.             }
  469.             printf "%s %s %s %s %s\n",$1,$2,$3,$4,$5
  470.         } ' $HOME/.waiting | awk ' {
  471.                 if ($5 == 0) $5 = 1
  472.                 printf "%s %s %s %s %s\n",$1,$2,$3,$4,$5 
  473.         } ' > $HOME/tmp
  474.         mv $HOME/tmp $HOME/.waiting
  475.         echo 'bumped '$tname' at '$datetime >> $HOME/shepard.log
  476.         if (test "$host" = "$iam") then
  477.             run_update -b $scr $dset $sel
  478.         else
  479.             rsh $host run_update -b $scr $dset $sel
  480.         fi;;
  481.     -d) # delete a waiting job from waiting, selected passed as shell arg 5
  482.         # same script/higher priority have their priorities--
  483.         awk ' {
  484.             if ($1 == "'$scr'") {
  485.                 if ($5=="'$sel'") next   # excise deleted job
  486.                 if ($5 > "'$sel'") $5 = $5 - 1  
  487.             }
  488.             print $0
  489.         } ' $HOME/.waiting > tmp
  490.         mv tmp $HOME/.waiting
  491.         echo 'deleted '$tname' at '$datetime >> $HOME/shepard.log
  492.         #update .current on origin machine
  493.         if (test "$host" = "$iam") then
  494.             run_update -d $scr $dset $sel
  495.         else
  496.             rsh $host run_update -d $scr $dset $sel
  497.         fi;;
  498.     -f) # list finished jobs
  499.         awk ' BEGIN {
  500.             fmt="\n%-16s %-16s %-12s\n"
  501.             printf "\n----- finished jobs on %s -----\n","'$host'"
  502.             printf fmt,"script","dataset","origin"
  503.             printf "---------------- ---------------- ------------\n"
  504.         } {
  505.             printf fmt,$1,$2,$3
  506.         }
  507.         END {
  508.             printf "\npress any key to continue "
  509.         } ' $HOME/.finished;;
  510.     -e) # list error log
  511.         tail -30 $HOME/shepard.err;;
  512.     -z) # go to cleanup routine, $5 has the completed jobs pid number
  513.         echo 'finished '$4':'$2'('$3') at '`date` >>shepard.log
  514.         # write entry to .finished
  515.         # run on origin will look here for completed jobs
  516.         echo $2 $3 $4 $5 `date` >> $HOME/.finished
  517.         # excise finished job from $HOME/.running list
  518.         awk '{ 
  519.             if ("'$5'" != $5) print $0 
  520.             }' $HOME/.running >tmp
  521.         mv tmp $HOME/.running
  522.         #update .current on origin machine
  523.         if (test "$4" = "$iam") then
  524.             run_update -f $2 $3 $5
  525.         else
  526.             rsh $4 run_update -f $2 $3 $5
  527.         fi
  528.         #check queue for waiting process
  529.         shepard_queue -q;;
  530. esac
  531.  
  532. rm -f $HOME/.sheplock     # remove locking file 
  533.  
  534. # normal return to run if invoked by remote shell, otherwise terminates
  535.  
  536.  
  537. [LISTING THREE]
  538.  
  539. trap 'rm -f $HOME/tmp; exit' 1 2 3 15
  540.  
  541. # shepard_queue - queue manager for shepard system -- B. E. Bauer 1990
  542. # shepard_queue places jobs in a waiting queue and allows a job
  543. # to actually start if the count of similar jobs running is
  544. # below a user defined threshold. Its like a FIFO queue with a twist.
  545. # This is intended to balance throughput vs system demands on
  546. # multiprocessor high performance computers. Alter for your environment
  547. # jobs in $HOME/.waiting have a number associated with their place in the
  548. # queue. 1=next to start up to limit defined in .limits
  549. # passed arguments:
  550. #   normal queue submit:    1:  script name
  551. #                           2:  dataset name
  552. #                           3:  originating machine name
  553. #                           4:  dataset directory
  554. #   restart                 1:  -r  (no other values passed)
  555. #   queue check             1:  -q  (no other values passed)
  556. #
  557. #   for restart, $HOME/.waiting has the restart job preappended
  558. iam=`hostname`
  559. . $HOME/.shepard.ini    # source the initialization file
  560. mode=NORMAL
  561. if (test "$1" = "-r") then    # restart entry submitted
  562.     # get the script which has the RESTART code (normally passed as $1)
  563.     scr=`awk 'BEGIN {n=0} $5=="RESTART" {print $1}' $HOME/.waiting`
  564.     # find and replace RESTART with last queue slot for corresponding script
  565.     awk ' BEGIN { 
  566.         count = 1 
  567.     } {    
  568.         if ("'$scr'" != $1) print $0
  569.         else if ($5 != "RESTART") {
  570.             count++
  571.             printf "%s %s %s %s %s\n",$1,$2,$3,$4,$5
  572.         }
  573.         else printf "%s %s %s %s %s\n",$1,$2,$3,$4,count
  574.     } ' $HOME/.waiting  > $HOME/tmp
  575.     mv $HOME/tmp $HOME/.waiting
  576. elif (test "$1" != "-q") then   # new job to submit
  577.     # append new job entry to $HOME/.waiting list
  578.     echo $1 $2 $3 $4 'NEW' >> $HOME/.waiting
  579.     # change NEW label to count of jobs having that script
  580.     # newest entry has the highest number/last to be executed
  581.     awk ' BEGIN { 
  582.         count = 1 
  583.     } {    
  584.         if ("'$1'" != $1) print $0
  585.         else if ($5 != "NEW") {
  586.             count++
  587.             print $0
  588.         }
  589.         else printf "%s %s %s %s %s\n",$1,$2,$3,$4,count
  590.     } ' $HOME/.waiting  > $HOME/tmp
  591.     mv $HOME/tmp $HOME/.waiting
  592.     cnt=`awk 'BEGIN{n=0}"'$1'" == $1 {n++} END {print n}' $HOME/.waiting`
  593.     if (test "$3" = "$iam") then
  594.         run_update -w $1 $2 cnt 
  595.     else
  596.         rsh $3 run_update -w $1 $2 cnt
  597.     fi
  598. else
  599.     mode=QUEUE    # flag suppresses terminal response when in -q mode
  600. fi
  601.  
  602. didit=NO  # flag reports job starting status
  603.  
  604. # loop through scripts available on this host
  605. # available scripts are in the environment variable SHEPARD_SCRIPTS
  606.  
  607. # The FIFO queue has a twist: differing job types are subqueued with
  608. # limits for each found in .limits without maintaining separate queue
  609. # structures. This method is easier to implement and permits a maximum
  610. # load balance consisting of a mix of program types, tailored to ones
  611. # needs. In this way, a number of program type 'a' exceeding the limit
  612. # only runs the number set in .limits, while the others queue leaving
  613. # processor time for program types 'b' and 'c'. The optimum load balance is
  614. # determined by the system resource requirements of each program and
  615. # ones needs for throughput; adjusting .limits allows changes on the fly. 
  616.  
  617. for i in $SHEPARD_SCRIPTS
  618. do
  619.     # count jobs actually running for each script, get associated job limit
  620.     if (test -f "$HOME/.running") then
  621.         rcnt=`awk 'BEGIN{n=0} "'$i'"==$1 {n++} END{print n}' $HOME/.running`
  622.     else
  623.         rcnt=0  # set rcnt to 0 if $HOME/.running is not present
  624.     fi
  625.     rlim=`awk '"'$iam'" == $1 && "'$i'" == $2 {print $3}' $HOME/.limits`
  626.     if (test -z "$rlim") then
  627.         rlim=1  # if no limit in $HOME/.limits, one job permitted 
  628.     fi
  629.     # if more running jobs exceeds the limit, continue to next script
  630.     if (test "$rcnt" -ge "$rlim") then
  631.         continue
  632.     fi
  633.     # loop to next script if no jobs waiting with priority=1
  634.     script=`awk ' "'$i'" == $1 && $5 == "1" { print $1}' $HOME/.waiting`
  635.     if (test "$script" != "$i") then
  636.         continue
  637.     fi
  638.     # found one for current script, get the remaining values
  639.     dataset=`awk ' "'$i'" == $1 && $5 == "1" { print $2}' $HOME/.waiting`
  640.     origin=`awk ' "'$i'" == $1 && $5 == "1" { print $3}' $HOME/.waiting`
  641.     datadir=`awk ' "'$i'" == $1 && $5 == "1" { print $4}' $HOME/.waiting`
  642.  
  643.     # put date/time in a single string format
  644.     set - `date`
  645.     day=$3 month=$2 year=$6 tm=$4
  646.     datetime=$day-$month-$year@$tm
  647.     # submit shepard_exec to the background, get its pid
  648.     wait 10    # shepard_queue does not wait for shepard_exec
  649.     nohup shepard_exec $script $dataset $origin $datadir >shepard_junk.log &
  650.     pid=$!  # process identification number - unique for job
  651.     errflag=$?
  652.  
  653.     # shepard_exec did not initiate, for some reason
  654.     # append the shepard_junk.log to shepard.err, alert the user
  655.     # the job is placed in .restart
  656.     if (test "$errflag" != "0") then
  657.         #notify the user
  658.         echo $script'('$dataset') did not start at '$datetime 
  659.         echo '       return code '$errflag
  660.         echo '------ process error logfile contents -----' 
  661.         cat $HOME/shepard_junk.log 
  662.         echo '------ end of log from '$script'('$dataset') -----'
  663.         echo ' '; echo 'check the contents of shepard.err  for details'       
  664.         # update shepard.err
  665.         echo $script'('$dataset') did not start at '$datetime >tmp
  666.         echo '------ process error logfile contents -----' >>tmp
  667.         cat shepard_junk.log >>tmp
  668.         echo '------ end of log from '$script'('$dataset') -----' >>tmp   
  669.         cat tmp >> $HOME/shepard.log; rm tmp
  670.         # remove from $HOME/.waiting, place in .restart
  671.         awk ' $1 == "'$script'" && $2 == "'$dataset'" && $5 == 1 {
  672.             print $0
  673.         }' $HOME/.waiting >> $HOME/.restart
  674.         awk '{
  675.             if ($1 == "'$i'" && $5 == 1) continue
  676.             if ($1 == "'$i'") {
  677.                 $5 = $5 - 1
  678.                 printf "%s %s %s %s %s\n",$1,$2,$3,$4,$5
  679.             }
  680.         }'    $HOME/.waiting > $HOME/tmp
  681.         mv $HOME/tmp $HOME/.waiting
  682.         exit
  683.     fi
  684.  
  685.     didit=YES
  686.     # append job specifics to $HOME/.running
  687.     echo $script $dataset $origin $datadir $pid >>$HOME/.running
  688.     
  689.     # append job info to shepard.log
  690.     echo $script'('$dataset') started '$datetime >>$HOME/shepard.log
  691.     
  692.     # remove running job from $HOME/.waiting, update priority
  693.     awk '{
  694.         if ($1 == "'$i'" && $5 == 1) next
  695.         if ($1 == "'$i'") {
  696.             $5 = $5 - 1
  697.             printf "%s %s %s %s %s\n",$1,$2,$3,$4,$5
  698.         }
  699.     }'    $HOME/.waiting > $HOME/tmp
  700.     mv $HOME/tmp $HOME/.waiting
  701.     #update .current on origin machine
  702.     if (test "$iam" = "$origin") then  
  703.         run_update -r $script $dataset $pid
  704.     else
  705.         rsh $origin run_update -r $script $dataset $pid
  706.     fi
  707.     # if job is successfully started, notify user
  708.     if (test "$didit" = "YES") then
  709.         echo ' '
  710.         echo $script'('$dataset') started on '$iam' at '$datetime
  711.     fi
  712. done
  713.  
  714. if (test "$didit" = "NO") then
  715.     if (test "$mode" != "QUEUE") then
  716.         echo ' '; echo 'no jobs were submitted'
  717.     fi
  718. fi
  719. trap '' 1 2 3 15
  720.  
  721. [LISTING FOUR]
  722.  
  723. trap 'shepard -z $1 $2 $3 $$' 1 2 3 15
  724.  
  725. # shepard_exec - execution potion of shepard system -- B. E. Bauer, 1990
  726. # passed args: 1: script, 2: dataset, 3: origin, 4: datadir
  727.  
  728. . $HOME/.shepard.ini      # source initialization file
  729. . $SHEPARD_DIR/$1.script  # source application-specific definitions
  730.  
  731. # routine to move the required files into the execution environment
  732. # sourcing vs separate shell obviates need to pass values
  733. . $SHEPARD_DIR/$getdata_script  
  734.  
  735. # run the program. Assumes here that stdin, stdout, and stderr are
  736. # required (generally true for UNIX) during execution. All other data
  737. # files were moved into the execution environment by $getdata_script
  738. $exe < $2$inp 1> $2$log 2> $2$err 
  739.  
  740. # source the script to return data back in its proper location
  741. . $SHEPARD_DIR/$putdata_script
  742.  
  743. # clean up and update status files
  744. shepard -z $1 $2 $3 $$    # pid of completing process returns as arg5
  745.  
  746. trap '' 1 2 3 15
  747.  
  748. [LISTING FIVE]
  749.  
  750. trap 'rm -f $HOME/tmp; exit' 1 2 3 15
  751.  
  752. #   run_update - update component of shepard system -- B.E. Bauer 1990
  753. #   updates the .current file to reflect system activities
  754.  
  755. flag=$1 script=$2 dataset=$3 opt=$4
  756. set - `date`
  757. day=$3 month=$2 year=$6 tm=$4
  758. datetime=$day-$month-$year@$tm
  759.  
  760. case $flag in
  761.     -w) stat='WAITING';;
  762.     -r) stat='RUNNING';;
  763.     -g) stat='RESTART';;
  764.     -b) stat='BUMPED';;
  765.     -k) stat='KILLED';;
  766.     -f) stat='DONE';;
  767.     -d) stat='DELETED';;
  768.     -t) stat='TERMINATED';;
  769. esac
  770.  
  771. awk ' {
  772.     if ("'$script'" == $1 && "'$dataset'" == $2) {
  773.         printf "%s %s %s %s %s %s %s\n",$1,$2,$3,$4,$5,"'$datetime'","'$stat'"
  774.     }
  775.     else print $0
  776. }' $HOME/.current >$HOME/tmp
  777. mv $HOME/tmp $HOME/.current
  778.  
  779. trap '' 1 2 3 15
  780.  
  781.  
  782. [LISTING SIX]
  783.  
  784. big bmin31lv     Batchmin large  (<2000 atoms)
  785. big bmin31mv     Batchmin medium (<1000 atoms)
  786. big spartan      ab initio electronic structure calculation 
  787. big amber        biological structure simulation
  788. big smapps       Monte Carlo peptide simulation
  789. big ampac        semi-empirical electronic structure calculation
  790. big dspace       NMR distance -> structure 
  791. moe bmin31ls     Batchmin large  (<2000 atoms) use with caution!
  792. moe bmin31ms     Batchmin medium (<1000 atoms) default
  793. moe bmin31ss     Batchmin small  (<250 atoms)
  794. moe amber        biological structure simulation
  795. moe ampac        semi-empirical electronic structure calculation
  796. moe spartan      ab initio electronic structure calculation
  797. moe smapps       Monte Carlo peptide simulation
  798. larry bmin31ss   Batchmin small (<250 atoms)
  799. larry ampac      semi-empirical electronic structure calculation
  800.  
  801.  
  802. [LISTING SEVEN]
  803.  
  804. larry SGI IRIS 4D/25TG (B-1-3-09)
  805. curly SGI IRIS 4D/120GTX (B-8-3-22; CADD room)
  806. moe SGI IRIS 4D/240s (B-8-3-22; CADD room)
  807. big CONVEX 220 (B-20-B)
  808.  
  809. [LISTING EIGHT]
  810.  
  811. -x execute (submit) a job
  812. -m monitor remote host process status (ps command)
  813. -p probe running job
  814. -s status of running jobs on all platforms
  815. -r running job list
  816. -k kill job (with extreme prejudice)
  817. -t terminate job gracefully
  818. -g restart job
  819. -l log file on remote machine (tail -30)
  820. -b bump waiting job to next
  821. -d delete a waiting job
  822. -f finished job list on host machine
  823. -e error log on host machine (tail -30)
  824. -c change hosts 
  825. -w waiting job list on host machine
  826. -a restartable job list on host machine
  827.  
  828. [LISTING NINE]
  829.  
  830. # Loads values for script, dataset, host, and datadir last used by run.
  831. # This file is recreated at the end of run.
  832.  
  833. defscript=bmin31lv   
  834. defdata=bmintest3      
  835. defhost=big           
  836. defdir=pla2
  837.                 
  838.  
  839. [LISTING TEN]
  840.  
  841. big bmin31lv 3
  842. big bmin31mv 1
  843. big spartan 1
  844. big amber 2
  845. big smapps 1
  846. big ampac 3
  847. moe bmin31ms 2
  848. moe bmin31ss 4
  849. moe amber 2
  850. moe smapps 1
  851. moe ampac 4
  852. moe spartan 1
  853. larry bmin31ss 1
  854. larry ampac 1
  855.  
  856. [LISTING ELEVEN]
  857.  
  858. # Definitions for runnable scripts, dataset network movement and directory for
  859. # various files. The runnable scripts must be in agreement with contents of 
  860. # .runscripts. Behavior of network for the originating machine is set here.
  861.  
  862. # options for SHEPARD_NETWORK: server, nfs, remote
  863. # SHEPARD_DIR is location of application-specific shepard scripts
  864.                 
  865. # this file is sourced and executes directly in environment of script
  866.                 
  867. case `hostname` in
  868.     larry|curly) # SGI IRIS workstation definitions
  869.         SHEPARD_SCRIPTS='bmin31ss ampac'
  870.         SHEPARD_NETWORK=server
  871.         SHEPARD_DIR=$HOME/shepard_dir;;
  872.     moe) # SGI IRIS-240 compute server definitions
  873.         SHEPARD_SCRIPTS='bmin31ss bmin31ms amber smapps ampac spartan'
  874.         SHEPARD_NETWORK=server
  875.         SHEPARD_DIR=$HOME/shepard_dir;;
  876.     big) # CONVEX specific definitions
  877.         SHEPARD_SCRIPTS='bmin31lv bmin31mv amber smapps ampac spartan dspace'
  878.         SHEPARD_NETWORK=server
  879.         SHEPARD_DIR=$HOME/shepard_dir;;
  880. esac
  881.  
  882. [LISTING TWELVE]                
  883.  
  884. # bmin31lv script for large vector (CONVEX) version of Batchmin v 3.1
  885. exe=bmin31lv                         # the executable (in PATH)
  886. inp=.com                             # extension for standard input
  887. log=.log                             # extension for standard output
  888. err=.err                             # extension for error output (channel 2)
  889. getdata_script=bmin31lv.getdata      # get the input datafiles
  890. putdata_script=bmin31lv.putdata      # put the output back 
  891. terminate_script=bmin31lv.terminate  # application-specific shutdown
  892. probe_script=bmin31lv.probe          # conducts an application-specific probe
  893.  
  894. [LISTING THIRTEEN]
  895.  
  896. # bmin31lv.getdata: get data script. Sourced in shepard_exec
  897. # shell args: 2: dataset, 3:origin, 4: datadir
  898. # datadir is dependent on network choice:
  899. #       server: host-$HOME/datadir (host-$HOME is prepended)
  900. #          nfs: nfs path of data from host to origin machines
  901. #       remote: origin-$HOME/datadir (origin-$HOME is prepended)
  902.  
  903. case $SHEPARD_NETWORK in
  904.     server) cd $4;;     # data stays put on host machine
  905.     remote) rsh $3 cat $4/$2.dat >$2.dat   # move data. This is a kluge
  906.             rsh $3 cat $4/$2$inp >$2$inp;; # remote cat puts output on host
  907.        nfs) cp $4/$2.dat .     # copy via remotely mounted nfs dir
  908.             cp $4/$2$inp . ;;
  909. esac
  910.  
  911. [LISTING FOURTEEN]
  912.  
  913.  
  914. # bmin31lv.putdata: put data script. Sourced in shepard_exec
  915. # shell args: 2: dataset, 3:origin, 4: datadir
  916. # datadir is dependent on network choice:
  917. #       server: host-$HOME/datadir (host-$HOME is prepended)
  918. #          nfs: nfs path of data from host to origin machines
  919. #       remote: origin-$HOME/datadir (origin-$HOME is prepended)
  920.  
  921. # all application-specific output files are moved, if necessary
  922. case $SHEPARD_NETWORK in
  923.     server) cd $HOME;;   # movement of files is not necessary 
  924.     remote) rsh $3 cat ">"$4/$2.out <$2.out     # another network kluge
  925.             rsh $3 cat ">"$4/$2$log <$2$log     # remote cat with ">" writes
  926.             rsh $3 cat ">"$4/$2$err <$2$err;;   # to remote. < read local.
  927.        nfs) cp $2.out $4/$2.out
  928.             cp $2$log $4/$2$log
  929.             cp $2$err $4/$2$err;;
  930. esac
  931.  
  932. [LISTING FIFTEEN]
  933.  
  934. # sourced from shepard
  935. # batchmin terminates when it finds dataset.stp in execution dir
  936.  
  937. case $SHEPARD_NETWORK in
  938.         server) echo 'help me, please help me' > $4/$2.stp;;
  939.     remote|nfs) echo 'help me, please help me' > $2.stp;;
  940. esac
  941.  
  942. [LISTING SIXTEEN]
  943.  
  944. # Sourced from shepard. $dset=jobname, $ddir=directory, $log=logfile ext 
  945. # Script prints the last 30 lines of the log file from the selected job
  946.  
  947. case $SHEPARD_NETWORK in
  948.         server) tail -30 $ddir/$dset$log;;
  949.     remote|nfs) tail -30 $dset$log;;
  950. esac
  951.  
  952. [LISTING SEVENTEEN]
  953.  
  954. /* lockon.c - creates lock file from argv[1] having no privelege 
  955.    B. E. Bauer, 1990
  956.  */
  957. main (argc, argv)
  958. int argc;
  959. char *argv[];
  960. {
  961.     int fp, locked;
  962.     
  963.     locked = 0;
  964.     if (argc != 1) {
  965.         printf ("\nuseage: lockon lockfile\n");
  966.         exit (0);
  967.     }
  968.     if ((fp = creat(argv[1], 0)) < 0) ++locked;
  969.     else close(fp);
  970.     return (locked);
  971. }
  972.  
  973.