home *** CD-ROM | disk | FTP | other *** search
/ Columbia Kermit / kermit.zip / ckscripts / ksitemap < prev    next >
Text File  |  2020-01-01  |  15KB  |  331 lines
  1. #!/net/u/1/f/fdc/kermit/wermit +
  2. #
  3. # ksitemap - sitemap.xml file constructor
  4. #
  5. .version = 1.03         # Version of this script
  6. .testingdest = ~/tmp/   # Result directory for testing - change if necessary
  7. #
  8. # Builds a sitemap.xml file for a website, with Google image extensions.
  9. # Requires: C-Kermit 9.0 Alpha.03 or later.
  10. # This file should be stored with execute permission.
  11. # Top line must give full pathname of C-Kermit 9.0 executable.
  12. #
  13. # Documentation: http://www.kermit.edu/ksitemap.html
  14. #
  15. # Optional command-line argument: path of filelist file.  If the argument is
  16. # given the web directory is assumed to be the same directory where the
  17. # filelist is.  If not given, a file named "filelist" in the current directory
  18. # is assumed if it exists.  For details see the documentation or read below.
  19. #
  20. # Data file summary... ON TOP:
  21. # enconding=value -- The character set in which the fileliest is encoded
  22. # home=value -- URL of website home directory (required)
  23. # geo=value  -- String: Default location for images (optional)
  24. # lic=value  -- Filename of page containing copyright/license info (optional)
  25. # .xxx=value -- Define a macro named xxx (optional)
  26. #
  27. # REST OF FILE: Information for each page to be included in sitemap:
  28. # url=value[=value]  -- Filename of web page (required, second value optional)
  29. # pri=value  -- Priority for indexing (0.0 to 1.0) (optional)
  30. #
  31. # AND FOR EACH IMAGE IN A URL THAT YOU WANT TO BE INDEXED:
  32. # img=value  -- Filename of an image used in this web page (optional)
  33. # cap=value  -- Caption for this image (optional)
  34. # title=value - Title for this image (optional)
  35. # (You can list as many images as you like for each URL, within reason)
  36. #
  37. # Version history:
  38. # 1.00 Wed Dec  8 10:51:32 2010: Initial version
  39. # 1.01 Sat Dec 11 19:02:20 2010: Fix bug in change frequency calculation
  40. # 1.02 Tue Dec 28 15:18:15 2010: Allow for redirects
  41. # 1.03 Thu Dec 30 09:51:46 2010: Add macro capability
  42. #
  43. # Author: Frank da Cruz, December 2010.
  44. #
  45. if llt \v(version) 900299 exit 1 "C-Kermit 9.0 or later required"
  46.  
  47. if def \$(DEBUG) set debug message on   # DEBUG env variable requests debugging
  48. .unix = 0                               # For "if unix ..."
  49. if equ "\v(system)" "UNIX" .unix = 1
  50. .usedenv = 0
  51.  
  52. def errexit {                           # Fatal error macro
  53.     echo \v(timestamp) \v(dir) sitemap.ksc:
  54.     echo Error: \%*
  55.     exit 1
  56. }
  57. if def \%1 {                            # Command-line argument if any
  58.     .webdirectory := \fdirname(\%1)     # is pathname of file list file.
  59.     if def webdirectory {               # If it includes a directory part
  60.         if not directory \m(webdirectory) { # Check it
  61.             errexit NOT A DIRECTORY: \m(webdirectory)
  62.         }
  63.         cd \m(webdirectory)             # and CD to it
  64.         if fail errexit CD FAILED: \m(webdirectory)
  65.     }
  66.     .filelist := \fbasename(\%1)        # And this is the name of the file
  67.     if not def filelist .filelist = filelist
  68. } else if def \$(KSITEMAPDIR) {         # Env variable KSITEMAPDIR exists
  69.     .webdirectory := \$(KSITEMAPDIR) 
  70.     if not directory \m(webdirectory) { # Check it
  71.         errexit "NOT A DIRECTORY: \m(webdirectory) [From $KSITEMAPDIR]"
  72.     }
  73.     cd \m(webdirectory)                 # and CD to it
  74.     if fail errexit "CD \m(webdirectory) [From $KSITEMAPDIR]"
  75.     .filelist = filelist                # And the file-list file is filelist
  76.     .usedenv = 1
  77. } else {                                # Otherwise
  78.     .webdirectory := \v(dir)            # assume the current directory
  79.     .filelist = filelist                # And default the filename to filelist
  80. }
  81. .resultdirectory := \m(webdirectory)    # Where to put sitemap.xml
  82.  
  83. if debug {                              # Debugging
  84.     .resultdirectory := \m(testingdest)
  85.     echo DEBUGGING...
  86.     echo \fbasename(\%0) V\m(version)
  87.     if usedenv echo Parameters obtained from $KSITEMAPDIR environment variable:
  88.     show mac webdirectory filelist
  89.     echo Writing result to \m(testingdest)\m(filelist)
  90.     echo current directory is \v(dir)
  91. }
  92. if not exist \m(filelist) {             # Check that the file list file exists
  93.     errexit FILE LIST NOT FOUND: \m(webdirectory)\m(filelist)
  94. }
  95. # Define some macros...
  96.  
  97. define FERREXIT {                       # Fatal error reading file list file
  98.     exit 1 [\flpad(\m(lineno),3,0)] \%1 [\m(line)]
  99. } 
  100. define FERRWARN {                       # Warning about a file list line
  101.     echo [\flpad(\m(lineno),3,0)] \%1 [\m(line)]
  102. }
  103. define FINISHIMAGE {                    # Macro to write Image epilog
  104.     if inimg {                          # If we were doing an image...
  105.         if def geo {                    # if location defined
  106.             .\%9 := <image:geo_location>\m(geo)</image:geo_location>
  107.             fwrite /line \%o "    \%9"  # add it.
  108.         }
  109.         if def lic {                    # If license URL defined
  110.             .\%9 := <image:license>\m(home)\m(lic)</image:license>
  111.             fwrite /line \%o "    \%9"  # Add it
  112.         }
  113.         fwrite /line \%o "  </image:image>" # Close image clause
  114.         .inimg = 0                      # No longer doing an image
  115.     }
  116. }
  117. def FINISHURL {                         # Macro to write URL epilog
  118.     if not inurl end 0
  119.     if > imginurl 0 {                   # Were there some images in this URL?
  120.         finishimage                     # Finish current image
  121.     } else {                            # No images - write priority now
  122.         fwrite /line \%o "  <priority>\m(priority)</priority>"
  123.     }
  124.     fwrite /line \%o </url>             # End of this URL
  125.     .inurl = 0                          # No longer doing a URL
  126. }
  127. # Begin execution...
  128.  
  129. fopen /read \%c \m(filelist)            # Open the file-list file
  130. if fail errexit "\v(lastcommand)"       # Make sure it is open
  131.  
  132. fopen /write \%o sitemap.tmp            # Open the temporary sitemap file.
  133. if fail errexit "OPEN /WRITE FAILED"    # Check
  134.  
  135. # Write XML prolog to sitemap file...
  136. fwrite /line \%o <?xml version="1.0" encoding="UTF-8"?> # First line
  137. if fail errexit "WRITE FAILED: sitemap.tmp" # Check that FWRITE succeeded
  138.  
  139. # If we get here all writes should succeed - continue the XML prolog...
  140. fwrite /line \%o <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  141. fwrite /line \%o -
  142. { xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">}
  143.  
  144. .tags = |url|pri|img|cap|title|home|geo|lic|encoding|  # Valid tags
  145. .urls = 0                               # Initialize URL counter
  146. .imgs = 0                               # Image counter
  147. .imginurl = 0                           # Image within URL counter
  148. .inurl = 0                              # State flag: doing a URL
  149. .inimg = 0                              # State flag: doing an image (in a URL)
  150. .lineno = 0                             # File list file line number
  151. .doutf8 = 0                             # Convert encoding to UTF-8
  152. .mjd := \fmjd(today)                    # Today's date MJD format
  153. .encoding = UTF-8                       # Default encoding for file-list file
  154. .home =                                 # Web home directory (none yet)
  155. .globalgeo =                            # Global geographic location (ditto)
  156. .globallic =                            # Global license page (ditto)
  157.  
  158. while true {                            # Loop to read and process file list
  159.     fread /line /trim \%c line          # Read a line and trim trailing blanks
  160.     if fail break                       # Fail = end of file = all done
  161.     increment lineno                    # Count this line
  162.     if not defined line continue        # If empty line read the next one
  163.     .line := \fltrim(\m(line))          # Trim leading blanks
  164.     if equ "\s(line[1:1])" "#" continue # If it's a comment line keep reading
  165.     if equ "\v(version)" "900299" {    # If C-Kermit is 9.0.299
  166.     if not lgt "\v(test)" "Alpha.09" { # Alpha.09 or earlier...
  167.         # Work around "Quoting Hell" bug in CSV splitting
  168.         if \findex(\\,\m(line)) .line := \freplace(\m(line),\\,\\\\)
  169.     }
  170.     }
  171.     .\%9 := \fsplit(\m(line),&x,=,CSV)    # Split line on '='
  172.     if < \%9 2 { ferrwarn "TAG WITH NO VALUE", continue }
  173.     undef s1 s2 s3
  174.     .s1 := \&x[1]                       # Tag
  175.     .s2 := \fcontents(\&x[2])        # Value
  176.     if def \&x[3] .s3 := \fcontents(\&x[3]) # Optional second value (redirect)
  177.     if doutf8 {                # Converting character set?
  178.         if not equ "7BIT" "\fstringtype(\m(s2))" { # Need to convert this one?
  179.             .s2 := \fcvtcset(\m(s2),\m(encoding),utf-8)    # Convert to UTF-8
  180.         }
  181.     }
  182.     if ( > \flen(s1) 1 && equ "\s(s1[1:1])" "." ) { # Macro definition
  183.         _asg \s(s1[2]) \m(s2)        # See Using C-Kermit p.457
  184.         if debug {
  185.             message MACRO DEFINITION
  186.             show mac \s(s1[2])
  187.         }
  188.         continue
  189.     }
  190.     if not \findex(|\m(s1)|,\m(tags)) { # Preverify tag
  191.         ferrwarn "UNKNOWN TAG '\m(s1)'- SKIPPING"
  192.         continue
  193.     }
  194.     if match "\m(s2)" "*\\m(*)*" {    # Check for macro reference in s2
  195.         .s2 := \frecurse(\m(s2))    # Replace macro with its expansion
  196.         if debug { echo s2 MACRO EXPANSION, show mac s2 }
  197.     }
  198.     if match "\m(s3)" "*\\m(*)*" {    # Check for macro reference in s2
  199.         .s3 := \frecurse(\m(s3))
  200.          if debug { echo s3 MACRO EXPANSION, show mac s3 }
  201.     }
  202.     # Handle each kind of tag...
  203.  
  204.     if equ "\m(s1)" "encoding" {        # Encoding of filelist file
  205.         .encoding := \m(s2)             # Save it here
  206.         message Encoding=\m(encoding)
  207.         if not equ "\m(s2)" "UTF-8" .doutf8 = 1 # Must convert to UTF-8
  208.         continue
  209.     }
  210.     if equ "\m(s1)" "home" {            # Website home directory
  211.         # In Unix supply trailing slash if necessary
  212.         if unix if neq "\fright(\m(s2),1)" "/" .s2 := \m(s2)/
  213.         .home := \m(s2)                 # to be used in building URLs
  214.         continue
  215.     }
  216.     if equ "\m(s1)" "geo" {             # Image geographic location
  217.         if == 0 urls {                  # If geo given at the head of filelist
  218.             .globalgeo := \m(s2)        # make it the global default value
  219.         } else {
  220.             .geo := \m(s2)              # set the local value
  221.         }
  222.         continue
  223.     }
  224.     if equ "\m(s1)" "lic" {             # Website license page
  225.         if == 0 urls {                  # Same as for geo
  226.             .globallic := \m(s2)
  227.         } else {
  228.             .lic := \m(s2)
  229.         }
  230.         continue
  231.     }
  232.     if equ "\m(s1)" "url" {             # Web page URL
  233.         if not def home errexit "URL BEFORE HOME DEFINED"
  234.         if inurl do finishurl           # Finish previous URL if any
  235.         .imginurl = 0                   # How many images in this URL
  236.         .priority = 0.5                 # Default page priority (0.0-1.0)
  237.         .name := \m(s2)                 # Filename of this web page
  238.         .redirect := \m(s3)        # Name (if any) it is redirected to
  239.         if exist \m(s3) {        # If redirect is indicated
  240.             .redirect := \m(name)    # swap the names
  241.             .name := \m(s3)
  242.         }
  243.         if not exist \m(name) { ferrwarn "NOT EXIST \m(name)", continue }
  244.         if not readable \m(name) { ferrwarn "NOT READABLE \m(name)" }
  245.         .inurl = 1                      # We are doing a URL now
  246.  
  247.         message \m(name)...             # List the name if debugging
  248.         incr urls                       # Count the URL
  249.         fwrite /line \%o <url>          # Start the XML URL section
  250.         # Add URL of this file to sitemap...
  251.         if eq "\m(name)" "index.html" {    # Special for home page
  252.             fwrite /line \%o "  <loc>\m(home)</loc>"
  253.         } else if def redirect {    # Special for redirected names
  254.             fwrite /line \%o "  <loc>\m(home)\m(redirect)</loc>"
  255.         } else {            # Normal case
  256.             fwrite /line \%o "  <loc>\m(home)\m(name)</loc>"
  257.         }
  258.         .s := \fcvtd(\fdate(\m(name)),3) # Modification date of file
  259.         .s := \s(s[1:4])-\s(s[5:2])-\s(s[7:2]) # Just the date is enough
  260.         fwrite /line \%o "  <lastmod>\m(s)</lastmod>" # Add to sitemap
  261.         .\%x := \fmjd(\fdate(\m(name))) # Modification date as MJD
  262.         .\%y ::= \fmjd(\m(today)) - \%x    # How many days ago
  263.         .c = yearly                     # Default change frequency is yearly
  264.         if < \%y 8 .c =  daily          # If modified in last 7 days daily
  265.         else if < \%y 30 .c =  weekly   # or in last 30 days say weekly
  266.         else if < \%y 100 .c =  monthly # or in last 100 days say monthly
  267.         fwrite /line \%o "  <changefreq>\m(c)</changefreq>" # Add to sitemap
  268.         continue
  269.     }
  270.     if equ "\m(s1)" "pri" {             # Page priority
  271.         if not inurl ferrexit "PRIORITY NOT IN URL"
  272.         if not float \m(s2) ferrexit "PRIORITY NOT NUMERIC"
  273.         if ( > \m(s2) 1.0 || < \m(s2) 0.0 ) ferrexit "PRIORITY OUT OF RANGE"
  274.         .priority := \m(s2)             # Save it for epilog (see finishurl)
  275.         continue
  276.     }
  277.     if equ "\m(s1)" "img" {             # Image
  278.         finishimage                     # Finish previous image if any
  279.         if == 0 imginurl {              # First image for this URL?
  280.             # Add page priority before listing any images
  281.             fwrite /line \%o "  <priority>\m(priority)</priority>"
  282.         }
  283.         .geo := \m(globalgeo)           # If a global one defined use it
  284.         .lic := \m(globallic)           #  wherever a local one is not given.
  285.         if not inurl ferrexit "img not in url"
  286.         if not exist \m(s2) { ferrwarn "IMG NOT EXIST: \m(s2)", continue }
  287.         if not readabl \m(s2) { ferrwarn "IMG NOT READABLE: \m(s2)", continue }
  288.         increment imgs                  # Count this image
  289.         incr imginurl                   # Count image for this URL
  290.         fwrite /line \%o "  <image:image>" # Start image clause
  291.         fwrite /line \%o "    <image:loc>\m(home)\m(s2)</image:loc>" # Put URL
  292.         .inimg = 1                      # We are doing an image now
  293.         continue
  294.     }
  295.     if equ "\m(s1)" "cap" {             # Image caption
  296.         if not inimg ferrexit "CAP WITH NO IMG"
  297.         if def s2 {                     # If the caption is not empty add it
  298.             fwrite /line \%o "    <image:caption>\m(s2)</image:caption>"
  299.         }
  300.         continue
  301.     }
  302.     if equ "\m(s1)" "title" {           # Image title
  303.         if not inimg ferrexit "TITLE WITH NO IMG"
  304.         if def s2 {                     # If the title is not empty add it
  305.             fwrite /line \%o "    <image:title>\m(s2)</image:title>"
  306.         }
  307.     }
  308. }
  309. do finishurl                            # End of file list - finish last URL
  310. fwrite /line \%o </urlset>              # Finish the sitemap
  311. fclose \%o                              # Close the temporary sitemap file
  312. if exist sitemap.xml {                  # Rotate previous ones
  313.     if exist sitemap.ayer copy /preserve sitemap.ayer sitemap.ante
  314.     if fail message "FAILURE TO ROTATE OLD SITEMAP[1]"
  315.     copy /preserve sitemap.xml sitemap.ayer
  316.     if fail message "FAILURE TO ROTATE OLD SITEMAP[2]"
  317. }
  318. rename sitemap.tmp \m(resultdirectory)sitemap.xml # Install the new sitemap
  319. if fail errexit "FAILURE TO INSTALL NEW SITEMAP"
  320. if unix {                               # Unix...
  321.     chmod 644 \m(resultdirectory)sitemap.xml # Make it world readable
  322.     if fail errexit "CHMOD FAILURE - \m(resultdirectory)sitemap.xml"
  323. }
  324. # When run in a cron job this message arrives in email
  325. exit 0 "[\v(timestamp)] sitemap.ksc: OK - URLs: \m(urls); IMGs: \m(imgs)"
  326.  
  327. ; Local Variables:
  328. ; comment-column:40
  329. ; comment-start:"# "
  330. ; End:
  331.