home *** CD-ROM | disk | FTP | other *** search
/ kermit.columbia.edu / kermit.columbia.edu.tar / kermit.columbia.edu / scripts / ckermit / ksitemap.~2~ < prev    next >
Text File  |  2010-12-08  |  13KB  |  286 lines
  1. #!/net/u/1/f/fdc/kermit/wermit +
  2. #
  3. # ksitemap - sitemap.xml file constructor
  4. # Wed Dec  8 10:51:32 2010
  5. #
  6. .version = 1.00         # Version of this script
  7. .testingdest = ~/tmp/   # Result directory for testing - change if necessary
  8. #
  9. # Builds a sitemap.xml file for a website, with Google image extensions.
  10. # Requires: C-Kermit 9.0 Alpha.03 or later.
  11. #
  12. # Documentation: http://www.kermit.edu/ksitemap.html
  13. #
  14. # Optional command-line argument: path of filelist file.  If the argument is
  15. # given the web directory is assumed to be the same directory where the
  16. # filelist is.  If not given, a file named "filelist" in the current directory
  17. # is assumed if it exists.  For details see the documentation or read below.
  18. #
  19. # Data file summary... ON TOP:
  20. # enconding=value -- The character set in which the fileliest is encoded
  21. # home=value -- URL of website home directory (required)
  22. # geo=value  -- String: Default location for images (optional)
  23. # lic=value  -- Filename of page containing copyright/license info (optional)
  24. #
  25. # REST OF FILE: Information for each page to be included in sitemap:
  26. # url=value  -- Filename of web page (required)
  27. # pri=value  -- Priority for indexing (0.0 to 1.0) (optional)
  28. # img=value  -- Filename of an image used in this web page (optional)
  29. # cap=value  -- Caption for this image (optional)
  30. # title=value - Title for thie image (optional)
  31. #
  32. # Author: Frank da Cruz, December 2010.
  33. #
  34. if llt \v(version) 900299 exit 1 "C-Kermit 9.0 or later required"
  35.  
  36. if def \$(DEBUG) set debug message on   # DEBUG env variable requests debugging
  37. .unix = 0                               # For "if unix ..."
  38. if equ "\v(system)" "UNIX" .unix = 1
  39. .usedenv = 0
  40.  
  41. def errexit {                           # Fatal error macro
  42.     echo \v(timestamp) \v(dir) sitemap.ksc:
  43.     echo Error: \%*
  44.     exit 1
  45. }
  46. if def \%1 {                            # Command-line argument if any
  47.     .webdirectory := \fdirname(\%1)     # is pathname of file list file.
  48.     if def webdirectory {               # If it includes a directory part
  49.         if not directory \m(webdirectory) { # Check it
  50.             errexit NOT A DIRECTORY: \m(webdirectory)
  51.         }
  52.         cd \m(webdirectory)             # and CD to it
  53.         if fail errexit CD FAILED: \m(webdirectory)
  54.     }
  55.     .filelist := \fbasename(\%1)        # And this is the name of the file
  56.     if not def filelist .filelist = filelist
  57. } else if def \$(KSITEMAPDIR) {         # Env variable KSITEMAPDIR exists
  58.     .webdirectory := \$(KSITEMAPDIR) 
  59.     if not directory \m(webdirectory) { # Check it
  60.         errexit "NOT A DIRECTORY: \m(webdirectory) [From $KSITEMAPDIR]"
  61.     }
  62.     cd \m(webdirectory)                 # and CD to it
  63.     if fail errexit "CD \m(webdirectory) [From $KSITEMAPDIR]"
  64.     .filelist = filelist                # And the file-list file is filelist
  65.     .usedenv = 1
  66. } else {                                # Otherwise
  67.     .webdirectory := \v(dir)            # assume the current directory
  68.     .filelist = filelist                # And default the filename to filelist
  69. }
  70. .resultdirectory := \m(webdirectory)    # Where to put sitemap.xml
  71.  
  72. if debug {                              # Debugging
  73.     .resultdirectory := \m(testingdest)
  74.     echo DEBUGGING...
  75.     echo \fbasename(\%0) V\m(version)
  76.     if usedenv echo Parameters obtained from $KSITEMAPDIR environment variable:
  77.     show mac webdirectory filelist
  78.     echo Writing result to \m(testingdest)\m(filelist)
  79.     echo current directory is \v(dir)
  80. }
  81. if not exist \m(filelist) {             # Check that the file list file exists
  82.     errexit FILE LIST NOT FOUND: \m(webdirectory)\m(filelist)
  83. }
  84. # Define some macros...
  85.  
  86. define FERREXIT {                       # Fatal error reading file list file
  87.     exit 1 [\flpad(\m(lineno),3,0)] \%1 [\m(line)]
  88. } 
  89. define FERRWARN {                       # Warning about a file list line
  90.     echo [\flpad(\m(lineno),3,0)] \%1 [\m(line)]
  91. }
  92.  
  93. define FINISHIMAGE {                    # Macro to write Image epilog
  94.     if inimg {                          # If we were doing an image...
  95.         if def geo {                    # if location defined
  96.             .\%9 := <image:geo_location>\m(geo)</image:geo_location>
  97.             fwrite /line \%o "    \%9"  # add it.
  98.         }
  99.         if def lic {                    # If license URL defined
  100.             .\%9 := <image:license>\m(home)\m(lic)</image:license>
  101.             fwrite /line \%o "    \%9"  # Add it
  102.         }
  103.         fwrite /line \%o "  </image:image>" # Close image clause
  104.         .inimg = 0                      # No longer doing an image
  105.     }
  106. }
  107. def FINISHFILE {                        # Macro to write URL epilog
  108.     if not inurl end 0
  109.     finishimage                         # Finish current image if any
  110.     fwrite /line \%o </url>             # End of this URL
  111.     .inurl = 0                          # No longer doing a URL
  112. }
  113. # Begin execution...
  114.  
  115. fopen /read \%c \m(filelist)            # Open the file-list file
  116. if fail errexit "\v(lastcommand)"       # Make sure it is open
  117.  
  118. fopen /write \%o sitemap.tmp            # Open the temporary sitemap file.
  119. if fail errexit "OPEN /WRITE FAILED"    # Check
  120.  
  121. # Write XML prolog to sitemap file...
  122. fwrite /line \%o <?xml version="1.0" encoding="UTF-8"?> # First line
  123. if fail errexit "WRITE FAILED: sitemap.tmp" # Check that FWRITE succeeded
  124.  
  125. # If we get here all writes should succeed - continue the XML prolog...
  126. fwrite /line \%o <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  127. fwrite /line \%o -
  128. { xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">}
  129.  
  130. .tags = |url|pri|img|cap|title|home|geo|lic|encoding|  # Valid tags
  131. .urls = 0                               # Initialize URL counter
  132. .imgs = 0                               # Image counter
  133. .imginurl = 0                           # Image within URL counter
  134. .inurl = 0                              # State flag: doing a URL
  135. .inimg = 0                              # State flag: doing an image (in a URL)
  136. .lineno = 0                             # File list file line number
  137. .doutf8 = 0                             # Convert encoding to UTF-8
  138. .mjd := \fmjd(today)                    # Today's date MJD format
  139. .encoding = UTF-8                       # Default encoding for file-list file
  140. .home =                                 # Web home directory (none yet)
  141. .globalgeo =                            # Global geographic location (ditto)
  142. .globallic =                            # Global license page (ditto)
  143.  
  144. while true {                            # Loop to read and process file list
  145.     fread /line /trim \%c line          # Read a line and trim trailing blanks
  146.     if fail break                       # Fail = end of file = all done
  147.     increment lineno                    # Count this line
  148.     if not defined line continue        # If empty line read the next one
  149.     .line := \fltrim(\m(line))          # Trim leading blanks
  150.     if eq "\s(line[1:1])" "#" continue  # If it's a comment line keep reading
  151.     .\%9 := \fsplit(\m(line),&x,=,CSV) # Split line on '='
  152.     if < \%9 2 { ferrwarn "TAG WITH NO VALUE", continue }
  153.     .s1 := \&x[1]                       # Tag
  154.     .s2 := \&x[2]                       # Value
  155.     if doutf8 {
  156.         if not equ "7BIT" "\fstringtype(\m(s2))" {
  157.             .s2 := \fcvtcset(\m(s2),\m(encoding),utf-8)
  158.         }
  159.     }
  160.     if not \findex(|\m(s1)|,\m(tags)) { # Preverify tag
  161.         ferrwarn "UNKNOWN TAG '\m(s1)'- SKIPPING"
  162.         continue
  163.     }
  164.     if equ "\m(s1)" "encoding" {        # Encoding of filelist file
  165.         .encoding := \m(s2)             # Save it here
  166.         message Encoding=\m(encoding)
  167.         if not equ "\m(s2)" "UTF-8" .doutf8 = 1 # Most convert to UTF-8
  168.         continue
  169.     }
  170.     if equ "\m(s1)" "home" {            # Website home directory
  171.         # In Unix supply trailing slash if necessary
  172.         if unix if neq "\fright(\m(s2),1)" "/" .s2 := \m(s2)/
  173.         .home := \m(s2)                 # to be used in building URLs
  174.         continue
  175.     }
  176.     if equ "\m(s1)" "geo" {             # Image geographic location
  177.         if == 0 urls {                  # If geo given at the head of filelist
  178.             .globalgeo := \m(s2)        # make it the global default value
  179.         } else {
  180.             .geo := \m(s2)              # set the local value in any case
  181.         }
  182.         continue
  183.     }
  184.     if equ "\m(s1)" "lic" {             # Website license page
  185.         if == 0 urls {                  # Same as for geo
  186.             .globallic := \m(s2)
  187.         } else {
  188.             .lic := \m(s2)
  189.         }
  190.         continue
  191.     }
  192.     if equ "\m(s1)" "url" {             # Wep age URL
  193.         if not def home errexit "URL BEFORE HOME DEFINED"
  194.         if inurl do finishfile          # Finish previous URL if any
  195.         .imginurl = 0                   # How many images in this URL
  196.         .priority = 0.5                 # Default page priority (0.0-1.0)
  197.         .name := \m(s2)                 # Filename of this web page
  198.         if not exist \m(name) { ferrwarn "NOT EXIST \m(name)", continue }
  199.         if not readable \m(name) { ferrwarn "NOT READABLE \m(name)" }
  200.         .inurl = 1                      # We are doing a URL now
  201.  
  202.         message \m(name)...             # List the name if debugging
  203.         incr urls                       # Count the URL
  204.         fwrite /line \%o <url>          # Start the XML URL section
  205.         # Add URL of this file to sitemap...
  206.         if eq "\m(name)" "index-en.html" { # (Special for multilingual sites)
  207.             fwrite /line \%o "  <loc>\m(home)</loc>"
  208.         } else if eq "\m(name)" "index.html" {
  209.             fwrite /line \%o "  <loc>\m(home)</loc>"
  210.         } else {
  211.             fwrite /line \%o "  <loc>\m(home)\m(name)</loc>"
  212.         }
  213.         .s := \fcvtd(\fdate(\m(name)),3) # Modification date of file
  214.         .s := \s(s[1:4])-\s(s[5:2])-\s(s[7:2]) # Just the date is enough
  215.         fwrite /line \%o "  <lastmod>\m(s)</lastmod>" # Add to sitemap
  216.         .\%x := \fmjd(\fdate(\m(name))) # Modification date as MJD
  217.         .\%y ::= \m(today) - \%x        # How many days ago
  218.         .c = yearly                     # Default change frequency is yearly
  219.         if < \%y 8 .c =  daily          # If modified in last 7 days daily
  220.         else if < \%y 30 .c =  weekly   # or in last 30 days say weekly
  221.         else if < \%y 100 .c =  monthly # or in last 100 days say monthly
  222.         fwrite /line \%o "  <changefreq>\m(c)</changefreq>" # Add to sitemap
  223.         continue
  224.     }
  225.     if equ "\m(s1)" "pri" {             # Page priority
  226.         if not inurl ferrexit "PRIORITY NOT IN URL"
  227.         if not float \m(s2) ferrexit "PRIORITY NOT NUMERIC"
  228.         if ( > \m(s2) 1.0 || < \m(s2) 0.0 ) ferrexit "PRIORITY OUT OF RANGE"
  229.         .priority := \m(s2)             # Save it for epilog (see finishfile)
  230.         continue
  231.     }
  232.     if equ "\m(s1)" "img" {             # Image
  233.         finishimage                     # Finish previous image if any
  234.         if == 0 imginurl {              # First image for this URL?
  235.             # Add page priority before listing any images
  236.             fwrite /line \%o "  <priority>\m(priority)</priority>"
  237.         }
  238.         .geo := \m(globalgeo)           # If a global one defined use it
  239.         .lic := \m(globallic)           #  wherever a local one is not given.
  240.         if not inurl ferrexit "img not in url"
  241.         if not exist \m(s2) { ferrwarn "IMG NOT EXIST: \m(s2)", continue }
  242.         if not readabl \m(s2) { ferrwarn "IMG NOT READABLE: \m(s2)", continue }
  243.         increment imgs                  # Count this image
  244.         incr imginurl                   # Count image for this URL
  245.         fwrite /line \%o "  <image:image>" # Start image clause
  246.         fwrite /line \%o "    <image:loc>\m(home)\m(s2)</image:loc>" # Put URL
  247.         .inimg = 1                      # We are doing an image now
  248.         continue
  249.     }
  250.     if equ "\m(s1)" "cap" {             # Image caption
  251.         if not inimg ferrexit "CAP WITH NO IMG"
  252.         if def s2 {                     # If the caption is not empty add it
  253.             fwrite /line \%o "    <image:caption>\m(s2)</image:caption>"
  254.         }
  255.         continue
  256.     }
  257.     if equ "\m(s1)" "title" {           # Image title
  258.         if not inimg ferrexit "TITLE WITH NO IMG"
  259.         if def s2 {                     # If the title is not empty add it
  260.             fwrite /line \%o "    <image:title>\m(s2)</image:title>"
  261.         }
  262.     }
  263. }
  264. do finishfile                           # End of file list - finish last URL
  265. fwrite /line \%o </urlset>              # Finish the sitemap
  266. fclose \%o                              # Close the temporary sitemap file
  267. if exist sitemap.xml {                  # Rotate previous ones
  268.     if exist sitemap.ayer copy /preserve sitemap.ayer sitemap.ante
  269.     if fail message "FAILURE TO ROTATE OLD SITEMAP[1]"
  270.     copy /preserve sitemap.xml sitemap.ayer
  271.     if fail message "FAILURE TO ROTATE OLD SITEMAP[2]"
  272. }
  273. rename sitemap.tmp \m(resultdirectory)sitemap.xml # Install the new sitemap
  274. if fail errexit "FAILURE TO INSTALL NEW SITEMAP"
  275. if unix {                               # Unix...
  276.     chmod 644 sitemap.xml               # Make it world readable
  277.     if fail errexit "CHMOD FAILURE"
  278. }
  279. # When run in a cron job this message arrives in email
  280. exit 0 "[\v(timestamp)] sitemap.ksc: OK - URLs: \m(urls); IMGs: \m(imgs)"
  281.  
  282. ; Local Variables:
  283. ; comment-column:40
  284. ; comment-start:"# "
  285. ; End:
  286.