home *** CD-ROM | disk | FTP | other *** search
/ OS/2 Shareware BBS: 35 Internet / 35-Internet.zip / swish131.zip / user.config < prev    next >
Text File  |  1999-02-08  |  8KB  |  193 lines
  1. # DIRECTIVES COMMON to  HTTP and FILESYSTEM METHODS
  2. ###################################################
  3.  
  4. IndexDir s:/cwis/www
  5. IndexDir s:/users/djardine/www
  6.  
  7. # For the FileSystem Method:
  8. # This is a space-separated list of files and
  9. # directories you want indexed. You can specify
  10. # more than one of these directives.
  11. #
  12. #IndexDir http://www.chem.mq.edu.au/index.html
  13. # For the HTTP Method:
  14. # Use the URL's from which you want the spidering
  15. # to begin.
  16. # NOTE: use  html files rather than  directories
  17. # for this method.
  18.  
  19. IndexFile index.swish-e
  20. # This is what the generated index file will be.
  21.  
  22. IndexName "Index of School of Chemistry's Web Site"
  23. IndexDescription "This is a full index of The School of Chemistry's Web Site."
  24. IndexPointer "http://www.chem.mq.edu.au/search/search.80"
  25. IndexAdmin "Christopher McRae, (christopher.mcrae@mq.edu.au)
  26. # Extra information you can include in the index file.
  27.  
  28. MetaNames first author subject
  29. # List of all the meta names used in the file to index, must be on one line.
  30. # If no metanames DO NOT deleted the line.
  31.  
  32. IndexReport 3
  33. # This is how detailed you want reporting. You can specify numbers
  34. # 0 to 3 - 0 is totally silent, 3 is the most verbose.
  35.  
  36. FollowSymLinks yes
  37. # Put "yes" to follow symbolic links in indexing, else "no".
  38. # Ignored under OS/2
  39.  
  40. UseStemming no
  41. # Put yes to apply word stemming algorithm during indexing,
  42. # else no. See the manual for info about stemming. Default is
  43. # no.
  44.  
  45. #PropertyNames author
  46. # List of meta tags names that can be retrieved with the -p option.
  47. # Index size increases as by the formula in the manual.
  48. # Comment out if no PropertyNames. Case insensitive
  49.  
  50. IgnoreTotalWordCountWhenRanking yes
  51. # Put yes to ignore the total number of words in the file
  52. # when calculating ranking. Often better with merges and
  53. # small files. Default is no.
  54.  
  55.  
  56. ReplaceRules replace "s:/cwis/www" "http://www.chem.mq.edu.au"
  57. ReplaceRules replace "s:/users/djardine/www" "http://www.chem.mq.edu.au/~djardine"
  58. ReplaceRules replace "\\" "/"
  59.  
  60. # ReplaceRules allow you to make changes to file pathnames
  61. # before they're indexed. This directive uses C library
  62. # regex.h regular expressions which means a '\' indicates take the next char
  63. # literally. Remember this when using OS/2 style pathnames
  64. # NOTE: do not use replace <string> "" to remove a string,
  65. # use remove <string> instead - you might get a core dump otherwise.
  66.  
  67. #MinWordLimit 5
  68. # Set the minimum length of an indexable word. Every shorter word
  69. # will not be indexed.
  70. # Commenting out the line will give the defaults
  71.  
  72. #MaxWordLimit 5
  73. # Set the maximum length of an indexable word. Every longer word
  74. # will not be indexed.
  75. # Commenting out the line will give the defaults
  76.  
  77. WordCharacters abcdefghijklmnopqrstuvwxyz\&#;0123456789.@|,-'"[](~!@$%^{}_+?
  78. # WORDCHARS is a string of characters which SWISH permits to
  79. # be in words. Any strings which do not include these characters
  80. # will not be indexed. You can choose from any character in
  81. # the following string:
  82. #
  83. # abcdefghijklmnopqrstuvwxyz0123456789_\|/-+=?!@$%^'"`~,.[]{}()
  84. #
  85. # Note that if you omit "0123456789&#;" you will not be able to
  86. # index HTML entities. DO NOT use the asterisk (*), lesser than
  87. # and greater than signs (<), (>), or colon (:).
  88. #
  89. # Including any of these four characters may cause funny things to happen.
  90. # NOTE: Do not escape \ nor " and they cannot be the first letter in the string
  91. # Commenting out the line will give the defaults
  92.  
  93. #BeginCharacters m"
  94. # Of the characters that you decide can go into words, this is
  95. # a list of characters that words can begin with. It should be
  96. # a subset of (or equal to) WordCharacters
  97. # Same rule of syntax as for WordCharacters
  98.  
  99. #EndCharacters \"\
  100. # Of the characters that you decide can go into words, this is
  101. # a list of characters that words can begin with. It should be
  102. # a subset of (or equal to) WordCharacters
  103. # Same rule of syntax as for WordCharacters
  104.  
  105. #IgnoreLastChar
  106. # Array that contains the char that, if considered valid in the middle of
  107. # a word need to be disreguarded when at the end. It is important to also
  108. # set the given char's in the ENDCHARS array, otherwise the word will not
  109. # be indexed because considered invalid.
  110. # Commenting out the line will give the defaults
  111. # NOTE: if " is the first char in the string it needs to be escaped with \
  112. # Do not escape otherwise
  113.  
  114. #IgnoreFirstChar
  115. # Array that contains the char that, if considered valid in the middle of
  116. # a word need to be disreguarded when at the beginning. This was to solve
  117. # the problem of parenthesis when there is no space between ( and the
  118. # beginning of the word.
  119. # Remember to add the char's to the BEGINCHARS list also.
  120. # Commenting out the line will give the defaults
  121. # NOTE: if " is the first char in the string it needs to be escaped with \
  122. # Do not escape otherwise
  123.  
  124. IgnoreLimit 50 1000
  125. # This automatically omits words that appear too often in the files
  126. # (these words are called stopwords). Specify a whole percentage
  127. # and a number, such as "80 256". This omits words that occur in
  128. # over 80% of the files and appear in over 256 files. Comment out
  129. # to turn of auto-stopwording.
  130.  
  131. #IgnoreWords SwishDefault
  132. # The IgnoreWords option allows you to specify words to ignore.
  133. # Comment out for no stopwords; the word "SwishDefault" will
  134. # include a list of default stopwords. Words should be separated by spaces
  135. # and may span multiple directives.
  136.  
  137. IndexComments 0
  138. # This option allows the user decide if to index the comments in the files
  139. # default is 1. Set to 0 if comment indexing is not required.
  140.  
  141. ##################################
  142. # DIRECTIVES for FILESYSTEMS ONLY
  143. # Comment out if using HTTP
  144. ###################################
  145.  
  146. IndexOnly .html .q .htm .txt
  147. # Only files with these suffixes will be indexed.
  148.  
  149. NoContents .gif .xbm .au .mov .mpg .pdf .ps
  150. # Files with these suffixes will not have their contents indexed -
  151. # only their file names will be indexed.
  152.  
  153. FileRules pathname contains .*dir1
  154. FileRules filename contains # % ~ .bak .orig .old old. .htm_ .html_ .dirlist.html
  155. FileRules title contains construction example pointers
  156. FileRules directory contains .htaccess .access.conf
  157. FileRules filename is index
  158. # Files matching the above criteria will *not* be indexed.
  159. # The pattern matching uses the C library regex.h
  160.  
  161. ################################
  162. # DIRECTIVES for HTTP METHOD ONLY
  163. # Comment out if using FILESYSTEM
  164. ##################################
  165.  
  166. #MaxDepth 5
  167. #(default 5)  This defines how many links the spider should
  168. #follow before stopping.  A value of 0 configures the spider to
  169. #traverse all links
  170.  
  171. #Delay 60
  172. #(default 60)  The number of seconds to wait between issuing
  173. #requests to a server.
  174.  
  175. #TmpDir c:/temp/
  176. #(default /var/tmp)  The location of a writeable temp directory
  177. #on your system.  The HTTP access method tells the Perl helper to place
  178. #its files there.
  179.  
  180. #SpiderDirectory ./
  181. #(default ./)  The location of the Perl helper
  182. #script.  Remember, if you use a relative directory, it is relative to
  183. #your directory when you run SWISH-E, not to the directory that SWISH-E
  184. #is in.
  185.  
  186. #EquivalentServer http://library.berkeley.edu http://www.lib.berkeley.edu
  187. #EquivalentServer http://sunsite.berkeley.edu:2000 http://sunsite.berkeley.edu
  188. #(default nothing)  This allows you to deal with
  189. #servers that use respond to multiple DNS names.  Each line should have
  190. #a list of all the method/names that should be considered equivalent.
  191. #If you have multiple directives, each one defines its own set of equivalent
  192. #servers.
  193.