home *** CD-ROM | disk | FTP | other *** search
/ The UNIX CD Bookshelf / OREILLY_TUCB_UNIX_CD.iso / upt / examples / SOURCES / GLIMPSE / GLI40SRC.Z / GLI40SRC / glimpse-4.0.src / CHANGES next >
Encoding:
Text File  |  1996-11-23  |  12.7 KB  |  227 lines
  1. 3.6 --> 4.0
  2. - Added support to extract titles from HTML pages in glimpseindex with
  3.   the -X option. These files must have names that end in:
  4.     html, htm, shtml, shtm
  5.   (It is easy to extend these -- just see glimpse.h/EXTRACT_INFO_SUFFIX.
  6.   The routine to extract titles is index/filetype.c/extract_info(). This
  7.   can be modified in various ways to extract info from many filetypes.)
  8.   The titles are appended to the corresponding filenames after a ' ',
  9.   before storing the filenames in .glimpse_filenames. In this case,
  10.   glimpseindex assumes that filenames don't have spaces in them.
  11. - Added support to glimpseindex to store not just the names of files that
  12.   are indexed, but also some extra information (like a URL) after each file,
  13.   when -F is used to provide the names of the files to be indexed to
  14.   glimpseindex. This will be stored in .glimpse_filenames and
  15.   .glimpse_filehash. The information (URL) must be separated from the
  16.   actual file name by one blank ' '. In this case too, glimpse assumes that
  17.   filenames don't have spaces in them.
  18. - Added a -U option to glimpse to be able to interpret indices created
  19.   with a -X or a -U option in glimpseindex. This is necessary since
  20.   glimpse must know that the first ' ' (see above) siginifies the end of
  21.   the filename in .glimpse_filenames. When glimpse outputs matches, it
  22.   will display the filename, the URL, and the title automatically.
  23.   The user must be able to parse this info properly though!
  24. - Added an option -X to glimpse to just output the names of files that
  25.   do contain a match, in case glimpse is not able to open the file for
  26.   reading. Without the -X option, glimpse will simply ignore the file
  27.   and continue.
  28. - Added "wgconvert", a program to compress and decompress neighborhoods
  29.   in webglimpse. It can also be used to convert a file of filenames (that's
  30.   used as a parameter for the -f option in glimpse) to a smaller binary
  31.   representation, and vice versa. See file "index/convert.c". (9-10/96).
  32.   The compression can change a filenames file to a file containing a
  33.   bit mask representaion of the set of files, or to a file containing a
  34.   sparse set representation of these files. We recommend sparse-sets only.
  35. - Added support in glimpse to read not just a set of filenames (with a
  36.   -f option), but also a compressed set of filenames (with the -p
  37.   option). The -p option allows you to utilize compressed `neighborhoods'
  38.   (sets of filenames) to limit your search, without uncompressing them.
  39.   The usage is:
  40.     "-p filename:X:Y:Z"
  41.   where "filename" is the file with compressed neighborhoods, X is an
  42.   offset into that file (usually 0, must be a multiple of sizeof(int)),
  43.   Y is the length glimpse must access from that file (if 0, then whole file;
  44.   must be a multiple of sizeof(int)), and Z must be 2 (it indicates
  45.   that "filename" has the sparse-set representation of compressed
  46.   neighborhoods: the other values are for internal use only). Note that
  47.   any colon ":" in filename must be escaped using a backslash \.
  48. - Added limited support for NOT in glimpse. This works with index search (-N)
  49.   or whole file scope for booleans (-W) only. (11/96).
  50.   "Not" can be specified using "~". "Not" is most useful in expressions
  51.   like "bad;~boy" or "woman,~girl"; or in "global not" expressions like
  52.   "~{bad;boy}" or "~{woman,girl}".  The semantics of ~ is as follows:
  53.   the ~ works exactly as you would expect for index search (-N).
  54.   For actual output, you will get all records with at least one of the
  55.   specified patterns (bad, boy, woman, girl), that satisfy the boolean
  56.   expression. That is, for example, "bad;~boy" will give you all records
  57.   that contain "bad" but not "boy", in all files that contain "bad" but
  58.   not "boy". However, if you search for "~{bad;boy}", glimpse/agrep will
  59.   NOT output records that don't contain either bad or boy. They will only
  60.   give you records that contain alteast one of "bad" or "boy" but not both.
  61.   This is logical since otherwise, a pattern like "~ZZZZIYIUYIUYIUYRR",
  62.   for example, would force glimpse to output all records in all files...
  63.   For index-search and actual file-search to be consistent, a ~ should
  64.   be used only with -W. Glimpse exits with an error otherwise.
  65.   Agrep can now also search for nots, and the semantics are the same
  66.   as above, except that the boolean expressions are evaluated on a per-
  67.   record basis, rather than a per-file basis like glimpse.
  68. - Added support to search for patterns with repeating strings (11/96):
  69.         "{computer;science},{computer;chronicles}"
  70.   This now works in agrep as well as glimpse. However, its for simple
  71.   patterns only (i.e., no regexp or spelling-errors). Previously,
  72.   you were forced to say "{computer;{science,chronicles}}". This also
  73.   fixes the "bug" where queries like "url=pat1;content=pat1" in Harvest
  74.   did not work (the same pattern pat1 appears twice).
  75. - Fixed some nagging memory leaks and segfaults on Solaris (10/96).
  76. - Fixed multiple matches / missed matches problems with -W (11/96).
  77.  
  78. 3.5 --> 3.6
  79. - Many bug fixes and performance improvements to support webglimpse
  80. - A -R option to glimpseindex to recompute .glimpse_filenames_index from
  81.   a changed .glimpse_filenames. This allows users to move the index from one
  82.   file system to another (where the absolute pathnames of the same files can
  83.   be different), or convert all absolute pathnames .glimpse_filenames to
  84.   relative pathnames, and still use the existing index of that data.
  85.  
  86. 3.0 --> 3.5
  87. - added "-f filename" option to glimpse: it allows you to restrict the
  88.   search to only those files whose names appear in "filename".
  89. - fixed the agrep bug where -n was not working with ISO characters.
  90. - Added -t to glimpseindex that sorts .glimpse_filenames by decreasing order
  91.   of modify time (st_mtime in stat structure);
  92. - Added -j option to glimpse to print time of file along with its name;
  93. - Added "-Y days" option to print files that were modified "days" before
  94.   the index was created.
  95. - Added support for arbitrary characters in filenames (e.g. >, <, space, &...)
  96.  
  97. 2.1 ---> 3.0
  98.  
  99. - added a data structure (in .glimpse_turbo) that speeds up queries
  100.   using -w and -i considerably for large indexes.  It is meant mostly for
  101.   servers using glimpse (e.g., Harvest and glimpseHTTP servers),
  102.   but it benefits everyone.  With this "turbo" option, typical queries
  103.   take less than a second even for very large indexes.
  104.   This was so successful that we made it the default rather than an
  105.   option (it used to be -T in some earlier versions).
  106.   If the .glimpse_turbo file is deleted, glimpse will still work properly
  107.   (but glimpseindex -f and -a require it).
  108. - incremental indexing is now fully supported (even for -b).  Deletion
  109.   from the index is supported.  glimpseindex -d filename(s) completely
  110.   deletes the files from the index;  glimpseindex -D filename(s) deletes
  111.   the files only from the file list.
  112. - the index has been improved in several ways (transparently except for
  113.   speed and space).  As a result, indices built with earlier versions of
  114.   glimpseindex will not work with 3.0 -- you must reindex again. 
  115. - several options were added to glimpseindex and glimpse:
  116.   glimpseindex -E indexes all file without attempting to run the filetype
  117.   filtering (but excluded files or suffixes still apply).
  118.   glimpse -Q extends -N in a nice way giving much more information about
  119.   the matches in the index.
  120.   glimpse -L has more options:  -L x | x:y | x:y:z
  121.   if one number is given, it is a limit on the total number of matches.
  122.   Glimpse outputs only the first x matches.
  123.   If two numbers are given (x:y), then y is an added limit on the total
  124.   number of files.
  125.   If three numbers are given (x:y:z), then z is an added limit on the
  126.   number of matches per file.
  127.   If any of the x, y, or z is set to 0, it means to ignore it
  128.   (in other words 0 = infinity in this case);  for example,
  129.   -L 0:10 will output all matches to the first 10 files that
  130.   contain a match.
  131.   (There are also some undocumented-as-yet options. We are running out
  132.   of letters.  Only -j and -Y are not used!)
  133. - glimpse 3.0 still has a LOT of makefiles (one per architecture / OS). 
  134.   We hope to include autoconf support for glimpse in the future: 
  135.   but these should be sufficient for most purposes.
  136. - several bugs were fixed, and the whole package is now more portable.
  137.   Binaries and make files for the following platforms are now available:
  138.   AIX-3.2.5, HPPA, HPMC68K, IBM-RS6000, Linux, SGI. (Binaries and make
  139.   files for SUNOS4.1.1, SUNOS4.1.3, SOLARIS 5.3 and DEC OSF/1 (ALPHA)
  140.   are avaialable as usual.) See README.install for more details.
  141.  
  142.  
  143. 2.0 ---> 2.1
  144.  
  145. - Added the facility to run a glimpse server which reads the index into 
  146.   memory and stays in the background.  Regular glimpse then submits queries 
  147.   to the server and echoes the replies.  This can improve performance if 
  148.   the index is large since it doesn't have to be read-in for each query.
  149.   Glimpse can contact (local or remote) servers using the -C, -J and -K
  150.   options (see the man-pages for more details).
  151. - Optimized the performance of glimpse for very large structured indexes:
  152.   this is mostly relevant in Harvest.1.1.  Such indexes now take half the
  153.   space, the indexing can be done in half the time, and structured queries
  154.   are faster by a factor of 2 to 5!
  155. - Made code more portable: the code now runs on the following machines
  156.   and operating systems:
  157.     SUNOS
  158.     ALPHA
  159.     SOLARIS
  160.     HPUX
  161.     AIX
  162.     LINUX
  163. - Added much improved man pages for glimpse, glimpseserver and glimpseindex.
  164. - Many bugs were fixed based on the reports received for glimpse.2.0
  165.   and Harvest.1.0. The code is now more robust, portable and readable.
  166.  
  167.  
  168. 1.1 ---> 2.0
  169.  
  170. - A "byte-level" indexing (glimpseindex -b) has been added, which mimics 
  171.   regular inverted indexes in that the exact location of each occurrence 
  172.   of each word (except for a stop list of common words) is indexed.  
  173.   The index itself is still searched with agrep so all options are still
  174.   available.  This option speeds up the search, sometimes considerably.
  175. - Added customizable filtering support -z to glimpseindex and glimpse. 
  176.   glimpseindex -z consults the file .glimpse_filters and performs the
  177.   programs listed there for each match.  The best example is
  178.   compress/decompress.  If .glimpse_filters include the line
  179.   *.Z    uncompress <
  180.   then before indexing any file that matches the pattern "*.Z" (same
  181.   syntax as the one for .glimpse_exclude) the command listed is
  182.   executed first (assuming input is from stdin, which is why uncompress 
  183.   needs <) and its output (assuming it goes to stdout) is indexed.
  184.   The file itself is not changed (i.e., it stays compressed).
  185.   Then if glimpse -z is used, the same program is used on these files
  186.   on the fly.  Any program can be used (we run 'exec').  For example,
  187.   one can filter out parts of files that should not be indexed.
  188.   Note that this can slow down the search because the filters need to
  189.   be run before files are searched.
  190. - There is a new compression package that allows glimpse (and agrep)
  191.   to search DIRECTLY in compressed files.  A new compression routine,
  192.   called cast, is included.  Also, glimpseindex can automatically index
  193.   files compressed with cast. More details on this will be published later.
  194. - Queries can now include arbitrary combinations of ANDs, ORs, NOTs.
  195. - Added option -F in cast, uncast, buildcast and glimpseindex to take
  196.   filenames from stdin.
  197. - Added a -L x option to glimpse to output only the first x matches.
  198. - User can explicitly specify whether exclude or include has higher priority
  199.   (the default is to prefer exclude, glimpseindex -i gives priority to
  200.   include).
  201.   For example, you can put * in .glimpse_exclude and then explicitly
  202.   say which files you want to include.
  203. - Added a -S x option to glimpseindex to allow the user to adjust the size 
  204.   of the stop-list under -o and -b.  
  205. - Added a -W option to change the scope of Boolean queries to be the
  206.   whole file.
  207. - Added support for structured queries in glimpse/glimpseindex
  208.   (This was done for the Harvest project.)
  209. - Many small corrections were made based on the bug-reports received for
  210.   version 1.1 and the beta version of 2.0.
  211.  
  212.  
  213. 1.0 ---> 1.1
  214.  
  215. - Names of files/directories whose ABSOLUTE path names are given as input to
  216.   glimpseindex are indexed "as they are". If their RELATIVE path names are
  217.   given, THEN glimpseindex tries to construct their absolute path names. Path
  218.   names are still absolute: they are NOT relative to where the index is stored.
  219. - A new faster mgrep() (multi pattern search) has been added to agrep.
  220. - Boolean search by glimpse is now faster: it uses the new mgrep routine and
  221.   the limit on the number of simple patterns separated by boolean operations
  222.   is no longer 32 (it is 256 = maximum pattern length).
  223. - The maximum number of files which can be indexed at one go has been increased
  224.   from 16000 to around 65000.
  225. - Many small corrections were made based on the bug-reports received for
  226.   version 1.0.
  227.