home *** CD-ROM | disk | FTP | other *** search
/ InfoMagic Internet Tools 1993 July / Internet Tools.iso / RockRidge / info-service / gopher / Unix / gopher+1.2b4 / gopherd / Waisindex.c < prev    next >
Encoding:
C/C++ Source or Header  |  1993-04-09  |  11.6 KB  |  461 lines
  1. /********************************************************************
  2.  * lindner
  3.  * 3.3
  4.  * 1993/04/09 16:24:03
  5.  * /home/mudhoney/GopherSrc/CVS/gopher+/gopherd/Waisindex.c,v
  6.  * Exp
  7.  *
  8.  * Paul Lindner, University of Minnesota CIS.
  9.  *
  10.  * Copyright 1991, 1992 by the Regents of the University of Minnesota
  11.  * see the file "Copyright" in the distribution for conditions of use.
  12.  *********************************************************************
  13.  * MODULE: Waisindex.c
  14.  * Routines to translate wais indexes on disk to gopher
  15.  *********************************************************************
  16.  * Revision History:
  17.  * Waisindex.c,v
  18.  * Revision 3.3  1993/04/09  16:24:03  lindner
  19.  * Hacks to support WAIS GIF, TIFF, DVI types
  20.  *
  21.  * Revision 3.2  1993/03/26  19:46:52  lindner
  22.  * First crack at gopherplussing Indexing
  23.  *
  24.  * Revision 3.1.1.1  1993/02/11  18:02:50  lindner
  25.  * Gopher+1.2beta release
  26.  *
  27.  * Revision 1.5  1993/01/30  23:55:36  lindner
  28.  * Better error messages, changed a uchdir to a rchdir
  29.  *
  30.  * Revision 1.4  1993/01/05  02:41:28  lindner
  31.  * .cap files are now ignored by the indexer
  32.  *
  33.  * Revision 1.3  1993/01/01  00:12:41  lindner
  34.  * Fixed parameters to GDnew()
  35.  *
  36.  * Revision 1.2  1992/12/21  20:36:44  lindner
  37.  * Added #include for cutil.h (from dgg)
  38.  *
  39.  * Revision 1.1  1992/12/10  23:13:27  lindner
  40.  * gopher 1.1 release
  41.  *
  42.  *
  43.  *********************************************************************/
  44.  
  45. #if defined(WAISSEARCH)
  46.  
  47. /* WIDE AREA INFORMATION SERVER SOFTWARE
  48.    No guarantees or restrictions.  See the readme file for the full standard
  49.    disclaimer.    
  50.    Brewster@think.com
  51.  
  52.    Heavily hacked by Paul Lindner (lindner@boombox.micro.umn.edu)
  53.    Do you even recognize this Brewster? :-)
  54.  
  55. */
  56.  
  57. int ShowDate = 0;
  58.  
  59. #define _search_c
  60.  
  61. #include "gopherd.h"
  62.  
  63.  
  64. #if defined(_AIX)
  65. #define ANSI_LIKE
  66. #endif
  67.  
  68. #include "../ir/irext.h"
  69. #include "../ir/irsearch.h"
  70. #include "../ir/docid.h"
  71. #include "../ir/irtfiles.h"
  72. #include "../ir/cutil.h"    /** fix for -DBIO wais needs.. **/
  73. #include <math.h>
  74.  
  75.  
  76. FILE *logfile = NULL; /* the logfile */
  77. char *log_file_name = NULL;
  78.  
  79. static char *DefaultDB = "index";
  80. static char *MonthStr[] = {
  81.      "Jan", "Feb", "Mar", "Apr", "May", "June", "July", "Sept", "Oct",
  82.       "Nov", "Dec"
  83. };
  84.  
  85. #if defined(void)
  86. #undef void
  87. #endif
  88.  
  89.  
  90.  
  91. int
  92. Process_Veronica(besthit, gs)
  93.   hit *besthit;
  94.   GopherObj *gs;
  95. {
  96.      FILE *ZeFile;
  97.      char veronicabuf[1024];
  98.      char *data, *cp;
  99.  
  100.      /*** Open up the file and seek to the right position ***/
  101.  
  102.      ZeFile = ufopen(besthit->filename, "r");
  103.  
  104.      if (ZeFile == NULL)
  105.       return(-1);
  106.  
  107.      fseek(ZeFile, besthit->start_character, 0);
  108.  
  109.      bzero(veronicabuf, sizeof(veronicabuf));
  110.      fread(veronicabuf, 1, besthit->end_character - besthit->start_character,
  111.        ZeFile);
  112.      veronicabuf[besthit->end_character - besthit->start_character+1] = '\0';
  113.      
  114.      
  115.      data = veronicabuf;
  116.      GSsetType(gs, *data);
  117.      
  118.      ZapCRLF(data);
  119.      
  120.      cp = strchr(data, '\t');
  121.      *cp = '\0';
  122.      GSsetTitle(gs, data+1);
  123.      
  124.      data = cp+1;
  125.      cp = strchr(data, '\t');
  126.      *cp = '\0';
  127.      GSsetPath(gs, data);
  128.      
  129.      data = cp + 1;
  130.      cp = strchr(data, '\t');
  131.      *cp = '\0';
  132.      GSsetHost(gs, data);
  133.      
  134.      GSsetPort(gs, atoi(cp+1));
  135.  
  136.      fclose(ZeFile);
  137.      return(0);
  138. }
  139.  
  140. void
  141. WaisIndexQuery(sockfd, index_directory, SearchWords, new_db_name, INDEXHost, INDEXPort, INDEXPath, isgplus, view)
  142.   int sockfd;
  143.   char *index_directory;
  144.   char *SearchWords;
  145.   char *new_db_name;
  146.   char *INDEXHost;
  147.   int  INDEXPort;
  148.   char *INDEXPath;
  149.   boolean isgplus;
  150.   char *view;
  151. { 
  152.      database*            db;
  153.      long                 maxRawScore, normalScore, i;
  154.      char                 *cp, *Selstrout;
  155.      char                 dateline[10];
  156.      query_parameter_type parameters;
  157.      boolean              search_result;
  158.      char                 score[6];
  159.      char                 ReturnLine[512];
  160.      boolean              plusdirs=FALSE;
  161.                                         
  162.      char                 * sidename;    /* mtm 11-23-92 */
  163.      FILE                 * SideFile = NULL;  /* mtm 11-23-92 */
  164.  
  165.      GopherDirObj         *gd;
  166.      GopherObj            *gs;
  167.      
  168.  
  169.      gs = GSnew();
  170.      gd = GDnew(32);
  171.  
  172.      if (DEBUG)  {
  173.       fprintf(stderr, "IndexPath: %s\n", INDEXPath);
  174.       logfile = stderr;   /** Log wais error messages to console **/
  175.      }     else {
  176.       logfile = ufopen("/dev/null", "w+");
  177.      }
  178.  
  179.      if (new_db_name == NULL) {
  180.       new_db_name = DefaultDB;
  181.      }
  182.      if (view != NULL) {
  183.       if (strcasecmp(view, "Directory+")==0)
  184.            plusdirs = TRUE;
  185.      }
  186.  
  187.  
  188.      if (rchdir(index_directory)) {
  189.       char tmpstr[512];
  190.  
  191.       sprintf(tmpstr, "Couldn't change to index directory '%s'",index_directory);
  192.       Abortoutput(sockfd, tmpstr);
  193.       return;
  194.      }
  195.  
  196.      if (SearchWords != NULL && strlen(SearchWords) == 0) {
  197.       EveryWAISdocument(new_db_name);
  198.       return;
  199.      }
  200.  
  201.      db = openDatabase(new_db_name, false, true);
  202.      
  203.      if (db == NULL) {
  204.       sprintf(ReturnLine, "Failed to open database %s in index dir %s", new_db_name, index_directory);
  205.       Abortoutput(sockfd, ReturnLine);
  206.       writestring(sockfd, ".\r\n"); /** be polite **/
  207.       return;
  208.      }
  209.      
  210. #ifdef BIO            /* dgg */
  211. {
  212.      char *cp= read_delimiters( db);  /* use data-specific delim, available */
  213.  
  214.      if (cp != NULL) {
  215.       strcpy( gDelimiters, cp);
  216.       wordDelimiter= wordbreak_user;
  217.      }
  218.      else
  219.       wordDelimiter= wordbreak_notalnum;
  220. }
  221. #endif
  222.  
  223.      parameters.max_hit_retrieved = 256;
  224.  
  225.      set_query_parameter(SET_MAX_RETRIEVED_MASK, ¶meters);
  226.      
  227.      search_result = false;
  228.      search_result |= search_for_words(SearchWords, db, 0);
  229.      
  230.      if (search_result == true) {
  231.       /* the search went ok */
  232.       hit best_hit;
  233.       
  234.       finished_search_word(db);
  235.       if (DEBUG)
  236.            printf("After finished_search\n");
  237.  
  238.       uchdir(Data_Dir); /* necessary to find side files */
  239.  
  240.       if (view != NULL)
  241.            GSsendHeader(sockfd, -1);
  242.  
  243.       for (i = 0; i < parameters.max_hit_retrieved; i++){ 
  244.            if (0 != next_best_hit(&best_hit, db))
  245.             break;        /* out of hits */
  246.            if (i == 0)
  247.             maxRawScore = best_hit.weight;
  248.            if (best_hit.weight > 0 && 
  249.            strstr(best_hit.filename, ".cache")==NULL &&
  250.            strstr(best_hit.filename, ".cap/")==NULL){
  251.             long lines,length;
  252.  
  253.             char** type = NULL;
  254.             
  255.             normalScore = (long)floor((((double)best_hit.weight) /
  256.                            ((double)maxRawScore)) *    
  257.                           (MAX_NORMAL_SCORE + 1));
  258.  
  259.             if (normalScore > MAX_NORMAL_SCORE)
  260.              normalScore = MAX_NORMAL_SCORE;
  261.             
  262.  
  263.             /*** Strip off the first part of the path in the filename*/
  264.             /*** Plus it gets rid of weird automount things... ***/
  265.             Selstrout =strstr(best_hit.filename, INDEXPath);
  266.             if (Selstrout == NULL)
  267.              Selstrout = "Error in Hostdata!";
  268.             else
  269.              Selstrout += strlen(INDEXPath);
  270.             
  271.  
  272.                     sprintf(score,"%3d ",best_hit.weight);
  273.  
  274.                     waislog(0,99,"%s: Score %3d:%s",SearchWords,best_hit.weight,Selstrout);
  275.             
  276.             /** Make the outgoing string **/
  277.  
  278.             ZapCRLF(best_hit.headline);
  279.             
  280.             /*** Remove the gopher data directory pathname if
  281.                  it's there from the headline
  282.             ***/
  283.  
  284.             if ((cp = strstr(best_hit.headline, INDEXPath)) != NULL) {
  285.              /*** Dangerous.... ***/
  286.              strcpy(cp, cp+strlen(INDEXPath));
  287.             } 
  288.              
  289.             if ((strstr(best_hit.type, "PS") != NULL)
  290.             || (strstr(best_hit.type, "DVI") != NULL)
  291.             || (strstr(best_hit.type, "GIF") != NULL)
  292.             || (strstr(best_hit.type, "TIFF") != NULL))
  293.              GSsetType(gs, A_IMAGE);
  294.             else
  295.              GSsetType(gs, A_FILE);
  296.  
  297.             GSsetTitle(gs, best_hit.headline);
  298.             GSsetHost(gs, INDEXHost);
  299.             GSsetPort(gs, INDEXPort);
  300.  
  301.                  /* removed "/" from following line (before %s) . 
  302.                 Was getting double slash at least with w8b5bio; 
  303.                 mtm 11-23-92 */
  304.  
  305.             sprintf(ReturnLine, "R%d-%d-%s",
  306.                 best_hit.start_character, best_hit.end_character,
  307.                 Selstrout);
  308.             
  309.             if (!MacIndex)
  310.             GSsetPath(gs, ReturnLine);
  311.             else
  312.             GSsetPath(gs, Selstrout);
  313.             GSsetWeight(gs, best_hit.weight);
  314.             
  315.                     /* 
  316.              * Find and process sidefile. 
  317.              * Allow worst case name length. 
  318.              */
  319.  
  320.             if((sidename = (char *) malloc((unsigned) 
  321.                 strlen(Selstrout) + 
  322.                     strlen("/.cap/") + 1)) != NULL) {
  323.               if((cp = mtm_basename(Selstrout)) != Selstrout) {
  324.             /*  turn "/foo/bar/baz" into "/foo/bar/.cap/baz" */
  325.             strncpy(sidename,Selstrout,(cp - Selstrout));
  326.             *(sidename + (cp - Selstrout)) = '\0';
  327.             strcat(sidename,".cap/");
  328.             strcat(sidename,cp);
  329.               }
  330.               else {
  331.               /* root of the gopher tree, this is easier... */
  332.             strcpy(sidename,"/.cap/");
  333.             strcat(sidename,Selstrout);
  334.               }
  335.               if ((SideFile = rfopen(sidename, "r")) != NULL) {
  336.             if (DEBUG == TRUE)
  337.               printf("Side file name: %s\n", sidename);
  338.             Process_Side(SideFile, gs);
  339.               }
  340.               free(sidename);
  341.             }
  342.             
  343.             if (DEBUG) printf("Doc type is %s\n", best_hit.type);
  344.             if (strcmp(best_hit.type, "GOPHER")==0) {
  345.             if (DEBUG) printf("Got a veronica style thing %s\n",best_hit.headline);
  346.             Process_Veronica(&best_hit, gs);
  347.            }            
  348.             
  349.             if (isgplus)
  350.              GSplustoNet(gs, sockfd, NULL);
  351.             else
  352.              GStoNet(gs,sockfd);
  353.            }
  354.            
  355.            
  356.            if (DEBUG) {
  357.             printf("%s\n", ReturnLine);
  358.             printf("End Byte   = %d\n", best_hit.end_character);
  359.             printf("Doc length = %d\n", best_hit.document_length);
  360.             printf("#lines     = %d\n", best_hit.number_of_lines);
  361.            }
  362.       }
  363.      }
  364.      else {
  365.       /* something went awry in the search */
  366.       LOGGopher(sockfd, "Something went wrong in the search!\r\n");
  367.       writestring(sockfd, ".\r\n"); /*** be polite, don't screw up the client**/
  368.       return;
  369.      }
  370.      finished_best_hit(db);
  371.  
  372.      writestring(sockfd, ".\r\n");
  373.  
  374.      /* free everything */
  375.      closeDatabase(db);
  376.      return;
  377. }
  378.  
  379. EveryWAISdocument(sockfd, db, INDEXHost, INDEXPort, INDEXPath)
  380.   int sockfd;
  381.   char *db;
  382.   char *INDEXHost;
  383.   int  INDEXPort;
  384.   char *INDEXPath;
  385. {
  386.      FILE         *dbcatalog;
  387.      char         db_name[MAXPATHLEN];
  388.      char         inputline[512];
  389.      String       *Headline;
  390.      String       *Filename;
  391.      int          StartByte, EndByte;
  392.      GopherObj    *gs;
  393.      GopherDirObj *gd;
  394.      boolean      Headlineset = FALSE;
  395.      boolean      DocIDset    = FALSE;
  396.  
  397.      gs = GSnew();
  398.      gd = GDnew(32);
  399.      Headline = STRnew();
  400.      Filename = STRnew();
  401.  
  402.      strcpy(db_name, db);
  403.      strcat(db_name, ".cat");
  404.  
  405.      dbcatalog = rfopen(db_name, "r");
  406.      
  407.      while (fgets(inputline, sizeof(inputline), dbcatalog) != NULL) {
  408.       if (strncmp(inputline, "Headline: ", 10)==0) {
  409.            STRset(Headline, inputline +10);
  410.            Headlineset = TRUE;
  411.       }
  412.       else if (strncmp(inputline, "DocID: ", 7)==0) {
  413.            char *cp;
  414.  
  415.            StartByte = atoi(inputline);
  416.            cp = strchr(inputline+7, ' ');
  417.            if (cp == NULL) break;
  418.  
  419.            cp++;
  420.            EndByte = atoi(cp);
  421.  
  422.            cp = strchr(inputline+7, ' ');
  423.            cp++;
  424.            if (cp == NULL) break;
  425.  
  426.            cp =strstr(cp, INDEXPath);
  427.            if (cp == NULL) break;
  428.            
  429.            STRset(Filename, cp);
  430.  
  431.            DocIDset = TRUE;
  432.       }
  433.       
  434.       if (DocIDset == TRUE && Headlineset == TRUE) {
  435.            char tmppath[512];
  436.            Extobj *ext = EXnew();
  437.  
  438.            if (GDCBlockExtension(Config, STRget(Filename), ext)) {
  439.             GSsetType(gs, EXgetObjtype(ext));
  440.            } else
  441.             GSsetType(gs, '0');
  442.             
  443.            EXdestroy(ext);
  444.  
  445.            sprintf(tmppath, "R%d-%d-%s", StartByte, EndByte, STRget(Filename));
  446.  
  447.            GSsetTitle(gs, STRget(Headline));
  448.            GSsetHost(gs, INDEXHost);
  449.            GSsetPort(gs, INDEXPort);
  450.            GSsetPath(gs, tmppath);
  451.  
  452.            GDaddGS(gd, gs);
  453.  
  454.            DocIDset = FALSE;
  455.            Headlineset = FALSE;
  456.       }
  457.      }      
  458. }
  459.  
  460. #endif /** WAISSEARCH **/
  461.