home *** CD-ROM | disk | FTP | other *** search
/ Education Sampler 1992 [NeXTSTEP] / Education_1992_Sampler.iso / Programming / Source / WAIS / ir / wprot.c < prev    next >
Encoding:
C/C++ Source or Header  |  1992-02-02  |  67.0 KB  |  2,436 lines
  1. /* WIDE AREA INFORMATION SERVER SOFTWARE:
  2.    No guarantees or restrictions.  See the readme file for the full standard
  3.    disclaimer.    
  4.   
  5.    3.26.90    Harry Morris, morris@think.com
  6.    3.30.90  Harry Morris 
  7.    -    removed chunk code from WAISSearchAPDU,
  8.    -    added makeWAISQueryType1Query() and readWAISType1Query() which replace
  9.    makeWAISQueryTerms() and makeWAISQueryDocs().
  10.    4.11.90  HWM - generalized conditional includes (see c-dialect.h)
  11.    - renamed makeWAISType1Query() to makeWAISTextQuery()
  12.    renamed readWAISType1Query() to readWAISTextQuery()
  13.    5.29.90  TS - fixed bug in makeWAISQueryDocs
  14.    added CSTFreeWAISFoo functions
  15. */
  16.  
  17. #define _C_WAIS_protocol_
  18.  
  19. /*    This file implements the Z39.50 extensions required for WAIS 
  20. */
  21.  
  22. #include "wprot.h"
  23. #include "cutil.h"
  24. #include "panic.h"
  25. #include <string.h> /* for memmove */
  26.  
  27. #ifndef ANSI_LIKE
  28. #include "ustubs.h"
  29. #endif
  30.  
  31. /* very rough estimates of the size of an object */
  32. #define DefWAISInitResponseSize        (size_t)200
  33. #define DefWAISSearchSize            (size_t)3000
  34. #define DefWAISSearchResponseSize    (size_t)6000
  35. #define DefWAISPresentSize            (size_t)1000
  36. #define DefWAISPresentResponseSize    (size_t)6000
  37. #define DefWAISDocHeaderSize        (size_t)500
  38. #define DefWAISShortHeaderSize        (size_t)200
  39. #define DefWAISLongHeaderSize        (size_t)800
  40. #define DefWAISDocTextSize            (size_t)6000
  41. #define DefWAISDocHeadlineSize        (size_t)500
  42. #define DefWAISDocCodeSize            (size_t)500
  43.  
  44. #define RESERVE_SPACE_FOR_WAIS_HEADER(len)    \
  45.      if (*len > 0)                            \
  46.          *len -= header_len;
  47.  
  48. static char* writeUserInfoHeader _AP((data_tag tag,long infoSize,    
  49.                       long estHeaderSize,char* buffer,
  50.                       long* len));
  51.  
  52. static unsigned long userInfoTagSize _AP((data_tag tag,
  53.                       unsigned long length));
  54.  
  55. /*----------------------------------------------------------------------*/
  56.  
  57. char*
  58. writeInitInfo(init,buffer,len)
  59. InitAPDU* init;
  60. char* buffer;
  61. long* len;
  62. {
  63.   char *userInfo, *buf;
  64.   /* The WAIS protocol doesn't use init info - does now! JG*/
  65.  
  66.   /* older servers barf on this.  Someday we can use it... 
  67.   userInfo = (char *)init->UserInformationField; */
  68.   userInfo = NULL;
  69.  
  70.   if(userInfo != NULL) {
  71.     buf = writeString(userInfo, DT_UserInformationField, buffer, len);
  72.     return(buf);
  73.   }
  74.   else return buffer;
  75. }
  76.  
  77. /*----------------------------------------------------------------------*/
  78.  
  79. static char* readUserInfoHeader _AP((data_tag* tag,unsigned long* num,
  80.                      char* buffer));
  81.  
  82. char*
  83. readInitInfo(info,buffer)
  84. void** info;
  85. char* buffer;
  86. {
  87.   /* The WAIS protocol doesn't use init info */
  88.   readString((char **)info, buffer);
  89.   return buffer;
  90. }
  91.  
  92. /*----------------------------------------------------------------------*/
  93.  
  94. static unsigned long
  95. userInfoTagSize(tag,length)
  96. data_tag tag;
  97. unsigned long length;
  98. /* return the number of bytes required to write the user info tag and
  99.    length 
  100.  */
  101. {
  102.   unsigned long size;
  103.  
  104.   /* calculate bytes required to represent tag.  max tag is 16K */
  105.   size = writtenCompressedIntSize(tag);
  106.   size += writtenCompressedIntSize(length);
  107.       
  108.   return(size);
  109. }   
  110.  
  111. /*----------------------------------------------------------------------*/
  112.  
  113. static char*
  114. writeUserInfoHeader(tag,infoSize,estHeaderSize,buffer,len)
  115. data_tag tag;
  116. long infoSize;
  117. long estHeaderSize;
  118. char* buffer;
  119. long* len;
  120. /* write the tag and size, making sure the info fits.  return the true end
  121.    of the info (after adjustment) note that the argument infoSize includes
  122.    estHeaderSize.  Note that the argument len is the number of bytes remaining
  123.    in the buffer.  Since we write the tag and size at the begining of the
  124.    buffer (in space that we reserved) we don't want to pass len the calls which
  125.    do that writing. 
  126.  */
  127. {
  128.   long dummyLen = 100;        /* plenty of space for a tag and size */
  129.   char* buf = buffer;
  130.   long realSize = infoSize - estHeaderSize;
  131.   long realHeaderSize = userInfoTagSize(tag,realSize);
  132.  
  133.   if (buffer == NULL || *len == 0)
  134.     return(NULL);
  135.   
  136.   /* write the tag */
  137.   buf = writeTag(tag,buf,&dummyLen);
  138.   
  139.   /* see if the if the header size was correct. if not,
  140.      we have to shift the info to fit the real header size */
  141.   if (estHeaderSize != realHeaderSize)
  142.     {                /* make sure there is enough space */
  143.       CHECK_FOR_SPACE_LEFT(realHeaderSize - estHeaderSize,len);
  144.       memmove(buffer + realHeaderSize,buffer + estHeaderSize,(size_t)(realSize));
  145.     }
  146.    
  147.   /* write the size */
  148.   writeCompressedInteger(realSize,buf,&dummyLen);
  149.   
  150.   /* return the true end of buffer */
  151.   return(buffer + realHeaderSize + realSize);
  152. }
  153.  
  154. /*----------------------------------------------------------------------*/
  155.  
  156. static char*
  157. readUserInfoHeader(tag,num,buffer)
  158. data_tag* tag;
  159. unsigned long* num;
  160. char* buffer;
  161. /* read the tag and size */
  162. {
  163.   char* buf = buffer;
  164.   buf = readTag(tag,buf);
  165.   buf = readCompressedInteger(num,buf);
  166.   return(buf); 
  167. }
  168.  
  169. /*----------------------------------------------------------------------*/
  170.  
  171. WAISInitResponse* 
  172. makeWAISInitResponse(chunkCode,
  173.              chunkIDLen,
  174.              chunkMarker,
  175.              highlightMarker,
  176.              deHighlightMarker,
  177.              newLineChars)
  178. long chunkCode;
  179. long chunkIDLen;
  180. char* chunkMarker;
  181. char* highlightMarker;
  182. char* deHighlightMarker;
  183. char* newLineChars;
  184. /* create a WAIS init response object */
  185. {
  186.   WAISInitResponse* init = (WAISInitResponse*)s_malloc((size_t)sizeof(WAISInitResponse));
  187.  
  188.   init->ChunkCode = chunkCode;    /* note: none are copied! */
  189.   init->ChunkIDLength = chunkIDLen;
  190.   init->ChunkMarker = chunkMarker;
  191.   init->HighlightMarker = highlightMarker;
  192.   init->DeHighlightMarker = deHighlightMarker;
  193.   init->NewlineCharacters = newLineChars;
  194.   
  195.   return(init);
  196. }
  197.  
  198. /*----------------------------------------------------------------------*/
  199.  
  200. void 
  201. freeWAISInitResponse(init)
  202. WAISInitResponse* init;
  203. /* free an object made with makeWAISInitResponse */
  204. {
  205.   s_free(init->ChunkMarker);
  206.   s_free(init->HighlightMarker);
  207.   s_free(init->DeHighlightMarker);
  208.   s_free(init->NewlineCharacters);
  209.   s_free(init);
  210. }
  211.  
  212. /*----------------------------------------------------------------------*/
  213.  
  214. char*
  215. writeInitResponseInfo(init,buffer,len)
  216. InitResponseAPDU* init;
  217. char* buffer;
  218. long* len;
  219. /* write an init response object */
  220. {
  221.   unsigned long header_len = userInfoTagSize(DT_UserInformationLength,
  222.                          DefWAISInitResponseSize);
  223.   char* buf = buffer + header_len;
  224.   WAISInitResponse* info = (WAISInitResponse*)init->UserInformationField;
  225.   unsigned long size;
  226.   
  227.   RESERVE_SPACE_FOR_WAIS_HEADER(len);
  228.     
  229.   buf = writeNum(info->ChunkCode,DT_ChunkCode,buf,len);
  230.   buf = writeNum(info->ChunkIDLength,DT_ChunkIDLength,buf,len);
  231.   buf = writeString(info->ChunkMarker,DT_ChunkMarker,buf,len);
  232.   buf = writeString(info->HighlightMarker,DT_HighlightMarker,buf,len);
  233.   buf = writeString(info->DeHighlightMarker,DT_DeHighlightMarker,buf,len);
  234.   buf = writeString(info->NewlineCharacters,DT_NewlineCharacters,buf,len);
  235.   
  236.   /* now write the header and size */
  237.   size = buf - buffer; 
  238.   buf = writeUserInfoHeader(DT_UserInformationLength,size,header_len,buffer,len);
  239.   
  240.   return(buf);
  241. }
  242.  
  243. /*----------------------------------------------------------------------*/
  244.  
  245. char*
  246. readInitResponseInfo(info,buffer)
  247. void** info;
  248. char* buffer;
  249. /* read an init response object */
  250. {
  251.   char* buf = buffer;
  252.   unsigned long size; 
  253.   unsigned long headerSize;
  254.   data_tag tag;
  255.   long chunkCode,chunkIDLen;
  256.   char* chunkMarker = NULL;
  257.   char* highlightMarker = NULL;
  258.   char* deHighlightMarker = NULL;
  259.   char* newLineChars = NULL;
  260.   
  261.   chunkCode = chunkIDLen = UNUSED;
  262.   
  263.   buf = readUserInfoHeader(&tag,&size,buf);
  264.   headerSize = buf - buffer;
  265.     
  266.   while (buf < (buffer + size + headerSize))
  267.     { data_tag tag = peekTag(buf);
  268.       switch (tag)
  269.     { case DT_ChunkCode:
  270.         buf = readNum(&chunkCode,buf);
  271.         break;
  272.       case DT_ChunkIDLength:
  273.         buf = readNum(&chunkIDLen,buf);
  274.         break;
  275.       case DT_ChunkMarker:
  276.         buf = readString(&chunkMarker,buf);
  277.         break;
  278.       case DT_HighlightMarker:
  279.         buf = readString(&highlightMarker,buf);
  280.         break;
  281.       case DT_DeHighlightMarker:
  282.         buf = readString(&deHighlightMarker,buf);
  283.         break;
  284.       case DT_NewlineCharacters:
  285.         buf = readString(&newLineChars,buf);
  286.         break;
  287.       default:
  288.         s_free(highlightMarker);
  289.         s_free(deHighlightMarker);
  290.         s_free(newLineChars);
  291.         REPORT_READ_ERROR(buf);
  292.         break;
  293.       }
  294.     }
  295.         
  296.   *info = (void *)makeWAISInitResponse(chunkCode,chunkIDLen,chunkMarker,
  297.                    highlightMarker,deHighlightMarker,
  298.                    newLineChars);
  299.   return(buf);
  300. }
  301.  
  302. /*----------------------------------------------------------------------*/
  303.  
  304. WAISSearch* 
  305. makeWAISSearch(seedWords,
  306.            docs,
  307.            textList,
  308.            dateFactor,
  309.            beginDateRange,
  310.            endDateRange,
  311.            maxDocsRetrieved)
  312. char* seedWords;
  313. DocObj** docs;
  314. char** textList;
  315. long dateFactor;
  316. char* beginDateRange;
  317. char* endDateRange;
  318. long maxDocsRetrieved;
  319.  
  320. /* create a type 3 query object */
  321. { 
  322.   WAISSearch* query = (WAISSearch*)s_malloc((size_t)sizeof(WAISSearch));
  323.  
  324.   query->SeedWords = seedWords;    /* not copied! */
  325.   query->Docs = docs;        /* not copied! */
  326.   query->TextList = textList;    /* not copied! */
  327.   query->DateFactor = dateFactor;
  328.   query->BeginDateRange = beginDateRange;
  329.   query->EndDateRange = endDateRange;
  330.   query->MaxDocumentsRetrieved = maxDocsRetrieved;
  331.   
  332.   return(query);
  333. }
  334.  
  335. /*----------------------------------------------------------------------*/
  336.  
  337. void 
  338. freeWAISSearch(query)
  339. WAISSearch* query;
  340.  
  341. /* destroy an object made with makeWAISSearch() */
  342. {
  343.   void* ptr = NULL;
  344.   long i;
  345.   
  346.   s_free(query->SeedWords);
  347.   
  348.   if (query->Docs != NULL)
  349.     for (i = 0,ptr = (void *)query->Docs[i]; ptr != NULL; ptr = (void *)query->Docs[++i])
  350.       freeDocObj((DocObj*)ptr);
  351.   s_free(query->Docs);
  352.    
  353.   if (query->TextList != NULL)    /* XXX revisit when textlist is fully defined */
  354.     for (i = 0,ptr = (void *)query->TextList[i]; ptr != NULL; ptr = (void *)query->TextList[++i])
  355.       s_free(ptr);
  356.   s_free(query->TextList);
  357.  
  358.   s_free(query->BeginDateRange);
  359.   s_free(query->EndDateRange);
  360.   s_free(query);
  361. }
  362.  
  363. /*----------------------------------------------------------------------*/
  364.  
  365. DocObj* 
  366. makeDocObjUsingWholeDocument(docID,type)
  367. any* docID;
  368. char* type;
  369.  
  370. /* construct a document object using byte chunks - only for use by
  371.    servers */
  372. {
  373.   DocObj* doc = (DocObj*)s_malloc((size_t)sizeof(DocObj));
  374.   doc->DocumentID = docID;        /* not copied! */
  375.   doc->Type = type;        /* not copied! */
  376.   doc->ChunkCode = CT_document;
  377.   return(doc);
  378. }
  379.  
  380. /*----------------------------------------------------------------------*/
  381.  
  382. DocObj* 
  383. makeDocObjUsingLines(docID,type,start,end)
  384. any* docID;
  385. char* type;
  386. long start;
  387. long end;
  388.  
  389. /* construct a document object using line chunks - only for use by
  390.    servers */
  391. {
  392.   DocObj* doc = (DocObj*)s_malloc((size_t)sizeof(DocObj));
  393.   doc->ChunkCode = CT_line;
  394.   doc->DocumentID = docID;        /* not copied */
  395.   doc->Type = type;        /* not copied! */
  396.   doc->ChunkStart.Pos = start;
  397.   doc->ChunkEnd.Pos = end;
  398.   return(doc);
  399. }
  400.  
  401. /*----------------------------------------------------------------------*/
  402.  
  403.  
  404. DocObj* 
  405. makeDocObjUsingBytes(docID,type,start,end)
  406. any* docID;
  407. char* type;
  408. long start;
  409. long end;
  410.  
  411. /* construct a document object using byte chunks - only for use by
  412.    servers */
  413. {
  414.   DocObj* doc = (DocObj*)s_malloc((size_t)sizeof(DocObj));
  415.   doc->ChunkCode = CT_byte;
  416.   doc->DocumentID = docID;        /* not copied */
  417.   doc->Type = type;        /* not copied! */
  418.   doc->ChunkStart.Pos = start;
  419.   doc->ChunkEnd.Pos = end;
  420.   return(doc);
  421. }
  422.  
  423. /*----------------------------------------------------------------------*/
  424.  
  425. DocObj* 
  426. makeDocObjUsingParagraphs(docID,type,start,end)
  427. any* docID;
  428. char* type;
  429. any* start;
  430. any* end;
  431.  
  432. /* construct a document object using byte chunks - only for use by
  433.    servers */
  434. {
  435.   DocObj* doc = (DocObj*)s_malloc((size_t)sizeof(DocObj));
  436.   doc->ChunkCode = CT_paragraph;
  437.   doc->DocumentID = docID;        /* not copied */
  438.   doc->Type = type;
  439.   doc->ChunkStart.ID = start; 
  440.   doc->ChunkEnd.ID = end; 
  441.   return(doc);
  442. }
  443.  
  444. /*----------------------------------------------------------------------*/
  445.  
  446. void
  447. freeDocObj(doc)
  448. DocObj* doc;
  449.  
  450. /* free a docObj */
  451. {
  452.   freeAny(doc->DocumentID);
  453.   s_free(doc->Type);
  454.   if (doc->ChunkCode == CT_paragraph)
  455.     { freeAny(doc->ChunkStart.ID);
  456.       freeAny(doc->ChunkEnd.ID);
  457.     }
  458.   s_free(doc);
  459. }
  460.  
  461. /*----------------------------------------------------------------------*/
  462.  
  463. static char* writeDocObj _AP((DocObj* doc,char* buffer,long* len));
  464.  
  465. static char*
  466. writeDocObj(doc,buffer,len)
  467. DocObj* doc;
  468. char* buffer;
  469. long* len;
  470.  
  471. /* write as little as we can about the doc obj */
  472. {
  473.   char* buf = buffer;
  474.   
  475.   /* we alwasy have to write the id, but its tag depends on if its a chunk */
  476.   if (doc->ChunkCode == CT_document)
  477.     buf = writeAny(doc->DocumentID,DT_DocumentID,buf,len);
  478.   else
  479.     buf = writeAny(doc->DocumentID,DT_DocumentIDChunk,buf,len);
  480.   
  481.   if (doc->Type != NULL)
  482.     buf = writeString(doc->Type,DT_TYPE,buf,len);
  483.   
  484.   switch (doc->ChunkCode)
  485.     { case CT_document:
  486.     /* do nothing - there is no chunk data */
  487.     break;
  488.       case CT_byte:
  489.       case CT_line:
  490.     buf = writeNum(doc->ChunkCode,DT_ChunkCode,buf,len);
  491.     buf = writeNum(doc->ChunkStart.Pos,DT_ChunkStartID,buf,len);
  492.     buf = writeNum(doc->ChunkEnd.Pos,DT_ChunkEndID,buf,len);
  493.     break;
  494.       case CT_paragraph:
  495.     buf = writeNum(doc->ChunkCode,DT_ChunkCode,buf,len);
  496.     buf = writeAny(doc->ChunkStart.ID,DT_ChunkStartID,buf,len);
  497.     buf = writeAny(doc->ChunkEnd.ID,DT_ChunkEndID,buf,len);
  498.     break;
  499.       default:
  500.     panic("Implementation error: unknown chuck type %ld",
  501.           doc->ChunkCode);
  502.     break;
  503.       }
  504.    
  505.   return(buf);
  506. }
  507.  
  508. /*----------------------------------------------------------------------*/
  509.  
  510. static char* readDocObj _AP((DocObj** doc,char* buffer));
  511.  
  512. static char*
  513. readDocObj(doc,buffer)
  514. DocObj** doc;
  515. char* buffer;
  516.  
  517. /* read whatever we have about the new document */
  518. {
  519.   char* buf = buffer;
  520.   data_tag tag;
  521.   
  522.   *doc = (DocObj*)s_malloc((size_t)sizeof(DocObj));
  523.   
  524.   tag = peekTag(buf);
  525.   buf = readAny(&((*doc)->DocumentID),buf);
  526.   
  527.   if (tag == DT_DocumentID)
  528.     { (*doc)->ChunkCode = CT_document;
  529.       tag = peekTag(buf);
  530.       if (tag == DT_TYPE)    /* XXX depends on DT_TYPE != what comes next */
  531.     buf = readString(&((*doc)->Type),buf);
  532.       /* ChunkStart and ChunkEnd are undefined */
  533.     }
  534.   else if (tag == DT_DocumentIDChunk)
  535.     { Boolean readParagraphs = false; /* for cleanup */
  536.       tag = peekTag(buf);
  537.       if (tag == DT_TYPE)    /* XXX depends on DT_TYPE != CT_FOO */
  538.     buf = readString(&((*doc)->Type),buf);
  539.       buf = readNum(&((*doc)->ChunkCode),buf);
  540.       switch ((*doc)->ChunkCode)
  541.     { case CT_byte:
  542.       case CT_line:
  543.         buf = readNum(&((*doc)->ChunkStart.Pos),buf);
  544.         buf = readNum(&((*doc)->ChunkEnd.Pos),buf);
  545.         break;
  546.       case CT_paragraph:
  547.         readParagraphs = true;
  548.         buf = readAny(&((*doc)->ChunkStart.ID),buf);
  549.         buf = readAny(&((*doc)->ChunkEnd.ID),buf);
  550.         break;
  551.       default:
  552.         freeAny((*doc)->DocumentID);
  553.         if (readParagraphs)
  554.           { freeAny((*doc)->ChunkStart.ID);
  555.         freeAny((*doc)->ChunkEnd.ID);
  556.           }
  557.         s_free(doc);
  558.         REPORT_READ_ERROR(buf);
  559.         break;
  560.       }
  561.     }
  562.   else
  563.     { freeAny((*doc)->DocumentID);
  564.       s_free(*doc);
  565.       REPORT_READ_ERROR(buf);
  566.     }
  567.   return(buf);  
  568. }
  569.  
  570. /*----------------------------------------------------------------------*/
  571.  
  572. char* 
  573. writeSearchInfo(query,buffer,len)
  574. SearchAPDU* query;
  575. char* buffer;
  576. long* len;
  577.  
  578. /* write out a WAIS query (type 1 or 3) */
  579. {
  580.   if (strcmp(query->QueryType,QT_TextRetrievalQuery) == 0)
  581.     { return(writeAny((any*)query->Query,DT_Query,buffer,len));
  582.     }
  583.   else
  584.     { unsigned long header_len = userInfoTagSize(DT_UserInformationLength,
  585.                          DefWAISSearchSize); 
  586.       char* buf = buffer + header_len;
  587.       WAISSearch* info = (WAISSearch*)query->Query;
  588.       unsigned long size;
  589.       long i;
  590.   
  591.       RESERVE_SPACE_FOR_WAIS_HEADER(len);
  592.        
  593.       buf = writeString(info->SeedWords,DT_SeedWords,buf,len);
  594.  
  595.       if (info->Docs != NULL)
  596.       { for (i = 0; info->Docs[i] != NULL; i++)
  597.       { buf = writeDocObj(info->Docs[i],buf,len);
  598.       }
  599.     }
  600.    
  601.       /* XXX text list */
  602.  
  603.       buf = writeNum(info->DateFactor,DT_DateFactor,buf,len);
  604.       buf = writeString(info->BeginDateRange,DT_BeginDateRange,buf,len);
  605.       buf = writeString(info->EndDateRange,DT_EndDateRange,buf,len);
  606.       buf = writeNum(info->MaxDocumentsRetrieved,DT_MaxDocumentsRetrieved,buf,len);
  607.   
  608.       /* now write the header and size */
  609.       size = buf - buffer; 
  610.       buf = writeUserInfoHeader(DT_UserInformationLength,size,header_len,buffer,len);
  611.    
  612.       return(buf);
  613.     }
  614. }
  615.  
  616. /*----------------------------------------------------------------------*/
  617.  
  618. char* 
  619. readSearchInfo(info,buffer)
  620. void** info;
  621. char* buffer;
  622.  
  623. /* read a WAIS query (type 1 or 3) */
  624. {
  625.   data_tag type = peekTag(buffer);
  626.   if (type == DT_Query)        /* this is a type 1 query */
  627.     { char* buf = buffer;
  628.       any* query = NULL;
  629.       buf = readAny(&query,buf);
  630.       *info = (void *)query;
  631.       return(buf);
  632.     }
  633.   else                /* a type 3 query */
  634.     { char* buf = buffer;
  635.       unsigned long size; 
  636.       unsigned long headerSize;
  637.       data_tag tag;
  638.       char* seedWords = NULL;
  639.       char* beginDateRange = NULL;
  640.       char* endDateRange = NULL;
  641.       long dateFactor,maxDocsRetrieved;
  642.       char** textList = NULL; 
  643.       DocObj** docIDs = NULL;
  644.       DocObj* doc = NULL;
  645.       long docs = 0;
  646.       long i;
  647.       void* ptr = NULL;
  648.  
  649.       dateFactor = maxDocsRetrieved = UNUSED;
  650.   
  651.       buf = readUserInfoHeader(&tag,&size,buf);
  652.       headerSize = buf - buffer;
  653.   
  654.       while (buf < (buffer + size + headerSize))
  655.     { data_tag tag = peekTag(buf);
  656.       switch (tag)
  657.         { case DT_SeedWords:
  658.         buf = readString(&seedWords,buf);
  659.         break;
  660.           case DT_DocumentID:
  661.           case DT_DocumentIDChunk:
  662.         if (docIDs == NULL) /* create a new doc list */
  663.           { docIDs = (DocObj**)s_malloc((size_t)sizeof(DocObj*) * 2);
  664.           }
  665.         else        /* grow the doc list */
  666.           { docIDs = (DocObj**)s_realloc((char*)docIDs,(size_t)(sizeof(DocObj*) * (docs + 2)));
  667.           }
  668.         buf = readDocObj(&doc,buf);
  669.         if (buf == NULL) 
  670.           { s_free(seedWords);
  671.             s_free(beginDateRange);
  672.             s_free(endDateRange);
  673.             if (docIDs != NULL)
  674.               for (i = 0,ptr = (void *)docIDs[i]; ptr != NULL; ptr = (void *)docIDs[++i])
  675.             freeDocObj((DocObj*)ptr);
  676.             s_free(docIDs);
  677.             /* XXX should also free textlist when it is fully defined */
  678.           }
  679.         RETURN_ON_NULL(buf);
  680.         docIDs[docs++] = doc; /* put it in the list */
  681.         docIDs[docs] = NULL;
  682.         break;
  683.           case DT_TextList:
  684.         /* XXX */
  685.         break;
  686.           case DT_DateFactor:
  687.         buf = readNum(&dateFactor,buf);
  688.         break;
  689.           case DT_BeginDateRange:
  690.         buf = readString(&beginDateRange,buf);
  691.         break;
  692.           case DT_EndDateRange:
  693.         buf = readString(&endDateRange,buf);
  694.         break;
  695.           case DT_MaxDocumentsRetrieved:
  696.         buf = readNum(&maxDocsRetrieved,buf);
  697.         break;
  698.           default:
  699.         s_free(seedWords);
  700.         s_free(beginDateRange);
  701.         s_free(endDateRange);
  702.         if (docIDs != NULL)
  703.           for (i = 0,ptr = (void *)docIDs[i]; ptr != NULL; ptr = (void *)docIDs[++i])
  704.             freeDocObj((DocObj*)ptr);
  705.         s_free(docIDs);
  706.         /* XXX should also free textlist when it is fully defined */
  707.         REPORT_READ_ERROR(buf);
  708.         break;
  709.           }
  710.     }
  711.         
  712.       *info = (void *)makeWAISSearch(seedWords,docIDs,textList,
  713.                      dateFactor,beginDateRange,endDateRange,
  714.                      maxDocsRetrieved);
  715.       return(buf);
  716.     }
  717. }
  718.  
  719. /*----------------------------------------------------------------------*/
  720.  
  721. WAISDocumentHeader*
  722. makeWAISDocumentHeader(docID,
  723.                versionNumber,
  724.                score,
  725.                bestMatch,
  726.                docLen,
  727.                lines,
  728.                types,
  729.                source,
  730.                date,
  731.                headline,
  732.                originCity)
  733. any* docID;
  734. long versionNumber;
  735. long score;
  736. long bestMatch;
  737. long docLen;
  738. long lines;
  739. char** types;
  740. char* source;
  741. char* date;
  742. char* headline;
  743. char* originCity;
  744.  
  745. /* construct a standard document header, note that no fields are copied!
  746.    if the application needs to save these fields, it should copy them,
  747.    or set the field in this object to NULL before freeing it.
  748.  */
  749. {
  750.   WAISDocumentHeader* header = 
  751.     (WAISDocumentHeader*)s_malloc((size_t)sizeof(WAISDocumentHeader));
  752.  
  753.   header->DocumentID = docID;
  754.   header->VersionNumber = versionNumber;
  755.   header->Score = score;
  756.   header->BestMatch = bestMatch;
  757.   header->DocumentLength = docLen;
  758.   header->Lines = lines;
  759.   header->Types = types;
  760.   header->Source = source;
  761.   header->Date = date;
  762.   header->Headline = headline;
  763.   header->OriginCity = originCity;
  764.   
  765.   return(header);
  766. }
  767.  
  768. /*----------------------------------------------------------------------*/
  769.  
  770. void
  771. freeWAISDocumentHeader(header)
  772. WAISDocumentHeader* header;
  773.  
  774. {
  775.   freeAny(header->DocumentID);
  776.   doList((void**)header->Types,fs_free); /* can't use the macro here ! */
  777.   s_free(header->Types);
  778.   s_free(header->Source);
  779.   s_free(header->Date);
  780.   s_free(header->Headline);
  781.   s_free(header->OriginCity);
  782.   s_free(header);
  783. }
  784.  
  785. /*----------------------------------------------------------------------*/
  786.  
  787. char*
  788. writeWAISDocumentHeader(header,buffer,len)
  789. WAISDocumentHeader* header;
  790. char* buffer;
  791. long* len;
  792. {
  793.   unsigned long header_len = userInfoTagSize(DT_DocumentHeaderGroup ,
  794.                          DefWAISDocHeaderSize);
  795.   char* buf = buffer + header_len;
  796.   unsigned long size;
  797.   
  798.   RESERVE_SPACE_FOR_WAIS_HEADER(len);
  799.    
  800.   buf = writeAny(header->DocumentID,DT_DocumentID,buf,len);
  801.   buf = writeNum(header->VersionNumber,DT_VersionNumber,buf,len);
  802.   buf = writeNum(header->Score,DT_Score,buf,len);
  803.   buf = writeNum(header->BestMatch,DT_BestMatch,buf,len);
  804.   buf = writeNum(header->DocumentLength,DT_DocumentLength,buf,len);
  805.   buf = writeNum(header->Lines,DT_Lines,buf,len);
  806.   if (header->Types != NULL)
  807.     { long size;
  808.       char* ptr = NULL;
  809.       long i;
  810.       buf = writeTag(DT_TYPE_BLOCK,buf,len);
  811.       for (i = 0,size = 0,ptr = header->Types[i]; ptr != NULL; ptr = header->Types[++i])
  812.     { long typeSize = strlen(ptr);
  813.       size += writtenTagSize(DT_TYPE);
  814.       size += writtenCompressedIntSize(typeSize);
  815.       size += typeSize; 
  816.     }
  817.       buf = writeCompressedInteger((unsigned long)size,buf,len);
  818.       for (i = 0,ptr = header->Types[i]; ptr != NULL; ptr = header->Types[++i])
  819.     buf = writeString(ptr,DT_TYPE,buf,len);
  820.     }
  821.   buf = writeString(header->Source,DT_Source,buf,len);
  822.   buf = writeString(header->Date,DT_Date,buf,len);
  823.   buf = writeString(header->Headline,DT_Headline,buf,len);
  824.   buf = writeString(header->OriginCity,DT_OriginCity,buf,len);
  825.   
  826.   /* now write the header and size */
  827.   size = buf - buffer; 
  828.   buf = writeUserInfoHeader(DT_DocumentHeaderGroup,size,header_len,buffer,len);
  829.  
  830.   return(buf);
  831. }
  832.  
  833. /*----------------------------------------------------------------------*/
  834.  
  835. char*
  836. readWAISDocumentHeader(header,buffer)
  837. WAISDocumentHeader** header;
  838. char* buffer;
  839. {
  840.   char* buf = buffer;
  841.   unsigned long size; 
  842.   unsigned long headerSize;
  843.   data_tag tag;
  844.   any* docID = NULL;
  845.   long versionNumber,score,bestMatch,docLength,lines;
  846.   char** types = NULL;
  847.   char *source = NULL;
  848.   char *date = NULL;
  849.   char *headline = NULL;
  850.   char *originCity = NULL;
  851.   
  852.   versionNumber = score = bestMatch = docLength = lines = UNUSED;
  853.   
  854.   buf = readUserInfoHeader(&tag,&size,buf);
  855.   headerSize = buf - buffer;
  856.     
  857.   while (buf < (buffer + size + headerSize))
  858.     { data_tag tag = peekTag(buf);
  859.       switch (tag)
  860.     { case DT_DocumentID:
  861.         buf = readAny(&docID,buf);
  862.         break;
  863.       case DT_VersionNumber:
  864.         buf = readNum(&versionNumber,buf);
  865.         break;
  866.       case DT_Score:
  867.         buf = readNum(&score,buf);
  868.         break;
  869.       case DT_BestMatch:
  870.         buf = readNum(&bestMatch,buf);
  871.         break;
  872.       case DT_DocumentLength:
  873.         buf = readNum(&docLength,buf);
  874.         break;
  875.       case DT_Lines:
  876.         buf = readNum(&lines,buf);
  877.         break;
  878.       case DT_TYPE_BLOCK:
  879.         { unsigned long size = -1;
  880.           long numTypes = 0;
  881.           buf = readTag(&tag,buf);
  882.           buf = readCompressedInteger(&size,buf);
  883.           while (size > 0)
  884.         { char* type = NULL;
  885.           char* originalBuf = buf;
  886.           buf = readString(&type,buf);
  887.           types = (char**)s_realloc(types,(size_t)(sizeof(char*) * (numTypes + 2)));
  888.           types[numTypes++] = type;
  889.           types[numTypes] = NULL;
  890.           size -= (buf - originalBuf);
  891.         }
  892.         }
  893.       case DT_Source:
  894.         buf = readString(&source,buf);
  895.         break;
  896.       case DT_Date:
  897.         buf = readString(&date,buf);
  898.         break;
  899.       case DT_Headline:
  900.         buf = readString(&headline,buf);
  901.         break;
  902.       case DT_OriginCity:
  903.         buf = readString(&originCity,buf);
  904.         break;
  905.       default:
  906.         freeAny(docID);
  907.         s_free(source);
  908.         s_free(date);
  909.         s_free(headline);
  910.         s_free(originCity);
  911.         REPORT_READ_ERROR(buf);
  912.         break;
  913.       }
  914.     }
  915.         
  916.   *header = makeWAISDocumentHeader(docID,versionNumber,score,bestMatch,
  917.                    docLength,lines,types,source,date,headline,
  918.                    originCity);
  919.   return(buf);
  920. }
  921.  
  922. /*----------------------------------------------------------------------*/
  923.  
  924. WAISDocumentShortHeader*
  925. makeWAISDocumentShortHeader(docID,
  926.                 versionNumber,
  927.                 score,
  928.                 bestMatch,
  929.                 docLen,
  930.                 lines)
  931. any* docID;
  932. long versionNumber;
  933. long score;
  934. long bestMatch;
  935. long docLen;
  936. long lines;
  937. /* construct a short document header, note that no fields are copied!
  938.    if the application needs to save these fields, it should copy them,
  939.    or set the field in this object to NULL before freeing it.
  940.  */
  941. {
  942.   WAISDocumentShortHeader* header = 
  943.     (WAISDocumentShortHeader*)s_malloc((size_t)sizeof(WAISDocumentShortHeader));
  944.  
  945.   header->DocumentID = docID;
  946.   header->VersionNumber = versionNumber;
  947.   header->Score = score;
  948.   header->BestMatch = bestMatch;
  949.   header->DocumentLength = docLen;
  950.   header->Lines = lines;
  951.   
  952.   return(header);
  953. }
  954.  
  955. /*----------------------------------------------------------------------*/
  956.  
  957. void
  958. freeWAISDocumentShortHeader(header)
  959. WAISDocumentShortHeader* header;
  960. {
  961.   freeAny(header->DocumentID);
  962.   s_free(header);
  963. }
  964.  
  965. /*----------------------------------------------------------------------*/
  966.  
  967. char*
  968. writeWAISDocumentShortHeader(header,buffer,len)
  969. WAISDocumentShortHeader* header;
  970. char* buffer;
  971. long* len;
  972. {
  973.   unsigned long header_len = userInfoTagSize(DT_DocumentShortHeaderGroup ,
  974.                          DefWAISShortHeaderSize);
  975.   char* buf = buffer + header_len;
  976.   unsigned long size;
  977.   
  978.   RESERVE_SPACE_FOR_WAIS_HEADER(len);
  979.    
  980.   buf = writeAny(header->DocumentID,DT_DocumentID,buf,len);
  981.   buf = writeNum(header->VersionNumber,DT_VersionNumber,buf,len);
  982.   buf = writeNum(header->Score,DT_Score,buf,len);
  983.   buf = writeNum(header->BestMatch,DT_BestMatch,buf,len);
  984.   buf = writeNum(header->DocumentLength,DT_DocumentLength,buf,len);
  985.   buf = writeNum(header->Lines,DT_Lines,buf,len);
  986.   
  987.   /* now write the header and size */
  988.   size = buf - buffer; 
  989.   buf = writeUserInfoHeader(DT_DocumentShortHeaderGroup,size,header_len,buffer,len);
  990.  
  991.   return(buf);
  992. }
  993.  
  994. /*----------------------------------------------------------------------*/
  995.  
  996. char*
  997. readWAISDocumentShortHeader(header,buffer)
  998. WAISDocumentShortHeader** header;
  999. char* buffer;
  1000. {
  1001.   char* buf = buffer;
  1002.   unsigned long size; 
  1003.   unsigned long headerSize;
  1004.   data_tag tag;
  1005.   any* docID = NULL;
  1006.   long versionNumber,score,bestMatch,docLength,lines;
  1007.   
  1008.   versionNumber = score = bestMatch = docLength = lines = UNUSED;
  1009.   
  1010.   buf = readUserInfoHeader(&tag,&size,buf);
  1011.   headerSize = buf - buffer;
  1012.     
  1013.   while (buf < (buffer + size + headerSize))
  1014.     { data_tag tag = peekTag(buf);
  1015.       switch (tag)
  1016.     { case DT_DocumentID:
  1017.         buf = readAny(&docID,buf);
  1018.         break;
  1019.       case DT_VersionNumber:
  1020.         buf = readNum(&versionNumber,buf);
  1021.         break;
  1022.       case DT_Score:
  1023.         buf = readNum(&score,buf);
  1024.         break;
  1025.       case DT_BestMatch:
  1026.         buf = readNum(&bestMatch,buf);
  1027.         break;
  1028.       case DT_DocumentLength:
  1029.         buf = readNum(&docLength,buf);
  1030.         break;
  1031.       case DT_Lines:
  1032.         buf = readNum(&lines,buf);
  1033.         break;
  1034.       default:
  1035.         freeAny(docID);
  1036.         REPORT_READ_ERROR(buf);
  1037.         break;
  1038.       }
  1039.     }
  1040.         
  1041.   *header = makeWAISDocumentShortHeader(docID,versionNumber,score,bestMatch,
  1042.                     docLength,lines);
  1043.   return(buf);
  1044. }
  1045.  
  1046. /*----------------------------------------------------------------------*/
  1047.  
  1048. WAISDocumentLongHeader*
  1049. makeWAISDocumentLongHeader(docID,
  1050.                versionNumber,
  1051.                score,
  1052.                bestMatch,
  1053.                docLen,
  1054.                lines,
  1055.                types,
  1056.                source,
  1057.                date,
  1058.                headline,
  1059.                originCity,
  1060.                stockCodes,
  1061.                companyCodes,
  1062.                industryCodes)
  1063. any* docID;
  1064. long versionNumber;
  1065. long score;
  1066. long bestMatch;
  1067. long docLen;
  1068. long lines;
  1069. char** types;
  1070. char* source;
  1071. char* date;
  1072. char* headline;
  1073. char* originCity;
  1074. char* stockCodes;
  1075. char* companyCodes;
  1076. char* industryCodes;
  1077. /* construct a long document header, note that no fields are copied!
  1078.    if the application needs to save these fields, it should copy them,
  1079.    or set the field in this object to NULL before freeing it.
  1080.  */
  1081. {
  1082.   WAISDocumentLongHeader* header = 
  1083.     (WAISDocumentLongHeader*)s_malloc((size_t)sizeof(WAISDocumentLongHeader));
  1084.  
  1085.   header->DocumentID = docID;
  1086.   header->VersionNumber = versionNumber;
  1087.   header->Score = score;
  1088.   header->BestMatch = bestMatch;
  1089.   header->DocumentLength = docLen;
  1090.   header->Lines = lines;
  1091.   header->Types = types;
  1092.   header->Source = source;
  1093.   header->Date = date;
  1094.   header->Headline = headline;
  1095.   header->OriginCity = originCity;
  1096.   header->StockCodes = stockCodes;
  1097.   header->CompanyCodes = companyCodes;
  1098.   header->IndustryCodes = industryCodes;
  1099.   
  1100.   return(header);
  1101. }
  1102.  
  1103. /*----------------------------------------------------------------------*/
  1104.  
  1105. void
  1106. freeWAISDocumentLongHeader(header)
  1107. WAISDocumentLongHeader* header;
  1108. {
  1109.   freeAny(header->DocumentID);
  1110.   doList((void**)header->Types,fs_free); /* can't use the macro here! */
  1111.   s_free(header->Source);
  1112.   s_free(header->Date);
  1113.   s_free(header->Headline);
  1114.   s_free(header->OriginCity);
  1115.   s_free(header->StockCodes);
  1116.   s_free(header->CompanyCodes);
  1117.   s_free(header->IndustryCodes);
  1118.   s_free(header);
  1119. }
  1120.  
  1121. /*----------------------------------------------------------------------*/
  1122.  
  1123. char*
  1124. writeWAISDocumentLongHeader(header,buffer,len)
  1125. WAISDocumentLongHeader* header;
  1126. char* buffer;
  1127. long* len;
  1128. {
  1129.   unsigned long header_len = userInfoTagSize(DT_DocumentLongHeaderGroup ,
  1130.                          DefWAISLongHeaderSize);
  1131.   char* buf = buffer + header_len;
  1132.   unsigned long size;
  1133.   
  1134.   RESERVE_SPACE_FOR_WAIS_HEADER(len);
  1135.    
  1136.   buf = writeAny(header->DocumentID,DT_DocumentID,buf,len);
  1137.   buf = writeNum(header->VersionNumber,DT_VersionNumber,buf,len);
  1138.   buf = writeNum(header->Score,DT_Score,buf,len);
  1139.   buf = writeNum(header->BestMatch,DT_BestMatch,buf,len);
  1140.   buf = writeNum(header->DocumentLength,DT_DocumentLength,buf,len);
  1141.   buf = writeNum(header->Lines,DT_Lines,buf,len);
  1142.   if (header->Types != NULL)
  1143.     { long size;
  1144.       char* ptr = NULL;
  1145.       long i;
  1146.       buf = writeTag(DT_TYPE_BLOCK,buf,len);
  1147.       for (i = 0,size = 0,ptr = header->Types[i]; ptr != NULL; ptr = header->Types[++i])
  1148.     { long typeSize = strlen(ptr);
  1149.       size += writtenTagSize(DT_TYPE);
  1150.       size += writtenCompressedIntSize(typeSize);
  1151.       size += typeSize; 
  1152.     }
  1153.       buf = writeCompressedInteger((unsigned long)size,buf,len);
  1154.       for (i = 0,ptr = header->Types[i]; ptr != NULL; ptr = header->Types[++i])
  1155.     buf = writeString(ptr,DT_TYPE,buf,len);
  1156.     }
  1157.   buf = writeString(header->Source,DT_Source,buf,len);
  1158.   buf = writeString(header->Date,DT_Date,buf,len);
  1159.   buf = writeString(header->Headline,DT_Headline,buf,len);
  1160.   buf = writeString(header->OriginCity,DT_OriginCity,buf,len);
  1161.   buf = writeString(header->StockCodes,DT_StockCodes,buf,len);
  1162.   buf = writeString(header->CompanyCodes,DT_CompanyCodes,buf,len);
  1163.   buf = writeString(header->IndustryCodes,DT_IndustryCodes,buf,len);
  1164.   
  1165.   /* now write the header and size */
  1166.   size = buf - buffer; 
  1167.   buf = writeUserInfoHeader(DT_DocumentLongHeaderGroup,size,header_len,buffer,len);
  1168.  
  1169.   return(buf);
  1170. }
  1171.  
  1172. /*----------------------------------------------------------------------*/
  1173.  
  1174. char*
  1175. readWAISDocumentLongHeader(header,buffer)
  1176. WAISDocumentLongHeader** header;
  1177. char* buffer;
  1178. {
  1179.   char* buf = buffer;
  1180.   unsigned long size; 
  1181.   unsigned long headerSize;
  1182.   data_tag tag;
  1183.   any* docID;
  1184.   long versionNumber,score,bestMatch,docLength,lines;
  1185.   char **types;
  1186.   char *source,*date,*headline,*originCity,*stockCodes,*companyCodes,*industryCodes;
  1187.   
  1188.   docID = NULL;
  1189.   versionNumber = score = bestMatch = docLength = lines = UNUSED;
  1190.   types = NULL;
  1191.   source = date = headline = originCity = stockCodes = companyCodes = industryCodes = NULL;
  1192.   
  1193.   buf = readUserInfoHeader(&tag,&size,buf);
  1194.   headerSize = buf - buffer;
  1195.     
  1196.   while (buf < (buffer + size + headerSize))
  1197.     { data_tag tag = peekTag(buf);
  1198.       switch (tag)
  1199.     { case DT_DocumentID:
  1200.         buf = readAny(&docID,buf);
  1201.         break;
  1202.       case DT_VersionNumber:
  1203.         buf = readNum(&versionNumber,buf);
  1204.         break;
  1205.       case DT_Score:
  1206.         buf = readNum(&score,buf);
  1207.         break;
  1208.       case DT_BestMatch:
  1209.         buf = readNum(&bestMatch,buf);
  1210.         break;
  1211.       case DT_DocumentLength:
  1212.         buf = readNum(&docLength,buf);
  1213.         break;
  1214.       case DT_Lines:
  1215.         buf = readNum(&lines,buf);
  1216.         break;
  1217.       case DT_TYPE_BLOCK:
  1218.         { unsigned long size = -1;
  1219.           long numTypes = 0;
  1220.           buf = readTag(&tag,buf);
  1221.           readCompressedInteger(&size,buf);
  1222.           while (size > 0)
  1223.         { char* type = NULL;
  1224.           char* originalBuf = buf;
  1225.           buf = readString(&type,buf);
  1226.           types = (char**)s_realloc(types,(size_t)(sizeof(char*) * (numTypes + 2)));
  1227.           types[numTypes++] = type;
  1228.           types[numTypes] = NULL;
  1229.           size -= (buf - originalBuf);
  1230.         }
  1231.         }
  1232.       case DT_Source:
  1233.         buf = readString(&source,buf);
  1234.         break;
  1235.       case DT_Date:
  1236.         buf = readString(&date,buf);
  1237.         break;
  1238.       case DT_Headline:
  1239.         buf = readString(&headline,buf);
  1240.         break;
  1241.       case DT_OriginCity:
  1242.         buf = readString(&originCity,buf);
  1243.         break;
  1244.       case DT_StockCodes:
  1245.         buf = readString(&stockCodes,buf);
  1246.         break;
  1247.       case DT_CompanyCodes:
  1248.         buf = readString(&companyCodes,buf);
  1249.         break;
  1250.       case DT_IndustryCodes:
  1251.         buf = readString(&industryCodes,buf);
  1252.         break;
  1253.       default:
  1254.         freeAny(docID);
  1255.         s_free(source);
  1256.         s_free(date);
  1257.         s_free(headline);
  1258.         s_free(originCity);
  1259.         s_free(stockCodes);
  1260.         s_free(companyCodes);
  1261.         s_free(industryCodes);
  1262.         REPORT_READ_ERROR(buf);
  1263.         break;
  1264.       }
  1265.     }
  1266.         
  1267.   *header = makeWAISDocumentLongHeader(docID,versionNumber,score,bestMatch,
  1268.                        docLength,lines,types,source,date,headline,
  1269.                        originCity,stockCodes,companyCodes,
  1270.                        industryCodes);
  1271.   return(buf);
  1272. }
  1273.  
  1274. /*----------------------------------------------------------------------*/
  1275.  
  1276. WAISSearchResponse*
  1277. makeWAISSearchResponse(seedWordsUsed,
  1278.                docHeaders,
  1279.                shortHeaders,
  1280.                longHeaders,
  1281.                text,
  1282.                headlines,
  1283.                codes,
  1284.                diagnostics)
  1285. char* seedWordsUsed;
  1286. WAISDocumentHeader** docHeaders;
  1287. WAISDocumentShortHeader** shortHeaders;
  1288. WAISDocumentLongHeader** longHeaders;
  1289. WAISDocumentText** text;
  1290. WAISDocumentHeadlines** headlines;
  1291. WAISDocumentCodes** codes;
  1292. diagnosticRecord** diagnostics;
  1293. {
  1294.   WAISSearchResponse* response = (WAISSearchResponse*)s_malloc((size_t)sizeof(WAISSearchResponse));
  1295.   
  1296.   response->SeedWordsUsed = seedWordsUsed;
  1297.   response->DocHeaders = docHeaders;
  1298.   response->ShortHeaders = shortHeaders;
  1299.   response->LongHeaders = longHeaders;
  1300.   response->Text = text;
  1301.   response->Headlines = headlines;
  1302.   response->Codes = codes;
  1303.   response->Diagnostics = diagnostics;
  1304.   
  1305.   return(response);
  1306. }
  1307.  
  1308. /*----------------------------------------------------------------------*/
  1309.  
  1310. void
  1311. freeWAISSearchResponse(response)
  1312. WAISSearchResponse* response;
  1313. {
  1314.   void* ptr = NULL;
  1315.   long i;
  1316.  
  1317.   s_free(response->SeedWordsUsed);
  1318.  
  1319.   if (response->DocHeaders != NULL)
  1320.     for (i = 0,ptr = (void *)response->DocHeaders[i]; ptr != NULL; ptr = (void *)response->DocHeaders[++i])
  1321.       freeWAISDocumentHeader((WAISDocumentHeader*)ptr);
  1322.   s_free(response->DocHeaders);
  1323.    
  1324.   if (response->ShortHeaders != NULL)
  1325.     for (i = 0,ptr = (void *)response->ShortHeaders[i]; ptr != NULL; ptr = (void *)response->ShortHeaders[++i])
  1326.       freeWAISDocumentShortHeader((WAISDocumentShortHeader*)ptr);
  1327.   s_free(response->ShortHeaders);
  1328.    
  1329.   if (response->LongHeaders != NULL)
  1330.     for (i = 0,ptr = (void *)response->LongHeaders[i]; ptr != NULL; ptr = (void *)response->LongHeaders[++i])
  1331.       freeWAISDocumentLongHeader((WAISDocumentLongHeader*)ptr);
  1332.   s_free(response->LongHeaders);
  1333.    
  1334.   if (response->Text != NULL)
  1335.     for (i = 0,ptr = (void *)response->Text[i]; ptr != NULL; ptr = (void *)response->Text[++i])
  1336.       freeWAISDocumentText((WAISDocumentText*)ptr);
  1337.   s_free(response->Text);
  1338.    
  1339.   if (response->Headlines != NULL)
  1340.     for (i = 0,ptr = (void *)response->Headlines[i]; ptr != NULL; ptr = (void *)response->Headlines[++i])
  1341.       freeWAISDocumentHeadlines((WAISDocumentHeadlines*)ptr);
  1342.   s_free(response->Headlines);
  1343.    
  1344.   if (response->Codes != NULL)
  1345.     for (i = 0,ptr = (void *)response->Codes[i]; ptr != NULL; ptr = (void *)response->Codes[++i])
  1346.       freeWAISDocumentCodes((WAISDocumentCodes*)ptr);
  1347.   s_free(response->Codes);
  1348.    
  1349.   if (response->Diagnostics != NULL)
  1350.     for (i = 0,ptr = (void *)response->Diagnostics[i]; ptr != NULL; ptr = (void *)response->Diagnostics[++i])
  1351.       freeDiag((diagnosticRecord*)ptr);
  1352.   s_free(response->Diagnostics);
  1353.   
  1354.   s_free(response);
  1355. }
  1356.  
  1357. /*----------------------------------------------------------------------*/
  1358.  
  1359. char* 
  1360. writeSearchResponseInfo(query,buffer,len)
  1361. SearchResponseAPDU* query;
  1362. char* buffer;
  1363. long* len;
  1364. {
  1365.   unsigned long header_len = userInfoTagSize(DT_UserInformationLength,
  1366.                          DefWAISSearchResponseSize);
  1367.   char* buf = buffer + header_len;
  1368.   WAISSearchResponse* info = (WAISSearchResponse*)query->DatabaseDiagnosticRecords;
  1369.   unsigned long size;
  1370.   void* header = NULL;
  1371.   long i;
  1372.   
  1373.   RESERVE_SPACE_FOR_WAIS_HEADER(len);
  1374.   
  1375.   buf = writeString(info->SeedWordsUsed,DT_SeedWordsUsed,buf,len);
  1376.   
  1377.   /* write out all the headers */
  1378.   if (info->DocHeaders != NULL)
  1379.     { for (i = 0,header = (void *)info->DocHeaders[i]; header != NULL; header = (void *)info->DocHeaders[++i])
  1380.     buf = writeWAISDocumentHeader((WAISDocumentHeader*)header,buf,len);
  1381.       }
  1382.    
  1383.   if (info->ShortHeaders != NULL)
  1384.     { for (i = 0,header = (void *)info->ShortHeaders[i]; header != NULL; header = (void *)info->ShortHeaders[++i])
  1385.     buf = writeWAISDocumentShortHeader((WAISDocumentShortHeader*)header,buf,len);
  1386.       }
  1387.  
  1388.   if (info->LongHeaders != NULL)
  1389.     { for (i = 0,header = (void *)info->LongHeaders[i]; header != NULL; header = (void *)info->LongHeaders[++i])
  1390.     buf = writeWAISDocumentLongHeader((WAISDocumentLongHeader*)header,buf,len);
  1391.       }
  1392.  
  1393.   if (info->Text != NULL)
  1394.     { for (i = 0,header = (void *)info->Text[i]; header != NULL; header = (void *)info->Text[++i])
  1395.     buf = writeWAISDocumentText((WAISDocumentText*)header,buf,len);
  1396.       }
  1397.  
  1398.   if (info->Headlines != NULL)
  1399.     { for (i = 0,header = (void *)info->Headlines[i]; header != NULL; header = (void *)info->Headlines[++i])
  1400.     buf = writeWAISDocumentHeadlines((WAISDocumentHeadlines*)header,buf,len);
  1401.       }
  1402.  
  1403.   if (info->Codes != NULL)
  1404.     { for (i = 0,header = (void *)info->Codes[i]; header != NULL;header = (void *)info->Codes[++i])
  1405.     buf = writeWAISDocumentCodes((WAISDocumentCodes*)header,buf,len);
  1406.       }
  1407.  
  1408.   if (info->Diagnostics != NULL)
  1409.     { for (i = 0, header = (void *)info->Diagnostics[i]; header != NULL; header = (void *)info->Diagnostics[++i])
  1410.     buf = writeDiag((diagnosticRecord*)header,buf,len);
  1411.       }
  1412.    
  1413.   /* now write the header and size */
  1414.   size = buf - buffer; 
  1415.   buf = writeUserInfoHeader(DT_UserInformationLength,size,header_len,buffer,len);
  1416.   
  1417.   return(buf);
  1418. }
  1419.  
  1420. /*----------------------------------------------------------------------*/
  1421.  
  1422. static void
  1423. cleanUpWaisSearchResponse _AP((char* buf,char* seedWordsUsed,
  1424.                    WAISDocumentHeader** docHeaders,
  1425.                    WAISDocumentShortHeader** shortHeaders,
  1426.                    WAISDocumentLongHeader** longHeaders,
  1427.                    WAISDocumentText** text,
  1428.                    WAISDocumentHeadlines** headlines,
  1429.                    WAISDocumentCodes** codes,
  1430.                    diagnosticRecord**diags));
  1431.  
  1432. static void
  1433. cleanUpWaisSearchResponse (buf,seedWordsUsed,docHeaders,shortHeaders,
  1434.                longHeaders,text,headlines,codes,diags)
  1435. char* buf;
  1436. char* seedWordsUsed;
  1437. WAISDocumentHeader** docHeaders;
  1438. WAISDocumentShortHeader** shortHeaders;
  1439. WAISDocumentLongHeader** longHeaders;
  1440. WAISDocumentText** text;
  1441. WAISDocumentHeadlines** headlines;
  1442. WAISDocumentCodes** codes;
  1443. diagnosticRecord** diags;
  1444. /* if buf is NULL, we have just gotten a read error, and need to clean up 
  1445.    any state we have built.  If not, then everything is going fine, and
  1446.    we should just hang loose
  1447.  */
  1448. {
  1449.   void* ptr = NULL;
  1450.   long i;
  1451.  
  1452.   if (buf == NULL)                        
  1453.    { s_free(seedWordsUsed);                
  1454.      if (docHeaders != NULL)                
  1455.        for (i = 0,ptr = (void *)docHeaders[i]; ptr != NULL; 
  1456.         ptr = (void *)docHeaders[++i])        
  1457.      freeWAISDocumentHeader((WAISDocumentHeader*)ptr);    
  1458.      s_free(docHeaders);                
  1459.      if (shortHeaders != NULL)    
  1460.        for (i = 0,ptr = (void *)shortHeaders[i]; ptr != NULL;
  1461.         ptr = (void *)shortHeaders[++i])    
  1462.      freeWAISDocumentShortHeader((WAISDocumentShortHeader*)ptr);
  1463.      s_free(shortHeaders);                        
  1464.      if (longHeaders != NULL)                
  1465.        for (i = 0,ptr = (void *)longHeaders[i]; ptr != NULL; 
  1466.         ptr = (void *)longHeaders[++i])    
  1467.      freeWAISDocumentLongHeader((WAISDocumentLongHeader*)ptr);
  1468.      s_free(longHeaders);                
  1469.      if (text != NULL)                    
  1470.        for (i = 0,ptr = (void *)text[i]; ptr != NULL; ptr = (void *)text[++i])
  1471.      freeWAISDocumentText((WAISDocumentText*)ptr);    
  1472.      s_free(text);                    
  1473.      if (headlines != NULL)                    
  1474.        for (i = 0,ptr = (void *)headlines[i]; ptr != NULL;
  1475.         ptr = (void *)headlines[++i])        
  1476.      freeWAISDocumentHeadlines((WAISDocumentHeadlines*)ptr);    
  1477.      s_free(headlines);                        
  1478.      if (codes != NULL)                     
  1479.        for (i = 0,ptr = (void *)codes[i]; ptr != NULL; 
  1480.         ptr = (void *)codes[++i])                
  1481.      freeWAISDocumentCodes((WAISDocumentCodes*)ptr);     
  1482.      s_free(codes);                    
  1483.      if (diags != NULL)                          
  1484.        for (i = 0,ptr = (void *)diags[i]; ptr != NULL; 
  1485.         ptr = (void *)diags[++i])     
  1486.      freeDiag((diagnosticRecord*)ptr);         
  1487.      s_free(diags);
  1488.    }
  1489. }
  1490.  
  1491. /*----------------------------------------------------------------------*/
  1492.  
  1493. char*
  1494. readSearchResponseInfo(info,buffer)
  1495. void** info;
  1496. char* buffer;
  1497. {
  1498.   char* buf = buffer;
  1499.   unsigned long size; 
  1500.   unsigned long headerSize;
  1501.   data_tag tag;
  1502.   void* header = NULL;
  1503.   WAISDocumentHeader** docHeaders = NULL;
  1504.   WAISDocumentShortHeader** shortHeaders = NULL;
  1505.   WAISDocumentLongHeader** longHeaders = NULL;
  1506.   WAISDocumentText** text = NULL;
  1507.   WAISDocumentHeadlines** headlines = NULL;
  1508.   WAISDocumentCodes** codes = NULL;
  1509.   long numDocHeaders,numLongHeaders,numShortHeaders,numText,numHeadlines;
  1510.   long numCodes;
  1511.   char* seedWordsUsed = NULL;
  1512.   diagnosticRecord** diags = NULL;
  1513.   diagnosticRecord* diag = NULL;
  1514.   long numDiags = 0;
  1515.   
  1516.   numDocHeaders = numLongHeaders = numShortHeaders = numText = numHeadlines = numCodes = 0;
  1517.   
  1518.   buf = readUserInfoHeader(&tag,&size,buf);
  1519.   headerSize = buf - buffer;
  1520.     
  1521.   while (buf < (buffer + size + headerSize))
  1522.    { data_tag tag = peekTag(buf);
  1523.      switch (tag)
  1524.       { case DT_SeedWordsUsed:
  1525.             buf = readString(&seedWordsUsed,buf);
  1526.             break;
  1527.           case DT_DatabaseDiagnosticRecords:
  1528.             if (diags == NULL) /* create a new diag list */
  1529.              { diags = (diagnosticRecord**)s_malloc((size_t)sizeof(diagnosticRecord*) * 2);
  1530.              }
  1531.             else /* grow the diag list */
  1532.              { diags = (diagnosticRecord**)s_realloc((char*)diags,(size_t)(sizeof(diagnosticRecord*) * (numDiags + 2)));
  1533.              }
  1534.             buf = readDiag(&diag,buf);
  1535.             diags[numDiags++] = diag; /* put it in the list */
  1536.             diags[numDiags] = NULL;
  1537.             break;
  1538.           case DT_DocumentHeaderGroup:
  1539.             if (docHeaders == NULL) /* create a new header list */
  1540.              { docHeaders = (WAISDocumentHeader**)s_malloc((size_t)sizeof(WAISDocumentHeader*) * 2);
  1541.              }
  1542.             else /* grow the doc list */
  1543.              { docHeaders = (WAISDocumentHeader**)s_realloc((char*)docHeaders,(size_t)(sizeof(WAISDocumentHeader*) * (numDocHeaders + 2)));
  1544.              }
  1545.             buf = readWAISDocumentHeader((WAISDocumentHeader**)&header,buf);
  1546.           cleanUpWaisSearchResponse(buf,seedWordsUsed,docHeaders,shortHeaders,longHeaders,text,headlines,codes,diags);
  1547.             RETURN_ON_NULL(buf);
  1548.             docHeaders[numDocHeaders++] = 
  1549.             (WAISDocumentHeader*)header; /* put it in the list */
  1550.             docHeaders[numDocHeaders] = NULL;
  1551.             break;
  1552.           case DT_DocumentShortHeaderGroup:
  1553.             if (shortHeaders == NULL) /* create a new header list */
  1554.              { shortHeaders = (WAISDocumentShortHeader**)s_malloc((size_t)sizeof(WAISDocumentShortHeader*) * 2);
  1555.              }
  1556.             else /* grow the doc list */
  1557.              { shortHeaders = (WAISDocumentShortHeader**)s_realloc((char*)shortHeaders,(size_t)(sizeof(WAISDocumentShortHeader*) * (numShortHeaders + 2)));
  1558.              }
  1559.             buf = readWAISDocumentShortHeader((WAISDocumentShortHeader**)&header,buf);
  1560.           cleanUpWaisSearchResponse(buf,seedWordsUsed,docHeaders,shortHeaders,longHeaders,text,headlines,codes,diags);
  1561.             RETURN_ON_NULL(buf);
  1562.             shortHeaders[numShortHeaders++] = 
  1563.             (WAISDocumentShortHeader*)header; /* put it in the list */
  1564.             shortHeaders[numShortHeaders] = NULL;
  1565.             break;
  1566.           case DT_DocumentLongHeaderGroup:
  1567.             if (longHeaders == NULL) /* create a new header list */
  1568.              { longHeaders = (WAISDocumentLongHeader**)s_malloc((size_t)sizeof(WAISDocumentLongHeader*) * 2);
  1569.              }
  1570.             else /* grow the doc list */
  1571.              { longHeaders = (WAISDocumentLongHeader**)s_realloc((char*)longHeaders,(size_t)(sizeof(WAISDocumentLongHeader*) * (numLongHeaders + 2)));
  1572.              }
  1573.             buf = readWAISDocumentLongHeader((WAISDocumentLongHeader**)&header,buf);
  1574.           cleanUpWaisSearchResponse(buf,seedWordsUsed,docHeaders,shortHeaders,longHeaders,text,headlines,codes,diags);
  1575.             RETURN_ON_NULL(buf);
  1576.             longHeaders[numLongHeaders++] = 
  1577.             (WAISDocumentLongHeader*)header; /* put it in the list */
  1578.             longHeaders[numLongHeaders] = NULL;
  1579.             break;
  1580.         case DT_DocumentTextGroup:
  1581.             if (text == NULL) /* create a new list */
  1582.              { text = (WAISDocumentText**)s_malloc((size_t)sizeof(WAISDocumentText*) * 2);
  1583.              }
  1584.             else /* grow the list */
  1585.              { text = (WAISDocumentText**)s_realloc((char*)text,(size_t)(sizeof(WAISDocumentText*) * (numText + 2)));
  1586.              }
  1587.             buf = readWAISDocumentText((WAISDocumentText**)&header,buf);
  1588.           cleanUpWaisSearchResponse(buf,seedWordsUsed,docHeaders,shortHeaders,longHeaders,text,headlines,codes,diags);
  1589.             RETURN_ON_NULL(buf);
  1590.             text[numText++] = 
  1591.             (WAISDocumentText*)header; /* put it in the list */
  1592.             text[numText] = NULL;
  1593.             break;
  1594.           case DT_DocumentHeadlineGroup:
  1595.             if (headlines == NULL) /* create a new list */
  1596.              { headlines = (WAISDocumentHeadlines**)s_malloc((size_t)sizeof(WAISDocumentHeadlines*) * 2);
  1597.              }
  1598.             else /* grow the list */
  1599.              { headlines = (WAISDocumentHeadlines**)s_realloc((char*)headlines,(size_t)(sizeof(WAISDocumentHeadlines*) * (numHeadlines + 2)));
  1600.              }
  1601.             buf = readWAISDocumentHeadlines((WAISDocumentHeadlines**)&header,buf);
  1602.           cleanUpWaisSearchResponse(buf,seedWordsUsed,docHeaders,shortHeaders,longHeaders,text,headlines,codes,diags);
  1603.             RETURN_ON_NULL(buf);
  1604.             headlines[numHeadlines++] = 
  1605.             (WAISDocumentHeadlines*)header; /* put it in the list */
  1606.             headlines[numHeadlines] = NULL;
  1607.             break;
  1608.           case DT_DocumentCodeGroup:
  1609.             if (codes == NULL) /* create a new list */
  1610.              { codes = (WAISDocumentCodes**)s_malloc((size_t)sizeof(WAISDocumentCodes*) * 2);
  1611.              }
  1612.             else /* grow the list */
  1613.              { codes = (WAISDocumentCodes**)s_realloc((char*)codes,(size_t)(sizeof(WAISDocumentCodes*) * (numCodes + 2)));
  1614.              }
  1615.             buf = readWAISDocumentCodes((WAISDocumentCodes**)&header,buf);
  1616.           cleanUpWaisSearchResponse(buf,seedWordsUsed,docHeaders,shortHeaders,longHeaders,text,headlines,codes,diags);
  1617.             RETURN_ON_NULL(buf);
  1618.             codes[numCodes++] = 
  1619.             (WAISDocumentCodes*)header; /* put it in the list */
  1620.             codes[numCodes] = NULL;
  1621.             break;
  1622.         default:
  1623.           cleanUpWaisSearchResponse(buf,seedWordsUsed,docHeaders,shortHeaders,longHeaders,text,headlines,codes,diags);
  1624.           REPORT_READ_ERROR(buf);
  1625.           break;
  1626.       }
  1627.    }
  1628.         
  1629.   *info = (void *)makeWAISSearchResponse(seedWordsUsed,docHeaders,shortHeaders,
  1630.                  longHeaders,text,headlines,codes,diags);
  1631.   
  1632.   return(buf);
  1633. }
  1634.  
  1635. /*----------------------------------------------------------------------*/
  1636.  
  1637. WAISDocumentText*
  1638. makeWAISDocumentText(docID,versionNumber,documentText)
  1639. any* docID;
  1640. long versionNumber;
  1641. any* documentText;
  1642. {
  1643.   WAISDocumentText* docText = (WAISDocumentText*)s_malloc((size_t)sizeof(WAISDocumentText));
  1644.  
  1645.   docText->DocumentID = docID;
  1646.   docText->VersionNumber = versionNumber;
  1647.   docText->DocumentText = documentText;
  1648.   
  1649.   return(docText);
  1650. }
  1651.  
  1652. /*----------------------------------------------------------------------*/
  1653.  
  1654. void 
  1655. freeWAISDocumentText(docText)
  1656. WAISDocumentText* docText;
  1657. {
  1658.   freeAny(docText->DocumentID);
  1659.   freeAny(docText->DocumentText);
  1660.   s_free(docText);
  1661. }
  1662.  
  1663. /*----------------------------------------------------------------------*/
  1664.  
  1665. char* 
  1666. writeWAISDocumentText(docText,buffer,len)
  1667. WAISDocumentText* docText;
  1668. char* buffer;
  1669. long* len;
  1670. {
  1671.   unsigned long header_len = userInfoTagSize(DT_DocumentTextGroup,
  1672.                                             DefWAISDocTextSize);
  1673.   char* buf = buffer + header_len;
  1674.   unsigned long size;
  1675.   
  1676.   RESERVE_SPACE_FOR_WAIS_HEADER(len);
  1677.  
  1678.   buf = writeAny(docText->DocumentID,DT_DocumentID,buf,len);
  1679.   buf = writeNum(docText->VersionNumber,DT_VersionNumber,buf,len);
  1680.   buf = writeAny(docText->DocumentText,DT_DocumentText,buf,len);
  1681.   
  1682.   /* now write the header and size */
  1683.   size = buf - buffer; 
  1684.   buf = writeUserInfoHeader(DT_DocumentTextGroup,size,header_len,buffer,len);
  1685.  
  1686.   return(buf);
  1687. }
  1688.  
  1689. /*----------------------------------------------------------------------*/
  1690.  
  1691. char* 
  1692. readWAISDocumentText(docText,buffer)
  1693. WAISDocumentText** docText;
  1694. char* buffer;
  1695. {
  1696.   char* buf = buffer;
  1697.   unsigned long size; 
  1698.   unsigned long headerSize;
  1699.   data_tag tag;
  1700.   any *docID,*documentText;
  1701.   long versionNumber;
  1702.   
  1703.   docID = documentText = NULL;
  1704.   versionNumber = UNUSED;
  1705.   
  1706.   buf = readUserInfoHeader(&tag,&size,buf);
  1707.   headerSize = buf - buffer;
  1708.     
  1709.   while (buf < (buffer + size + headerSize))
  1710.    { data_tag tag = peekTag(buf);
  1711.      switch (tag)
  1712.       { case DT_DocumentID:
  1713.             buf = readAny(&docID,buf);
  1714.             break;
  1715.           case DT_VersionNumber:
  1716.             buf = readNum(&versionNumber,buf);
  1717.             break;
  1718.           case DT_DocumentText:
  1719.             buf = readAny(&documentText,buf);
  1720.             break;
  1721.         default:
  1722.           freeAny(docID);
  1723.           freeAny(documentText);
  1724.           REPORT_READ_ERROR(buf);
  1725.           break;
  1726.       }
  1727.    }
  1728.         
  1729.   *docText = makeWAISDocumentText(docID,versionNumber,documentText);
  1730.   return(buf);
  1731. }
  1732.  
  1733. /*----------------------------------------------------------------------*/
  1734.  
  1735. WAISDocumentHeadlines*
  1736. makeWAISDocumentHeadlines(docID,
  1737.               versionNumber,
  1738.               source,
  1739.               date,
  1740.               headline,
  1741.               originCity)
  1742. any* docID;
  1743. long versionNumber;
  1744. char* source;
  1745. char* date;
  1746. char* headline;
  1747. char* originCity;
  1748. {
  1749.   WAISDocumentHeadlines* docHeadline =
  1750.     (WAISDocumentHeadlines*)s_malloc((size_t)sizeof(WAISDocumentHeadlines));
  1751.  
  1752.   docHeadline->DocumentID = docID;
  1753.   docHeadline->VersionNumber = versionNumber;
  1754.   docHeadline->Source = source;
  1755.   docHeadline->Date = date;
  1756.   docHeadline->Headline = headline;
  1757.   docHeadline->OriginCity = originCity;
  1758.   
  1759.   return(docHeadline);
  1760. }
  1761.  
  1762. /*----------------------------------------------------------------------*/
  1763.  
  1764. void 
  1765. freeWAISDocumentHeadlines(docHeadline)
  1766. WAISDocumentHeadlines* docHeadline;
  1767. {
  1768.   freeAny(docHeadline->DocumentID);
  1769.   s_free(docHeadline->Source);
  1770.   s_free(docHeadline->Date);
  1771.   s_free(docHeadline->Headline);
  1772.   s_free(docHeadline->OriginCity);
  1773.   s_free(docHeadline);
  1774. }
  1775.  
  1776. /*----------------------------------------------------------------------*/
  1777.  
  1778. char* 
  1779. writeWAISDocumentHeadlines(docHeadline,buffer,len)
  1780. WAISDocumentHeadlines* docHeadline;
  1781. char* buffer;
  1782. long* len;
  1783. {
  1784.   unsigned long header_len = userInfoTagSize(DT_DocumentHeadlineGroup,
  1785.                                             DefWAISDocHeadlineSize);
  1786.   char* buf = buffer + header_len;
  1787.   unsigned long size;
  1788.   
  1789.   RESERVE_SPACE_FOR_WAIS_HEADER(len);
  1790.  
  1791.   buf = writeAny(docHeadline->DocumentID,DT_DocumentID,buf,len);
  1792.   buf = writeNum(docHeadline->VersionNumber,DT_VersionNumber,buf,len);
  1793.   buf = writeString(docHeadline->Source,DT_Source,buf,len);
  1794.   buf = writeString(docHeadline->Date,DT_Date,buf,len);
  1795.   buf = writeString(docHeadline->Headline,DT_Headline,buf,len);
  1796.   buf = writeString(docHeadline->OriginCity,DT_OriginCity,buf,len);
  1797.   
  1798.   /* now write the header and size */
  1799.   size = buf - buffer; 
  1800.   buf = writeUserInfoHeader(DT_DocumentHeadlineGroup,size,header_len,buffer,len);
  1801.  
  1802.   return(buf);
  1803. }
  1804.  
  1805. /*----------------------------------------------------------------------*/
  1806.  
  1807. char* 
  1808. readWAISDocumentHeadlines(docHeadline,buffer)
  1809. WAISDocumentHeadlines** docHeadline;
  1810. char* buffer;
  1811. {
  1812.   char* buf = buffer;
  1813.   unsigned long size; 
  1814.   unsigned long headerSize;
  1815.   data_tag tag;
  1816.   any* docID;
  1817.   long versionNumber;
  1818.   char *source,*date,*headline,*originCity;
  1819.   
  1820.   docID = NULL;
  1821.   versionNumber = UNUSED;
  1822.   source = date = headline = originCity = NULL;
  1823.   
  1824.   buf = readUserInfoHeader(&tag,&size,buf);
  1825.   headerSize = buf - buffer;
  1826.     
  1827.   while (buf < (buffer + size + headerSize))
  1828.    { data_tag tag = peekTag(buf);
  1829.      switch (tag)
  1830.       { case DT_DocumentID:
  1831.             buf = readAny(&docID,buf);
  1832.             break;
  1833.           case DT_VersionNumber:
  1834.             buf = readNum(&versionNumber,buf);
  1835.             break;
  1836.           case DT_Source:
  1837.             buf = readString(&source,buf);
  1838.             break;
  1839.           case DT_Date:
  1840.             buf = readString(&date,buf);
  1841.             break;
  1842.           case DT_Headline:
  1843.             buf = readString(&headline,buf);
  1844.             break;
  1845.           case DT_OriginCity:
  1846.             buf = readString(&originCity,buf);
  1847.             break;
  1848.         default:
  1849.           freeAny(docID);
  1850.           s_free(source);
  1851.           s_free(date);
  1852.           s_free(headline);
  1853.           s_free(originCity);
  1854.           REPORT_READ_ERROR(buf);
  1855.           break;
  1856.       }
  1857.    }
  1858.         
  1859.   *docHeadline = makeWAISDocumentHeadlines(docID,versionNumber,source,date,
  1860.                                              headline,originCity);
  1861.   return(buf);
  1862. }
  1863.  
  1864. /*----------------------------------------------------------------------*/
  1865.  
  1866. WAISDocumentCodes*
  1867. makeWAISDocumentCodes(docID,
  1868.               versionNumber,
  1869.               stockCodes,
  1870.               companyCodes,
  1871.               industryCodes)
  1872. any* docID;
  1873. long versionNumber;
  1874. char* stockCodes;
  1875. char* companyCodes;
  1876. char* industryCodes;
  1877. {
  1878.   WAISDocumentCodes* docCodes = (WAISDocumentCodes*)s_malloc((size_t)sizeof(WAISDocumentCodes));
  1879.  
  1880.   docCodes->DocumentID = docID;
  1881.   docCodes->VersionNumber = versionNumber;
  1882.   docCodes->StockCodes = stockCodes;
  1883.   docCodes->CompanyCodes = companyCodes;
  1884.   docCodes->IndustryCodes = industryCodes;
  1885.   
  1886.   return(docCodes);
  1887. }
  1888.  
  1889. /*----------------------------------------------------------------------*/
  1890.  
  1891. void 
  1892. freeWAISDocumentCodes(docCodes)
  1893. WAISDocumentCodes* docCodes;
  1894. {
  1895.   freeAny(docCodes->DocumentID);
  1896.   s_free(docCodes->StockCodes);
  1897.   s_free(docCodes->CompanyCodes);
  1898.   s_free(docCodes->IndustryCodes);
  1899.   s_free(docCodes);
  1900. }
  1901.  
  1902. /*----------------------------------------------------------------------*/
  1903.  
  1904. char* 
  1905. writeWAISDocumentCodes(docCodes,buffer,len)
  1906. WAISDocumentCodes* docCodes;
  1907. char* buffer;
  1908. long* len;
  1909. {
  1910.   unsigned long header_len = userInfoTagSize(DT_DocumentCodeGroup ,
  1911.                                             DefWAISDocCodeSize);
  1912.   char* buf = buffer + header_len;
  1913.   unsigned long size;
  1914.   
  1915.   RESERVE_SPACE_FOR_WAIS_HEADER(len);
  1916.  
  1917.   buf = writeAny(docCodes->DocumentID,DT_DocumentID,buf,len);
  1918.   buf = writeNum(docCodes->VersionNumber,DT_VersionNumber,buf,len);
  1919.   buf = writeString(docCodes->StockCodes,DT_StockCodes,buf,len);
  1920.   buf = writeString(docCodes->CompanyCodes,DT_CompanyCodes,buf,len);
  1921.   buf = writeString(docCodes->IndustryCodes,DT_IndustryCodes,buf,len);
  1922.   
  1923.   /* now write the header and size */
  1924.   size = buf - buffer; 
  1925.   buf = writeUserInfoHeader(DT_DocumentCodeGroup,size,header_len,buffer,len);
  1926.  
  1927.   return(buf);
  1928. }
  1929.  
  1930. /*----------------------------------------------------------------------*/
  1931.  
  1932. char* 
  1933. readWAISDocumentCodes(docCodes,buffer)
  1934. WAISDocumentCodes** docCodes;
  1935. char* buffer;
  1936. {
  1937.   char* buf = buffer;
  1938.   unsigned long size; 
  1939.   unsigned long headerSize;
  1940.   data_tag tag;
  1941.   any* docID;
  1942.   long versionNumber;
  1943.   char *stockCodes,*companyCodes,*industryCodes;
  1944.   
  1945.   docID = NULL;
  1946.   versionNumber = UNUSED;
  1947.   stockCodes = companyCodes = industryCodes = NULL;
  1948.   
  1949.   buf = readUserInfoHeader(&tag,&size,buf);
  1950.   headerSize = buf - buffer;
  1951.     
  1952.   while (buf < (buffer + size + headerSize))
  1953.    { data_tag tag = peekTag(buf);
  1954.      switch (tag)
  1955.       { case DT_DocumentID:
  1956.             buf = readAny(&docID,buf);
  1957.             break;
  1958.           case DT_VersionNumber:
  1959.             buf = readNum(&versionNumber,buf);
  1960.             break;
  1961.           case DT_StockCodes:
  1962.             buf = readString(&stockCodes,buf);
  1963.             break;
  1964.           case DT_CompanyCodes:
  1965.             buf = readString(&companyCodes,buf);
  1966.             break;
  1967.           case DT_IndustryCodes:
  1968.             buf = readString(&industryCodes,buf);
  1969.             break;
  1970.         default:
  1971.           freeAny(docID);
  1972.           s_free(stockCodes);
  1973.           s_free(companyCodes);
  1974.           s_free(industryCodes);
  1975.           REPORT_READ_ERROR(buf);
  1976.           break;
  1977.       }
  1978.    }
  1979.         
  1980.   *docCodes = makeWAISDocumentCodes(docID,versionNumber,stockCodes,
  1981.                                       companyCodes,industryCodes);
  1982.   return(buf);
  1983. }
  1984.  
  1985. /*----------------------------------------------------------------------*/
  1986.  
  1987. char* 
  1988. writePresentInfo(present,buffer,len)
  1989. PresentAPDU* present;
  1990. char* buffer;
  1991. long* len;
  1992. {
  1993.   /* The WAIS protocol doesn't use present info */
  1994.   return(buffer);
  1995. }
  1996.  
  1997. /*----------------------------------------------------------------------*/
  1998.  
  1999. char* 
  2000. readPresentInfo(info,buffer)
  2001. void** info;
  2002. char* buffer;
  2003. {
  2004.   /* The WAIS protocol doesn't use present info */
  2005.   *info = NULL;
  2006.   return(buffer);
  2007. }
  2008.  
  2009. /*----------------------------------------------------------------------*/
  2010.  
  2011. char* 
  2012. writePresentResponseInfo(response,buffer,len)
  2013. PresentResponseAPDU* response;
  2014. char* buffer;
  2015. long* len;
  2016. {
  2017.   /* The WAIS protocol doesn't use presentResponse info */
  2018.   return(buffer);
  2019. }
  2020.  
  2021. /*----------------------------------------------------------------------*/
  2022.  
  2023. char* 
  2024. readPresentResponseInfo(info,buffer)
  2025. void** info;
  2026. char* buffer;
  2027. {
  2028.   /* The WAIS protocol doesn't use presentResponse info */
  2029.   *info = NULL;
  2030.   return(buffer);
  2031. }
  2032.  
  2033. /*----------------------------------------------------------------------*/
  2034.  
  2035. /* support for type 1 queries */
  2036.  
  2037. /* new use values (for the chunk types) */
  2038. #define    BYTE        "wb"
  2039. #define    LINE        "wl"
  2040. #define    PARAGRAPH    "wp"
  2041. #define DATA_TYPE    "wt"
  2042.  
  2043. /* WAIS supports the following semantics for type 1 queries:
  2044.        
  2045.      1.  retrieve the header/codes from a document:
  2046.  
  2047.             System_Control_Number = docID
  2048.             Data Type = type (optional)
  2049.             And
  2050.  
  2051.      2.  retrieve a fragment of the text of a document:
  2052.  
  2053.             System_Control_Number = docID
  2054.             Data Type = type (optional)
  2055.             And
  2056.             Chunk >= start
  2057.             And
  2058.             Chunk < end
  2059.             And
  2060.  
  2061.            Information from multiple documents may be requested by using 
  2062.            groups of the above joined by:
  2063.  
  2064.             OR
  2065.  
  2066.            ( XXX does an OR come after every group but the first, or do they
  2067.               all come at the end? )
  2068.               
  2069.         ( XXX return type could be in the element set)
  2070. */
  2071.  
  2072. static query_term** makeWAISQueryTerms _AP((DocObj** docs));
  2073.    
  2074. static query_term**
  2075. makeWAISQueryTerms(docs)
  2076. DocObj** docs;
  2077. /* given a null terminated list of docObjs, construct the appropriate
  2078.    query of the form given above
  2079.  */
  2080. {
  2081.   query_term** terms = NULL;
  2082.   long numTerms = 0;
  2083.   DocObj* doc = NULL;
  2084.   long i;
  2085.  
  2086.   if (docs == NULL)
  2087.     return((query_term**)NULL);
  2088.  
  2089.   terms = (query_term**)s_malloc((size_t)(sizeof(query_term*) * 1));
  2090.   terms[numTerms] = NULL;
  2091.  
  2092.   /* loop through the docs making terms for them all */
  2093.   for (i = 0,doc = docs[i]; doc != NULL; doc = docs[++i])
  2094.     { any* type = NULL;
  2095.  
  2096.       if (doc->Type != NULL)
  2097.     type = stringToAny(doc->Type);
  2098.  
  2099.       if (doc->ChunkCode == CT_document) /* a whole document */
  2100.     { terms = (query_term**)s_realloc((char*)terms,
  2101.                       (size_t)(sizeof(query_term*) * 
  2102.                            (numTerms + 3 + 1)));
  2103.       terms[numTerms++] = makeAttributeTerm(SYSTEM_CONTROL_NUMBER,
  2104.                         EQUAL,IGNORE,IGNORE,
  2105.                         IGNORE,IGNORE,doc->DocumentID);
  2106.       if (type != NULL)
  2107.        { terms[numTerms++] = makeAttributeTerm(DATA_TYPE,EQUAL,
  2108.                            IGNORE,IGNORE,IGNORE,
  2109.                            IGNORE,type);
  2110.          terms[numTerms++] = makeOperatorTerm(AND);
  2111.            }
  2112.       terms[numTerms] = NULL;
  2113.     }
  2114.       else            /* a document fragment */
  2115.     {    char chunk_att[ATTRIBUTE_SIZE];
  2116.         any* startChunk = NULL;
  2117.         any* endChunk = NULL;
  2118.  
  2119.         terms = (query_term**)s_realloc((char*)terms,
  2120.                         (size_t)(sizeof(query_term*) * 
  2121.                              (numTerms + 7 + 1)));
  2122.  
  2123.         switch (doc->ChunkCode)
  2124.           { case CT_byte:
  2125.             case CT_line:
  2126.               { char start[20],end[20];
  2127.             (doc->ChunkCode == CT_byte) ?
  2128.               strncpy(chunk_att,BYTE,ATTRIBUTE_SIZE) :
  2129.             strncpy(chunk_att,LINE,ATTRIBUTE_SIZE);    
  2130.             sprintf(start,"%ld",doc->ChunkStart.Pos);
  2131.             startChunk = stringToAny(start);
  2132.             sprintf(end,"%ld",doc->ChunkEnd.Pos);
  2133.             endChunk = stringToAny(end);
  2134.               }
  2135.               break;
  2136.             case CT_paragraph:
  2137.               strncpy(chunk_att,PARAGRAPH,ATTRIBUTE_SIZE);
  2138.               startChunk = doc->ChunkStart.ID;
  2139.               endChunk = doc->ChunkEnd.ID;
  2140.               break;
  2141.             default:
  2142.               /* error */
  2143.               break;
  2144.             }
  2145.  
  2146.         terms[numTerms++] = makeAttributeTerm(SYSTEM_CONTROL_NUMBER,
  2147.                               EQUAL,IGNORE,IGNORE,
  2148.                               IGNORE,
  2149.                               IGNORE,doc->DocumentID);
  2150.         if (type != NULL)
  2151.          { terms[numTerms++] = makeAttributeTerm(DATA_TYPE,EQUAL,IGNORE,
  2152.                              IGNORE,IGNORE,IGNORE,
  2153.                              type);
  2154.            terms[numTerms++] = makeOperatorTerm(AND);
  2155.          }
  2156.         terms[numTerms++] = makeAttributeTerm(chunk_att,
  2157.                               GREATER_THAN_OR_EQUAL,
  2158.                               IGNORE,IGNORE,IGNORE, 
  2159.                               IGNORE,
  2160.                               startChunk);
  2161.         terms[numTerms++] = makeOperatorTerm(AND);
  2162.         terms[numTerms++] = makeAttributeTerm(chunk_att,LESS_THAN,
  2163.                               IGNORE,IGNORE,IGNORE,
  2164.                               IGNORE,
  2165.                               endChunk);
  2166.         terms[numTerms++] = makeOperatorTerm(AND);
  2167.         terms[numTerms] = NULL;
  2168.  
  2169.         if (doc->ChunkCode == CT_byte || doc->ChunkCode == CT_line)
  2170.           { freeAny(startChunk);
  2171.             freeAny(endChunk);
  2172.           }
  2173.           }
  2174.       
  2175.       freeAny(type);
  2176.       
  2177.      if (i != 0) /* multiple independent queries, need a disjunction */
  2178.     { terms = (query_term**)s_realloc((char*)terms,
  2179.                       (size_t)(sizeof(query_term*) * 
  2180.                            (numTerms + 1 + 1)));
  2181.       terms[numTerms++] = makeOperatorTerm(OR);
  2182.       terms[numTerms] = NULL;
  2183.     }
  2184.     }
  2185.  
  2186.   return(terms);
  2187. }
  2188.  
  2189. /*----------------------------------------------------------------------*/
  2190.  
  2191. static DocObj** makeWAISQueryDocs _AP((query_term** terms));
  2192.  
  2193. static DocObj** 
  2194. makeWAISQueryDocs(terms)
  2195. query_term** terms;
  2196. /* given a list of terms in the form given above, convert them to 
  2197.    DocObjs.
  2198.  */
  2199. {
  2200.   query_term* docTerm = NULL;
  2201.   query_term* fragmentTerm = NULL;
  2202.   DocObj** docs = NULL;
  2203.   DocObj* doc = NULL;
  2204.   long docNum,termNum;
  2205.  
  2206.   docNum = termNum = 0;
  2207.   
  2208.   docs = (DocObj**)s_malloc((size_t)(sizeof(DocObj*) * 1));
  2209.   docs[docNum] = NULL;
  2210.  
  2211.   /* translate the terms into DocObjs */
  2212.   while (true)
  2213.     {          
  2214.       query_term* typeTerm = NULL;
  2215.       char* type = NULL;
  2216.       long startTermOffset;
  2217.  
  2218.       docTerm = terms[termNum];
  2219.      
  2220.       if (docTerm == NULL)
  2221.     break;            /* we're done converting */;
  2222.  
  2223.       typeTerm = terms[termNum + 1]; /* get the lead Term if it exists */
  2224.  
  2225.       if (strcmp(typeTerm->Use,DATA_TYPE) == 0)    /* we do have a type */
  2226.        { startTermOffset = 3;    
  2227.      type = anyToString(typeTerm->Term);
  2228.        }
  2229.       else                        /* no type */
  2230.        { startTermOffset = 1;
  2231.      typeTerm = NULL;
  2232.      type = NULL;
  2233.        }
  2234.  
  2235.       /* grow the doc list */
  2236.       docs = (DocObj**)s_realloc((char*)docs,(size_t)(sizeof(DocObj*) * 
  2237.                               (docNum + 1 + 1)));
  2238.  
  2239.       /* figure out what kind of docObj to build - and build it */
  2240.       fragmentTerm = terms[termNum + startTermOffset];
  2241.       if (fragmentTerm != NULL && fragmentTerm->TermType == TT_Attribute)
  2242.     {            /* build a document fragment */
  2243.       query_term* startTerm = fragmentTerm;
  2244.       query_term* endTerm = terms[termNum + startTermOffset + 2]; 
  2245.  
  2246.       if (strcmp(startTerm->Use,BYTE) == 0) /* a byte chunk */
  2247.         doc = makeDocObjUsingBytes(duplicateAny(docTerm->Term),
  2248.                        type,
  2249.                        anyToLong(startTerm->Term),
  2250.                        anyToLong(endTerm->Term));
  2251.       else if (strcmp(startTerm->Use,LINE) == 0) /* a line chunk */
  2252.         doc = makeDocObjUsingLines(duplicateAny(docTerm->Term),
  2253.                        type,
  2254.                        anyToLong(startTerm->Term),
  2255.                        anyToLong(endTerm->Term));
  2256.       else            /* a paragraph chunk */
  2257.         doc = makeDocObjUsingParagraphs(duplicateAny(docTerm->Term),
  2258.                         type,
  2259.                         duplicateAny(startTerm->Term),
  2260.                         duplicateAny(endTerm->Term));
  2261.       termNum += (startTermOffset + 4);    /* point to next term */
  2262.     }
  2263.       else            /* build a full document */
  2264.     { 
  2265.       doc = makeDocObjUsingWholeDocument(duplicateAny(docTerm->Term),
  2266.                          type);
  2267.       termNum += startTermOffset;    /* point to next term */
  2268.     }
  2269.      
  2270.       docs[docNum++] = doc;    /* insert the new document */
  2271.      
  2272.       docs[docNum] = NULL;    /* keep the doc list terminated */
  2273.  
  2274.      
  2275.       if (terms[termNum] != NULL)
  2276.     termNum++; /* skip the OR operator it necessary */
  2277.       else
  2278.     break; /* we are done */
  2279.     }
  2280.  
  2281.   return(docs);
  2282. }
  2283.  
  2284. /*----------------------------------------------------------------------*/
  2285.  
  2286. any* 
  2287. makeWAISTextQuery(docs)
  2288. DocObj** docs;
  2289. /* given a list of DocObjs, return an any whose contents is the corresponding
  2290.    type 1 query
  2291.  */
  2292. {
  2293.   any *buf = NULL;
  2294.   query_term** terms = NULL;
  2295.   
  2296.   terms = makeWAISQueryTerms(docs);
  2297.   buf = writeQuery(terms);
  2298.   
  2299.   doList((void**)terms,freeTerm);
  2300.   s_free(terms);
  2301.   
  2302.   return(buf);
  2303. }
  2304.  
  2305. /*----------------------------------------------------------------------*/
  2306.  
  2307. DocObj** 
  2308. readWAISTextQuery(buf)
  2309. any* buf;
  2310. /* given an any whose contents are type 1 queries of the WAIS sort, 
  2311.    construct a list of the corresponding DocObjs
  2312.  */
  2313. {
  2314.   query_term** terms = NULL;
  2315.   DocObj** docs = NULL;
  2316.   
  2317.   terms = readQuery(buf);
  2318.   docs = makeWAISQueryDocs(terms);
  2319.   
  2320.   doList((void**)terms,freeTerm);
  2321.   s_free(terms);
  2322.   
  2323.   return(docs);
  2324. }
  2325.  
  2326. /*----------------------------------------------------------------------*/
  2327. /* Customized free WAIS object routines:                                */
  2328. /*                                                                      */
  2329. /*   This set of procedures is for applications to free a WAIS object   */
  2330. /*   which was made with makeWAISFOO.                                   */
  2331. /*   Each procedure frees only the memory that was allocated in its     */
  2332. /*   associated makeWAISFOO routine, thus it's not necessary for the    */
  2333. /*   caller to assign nulls to the pointer fields of the WAIS object.  */
  2334. /*----------------------------------------------------------------------*/
  2335.  
  2336. void 
  2337. CSTFreeWAISInitResponse(init)
  2338. WAISInitResponse* init;
  2339. /* free an object made with makeWAISInitResponse */
  2340. {
  2341.   s_free(init);
  2342. }
  2343.  
  2344. /*----------------------------------------------------------------------*/
  2345.  
  2346. void 
  2347. CSTFreeWAISSearch(query)
  2348. WAISSearch* query;
  2349. /* destroy an object made with makeWAISSearch() */
  2350. { 
  2351.   s_free(query);
  2352. }
  2353.  
  2354. /*----------------------------------------------------------------------*/
  2355.  
  2356. void
  2357. CSTFreeDocObj(doc)
  2358. DocObj* doc;
  2359. /* free a docObj */
  2360. { 
  2361.     s_free(doc);
  2362. }
  2363.  
  2364. /*----------------------------------------------------------------------*/
  2365.  
  2366. void
  2367. CSTFreeWAISDocumentHeader(header)
  2368. WAISDocumentHeader* header;
  2369. { 
  2370.     s_free(header);
  2371. }
  2372.  
  2373. /*----------------------------------------------------------------------*/
  2374.  
  2375. void
  2376. CSTFreeWAISDocumentShortHeader(header)
  2377. WAISDocumentShortHeader* header;
  2378. { 
  2379.   s_free(header);
  2380. }
  2381. /*----------------------------------------------------------------------*/
  2382.  
  2383. void
  2384. CSTFreeWAISDocumentLongHeader(header)
  2385. WAISDocumentLongHeader* header;
  2386. {
  2387.   s_free(header);
  2388. }
  2389.  
  2390. /*----------------------------------------------------------------------*/
  2391.  
  2392. void
  2393. CSTFreeWAISSearchResponse(response)
  2394. WAISSearchResponse* response;
  2395. { 
  2396.   s_free(response);
  2397. }
  2398.  
  2399. /*----------------------------------------------------------------------*/
  2400.  
  2401. void 
  2402. CSTFreeWAISDocumentText(docText)
  2403. WAISDocumentText* docText;
  2404. { 
  2405.   s_free(docText);
  2406. }
  2407.  
  2408. /*----------------------------------------------------------------------*/
  2409.  
  2410. void 
  2411. CSTFreeWAISDocumentHeadlines(docHeadline)
  2412. WAISDocumentHeadlines* docHeadline;
  2413. { 
  2414.   s_free(docHeadline);
  2415. }
  2416.  
  2417. /*----------------------------------------------------------------------*/
  2418.  
  2419. void 
  2420. CSTFreeWAISDocumentCodes(docCodes)
  2421. WAISDocumentCodes* docCodes;
  2422. {
  2423.   s_free(docCodes);
  2424. }
  2425.  
  2426. /*----------------------------------------------------------------------*/
  2427.  
  2428. void 
  2429. CSTFreeWAISTextQuery(query)
  2430. any* query;
  2431. {
  2432.    freeAny(query);
  2433. }
  2434.  
  2435. /*----------------------------------------------------------------------*/
  2436.