home *** CD-ROM | disk | FTP | other *** search
/ Tools / WinSN5.0Ver.iso / NETSCAP.50 / WIN1998.ZIP / ns / lib / libnet / pagescan.c < prev    next >
Encoding:
C/C++ Source or Header  |  1998-04-08  |  23.4 KB  |  684 lines
  1. /* -*- Mode: C++; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 2 -*-
  2.  *
  3.  * The contents of this file are subject to the Netscape Public License
  4.  * Version 1.0 (the "NPL"); you may not use this file except in
  5.  * compliance with the NPL.  You may obtain a copy of the NPL at
  6.  * http://www.mozilla.org/NPL/
  7.  *
  8.  * Software distributed under the NPL is distributed on an "AS IS" basis,
  9.  * WITHOUT WARRANTY OF ANY KIND, either express or implied. See the NPL
  10.  * for the specific language governing rights and limitations under the
  11.  * NPL.
  12.  *
  13.  * The Initial Developer of this code under the NPL is Netscape
  14.  * Communications Corporation.  Portions created by Netscape are
  15.  * Copyright (C) 1998 Netscape Communications Corporation.  All Rights
  16.  * Reserved.
  17.  */
  18. /*** pagescan.h ***************************************************/
  19. /*   description:    implementation of page scanning. Adds links   */
  20. /*                  in a page to one of three lists depending on  */
  21. /*                  the tag and its parameters: html links,       */
  22. /*                  images, or resources.                         */
  23.   
  24.  
  25.  /********************************************************************
  26.  
  27.     Here's a list of the tags currently handled:
  28.  
  29.     Links:
  30.     <A HREF=?>
  31.     <AREA HREF=?>
  32.     <FRAME SRC=?>
  33.     <LAYER SRC=?>
  34.  
  35.     Images:
  36.     <IMG SRC=?>
  37.     <BODY BACKGROUND=?>
  38.     <LAYER BACKGROUND=?>
  39.  
  40.     Resources:
  41.     <EMBED SRC=?>
  42.  
  43.     Special:
  44.     <SCRIPT ARCHIVE=? SRC=?>
  45.     <APPLET CODEBASE=? ARCHIVE=? CODE=?>
  46.     <META HTTP-EQUIV="refresh" CONTENT=?>
  47.     <META NAME="robots" CONTENT="NOINDEX,NOFOLLOW">
  48.     <LINK REL="stylesheet" TYPE="text/javascript" HREF=?>
  49.     <STYLE TYPE="text/javascript" SRC=?>
  50.     <STYLE TYPE="text/css" SRC=?>
  51.     <STYLE SRC=?>
  52.  
  53.  
  54.   $Revision: 3.1 $
  55.   $Date: 1998/03/28 03:31:58 $
  56.  
  57.  *********************************************************************/
  58.  
  59. #include "xp.h"
  60. #include "xp_str.h"
  61. #include "ntypes.h" /* for MWContext */
  62. #include "prmem.h"
  63. #include "net.h"
  64. #include "pa_tags.h" /* lib/libparse */
  65. #include "pagescan.h"
  66. #include "htmparse.h"
  67.  
  68. typedef uint8 CRAWL_LinkContext;
  69. #define LINK_CONTEXT_HREF 1
  70. #define LINK_CONTEXT_FRAME 2
  71. #define LINK_CONTEXT_LAYER 3
  72.  
  73. typedef uint8 CRAWL_TagError;
  74. #define CRAWL_TAG_NO_ERR        0
  75. #define CRAWL_TAG_NO_MEMORY        1
  76. #define CRAWL_TAG_SYNTAX_ERR    2
  77.  
  78. extern PRBool crawl_startsWith (char *pattern, char *uuid);
  79. extern PRBool crawl_endsWith (char *pattern, char *uuid);
  80. extern int crawl_appendStringList(char ***list, uint16 *len, uint16 *size, char *str);
  81.  
  82. typedef struct _CRAWL_PageInfoStruct {
  83.     char *url;
  84.     char *siteURL;
  85.     char *baseURL;
  86.     URL_Struct *url_s;
  87.  
  88.     PRBool dontIndex;    /* don't index (cache) this page */
  89.     PRBool dontFollow; /* don't follow links in this page (effectively causes page not to be parsed) */
  90.  
  91.     CRAWL_ItemList images;
  92.     CRAWL_ItemList links;
  93.     CRAWL_ItemList resources; /* applets */
  94.     CRAWL_ItemList requiredResources; /* script src, and text/javascript or text/css stylesheets */
  95.     CRAWL_ItemList frames;
  96.     CRAWL_ItemList layers;
  97.  
  98.     uint16 numImages;
  99.     uint16 numLinks;
  100.     uint16 numResources;
  101.     uint16 numRequiredResources;
  102.     uint16 numFrames;
  103.     uint16 numLayers;
  104.  
  105.     uint16 sizeImages;
  106.     uint16 sizeLinks;
  107.     uint16 sizeResources;
  108.     uint16 sizeRequiredResources;
  109.     uint16 sizeFrames;
  110.     uint16 sizeLayers;
  111.  
  112.     time_t lastModified;
  113.  
  114.     void *page_owner;
  115.     CRAWL_ScanPageStatusFunc scan_complete_func;
  116. } CRAWL_PageInfoStruct;
  117.  
  118. /* prototypes */
  119. static char* crawl_makeAbsoluteURL(CRAWL_PageInfo pageInfo, char *relURL);
  120. static CRAWL_TagError crawl_addPageLink(CRAWL_PageInfo pageInfo, char *link, CRAWL_LinkContext context);
  121. static CRAWL_TagError crawl_addPageImage(CRAWL_PageInfo pageInfo, char *image);
  122. static CRAWL_TagError crawl_addPageResource(CRAWL_PageInfo pageInfo, char *resource);
  123. static CRAWL_TagError crawl_addPageRequiredResource(CRAWL_PageInfo pageInfo, char *resource);
  124. static CRAWL_TagError crawl_addPageFrame(CRAWL_PageInfo pageInfo, char *frame);
  125. static CRAWL_TagError crawl_addPageLayer(CRAWL_PageInfo pageInfo, char *layer);
  126. static CRAWL_TagError crawl_addPageApplet(CRAWL_PageInfo pageInfo, char *codebase, char *archive, char *code);
  127. static CRAWL_TagError crawl_addPageMetaRefresh(CRAWL_PageInfo page, char *content);
  128. static CRAWL_TagError crawl_processURL(CRAWL_PageInfo page, char *url, CRAWL_LinkContext context);
  129. static void crawl_get_page_url_exit(URL_Struct *URL_s, int status, MWContext *window_id);
  130. int crawl_processToken(CRAWL_ParseObj obj, PRBool isTag, void *data);
  131.  
  132. /****************************************************************************************/
  133. /* accessors                                                                            */
  134. /****************************************************************************************/
  135.  
  136. PRBool crawl_pageCanBeIndexed(CRAWL_PageInfo pageInfo) {
  137.     return ((pageInfo->dontIndex) ? PR_FALSE : PR_TRUE);
  138. }
  139.  
  140. char* crawl_getPageURL(CRAWL_PageInfo pageInfo) {
  141.     return pageInfo->url;
  142. }
  143.  
  144. /* returns the last modified date given by the server */
  145. time_t crawl_getPageLastModified(CRAWL_PageInfo pageInfo) {
  146.     return pageInfo->lastModified;
  147. }
  148.  
  149. URL_Struct* crawl_getPageURL_Struct(CRAWL_PageInfo pageInfo) {
  150.     return pageInfo->url_s;
  151. }
  152.  
  153. CRAWL_ItemList crawl_getPageLinks(CRAWL_PageInfo pageInfo) {
  154.     return pageInfo->links;
  155. }
  156.  
  157. uint16 crawl_getPageLinkCount(CRAWL_PageInfo pageInfo) {
  158.     return pageInfo->numLinks;
  159. }
  160.  
  161. /* 
  162.     makes an absolute URL from relURL using the base url if it exists, otherwise uses the
  163.     page's url as a base.
  164. */
  165. static char* 
  166. crawl_makeAbsoluteURL(CRAWL_PageInfo pageInfo, char *relURL) {
  167.     if ((pageInfo->baseURL != NULL) && (*pageInfo->baseURL != '\0')) 
  168.         return NET_MakeAbsoluteURL(pageInfo->baseURL, relURL);
  169.     else return NET_MakeAbsoluteURL(pageInfo->url_s->address, relURL);
  170. }
  171.  
  172. static CRAWL_TagError
  173. crawl_addPageLink(CRAWL_PageInfo pageInfo, char *link, CRAWL_LinkContext context) {
  174.     char *fullURL = crawl_makeAbsoluteURL(pageInfo, link);
  175.     if (fullURL == NULL) return(CRAWL_TAG_NO_MEMORY);
  176.     switch (context) {
  177.     case LINK_CONTEXT_HREF:
  178.         if (crawl_appendStringList(&pageInfo->links, &pageInfo->numLinks, &pageInfo->sizeLinks, fullURL) != 0)
  179.             return CRAWL_TAG_NO_MEMORY;
  180.         break;
  181.     case LINK_CONTEXT_FRAME:
  182.         if (crawl_appendStringList(&pageInfo->frames, &pageInfo->numFrames, &pageInfo->sizeFrames, fullURL) != 0)
  183.             return CRAWL_TAG_NO_MEMORY;
  184.         break;
  185.     case LINK_CONTEXT_LAYER:
  186.         if (crawl_appendStringList(&pageInfo->layers, &pageInfo->numLayers, &pageInfo->sizeLayers, fullURL) != 0)
  187.             return CRAWL_TAG_NO_MEMORY;
  188.         break;
  189.     default:
  190.         break;
  191.     }
  192.     return CRAWL_TAG_NO_ERR;
  193. }
  194.  
  195. CRAWL_ItemList crawl_getPageImages(CRAWL_PageInfo pageInfo) {
  196.     return pageInfo->images;
  197. }
  198.  
  199. uint16 crawl_getPageImageCount(CRAWL_PageInfo pageInfo) {
  200.     return pageInfo->numImages;
  201. }
  202.  
  203. static CRAWL_TagError
  204. crawl_addPageImage(CRAWL_PageInfo pageInfo, char *image) {
  205.     char *fullURL = crawl_makeAbsoluteURL(pageInfo, image);
  206.     if (fullURL == NULL) return(CRAWL_TAG_NO_MEMORY);
  207.     if (crawl_appendStringList(&pageInfo->images, &pageInfo->numImages, &pageInfo->sizeImages, fullURL) != 0)
  208.         return(CRAWL_TAG_NO_MEMORY);
  209.     else return(CRAWL_TAG_NO_ERR);
  210. }
  211.  
  212. CRAWL_ItemList crawl_getPageResources(CRAWL_PageInfo pageInfo) {
  213.     return pageInfo->resources;
  214. }
  215.  
  216. uint16 crawl_getPageResourceCount(CRAWL_PageInfo pageInfo) {
  217.     return pageInfo->numResources;
  218. }
  219.  
  220. static CRAWL_TagError
  221. crawl_addPageResource(CRAWL_PageInfo pageInfo, char *resource) {
  222.     char *fullURL = crawl_makeAbsoluteURL(pageInfo, resource);
  223.     if (fullURL == NULL) return(CRAWL_TAG_NO_MEMORY);
  224.     if (crawl_appendStringList(&pageInfo->resources, &pageInfo->numResources, &pageInfo->sizeResources, fullURL) != 0)
  225.         return(CRAWL_TAG_NO_MEMORY);
  226.     else return(CRAWL_TAG_NO_ERR);
  227. }
  228.  
  229. CRAWL_ItemList crawl_getPageRequiredResources(CRAWL_PageInfo pageInfo) {
  230.     return pageInfo->requiredResources;
  231. }
  232.  
  233. uint16 crawl_getPageRequiredResourceCount(CRAWL_PageInfo pageInfo) {
  234.     return pageInfo->numRequiredResources;
  235. }
  236.  
  237. static CRAWL_TagError
  238. crawl_addPageRequiredResource(CRAWL_PageInfo pageInfo, char *resource) {
  239.     char *fullURL = crawl_makeAbsoluteURL(pageInfo, resource);
  240.     if (fullURL == NULL) return(CRAWL_TAG_NO_MEMORY);
  241.     if (crawl_appendStringList(&pageInfo->requiredResources, &pageInfo->numRequiredResources, &pageInfo->sizeRequiredResources, fullURL) != 0)
  242.         return(CRAWL_TAG_NO_MEMORY);
  243.     else return(CRAWL_TAG_NO_ERR);
  244. }
  245.  
  246. CRAWL_ItemList crawl_getPageFrames(CRAWL_PageInfo pageInfo) {
  247.     return pageInfo->frames;
  248. }
  249.  
  250. uint16 crawl_getPageFrameCount(CRAWL_PageInfo pageInfo) {
  251.     return pageInfo->numFrames;
  252. }
  253.  
  254. static CRAWL_TagError
  255. crawl_addPageFrame(CRAWL_PageInfo pageInfo, char *frame) {
  256.     char *fullURL = crawl_makeAbsoluteURL(pageInfo, frame);
  257.     if (fullURL == NULL) return(CRAWL_TAG_NO_MEMORY);
  258.     if (crawl_appendStringList(&pageInfo->frames, &pageInfo->numFrames, &pageInfo->sizeFrames, fullURL) != 0)
  259.         return(CRAWL_TAG_NO_MEMORY);
  260.     else return(CRAWL_TAG_NO_ERR);
  261. }
  262.  
  263. CRAWL_ItemList crawl_getPageLayers(CRAWL_PageInfo pageInfo) {
  264.     return pageInfo->layers;
  265. }
  266.  
  267. uint16 crawl_getPageLayerCount(CRAWL_PageInfo pageInfo) {
  268.     return pageInfo->numLayers;
  269. }
  270.  
  271. static CRAWL_TagError
  272. crawl_addPageLayer(CRAWL_PageInfo pageInfo, char *layer) {
  273.     char *fullURL = crawl_makeAbsoluteURL(pageInfo, layer);
  274.     if (fullURL == NULL) return(CRAWL_TAG_NO_MEMORY);
  275.     if (crawl_appendStringList(&pageInfo->layers, &pageInfo->numLayers, &pageInfo->sizeLayers, fullURL) != 0)
  276.         return(CRAWL_TAG_NO_MEMORY);
  277.     else return(CRAWL_TAG_NO_ERR);
  278. }
  279.  
  280. /* process the codebase, archive, and code attributes of an APPLET tag.
  281. */
  282. static CRAWL_TagError
  283. crawl_addPageApplet(CRAWL_PageInfo pageInfo, char *codebase, char *archive, char *code) {
  284.     char *fullCodebase;
  285.     if (codebase != NULL) {
  286.         fullCodebase = crawl_makeAbsoluteURL(pageInfo, codebase);
  287.         if (fullCodebase == NULL) return(CRAWL_TAG_NO_MEMORY);
  288.     }
  289.     if (archive != NULL) {
  290.         char *fullArchive;
  291.         if (fullCodebase != NULL) {
  292.             fullArchive = NET_MakeAbsoluteURL(fullCodebase, archive);
  293.         } else {
  294.             fullArchive = crawl_makeAbsoluteURL(pageInfo, archive);
  295.         }
  296.         if (fullArchive == NULL) return(CRAWL_TAG_NO_MEMORY);
  297.  
  298.         if (crawl_addPageResource(pageInfo, fullArchive) == CRAWL_TAG_NO_MEMORY) return(CRAWL_TAG_NO_MEMORY);
  299.     }
  300.     if (code != NULL) {
  301.         char *fullCode;
  302.         /* FIXME can code still be specified with fully qualified package names? */
  303.         if (fullCodebase != NULL) fullCode = NET_MakeAbsoluteURL(fullCodebase, code);
  304.         else fullCode = crawl_makeAbsoluteURL(pageInfo, code);
  305.         if (fullCode == NULL) return(CRAWL_TAG_NO_MEMORY);
  306.         if (crawl_addPageResource(pageInfo, fullCode) == CRAWL_TAG_NO_MEMORY) return(CRAWL_TAG_NO_MEMORY);
  307.     } else return(CRAWL_TAG_SYNTAX_ERR);
  308.  
  309.     return(CRAWL_TAG_NO_ERR);
  310. }
  311.  
  312. /* process a url specified in a META refresh tag */
  313. static CRAWL_TagError
  314. crawl_addPageMetaRefresh(CRAWL_PageInfo page, char *content) {
  315.     /* look for the url= */
  316.     char *url = XP_STRCASESTR(content, "url=");
  317.     if (url != NULL) {
  318.         url += 4; /* go past the url= */
  319.         url = XP_STRTOK(url, " '\"");
  320.         return(crawl_addPageLink(page, url, LINK_CONTEXT_HREF));
  321.     } else return CRAWL_TAG_SYNTAX_ERR;
  322. }
  323.  
  324. CRAWL_PageInfo crawl_makePage(char *siteURL, char *pageURL, ExtCacheDBInfo *cache) {
  325.     CRAWL_PageInfo pageInfo = PR_NEWZAP(CRAWL_PageInfoStruct);
  326.     if (pageInfo == NULL) return NULL;
  327.     pageInfo->url = pageURL;
  328.     pageInfo->siteURL = siteURL;
  329.     pageInfo->url = NET_MakeAbsoluteURL(siteURL, pageURL); /* complete a partial url if necessary */
  330.     if (pageInfo->url != NULL) {
  331.         pageInfo->url_s = NET_CreateURLStruct(pageInfo->url, NET_NORMAL_RELOAD); /* freed in the exit function */
  332.         if (pageInfo->url_s != NULL) {
  333.             pageInfo->url_s->load_background = PR_TRUE;
  334.             pageInfo->url_s->SARCache = cache;
  335.             pageInfo->url_s->owner_data = pageInfo; /* so we can recover the CRAWL_PageInfo in the converter */
  336.         } else {
  337.             PR_Free(pageInfo->url);
  338.             PR_Free(pageInfo);
  339.             return NULL;
  340.         }
  341.     } else {
  342.         PR_Free(pageInfo);
  343.         return NULL;
  344.     }
  345.     return pageInfo;
  346. }
  347.  
  348. void crawl_destroyPage(CRAWL_PageInfo page) {
  349.     if (page->images != NULL) {
  350.         PR_Free(page->images);
  351.         page->sizeImages = 0;
  352.     }
  353.     if (page->links != NULL) {
  354.         PR_Free(page->links);
  355.         page->sizeLinks = 0;
  356.     }
  357.     if (page->resources != NULL) {
  358.         PR_Free(page->resources);
  359.         page->sizeResources = 0;
  360.     }
  361.     if (page->requiredResources != NULL) {
  362.         PR_Free(page->requiredResources);
  363.         page->sizeRequiredResources = 0;
  364.     }
  365.     if (page->frames != NULL) {
  366.         PR_Free(page->frames);
  367.         page->sizeFrames = 0;
  368.     }
  369.     if (page->layers != NULL) {
  370.         PR_Free(page->layers);
  371.         page->sizeLayers = 0;
  372.     }
  373.     /* if (page->url_s != NULL) NET_FreeURLStruct(page->url_s); */
  374.     if (page->url != NULL) PR_Free(page->url);
  375.     if (page->baseURL != NULL) PR_Free(page->baseURL);
  376.     PR_Free(page);
  377. }
  378.  
  379. /* 
  380.     adds the url to the appropriate list (link, image, or resource).
  381.     FIXME ALERT! still need to deal with file extensions - those which are alphanumeric are resources.
  382. */
  383. static CRAWL_TagError 
  384. crawl_processURL(CRAWL_PageInfo page, char *url, CRAWL_LinkContext context) {
  385.     /* XP_TO_LOWER(url); */
  386.     if (crawl_startsWith("mailto:", url)) return(CRAWL_TAG_NO_ERR);
  387.     else if (crawl_startsWith("mailbox:", url)) return(CRAWL_TAG_NO_ERR);
  388.     else if (crawl_startsWith("news:", url)) return(CRAWL_TAG_NO_ERR);
  389.     else if (crawl_startsWith("javascript:", url)) return(CRAWL_TAG_NO_ERR);
  390.     
  391.     if (crawl_endsWith(".jpg", url) || 
  392.         crawl_endsWith(".jpeg", url) || 
  393.         crawl_endsWith(".gif", url) || 
  394.         crawl_endsWith(".xbm", url)) {
  395.         crawl_addPageImage(page, url);
  396.         return(CRAWL_TAG_NO_ERR);
  397.     } else return(crawl_addPageLink(page, url, context));
  398. }
  399.  
  400. /* 
  401.     Process a tag, adding urls to the lists of links, images, or resources.
  402.     The parser calls this routine whenever a tag or between-tag data has been read. 
  403. */
  404. int crawl_processToken(CRAWL_ParseObj obj, PRBool isTag, void *data) {
  405.     CRAWL_TagError err = CRAWL_TAG_NO_ERR;
  406.     CRAWL_PageInfo page = (CRAWL_PageInfo)data;
  407.     if (isTag) {
  408.         CRAWL_Tag tag = CRAWL_GetTagParsed(obj);
  409.         char *name = CRAWL_GetTagName(tag);
  410.         char *att1, *att2, *att3;
  411.         if (CRAWL_IsEndTag(tag)) return PARSE_GET_NEXT_TOKEN;
  412.         switch (CRAWL_GetTagToken(tag)) {
  413.         case P_ANCHOR:
  414.             att1 = CRAWL_GetAttributeValue(tag, PARAM_HREF); /* <A HREF=?> */
  415.             if (att1 != NULL) err = crawl_processURL(page, att1, LINK_CONTEXT_HREF);
  416.             break;
  417.         case P_AREA:
  418.             att1 = CRAWL_GetAttributeValue(tag, PARAM_HREF); /* <AREA HREF=?> */
  419.             if (att1 != NULL) err = crawl_processURL(page, att1, LINK_CONTEXT_HREF);
  420.             break;
  421.         case P_BASE:
  422.             att1 = CRAWL_GetAttributeValue(tag, PARAM_HREF);
  423.             if (att1 != NULL) {
  424.                 page->baseURL = NET_MakeAbsoluteURL(page->url_s->address, att1); /* XP_STRDUP(att1); */
  425.                 if (page->baseURL == NULL) err = CRAWL_TAG_NO_MEMORY;
  426.             }
  427.             break;
  428.         case P_IMAGE:
  429.             att1 = CRAWL_GetAttributeValue(tag, PARAM_SRC); /* <IMG SRC=?> */
  430.             if (att1 != NULL) err = crawl_addPageImage(page, att1);
  431.             break;
  432.         case P_BODY:
  433.             att1 = CRAWL_GetAttributeValue(tag, PARAM_BACKGROUND); /* <BODY BACKGROUND=?> */
  434.             if (att1 != NULL) err = crawl_addPageImage(page, att1);
  435.             break;
  436.         case P_GRID_CELL:
  437.             att1 = CRAWL_GetAttributeValue(tag, PARAM_SRC); /* <FRAME SRC=?> */
  438.             if (att1 != NULL) err = crawl_processURL(page, att1, LINK_CONTEXT_FRAME);
  439.             break;
  440.         case P_LAYER:
  441.             att1 = CRAWL_GetAttributeValue(tag, PARAM_SRC); /* <LAYER SRC=?> */
  442.             if (att1 != NULL) err = crawl_processURL(page, att1, LINK_CONTEXT_LAYER);
  443.             att2 = CRAWL_GetAttributeValue(tag, "background"); /* <LAYER BACKGROUND=?> */
  444.             if ((att2 != NULL) && (err == CRAWL_TAG_NO_ERR)) err = crawl_addPageImage(page, att2);
  445.             break;
  446.         case P_EMBED:
  447.             att1 = CRAWL_GetAttributeValue(tag, PARAM_SRC); /* <EMBED SRC=?> */
  448.             if (att1 != NULL) err = crawl_addPageResource(page, att1);
  449.             break;
  450.         case P_SCRIPT:
  451.             att1 = CRAWL_GetAttributeValue(tag, PARAM_ARCHIVE);
  452.             if (att1 != NULL) err = crawl_addPageRequiredResource(page, att1);
  453.             att2 = CRAWL_GetAttributeValue(tag, PARAM_SRC);
  454.             if ((att2 != NULL) && (err == CRAWL_TAG_NO_ERR)) err = crawl_addPageRequiredResource(page, att2);
  455.             break;
  456.         case P_JAVA_APPLET:
  457.             att1 = CRAWL_GetAttributeValue(tag, PARAM_CODEBASE);
  458.             att2 = CRAWL_GetAttributeValue(tag, PARAM_ARCHIVE);
  459.             att3 = CRAWL_GetAttributeValue(tag, PARAM_CODE);
  460.             err = crawl_addPageApplet(page, att1, att2, att3);
  461.             break;
  462.         case P_META:
  463.             att1 = CRAWL_GetAttributeValue(tag, PARAM_HTTP_EQUIV);
  464.             if ((att1 != NULL) && (XP_STRCASECMP(att1, "refresh") == 0)) {
  465.                 att2 = CRAWL_GetAttributeValue(tag, PARAM_CONTENT);
  466.                 if (att2 != NULL) err = crawl_addPageMetaRefresh(page, att2);
  467.             } else {
  468.             /* robots meta tag: we take NOINDEX to mean don't cache (the document is already
  469.                cached so we need to remove it from the cache. NOFOLLOW means don't follow the
  470.                links, which we'll do by aborting the parsing of this page.
  471.                See http://info.webcrawler.com/mak/projects/robots/exclusion.html
  472.             */
  473.                 att1 = CRAWL_GetAttributeValue(tag, PARAM_NAME);
  474.                 if ((att1 != NULL) && (XP_STRCASECMP(att1, "robots") == 0)) {
  475.                     att2 = CRAWL_GetAttributeValue(tag, PARAM_CONTENT);
  476.                     if (att2 != NULL) {
  477.                         if (XP_STRCASESTR(att2, "noindex")) {
  478.                             page->dontIndex = PR_TRUE;
  479.                         }
  480.                         if (XP_STRCASESTR(att2, "nofollow")) {
  481.                             page->dontFollow = PR_TRUE;
  482.                             return PARSE_STOP;
  483.                         }
  484.                     }
  485.                 }
  486.             }
  487.             break;
  488.         case P_LINK:
  489.             att1 = CRAWL_GetAttributeValue(tag, PARAM_REL);
  490.             if ((att1 != NULL) && (XP_STRCASECMP(att1, "stylesheet") == 0)) {
  491.                 att2 = CRAWL_GetAttributeValue(tag, PARAM_HREF);
  492.                 if (att2 != NULL) {
  493.                     att3 = CRAWL_GetAttributeValue(tag, PARAM_TYPE);
  494.                     if ((att3 != NULL) && ((XP_STRCASECMP(att3, "text/javascript") == 0) || (XP_STRCASECMP(att3, "text/css") == 0))) {
  495.                         err = crawl_addPageRequiredResource(page, att2);
  496.                     } else err = crawl_addPageResource(page, att2);
  497.                 }
  498.             }
  499.             break;
  500.         case P_STYLE:
  501.             att1 = CRAWL_GetAttributeValue(tag, PARAM_SRC);
  502.             if (att1 != NULL) {
  503.                 att2 = CRAWL_GetAttributeValue(tag, PARAM_TYPE);
  504.                 if ((att2 != NULL) && ((XP_STRCASECMP(att2, "text/javascript") == 0) || (XP_STRCASECMP(att2, "text/css") == 0))) {
  505.                         err = crawl_addPageRequiredResource(page, att1);
  506.                 } else err = crawl_addPageResource(page, att1);
  507.             }
  508.             break;
  509.         default:
  510.             break;
  511.         }
  512.     }
  513.     if (err == CRAWL_TAG_NO_MEMORY) return PARSE_OUT_OF_MEMORY;
  514.     else return PARSE_GET_NEXT_TOKEN;
  515. }
  516.  
  517. /* exit routine for NET_GetURL */
  518. static void
  519. crawl_get_page_url_exit(URL_Struct *URL_s, int status, MWContext *window_id)
  520. {
  521. #if defined(XP_MAC)
  522. #pragma unused(window_id)
  523. #endif
  524.     if(status != MK_CHANGING_CONTEXT)
  525.         NET_FreeURLStruct(URL_s);
  526. }
  527.  
  528. void crawl_scanPage(CRAWL_PageInfo page, MWContext *context, CRAWL_ScanPageStatusFunc complete_func, void *data) {
  529.  
  530.     page->page_owner = data;
  531.     page->scan_complete_func = complete_func;
  532.     NET_GetURL(page->url_s, FO_CACHE_AND_CRAWL_PAGE, context, crawl_get_page_url_exit);
  533. }
  534.  
  535. /****************************************************************************************/
  536. /* stream routines                                                                        */
  537. /****************************************************************************************/
  538.  
  539. typedef struct {
  540.     CRAWL_ParseObj parse_obj;
  541.     CRAWL_PageInfo page;
  542. } crawl_page_scan_stream;
  543.  
  544. /* prototypes */
  545. PRIVATE int crawl_PageScanConvPut(NET_StreamClass *stream, char *s, int32 l);
  546. PRIVATE int crawl_PageScanConvWriteReady(NET_StreamClass *stream);
  547. PRIVATE void crawl_PageScanConvComplete(NET_StreamClass *stream);
  548. PRIVATE void crawl_PageScanConvAbort(NET_StreamClass *stream, int status);
  549.  
  550. PRIVATE int
  551. crawl_PageScanConvPut(NET_StreamClass *stream, char *s, int32 l)
  552. {
  553.     crawl_page_scan_stream *obj=stream->data_object;
  554.     int status;
  555.  
  556.     XP_ASSERT(obj->parse_obj != NULL);
  557.     XP_ASSERT(obj->page != NULL);
  558.  
  559.     if (!obj->page->dontFollow) /* no directive to cache without parsing */
  560.         status = CRAWL_ParserPut(obj->parse_obj, s, l, crawl_processToken, obj->page);
  561.     else status = CRAWL_PARSE_NO_ERROR;
  562.     
  563.     switch (status) {
  564.     case CRAWL_PARSE_NO_ERROR:
  565.         return(0);
  566.     case CRAWL_PARSE_ERROR:
  567.         obj->page->dontFollow = PR_TRUE;
  568.         return(0);
  569.     case CRAWL_PARSE_TERMINATE:
  570.         obj->page->dontFollow = PR_TRUE;
  571.         return(0);
  572.     case CRAWL_PARSE_OUT_OF_MEMORY:
  573.         return(MK_UNABLE_TO_CONVERT);
  574.     default:
  575.         XP_ASSERT(0);
  576.         break;
  577.     }
  578.     return(status);
  579. }
  580.  
  581. PRIVATE int
  582. crawl_PageScanConvWriteReady(NET_StreamClass *stream)
  583. {    
  584. #if defined(XP_MAC)
  585. #pragma unused(stream)
  586. #endif
  587.     return(MAX_WRITE_READY);
  588. }
  589.  
  590. PRIVATE void
  591. crawl_PageScanConvComplete(NET_StreamClass *stream)
  592. {
  593.     crawl_page_scan_stream *obj=stream->data_object;
  594.     CRAWL_PageInfo page = (CRAWL_PageInfo)obj->page;
  595.     XP_ASSERT(page != NULL);
  596.     if ((page->scan_complete_func != NULL) && (page->page_owner != NULL))
  597.         page->scan_complete_func(page->page_owner, page);
  598.     CRAWL_DestroyParseObj(obj->parse_obj);
  599.     crawl_destroyPage(page);
  600.     obj->page = NULL;
  601. }
  602.  
  603. PRIVATE void
  604. crawl_PageScanConvAbort(NET_StreamClass *stream, int status)
  605. {    
  606. #if defined(XP_MAC)
  607. #pragma unused(status)
  608. #endif
  609.     crawl_page_scan_stream *obj=stream->data_object;
  610.     /* we got an error (status always negative here) but should call completion function */
  611.     CRAWL_PageInfo page = (CRAWL_PageInfo)obj->page;
  612.     XP_ASSERT(page != NULL);
  613.     if ((page->scan_complete_func != NULL) && (page->page_owner != NULL))
  614.         page->scan_complete_func(page->page_owner, page);
  615.  
  616.     CRAWL_DestroyParseObj(obj->parse_obj);
  617.     crawl_destroyPage(obj->page);
  618.     obj->page = NULL;
  619. }
  620.  
  621. PUBLIC NET_StreamClass *
  622. CRAWL_CrawlerConverter(int format_out,
  623.                         void *data_object,
  624.                         URL_Struct *URL_s,
  625.                         MWContext  *window_id)
  626. {
  627. #if defined(XP_MAC)
  628. #pragma unused(format_out, data_object)
  629. #endif
  630.     NET_StreamClass *stream = NULL;
  631.  
  632.     crawl_page_scan_stream *obj;
  633.  
  634.     TRACEMSG(("Setting up display stream. Have URL: %s\n", URL_s->address));
  635.  
  636.     XP_TRACE(("CRAWL_CrawlerConverter: %d %s", URL_s->server_status, URL_s->address));
  637.  
  638.     if (URL_s->SARCache != NULL) {
  639.         /* if the content length would exceed the cache limit, don't convert this */
  640.         if (((uint32)URL_s->content_length >= (URL_s->SARCache->MaxSize - URL_s->SARCache->DiskCacheSize)) &&
  641.             ((uint32)URL_s->content_length < BOGUS_CONTENT_LENGTH)) {
  642.             CRAWL_PageInfo page = URL_s->owner_data;
  643.             XP_TRACE(("not converting %s", URL_s->address));
  644.             if ((page->scan_complete_func != NULL) && (page->page_owner != NULL)) {
  645.                 page->scan_complete_func(page->page_owner, page);
  646.                 return(NULL);
  647.             }
  648.         }
  649.     }
  650.  
  651.     stream = XP_NEW(NET_StreamClass);
  652.     if(stream == NULL)
  653.         return(NULL);
  654.  
  655.     obj = XP_NEW(crawl_page_scan_stream);
  656.     if (obj == NULL)
  657.       {
  658.         XP_FREE(stream);
  659.         return(NULL);
  660.       }
  661.     obj->parse_obj = CRAWL_MakeParseObj();            /* this object used to parse the page and destroyed 
  662.                                                 in completion or abort function */
  663.     if (obj->parse_obj == NULL) return(NULL);
  664.     obj->page = URL_s->owner_data;                /* this data was set in crawl_makePage */
  665.     obj->page->lastModified = URL_s->last_modified;
  666.     /* if there was a server error, read but don't parse the document */
  667.     if ((URL_s->server_status >= 400) ||
  668.         /* don't attempt to parse non-html */
  669.         ((XP_STRSTR(URL_s->content_type, TEXT_HTML) == NULL) &&
  670.          (XP_STRSTR(URL_s->content_type, INTERNAL_PARSER) == NULL))) {
  671.         /* URL_s->dont_cache = PR_FALSE; */
  672.         obj->page->dontFollow = PR_TRUE;
  673.     }
  674.  
  675.     stream->name           = "Crawler Converter";
  676.     stream->complete       = (MKStreamCompleteFunc) crawl_PageScanConvComplete;
  677.     stream->abort          = (MKStreamAbortFunc) crawl_PageScanConvAbort;
  678.     stream->put_block      = (MKStreamWriteFunc) crawl_PageScanConvPut;
  679.     stream->is_write_ready = (MKStreamWriteReadyFunc) crawl_PageScanConvWriteReady;
  680.     stream->data_object    = obj;  /* document info object */
  681.     stream->window_id      = window_id;
  682.     return(stream);
  683. }
  684.