home *** CD-ROM | disk | FTP | other *** search
/ Otherware / Otherware_1_SB_Development.iso / mac / developm / source / povsrc.sit / SOURCE / TOKENIZE.C < prev    next >
Encoding:
C/C++ Source or Header  |  1992-07-03  |  23.3 KB  |  931 lines
  1. /****************************************************************************
  2. *                tokenize.c
  3. *
  4. *  This module implements the first part of a two part parser for the scene
  5. *  description files.  This phase changes the input file into tokens.
  6. *
  7. *  from Persistence of Vision Raytracer 
  8. *  Copyright 1992 Persistence of Vision Team
  9. *---------------------------------------------------------------------------
  10. *  Copying, distribution and legal info is in the file povlegal.doc which
  11. *  should be distributed with this file. If povlegal.doc is not available
  12. *  or for more info please contact:
  13. *
  14. *       Drew Wells [POV-Team Leader] 
  15. *       CIS: 73767,1244  Internet: 73767.1244@compuserve.com
  16. *       Phone: (213) 254-4041
  17. * 
  18. * This program is based on the popular DKB raytracer version 2.12.
  19. * DKBTrace was originally written by David K. Buck.
  20. * DKBTrace Ver 2.0-2.12 were written by David K. Buck & Aaron A. Collins.
  21. *
  22. *****************************************************************************/
  23.  
  24. #include <ctype.h>
  25. #include "frame.h"
  26. #include "povproto.h"
  27.  
  28. /* This module tokenizes the input file and sends the tokens created
  29. to the parser (the second stage).  Tokens sent to the parser contain a
  30. token ID, the line number of the token, and if necessary, some data for
  31. the token.  */
  32.  
  33. #define MAX_STRING_INDEX 41
  34. char String[MAX_STRING_INDEX];
  35. int String_Index;
  36. extern char Library_Path[];
  37. extern int Stop_Flag;
  38. static int pov_stricmp PARAMS ((char *s1,char *s2));
  39.  
  40. /* Here are the reserved words.  If you need to add new words, be sure
  41. to declare them in frame.h */
  42.  
  43. struct Reserved_Word_Struct Reserved_Words [LAST_TOKEN] = {
  44.    AGATE_TOKEN, "agate",
  45.    ALL_TOKEN, "all",
  46.    ALPHA_TOKEN, "alpha",
  47.    AMBIENT_TOKEN, "ambient",
  48.    AMPERSAND_TOKEN, "&",
  49.    AT_TOKEN, "@",
  50.    BACK_QUOTE_TOKEN, "`",
  51.    BACK_SLASH_TOKEN, "\\",
  52.    BAR_TOKEN, "|",
  53.    BICUBIC_PATCH_TOKEN, "bicubic_patch",
  54.    BLUE_TOKEN, "blue",
  55.    BRICK_TOKEN, "brick",
  56.    BRILLIANCE_TOKEN, "brilliance",
  57.    BLOB_TOKEN, "blob",
  58.    BOX_TOKEN, "box",
  59.    BOZO_TOKEN, "bozo",
  60.    BOUNDED_TOKEN, "bounded_by",
  61.    BUMPS_TOKEN, "bumps",
  62.    BUMPSIZE_TOKEN, "bump_size",
  63.    BUMPMAP_TOKEN, "bump_map",
  64.    BUMPY1_TOKEN, "bumpy1",
  65.    BUMPY2_TOKEN, "bumpy2",
  66.    BUMPY3_TOKEN, "bumpy3",  
  67.    CENTER_TOKEN, "center",
  68.    CHECKER_TOKEN, "checker",
  69.    CHECKER_TEXTURE_TOKEN, "tiles",
  70.    CLIPPED_TOKEN, "clipped_by",
  71.    COLON_TOKEN, ":",
  72.    COLOUR_TOKEN, "color",
  73.    COLOUR_TOKEN, "colour",
  74.    COLOUR_MAP_TOKEN, "color_map",
  75.    COLOUR_MAP_TOKEN, "colour_map",
  76.    COMMA_TOKEN, ",",
  77.    COMPONENT_TOKEN, "component",
  78.    COMPOSITE_TOKEN, "composite",
  79.    CONCENTRATION_TOKEN, "concentration",
  80.    CUBIC_TOKEN, "cubic",
  81.    DASH_TOKEN, "-",
  82.    DECLARE_TOKEN, "declare",
  83.    DEFAULT_TOKEN, "default",
  84.    DENTS_TOKEN, "dents",
  85.    DIFFERENCE_TOKEN, "difference",
  86.    DIFFUSE_TOKEN, "diffuse",
  87.    DIRECTION_TOKEN, "direction",
  88.    DOLLAR_TOKEN, "$",
  89.    DUMP_TOKEN, "dump",
  90.    END_OF_FILE_TOKEN, "End of File",
  91.    EQUALS_TOKEN, "=",
  92.    EXCLAMATION_TOKEN, "!",
  93.    FALLOFF_TOKEN, "falloff",
  94.    FLOAT_TOKEN, "float",
  95.    FOG_TOKEN, "fog",
  96.    FREQUENCY_TOKEN, "frequency",
  97.    GIF_TOKEN, "gif",
  98.    GRANITE_TOKEN, "granite",
  99.    GRADIENT_TOKEN, "gradient",
  100.    GREEN_TOKEN, "green",
  101.    HASH_TOKEN, "#",
  102.    HAT_TOKEN, "^",
  103.    HEIGHT_FIELD_TOKEN, "height_field",
  104.    IDENTIFIER_TOKEN, "identifier",
  105.    IFF_TOKEN, "iff",
  106.    IMAGEMAP_TOKEN, "image_map",
  107.    INCLUDE_TOKEN, "include",
  108.    INTERPOLATE_TOKEN, "interpolate",
  109.    INTERSECTION_TOKEN, "intersection",
  110.    INVERSE_TOKEN, "inverse",
  111.    IOR_TOKEN, "ior",
  112.    LEFT_ANGLE_TOKEN, "<",
  113.    LEFT_CURLY_TOKEN, "{",
  114.    LEFT_PAREN_TOKEN, "(",
  115.    LEFT_SQUARE_TOKEN, "[",
  116.    LEOPARD_TOKEN, "leopard",
  117.    LIGHT_SOURCE_TOKEN, "light_source",
  118.    LOCATION_TOKEN, "location",
  119.    LOOK_AT_TOKEN, "look_at",
  120.    MARBLE_TOKEN, "marble",
  121.    MATERIAL_MAP_TOKEN, "material_map",
  122.    MAPTYPE_TOKEN, "map_type",
  123.    MAX_TRACE_LEVEL_TOKEN, "max_trace_level",
  124.    METALLIC_TOKEN, "metallic",
  125.    MORTAR_TOKEN, "mortar",
  126.    NO_SHADOW_TOKEN, "no_shadow",
  127.    OBJECT_TOKEN, "object",
  128.    OCTAVES_TOKEN, "octaves",
  129.    ONCE_TOKEN, "once",
  130.    ONION_TOKEN, "onion",
  131.    PAINTED1_TOKEN, "painted1",
  132.    PAINTED2_TOKEN, "painted2",
  133.    PAINTED3_TOKEN, "painted3",
  134.    PERCENT_TOKEN, "%",
  135.    PHASE_TOKEN, "phase",
  136.    PHONG_TOKEN, "phong",
  137.    PHONGSIZE_TOKEN, "phong_size",
  138.    PLANE_TOKEN, "plane",
  139.    PLUS_TOKEN, "+",
  140.    POINTS_TOKEN, "points",
  141.    POINT_AT_TOKEN, "point_at",
  142.    POLY_TOKEN, "poly",
  143.    POLYGON_TOKEN, "polygon",
  144.    POT_TOKEN, "pot",
  145.    QUADRIC_TOKEN, "quadric",
  146.    QUARTIC_TOKEN, "quartic",
  147.    QUESTION_TOKEN, "?",
  148.    RADIUS_TOKEN, "radius",
  149.    RAW_TOKEN, "raw",
  150.    RED_TOKEN, "red",
  151.    REFLECTION_TOKEN, "reflection",
  152.    REFRACTION_TOKEN, "refraction",
  153.    REVOLVE_TOKEN, "revolve",
  154.    RIGHT_TOKEN, "right",
  155.    RIGHT_CURLY_TOKEN, "}",
  156.    RIGHT_ANGLE_TOKEN, ">",
  157.    RIGHT_PAREN_TOKEN, ")",
  158.    RIGHT_SQUARE_TOKEN, "]",
  159.    RIPPLES_TOKEN, "ripples",
  160.    ROTATE_TOKEN, "rotate",
  161.    ROUGHNESS_TOKEN, "roughness",
  162.    SCALE_TOKEN, "scale",
  163.    SEMI_COLON_TOKEN, ";",
  164.    SHAPE_TOKEN, "shape",
  165.    SKY_TOKEN, "sky",
  166.    SINGLE_QUOTE_TOKEN, "'",
  167.    SIZE_TOKEN, "size",
  168.    SLASH_TOKEN, "/",
  169.    SMOOTH_TRIANGLE_TOKEN, "smooth_triangle",
  170.    SPECULAR_TOKEN, "specular",
  171.    SPHERE_TOKEN, "sphere",
  172.    SPOTLIGHT_TOKEN, "spotlight",
  173.    SPOTTED_TOKEN, "spotted",
  174.    STAR_TOKEN, "*",
  175.    STRING_TOKEN, "string",
  176.    STURM_TOKEN, "sturm",
  177.    TEXTURE_TOKEN, "texture",
  178.    TGA_TOKEN, "tga",
  179.    TIGHTNESS_TOKEN, "tightness",
  180.    TILDE_TOKEN, "~",
  181.    TILE2_TOKEN, "tile2",
  182.    THRESHOLD_TOKEN, "threshold",
  183.    TRANSLATE_TOKEN, "translate",
  184.    TRANSMIT_TOKEN, "* disabled *", /* Transmit disabled 2/92 */
  185.    TRIANGLE_TOKEN, "triangle",
  186.    TURBULENCE_TOKEN, "turbulence",
  187.    UNION_TOKEN, "union",
  188.    UP_TOKEN, "up",
  189.    USE_COLOUR_TOKEN,"use_color",
  190.    USE_COLOUR_TOKEN,"use_colour",
  191.    USE_INDEX_TOKEN,"use_index",
  192.    VIEW_POINT_TOKEN, "camera",
  193.    WATER_LEVEL_TOKEN, "water_level",
  194.    WAVES_TOKEN, "waves",
  195.    WOOD_TOKEN, "wood",
  196.    WRINKLES_TOKEN, "wrinkles", 
  197.    LAST_TOKEN, "orville" 
  198. };
  199.  
  200. /* Make a table for user-defined symbols.  500 symbols should be more
  201. than enough. */
  202.  
  203. /* Now defined in POVRAY.c */
  204. /* #define MAX_SYMBOLS 500 */
  205. extern int Max_Symbols;
  206.  
  207. int token_count = 0, line_count = 0; /* moved here to allow reinitialization */
  208.  
  209. char **Symbol_Table;
  210. int Number_Of_Symbols;
  211. extern int Case_Sensitive_Flag; /* defined & init in povray.c */
  212.  
  213. #define MAX_INCLUDE_FILES 10
  214.  
  215. DATA_FILE Include_Files[MAX_INCLUDE_FILES];
  216. int Include_File_Index;
  217. DATA_FILE *Data_File;
  218.  
  219. struct Token_Struct Token;
  220.  
  221. #define CALL(x) { if (!(x)) return (FALSE); }
  222.  
  223. void Initialize_Tokenizer(filename)
  224. char *filename;
  225. {
  226.    Symbol_Table = NULL;
  227.    Data_File = NULL;
  228.  
  229.    Include_File_Index = 0;
  230.    Data_File = &Include_Files[0];
  231.  
  232.    Data_File->File = Locate_File (filename, "r");
  233.    if (Data_File->File == NULL) {
  234.       fprintf (stderr, "Cannot open input file\n");
  235.       exit(1);
  236.    }
  237.  
  238.    Data_File->Filename = malloc(strlen(filename) + 1);
  239.    strcpy (Data_File->Filename, filename);
  240.    Data_File->Line_Number = 0;
  241.  
  242.  
  243.    if ((Symbol_Table = (char **) malloc (Max_Symbols * sizeof (char *))) == NULL) {
  244.       fprintf(stderr, "Out of Memory. Cannot allocate space for symbol table\n");
  245.       exit(1);
  246.    }
  247.  
  248.    Token.End_Of_File = FALSE;
  249.    Number_Of_Symbols = 0;
  250. }
  251.  
  252.  
  253. void Terminate_Tokenizer()
  254. {
  255.    int i;
  256.  
  257.    if (Symbol_Table != NULL) {
  258.       for (i = 1 ; i < Number_Of_Symbols ; i++)
  259.          free(Symbol_Table[i]);
  260.  
  261.       free (Symbol_Table);
  262.    }
  263.  
  264.    if (Data_File != NULL) {
  265.       fclose (Data_File->File);
  266.       free (Data_File->Filename);
  267.    }
  268. }
  269.  
  270. /* The main tokenizing routine.  Set up the files and continue parsing
  271. until the end of file */
  272.  
  273. /* This function performs most of the work involved in tokenizing.  It
  274.    reads the first character of the token and decides which function to
  275.    call to tokenize the rest.  For simple tokens, it simply writes them
  276.    out to the token buffer.  */
  277.  
  278. /* Read a token from the input file and store it in the Token variable.
  279. If the token is an INCLUDE token, then set the include file name and
  280. read another token. */
  281.  
  282. void Get_Token ()
  283. {
  284.    register int c,c2;
  285.    COOPERATE
  286.    if(Stop_Flag){
  287.       close_all();
  288.       exit(1);
  289.    }
  290.    if (Token.Unget_Token)
  291.    {
  292.       Token.Unget_Token = FALSE;
  293.       return;
  294.    }
  295.  
  296.    if (Token.End_Of_File)
  297.       return;
  298.  
  299.    Token.Token_Id = END_OF_FILE_TOKEN;
  300.  
  301.    while (Token.Token_Id == END_OF_FILE_TOKEN) {
  302.  
  303.       Skip_Spaces (Data_File);
  304.  
  305.       c = getc(Data_File->File);
  306.       if (c == EOF) {
  307.          if (Include_File_Index == 0) {
  308.             Token.Token_Id = END_OF_FILE_TOKEN;
  309.             Token.End_Of_File = TRUE;
  310.             /*putchar ('\n');*/
  311.             fprintf (stderr,"\n");
  312.             return;
  313.          }
  314.  
  315.          fclose(Data_File->File); /* added to fix open file buildup JLN 12/91 */
  316.  
  317.          Data_File = &Include_Files[--Include_File_Index];
  318.          continue;
  319.       }
  320.  
  321.       String[0] = '\0';
  322.       String_Index  = 0;
  323.  
  324.       switch (c)
  325.       {
  326.       case '\n': Data_File->Line_Number++;
  327.          break;
  328.  
  329.       case '{' : Write_Token (LEFT_CURLY_TOKEN, Data_File);
  330.          /* Parse_Comments(Data_File); */
  331.          break;
  332.  
  333.       case '}' : Write_Token (RIGHT_CURLY_TOKEN, Data_File);
  334.          break;                                    
  335.  
  336.       case '@' : Write_Token (AT_TOKEN, Data_File);
  337.          break;
  338.  
  339.       case '&' : Write_Token (AMPERSAND_TOKEN, Data_File);
  340.          break;
  341.  
  342.       case '`' : Write_Token (BACK_QUOTE_TOKEN, Data_File);
  343.          break;
  344.  
  345.       case '\\': Write_Token (BACK_SLASH_TOKEN, Data_File);
  346.          break;
  347.  
  348.       case '|' : Write_Token (BAR_TOKEN, Data_File);
  349.          break;
  350.  
  351.       case ':' : Write_Token (COLON_TOKEN, Data_File);
  352.          break;
  353.  
  354.       case ',' : Write_Token (COMMA_TOKEN, Data_File);
  355.          break;
  356.  
  357.       case '-' : Write_Token (DASH_TOKEN, Data_File);
  358.          break;
  359.  
  360.       case '$' : Write_Token (DOLLAR_TOKEN, Data_File);
  361.          break;
  362.  
  363.       case '=' : Write_Token (EQUALS_TOKEN, Data_File);
  364.          break;
  365.  
  366.       case '!' : Write_Token (EXCLAMATION_TOKEN, Data_File);
  367.          break;
  368.  
  369.       case '#' : /* Parser doesn't use it, so let's ignore it */
  370.          /* Write_Token (HASH_TOKEN, Data_File); */
  371.          break;
  372.  
  373.       case '^' : Write_Token (HAT_TOKEN, Data_File);
  374.          break;
  375.  
  376.       case '<' : Write_Token (LEFT_ANGLE_TOKEN, Data_File);
  377.          break;
  378.  
  379.       case '(' : Write_Token (LEFT_PAREN_TOKEN, Data_File);
  380.          break;
  381.  
  382.       case '[' : Write_Token (LEFT_SQUARE_TOKEN, Data_File);
  383.          break;
  384.  
  385.       case '%' :  Write_Token (PERCENT_TOKEN, Data_File);
  386.          break;
  387.  
  388.       case '+' : Write_Token (PLUS_TOKEN, Data_File);
  389.          break;
  390.  
  391.       case '?' : Write_Token (QUESTION_TOKEN, Data_File);
  392.          break;
  393.  
  394.       case '>' : Write_Token (RIGHT_ANGLE_TOKEN, Data_File);
  395.          break;
  396.  
  397.       case ')' : Write_Token (RIGHT_PAREN_TOKEN, Data_File);
  398.          break;
  399.  
  400.       case ']' : Write_Token (RIGHT_SQUARE_TOKEN, Data_File);
  401.          break;
  402.  
  403.       case ';' : /* Parser doesn't use it, so let's ignore it */
  404.          /* Write_Token (SEMI_COLON_TOKEN, Data_File); */
  405.          break;
  406.  
  407.       case '\'': Write_Token (SINGLE_QUOTE_TOKEN, Data_File);
  408.          break;
  409.  
  410.          /* enable C++ style commenting */
  411.       case '/' :     c2 = getc(Data_File->File);
  412.          if(c2 != (int) '/' && c2 != (int) '*'){
  413.             ungetc(c2,Data_File->File);
  414.             Write_Token (SLASH_TOKEN, Data_File);
  415.             break;
  416.          }          
  417.          if(c2 == (int)'*'){
  418.             Parse_C_Comments(Data_File);
  419.             break;
  420.          }           
  421.          while(c2 != (int)'\n'){
  422.             c2=getc(Data_File->File);
  423.             if(c2==EOF){
  424.                ungetc(c2,Data_File->File);
  425.                break;
  426.             }
  427.          }
  428.          Data_File->Line_Number++;
  429.          break;
  430.  
  431.       case '*' : Write_Token (STAR_TOKEN, Data_File);
  432.          break;
  433.  
  434.       case '~' : Write_Token (TILDE_TOKEN, Data_File);
  435.          break;
  436.  
  437.       case '"' : Parse_String (Data_File);
  438.          break;
  439.  
  440.       case '0':   case '1':   case '2':   case '3':   case '4':   case '5':
  441.       case '6':   case '7':   case '8':   case '9':   case '.':
  442.          ungetc (c, Data_File->File);
  443.          if (Read_Float (Data_File) != TRUE)
  444.             return;
  445.          break;
  446.  
  447.       case 'a': case 'b': case 'c': case 'd': case 'e': case 'f': case 'g':
  448.       case 'h': case 'i': case 'j': case 'k': case 'l': case 'm': case 'n':
  449.       case 'o': case 'p': case 'q': case 'r': case 's': case 't': case 'u':
  450.       case 'v': case 'w': case 'x': case 'y': case 'z':
  451.       case 'A': case 'B': case 'C': case 'D': case 'E': case 'F': case 'G':
  452.       case 'H': case 'I': case 'J': case 'K': case 'L': case 'M': case 'N':
  453.       case 'O': case 'P': case 'Q': case 'R': case 'S': case 'T': case 'U':
  454.       case 'V': case 'W': case 'X': case 'Y': case 'Z': case '_':
  455.          ungetc (c, Data_File->File);
  456.          if (Read_Symbol (Data_File) != TRUE)
  457.             return;
  458.          break;
  459.       case '\t':
  460.       case '\r':
  461.       case '\032':   /* Control Z - EOF on many systems */
  462.       case '\0': break;
  463.  
  464.       default:
  465.          fprintf (stderr, "Error in %s line %d\n", Data_File->Filename, Data_File->Line_Number+1);
  466.          fprintf (stderr, "Illegal character in input file, value is %02x\n", c);
  467.          break;
  468.       }
  469.       if (Token.Token_Id == INCLUDE_TOKEN)
  470.       {
  471.          if (Skip_Spaces (Data_File) != TRUE)
  472.             Token_Error (Data_File, "Expecting a string after INCLUDE\n");
  473.  
  474.          if ((c = getc(Data_File->File)) != '"')
  475.             Token_Error (Data_File, "Expecting a string after INCLUDE\n");
  476.  
  477.          Parse_String(Data_File);
  478.          Include_File_Index++;
  479.          if (Include_File_Index > MAX_INCLUDE_FILES)
  480.             Token_Error (Data_File, "Too many nested include files\n");
  481.  
  482.          Data_File = &Include_Files[Include_File_Index];
  483.          Data_File->Line_Number = 0;
  484.  
  485.          Data_File->Filename = malloc(strlen(Token.Token_String) + 1);
  486.          if (Data_File->Filename == NULL) {
  487.             fprintf (stderr, "Out of memory opening include file: %s\n",
  488.                Token.Token_String);
  489.             exit (1);
  490.          }
  491.  
  492.          strcpy (Data_File->Filename, Token.Token_String);
  493.  
  494.          if ((Data_File->File = Locate_File (Token.Token_String, "r")) == NULL) {
  495.             fprintf (stderr, "Cannot open include file: %s\n", Token.Token_String);
  496.             exit(1);
  497.          }
  498.          Token.Token_Id = END_OF_FILE_TOKEN;
  499.       }
  500.  
  501.    }
  502.  
  503.    token_count++;
  504.    if (token_count > 1000) {
  505.       token_count = 0;
  506.       fprintf(stderr,".");
  507.       fflush(stderr);
  508.       line_count++;
  509.       if (line_count > 78) {
  510.          line_count = 0;
  511.          fprintf (stderr,"\n");
  512.       }
  513.    }
  514.    return;
  515. }
  516.  
  517.  
  518. /* Mark that the token has been put back into the input stream.  The next
  519. call to Get_Token will return the last-read token instead of reading a
  520. new one from the file. */
  521.  
  522. void Unget_Token ()
  523. {
  524.    Token.Unget_Token = TRUE;
  525. }
  526.  
  527. /* Skip over spaces in the input file */
  528.  
  529. int Skip_Spaces (Data_File)
  530. DATA_FILE *Data_File;
  531. {
  532.    register int c;
  533.  
  534.    while (TRUE)
  535.    {
  536.       c = getc(Data_File->File);
  537.       if (c == EOF)
  538.          return (FALSE);
  539.  
  540.       if (!(isspace(c) || c == 0x0A))
  541.          break;
  542.  
  543.       if (c == '\n')
  544.          Data_File->Line_Number++;
  545.    }
  546.  
  547.    ungetc (c, Data_File->File);
  548.    return (TRUE);
  549. }
  550. /* The comments on comments are outdated and incorrect */
  551. /* Comments start with an open brace ({) and end with a close brace (}).
  552.    The open brace has been read already.  Continue reading until a close
  553.    brace is encountered. Be sure to count the lines while you're at it.
  554.    Incidently, nested comments are supported (in case you do such esoteric
  555.    things) */
  556.  
  557. int Parse_Comments (Data_File)
  558. DATA_FILE *Data_File;
  559. {
  560.    register int c;
  561.    int End_Of_Comment;
  562.  
  563.    End_Of_Comment = FALSE;
  564.    while (!End_Of_Comment)
  565.    {
  566.       c = getc (Data_File->File);
  567.       if (c == EOF)
  568.       {
  569.          Token_Error (Data_File, "No closing comment found");
  570.          return (FALSE);
  571.       }
  572.  
  573.       if (c == (int) '\n')
  574.          Data_File->Line_Number++;
  575.  
  576.       if (c == (int) '{')
  577.          CALL (Parse_Comments(Data_File))
  578. else
  579.    End_Of_Comment = (c == (int) '}');
  580. }
  581.  
  582. return (TRUE);
  583. }
  584.  
  585. /* C style comments with asterik and slash - CdW 8/91 */
  586.  
  587. int Parse_C_Comments (Data_File)
  588. DATA_FILE *Data_File;
  589. {
  590. register int c,c2;
  591. int End_Of_Comment;
  592.  
  593. End_Of_Comment = FALSE;
  594. while (!End_Of_Comment)
  595. {
  596. c = getc (Data_File->File);
  597. if (c == EOF)
  598. {
  599.    Token_Error (Data_File, "No */ closing comment found");
  600.    return (FALSE);
  601. }
  602.  
  603. if (c == (int) '\n')
  604. Data_File->Line_Number++;
  605.  
  606. if (c == (int) '*'){
  607.    c2= getc(Data_File->File);
  608.    if(c2 != (int) '/')
  609.       ungetc(c2,Data_File->File);
  610.    else
  611.       End_Of_Comment = TRUE;
  612. }
  613. /* Check for and handle nested comments */
  614. if (c == (int) '/'){
  615.    c2= getc(Data_File->File);
  616.    if(c2 != (int) '*')
  617.       ungetc(c2,Data_File->File);
  618.    else 
  619.       Parse_C_Comments(Data_File);
  620. }
  621. }
  622. return (TRUE);
  623. }
  624.  
  625. /* The following routines make it easier to handle strings.  They stuff
  626.    characters into a string buffer one at a time making all the proper
  627.    range checks.  Call Begin_String to start, Stuff_Character to put
  628.    characters in, and End_String to finish.  The String variable contains
  629.    the final string. */
  630.  
  631. void Begin_String()
  632. {
  633. String_Index = 0;
  634. }
  635.  
  636. void Stuff_Character (c, Data_File)
  637. int c;
  638. DATA_FILE *Data_File;
  639. {
  640. if (String_Index < MAX_STRING_INDEX)
  641. {
  642. String [String_Index++] = (char) c;
  643. if (String_Index >= MAX_STRING_INDEX)
  644. {
  645.    Token_Error (Data_File, "String too long");
  646.    String [String_Index-1] = '\0';
  647. }
  648. }
  649. }
  650.  
  651. void End_String (Data_File)
  652. DATA_FILE *Data_File;
  653. {
  654. Stuff_Character ((int) '\0', Data_File);
  655. }
  656.  
  657. /* Read a float from the input file and tokenize it as one token. The phase
  658.    variable is 0 for the first character, 1 for all subsequent characters
  659.    up to the decimal point, 2 for all characters after the decimal
  660.    point, 3 for the E+/- and 4 for the exponent.  This helps to insure
  661.    that the number is formatted properly. E format added 9/91 CEY */
  662.  
  663. int Read_Float(Data_File)
  664. DATA_FILE *Data_File;
  665. {
  666. register int c, Finished, Phase;
  667.  
  668. Finished = FALSE;
  669. Phase = 0;
  670.  
  671. Begin_String();
  672. while (!Finished)
  673. {
  674. c = getc(Data_File->File);
  675. if (c == EOF)
  676. {
  677.    Token_Error (Data_File, "Unexpected end of file");
  678.    return (FALSE);
  679. }
  680.  
  681. switch (Phase)
  682. {
  683. case 0: if (isdigit(c))
  684.       Stuff_Character(c, Data_File);
  685.    else
  686.       if (c == '.') {
  687.          Stuff_Character('0', Data_File);
  688.          ungetc (c, Data_File->File);
  689.       }
  690.       else
  691.          Token_Error (Data_File, "Error in decimal number");
  692.    Phase = 1;
  693.    break;
  694.  
  695. case 1: if (isdigit(c))
  696.       Stuff_Character(c, Data_File);
  697.    else if (c == (int) '.')
  698.    {Stuff_Character(c, Data_File); Phase = 2;
  699.    }
  700.    else
  701.       if ((c == 'e') || (c == 'E'))
  702.       {Stuff_Character(c, Data_File); Phase = 3;
  703.       }
  704.       else Finished = TRUE;
  705.    break;
  706.  
  707.    case 2: if (isdigit(c))
  708.          Stuff_Character(c, Data_File);
  709.       else if ((c == 'e') || (c == 'E'))
  710.       {Stuff_Character(c, Data_File); Phase = 3;
  711.       }
  712.       else Finished = TRUE;
  713.    break;
  714.  
  715.    case 3: if (isdigit(c) || (c == '+') || (c == '-'))
  716.       {Stuff_Character(c, Data_File); Phase = 4;
  717.       }
  718.       else Finished = TRUE;
  719.    break;
  720.  
  721.    case 4: if (isdigit(c))
  722.          Stuff_Character(c, Data_File);
  723.       else Finished = TRUE;
  724.    break;
  725. }
  726. }
  727.  
  728. ungetc (c, Data_File->File);
  729. End_String(Data_File);
  730.  
  731. Write_Token (FLOAT_TOKEN, Data_File);
  732. if (sscanf (String, DBL_FORMAT_STRING, &Token.Token_Float) == 0)
  733. return (FALSE);
  734.  
  735. return (TRUE);
  736. }
  737.  
  738. /* Parse a string from the input file into a token. */
  739. void Parse_String (Data_File)
  740. DATA_FILE *Data_File;
  741. {
  742. register int c;
  743.  
  744. Begin_String();
  745. while (TRUE)
  746. {
  747. c = getc(Data_File->File);
  748. if (c == EOF)
  749. Token_Error (Data_File, "No end quote for string");
  750.  
  751. if (c != (int) '"')
  752. Stuff_Character (c, Data_File);
  753. else
  754.    break;
  755. }
  756. End_String(Data_File);
  757.  
  758. Write_Token (STRING_TOKEN, Data_File);
  759. Token.Token_String = String;
  760. }
  761.  
  762. /* Read in a symbol from the input file.  Check to see if it is a reserved
  763.    word.  If it is, write out the appropriate token.  Otherwise, write the
  764.    symbol out to the Symbol file and write out an IDENTIFIER token. An
  765.    Identifier token is a token whose token number is greater than the
  766.    highest reserved word. */
  767.  
  768. int Read_Symbol (Data_File)
  769. DATA_FILE *Data_File;
  770. {
  771. register int c, Symbol_Id;
  772.  
  773. Begin_String();
  774. while (TRUE)
  775. {
  776. c = getc(Data_File->File);
  777. if (c == EOF)
  778. {
  779.    Token_Error (Data_File, "Unexpected end of file");
  780.    return (FALSE);
  781. }
  782.  
  783. if (isalpha(c) || isdigit(c) || c == (int) '_')
  784. Stuff_Character (c, Data_File);
  785. else
  786. {
  787.    ungetc (c, Data_File->File);
  788.    break;
  789. }
  790. }
  791. End_String(Data_File);
  792.  
  793. /* Ignore the symbol if it was meant for the tokenizer (-2) */  
  794. if ((Symbol_Id = Find_Reserved()) != -1 && Symbol_Id != -2)
  795. Write_Token (Symbol_Id, Data_File);
  796. else
  797. {
  798. /* Ignore the symbol if it was meant for the tokenizer (-2) */  
  799. if (Symbol_Id==-2)
  800. return(TRUE);
  801.  
  802. if ((Symbol_Id = Find_Symbol()) == -1) {
  803.    if (++Number_Of_Symbols < Max_Symbols) {
  804.       if ((Symbol_Table[Number_Of_Symbols] = malloc (strlen(String)+1)) == NULL)
  805.          Token_Error (Data_File, "Out of memory. Cannot allocate space for identifier");
  806.  
  807.       strcpy (Symbol_Table[Number_Of_Symbols], String);
  808.       Symbol_Id = Number_Of_Symbols;
  809.    }
  810.    else {
  811.       fprintf (stderr, "\nToo many symbols. Use +ms### option to raise Max_Symbols.\n");
  812.       exit(1);
  813.    }
  814. }
  815.  
  816.    Write_Token (LAST_TOKEN + Symbol_Id, Data_File);
  817. }
  818.  
  819. return (TRUE);
  820. }
  821.  
  822. /* Return the index the token in the reserved words table or -1 if it
  823.    isn't there. */
  824.  
  825. int Find_Reserved ()
  826. {
  827. register int i;
  828.  
  829. if (pov_stricmp ("case_sensitive_yes", &(String[0])) == 0){
  830. Case_Sensitive_Flag = 0;
  831. return (-2);
  832. }
  833. else if (pov_stricmp ("case_sensitive_no", &(String[0])) == 0){
  834. Case_Sensitive_Flag = 1;
  835. return (-2);
  836. }
  837. /* The optional case sensitive option only checks keywords unsensitive */
  838. /* Symbols can be upper/lower, but not be the same as a keyword */  
  839. else if (pov_stricmp ("case_sensitive_opt", &(String[0])) == 0){
  840. Case_Sensitive_Flag = 2;
  841. return (-2);
  842. }
  843.  
  844. for (i = 0 ; i < LAST_TOKEN ; i++)
  845. if(Case_Sensitive_Flag==0){
  846.    if (strcmp (Reserved_Words[i].Token_Name, &(String[0])) == 0)
  847.       return (Reserved_Words[i].Token_Number);
  848. }
  849. else{ 
  850. if (pov_stricmp (Reserved_Words[i].Token_Name, &(String[0])) == 0)
  851. return (Reserved_Words[i].Token_Number);
  852. } 
  853.  
  854. return (-1);
  855. }
  856.  
  857. /* Check to see if a symbol already exists with this name.  If so, return
  858.     its symbol ID. */
  859.  
  860. int Find_Symbol ()
  861. {
  862. register int i;
  863.  
  864. for (i = 1 ; i <= Number_Of_Symbols ; i++)
  865. if(Case_Sensitive_Flag == 0 || Case_Sensitive_Flag == 2)
  866. if (strcmp (Symbol_Table[i], String) == 0)
  867. return (i);
  868. else if (Case_Sensitive_Flag == 1)
  869. if (pov_stricmp (Symbol_Table[i], String) == 0)
  870. return (i);
  871.  
  872. return (-1);
  873. }
  874.  
  875. /* Write a token out to the token file */
  876. void Write_Token (Token_Id, Data_File)
  877. TOKEN Token_Id;
  878. DATA_FILE *Data_File;
  879. {
  880. Token.Token_Id = Token_Id;
  881. Token.Token_Line_No = Data_File->Line_Number;
  882. Token.Filename = Data_File->Filename;
  883. Token.Token_String = String;
  884.  
  885. if (Token.Token_Id > LAST_TOKEN)
  886. {
  887. Token.Identifier_Number = (int) Token.Token_Id - (int) LAST_TOKEN;
  888. Token.Token_Id = IDENTIFIER_TOKEN;
  889. }
  890. }
  891.  
  892. /* Report an error */
  893. void Token_Error (Data_File, str)
  894. DATA_FILE *Data_File;
  895. char *str;
  896. {
  897. fprintf(stderr, "Error in %s line %d\n", Data_File->Filename, Data_File->Line_Number);
  898. fputs(str, stderr);
  899. fputs("\n\n", stderr);
  900. exit(1);
  901. }
  902. /* Since the stricmp function isn't available on all systems, we've
  903.    provided a simplified version of it here. */
  904.  
  905. static int pov_stricmp (s1, s2)
  906. char *s1, *s2;
  907. {
  908. char c1, c2;
  909.  
  910. while ((*s1 != '\0') && (*s2 != '\0')) {
  911. c1 = *s1++;
  912. c2 = *s2++;
  913. if (islower(c1))
  914. c1 = (char) toupper(c1);
  915. if (islower(c2))
  916. c2 = (char) toupper(c2);
  917. if (c1 < c2)
  918. return (-1);
  919. if (c1 > c2)
  920. return (1);
  921. }
  922.  
  923. if (*s1 == '\0')
  924. if (*s2 == '\0')
  925. return (0);
  926. else
  927. return (-1);
  928. else
  929. return (1);
  930. }
  931.