home *** CD-ROM | disk | FTP | other *** search
/ Hackers Magazine 57 / CdHackersMagazineNr57.iso / Software / Multimedia / k3d-setup-0.7.11.0.exe / lib / site-packages / cgkit / glslangtokenize.py < prev    next >
Encoding:
Python Source  |  2007-01-11  |  5.9 KB  |  161 lines
  1. # ***** BEGIN LICENSE BLOCK *****
  2. # Version: MPL 1.1/GPL 2.0/LGPL 2.1
  3. #
  4. # The contents of this file are subject to the Mozilla Public License Version
  5. # 1.1 (the "License"); you may not use this file except in compliance with
  6. # the License. You may obtain a copy of the License at
  7. # http://www.mozilla.org/MPL/
  8. #
  9. # Software distributed under the License is distributed on an "AS IS" basis,
  10. # WITHOUT WARRANTY OF ANY KIND, either express or implied. See the License
  11. # for the specific language governing rights and limitations under the
  12. # License.
  13. #
  14. # The Original Code is the Python Computer Graphics Kit.
  15. #
  16. # The Initial Developer of the Original Code is Matthias Baas.
  17. # Portions created by the Initial Developer are Copyright (C) 2004
  18. # the Initial Developer. All Rights Reserved.
  19. #
  20. # Contributor(s):
  21. #
  22. # Alternatively, the contents of this file may be used under the terms of
  23. # either the GNU General Public License Version 2 or later (the "GPL"), or
  24. # the GNU Lesser General Public License Version 2.1 or later (the "LGPL"),
  25. # in which case the provisions of the GPL or the LGPL are applicable instead
  26. # of those above. If you wish to allow use of your version of this file only
  27. # under the terms of either the GPL or the LGPL, and not to allow others to
  28. # use your version of this file under the terms of the MPL, indicate your
  29. # decision by deleting the provisions above and replace them with the notice
  30. # and other provisions required by the GPL or the LGPL. If you do not delete
  31. # the provisions above, a recipient may use your version of this file under
  32. # the terms of any one of the MPL, the GPL or the LGPL.
  33. #
  34. # ***** END LICENSE BLOCK *****
  35. # $Id: glslangtokenize.py,v 1.1 2006/03/19 20:47:33 mbaas Exp $
  36.  
  37. """OpenGL Shading Language Tokenizer."""
  38.  
  39. import re
  40.  
  41. WHITESPACE = 0
  42. NAME       = 1
  43. NUMBER     = 2
  44. STRING     = 3
  45. NEWLINE    = 4
  46. OPERATOR   = 5
  47. CHARACTER  = 6
  48. TYPE       = 7
  49. QUALIFIER  = 8
  50.  
  51. # tokenize
  52. def tokenize(readline, tokeater):
  53.     """Reads a Shading Language input stream and creates tokens.
  54.  
  55.     The first parameter, readline, must be a callable object which
  56.     provides the same interface as the readline() method of built-in
  57.     file objects. Each call to the function should return one line of
  58.     input as a string.
  59.  
  60.     The second parameter, tokeneater, must also be a callable object.
  61.     It is called with six parameters: the token type, the token
  62.     string, a tuple (srow, scol) specifying the row and column where
  63.     the token begins in the source, a tuple (erow, ecol) giving the
  64.     ending position of the token, the line on which the token was
  65.     found and the filename of the current file.
  66.  
  67.     By default the filename argument is an empty string. It will only
  68.     be the actual filename if you provide a preprocessed file stream
  69.     as input (so you should first run cpp on any shader). The
  70.     tokenizer actually expects preprocessed data as it doesn't handle
  71.     comments.
  72.     """
  73.  
  74.     types = ["void", "bool", "float", "int", "bvec2", "bvec3", "bvec4",
  75.              "ivec2", "ivec3", "ivec4", "vec2", "vec3", "vec4",
  76.              "mat2", "mat3", "mat4", "struct",
  77.              "sampler1D", "sampler2D", "sampler3D", "samplerCube",
  78.              "sampler1DShadow", "sampler2DShadow"]
  79.     
  80.     qualifiers = ["const", "attribute", "uniform", "varying", "in", "out", "inout"]
  81.                       
  82.     regs =  ( (WHITESPACE, re.compile(r"[ \t]+")),
  83.               (NAME,       re.compile(r"[A-Za-z_][A-Za-z_0-9]*")),
  84.               (NUMBER,     re.compile(r"[0-9]+(\.[0-9]+)?(E(\+|-)?[0-9]+)?")),
  85.               (STRING,     re.compile(r"\"[^\"]*\"")),
  86.               (OPERATOR,   re.compile(r"\(|\)|\[|\]|\+\+|\-\-|\+|-|!|\.|~|\*|/|\^|%|&|\||<<|>>|<|>|<=|>=|==|!=|&&|\|\||\^\^|\?:|=|\+=|-=|\*=|/=|%=|<<=|>>=|&=|\^=|\|=")),
  87.               (NEWLINE,    re.compile(r"\n"))
  88.             )
  89.  
  90.     linenr   = 0
  91.     filename = ""
  92.     while 1:
  93.         # Read next line
  94.         line = readline()
  95.         # No more lines? then finish
  96.         if line=="":
  97.             break
  98.  
  99.         linenr+=1
  100.         # Base for starting column...
  101.         scolbase = 0
  102.  
  103.         # Process preprocessor lines...
  104.         if line[0]=="#":
  105.             try:
  106.                 f = line.strip().split(" ")
  107.                 linenr = int(f[1])-1
  108.                 filename = f[2][1:-1]
  109.             except:
  110.                 pass
  111.             continue
  112.  
  113.         s = line
  114.  
  115.         # Create tokens...
  116.         while s!="":
  117.             unmatched=1
  118.             # Check all regular expressions...
  119.             for r in regs:
  120.                 m=r[1].match(s)
  121.                 # Does it match? then the token is found
  122.                 if m!=None:
  123.                     scol = m.start()
  124.                     ecol = m.end()
  125.                     tok = s[scol:ecol]
  126.                     s   = s[ecol:]
  127.                     typ = r[0]
  128.                     if typ==NAME:
  129.                         if tok in types:
  130.                             typ = TYPE
  131.                         elif tok in qualifiers:
  132.                             typ = QUALIFIER
  133.                     tokeater(typ, tok, (linenr, scolbase+scol), (linenr, scolbase+ecol), line, filename)
  134.                     scolbase += ecol
  135.                     unmatched=0
  136.                     continue
  137.  
  138.             # No match? then report a single character...
  139.             if unmatched:
  140.                 tok = s[0]
  141.                 tokeater(CHARACTER, tok, (linenr, scolbase), (linenr, scolbase+1), line, filename)
  142.                 s = s[1:]
  143.                 scolbase += 1
  144.             
  145.             
  146.  
  147. def _tokeater(type, s, start, end, line, filename):
  148.     if type==WHITESPACE or type==NEWLINE:
  149.         return
  150.     types = { 0:"WHITESPACE", 1:"NAME", 2:"NUMBER", 3:"STRING", 4:"NEWLINE",
  151.               5:"OPERATOR", 6:"CHARACTER", 7:"TYPE", 8:"QUALIFIER" }
  152.     print "%s: %-10s: %-20s %s %s"%(filename, types[type], s, start, end)
  153.  
  154. ######################################################################
  155.  
  156. if __name__=="__main__":
  157.  
  158.     f=open("test.shader")
  159.     tokenize(f.readline, _tokeater)
  160.     
  161.