home *** CD-ROM | disk | FTP | other *** search
/ The CDPD Public Domain Collection for CDTV 3 / CDPDIII.bin / pd / programming / gnusmalltalk / tokenstream.st < prev    next >
Text File  |  1992-02-15  |  3KB  |  125 lines
  1. "======================================================================
  2. |
  3. |   Token stream Method Definitions
  4. |
  5. |   A token stream is a stream that's defined in terms of a string.
  6. |   It basically parses off whitespace separated tokens as substrings
  7. |   and returns them (next).  If the entire contents of the string is 
  8. |   requested, it is returned as an Array containing the individual strings.
  9. |
  10.  ======================================================================"
  11.  
  12.  
  13. "======================================================================
  14. |
  15. | Copyright (C) 1990, 1991, 1992 Free Software Foundation, Inc.
  16. | Written by Steve Byrne.
  17. |
  18. | This file is part of GNU Smalltalk.
  19. |
  20. | GNU Smalltalk is free software; you can redistribute it and/or modify it
  21. | under the terms of the GNU General Public License as published by the Free
  22. | Software Foundation; either version 1, or (at your option) any later version.
  23. | 
  24. | GNU Smalltalk is distributed in the hope that it will be useful, but WITHOUT
  25. | ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
  26. | FOR A PARTICULAR PURPOSE.  See the GNU General Public License for more
  27. | details.
  28. | 
  29. | You should have received a copy of the GNU General Public License along with
  30. | GNU Smalltalk; see the file COPYING.  If not, write to the Free Software
  31. | Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.  
  32. |
  33.  ======================================================================"
  34.  
  35.  
  36. "
  37. |     Change Log
  38. | ============================================================================
  39. | Author       Date       Change 
  40. | sbb         16 Mar 91      Class creation now separate statement.
  41. |
  42. | sbyrne     14 May 90      removed isWhiteSpace:;replaced uses with Character
  43. |              isSeparator.
  44. |
  45. | sbyrne     19 Sep 89      Changed to use real method categories.
  46. |
  47. | sbyrne     12 Jul 89      created.
  48. |
  49. "
  50.  
  51. Stream subclass: #TokenStream
  52.        instanceVariableNames: 'charStream'
  53.        classVariableNames: ''
  54.        poolDictionaries:''
  55.        category: nil
  56. !
  57.  
  58. TokenStream comment:
  59. 'I am not a typical part of the Smalltalk kernel class hierarchy.\n\
  60. I operate on a stream of characters and return distinct \n\
  61. (whitespace-delimited) groups of characters.' !
  62.  
  63.  
  64. !TokenStream class methodsFor: 'instance creation'!
  65.  
  66. on: aString
  67.     ^self onStream: (ReadStream on: aString)
  68. !
  69.  
  70. onStream: aStream
  71.     ^self new setStream: aStream
  72. !!
  73.  
  74.  
  75.  
  76. !TokenStream methodsFor: 'basic'!
  77.  
  78. next
  79.     | char tokStream |
  80.     self atEnd ifTrue: [ ^nil ]. "has the nice side effect of skipping
  81.                                   leading white space."
  82.     tokStream _ WriteStream on: (String new: 1).
  83.     [ char _ charStream peek.
  84.       (char notNil) and: [ (char isSeparator) not ] ]
  85.         whileTrue: [ tokStream nextPut: (charStream next) ].
  86.     ^tokStream contents
  87. !
  88.  
  89. atEnd
  90.     | char |
  91.     [ char _ charStream peek.
  92.       char isNil ] whileFalse:
  93.         [ (char isSeparator) ifFalse: [ ^false ].
  94.      charStream next ].
  95.     ^true
  96. !
  97.  
  98. do: aBlock
  99.     [ self atEnd ] whileFalse:
  100.         [ aBlock value: self next ]
  101. !
  102.  
  103. contents
  104.     | arrayStream |
  105.     arrayStream _ WriteStream on: (Array new: 0).
  106.     self do: [ :aToken | arrayStream nextPut: aToken ].
  107.     ^arrayStream contents
  108. !!
  109.  
  110.  
  111.  
  112. !TokenStream methodsFor: 'write methods'!
  113.  
  114. nextPut: anObject
  115.     self shouldNotImplement
  116. !!
  117.  
  118.  
  119.  
  120. !TokenStream methodsFor: 'private'!
  121.  
  122. setStream: aStream
  123.     charStream _ aStream
  124. !!
  125.