home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #1 / NN_1993_1.iso / spool / comp / std / internat / 1113 < prev    next >
Encoding:
Text File  |  1993-01-08  |  2.2 KB  |  59 lines
  1. Newsgroups: comp.std.internat
  2. Path: sparky!uunet!haven.umd.edu!decuac!pa.dec.com!decprl!decprl!boyd
  3. From: boyd@prl.dec.com (Boyd Roberts)
  4. Subject: Re: Dumb Americans (was INTERNATIONALIZATION: JAPAN, FAR EAST)
  5. Message-ID: <1993Jan8.092754.6344@prl.dec.com>
  6. Keywords: Han Kanji Katakana Hirugana ISO10646 Unicode Codepages
  7. Sender: news@prl.dec.com (USENET News System)
  8. Nntp-Posting-Host: spooky.prl.dec.com
  9. Organization: Digital Equipment Corporation - Paris Research Laboratory
  10. References: <2615@titccy.cc.titech.ac.jp> <1993Jan5.090747.29232@fcom.cc.utah.edu> <id.EAHW.92A@ferranti.com> <1993Jan7.033153.12133@fcom.cc.utah.edu>
  11. Date: Fri, 8 Jan 1993 09:27:54 GMT
  12. Lines: 45
  13.  
  14. In article <1993Jan7.033153.12133@fcom.cc.utah.edu>, terry@cs.weber.edu (A Wizard of Earth C) writes:
  15. > 
  16. > Consider a newline terminated text database containing fixed length lines,
  17. > or consider a database consisting of variant text records in fixed fields.
  18. > In either case, the amount of data per field is now variant on Runic encoding.
  19. > For instance, if we accept the Plan-9 soloution, an application used in
  20. > both England and the US will vary as to how much data is representable per
  21. > fixed field based on whether or not that data contains the English "#"
  22. > character.  This gets worse the further you get from base ASCII coding.
  23.  
  24. Using Plan 9 utf you know the maximum size in bytes that a Rune can
  25. be encoded into.  Fixed fields only have to be a multiple of this value,
  26. defined to be to be UTFmax.  So where's the problem?
  27.  
  28. We can take this piece of code as working example (ie. functioning)
  29. which takes an array of Runes, encodes them and then calls write
  30. to send them in a reasonably efficient manner (ie 1 Rune != 1 write):
  31.  
  32.     void
  33.     sendrunes(Rune *r, ulong len)
  34.     {
  35.         char    s[128 * UTFmax];
  36.  
  37.         while (len)
  38.         {
  39.             char    *p;
  40.  
  41.             for (p = s; p <= &s[sizeof s - UTFmax] && len; len--)
  42.             {
  43.                  int     n;
  44.  
  45.                  n = runetochar(p, r++);
  46.                  p += n;
  47.             }
  48.  
  49.             (void)write(fd, s, p - s);
  50.         }
  51.      }
  52.  
  53. Runes are your friend.
  54.  
  55.  
  56. Boyd Roberts            boyd@prl.dec.com
  57.  
  58. ``When the going gets wierd, the weird turn pro...''
  59.