home *** CD-ROM | disk | FTP | other *** search
/ vim.ftp.fu-berlin.de / 2015-02-03.vim.ftp.fu-berlin.de.tar / vim.ftp.fu-berlin.de / patches / 6.0.244 < prev    next >
Encoding:
Internet Message Format  |  2002-02-20  |  13.6 KB
  1. To: vim-dev@vim.org
  2. Subject: Patch 6.0.244
  3. Fcc: outbox
  4. From: Bram Moolenaar <Bram@moolenaar.net>
  5. MIME-Version: 1.0
  6. Content-Type: text/plain; charset=ISO-8859-1
  7. Content-Transfer-Encoding: 8bit
  8. ------------
  9.  
  10. Patch 6.0.244
  11. Problem:    Multi-byte: Problems with (illegal) UTF-8 characters in menu and
  12.         file name (e.g., icon text, status line).
  13. Solution:   Correctly handle unprintable characters.  Catch illegal UTF-8
  14.         characters and replace them with <xx>.  Truncating the status line
  15.         wasn't done correctly at a multi-byte character. (Yasuhiro
  16.         Matsumoto)
  17.         Added correct_cmdspos() and transchar_byte().
  18. Files:        src/buffer.c, src/charset.c, src/ex_getln.c, src/gui.c,
  19.         src/message.c, src/proto/charset.pro, src/screen.c, src/vim.h
  20.  
  21.  
  22. *** ../vim60.243/src/buffer.c    Tue Feb 12 10:13:15 2002
  23. --- src/buffer.c    Thu Feb 21 10:50:09 2002
  24. ***************
  25. *** 2504,2512 ****
  26.           name = curbuf->b_ffname;
  27.       home_replace(shorthelp ? curbuf : NULL, name, p,
  28.                         (int)(IOSIZE - (p - buffer)), TRUE);
  29. -     /* the file name may contain unprintable characters, esp. when using
  30. -      * multi-byte chars */
  31. -     trans_characters(buffer, IOSIZE);
  32.       }
  33.   
  34.       sprintf((char *)buffer + STRLEN(buffer),
  35. --- 2504,2509 ----
  36. ***************
  37. *** 2735,2745 ****
  38.           else            /* use file name only in icon */
  39.           i_name = gettail(curbuf->b_ffname);
  40.           *i_str = NUL;
  41. !         /* Truncate name at 100 chars. */
  42. !         if (STRLEN(i_name) > 100)
  43. !         i_name += STRLEN(i_name) - 100;
  44. !         while (*i_name)
  45. !         STRCAT(i_str, transchar(*i_name++));
  46.       }
  47.       }
  48.   
  49. --- 2732,2750 ----
  50.           else            /* use file name only in icon */
  51.           i_name = gettail(curbuf->b_ffname);
  52.           *i_str = NUL;
  53. !         /* Truncate name at 100 bytes. */
  54. !         len = STRLEN(i_name);
  55. !         if (len > 100)
  56. !         {
  57. !         len -= 100;
  58. ! #ifdef FEAT_MBYTE
  59. !         if (has_mbyte)
  60. !             len += (*mb_tail_off)(i_name, i_name + len) + 1;
  61. ! #endif
  62. !         i_name += len;
  63. !         }
  64. !         STRCPY(i_str, i_name);
  65. !         trans_characters(i_str, IOSIZE);
  66.       }
  67.       }
  68.   
  69. *** ../vim60.243/src/charset.c    Mon Feb 11 14:09:33 2002
  70. --- src/charset.c    Thu Feb 21 12:15:54 2002
  71. ***************
  72. *** 276,282 ****
  73.   
  74.   /*
  75.    * Translate any special characters in buf[bufsize] in-place.
  76. !  * If there is not enough room, not all characters will be translated.
  77.    */
  78.       void
  79.   trans_characters(buf, bufsize)
  80. --- 276,283 ----
  81.   
  82.   /*
  83.    * Translate any special characters in buf[bufsize] in-place.
  84. !  * The result is a string with only printable characters, but if there is not
  85. !  * enough room, not all characters will be translated.
  86.    */
  87.       void
  88.   trans_characters(buf, bufsize)
  89. ***************
  90. *** 293,316 ****
  91.       while (*buf != 0)
  92.       {
  93.   #ifdef FEAT_MBYTE
  94. -     char    bstr[7];
  95. - 
  96.       /* Assume a multi-byte character doesn't need translation. */
  97.       if (has_mbyte && (trs_len = (*mb_ptr2len_check)(buf)) > 1)
  98.           len -= trs_len;
  99.       else
  100.   #endif
  101.       {
  102. ! #ifdef FEAT_MBYTE
  103. !         /* catch illegal UTF-8 byte */
  104. !         if (enc_utf8 && *buf >= 0x80)
  105. !         {
  106. !         transchar_nonprint(bstr, *buf);
  107. !         trs = bstr;
  108. !         }
  109. !         else
  110. ! #endif
  111. !         trs = transchar(*buf);
  112.           trs_len = (int)STRLEN(trs);
  113.           if (trs_len > 1)
  114.           {
  115. --- 294,306 ----
  116.       while (*buf != 0)
  117.       {
  118.   #ifdef FEAT_MBYTE
  119.       /* Assume a multi-byte character doesn't need translation. */
  120.       if (has_mbyte && (trs_len = (*mb_ptr2len_check)(buf)) > 1)
  121.           len -= trs_len;
  122.       else
  123.   #endif
  124.       {
  125. !         trs = transchar_byte(*buf);
  126.           trs_len = (int)STRLEN(trs);
  127.           if (trs_len > 1)
  128.           {
  129. ***************
  130. *** 361,367 ****
  131.           if (l > 0)
  132.               len += l;
  133.           else
  134. !             ++len;    /* illegal byte sequence */
  135.           }
  136.       }
  137.       res = alloc((unsigned)(len + 1));
  138. --- 351,357 ----
  139.           if (l > 0)
  140.               len += l;
  141.           else
  142. !             len += 4;    /* illegal byte sequence */
  143.           }
  144.       }
  145.       res = alloc((unsigned)(len + 1));
  146. ***************
  147. *** 378,389 ****
  148.   #ifdef FEAT_MBYTE
  149.           if (has_mbyte && (l = (*mb_ptr2len_check)(p)) > 1)
  150.           {
  151. !         STRNCAT(res, p, l);
  152.           p += l;
  153.           }
  154.           else
  155.   #endif
  156. !         STRCAT(res, transchar(*p++));
  157.       }
  158.       }
  159.       return res;
  160. --- 368,379 ----
  161.   #ifdef FEAT_MBYTE
  162.           if (has_mbyte && (l = (*mb_ptr2len_check)(p)) > 1)
  163.           {
  164. !         STRNCAT(res, p, l);    /* append printable multi-byte char */
  165.           p += l;
  166.           }
  167.           else
  168.   #endif
  169. !         STRCAT(res, transchar_byte(*p++));
  170.       }
  171.       }
  172.       return res;
  173. ***************
  174. *** 430,448 ****
  175.    * initialized, and initializing options may cause transchar() to be called!
  176.    * When chartab_initialized == FALSE don't use chartab[].
  177.    * Does NOT work for multi-byte characters, c must be <= 255.
  178.    */
  179.       char_u *
  180.   transchar(c)
  181.       int        c;
  182.   {
  183. -     static char_u    buf[7];
  184.       int            i;
  185.   
  186.       i = 0;
  187.       if (IS_SPECIAL(c))        /* special key code, display as ~@ char */
  188.       {
  189. !     buf[0] = '~';
  190. !     buf[1] = '@';
  191.       i = 2;
  192.       c = K_SECOND(c);
  193.       }
  194. --- 420,441 ----
  195.    * initialized, and initializing options may cause transchar() to be called!
  196.    * When chartab_initialized == FALSE don't use chartab[].
  197.    * Does NOT work for multi-byte characters, c must be <= 255.
  198. +  * Also doesn't work for the first byte of a multi-byte, "c" must be a
  199. +  * character!
  200.    */
  201. + static char_u    transchar_buf[7];
  202. + 
  203.       char_u *
  204.   transchar(c)
  205.       int        c;
  206.   {
  207.       int            i;
  208.   
  209.       i = 0;
  210.       if (IS_SPECIAL(c))        /* special key code, display as ~@ char */
  211.       {
  212. !     transchar_buf[0] = '~';
  213. !     transchar_buf[1] = '@';
  214.       i = 2;
  215.       c = K_SECOND(c);
  216.       }
  217. ***************
  218. *** 459,471 ****
  219.           )) || (c < 256 && vim_isprintc_strict(c)))
  220.       {
  221.       /* printable character */
  222. !     buf[i] = c;
  223. !     buf[i + 1] = NUL;
  224.       }
  225.       else
  226. !     transchar_nonprint(buf + i, c);
  227. !     return buf;
  228.   }
  229.   
  230.   /*
  231.    * Convert non-printable character to two or more printable characters in
  232. --- 452,482 ----
  233.           )) || (c < 256 && vim_isprintc_strict(c)))
  234.       {
  235.       /* printable character */
  236. !     transchar_buf[i] = c;
  237. !     transchar_buf[i + 1] = NUL;
  238.       }
  239.       else
  240. !     transchar_nonprint(transchar_buf + i, c);
  241. !     return transchar_buf;
  242.   }
  243. + 
  244. + #if defined(FEAT_MBYTE) || defined(PROTO)
  245. + /*
  246. +  * Like transchar(), but called with a byte instead of a character.  Checks
  247. +  * for an illegal UTF-8 byte.
  248. +  */
  249. +     char_u *
  250. + transchar_byte(c)
  251. +     int        c;
  252. + {
  253. +     if (enc_utf8 && c >= 0x80)
  254. +     {
  255. +     transchar_nonprint(transchar_buf, c);
  256. +     return transchar_buf;
  257. +     }
  258. +     return transchar(c);
  259. + }
  260. + #endif
  261.   
  262.   /*
  263.    * Convert non-printable character to two or more printable characters in
  264. *** ../vim60.243/src/ex_getln.c    Mon Feb  4 22:30:34 2002
  265. --- src/ex_getln.c    Thu Feb 21 11:30:52 2002
  266. ***************
  267. *** 72,77 ****
  268. --- 72,80 ----
  269.   static int    cmdline_charsize __ARGS((int idx));
  270.   static void    set_cmdspos __ARGS((void));
  271.   static void    set_cmdspos_cursor __ARGS((void));
  272. + #ifdef FEAT_MBYTE
  273. + static void    correct_cmdspos __ARGS((int idx, int cells));
  274. + #endif
  275.   static void    alloc_cmdbuff __ARGS((int len));
  276.   static int    realloc_cmdbuff __ARGS((int len));
  277.   #ifdef FEAT_WILDMENU
  278. ***************
  279. *** 1078,1086 ****
  280.               if (has_mbyte)
  281.               {
  282.               /* Count ">" for double-wide char that doesn't fit. */
  283. !             if ((*mb_ptr2cells)(ccline.cmdbuff + ccline.cmdpos) > 1
  284. !                     && ccline.cmdspos % Columns + i > Columns)
  285. !                 ccline.cmdspos++;
  286.               ccline.cmdpos += (*mb_ptr2len_check)(ccline.cmdbuff
  287.                                + ccline.cmdpos) - 1;
  288.               }
  289. --- 1081,1087 ----
  290.               if (has_mbyte)
  291.               {
  292.               /* Count ">" for double-wide char that doesn't fit. */
  293. !             correct_cmdspos(ccline.cmdpos, i);
  294.               ccline.cmdpos += (*mb_ptr2len_check)(ccline.cmdbuff
  295.                                + ccline.cmdpos) - 1;
  296.               }
  297. ***************
  298. *** 1580,1590 ****
  299.       {
  300.       c = cmdline_charsize(i);
  301.   #ifdef FEAT_MBYTE
  302. !     /* Count ">" for double-wide char that doesn't fit. */
  303. !     if (has_mbyte
  304. !         && (*mb_ptr2cells)(ccline.cmdbuff + i) > 1
  305. !         && ccline.cmdspos % Columns + c > Columns)
  306. !         ccline.cmdspos++;
  307.   #endif
  308.       /* If the cmdline doesn't fit, put cursor on last visible char. */
  309.       if ((ccline.cmdspos += c) >= m)
  310. --- 1581,1589 ----
  311.       {
  312.       c = cmdline_charsize(i);
  313.   #ifdef FEAT_MBYTE
  314. !     /* Count ">" for double-wide multi-byte char that doesn't fit. */
  315. !     if (has_mbyte)
  316. !         correct_cmdspos(i, c);
  317.   #endif
  318.       /* If the cmdline doesn't fit, put cursor on last visible char. */
  319.       if ((ccline.cmdspos += c) >= m)
  320. ***************
  321. *** 1600,1605 ****
  322. --- 1599,1621 ----
  323.       }
  324.   }
  325.   
  326. + #ifdef FEAT_MBYTE
  327. + /*
  328. +  * Check if the character at "idx", which is "cells" wide, is a multi-byte
  329. +  * character that doesn't fit, so that a ">" must be displayed.
  330. +  */
  331. +     static void
  332. + correct_cmdspos(idx, cells)
  333. +     int        idx;
  334. +     int        cells;
  335. + {
  336. +     if ((*mb_ptr2len_check)(ccline.cmdbuff + idx) > 1
  337. +         && (*mb_ptr2cells)(ccline.cmdbuff + idx) > 1
  338. +         && ccline.cmdspos % Columns + cells > Columns)
  339. +     ccline.cmdspos++;
  340. + }
  341. + #endif
  342. + 
  343.   /*
  344.    * Get an Ex command line for the ":" command.
  345.    */
  346. ***************
  347. *** 2058,2067 ****
  348.           c = cmdline_charsize(ccline.cmdpos);
  349.   #ifdef FEAT_MBYTE
  350.           /* count ">" for a double-wide char that doesn't fit. */
  351. !         if (has_mbyte
  352. !             && (*mb_ptr2cells)(ccline.cmdbuff + ccline.cmdpos) > 1
  353. !             && ccline.cmdspos % Columns + c > Columns)
  354. !             ccline.cmdspos++;
  355.   #endif
  356.           /* Stop cursor at the end of the screen */
  357.           if (ccline.cmdspos + c >= m)
  358. --- 2074,2081 ----
  359.           c = cmdline_charsize(ccline.cmdpos);
  360.   #ifdef FEAT_MBYTE
  361.           /* count ">" for a double-wide char that doesn't fit. */
  362. !         if (has_mbyte)
  363. !             correct_cmdspos(ccline.cmdpos, c);
  364.   #endif
  365.           /* Stop cursor at the end of the screen */
  366.           if (ccline.cmdspos + c >= m)
  367. *** ../vim60.243/src/gui.c    Thu Feb 21 12:32:53 2002
  368. --- src/gui.c    Thu Feb 21 12:11:52 2002
  369. ***************
  370. *** 1398,1404 ****
  371.           }
  372.           else
  373.           {
  374. !         str = transchar(s[i]);
  375.           if (str[0] && str[1])
  376.               printf("<%s>", (char *)str);
  377.           else
  378. --- 1398,1404 ----
  379.           }
  380.           else
  381.           {
  382. !         str = transchar_byte(s[i]);
  383.           if (str[0] && str[1])
  384.               printf("<%s>", (char *)str);
  385.           else
  386. *** ../vim60.243/src/message.c    Thu Feb 21 12:58:20 2002
  387. --- src/message.c    Thu Feb 21 12:52:20 2002
  388. ***************
  389. *** 1060,1066 ****
  390.       return p + l;
  391.       }
  392.   #endif
  393. !     msg_puts_attr(transchar(*p), attr);
  394.       return p + 1;
  395.   }
  396.   
  397. --- 1060,1066 ----
  398.       return p + l;
  399.       }
  400.   #endif
  401. !     msg_puts_attr(transchar_byte(*p), attr);
  402.       return p + 1;
  403.   }
  404.   
  405. ***************
  406. *** 1110,1116 ****
  407.       else
  408.   #endif
  409.       {
  410. !         s = transchar(*str);
  411.           if (attr == 0 && s[1] != NUL)
  412.           msg_puts_attr(s, hl_attr(HLF_8));    /* unprintable char */
  413.           else
  414. --- 1110,1116 ----
  415.       else
  416.   #endif
  417.       {
  418. !         s = transchar_byte(*str);
  419.           if (attr == 0 && s[1] != NUL)
  420.           msg_puts_attr(s, hl_attr(HLF_8));    /* unprintable char */
  421.           else
  422. ***************
  423. *** 1357,1363 ****
  424.           else if (c != NUL && (n = byte2cells(c)) > 1)
  425.           {
  426.           n_extra = n - 1;
  427. !         p_extra = transchar(c);
  428.           c_extra = NUL;
  429.           c = *p_extra++;
  430.           }
  431. --- 1357,1363 ----
  432.           else if (c != NUL && (n = byte2cells(c)) > 1)
  433.           {
  434.           n_extra = n - 1;
  435. !         p_extra = transchar_byte(c);
  436.           c_extra = NUL;
  437.           c = *p_extra++;
  438.           }
  439. *** ../vim60.243/src/proto/charset.pro    Tue Sep 25 21:49:10 2001
  440. --- src/proto/charset.pro    Thu Feb 21 12:15:35 2002
  441. ***************
  442. *** 5,10 ****
  443. --- 5,11 ----
  444.   char_u *transstr __ARGS((char_u *s));
  445.   void str_foldcase __ARGS((char_u *p));
  446.   char_u *transchar __ARGS((int c));
  447. + char_u *transchar_byte __ARGS((int c));
  448.   void transchar_nonprint __ARGS((char_u *buf, int c));
  449.   void transchar_hex __ARGS((char_u *buf, int c));
  450.   int byte2cells __ARGS((int b));
  451. *** ../vim60.243/src/screen.c    Tue Feb  5 22:26:51 2002
  452. --- src/screen.c    Thu Feb 21 12:10:20 2002
  453. ***************
  454. *** 4559,4565 ****
  455.           else
  456.   #endif
  457.           {
  458. !         STRCPY(buf + len, transchar(*s));
  459.           len += (int)STRLEN(buf + len);
  460.           }
  461.       }
  462. --- 4564,4570 ----
  463.           else
  464.   #endif
  465.           {
  466. !         STRCPY(buf + len, transchar_byte(*s));
  467.           len += (int)STRLEN(buf + len);
  468.           }
  469.       }
  470. ***************
  471. *** 4739,4753 ****
  472.               clen += (*mb_ptr2cells)(p + i);
  473.           /* Find first character that will fit.
  474.            * Going from start to end is much faster for DBCS. */
  475. !         for (i = 0; p[i] != NUL && clen > this_ru_col - 1;
  476.                             i += (*mb_ptr2len_check)(p + i))
  477.               clen -= (*mb_ptr2cells)(p + i);
  478.           if (i > 0)
  479.           {
  480.               p = p + i - 1;
  481.               *p = '<';
  482.           }
  483. -         len = clen;
  484.   
  485.           }
  486.           else
  487. --- 4744,4759 ----
  488.               clen += (*mb_ptr2cells)(p + i);
  489.           /* Find first character that will fit.
  490.            * Going from start to end is much faster for DBCS. */
  491. !         for (i = 0; p[i] != NUL && clen >= this_ru_col - 1;
  492.                             i += (*mb_ptr2len_check)(p + i))
  493.               clen -= (*mb_ptr2cells)(p + i);
  494. +         len = clen;
  495.           if (i > 0)
  496.           {
  497.               p = p + i - 1;
  498.               *p = '<';
  499. +             ++len;
  500.           }
  501.   
  502.           }
  503.           else
  504. *** ../vim60.243/src/vim.h    Sun Feb 17 23:22:34 2002
  505. --- src/vim.h    Thu Feb 21 12:15:37 2002
  506. ***************
  507. *** 1198,1203 ****
  508. --- 1198,1204 ----
  509.   #else
  510.   # define MB_STRICMP(d, s)    STRICMP((d), (s))
  511.   # define MB_STRNICMP(d, s, n)    STRNICMP((d), (s), (n))
  512. + # define transchar_byte(c)    transchar(c)
  513.   #endif
  514.   
  515.   #define STRCAT(d, s)        strcat((char *)(d), (char *)(s))
  516. *** ../vim60.243/src/version.c    Thu Feb 21 12:58:20 2002
  517. --- src/version.c    Thu Feb 21 13:51:56 2002
  518. ***************
  519. *** 608,609 ****
  520. --- 608,611 ----
  521.   {   /* Add new patch number below this line */
  522. + /**/
  523. +     244,
  524.   /**/
  525.  
  526. -- 
  527. "You're fired." (1980)
  528. "You're laid off." (1985)
  529. "You're downsized." (1990)
  530. "You're rightsized." (1992)
  531.                 (Scott Adams - The Dilbert principle)
  532.  
  533.  ///  Bram Moolenaar -- Bram@moolenaar.net -- http://www.moolenaar.net  \\\
  534. ///   Creator of Vim -- http://vim.sf.net -- ftp://ftp.vim.org/pub/vim   \\\
  535. \\\           Project leader for A-A-P -- http://www.a-a-p.org           ///
  536.  \\\  Help me helping AIDS orphans in Uganda - http://iccf-holland.org  ///
  537.