home *** CD-ROM | disk | FTP | other *** search
/ vim.ftp.fu-berlin.de / 2015-02-03.vim.ftp.fu-berlin.de.tar / vim.ftp.fu-berlin.de / patches / 7.3 / 7.3.1076 < prev    next >
Encoding:
Internet Message Format  |  2013-05-29  |  12.0 KB
  1. To: vim_dev@googlegroups.com
  2. Subject: Patch 7.3.1076
  3. Fcc: outbox
  4. From: Bram Moolenaar <Bram@moolenaar.net>
  5. Mime-Version: 1.0
  6. Content-Type: text/plain; charset=UTF-8
  7. Content-Transfer-Encoding: 8bit
  8. ------------
  9.  
  10. Patch 7.3.1076
  11. Problem:    New regexp engine: \@= and \& don't work.
  12. Solution:   Make these items work.  Add column info to logging.
  13. Files:        src/regexp_nfa.c, src/testdir/test64.in, src/testdir/test64.ok
  14.  
  15.  
  16. *** ../vim-7.3.1075/src/regexp_nfa.c    2013-05-30 19:18:27.000000000 +0200
  17. --- src/regexp_nfa.c    2013-05-30 21:41:51.000000000 +0200
  18. ***************
  19. *** 1740,1747 ****
  20.                   STRCPY(code, "NFA_PREV_ATOM_NO_WIDTH"); break;
  21.       case NFA_PREV_ATOM_NO_WIDTH_NEG:
  22.                   STRCPY(code, "NFA_PREV_ATOM_NO_WIDTH_NEG"); break;
  23. !     case NFA_NOPEN:            STRCPY(code, "NFA_MOPEN_INVISIBLE"); break;
  24. !     case NFA_NCLOSE:        STRCPY(code, "NFA_MCLOSE_INVISIBLE"); break;
  25.       case NFA_START_INVISIBLE:   STRCPY(code, "NFA_START_INVISIBLE"); break;
  26.       case NFA_END_INVISIBLE:        STRCPY(code, "NFA_END_INVISIBLE"); break;
  27.   
  28. --- 1740,1747 ----
  29.                   STRCPY(code, "NFA_PREV_ATOM_NO_WIDTH"); break;
  30.       case NFA_PREV_ATOM_NO_WIDTH_NEG:
  31.                   STRCPY(code, "NFA_PREV_ATOM_NO_WIDTH_NEG"); break;
  32. !     case NFA_NOPEN:            STRCPY(code, "NFA_NOPEN"); break;
  33. !     case NFA_NCLOSE:        STRCPY(code, "NFA_NCLOSE"); break;
  34.       case NFA_START_INVISIBLE:   STRCPY(code, "NFA_START_INVISIBLE"); break;
  35.       case NFA_END_INVISIBLE:        STRCPY(code, "NFA_END_INVISIBLE"); break;
  36.   
  37. ***************
  38. *** 2373,2384 ****
  39.           break;
  40.   
  41.       case NFA_PREV_ATOM_NO_WIDTH:
  42. !         /* The \@= operator: match the preceding atom with 0 width.
  43.            * Surrounds the preceding atom with START_INVISIBLE and
  44. !          * END_INVISIBLE, similarly to MOPEN.
  45. !          */
  46. !         /* TODO: Maybe this drops the speed? */
  47. !         goto theend;
  48.   
  49.           if (nfa_calc_size == TRUE)
  50.           {
  51. --- 2373,2381 ----
  52.           break;
  53.   
  54.       case NFA_PREV_ATOM_NO_WIDTH:
  55. !         /* The \@= operator: match the preceding atom with zero width.
  56.            * Surrounds the preceding atom with START_INVISIBLE and
  57. !          * END_INVISIBLE, similarly to MOPEN. */
  58.   
  59.           if (nfa_calc_size == TRUE)
  60.           {
  61. ***************
  62. *** 2745,2750 ****
  63. --- 2742,2750 ----
  64.       int            save_in_use;
  65.       char_u        *save_ptr;
  66.       int            i;
  67. + #ifdef ENABLE_LOG
  68. +     int            did_print = FALSE;
  69. + #endif
  70.   
  71.       if (l == NULL || state == NULL)
  72.       return;
  73. ***************
  74. *** 2782,2788 ****
  75.           /* These nodes do not need to be added, but we need to bail out
  76.            * when it was tried to be added to this list before. */
  77.           if (state->lastlist == l->id)
  78. !         return;
  79.           state->lastlist = l->id;
  80.           break;
  81.   
  82. --- 2782,2788 ----
  83.           /* These nodes do not need to be added, but we need to bail out
  84.            * when it was tried to be added to this list before. */
  85.           if (state->lastlist == l->id)
  86. !         goto skip_add;
  87.           state->lastlist = l->id;
  88.           break;
  89.   
  90. ***************
  91. *** 2792,2798 ****
  92. --- 2792,2806 ----
  93.           /* This state is already in the list, don't add it again,
  94.            * unless it is an MOPEN that is used for a backreference. */
  95.           if (!nfa_has_backref)
  96. +         {
  97. + skip_add:
  98. + #ifdef ENABLE_LOG
  99. +             nfa_set_code(state->c);
  100. +             fprintf(log_fd, "> Not adding state %d to list %d. char %d: %s\n",
  101. +                 abs(state->id), l->id, state->c, code);
  102. + #endif
  103.               return;
  104. +         }
  105.   
  106.           /* See if the same state is already in the list with the same
  107.            * positions. */
  108. ***************
  109. *** 2801,2807 ****
  110.               thread = &l->t[i];
  111.               if (thread->state->id == state->id
  112.                         && sub_equal(&thread->sub, sub))
  113. !             return;
  114.           }
  115.           }
  116.   
  117. --- 2809,2815 ----
  118.               thread = &l->t[i];
  119.               if (thread->state->id == state->id
  120.                         && sub_equal(&thread->sub, sub))
  121. !             goto skip_add;
  122.           }
  123.           }
  124.   
  125. ***************
  126. *** 2832,2843 ****
  127.                   &sub->list.line[0],
  128.                   sizeof(struct linepos) * sub->in_use);
  129.           }
  130.       }
  131.   
  132.   #ifdef ENABLE_LOG
  133. !     nfa_set_code(state->c);
  134. !     fprintf(log_fd, "> Adding state %d to list. Character %d: %s\n",
  135. !     abs(state->id), state->c, code);
  136.   #endif
  137.       switch (state->c)
  138.       {
  139. --- 2840,2878 ----
  140.                   &sub->list.line[0],
  141.                   sizeof(struct linepos) * sub->in_use);
  142.           }
  143. + #ifdef ENABLE_LOG
  144. +         {
  145. +         int col;
  146. + 
  147. +         if (thread->sub.in_use <= 0)
  148. +             col = -1;
  149. +         else if (REG_MULTI)
  150. +             col = thread->sub.list.multi[0].start.col;
  151. +         else
  152. +             col = (int)(thread->sub.list.line[0].start - regline);
  153. +         nfa_set_code(state->c);
  154. +         fprintf(log_fd, "> Adding state %d to list %d. char %d: %s (start col %d)\n",
  155. +                 abs(state->id), l->id, state->c, code, col);
  156. +         did_print = TRUE;
  157. +         }
  158. + #endif
  159.       }
  160.   
  161.   #ifdef ENABLE_LOG
  162. !     if (!did_print)
  163. !     {
  164. !     int col;
  165. ! 
  166. !     if (sub->in_use <= 0)
  167. !         col = -1;
  168. !     else if (REG_MULTI)
  169. !         col = sub->list.multi[0].start.col;
  170. !     else
  171. !         col = (int)(sub->list.line[0].start - regline);
  172. !     nfa_set_code(state->c);
  173. !     fprintf(log_fd, "> Processing state %d for list %d. char %d: %s (start col %d)\n",
  174. !         abs(state->id), l->id, state->c, code, col);
  175. !     }
  176.   #endif
  177.       switch (state->c)
  178.       {
  179. ***************
  180. *** 2873,2886 ****
  181.           addstate(l, state->out, sub, off);
  182.           break;
  183.   
  184. -     /* If this state is reached, then a recursive call of nfa_regmatch()
  185. -      * succeeded. the next call saves the found submatches in the
  186. -      * first state after the "invisible" branch. */
  187. - #if 0
  188. -     case NFA_END_INVISIBLE:
  189. -         break;
  190. - #endif
  191. - 
  192.       case NFA_MOPEN + 0:
  193.       case NFA_MOPEN + 1:
  194.       case NFA_MOPEN + 2:
  195. --- 2908,2913 ----
  196. ***************
  197. *** 3450,3458 ****
  198.           fprintf(debug, "%s, ", code);
  199.   #endif
  200.   #ifdef ENABLE_LOG
  201. !         nfa_set_code(t->state->c);
  202. !         fprintf(log_fd, "(%d) %s, code %d ... \n", abs(t->state->id),
  203. !                               code, (int)t->state->c);
  204.   #endif
  205.   
  206.           /*
  207. --- 3477,3495 ----
  208.           fprintf(debug, "%s, ", code);
  209.   #endif
  210.   #ifdef ENABLE_LOG
  211. !         {
  212. !         int col;
  213. ! 
  214. !         if (t->sub.in_use <= 0)
  215. !             col = -1;
  216. !         else if (REG_MULTI)
  217. !             col = t->sub.list.multi[0].start.col;
  218. !         else
  219. !             col = (int)(t->sub.list.line[0].start - regline);
  220. !         nfa_set_code(t->state->c);
  221. !         fprintf(log_fd, "(%d) char %d %s (start col %d) ... \n",
  222. !             abs(t->state->id), (int)t->state->c, code, col);
  223. !         }
  224.   #endif
  225.   
  226.           /*
  227. ***************
  228. *** 3504,3509 ****
  229. --- 3541,3547 ----
  230.               addstate_here(thislist, t->state->out, &t->sub, &listidx);
  231.           else
  232.           {
  233. +             /* TODO: only copy positions in use. */
  234.               *m = t->sub;
  235.               nfa_match = TRUE;
  236.           }
  237. ***************
  238. *** 3538,3543 ****
  239. --- 3576,3582 ----
  240.           result = nfa_regmatch(t->state->out, submatch, m);
  241.           nfa_set_neg_listids(start);
  242.           nfa_restore_listids(start, listids);
  243. +         nfa_match = FALSE;
  244.   
  245.   #ifdef ENABLE_LOG
  246.           log_fd = fopen(NFA_REGEXP_RUN_LOG, "a");
  247. ***************
  248. *** 3575,3583 ****
  249.                   t->sub.list.line[j].start = m->list.line[j].start;
  250.                   t->sub.list.line[j].end = m->list.line[j].end;
  251.               }
  252. !             t->sub.in_use = m->in_use;
  253.   
  254. !             /* t->state->out1 is the corresponding END_INVISIBLE node */
  255.               addstate_here(thislist, t->state->out1->out, &t->sub,
  256.                                       &listidx);
  257.           }
  258. --- 3614,3624 ----
  259.                   t->sub.list.line[j].start = m->list.line[j].start;
  260.                   t->sub.list.line[j].end = m->list.line[j].end;
  261.               }
  262. !             if (m->in_use > t->sub.in_use)
  263. !             t->sub.in_use = m->in_use;
  264.   
  265. !             /* t->state->out1 is the corresponding END_INVISIBLE node;
  266. !              * Add it to the current list (zero-width match). */
  267.               addstate_here(thislist, t->state->out1->out, &t->sub,
  268.                                       &listidx);
  269.           }
  270. ***************
  271. *** 4146,4152 ****
  272.       fprintf(f, "\tRegexp is \"%s\"\n", nfa_regengine.expr);
  273.   #endif
  274.       fprintf(f, "\tInput text is \"%s\" \n", reginput);
  275. !     fprintf(f, "        =======================================================\n\n\n\n\n\n\n");
  276.       nfa_print_state(f, start);
  277.       fprintf(f, "\n\n");
  278.       fclose(f);
  279. --- 4187,4193 ----
  280.       fprintf(f, "\tRegexp is \"%s\"\n", nfa_regengine.expr);
  281.   #endif
  282.       fprintf(f, "\tInput text is \"%s\" \n", reginput);
  283. !     fprintf(f, "        =======================================================\n\n");
  284.       nfa_print_state(f, start);
  285.       fprintf(f, "\n\n");
  286.       fclose(f);
  287. *** ../vim-7.3.1075/src/testdir/test64.in    2013-05-30 18:45:20.000000000 +0200
  288. --- src/testdir/test64.in    2013-05-30 21:28:06.000000000 +0200
  289. ***************
  290. *** 294,315 ****
  291.   :call add(tl, [2, '\v(a \zsif .*){2}', 'a if then a if last', 'if last', 'a if last'])
  292.   :call add(tl, [2, '\>\zs.', 'aword. ', '.'])
  293.   :"
  294. ! :"""" Tests for \@ features
  295. ! :call add(tl, [0, 'abc\@=', 'abc', 'ab'])
  296. ! :call add(tl, [0, 'abc\@=cd', 'abcd', 'abcd'])
  297. ! :call add(tl, [0, 'abc\@=', 'ababc', 'ab'])
  298.   :" will never match, no matter the input text
  299.   :call add(tl, [2, 'abcd\@=e', 'abcd'])
  300.   :" will never match
  301.   :call add(tl, [2, 'abcd\@=e', 'any text in here ... '])
  302. ! :call add(tl, [0, '\v(abc)@=..', 'xabcd', 'ab', 'abc'])
  303.   :" no match
  304.   :call add(tl, [2, '\(.*John\)\@=.*Bob', 'here is John, and here is B'])
  305. ! :call add(tl, [0, '\(John.*\)\@=.*Bob', 'John is Bobs friend', 'John is Bob', 'John is Bobs friend'])
  306.   :" no match
  307.   :call add(tl, [2, '.*John\&.*Bob', 'here is John, and here is B'])
  308. ! :call add(tl, [0, '.*John\&.*Bob', 'John is Bobs friend', 'John is Bob'])
  309. ! :call add(tl, [0, '\v(test1)@=.*yep', 'this is a test1, yep it is', 'test1, yep', 'test1'])
  310.   :"
  311.   :"""" Combining different tests and features
  312.   :call add(tl, [2, '[[:alpha:]]\{-2,6}', '787abcdiuhsasiuhb4', 'ab'])
  313. --- 294,315 ----
  314.   :call add(tl, [2, '\v(a \zsif .*){2}', 'a if then a if last', 'if last', 'a if last'])
  315.   :call add(tl, [2, '\>\zs.', 'aword. ', '.'])
  316.   :"
  317. ! :"""" Tests for \@= and \& features
  318. ! :call add(tl, [2, 'abc\@=', 'abc', 'ab'])
  319. ! :call add(tl, [2, 'abc\@=cd', 'abcd', 'abcd'])
  320. ! :call add(tl, [2, 'abc\@=', 'ababc', 'ab'])
  321.   :" will never match, no matter the input text
  322.   :call add(tl, [2, 'abcd\@=e', 'abcd'])
  323.   :" will never match
  324.   :call add(tl, [2, 'abcd\@=e', 'any text in here ... '])
  325. ! :call add(tl, [2, '\v(abc)@=..', 'xabcd', 'ab', 'abc'])
  326.   :" no match
  327.   :call add(tl, [2, '\(.*John\)\@=.*Bob', 'here is John, and here is B'])
  328. ! :call add(tl, [2, '\(John.*\)\@=.*Bob', 'John is Bobs friend', 'John is Bob', 'John is Bobs friend'])
  329.   :" no match
  330.   :call add(tl, [2, '.*John\&.*Bob', 'here is John, and here is B'])
  331. ! :call add(tl, [2, '.*John\&.*Bob', 'John is Bobs friend', 'John is Bob'])
  332. ! :call add(tl, [2, '\v(test1)@=.*yep', 'this is a test1, yep it is', 'test1, yep', 'test1'])
  333.   :"
  334.   :"""" Combining different tests and features
  335.   :call add(tl, [2, '[[:alpha:]]\{-2,6}', '787abcdiuhsasiuhb4', 'ab'])
  336. *** ../vim-7.3.1075/src/testdir/test64.ok    2013-05-30 18:45:20.000000000 +0200
  337. --- src/testdir/test64.ok    2013-05-30 21:29:06.000000000 +0200
  338. ***************
  339. *** 647,656 ****
  340. --- 647,659 ----
  341.   OK 2 - \>\zs.
  342.   OK 0 - abc\@=
  343.   OK 1 - abc\@=
  344. + OK 2 - abc\@=
  345.   OK 0 - abc\@=cd
  346.   OK 1 - abc\@=cd
  347. + OK 2 - abc\@=cd
  348.   OK 0 - abc\@=
  349.   OK 1 - abc\@=
  350. + OK 2 - abc\@=
  351.   OK 0 - abcd\@=e
  352.   OK 1 - abcd\@=e
  353.   OK 2 - abcd\@=e
  354. ***************
  355. *** 659,676 ****
  356. --- 662,683 ----
  357.   OK 2 - abcd\@=e
  358.   OK 0 - \v(abc)@=..
  359.   OK 1 - \v(abc)@=..
  360. + OK 2 - \v(abc)@=..
  361.   OK 0 - \(.*John\)\@=.*Bob
  362.   OK 1 - \(.*John\)\@=.*Bob
  363.   OK 2 - \(.*John\)\@=.*Bob
  364.   OK 0 - \(John.*\)\@=.*Bob
  365.   OK 1 - \(John.*\)\@=.*Bob
  366. + OK 2 - \(John.*\)\@=.*Bob
  367.   OK 0 - .*John\&.*Bob
  368.   OK 1 - .*John\&.*Bob
  369.   OK 2 - .*John\&.*Bob
  370.   OK 0 - .*John\&.*Bob
  371.   OK 1 - .*John\&.*Bob
  372. + OK 2 - .*John\&.*Bob
  373.   OK 0 - \v(test1)@=.*yep
  374.   OK 1 - \v(test1)@=.*yep
  375. + OK 2 - \v(test1)@=.*yep
  376.   OK 0 - [[:alpha:]]\{-2,6}
  377.   OK 1 - [[:alpha:]]\{-2,6}
  378.   OK 2 - [[:alpha:]]\{-2,6}
  379. *** ../vim-7.3.1075/src/version.c    2013-05-30 19:18:27.000000000 +0200
  380. --- src/version.c    2013-05-30 21:34:53.000000000 +0200
  381. ***************
  382. *** 730,731 ****
  383. --- 730,733 ----
  384.   {   /* Add new patch number below this line */
  385. + /**/
  386. +     1076,
  387.   /**/
  388.  
  389. -- 
  390. I'm not familiar with this proof, but I'm aware of a significant
  391. following of toddlers who believe that peanut butter is the solution
  392. to all of life's problems...         -- Tim Hammerquist
  393.  
  394.  /// Bram Moolenaar -- Bram@Moolenaar.net -- http://www.Moolenaar.net   \\\
  395. ///        sponsor Vim, vote for features -- http://www.Vim.org/sponsor/ \\\
  396. \\\  an exciting new programming language -- http://www.Zimbu.org        ///
  397.  \\\            help me help AIDS victims -- http://ICCF-Holland.org    ///
  398.