home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #19 / NN_1992_19.iso / spool / comp / lang / perl / 5524 < prev    next >
Encoding:
Text File  |  1992-08-26  |  3.0 KB  |  98 lines
  1. Path: sparky!uunet!cs.utexas.edu!usc!news!netlabs!lwall
  2. From: lwall@netlabs.com (Larry Wall)
  3. Newsgroups: comp.lang.perl
  4. Subject: Re: Fast String Operations?
  5. Message-ID: <1992Aug27.002721.1322@netlabs.com>
  6. Date: 27 Aug 92 00:27:21 GMT
  7. References: <1992Aug25.151625.3134@IDA.ORG>
  8. Sender: news@netlabs.com
  9. Organization: NetLabs, Inc.
  10. Lines: 85
  11. Nntp-Posting-Host: scalpel.netlabs.com
  12.  
  13. In article <1992Aug25.151625.3134@IDA.ORG> rlg@IDA.ORG (Randy garrett) writes:
  14. : I'm looking for the fastest way to perform the following operation.
  15. : Basically, this is a conversion of one database format to another.
  16. : If I have a NULL field, indicated by 2 pipe symbols next to
  17. : each other, I want to insert either a -1 or a ~ between the 
  18. : two pipes, depending upon whether the type of that field
  19. : is a integer or a character.  I know the type of the field
  20. : because I've already pre-filled that array with the correct
  21. : types from the Data Dictionary (Thanks Sybase to Perl Interface!).
  22. : 
  23. : So, I read in a series of lines from a file.  If I find 2 pipe 
  24. : symbols adjacent to each other, "||", in the input string, I want
  25. : to insert either a ~  or a -1 depending on the type of that field,
  26. : which I get from the @name array.
  27.  
  28. There's a very important piece of information that you left out.  Namely,
  29. what percentage of the lines do you expect will have a null field?  If
  30. many lines don't have null fields, you want to say this:
  31.  
  32.     while (<INPUT>) {
  33.     next unless /\|\|/;
  34.     # replacement algorithm goes here
  35.     }
  36.  
  37. This sort of short circuit can save you oodles of time, regardless of
  38. how inefficient your replacement algorithm is.  Presuming, of course,
  39. that most lines will be rejected immediately.
  40.  
  41. If most lines have null fields, then it's a waste of time to do the
  42. short circuit, and you can just go straight for one of the split
  43. methods previously posted (preferably the correct one).
  44.  
  45. Alternately, (there's always an alternately) you can do something
  46. fancy like this:
  47.  
  48.     #!/usr/bin/perl
  49.  
  50.     $/ = '|';
  51.     @default = (-1,'~',-1,-1,'~',-1,'~',-1);
  52.  
  53.     while (<>) {
  54.     $field = 0, print "\n" if s/^\n//;
  55.     next unless /^\|/;
  56.     print $default[$field];
  57.     }
  58.     continue {
  59.     print;
  60.     ++$field;
  61.     }
  62.  
  63. This presumes there's always a | right before the "\n".  It seemed from
  64. your description that this is so, but it wasn't explicit.
  65.  
  66. Anyhoo, try them out on your data, and see which one is faster.  I can't
  67. predict without seeing the data.
  68.  
  69. By the way.  Just between you and me and the gatepost, this *might*
  70. be a better job for C than for Perl, if you only have to support this
  71. on one architecture.  C is better than Perl at character crawling:
  72.  
  73.     #include <stdio.h>
  74.  
  75.     char *def[] = {"-1","~","-1","-1","~","-1","~","-1"};
  76.  
  77.     main() {
  78.     int ch;
  79.     int lastch;
  80.     int field = 0;
  81.  
  82.     while ((ch = getc(stdin)) != EOF) {
  83.         if (ch == '\n')
  84.         field = 0;
  85.         else if (ch == '|') {
  86.         if (lastch == '|')
  87.             fputs(def[field], stdout);
  88.         field++;
  89.         }
  90.         putc(ch, stdout);
  91.         lastch = ch;
  92.     }
  93.     }
  94.  
  95. Or sumph'n like that.
  96.  
  97. Larry
  98.