home *** CD-ROM | disk | FTP | other *** search
/ High Voltage Shareware / high1.zip / high1 / DIR2 / DELIM327.ZIP / HISTORY.TXT < prev    next >
Text File  |  1993-04-25  |  6KB  |  133 lines
  1.  
  2.  
  3.  
  4.  
  5.  
  6.  
  7.  
  8.                History of DELIMIT                          _______
  9.  
  10.                DELIMIT  was created  when  a  friend needed  to  do some  budget               _______
  11.                analysis.   The accounting  reports were 100  pages long,  and we
  12.                needed  to get  the department  totals  into a  spread sheet  for
  13.                analysis.  There were 3 choices:  
  14.                  1) Ask the computer  operators to create an ad hoc  report in a
  15.                     difficult to use report  writing system, and import it  into
  16.                     the  spread sheet.  They were  back logged, so it would have
  17.                     taken a couple of weeks, (and the next time the requirements
  18.                     would have been  different, and we would have  to wait weeks
  19.                     again.)
  20.                  2) Import  the entire report into  the spread sheet, and delete
  21.                     the detail records.  (the  spread sheet couldn't handle that
  22.                     many lines).  
  23.                  3) Use  a text  editor to  delete  the detail  lines, and  then
  24.                     import it into  the spread sheet.  This would have been very
  25.                     tedious!
  26.  
  27.                We tested  parsing 1 page  of the accounting  report in  a spread
  28.                sheet program.   Reading the text file was  quick, but parsing it
  29.                took a long time  - it would have literally taken  HOURS to parse
  30.                the  hundred pages  of data we  needed.   We didn't need  all the
  31.                columns that were included on the report anyway.  
  32.  
  33.                DELIMIT  v1.00 was  created.   We  could INCLUDE  the records  we               _______
  34.                wanted and ignore the  rest (Detail parm).  We  could also select
  35.                the columns we wanted and ignore the others.  The data was either
  36.                text  - surrounded by double quotes,  (Character parm) or numbers
  37.                (Number parm).  What would have taken hours to parse took  just a
  38.                few minutes using  DELIMIT.  The spread sheet  program could read                                  _______
  39.                the  text file  quickly, and  the  time consuming  parse was  not
  40.                needed.
  41.  
  42.                Several weeks later,  we needed to do the same  thing, but wanted
  43.                all the  detail records for a 20 page  section of the report, not
  44.                just the totals.  There was no  unique way to identify the detail
  45.                records,  but we could identify the records we didn't want.  This
  46.                is when the Header parm was  added, to select records to  EXCLUDE
  47.                from the processing, and process the rest.
  48.  
  49.                Somewhere along the line, someone  else needed to DELIMIT a file,                                                                 _______
  50.                but  their destination  program didn't  want  text surrounded  by
  51.                double quotes.  This is  when the Move parameter was  created, to
  52.                select the text, but not surround it with double quotes.
  53.  
  54.                Another person saw this and said,  "this is great!, but why do  I
  55.                have to print  the report first, why  can't I just copy  the data
  56.                file from  the mini computer?"   This represented a  two changes.
  57.                The first change was that the source file was no longer a report.
  58.                The data  file from  the mini  was fixed  format, with  NO record
  59.                separators.  This is when the Length parm was created, to be able
  60.                to read files with no record separators.  The  second problem was
  61.  
  62.  
  63.  
  64.  
  65.  
  66.  
  67.  
  68.  
  69.  
  70.  
  71.  
  72.  
  73.                that  the records  were longer  than 255  characters.   The input
  74.                buffers can now work with records up to 4000 bytes.
  75.  
  76.                During  another project, we  needed to bring  a data  file from a
  77.                main  frame  tape,  to  a  Macintosh  (Mac).    The  Mac  doesn't
  78.                understand comma delimited  files, it doesn't like  double quotes
  79.                or Carriage Return  - Line Feed (CR-LF) for  the record separator
  80.                either.  This produced the Separator parm,  to be able to use any
  81.                other  character (or  string) as  a field  separator.   This also
  82.                produced  the Record  separator parm,  in able  to use  any other
  83.                character (or string) as the record separator.
  84.  
  85.                After explaining the program to  someone, they said, "how can you
  86.                understand what all those parm files mean?".   This lead to the *
  87.                comment parm, so parm files can be documented.
  88.  
  89.                The latest  project has  been to acquire  data from  many diverse
  90.                sources, and import  it into a data  base.  One  mainframe source
  91.                could only  supply data on large  reel tape.  The  numeric fields
  92.                were signed (the  last position  not a  number it  is a  letter).
  93.                This produced the Signed Numeric field.
  94.  
  95.                It is  faster to create one import program, and many DELIMIT parm                                                                    _______
  96.                files to create the format we need, than to continue to write new
  97.                import programs  for the data  base.  Also the  research analysts
  98.                don't want to program, but they love to DELIMIT.                                                       _______
  99.  
  100.  
  101.                FUTURE ENHANCEMENTS
  102.  
  103.                  -  A constant  parm, to  add 'constant' data  to every  record.
  104.                     During one project,  data is reformatted from a fixed format
  105.                     file to  be imported  into a spread  sheet.   For formatting
  106.                     purposes, the user wants to create blank columns.  Currently
  107.                     we just select  an area we  know will be  blank to give  the
  108.                     empty field.
  109.  
  110.                  -  A record count parm.  Some data  by its nature does not have
  111.                     unique  keys.  A record  count parm could  be used to create
  112.                     unique  keys.   Some data  bases  require a  unique key  for
  113.                     storage reasons.  
  114.  
  115.                  -  A prettier user interface.
  116.  
  117.  
  118.  
  119.  
  120.  
  121.  
  122.  
  123.  
  124.  
  125.  
  126.  
  127.  
  128.  
  129.  
  130.  
  131.  
  132.  
  133.