home *** CD-ROM | disk | FTP | other *** search
/ Liren Large Software Subsidy 16 / 16.iso / t / t206 / 1.img / HISTORY.TXT < prev    next >
Encoding:
Text File  |  1993-04-25  |  6.3 KB  |  133 lines
  1.  
  2.  
  3.  
  4.  
  5.  
  6.  
  7.  
  8.  
  9.                History of DELIMIT
  10.                           _______
  11.  
  12.                DELIMIT  was created  when  a  friend needed  to  do some  budget
  13.                _______
  14.                analysis.   The accounting  reports were 100  pages long,  and we
  15.                needed  to get  the department  totals  into a  spread sheet  for
  16.                analysis.  There were 3 choices:  
  17.                  1) Ask the computer  operators to create an ad hoc  report in a
  18.                     difficult to use report  writing system, and import it  into
  19.                     the  spread sheet.  They were  back logged, so it would have
  20.                     taken a couple of weeks, (and the next time the requirements
  21.                     would have been  different, and we would have  to wait weeks
  22.                     again.)
  23.                  2) Import  the entire report into  the spread sheet, and delete
  24.                     the detail records.  (the  spread sheet couldn't handle that
  25.                     many lines).  
  26.                  3) Use  a text  editor to  delete  the detail  lines, and  then
  27.                     import it into  the spread sheet.  This would have been very
  28.                     tedious!
  29.  
  30.                We tested  parsing 1 page  of the accounting  report in  a spread
  31.                sheet program.   Reading the text file was  quick, but parsing it
  32.                took a long time  - it would have literally taken  HOURS to parse
  33.                the  hundred pages  of data we  needed.   We didn't need  all the
  34.                columns that were included on the report anyway.  
  35.  
  36.                DELIMIT  v1.00 was  created.   We  could INCLUDE  the records  we
  37.                _______
  38.                wanted and ignore the  rest (Detail parm).  We  could also select
  39.                the columns we wanted and ignore the others.  The data was either
  40.                text  - surrounded by double quotes,  (Character parm) or numbers
  41.                (Number parm).  What would have taken hours to parse took  just a
  42.                few minutes using  DELIMIT.  The spread sheet  program could read
  43.                                   _______
  44.                the  text file  quickly, and  the  time consuming  parse was  not
  45.                needed.
  46.  
  47.                Several weeks later,  we needed to do the same  thing, but wanted
  48.                all the  detail records for a 20 page  section of the report, not
  49.                just the totals.  There was no  unique way to identify the detail
  50.                records,  but we could identify the records we didn't want.  This
  51.                is when the Header parm was  added, to select records to  EXCLUDE
  52.                from the processing, and process the rest.
  53.  
  54.                Somewhere along the line, someone  else needed to DELIMIT a file,
  55.                                                                  _______
  56.                but  their destination  program didn't  want  text surrounded  by
  57.                double quotes.  This is  when the Move parameter was  created, to
  58.                select the text, but not surround it with double quotes.
  59.  
  60.                Another person saw this and said,  "this is great!, but why do  I
  61.                have to print  the report first, why  can't I just copy  the data
  62.                file from  the mini computer?"   This represented a  two changes.
  63.                The first change was that the source file was no longer a report.
  64.                The data  file from  the mini  was fixed  format, with  NO record
  65.                separators.  This is when the Length parm was created, to be able
  66.                to read files with no record separators.  The  second problem was
  67.  
  68.  
  69.  
  70.  
  71.  
  72.  
  73.  
  74.  
  75.  
  76.  
  77.  
  78.  
  79.  
  80.  
  81.                that  the records  were longer  than 255  characters.   The input
  82.                buffers can now work with records up to 4000 bytes.
  83.  
  84.                During  another project, we  needed to bring  a data  file from a
  85.                main  frame  tape,  to  a  Macintosh  (Mac).    The  Mac  doesn't
  86.                understand comma delimited  files, it doesn't like  double quotes
  87.                or Carriage Return  - Line Feed (CR-LF) for  the record separator
  88.                either.  This produced the Separator parm,  to be able to use any
  89.                other  character (or  string) as  a field  separator.   This also
  90.                produced  the Record  separator parm,  in able  to use  any other
  91.                character (or string) as the record separator.
  92.  
  93.                After explaining the program to  someone, they said, "how can you
  94.                understand what all those parm files mean?".   This lead to the *
  95.                comment parm, so parm files can be documented.
  96.  
  97.                The latest  project has  been to acquire  data from  many diverse
  98.                sources, and import  it into a data  base.  One  mainframe source
  99.                could only  supply data on large  reel tape.  The  numeric fields
  100.                were signed (the  last position  not a  number it  is a  letter).
  101.                This produced the Signed Numeric field.
  102.  
  103.                It is  faster to create one import program, and many DELIMIT parm
  104.                                                                     _______
  105.                files to create the format we need, than to continue to write new
  106.                import programs  for the data  base.  Also the  research analysts
  107.                don't want to program, but they love to DELIMIT.
  108.                                                        _______
  109.  
  110.  
  111.                FUTURE ENHANCEMENTS
  112.  
  113.                  -  A constant  parm, to  add 'constant' data  to every  record.
  114.                     During one project,  data is reformatted from a fixed format
  115.                     file to  be imported  into a spread  sheet.   For formatting
  116.                     purposes, the user wants to create blank columns.  Currently
  117.                     we just select  an area we  know will be  blank to give  the
  118.                     empty field.
  119.  
  120.                  -  A record count parm.  Some data  by its nature does not have
  121.                     unique  keys.  A record  count parm could  be used to create
  122.                     unique  keys.   Some data  bases  require a  unique key  for
  123.                     storage reasons.  
  124.  
  125.                  -  A prettier user interface.
  126.  
  127.  
  128.  
  129.  
  130.  
  131.  
  132.  
  133.  
  134.  
  135.  
  136.  
  137.  
  138.  
  139.  
  140.  
  141.  
  142.  
  143.  
  144.