home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #26 / NN_1992_26.iso / spool / comp / unix / question / 13383 < prev    next >
Encoding:
Internet Message Format  |  1992-11-14  |  1.4 KB
  1. Xref: sparky comp.unix.questions:13383 comp.unix.programmer:5275 comp.unix.shell:4689
  2. Path: sparky!uunet!portal!lll-winken!fnnews.fnal.gov!mp.cs.niu.edu!linac!att!cbnewsi!ft
  3. From: ft@cbnewsi.cb.att.com (frederick.d.true)
  4. Newsgroups: comp.unix.questions,comp.wanted,comp.unix.programmer,comp.unix.shell
  5. Subject: Need decompress/merge routine
  6. Keywords: merge compress
  7. Message-ID: <1992Nov13.220456.25986@cbnewsi.cb.att.com>
  8. Date: 13 Nov 92 22:04:56 GMT
  9. Followup-To: ftrue@attmail.att.com
  10. Organization: AT&T
  11. Lines: 23
  12.  
  13. Is anyone aware of an existing method to merge/sort compressed files given
  14. a sort key? In other words, I have 10 large compressed files, sorted by
  15. a particular key, and I need to merge them in sorted order into another
  16. compressed file.  The files are too large to have all uncompressed on the
  17. system.
  18.  
  19. What I need is some sort of utility ala 'sort -m' which will decompress
  20. and buffer input files while merging. Is there such a beast? Is there another
  21. obvious way of doing this that I'm neglecting? I realize that I could polyphase
  22. merge them two at a time, but I'd rather not. The files are very large and
  23. each merge stage would take hours.
  24.  
  25. I'm just about to write my own merge routine, building in the compress/
  26. decompress routines as an option for each input file, but I thought I'd 
  27. see what's out there before I started.
  28.  
  29. Any suggestions would be appreciated,
  30.  
  31. Please e-mail to: ftrue@attmail.att.com
  32.  
  33. --
  34. Fred True
  35. AT&T
  36.