Использование perl, есть ли способ открыть gzip-файлы и прочитать строки без полной декомпрессии?

Question

Я в основном хочу создать дескриптор файла для gzip и использовать его для сопоставления строк, как и в любом другом файле. Мне нужно сравнить строки из двух файлов gzip, но каждый из них составляет 15 ГБ. Я использовал Archive :: Extract и File :: temp для чтения, но мой жесткий диск заполняется.

Answer 1

Вы можете трубы gzip -dc в это дескрипторов файлов, как:

open(my $fh1, '-|', '/usr/bin/gzip -dc filename1.gz') or die $!; 
open(my $fh2, '-|', '/usr/bin/gzip -dc filename2.gz') or die $!; 

Он должен буфер вывода из Gzip, а не использовать пространство на жестком диске.

PerlIO::gzip не распаковывает весь файл, а распаковывает его, когда он читает ваш дескриптор, поэтому вы также можете использовать его.