Прочитать большой заголовок файла (~ 9 ГБ) внутри tarfile без полной извлечения

Question

У меня есть файлы ~ 1GB * .tbz. Внутри каждого из этих файлов имеется один файл размером ~ 9 ГБ. Мне просто нужно прочитать заголовок этого файла, первые 1024 байта.

Я хочу, чтобы это сделало это как можно быстрее, поскольку у меня есть сотни этих 1GB-файлов, которые я хочу обработать. Для извлечения требуется около 1 м3.

Я попытался с помощью полного извлечения:

tar = tarfile.open(fn, mode='r|bz2') 
for item in tar: 
    tar.extract(item) 

и tarfile.getmembers(), но без скорости imprevement:

tar = tarfile.open(fn, mode='r|bz2') 
for member in tar.getmembers(): 
    f = tar.extractfile(member) 
    headerbytes = f.read(1024) 
    headerdict = parseHeader(headerbytes) 

getmembers() метод является то, что берет все время там.

Есть ли способ, которым я могу это сделать?

Answer 1

Я думаю, вы должны использовать стандартную библиотеку bz2. .tbz - это расширение файла для файлов tar, которые сжимаются с помощью опции -j, чтобы указать формат bzip2.

Как @bbayles отметил в комментариях, вы можете открыть свой файл как bz2.BZ2File и использовать seek и read:

чтение ([размер])

Читайте в большинстве размера несжатых байт, возвращается как строка . Если аргумент размера отрицательный или пропущен, прочитайте до тех пор, пока EOF не достигнет .

Seek (смещение [, откуда])

Переход к новой позиции файла. Смещение аргумента - это счетчик байтов .

f = bz2.BZ2File(path) 
f.seek(512) 
headerbytes = f.read(1024) 

Вы можете разобрать, что с функциями.

headerdict = parseHeader(headerbytes) 

Answer 2

Если вы уверены, что каждый tar-архив будет содержать только один файл bz2, вы можете просто пропустить первые 512 байт при первом чтении tar-файла (конечно, файл bz2, содержащийся в нем, конечно), потому что Формат tar-файла имеет заполненный (фиксированный размер) заголовок, после которого сохраняется ваше «реальное» содержимое.

Простой

f.seek(512) 

вместо цикла по getmembers() следует сделать трюк.