Как распаковать файл lzo_deflate?

Question

Я использовал LZO для сжатия выходного сигнала. Я попытался это: Hadoop-LZO project of Kevin Weil, а затем использовали LzoCodec класс с моей работой:

TextOutputFormat.setOutputCompressorClass(job, LzoCodec.class); 

сжатия теперь работает просто отлично.

Моя проблема заключается в том, что результатом сжатия является файл .lzo_deflate, который я просто не могу распаковать.
Lzop utility, похоже, не поддерживает этот тип файла.
LzopCodec должен предоставить файл .lzo, но это не сработало, однако оно находится в том же пакете, что и LzoCodec (org.apache.hadoop.io.compress), который может ссылаться на проблему совместимости, поскольку я использовал старый API (0.19) для сжатия.

Ответы на это question предлагают решения Python, однако мне это нужно на Java.
Я использую Hadoop 1.1.2 и Java 6.

Answer 1

.lzo_deflate означает поток LZO без обычного заголовка и трейлера. Поэтому вам нужно будет обернуть поток raw .lzo_deflate заголовком и трейлером, ожидаемым lzop. Или, по крайней мере, заголовок, а затем проигнорировать ошибки из пропавшего трейлера. Вам нужно посмотреть на header and trailer documentation.

«Дефлят» в названии является странным выбором, но он относится к аналогии с gzip, где необработанный сжатый формат данных без заголовка gzip и трейлера называется deflate.

Answer 2

Я столкнулся с той же проблемой. Причина в том, что я не использовал правильный кодек. Проверьте свой кодек в конфигурации заданий.

job.getConfiguration().set("mapred.output.compression.codec","com.hadoop.compression.lzo.LzopCodec");