Как предотвратить поврежденный файл hadoop .gz

Question

Я использую следующий простой код для загрузки файлов в hdfs.

FileSystem hdfs = FileSystem.get(config); 
hdfs.copyFromLocalFile(src, dst); 

Файлы генерируются веб-сервер Java компонента и вращали и закрывается Logback в формате .gz. Я заметил, что иногда файл .gz поврежден.

> gunzip logfile.log_2013_02_20_07.close.gz 
gzip: logfile.log_2013_02_20_07.close.gz: unexpected end of file 

Но следующая команда не показать мне содержимое файла

> hadoop fs -text /input/2013/02/20/logfile.log_2013_02_20_07.close.gz 

Влияние наличия таких файлов является довольно катастрофой - так как агрегация в течение всего дня не удается, а также несколько подчиненных узлов помечен как черный список в таком случае.

Что я могу сделать в таком случае? Может ли утилита hasoop copyFromLocalFile() испортить файл? Кто-нибудь сталкивался с подобной проблемой?

Answer 1

Этого не следует делать - эта ошибка обычно связана с файлами GZip, которые не были закрыты, когда они были первоначально записаны на локальный диск или копируются в HDFS, прежде чем они будут записаны.

Вы должны быть в состоянии проверить, запустив md5sum на исходный файл и что в HDFS - если они совпадают, то исходный файл поврежден:

hadoop fs -cat /input/2013/02/20/logfile.log_2013_02_20_07.close.gz | md5sum 
md5sum /path/to/local/logfile.log_2013_02_20_07.close.gz 

Если они не совпадают, они проверяют временные метки на двух файлах - тот, который в HDFS должен быть изменен после локальной файловой системы.