Как я могу распаковать и просмотреть несколько строк сжатого файла в hdfs. ниже команда отображает последние несколько строк сжатых данныхПросмотр содержимого файла gzipped в hadoop
hadoop fs -tail /myfolder/part-r-00024.gz
Есть ли способ, что я могу использовать -Text команды и передать выходные данные для команды хвоста? Я пробовал это, но это не работает.
hadoop fs -text /myfolder/part-r-00024.gz > hadoop fs -tail /myfolder/
Я закончил тем, что писал сценарий свиньи.
A = LOAD '/myfolder/part-r-00024.gz' USING PigStorage('\t');
B = LIMIT A 10;
DUMP B;
Попробуйте следующее, должен работать до тех пор, как ваш файл не является слишком большим (так как все это будет распаковано):
hadoop fs -text /myfolder/part-r-00024.gz | tail
Следующие покажет вам заданное количество строк без распаковки всего файла:
hadoop fs -cat /hdfs_location/part-00000.gz | zcat | head -n 20
Нижеследующего страницу файл, также без первой распаковки всей ее:
hadoop fs -cat /hdfs_location/part-00000.gz | zmore
Я пробовал это. Это создало файл под названием tail на моей локальной машине размером около 9 ГБ. Мой сервер - это сервер Windows 2008 с использованием клиента hadoop MapR, а не сервера linux. –
Тогда вам нужно будет запустить задание hadoop, которое распаковывает данные в HDFS, а затем задержит декомпрессированный файл, я думаю. – mattinbits
Хорошо, я закончил тем, что написал сценарий свиньи для просмотра содержимого. благодаря –