Получить последние 5 строк файла в Hadoop (HDFS)

Question

У меня есть несколько файлов в моем кластере Hadoop (на HDFS). Я хочу видеть последние 5 строк каждого файла. Есть ли простая команда для этого?

Answer 1

Если вы хотите, чтобы увидеть последние 5 строк конкретно (а не больше или любой меньше) файла в HDFS, вы можете использовать следующую команду, но его не очень эффективно:

hadoop fs -cat /your/file/with/path | tail -5

Вот более эффективная команда в Hadoop, но она возвращает последний килобайт данных, а не заданное пользователем количество строк:

hadoop fs -tail /your/file/with/path

Вот ссылка на hadoop tail command: http://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#tail