Получить статус при работе без hadoop

Question

Когда я запускаю работу с помощью приложения hadoop, он печатает много вещей. Среди них он показывает относительный прогресс в работе («карта: 30%, сокращение: 0%» и тому подобное). Но при запуске задания без приложения он ничего не печатает, даже ошибки. Есть ли способ получить этот уровень ведения журнала без приложения? То есть, без запуска [hadoop_folder]/bin/hadoop jar <my_jar> <indexer> <args>....

Answer 1

Вы можете получить эту информацию от Application Master (при условии, что вы используете YARN, а не MR1, где вы можете получить его из Job Tracker). Обычно есть веб-интерфейс, где вы можете найти эту информацию. Детали будут зависеть от вашей установки/распределения Hadoop.

Answer 2

В случае Hadoop v1 проверка работы трекера веб-адрес и в случае Hadoop v2 Мастер проверки приложений веб-интерфейс