Общий прогресс MapReduce Hadoop Job

Question

У меня есть программа mapreduce, в которой я обрабатываю 1 файл на экземпляр экземпляра.
На данный момент у меня нет кода редуктора.

Теперь, что я хотел бы получить, чтобы получить некоторый API, чтобы проверить прогресс общей работы по созданию mapreduce?

Я вижу метод mapprogress() в API, но он дает прогрессу в отношении картографа. Можем ли мы добиться общего прогресса всей работы?

Редактировать: Я запускаю эту работу с помощью рабочего процесса oozie. Можно ли показать общий прогресс оози или оттенка? У них есть API?

Answer 1

Работа по сокращению карты состоит из двух фаз, т.е. фазы фаз преобразователя и фазы редуктора.

Фаза редуктора зависит от выхода преобразователя и, следовательно, вы не можете отслеживать ход редуктора, если вы не выполнили выполнение карты. Поскольку фаза редуктора зависит, вы не можете получить ход редуктора перед рукой (который требуется для получения полного статуса работы).

Вместо того, что вы можете сделать, это:

Использование Job.mapProgress() для отслеживания прогресса картографа задач. Как только он будет завершен, вы можете использовать Job.reduceProgress() для отслеживания прогресса редуктора (учитывая, что у вас есть редукторы), что в конечном итоге совпадает с прогрессом всей работы.