Hadoop 0.20: задание «job setup»

Question

Я не уверен, что это исправлено для новых версий Hadoop, но в настоящее время я заблокирован для запуска Hadoop 0.20 (устаревший код).

Возникла проблема: при запуске задания Hadoop есть задача «Настройка задания», которую нужно запустить в первую очередь. Мне кажется, что Hadoop случайным образом выбирает эту задачу как задачу карты или задачу уменьшения.

У нас больше возможностей для задач карты, чем сокращение задач, поэтому всякий раз, когда мне становится не повезло и у меня своя задача запуска, на мою работу требуется даже начало работы. Любые идеи, как преодолеть это?

Answer 1

Работа Hadoop сначала завершает всю задачу вашего картографа. Как только все задание картографа будет завершено, он перейдет через сеть и будет перемещаться и сортироваться, и только после этого ваша задача редуктора начнет обработку. Поэтому я думаю, что для этой задержки может быть какая-то другая.