Amazon Elastic MapReduce: количество запущенных карт задачи

Question

В «системном журнале» для шага потока задания MapReduce, я вижу следующее:

Job Counters 
    Launched reduce tasks=4 
    Launched map tasks=39 

ли число запущенных задач карт включает в себя неудачные задачах?

Я использую класс NLineInputFormat в качестве входного формата для управления количеством задач карты. Однако я получаю несколько разные числа для точного ввода иногда или в зависимости от количества экземпляров (10, 15 и 20).

Может ли кто-нибудь сказать мне, почему я вижу разное количество запущенных задач?

Answer 1

Это более чем вероятно спекулятивное исполнение. Когда у Hadoop есть доступные ресурсы, он может выбрать одновременное выполнение двух попыток одной и той же задачи. Запущенные задачи включают в себя все запущенные задачи независимо от того, будут ли они позже выполнены, сбой (из-за исключений) или будут убиты (из-за вмешательства администратора или спекулятивного исполнения, убивающего «медленную» задачу после завершения «более быстрой» задачи).

Ваши полные задачи - неудачные - убитые, вероятно, будут одинаковыми между прогонами.

Надеюсь, это поможет.