MRJob - Limit Количество задач Attemps

Question

В MyJob, как вы ограничиваете количество попыток задачи (если задача не работает)?

У меня есть длинные задачи (увеличено время ожидания, соответственно), но я хочу, чтобы задание закончилось после 2 неудачных попыток в одной и той же задаче, а не 4-5.

Я не мог найти ничего подобного в документации:

http://mrjob.readthedocs.org/en/latest//en/latest/guides/configs-reference.html

Answer 1

Для карты рабочих мест, вы можете установить mapreduce.map.maxattempts в Hadoop 2. Для уменьшения рабочих мест, установить mapreduce.reduce.maxattempts (source). Эквиваленты в Hadoop 1: mapred.map.max.attempts и mapred.reduce.max.attempts.

Если вы используете файл конф в MRJob, вы можете установить это как:

runners: 
    emr: 
     jobconf: 
      mapreduce.map.maxattempts: 2