У меня есть 5 узловых кластеров. Я настроил 10 карт на узел. В то время как работа MR выполняется, один из узлов hdfs умер. Это в конечном итоге приведет к черному списку этого трекера задач. После того, как он будет указан черным цветом и до завершения задания MR, если я исправлю поврежденный узел hdfs, можно ли восстановить трекер задач из черного списка?Восстановление черных перечисленных задач в mapreduce job
Я использую cloudera cdh 4.2 на ubuntu.
Я читал «Hadoop Definitive Guide» о сбоях в работе трекеры. Я нашел это заявление
«Задачам задач, отмеченных черным списком, не назначены задачи, но они продолжают связываться с worktracker. Сроки истекают с течением времени (со скоростью один в день), поэтому контролеры получают возможность снова запускать задания продолжая работать. В качестве альтернативы, если есть основная ошибка, которая может быть исправлена (например, путем замены аппаратного обеспечения), tasktracker будет удален из черного списка jobtracker после перезапуска и воссоединения кластера.
I Не знаю о Cloudera 4.2, но вы можете попробовать команду
$ hadoop job -unblacklist <jobid> <hostname>
Если вы хотите, чтобы удалить его из глобального черного списка, попробуйте
hadoop job -unblacklist-tracker <hostname>
Обе команды должны быть запущены как администратор.