2
Название делает вопрос довольно ясным. Почему существуют два разных раздела в jobtracker для завершенных и отставных рабочих мест?Разница между Hadoop завершенными и отставными работами
Спасибо.
A
ответ
5
Работа выхода на пенсию - это обычная процедура от jobtracker для сохранения заданий на диске и очистки памяти. Вы можете прочитать более подробную информацию о the Cloudera blog:
После завершения задания она хранится в памяти (до
mapred.jobtracker.completeuserjobs.maximum) и на диске в соответствии с выше. Существует значение конфигурации, которая управляет общей пенсионной политикой выполненных заданий:Key:
mapred.jobtracker.retirejob.interval
По умолчанию: 24 * 60 * 60 * 1000 (1 день)
Других слов, завершенные рабочие места после одного дня по умолчанию. Проверка на работу, чтобы быть на пенсии делается по умолчанию каждую минуту и может управляться с:Key:
mapred.jobtracker.retirejob.check
По умолчанию: 60 * 1000 (60-е годы в миллисекундах)
проверка выполняется непрерывно, пока Работает JobTracker. Если задание удалено, он просто удаляется из списка памяти JobTracker (он также удаляет все задания для задания и т. Д.). Работы не удаляются в течение как минимум 1 минуты (hardcoded в JobTracker.java) их времени окончания. Вызов отставки также удаляет файл JobTracker Local (см. Выше) для работы. Осталось только два файла за отставку в каталоге истории (hadoop.job.history.location) плюс - если разрешено - файлы Per Job (hadoop.job.history.user.location).
Ну, если это временная служба работы, как и для людей, которые не могут найти работу, но могут работать в течение нескольких недель, эти задания считаются «завершенными заданиями» по завершении, так что это может быть почему есть 2 категории – user2277872