Spark Yarn/tmp Нет такого файла или каталога

Question

Я получаю ошибку в моих искровых работах, и они, как правило, похожи на приведенные ниже. У узла в кластере около 256 ГБ памяти и около 8 ядер, также я указал память исполнителей как 4 ГБ и дополнительные 4 ГБ накладных расходов. Для тасования я определил долю памяти как 0.5, все это я хочу указать, что это не похоже на проблему с памятью. Однако я не могу понять, что может быть проблемой, и это происходит в той или иной степени, я неоднократно повторял свою работу, и это происходит в нескольких точках. Вы можете предположить, что у нас есть инфраструктура около 200 + узлов с достойной конфигурацией.

Работа отменена из-за отказа этапа: Задача 0 на этапе 2.0 не удалась 12 раз, последний сбой: Потерянная задача 0,11 на этапе 2.0 (TID 27, lgpbd1107.sgp.ladr.com): java.io.FileNotFoundException:/tmp/hadoop-mapr/nm-local-dir/usercache/names/appcache/application_1485048538020_113554/3577094671485456431296_lock (Нет такого файла или каталога)

Я не могу понять, связана ли его проблема с приложением или инфраструктурой. Может кто-то помочь.

Answer 1

It is due to the tmpwatch utility,, который ежедневно запускается на CentOS-системах для очистки /tmp/files, к которому недавно не обращались. Служба NodeManager не воссоздает верхний уровень hadoop.tmp.dir (который по умолчанию равен /tmp/hadoop-${user.name}), когда он запускает задание.

Теперь у вас есть два варианта:

Вариант -1: Перейдите в /etc/cron.daily/tmp-watch и исключить этот каталог из очистки ежедневно. /tmp/hadoop-mapr/nm-local-dir/filecache

Вариант -2: Перейти к

колонкового site.xml и добавить значение/смена hadoop.tmp.dir собственности --- по умолчанию /tmp/hadoop-${user.name}

или

пряжа-сайт.xml a d добавить значение/смена yarn.nodemanager.local-dirs собственности --- умолчанию ${hadoop.tmp.dir}/nm-local-dir