Недопустимые файлы журнала Hadoop

Question

Исходя из старой версии Hadoop, я ищу файлы журнала пользователя (log.index, stderr, stdout, syslog) в Hadoop 2.2.0. Сначала я искал веб-интерфейс, но ничего не работает на порту 50030. Затем я посмотрел HADOOP_HOME_DIR/logs, но я не видел ни одного каталога userlogs, ни чего-то с номером задания. Nex место я смотрел был темп реж (/ TMP), и нашел папки, которые были похожи на него:

$ find . -name "job_local1643076800_0001" 
./hadoop-tom/mapred/staging/tom1643076800/.staging/job_local1643076800_0001 
./hadoop-tom/mapred/local/localRunner/tom/jobcache/job_local1643076800_0001 
./hadoop-tom/mapred/local/localRunner/tom/job_local1643076800_0001 

В здесь я нашел каталоги в формате я ожидал: attempt_local1643076800_0001_m_000000_0 Но они были пусты.

Я также установил "export HADOOP_LOG_DIR=/path", но это тоже не пополняется. Что-нибудь мне здесь не хватает? Или что-то пошло не так, когда я строил хаоп из источника?

Заранее благодарен!

Answer 1

По умолчанию mapreduce framework в hadoop 2.2.0 YARN. 50030 - это Jobtracker webUI, в YARN вместо jobtracker используется диспетчер ресурсов, для которого Webui доступен на этапе 8088.

В вашем случае задание выполняется как localRunner, что означает либо с клиентской стороны, Службы YARN недоступны. Подтвердите свои конфигурации.

Answer 2

Журналы пользователя должны находиться в папке userlogs под папкой logs. Так что-то вроде hadoop-2.2.0/logs/userlogs/. Проверьте команду jps, чтобы увидеть, есть ли у вас необходимые процессы - возможно, нет. Если нет, проверьте свои журналы (а не пользовательские) на наличие ошибок и пройдите через свои конфигурации.

Если ваши процессы не работают, интересно, как вам удалось выполнить некоторые задания. Твоя работа прекрасна?