Hadoop на Amazon EC2: Отслеживание работы не запускается должным образом

Question

Мы запускаем Hadoop на кластере Amazon EC2. Мы запускаем мастер, ведомые устройства и присоединяем тома ebs и, наконец, ожидаем запуска jobtracker hadoop, tasktracker и т. Д., И у нас есть время ожидания 3600 секунд. Мы замечаем 50% времени, когда отслежыватель не может начать работу до таймаута. Причина в том, что hdfs не инициализируется должным образом и все еще находится в режиме safemode, и программа отслеживания работы не может запускаться. Я заметил несколько проблем с подключением между узлами EC2, когда я пытался вручную проверять ведомые устройства.

Неужели кто-нибудь сталкивается с подобной проблемой и знает, как это решить?

Answer 1

Я не уверен, связана ли эта проблема с Amazon EC2. У меня тоже была эта проблема, хотя на моей машине была псевдораспределенная установка.

В этих случаях я мог бы отключить безопасный режим вручную и безопасно.
Попробуйте выполнить следующие действия: bin/hadoop dfsadmin -safemode leave

Я думаю, вы не можете ошибаться. Кажется, это хаотическая особенность хауопа. Я использовал 0.18.3, какую версию вы используете?