конфигурации Apache Tez с Hadoop

Question

Вот то, что я сделал в двух словах:

STEP1: Я успешно настроен Hadoop 2.6 на моем ноутбуке (одного узла) и побежал на работу образец MapReduce.

STEP2: Я клонировал хранилище tez и успешно построил версию 0.8.0 и скопировал jarfiles в HDFS и экспортировал требуемые переменные. Я также изменил значение переменной mapreduce.framework.name на yarn-tez в mapred-site.xml.

Но когда я хочу запустить работу тез orderedwordcount, я получил эту ошибку:

15/07/04 18:45:03 INFO ipc.Client: Retrying connect to server: hostname/hostIP:57339. 
Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
15/07/04 18:45:12 INFO client.DAGClientImpl: DAG completed. FinalState=FAILED 

Я проверил менеджер ресурсов и прослушивает порт 8030. Но, похоже, клиент пытается подключиться к случайный порт. это правильно?

Что я могу сделать для правильного функционирования?

Answer 1

Кажется, что проблема с этой версией (0.8.0) связана с диспетчером ресурсов. Я собрал и интегрировал предыдущий стабильный выпуск (0.7.0), и теперь все хорошо. Надеюсь, что они увидят проблему.

Answer 2

Из ваших журналов, похоже, проблема с брандмауэром, а не проблема с версией Tez. И это независимо от Теза, даже если вы запустите Hadoop, вы можете столкнуться с этим.

Hadoop использует несколько портов для связи с клиентами и между сервисными компонентами. Чтобы включить Hadoop-связь, откройте определенные порты, которые использует Hadoop. Чтобы открыть определенные порты, вы можете установить правила доступа в Windows. Например, следующая команда будет открыть порт 80 в активном брандмауэре Windows:

Netsh advfirewall брандмауэра добавить имя правила = AllowRPCCommunication реж = в действии = разрешить протокол = TCP локальный_порт = 80

Для более видеть здесь http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0-Win/bk_HDP_Install_Win/content/ref-79239257-778e-42a9-9059-d982d0c08885.1.html