Свеча на провал ПРЯЖИ запустить NodeManager и ResourceManager

Question

Наш вопрос: (мы бежим пряжу-клиент)

• Это происходит как ./spark-shell

  scala> sc.parallelize(1 to 1000).collect() 
  

  и ./ pyspark

  >>> sc.parallelize([1,2,3,4]).collect() 
  

• выход оболочки из основных рабочих мест выше выводит эту ошибку

  WARN YarnClientClusterScheduler: Начальная работа не принимала никаких ресурсов; проверить кластер пользовательского интерфейса для обеспечения того, чтобы работники зарегистрированы и имеет достаточный объем памяти

• Бревно вывода эта строка в непрерывной последовательности: (time_stamp и port_number изменение, но каждое задание выводит этой ошибке

  ОШИБКА ExecutorLauncher: Не удалось подключиться к драйверу на LOCALHOST: < pORT_NUMBER>, повторное подключение ...

• Мы имеем SPARK_LOCAL_IP = множество LOCALHOST в нашем spark-env.sh (все остальное не в состоянии даже создать экземпляр СБН в Repl, примеры: ip_address, HOSTNAME и комментирование полностью)

Наша установка:

• Использование практически все настройки по умолчанию пряжу в искрового defaults.conf и spark-env.sh
• Это мощная аппаратная:
  • 128 GB на узел,
  • 16 ядер,
  • 2 ТБ физической памяти
• Мастер Спарк находится на своем собственном узле, так как являются ResourceManager, и NodeManager (около 5 узлов данных)

Ошибки: (в REPL)

WARN YarnClientClusterScheduler : Начальная работа не принимала никаких ресурсов; проверить кластера пользовательский интерфейс для обеспечения того, чтобы работники зарегистрированы и имеют достаточный объем памяти

(в журналах ПРЯЖИ)

15/09/12 13:03:00 INFO ExecutorLauncher: Ожидание водителя Спарк быть достижимы. 15/09/12 13:03:00 ОШИБКА ExecutorLauncher: Не удалось подключиться к драйверу на LOCALHOST: 45790, повторное подключение ...

Answer 1

Последний журнал ошибок довольно опрятно: исполнители пытаются связаться с водителем на localhost: 45790, но он не слушает.

Что вы хотите сделать, это обновить spark.driver.host и spark.driver.port в файле /path/to/spark/conf/spark-default.conf, к чему вы сможете связаться.

Answer 2

Вы должны фактически установить SPARK_LOCAL_IP на локальный IP хоста (один за исключением шлейфом IP)

Так что, если ваш IP является xxx.xxx.xxx.xxx

export SPARK_LOCAL_IP=xxx.xxx.xxx.xxx 

И затем убедитесь, что драйвер действительно работает