Интерфейс Spark History UI не работает | Амбари

У меня есть настройка кластера с использованием Ambari, на которой есть службы HDFS, YARN, искра, работающая на хостах. Когда я запускаю образец spark pi в режиме кластера в качестве основной нити, приложение успешно выполняется, и я могу просматривать его в журналах менеджера ресурсов. Интерфейс Spark History UI не работает | Амбари | YARN

Но когда я нажимаю на ссылку истории, он не показывает интерфейс истории искры. Как включить/просмотреть то же самое?

источник

2017-01-13 taransaini43

Прежде всего, проверьте, настроен ли ваш сервер истории искры, ищет spark.yarn.historyServer.address в spark-defaults.conf файл.

Если не настроен, эта ссылка поможет вам настроить сервер: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.6/bk_installing_manually_book/content/ch19s04s01.html

Если уже настроен, проверьте, если хост истории сервер доступен из всех узлов в кластере, а также порт открыт.

источник

2017-01-13 05:48:48 code

Я могу видеть 2 папки, имеющую искровой-defauls.conf: '/etc/spark/2.5.3.0-37/0/spark-defaults.conf' и « /usr/hdp/2.5.3.0-37/ etc/spark/conf/spark-defaults.conf ' Какие из них имеют приоритет? '/etc/spark/2.5.3.0-37/0/spark-defaults.conf' содержит: "spark.history.ui.port 18080 spark.yarn.historyServer.address : 18080" в то время как ' /usr/hdp/2.5.3.0-37/etc/spark/conf/spark-defaults.conf 'содержит закомментированные настройки: "# spark.yarn.historyServer.address localhost: 18080" Так выглядит ли его комментарий? или по умолчанию эти свойства активны? – taransaini43

и сервер истории доступен всем хостам ... проверено через ssh и telnet – taransaini43

Итак, сервер истории запущен. Является ли свойство 'spark.eventLog.dir' установленным в этом файле конфигурации? – code

Интерфейс Spark History UI не работает | Амбари | YARN

ответ

Смежные вопросы