2
Я пытаюсь использовать искровой кластер извне самого кластера. Проблема заключается в том, что искра связывается с моим частным IP-телефоном и может подключаться к ведущему, но затем работники не могут подключиться к моей машине (драйверу) из-за проблем с IP (они видят мой частный IP-адрес, потому что искра связывается с моим частный IP). я могу видеть, что из рабочих журналов: "--driver-URL" "искровой: // CoarseGrainedScheduler @ PRIVATE_IP_MY_LAPTOP: 34355"Проблемы с использованием искрового кластера извне LAN
помощь?
Вы имеете в виду у рабочих spark-defaults.conf? –
Это может сработать, но не рекомендуется, так как это ограничит ваш кластер использованием только этого драйвера. Лучше передать этот параметр при создании контекста искры - см. Инструкции в верхней части страницы, на которую я ссылался (используя SparkConf.set или используя --conf). –
Я пробовал, но мой компьютер не может связываться с моим публичным IP-адресом, я получаю ошибки. Не уверен, возможно ли связать его с общедоступным IP-адресом в linux –