Не удалось запустить кластер вручную в Spark

Я только что начал использовать Spark Apache. Я тестировал его на своем локальном компьютере (Windows 10, Intel Core i5, 8 ГБ оперативной памяти), и все работало правильно. Когда я попытался запустить кластер вручную, я получил сообщение об ошибке, как показано ниже прикрепленного изображения: Не удалось запустить кластер вручную в Spark

Информация из журнала (C: \ Спарк \ Logs \ искра - org.apache.spark.deploy.master.Master -1-XXXXXX.out:

Спарк Команда: C: \ Program Files \ Java \ jdk1.8.0_72 \ Bin \ Java -cp C: \ Спарк/конф \; C: \ Спарк/Библиотека/Искра-сборка-1.6.0-hadoop2.6.0.jar; C: \ Spark \ lib \ datanucleus-api-jdo-3.2.6.jar; C: \ Spark \ lib \ datanucleus-core-3.2.10.jar ; C: \ Spark \ lib \ datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g org.apache.spark.deploy.master.Master --ip XXXXXX --port 7077 --webui-port 8080

Я использую эти источники, чтобы решить эту проблему, но не успех:
Spark Standalone Mode
How to Setup Local Standalone Spark Node
Setup a Apache Spark cluster in your single standalone machine

Спасибо за любые отзывы.

источник

2016-04-02 Hawk360

Можете ли вы предоставить журналы? – PinoSan

добавил к моему сообщению. – Hawk360

Вы должны предоставить более подробную информацию об ошибках. Вы должны быть более конкретными в своем вопросе. Вы можете начать с полной копии папок журналов. До сих пор это похоже на то, что вы говорите, что мое приложение не работает, и я понятия не имею, почему. Я не могу вам помочь. – PinoSan

Я думаю, вы слегка перепутались. При запуске Spark на Windows-машине было бы целесообразно использовать удаленный мастер или запускать его локально. В обоих случаях - используйте bin\spark-shell.cmd (или другое bin/*.cmd). Вы должны выполнять только команды, которые заканчиваются .cmd на Windows-машине. Когда вы запускаете start-master.sh, что вы говорите - Я хочу использовать этот аппарат в качестве менеджера ресурсов искрового кластера, поэтому другие искровые клиенты могут подключиться к нему и выполнить запросы. Это, вероятно, НЕ то, что вы хотите. Когда вы делаете local[*], вы уже используете все локальные ресурсы, нет смысла запускать «мастер». Если вам нужно больше ресурсов - запустите удаленный кластер (например, EMR), а затем подключитесь к нему с помощью bin\spark-shell.cmd --master AMAZON.IP:7077

источник

2016-04-04 01:46:06 avloss

Поблагодарите @avloss за отзыв. EMR - это вариант сбора. Есть ли у вас другая альтернатива без каких-либо дополнительных затрат для целей тестирования? Мне все еще интересно, могу ли я создать автономный кластер (один ведущий и 4 подчиненных на одной машине) в Windows, поскольку он представлен в этом учебнике по искры для Linux ([link] (http://mbonaci.github.io/mbo- искра /))? – Hawk360

Ну, вы можете - но вам нужно будет использовать что-то вроде [VirtualBox] (https://www.virtualbox.org/), чтобы запустить его. Затем введите имманд Ubuntu [здесь] (https://www.virtualbox.org/wiki/Linux_Downloads) и следуйте его шагам. Но опять же - я не вижу реальной возможности сделать это, так как ваш Spark будет работать медленнее (возможно, намного медленнее). Но если это больше для вас упражнение, я бы сказал, что «VirtualBox» определенно подходит, поскольку я сомневаюсь, что кто-либо запускает производственный кластер на машине Windows. – avloss

Не удалось запустить кластер вручную в Spark

ответ

Смежные вопросы