spark submit в клиентской машине

Я запускаю Spark Twitter сентиментальный код анализа в eclipse в моей локальной системе. Все настройки отладчика и искрового кластера на сервере. Можно ли запустить в моей локальной системе, где настройка кластеров не является их?spark submit в клиентской машине

Если да, пожалуйста, назовите меня как. Во время работы я давал аргументы как

> --class com.dhruv.Predict \ 
> --master spark://<spark cluster ip>:7077 \ 
> --num-executors 2 \ 
> --executor-memory 512m \ 
> --executor-cores 2 \ target/twittersentiment-0.0.1-jar-with-dependencies.jar \ 
> hdfs://tmp/tweets/dataset.csv trainedModel \ 
> --consumerKey \ 
> --consumerSecret \ 
> --accessToken \ 
> --accessTokenSecret

Но ее не работает. Пожалуйста, руководство мне

источник

2016-11-24 user2894607

'-master spark: //your.server: 7077'? –

Я отредактировал мой вопрос. я дал то же самое, но не работал. – user2894607

Еще два: во-первых, файл jar должен быть глобально видимым, например, он должен находиться на каждой машине кластера в том же каталоге или в hdfs –

Как уже упоминалось в комментариях:

Файл должен быть видимыми глобально, поэтому он должен быть в том же пути, на каждом компьютере или в распределенной файловой системе, например, в HDFS

Скопируйте JAR к каждой машине или к HDFS

источник

2016-11-24 12:10:10

spark submit в клиентской машине

ответ

Смежные вопросы