SparkContext Ошибка инициализации: Scala

Question

Я бег искры с помощью следующей команды запуска:

spark-submit --class "Pagecounts" --master local[*] target/scala-2.11/Pagecounts-assembly-0.1-SNAPSHOT.jar <some_file_name> 

Но я получаю следующее сообщение об ошибке инициализации:

Using Spark's default log4j profile: org/apache/spark/log4j- defaults.properties                        
16/10/01 18:26:09 INFO SparkContext: Running Spark version 2.0.0                            
16/10/01 18:26:12 WARN NativeCodeLoader: Unable to load native-hadoop library  for your platform... using builtin-java classes where applicable        
16/10/01 18:26:13 ERROR SparkContext: Error initializing SparkContext.                          
java.net.UnknownHostException: linux-21ql.site: linux-21ql.site: unknown error                        

Может кто-то пожалуйста, помогите с этим вопросом?

Answer 1

Я думаю, что вы не можете местному развертывание этого приложения, как это потому, что банку нужно зажечь среду для запуска искрового приложения, но здесь местное [] ничего, так что если вы хотите запустить приложение локально, то просто установите мастер локального [] в объекте SparkConf как показано ниже

val conf = new SparkConf().setMaster("local[*]") 

Или, если вы хотите работать, как выше искру подать вам необходимо создать локальный кластер, как указано здесь https://blog.knoldus.com/2015/04/14/setup-a-apache-spark-cluster-in-your-single-standalone-machine/

и развернуть баночку, как выше вы упоминаете просто изменить мастер-значение с искрой: // IP : ПОРТ