ошибка при запуске искры оболочки

Я просто скачал последнюю версию искры, и когда я начал искровую оболочку я получил следующую ошибку:ошибка при запуске искры оболочки

java.net.BindException: Failed to bind to: /192.168.1.254:0: Service 'sparkDriver' failed after 16 retries! 
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272) 
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:393) 
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:389) 

... 
... 

java.lang.NullPointerException 
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:193) 
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:71) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 
    at java.lang.reflect.Constructor.newInstance(Constructor.java:525) 
    at org.apache.spark.repl.SparkILoop.createSQLContext(SparkILoop.scala:1028) 
    at $iwC$$iwC.<init>(<console>:9) 
... 
... 
<console>:10: error: not found: value sqlContext 
     import sqlContext.implicits._ 
      ^
<console>:10: error: not found: value sqlContext 
     import sqlContext.sql 
      ^

Есть ли что-то, что я пропустил в создании искры?

источник

2015-07-05 JRR

Запустив 'spark-shell', он создает каталог \ tmp \ hive под C :, имел ту же ошибку \ issue, и это оказалось проблемой с разрешениями для этой папки. Просто переместите его под свой% HADOOP_HOME% \ bin и перезапустите cmd как администратор. Он работал как прелесть для меня после прохождения любого возможного исправления, рекомендуемого при переполнении стека. – paranza

См. SPARK-8162.

Похоже, что это влияет только на 1.4.1 и 1.5.0 - вам, вероятно, лучше всего использовать последнюю версию (1.4.0 на момент написания).

источник

2015-07-06 16:36:46 dpeacock

Я пробовал предустановленные версии 1.4.0, 1.3.1 и 1.3.0, и все они имеют одинаковую ошибку. Я использую Java 7 в osx. – JRR

Попробуйте установить переменную enk Spark SPARK_LOCAL_IP на локальный IP-адрес.

В моем случае я запускал Spark на экземпляре Amazon EC2 Linux. spark-shell перестает работать с сообщением об ошибке, аналогичным вашему. Я смог исправить это, добавив в файл конфигурации Spark spark-env.conf параметр, подобный приведенному ниже.

export SPARK_LOCAL_IP=172.30.43.105

Может также установить его в ~/.profile или ~/.bashrc.

Также проверьте настройки хоста в /etc/hosts

источник

2015-08-04 06:01:06 rake

я испытывал тот же вопрос. Сначала надо .bashrc и поставить

export SPARK_LOCAL_IP=172.30.43.105

затем перейти

cd $HADOOP_HOME/bin

затем запустите следующую команду

hdfs dfsadmin -safemode leave

Это просто переключает SafeMode из NameNode выключения.

Затем удалите папку metastore_db из исходной папки искры или/bin. Обычно это будет папка, из которой вы обычно начинаете сеанс искры.

тогда я пробежал искровой скорлупу с помощью этого

spark-shell --master "spark://localhost:7077"

и вуаля я didnot получаю ошибку sqlContext.implicits._.

источник

2016-04-09 18:54:03

ошибка при запуске искры оболочки

ответ

Смежные вопросы