Ошибка импорта ошибок в Apache

Question

У меня есть локальная искра 1.5.2 (hadoop 2.4), установленная в Windows, как описано here.

Я пытаюсь импортировать файл банку, который я создал в Java с использованием Maven (Сосуд jmatrw что я загрузил на here на GitHub). Обратите внимание, что в банке нет искровой программы, и у нее нет никаких зависимостей от искры. Я попытался следующие шаги, но никто, кажется, работает в моей установке:

• Я скопировал библиотеку в «E: /installprogram/spark-1.5.2-bin-hadoop2.4/lib/jmatrw- v0.1-beta.jar "
• Редактировать spark-env.sh и добавить SPARK_CLASSPATH =" E: /installprogram/spark-1.5.2-bin-hadoop2.4/lib/jmatrw-v0.1-beta .jar»
• В окне командной строки я бегу > spark-shell --jars "E:/installprogram/spark-1.5.2-bin-hadoop2.4/lib/jmatrw-v0.1-beta.jar", но он говорит „Предупреждение: пропуск удаленного банка“
• В искра оболочки я пытался сделать scala> sc.addJar("E:/installprogram/spark-1.5.2-bin-hadoop2.4/lib/jmatrw-v0.1-beta.jar"), он говорит: «INFO: добавлена ​​баночка ... с меткой времени»

Когда я типа scala> import it.prz.jmatrw.JMATData, искровым оболочка отвечает error: not found: value it.

Я потратил много времени на поиск в Stackoverflow и на Google, действительно, аналогичный вопрос Stakoverflow - here, но я все еще не могу импортировать свою обычную банку.

Благодаря

Answer 1

Есть два параметра в 1.5.2, чтобы вставить ссылку на внешнюю баночке. Вы можете добавить его для драйвера или исполнителя (ов).

Я делаю это, добавляя настройки к spark-defaults.conf, но вы можете установить их в искровой оболочке или в SparkConf.

spark.driver.extraClassPath /path/to/jar/* 
spark.executor.extraClassPath /path/to/jar/* 

Я не вижу ничего на самом деле не так с тем, как вы делаете это, но вы можете попробовать конф подход выше, или установить их с помощью SparkConf

val conf = new SparkConf() 
conf.set("spark.driver.extraClassPath", "/path/to/jar/*") 
val sc = new SparkContext(conf) 

В общем, я гаванью» t наслаждался работой с Spark на Windows. Попробуйте попасть в Unix/Linux.