Как установить дополнительный класс для драйвера и исполнителей при запуске искровой оболочки

Question

Документация по настройке и запуску искровой оболочки - и, вероятно, аналогично для spark-submit - не совсем понятна.

Вот что я пробовал:

spark-shell --master <master IP:port> --executor-memory 8gb \ 
--total-executor-cores 10 --driver-memory 8gb \ 
--driver-class-path /opt/cloudera/CDH/lib/hive/lib \ 
--driver-java-options "-Dspark.executor.extraClassPath=/opt/cloudera/CDH/lib/hive/lib" 

Это не работает: программа не запускается. Фактически он немедленно возвращается.

Элементы, которые мне больше всего нужны, - это путь -driver-class-path и driver-java-options о том, как установить spark.executor.extraClassPath.

Answer 1

Проблема не там, где я ожидал, что это: вопрос является

--driver-memory 8GB 

. Это не работает. Удаление его и других настроек в порядке.

Answer 2

Это мое решение для Windows 7 (длинная линия, чтобы показать 3 различных путей)

spark-shell --master local --driver-class-path ..\..\path1\jar1.jar;C:\Users\User\.m2\repository\path2\jar2.jar;target/playground-1.0-SNAPSHOT.jar 

Так 3 вещи, чтобы сделать его работу:

1. Использование --driver класса тропу опция
2. Отдельные банки с ; голец
3. Не заключайте пути с " гольцов