Я установил Hadoop2.7.1 с искрой 1.4.1 на окнах 8,1Спарк Подавать с мастером, как пряжа-клиент (окна) дает ошибку «Не удалось найти или загрузить основной класс»
Когда я исполняю ниже команды
cd spark
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client lib/spark-examples*.jar 10
Я получаю ниже ошибки в JobHistoryServer войти
Error: Could not find or load main class '-Dspark.externalBlockStore.folderName=spark-262c4697-ef0c-4042-af0c-8106b08574fb'
я сделал дополнительную отладку (по поиску нетто) и может достать контейнер CMD скрипт, где ниже разделов (остальные строки оми tted)
...
@set CLASSPATH=C:/tmp/hadoop-xyz/nm-local-dir/usercache/xyz/appcache/application_1487502025818_0003/container_1487502025818_0003_02_000001/classpath-3207656532274684591.jar
...
@call %JAVA_HOME%/bin/java -server -Xmx512m -Djava.io.tmpdir=%PWD%/tmp '-Dspark.fileserver.uri=http://192.168.1.2:34814' '-Dspark.app.name=Spark shell' '-Dspark.driver.port=34810' '-Dspark.repl.class.uri=http://192.168.1.2:34785' '-Dspark.driver.host=192.168.1.2' '-Dspark.externalBlockStore.folderName=spark-dd9f3f84-6cf4-4ff8-b0f6-7ff84daf74bc' '-Dspark.master=yarn-client' '-Dspark.driver.appUIAddress=http://192.168.1.2:4040' '-Dspark.jars=' '-Dspark.executor.id=driver' -Dspark.yarn.app.container.log.dir=/dep/logs/userlogs/application_1487502025818_0003/container_1487502025818_0003_02_000001 org.apache.spark.deploy.yarn.ExecutorLauncher --arg '192.168.1.2:34810' --executor-memory 1024m --executor-cores 1 --num-executors 2 1> /dep/logs/userlogs/application_1487502025818_0003/container_1487502025818_0003_02_000001/stdout 2> /dep/logs/userlogs/application_1487502025818_0003/container_1487502025818_0003_02_000001/stderr
Я проверяю соответствующие файлы для CLASSPATH, выглядит нормально. Основной класс org.apache.spark.deploy.yarn.ExecutorLauncher доступен в баке с искровым сборником, которая является частью контейнера-контейнера
Итак, что может быть проблемой? Я искал сеть и нашел много дискуссий, но для Unix-вариантов, но не для Windows. Я задаюсь вопросом, действительно ли функция подачи огня работает на Windows (работает только режим «пряжа-клиент», автономный режим кластера) без какой-либо специальной настройки !!!
BTW, если я запустил вышеуказанную команду java из командной строки cmd.exe, я получаю ту же ошибку, что и все аргументы командной строки цитируются с одинарной кавычкой, а не с двойными кавычками (что делает эти двойные кавычки!), Так это ошибка,
Примечание искровым оболочка также не удается (в режиме пряжи) и но yarn jar ... команда работает