Спарк не в автономном режиме в окне

Question

Я пытаюсь установить spark в автономном режиме в Windows, и когда я пытаюсь запустить команду bin/spark-shell, он дает мне следующую ошибку:

Answer 1

Похоже, вы загрузили предварительно созданные двоичные файлы для Linux и попытались запустить их в Windows? Вы могли бы предоставить более подробную информацию о своей настройке и, пожалуйста, поместите ошибку в текст, чтобы она была доступна для поиска, если этот вопрос длится, вы хотите, чтобы люди Google могли найти его.

Чтобы запустить Spark на Windows, вы должны его построить. Здесь есть аналогичный вопрос SO (возможно, обманщик, я не могу отметить его как таковой): How to set up Spark on Windows?

Более подробно, вот справки Spark о том, как создать Spark для Windows. Вот соответствующий текст из section of the Overview page:

If you’d like to build Spark from source, visit Building Spark.

Spark runs on both Windows and UNIX-like systems (e.g. Linux, Mac OS). It’s easy to run locally on one machine — all you need is to have java installed on your system PATH, or the JAVA_HOME environment variable pointing to a Java installation.

Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).

Если вы не готовы строить искру из исходного кода, то, возможно, вы хотите использовать Virtual Box или VMWare и запустить Linux VM, но это, вероятно, будет только хорошо для тестирования in local[*] mode. Близко к этой ссылке: «Тем не менее, для локального тестирования и модульных тестов вы можете передать« локальный », чтобы запустить« Искра »в процессе».

Возможно, вам удастся запустить мастер/драйвер и рабочий/исполнитель на виртуальной машине, но я бы не ожидал, что он будет хорошо играть в сетевом окружении в виртуальной машине. Не пытаясь это, мне трудно предсказать, что конкретно пойдет не так, но я подозреваю, что сериализация будет проблемой для стартеров.

Лучше еще получить дешевый ПК и установить Linux и перейти оттуда.