Лучший способ запустить Spark

Question

Существует групповой проект, над которым мы работаем, и мы хотим использовать искру. Однако мы не знаем, как лучше всего запустить его на наших компьютерах. Мы думали, что, возможно, Hortonworks, и кто-то предложил посмотреть на Maven. Однако мы не уверены.

Мы студенты, поэтому мы ничего не можем купить (по крайней мере, что-то дорогое).

Когда я ищу способы запуска Spark на моем компьютере (окнах), он обычно появляется с помощью методов компиляции или кода.

Answer 1

У вас есть много вариантов:

1. ВЫГРУЖАТЬ source from github или Apache и запустить его локально. В файле readme есть инструкции или вы можете скачать Learning Spark и прочитать главу 2.
2. Загрузите Cloudera Distribution Hadoop 5 QuickStart Virtual Machine. Для этого требуется виртуальный компьютер, например VMWare или VirtualBox (убедитесь, что VT-x включен в вашем BIOS). Это запускает Spark в псевдораспределенном автономном режиме и позволяет запускать его внутри контейнера с прямыми конструкциями. Вы также можете запустить Spark локально из коробки со всеми зависимостями .
3. Загрузить виртуальную машину Hortonworks. Он очень похож на предложение Cloudera, но я не так хорошо знаком с ним.

Я рекомендую Cloudera, если ваша машина способна работать с большой массой VM, и вы хотите попробовать запустить ее в псевдораспределенной среде. Если вы просто хотите научиться программировать с помощью API, попробуйте первый вариант.

Answer 2

1. Загрузить предварительную версию Искры от http://spark.apache.org/downloads.html.
2. Пробег bin/spark-shell.cmd. См. http://spark.apache.org/docs/latest/quick-start.html.

Answer 3

Самый простой и быстрый способ запуска искры - развернуть его в автономном режиме. Смотрите это руководство: http://spark.apache.org/docs/1.3.0/spark-standalone.html

Как вы работаете с машинами Windows, я рекомендую взглянуть на это, прежде чем строить с Maven: Spark 1.3.0 build failure

После того, как вы загрузили источник и модифицировал pom.xml, постройте с помощью

mvn -DskipTests clean package 

Мы могли бы быть в состоянии дать вам лучший ответ, если вы рассказать нам больше о том, как вы планируете использовать искру для вашего проекта.