Как использовать две версии искровой оболочки?

У меня есть Spark 1.6.2 и Spark 2.0 установлен на моем кластере hortonworks.Как использовать две версии искровой оболочки?

Обе эти версии установлены на узле в Hadoop Cluster из 5 узлов.

Каждый раз, когда я начинаю spark-shell я получаю:

$ spark-shell 
Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set 
Spark1 will be picked by default

Когда я проверить версию я получаю:

scala> sc.version 
res0: String = 1.6.2

Как я могу начать другую версию (искровой-оболочки Spark2.0)?

источник

2016-12-14 Ani Menon

Вы также можете сделать это, установив SparkMajorVerison как говорит предупреждение:

Команда:

export SPARK_MAJOR_VERSION=2.0.0

А затем запустить искровой скорлупу! Таким образом, вы можете изменить его соответственно в соответствии с вашими потребностями!

источник

2016-12-14 05:51:17

Я попробовал это ее не работаю, я получаю 'SPARK_MAJOR_VERSION установлен в 2.0.0, используя Spark2.0.0 искровой скорлупы не найден, пожалуйста, проверьте, установлен ли spark2.0.0 /usr/bin/spark-shell: строка 26: exec:: not found'. Даже когда я делаю это 1.6.2, это не сработает. –

export SPARK_MAJOR_VERSION=2

Вам просто нужно дать основной версии 2 или 1.

$ export SPARK_MAJOR_VERSION=2 
$ spark-submit --version 
SPARK_MAJOR_VERSION is set to 2, using Spark2 
Welcome to 
    ____    __ 
/__/__ ___ _____/ /__ 
_\ \/ _ \/ _ `/ __/ '_/ 
/___/ .__/\_,_/_/ /_/\_\ version 2.0.0.2.5.0.0-1245

источник

2017-01-02 18:47:24

Это то же, что и в предыдущем ответе. –

Описанный 2.0.0 в другом ответе вам просто нужно установить основную версию $ export SPARK_MAJOR_VERSION = 2 $ spark-submit --version SPARK_MAJOR_VERSION установлен в 2, используя Spark2 –

$ SPARK_MAJOR_VERSION=2 spark-shell

источник

2017-05-15 04:21:27

я обнаружил, что для меня, набрав

spark-shell

нагрузки Спарк 1,6

при вводе

spark2-shell

нагрузки Свечи 2,0

источник

2017-12-21 15:31:21 Taylrl

Как использовать две версии искровой оболочки?

ответ

Смежные вопросы