установка искру 1.4 на Google Cloud кластера

Question

Я создал Google вычислительный кластер с Нажмите, чтобы развернуть
Я хочу использовать искру 1.4, но я получаю искры 1.1.0 Кто-нибудь знает, если это возможно, чтобы создать кластер с искрой 1,4?

Answer 1

У меня также были проблемы с этим. Эти шаги, которые я взял:

1. Скачать копию bdutil GCE от GitHub https://github.com/GoogleCloudPlatform/bdutil
2. Скачать искровую версию вы хотите, в этом случае искрового 1.4.1 с искровым сайта и сохранить его в Google вычислить ведро, которое вы контролируете. Убедитесь в том, что это искра, которая поддерживает Hadoop вы также развертываетесь с bdutil
3. Edit искры окр файл https://github.com/GoogleCloudPlatform/bdutil/blob/master/extensions/spark/spark_env.sh
4. Изменения SPARK_HADOOP2_TARBALL_URI = 'гса: //spark-dist/spark-1.3.1-bin-hadoop2 .6.tgz 'до SPARK_HADOOP2_TARBALL_URI =' gs: // [ВАШ СПАРК-ПУТЬ] 'Я предполагаю, что вы хотите hadoop 2, если вы хотите hadoop 1, убедитесь, что вы изменили правильную переменную.
5. После того, как все это сделано, из модифицированного bdutil, создайте свой искровой блок + искровой кластер, вы должны иметь современную версию искры после этого
6. Вам нужно убедиться, что вы выполните spark_env.sh с -e команда при выполнении bdutil, вам также нужно будет добавить hasoop_2 env, если вы устанавливаете hasoop2, которым я тоже был.

Answer 2

Одним из вариантов было бы попробовать http://spark-packages.org/package/sigmoidanalytics/spark_gce, это разворачивает Spark 1.2.0, но вы можете отредактировать файл для развертывания 1.4.0.