Spark 1.4 для Google Cloud?

Question

С bdutil, последняя версия тарболла я могу найти на искры 1.3.1:

GS: //spark-dist/spark-1.3.1-bin-hadoop2.6.tgz

Там это несколько новых функций DataFrame в Spark 1.4, которые я хочу использовать. Любой шанс получить изображение Spark 1.4 для bdutil или любой обходной путь?

UPDATE:

По предложению от Angus Дэвиса, я скачал и указал на искровой 1.4.1-бен-hadoop2.6.tgz, развертывание шло хорошо; однако, возникает ошибка при вызове SqlContext.parquetFile(). Я не могу объяснить, почему это исключение возможно, GoogleHadoopFileSystem должен быть подклассом org.apache.hadoop.fs.FileSystem. Будет продолжать расследование по этому поводу.

Caused by: java.lang.ClassCastException: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem cannot be cast to org.apache.hadoop.fs.FileSystem 
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2595) 
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:91) 
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2630) 
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2612) 
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:370) 
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:169) 
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:354) 
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296) 
at org.apache.hadoop.hive.metastore.Warehouse.getFs(Warehouse.java:112) 
at org.apache.hadoop.hive.metastore.Warehouse.getDnsPath(Warehouse.java:144) 
at org.apache.hadoop.hive.metastore.Warehouse.getWhRoot(Warehouse.java:159) 
at org.apache.hadoop.hive.metastore.Warehouse.getDefaultDatabasePath(Warehouse.java:177) 
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB_core(HiveMetaStore.java:504) 
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:523) 
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:397) 
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.<init>(HiveMetaStore.java:356) 
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:54) 
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:59) 
at org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler(HiveMetaStore.java:4944) 
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:171) 

Задаваемые отдельный вопрос об исключении here

UPDATE:

Ошибка оказалась Искра дефект; разрешение/обходное решение, предусмотренное в вышеуказанном вопросе.

Спасибо!

Хайин

Answer 1

Если локальный обходной путь является приемлемым, вы можете скопировать искровой 1.4.1-бен-hadoop2.6.tgz из апача зеркала в ведро, что вы контролируете. Затем вы можете отредактировать расширения/искра/искра- ренв.sh и изменить SPARK_HADOOP2_TARBALL_URI = '< свою копию искры 1.4.1 >' (убедитесь, что учетная запись службы, на которой работают ваши виртуальные машины, имеет разрешение на чтение tarball).

Обратите внимание, что я не сделал любое испытание, чтобы проверить, работает ли Искра 1.4.1 прямо сейчас, но мне было бы интересно услышать ваш опыт, если вы решите дать ему уйти.