Переход Google Cloud Dataproc в Spark 1.6.0

Question

Может ли Google Dataproc начать использовать Spark 1.6.0 в ближайшее время? Я создаю кластер, используя эту команду:

gcloud beta dataproc clusters create <cluster-name> 

и по умолчанию используется Spark 1.5.2.

Спасибо.

Answer 1

В ближайшие недели вы можете увидеть новую версию изображения для Google Cloud Dataproc, которая содержит Spark 1.6.x.

Answer 2

https://cloud.google.com/dataproc/dataproc-versions содержит список доступных версий. В настоящее время у вас есть выбор Spark 1.5.0 или Spark 1.5.2 (по умолчанию).