Spark 2.0 и Scala 2.11 на Dataproc?

Question

Последняя версия Spark 2.0 была выпущена на прошлой неделе - когда мы можем ожидать увидеть ее на Dataproc? Spark 2.0 использует Scala 2.11 по умолчанию - означает ли это, что Dataproc будет использовать Scala 2.11?

Scala 2.11 - на самом деле функция, которую мы с нетерпением ждем. Scala 2.10 стареет, и у нас есть несколько библиотек, которые мы хотели бы использовать, которых мы не можем, потому что они не поддерживают 2.10.

Answer 1

Чтобы следить за этим, Cloud Dataproc 1.1, выпущенный на этой неделе, имеет Spark 2.0 и Scala 2.11 и предназначен для использования в производственных целях. См. release notes для более подробной информации!

Answer 2

Dataproc имеет preview image version с Spark 2.0 (в настоящее время более ранним RC) и Scala 2.11, который вы можете попробовать сегодня.

Он не поддерживается в производственных случаях, поскольку он менее проверен, и мы будем прервать изменения, поскольку мы уточняем предварительный просмотр в новой полностью поддерживаемой версии изображения. Когда он будет полностью стабилизирован, мы отправим новую версию изображения с помощью Spark 2 и Scala 2.11.