Запуск Apache Spark последней версии кластера с более старой версией

Question

У меня есть кластер Cloudera CDH 5.2.2 с Apache Spark 1.5.0.

Есть ли способ запустить это кластерное приложение с помощью Apache Spark 2.0 с API-интерфейсом Dataset? Желательные настройки не меняются.

Я пробовал использовать maven-shade-plugin запустить встроенный JAR Spark 2.0.0, но он не работает (NoSuchMethodException).

Answer 1

Если вы хотите использовать функции Spark 2.0.0, ваш кластер должен работать Spark 2.0.0. Я не думаю, что для этого есть обходной путь. Исключения, такие как NoSuchMethodExeception, выбрасываются из-за того, что методы или подписи методов, которые вы используете, изменились с 1.5.0 до 2.0.0, и поэтому кластер их не понимает.