Я знаю, что Shark был добавлен Spark SQL, новым модулем в Apache Spark. Но мой вопрос: можем ли мы использовать существующую акулу с новыми версиями Spark?Можем ли мы использовать версию Shark 0.9.1 с Spark 1.1.0?
В соответствии с его release notes, Shark 0.9.1 поддерживает только Spark 0.9.1.
According to a mailing list post, официальная версия Shark для Spark 1.0+ отсутствует. Акула зависит от непубличных интерфейсов Spark, которые, вероятно, изменились между 0.9.1 и 1.1.0, поэтому это может быть значительная работа для отправки Shark в Spark 1.0+.
Спасибо, Джош. Мы опробовали акулу 0.9.1 с помощью Spark 1.1.0, как вы упомянули, она показывает некоторые конфликты с протоколированием. Может быть, искровое обновление версий баннеров. –