Спарк версия: 1.6.1 для Hadoop 2.6
Когда я начинаю pyspark REPL (бен/pyspark), отображается SPARK логотип и я вижу версию 1.6.0, а не 1,6. 1. Я не могу понять это.
Обратите внимание, что файл RELEASE в исходной папке искры показывает версию как 1.6.1, поэтому я не случайно загрузил версию 1.6.0.Спарк 1.6.1 баннер дисплей
Версия, напечатанная, кажется, исходит из Java-вещи. Вы уверены, что библиотеки Java обновлены, а не только PySpark?
Вот где печатается баннер:
https://github.com/apache/spark/blob/v1.6.1/python/pyspark/shell.py#L64
Она считывает версию из контекста, который получает его из контекста Java:
https://github.com/apache/spark/blob/v1.6.1/python/pyspark/context.py#L316
Контекст Java инициализируется здесь и является экземпляром класса Java JavaSparkContext.
https://github.com/apache/spark/blob/v1.6.1/python/pyspark/context.py#L231
Я получил искровой 1.6.1-бен-hadoop2.6.tgz распределение и выполняется битуминозными xvzf операций на нем. Где я буду искать библиотеки java? – RVT
Они, кажется, включены в этот файл. Возможно, вы не полностью извлекли его, или PySpark по какой-то причине использует неправильный JAR. Удостоверьтесь, что у вас нет переменных состояния CLASSSPATH. Попробуйте убрать или удалить старые файлы 'spark-assembly-1.6.0-hadoop2.6.0.jar'. – kichik
Вы были правы! Я установил «spark.driver.extraClassPath» в версию 1.6.0. Спасибо! – RVT