не может найти модуль 'graphframes'

Question

Когда я ввода в командной строке:

pyspark --packages graphframes: graphframes: 0.2.0-spark2.0-s_2.11

его будет хорошо работать. Но когда я хочу использовать ipython для запуска моего pyspark и использования пакета графических карт, он не работает.

Когда я ввода в командной строке:

PYSPARK_DRIVER_PYTHON = IPython pyspark --packages graphframes: graphframes: 0.2.0-spark2.0-s_2.11

ошибка в том, что: не может найти модуль «graphframes»

Answer 1

Недостаток Python 3 совместимости Спарк пакетов is a known bug в graphframes 0.2.0, который был решен в 0.3.0.

--packages graphframes:graphframes:0.3.0-spark2.0-s_2.11