Я использую кластеры HDInsight Spark на Azure, а Jupyter не может добавлять внешние зависимости. Пытались это:Как добавить внешние зависимости от HDInsight Jupyter?
Однако, если я намеренное ошибку:
%%configure
{ "packages":["com.websudos:phantom_2.10:1.27.111111111111"] }
Так это пытается решить пакеты, просто не загружая их?
Есть ли другой способ заставить эту работу работать?
пакет, который вы используете не тот. Умышленная ошибка на самом деле говорит вам, что она не может разрешить этот пакет.
Кажется, что пакет, который вы действительно можете использовать, это com.websudos:phantom-spark, так как это то, на что они построили поддержку Spark? Link
%%configure -f
{ "packages":["com.websudos:phantom-spark_2.10:1.8.0"] }
, а затем вы можете импортировать
import com.websudos.phantom.spark._
Однако, если то, что вы хотите, это разъем искровой Cassandra, то datastax connector, кажется, один в использовании.
Должен сказать, что я никогда раньше не использовал Спарк с Кассандрой, поэтому, пожалуйста, следуйте инструкциям в Интернете о том, как их настроить.
Эта статья с сайта HDInsight может помочь вам: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-jupyter-notebook-use-external-packages/
Я знаю, это то, что я пробовал, как вы можете видеть на скриншоте. – ixaxaar
Это то, что я понял, а фантом не поддерживает распространение кода в искры, и только те пакеты не работают на jupyter (работает, если я их испрошу). Фантомная искра не является открытым исходным кодом AFAIK. И да, spark-cassandra-connector полезен для хранения данных, но я хотел использовать счетчики cassandra для некоторых пользовательских вещей, во всяком случае, спасибо! – ixaxaar
Можете ли вы поделиться командой spark-submit, которую вы выполняете, что работает, и кодом, который доказывает, что он работает? – aggFTW
Извините, не могу. Перемещено в AWS. – ixaxaar