2015-09-25 5 views
0

Я пытаюсь интегрировать Spark и Hbase и использовать его через python и продолжать получать ошибку, связанную с ClassNotFound. (Строка 77 -83) Вот код, который я использую: https://github.com/apache/spark/blob/master/examples/src/main/python/hbase_inputformat.py#L70ClassNotFound: apache.hadoop.io.ImmutableBytesWritable Интеграция Spark с Hbase с использованием Python

ошибка, что она дает мне это: enter image description here

Я новичок в Java. Я не уверен в структуре каталогов java-классов, из-за которой я не могу перейти к папке, где я могу найти все эти классы. Во всяком случае, может кто-нибудь сказать мне, как я могу получить org.apache.hadoop.hbase.io.ImmutableByteWritable?

+0

Как подать заявку? Я полагаю, вы используете spark-submit, ищите вариант «--jars» и передаете путь к hbase-client.jar, соответствующий вашей версии hbase. –

+0

Я использую pyspark и запускаю python spark driver = ipython для настройки всего. Я запускаю команды в оболочке ipython. – mousecoder

+0

Да, посмотрите на опцию '--jars'. Если у вас есть некоторые проблемы с этим, взгляните на https://issues.apache.org/jira/browse/SPARK-5185. Но сначала попробуйте сделать так, как 'bin/pyspark --jars /path/to/hbase-client.jar ...' –

ответ

0

Этот файл является частью HBase.

Убедитесь, что вы включили эту зависимость (Jar, Maven Dependency) в свой проект.

Вы можете выполнить mvn dependancy: tree и убедиться, что вы включили эту зависимость.

Смежные вопросы