Как посетить hbase с использованием искры 2. *

Я написал программу, которая посещает HBase, используя искру 1.6 с искробойной связью (sbt dependency: "it.nerdammer.bigdata"% "spark-hbase-connector_2.10" % "1.0.3"). Но это не работает при использовании искры 2. *. Я искал об этом вопросе, и я получил некоторый вывод:Как посетить hbase с использованием искры 2. *

есть несколько разъемов, используемых для подключения HBase с использованием искрового
- Hbase искры. hbase-spark обеспечивается официальным представителем HBase website. Но я нашел, что он разработан на scala 2.10 и искры 1.6. Свойства в pom.xml проекта, как показано ниже:
```
<properties> 
    <spark.version>1.6.0</spark.version> 
    <scala.version>2.10.4</scala.version> 
    <scala.binary.version>2.10</scala.binary.version> 
    <top.dir>${project.basedir}/..</top.dir> 
    <avro.version>1.7.6</avro.version> 
    <avro.mapred.classifier></avro.mapred.classifier> 
</properties> 
```
- HBase-искровым connecotr: я посещаю их website и нет никакой информации о искре 2.0. И название баночки - это искро-hbase-connector_2.10, которые говорят нам, что банка скомпилирована scala 2.10, используемой искру 1. *. Но когда я меняю имя баночки на spark-hbase-connector_2.11 (скомпилированный scala 2.11, то же самое, что и искра 2.), Моя IEDA (своего рода IDE) говорит мне, что нет банок с именем spark-hbase-connecotr_2.11. Таким образом, нет поддержки искры 2..
- hortonworks-spark: Я посетил их веб-сайт. Некоторые замечания говорят, что это не поддержка искры 2. *.

вы знаете какой-либо банку, предоставленную третьей стороной с полным документом, который решит проблему ли? какие пакеты следует использовать для подключения hbase с использованием искры 2. *? Я ценю вас за любые предложения. Благодаря!

источник

2017-02-14 Doone

Вы добавили очков вы пробовали. Это хорошо, но недостаточно. ** Знаете ли вы какую-либо банку, предоставленную третьей стороной, с полным документом, который решает проблему? **. Просить ссылку на внешний ресурс здесь считают не по теме. Пожалуйста, отредактируйте свой вопрос, чтобы выделить точную проблему, с которой вы сталкиваетесь. См. Http://stackoverflow.com/help/how-to-ask –

Возможный дубликат [Какой соединитель HBase для Spark 2.0 следует использовать?] (Http://stackoverflow.com/questions/40908891/which-hbase- разъем-для-искры-2-0-я должен-назначения) –

я выбираю используя newAPIHadoopRDD посетить HBase в искре

источник

2017-03-03 03:12:24 Doone

Как посетить hbase с использованием искры 2. *

ответ

Смежные вопросы